Hasil MLPerf 3.0 sudah keluar, dan ada beberapa tren industri yang menarik.
Pembelajaran mesin dan kecerdasan buatan adalah industri yang berubah dengan cepat dengan inovasi terus-menerus yang dilakukan setiap hari. Itulah mengapa kemampuan untuk membandingkan kemampuan perangkat adalah hal yang penting dan mengapa penting juga untuk memiliki satu atau beberapa badan yang membantu memandu pertumbuhan sektor ini. Dengan MLPerf Inference v3.0, grup MLCommons bertujuan untuk menggandakan filosofi dalam memberikan keadilan dan pengujian ketat terhadap kemampuan pembelajaran mesin perangkat sambil menyediakan kemampuan yang dapat diverifikasi dan direproduksi hasil. Hasilnya kini sudah terlihat, dan dari daftar vendor yang lebih besar dari tahun-tahun sebelumnya.
"Inferensi" dalam pembelajaran mesin mengacu pada hasil aktual dari algoritma yang dilatih, dimana model kemudian dapat mengidentifikasi apa yang telah dilatih untuk dikenali. Kami melihat inferensi digunakan di semua bidang kehidupan, termasuk mobil tanpa pengemudi, saran penelusuran di Google, dan bahkan chatbot AI seperti
ObrolanGPT, Obrolan Bing, atau Google Bard. MLPerf v3.0 dapat menguji tugas-tugas berikut:Tugas |
Aplikasi dunia nyata |
Rekomendasi |
Konten atau rekomendasi belanja seperti pencarian, media sosial, atau iklan |
Pengenalan suara |
Ucapan-ke-teks di ponsel cerdas, bantuan pengemudi hands-free |
Pemrosesan Bahasa Alami (NLP) |
Pencarian, terjemahan, chatbots |
Klasifikasi gambar |
Pelabelan gambar, penglihatan umum |
Deteksi objek |
Deteksi pejalan kaki, deteksi cacat produksi, pengurangan mata merah |
Segmentasi 3D |
Analisis citra medis (misalnya, identifikasi tumor) |
Terdapat lebih dari 5.300 hasil performa dan lebih dari 2.400 hasil pengukuran daya dalam database hasil untuk MLPerf v3.0. Khususnya, tren yang teridentifikasi mencakup banyak sistem perangkat keras baru yang digunakan dengan peningkatan kinerja pada komponen pusat data sekitar 30% di beberapa bagian tolak ukur. Selain itu, semakin banyak pengirim yang memberikan hasil terkait efisiensi daya, dan minat terhadap inferensi jaringan meningkat tiga kali lipat.
Nvidia, yang telah menjadi andalan pengajuan MLPerf selama beberapa tahun, menyerahkan hasil pertama untuk DGX H100 dan pengajuan pertama untuk GPU L4 Tensor Core. DGX H100 menawarkan performa per akselerator hingga 54% lebih tinggi dibandingkan dengan H100 pertamanya, dan L4 memberikan performa hingga tiga kali lipat dibandingkan T4 generasi terakhir.
Perusahaan lain yang menyampaikan hasil termasuk Qualcomm, yang menurut perusahaan tersebut "semua tolok ukur menunjukkan peningkatan kinerja dan efisiensi daya untuk NLP dan Komputer Jaringan visi." Perusahaan juga merinci bagaimana sejak pengajuan pertama MLPerf 1.0, Qualcomm Cloud AI 100 telah ditingkatkan hingga 86% dalam kinerja dan 52% dalam daya efisiensi. Vendor terkemuka lainnya yang mengirimkan hasil termasuk Intel, HPE, Gigabyte, Asus, dan Dell.