AnTuTu, pengembang di balik aplikasi benchmarking populer, telah merilis benchmark untuk menguji dan mengukur kinerja AI pada ponsel cerdas. Baca terus!
Beberapa tahun terakhir telah terlihat semakin banyak perusahaan yang fokus pada AI (Kecerdasan Buatan) sebagai sarana untuk membedakan produk mereka dari pesaing. Kegunaan AI berkisar dari memahami perintah suara hingga mengenali skenario hingga melaksanakan perintah langsung, sehingga diperlukan untuk mengurangi gesekan antara pelanggan dan layanan. Karena popularitasnya yang meningkat pesat, AI kini banyak disalahgunakan sebagai kata kunci, dan sudah saatnya sistem untuk mengukur fungsi ini disiapkan.
AnTuTu, yang terkenal dengan aplikasi benchmarkingnya yang populer, telah berupaya memberikan standar terukur bagi semua orang untuk menilai perbedaan kinerja AI pada berbagai platform. Untuk menetapkan landasan bagi tujuan ini, AnTuTu telah bekerja sama dengan produsen chip untuk merilis aplikasi benchmarking bernama "AI Review" yang berfokus pada pengukuran kinerja AI pada ponsel cerdas.
Unduh Tolok Ukur Ulasan AI AnTuTu
Postingan blog AnTuTu untuk AI Review dimulai dengan menunjukkan kesulitan dalam mengukur sesuatu sebesar Kecerdasan Buatan. Saat ini di segmen ponsel pintar, belum ada standar terpadu untuk AI telah menyebabkan situasi di mana setiap produsen chip memiliki pemahaman dan implementasinya sendiri AI. Qualcomm menangani beberapa operasi AI melalui Hexagon DSP; HiSilicon Huawei menanganinya melalui NPU independen; Samsung dan MediaTek juga menangani operasi AI melalui chip khusus yang masing-masing disebut sebagai NPU dan APU. Situasi ini semakin diperumit dengan sinergi antara perangkat keras dan perangkat lunak, yang sangat penting untuk kinerja AI yang efektif. Setiap vendor menyediakan SDK mereka sendiri untuk AI -- Qualcomm memiliki SNPE, MediaTek memiliki NeuroPilot, HiSilicon memiliki HiAI, dan seterusnya.
Tolok ukur Tinjauan AI AnTuTu dibagi menjadi dua subkategori: Klasifikasi Gambar dan Pengenalan Objek. Tes Klasifikasi Gambar meninjau data pengujian yang terdiri dari 200 gambar, dan didasarkan pada neural Inception v3 jaringan, sedangkan pengujian Pengenalan Objek meninjau video 600 bingkai dan didasarkan pada neural MobileNet SSD jaringan. Jaringan saraf ini kemudian diterjemahkan ke dalam jaringan saraf yang didukung oleh produsen melalui SDK yang disediakan oleh vendor. Jika chip tidak mendukung algoritme terkait AI, aplikasi benchmark menggunakan TFLite untuk melakukan benchmarking, yang hasilnya diperingatkan oleh AnTuTu sendiri sebagai tidak memuaskan dan tidak dapat diandalkan.
Penilaian benchmark berhubungan langsung dengan kecepatan dan akurasi. Jika akurasi dikorbankan dengan kecepatan, AnTuTu akan memberikan penalti pada skor tersebut. Hal ini akan mencegah kecurangan benchmark AI yang hanya mengandalkan pemberian hasil yang cepat namun salah.
AnTuTu juga memberikan beberapa komentar khusus untuk penggunaan aplikasinya. Platform yang menggunakan prosesor AI yang sama kemungkinan besar tidak akan memiliki kesenjangan skor yang besar karena benchmarknya tidak sekadar menguji pertunjukan, tetapi fokus pada kinerja AI. Samsung belum merilis AI SDK-nya, dan HiSilicon menggunakan TFLite untuk fungsi-fungsi tertentu, yang berarti skor mereka akan rendah hingga situasi tersebut diperbaiki. Versi dasar perangkat Android juga akan berpengaruh pada skor karena Google sendiri telah mengoptimalkan dukungan AI di tingkat sistem.
Bahkan dari postingan blog AnTuTu sendiri, jelas tujuannya untuk ukuran Performa berbasis AI mungkin tidak dapat dicapai hanya dengan mengelompokkannya menjadi beberapa angka. Ada banyak variabel yang terlibat dalam komputasi berbasis AI, yang menambah lapisan kompleksitas pada interaksi yang sudah kompleks antara berbagai solusi perangkat keras dan perangkat lunak. Skor numerik tunggal yang dihasilkan dari aktivitas pembandingan tidak akan sesuai dengan nuansa yang terlibat dalam dunia AI. Jadi, meskipun Anda mungkin melihat skor Anda dan merasa bangga secara finansial, ketahuilah bahwa kita masih berada pada tahap awal dalam penerapan AI, dan terlebih lagi, dalam tahap benchmarking AI.
Jika Anda ingin membaca lebih lanjut tentang AI, benchmarking AI, dan tantangan yang ada, lihat wawancara kami dengan Qualcomm Travis Lanier Dan Gary Brotman dan Ziad Asghar.
Sumber: AnTuTu