AnTuTu, розробник популярного додатка для порівняльного аналізу, випустив тест для тестування та вимірювання продуктивності AI смартфонів. Читай далі!
Останніми роками все більше компаній зосереджуються на ШІ (штучному інтелекті) як на засобі вирізнити свій продукт серед конкурентів. Використання штучного інтелекту варіюється від розуміння голосових команд до розпізнавання сценаріїв до виконання прямих наказів, що робить необхідним зменшити тертя між клієнтом і послугою. Через його вибухову популярність штучний інтелект зараз широко використовують як модне слово, і настав час створити певну систему вимірювання цієї функціональності.
Компанія AnTuTu, відома своїм популярним додатком для порівняльного аналізу, взяла на себе зобов’язання надати кількісно виміряний стандарт, щоб кожен міг оцінити різницю в продуктивності ШІ на різних платформах. Щоб закласти фундамент для цієї мети, AnTuTu співпрацює з виробниками чіпів, щоб випустити додаток для порівняльного аналізу під назвою «AI Review», який зосереджується на вимірюванні продуктивності ШІ смартфонів.
Завантажте AnTuTu's AI Review Benchmark
Повідомлення в блозі AnTuTu для AI Review починається з вказівки на труднощі вимірювання чогось такого величезного, як штучний інтелект. На даний момент в сегменті смартфонів не існує якогось єдиного стандарту для AI, який, у свою чергу призвело до ситуації, коли кожен виробник мікросхем має власне розуміння та впровадження ШІ. Qualcomm обробляє деякі операції ШІ через Hexagon DSP; HiSilicon від Huawei обробляє це через незалежний NPU; Samsung і MediaTek також керують операціями штучного інтелекту через спеціальні чіпи, які називаються NPU і APU відповідно. Ця ситуація ще більше ускладнюється синергією між апаратним і програмним забезпеченням, яка має вирішальне значення для ефективної роботи ШІ. Кожен постачальник надає власний SDK для штучного інтелекту: Qualcomm має SNPE, MediaTek має NeuroPilot, HiSilicon має HiAI тощо.
Тест AnTuTu AI Review розділений на дві підкатегорії: класифікація зображень і розпізнавання об’єктів. Тест Image Classification розглядає тестові дані, що складаються з 200 зображень, і базується на нейронній системі Inception v3 мережі, тоді як тест розпізнавання об’єктів розглядає 600-кадрове відео та базується на нейронній системі MobileNet SSD мережі. Потім ці нейронні мережі транслюються в нейронну мережу, яка підтримується виробником через SDK, наданий постачальником. Якщо чіп не підтримує алгоритми, пов’язані зі штучним інтелектом, програма для тестування використовує TFLite для порівняльного аналізу, результати якого самі AnTuTu попереджають як незадовільні та ненадійні.
Еталонна оцінка безпосередньо пов’язана як зі швидкістю, так і з точністю. Якщо точність замінюється швидкістю, AnTuTu призначає штрафи за рахунок. Це перешкоджатиме шахрайству в еталонних тестах ШІ, яке покладалося б на просто надання швидких, але неправильних результатів.
AnTuTu також виклав кілька спеціальних зауважень щодо використання своєї програми. Навряд чи платформи, які використовують той самий процесор штучного інтелекту, матимуть великі розриви в оцінках, оскільки тест не просто тестує продуктивність, але зосереджується на AI-продуктивність. Samsung ще не випустила свій AI SDK, а HiSilicon використовує TFLite для певних функцій, що означає, що їхні бали будуть низькими, доки ці ситуації не покращаться. Базова версія Android пристрою також вплине на оцінку, оскільки сама Google оптимізувала підтримку ШІ на системному рівні.
Навіть із власного допису в блозі AnTuTu стає зрозуміло, що мета міра Продуктивність на основі ШІ може бути неможливою, якщо просто звести її до числа. Існує багато змінних, залучених до обчислень на основі ШІ, що додає ще один рівень складності до вже складної взаємодії між різними апаратними та програмними рішеннями. Єдина числова оцінка, отримана в результаті порівняльного аналізу, не віддасть належного значення нюансам світу штучного інтелекту. Отже, дивлячись на свій результат і відчуваючи певну гордість, знайте, що ми все ще перебуваємо на відносно ранніх стадіях штучного інтелекту, а тим більше порівняльного аналізу ШІ.
Якщо ви хочете дізнатися більше про штучний інтелект, порівняльний аналіз штучного інтелекту та пов’язані з цим проблеми, перегляньте наше інтерв’ю з Qualcomm Тревіс Ланьє і Гері Бротман і Зіад Асгар.
Джерело: AnTuTu