AnTuTu, разработчикът зад популярното приложение за сравнителен анализ, пусна бенчмарк за тестване и измерване на производителността на AI на смартфони. Прочетете!
През последните години все повече и повече компании се фокусират върху AI (изкуствен интелект) като средство за разграничаване на техния продукт от конкуренцията. Употребите на AI варират от разбиране на гласови команди до разпознаване на сценарии до изпълнение на директни поръчки, като по този начин е необходимо да се намали напрежението между клиент и услуга. Поради експлозивната си популярност AI сега широко се злоупотребява като модна дума и е крайно време да се създаде някаква система за измерване на тази функционалност.
AnTuTu, известно с популярното си приложение за сравнителен анализ, се зае да предостави количествено измерим стандарт, за да може всеки да прецени разликата в производителността на AI на различните платформи. За да постави основите за тази цел, AnTuTu работи с производителите на чипове, за да пусне приложение за сравнителен анализ, наречено „AI Review“, което се фокусира върху измерването на производителността на AI на смартфоните.
Изтеглете AI Review Benchmark на AnTuTu
Публикацията в блога на AnTuTu за AI Review започва с посочване на трудностите при измерването на нещо толкова огромно като изкуствения интелект. В момента в сегмента на смартфоните не съществува унифициран стандарт за AI, което от своя страна доведе до ситуация, при която всеки производител на чипове има собствено разбиране и прилагане на AI. Qualcomm обработва някои AI операции чрез Hexagon DSP; HiSilicon на Huawei го управлява чрез независим NPU; Samsung и MediaTek също управляват AI операции чрез специални чипове, наричани съответно NPU и APU. Тази ситуация допълнително се усложнява от синергията между хардуер и софтуер, което е от решаващо значение за ефективното представяне на AI. Всеки доставчик предоставя свой собствен SDK за AI – Qualcomm има SNPE, MediaTek има NeuroPilot, HiSilicon има HiAI и т.н.
Бенчмаркът за AI Review на AnTuTu е разделен на две подкатегории: Класификация на изображения и Разпознаване на обекти. Тестът за класификация на изображения преглежда данни от тестове, състоящи се от 200 изображения, и се основава на невронния Inception v3 мрежа, докато тестът за разпознаване на обекти преглежда видео с 600 кадъра и се основава на невронния MobileNet SSD мрежа. След това тези невронни мрежи се превеждат в невронната мрежа, която се поддържа от производителя чрез SDK, предоставен от доставчика. Ако чипът не поддържа алгоритми, свързани с AI, приложението за сравнение използва TFLite за сравнение, резултатите от които самите AnTuTu предупреждават като незадоволителни и ненадеждни.
Резултатът от бенчмарка е пряко свързан както със скоростта, така и с точността. Ако точността се замени със скорост, AnTuTu назначава наказания за резултата. Това би обезсърчило измамите с AI бенчмаркове, които биха разчитали просто на предоставяне на бързи, но грешни резултати.
AnTuTu също е поставил няколко специални забележки за използването на своето приложение. Платформи, които използват един и същ AI процесор, е малко вероятно да имат големи пропуски в резултатите, тъй като бенчмаркът не просто тества производителност, но се фокусира върху AI-производителност. Samsung все още не е пуснал своя AI SDK, а HiSilicon използва TFLite за определени функции, което означава, че резултатите им ще бъдат ниски, докато тези ситуации не бъдат подобрени. Базовата версия на Android на устройството също ще има ефект върху резултата, тъй като самият Google оптимизира поддръжката на AI на системно ниво.
Дори от собствената публикация в блога на AnTuTu става ясно, че целта да мярка Ефективността, базирана на AI, може да не е възможна, като просто я сведете до число. Има много променливи, включени в изчисленията, базирани на AI, което добавя още едно ниво на сложност към вече сложното взаимодействие между различни хардуерни и софтуерни решения. Единичният числов резултат, който би произлязъл от дейност по сравнителен анализ, няма да отдаде дължимото на нюансите, включени в света на ИИ. Така че, докато може да погледнете резултата си и да почувствате известна гордост в парично отношение, знайте, че все още сме в сравнително ранните етапи на AI и още повече на бенчмаркинга на AI.
Ако искате да прочетете повече за AI, сравнителния анализ на AI и свързаните с това предизвикателства, вижте нашето интервю с Qualcomm Травис Лание и Гари Бротман и Зиад Асгар.
Източник: AnTuTu