АнТуТу, програмер који стоји иза популарне апликације за бенцхмаркинг, објавио је бенцхмарк за тестирање и мерење АИ перформанси паметних телефона. Прочитајте на!
Последњих година се све више компанија фокусира на АИ (вештачку интелигенцију) као средство за разликовање својих производа од конкуренције. Употреба вештачке интелигенције се креће од разумевања гласовних команди до препознавања сценарија до извршавања директних налога, због чега је неопходно смањити трење између купца и услуге. Због своје све веће популарности, вештачка интелигенција се сада нашироко злоупотребљава као модна реч, и време је да се успостави неки систем мерења ове функционалности.
АнТуТу, познат по својој популарној апликацији за бенцхмаркинг, преузео је на себе да обезбеди квантитативни стандард за свакога да процени разлику у перформансама вештачке интелигенције на различитим платформама. Да би поставио камен темељац за ову сврху, АнТуТу је сарађивао са произвођачима чипова на издавању бенцхмаркинг апликације под називом „АИ Ревиев“ која се фокусира на мерење АИ перформанси паметних телефона.
Преузмите АнТуТу-ов АИ тест бенцхмарк
АнТуТу-ов блог пост за преглед вештачке интелигенције почиње указивањем на потешкоће у мерењу нечега тако огромног као што је вештачка интелигенција. Тренутно у сегменту паметних телефона не постоји јединствени стандард за АИ, што заузврат је довело до ситуације у којој сваки произвођач чипова има своје разумевање и имплементацију АИ. Куалцомм управља неким АИ операцијама преко Хекагон ДСП-а; Хуавеи-јев ХиСилицон то решава преко независног НПУ-а; Самсунг и МедиаТек такође управљају АИ операцијама преко наменских чипова који се називају НПУ и АПУ. Ова ситуација је додатно компликована синергијом између хардвера и софтвера, што је кључно за ефективне перформансе вештачке интелигенције. Сваки добављач обезбеђује сопствени СДК за АИ – Куалцомм има СНПЕ, МедиаТек има НеуроПилот, ХиСилицон има ХиАИ итд.
АнТуТу-ова АИ Рецензија је подељена у две поткатегорије: Класификација слика и Препознавање објеката. Тест за класификацију слика прегледа податке теста који се састоје од 200 слика и заснован је на Инцептион в3 неуронским мреже, док тест препознавања објеката прегледа видео од 600 кадрова и заснован је на МобилеНет ССД неуронском мреже. Ове неуронске мреже се затим преводе у неуронску мрежу коју подржава произвођач преко СДК-а који обезбеђује продавац. Ако чип не подржава алгоритме везане за вештачку интелигенцију, бенцхмарк апликација користи ТФЛите за бенцхмаркинг, чији резултати сами АнТуТу упозоравају као да су незадовољавајући и непоуздани.
Референтни резултат је директно повезан и са брзином и са прецизношћу. Ако се прецизност мења за брзину, АнТуТу додељује казне резултату. Ово би обесхрабрило АИ бенцхмарк варање које би се ослањало на једноставно пружање брзих, али погрешних резултата.
АнТуТу је такође поставио неколико посебних напомена за коришћење своје апликације. Платформе које користе исти АИ процесор вероватно неће имати велике разлике у резултату јер мерило не тестира једноставно перформансе, али се фокусира на АИ-перформансе. Самсунг још није објавио свој АИ СДК, а ХиСилицон користи ТФЛите за одређене функције, што значи да ће њихови резултати бити ниски док се те ситуације не поправе. Основна Андроид верзија уређаја такође ће утицати на резултат јер сам Гоогле оптимизује подршку АИ на нивоу система.
Чак и из АнТуТу-овог сопственог блога, јасно је да је циљ да мерити Перформансе засноване на вештачкој интелигенцији можда неће бити могуће једноставним свођењем на број. Много је променљивих укључених у рачунање засновано на вештачкој интелигенцији, што додаје још један слој сложености већ сложеној интеракцији између различитих хардверских и софтверских решења. Јединствени бројчани резултат који би произашао из активности бенчмаркинга не би дао правду нијансама укљученим у свет вештачке интелигенције. Дакле, иако можете да погледате свој резултат и да у новцу осећате неку меру поноса, знајте да смо још увек у релативно раној фази АИ, а још више, АИ бенцхмаркинга.
Ако желите да прочитате више о АИ, АИ бенцхмаркингу и изазовима који су укључени, погледајте наш интервју са Куалцомм-ом Травис Ланиер и Гари Бротман и Зиад Асгхар.
Извор: АнТуТу