AnTuTu, vývojár za populárnou benchmarkingovou aplikáciou, vydal benchmark na testovanie a meranie výkonu AI smartfónov. Pokračuj v čítaní!
V posledných rokoch sa čoraz viac spoločností zameriava na AI (Artificial Intelligence) ako prostriedok na odlíšenie ich produktu od konkurencie. Využitie AI siaha od pochopenia hlasových príkazov cez rozpoznávanie scenárov až po vykonávanie priamych príkazov, čo znamená, že je potrebné znížiť trenie medzi zákazníkom a službou. Pre svoju explozivnu popularitu sa AI teraz vo veľkej miere zneužíva ako módne slovo a je načase zaviesť nejaký systém merania tejto funkcie.
AnTuTu, známa svojou populárnou aplikáciou na porovnávanie, sa rozhodla poskytnúť kvantifikovateľný štandard pre každého, aby mohol posúdiť rozdiel vo výkone AI rôznych platforiem. Na položenie základných kameňov na tento účel AnTuTu spolupracoval s výrobcami čipov na vydaní benchmarkingovej aplikácie s názvom „AI Review“, ktorá sa zameriava na meranie výkonu AI smartfónov.
Stiahnite si AnTuTu's AI Review Benchmark
Blogový príspevok AnTuTu pre AI Review začína poukázaním na ťažkosti pri meraní niečoho takého obrovského, ako je umelá inteligencia. V súčasnosti v segmente smartfónov neexistuje žiadny jednotný štandard pre AI, čo zase viedla k situácii, v ktorej každý výrobca čipov má svoje vlastné chápanie a implementáciu AI. Qualcomm rieši niektoré operácie AI cez Hexagon DSP; HiSilicon od Huawei to rieši prostredníctvom nezávislého NPU; Samsung a MediaTek tiež zvládajú operácie AI prostredníctvom vyhradených čipov označovaných ako NPU a APU. Túto situáciu ďalej komplikuje synergia medzi hardvérom a softvérom, ktorá je kľúčová pre efektívny výkon AI. Každý dodávateľ poskytuje svoje vlastné SDK pre AI – Qualcomm má SNPE, MediaTek má NeuroPilot, HiSilicon má HiAI atď.
Benchmark AnTuTu AI Review je rozdelený do dvoch podkategórií: Klasifikácia obrázkov a Rozpoznávanie objektov. Test klasifikácie obrázkov kontroluje testovacie údaje pozostávajúce z 200 obrázkov a je založený na neurónovom systéme Inception v3 sieť, zatiaľ čo test Object Recognition kontroluje 600-snímkové video a je založený na neurónovom SSD MobileNet siete. Tieto neurónové siete sú potom preložené do neurónovej siete, ktorá je podporovaná výrobcom prostredníctvom súpravy SDK poskytnutej predajcom. Ak čip nepodporuje algoritmy súvisiace s AI, benchmarková aplikácia používa TFLite na porovnávanie, ktorého výsledky sami AnTuTu varujú ako neuspokojivé a nespoľahlivé.
Skóre benchmarku priamo súvisí s rýchlosťou aj presnosťou. Ak sa presnosť vymení za rýchlosť, AnTuTu pridelí skóre penalizáciu. To by odradilo AI benchmark podvádzanie, ktoré by sa spoliehalo na jednoduché poskytovanie rýchlych, ale nesprávnych výsledkov.
AnTuTu tiež uviedol niekoľko špeciálnych poznámok pre používanie svojej aplikácie. Platformy, ktoré používajú rovnaký procesor AI, pravdepodobne nebudú mať veľké medzery v skóre, pretože benchmark jednoducho netestuje výkon, ale zameriava sa na Výkon AI. Samsung ešte nevydal svoju súpravu AI SDK a HiSilicon využíva TFLite pre určité funkcie, čo znamená, že ich skóre bude nízke, kým sa tieto situácie nezlepšia. Na skóre bude mať vplyv aj základná verzia zariadenia pre Android, pretože samotný Google optimalizuje podporu AI na systémovej úrovni.
Dokonca aj z vlastného blogového príspevku AnTuTu je jasné, že cieľom je opatrenie Výkon založený na AI nemusí byť možný jednoduchým znížením na číslo. Vo výpočte založenom na AI je zahrnutých veľa premenných, čo pridáva ďalšiu vrstvu zložitosti k už aj tak zložitej interakcii medzi rôznymi hardvérovými a softvérovými riešeniami. Jedinečné číselné skóre, ktoré by vyplynulo z porovnávacej aktivity, by nezodpovedalo nuansám vo svete AI. Takže aj keď sa môžete pozrieť na svoje skóre a peňažne pocítiť určitú mieru hrdosti, vedzte, že sme stále v relatívne raných fázach AI, a ešte viac, porovnávania AI.
Ak si chcete prečítať viac o AI, benchmarkingu AI a súvisiacich výzvach, pozrite si náš rozhovor s Qualcomm's Travis Lanier a Gary Brotman a Ziad Asghar.
Zdroj: AnTuTu