AnTuTu, dezvoltatorul din spatele popularei aplicații de benchmarking, a lansat un benchmark pentru a testa și măsura performanța AI a smartphone-urilor. Citește mai departe!
În ultimii ani, tot mai multe companii se concentrează pe AI (Inteligenta Artificială) ca mijloc de a-și distinge produsul de concurență. Utilizările AI variază de la înțelegerea comenzilor vocale la recunoașterea scenariilor până la executarea comenzilor directe, făcând astfel necesară reducerea frecării dintre un client și un serviciu. Datorită popularității sale explozive, AI este acum folosită pe scară largă ca un cuvânt la modă și este timpul să fie creat un sistem de măsurare a acestei funcționalități.
AnTuTu, cunoscut pentru populara sa aplicație de evaluare comparativă, și-a asumat responsabilitatea de a oferi un standard cuantificabil pentru ca toată lumea să judece diferența de performanță AI a diferitelor platforme. Pentru a pune bazele în acest scop, AnTuTu a colaborat cu producătorii de cipuri pentru a lansa o aplicație de benchmarking numită „AI Review”, care se concentrează pe măsurarea performanței AI a smartphone-urilor.
Descărcați AnTuTu’s AI Review Benchmark
Postarea de blog a lui AnTuTu pentru AI Review începe prin a sublinia dificultățile de a măsura ceva la fel de vast ca inteligența artificială. În prezent, în segmentul smartphone-urilor, nu există niciun standard unificat pentru AI, care la rândul său a condus la o situație în care fiecare producător de cip are propria înțelegere și implementare a AI. Qualcomm gestionează unele operațiuni AI prin Hexagon DSP; HiSilicon de la Huawei se ocupă de acest lucru printr-un NPU independent; Samsung și MediaTek gestionează și operațiunile AI prin intermediul cipurilor dedicate, denumite NPU și, respectiv, APU. Această situație este și mai complicată de sinergia dintre hardware și software, care este crucială pentru performanța eficientă a AI. Fiecare furnizor oferă propriul SDK pentru AI -- Qualcomm are SNPE, MediaTek are NeuroPilot, HiSilicon are HiAI și așa mai departe.
Benchmark-ul AnTuTu AI Review este împărțit în două subcategorii: Clasificarea imaginilor și Recunoașterea obiectelor. Testul de clasificare a imaginilor analizează datele de testare care conțin 200 de imagini și se bazează pe neuronul Inception v3. în rețea, în timp ce testul de recunoaștere a obiectelor analizează un videoclip cu 600 de cadre și se bazează pe SSD-ul neuronal MobileNet. reţea. Aceste rețele neuronale sunt apoi traduse în rețeaua neuronală care este susținută de producător prin SDK-ul furnizat de furnizor. Dacă cipul nu acceptă algoritmi legați de AI, aplicația de benchmark folosește TFLite pentru benchmarking, rezultatele despre care AnTuTu înșiși le avertizează ca fiind nesatisfăcătoare și nesigure.
Nota de referință este direct legată atât de viteză, cât și de precizie. Dacă precizia este schimbată cu viteza, AnTuTu atribuie penalități scorului. Acest lucru ar descuraja trișarea de referință AI care s-ar fi bazat pe furnizarea de rezultate rapide, dar greșite.
AnTuTu a formulat, de asemenea, câteva observații speciale pentru utilizarea aplicației sale. Este puțin probabil ca platformele care folosesc același procesor AI să aibă decalaje mari de scor, deoarece benchmarkul nu testează pur și simplu performanţă, dar se concentrează pe AI-performanță. Samsung nu și-a lansat încă SDK-ul AI, iar HiSilicon utilizează TFLite pentru anumite funcții, ceea ce înseamnă că scorurile lor vor fi scăzute până când aceste situații vor fi îmbunătățite. Versiunea de bază Android a dispozitivului va avea, de asemenea, un efect asupra scorului, deoarece Google însuși a optimizat suportul AI la nivel de sistem.
Chiar și din propria postare pe blog a lui AnTuT, este clar că obiectivul să măsura Performanța bazată pe inteligență artificială ar putea să nu fie posibilă prin simpla reducere la un număr. Există o mulțime de variabile implicate în calculul bazat pe AI, ceea ce adaugă un alt nivel de complexitate interacțiunii deja complexe dintre diferite soluții hardware și software. Scorul numeric singular care ar ieși dintr-o activitate de benchmarking nu ar face dreptate nuanțele implicate în lumea AI. Deci, deși s-ar putea să vă uitați la scorul dvs. și să simțiți o măsură de mândrie din punct de vedere financiar, să știți că ne aflăm încă în stadiile relativ incipiente ale AI și, cu atât mai mult, ale benchmarking-ului AI.
Dacă doriți să citiți mai multe despre AI, AI benchmarking și provocările implicate, consultați interviul nostru cu Qualcomm Travis Lanier și Gary Brotman și Ziad Asghar.
Sursa: AnTuTu