AnTuTu, twórca popularnej aplikacji do testów porównawczych, udostępnił test porównawczy do testowania i pomiaru wydajności smartfonów ze sztuczną inteligencją. Czytaj!
W ostatnich latach coraz więcej firm skupiało się na sztucznej inteligencji (sztucznej inteligencji), aby wyróżnić swój produkt na tle konkurencji. Zastosowania sztucznej inteligencji obejmują rozumienie poleceń głosowych, rozpoznawanie scenariuszy i bezpośrednie wykonywanie zamówień, co powoduje konieczność zmniejszenia tarcia między klientem a usługą. Ze względu na rosnącą popularność sztuczna inteligencja jest obecnie powszechnie nadużywana jako modne hasło i nadszedł czas, aby stworzyć system pomiaru tej funkcjonalności.
Firma AnTuTu, znana z popularnej aplikacji do testów porównawczych, podjęła się zapewnienia każdemu wymiernego standardu umożliwiającego ocenę różnic w wydajności sztucznej inteligencji na różnych platformach. Aby stworzyć podwaliny pod ten cel, AnTuTu współpracowało z producentami chipów w celu udostępnienia aplikacji testowej o nazwie „AI Review”, która koncentruje się na pomiarze wydajności smartfonów ze sztuczną inteligencją.
Pobierz test porównawczy AI AnTuTu
Wpis na blogu AnTuTu dotyczący AI Review rozpoczyna się od wskazania trudności w pomiarze czegoś tak ogromnego, jak sztuczna inteligencja. Obecnie w segmencie smartfonów nie ma jednolitego standardu dla AI, co z kolei doprowadziło do sytuacji, w której każdy producent chipów ma własne rozumienie i wdrażanie sztuczna inteligencja Qualcomm obsługuje niektóre operacje AI za pośrednictwem Hexagon DSP; HiSilicon Huawei obsługuje to poprzez niezależną jednostkę NPU; Samsung i MediaTek obsługują również operacje AI za pośrednictwem dedykowanych chipów, zwanych odpowiednio NPU i APU. Sytuację dodatkowo komplikuje synergia pomiędzy sprzętem i oprogramowaniem, która jest kluczowa dla efektywnego działania sztucznej inteligencji. Każdy dostawca zapewnia własny pakiet SDK dla sztucznej inteligencji – Qualcomm ma SNPE, MediaTek ma NeuroPilot, HiSilicon ma HiAI i tak dalej.
Test porównawczy AI Review AnTuTu jest podzielony na dwie podkategorie: Klasyfikacja obrazu i Rozpoznawanie obiektów. Test Klasyfikacji Obrazów przegląda dane testowe składające się z 200 obrazów i opiera się na systemie neuronowym Inception v3 sieci, podczas gdy test rozpoznawania obiektów przegląda 600-klatkowy obraz wideo i opiera się na sieci neuronowej MobileNet SSD sieć. Te sieci neuronowe są następnie tłumaczone na sieć neuronową obsługiwaną przez producenta za pośrednictwem pakietu SDK dostarczonego przez dostawcę. Jeśli chip nie obsługuje algorytmów związanych ze sztuczną inteligencją, aplikacja testowa wykorzystuje TFLite do testów porównawczych, których wyniki same AnTuTu ostrzegają jako niezadowalające i niewiarygodne.
Wynik testu porównawczego jest bezpośrednio powiązany zarówno z szybkością, jak i dokładnością. Jeśli dokładność zostanie zamieniona na szybkość, AnTuTu przypisuje kary do wyniku. Zniechęciłoby to do oszukiwania w benchmarkach AI, które polegałoby na prostym dostarczaniu szybkich, ale błędnych wyników.
AnTuTu przedstawiło również kilka specjalnych uwag dotyczących korzystania ze swojej aplikacji. Jest mało prawdopodobne, aby platformy korzystające z tego samego procesora AI miały duże różnice w wynikach, ponieważ test porównawczy nie polega jedynie na testowaniu wydajność, ale skupia się na Wydajność AI. Samsung nie wypuścił jeszcze pakietu AI SDK, a HiSilicon wykorzystuje TFLite do niektórych funkcji, co oznacza, że jego wyniki będą niskie, dopóki sytuacja się nie poprawi. Wpływ na wynik będzie mieć także podstawowa wersja urządzenia z Androidem, gdyż sam Google optymalizuje obsługę AI na poziomie systemowym.
Nawet z własnego wpisu na blogu AnTuTu jasno wynika, że celem jest mierzyć Wydajność oparta na sztucznej inteligencji może nie być możliwa poprzez proste sprowadzenie jej do liczby. Obliczenia oparte na sztucznej inteligencji wymagają wielu zmiennych, co dodaje kolejną warstwę złożoności do i tak już złożonej interakcji między różnymi rozwiązaniami sprzętowymi i programowymi. Pojedynczy wynik liczbowy uzyskany w wyniku analizy porównawczej nie oddałby sprawiedliwości niuansów występujących w świecie sztucznej inteligencji. Tak więc, choć możesz spojrzeć na swój wynik i poczuć dumę pod względem finansowym, wiedz, że wciąż jesteśmy na stosunkowo wczesnym etapie rozwoju sztucznej inteligencji, a tym bardziej jej testów porównawczych.
Jeśli chcesz przeczytać więcej na temat sztucznej inteligencji, testów porównawczych AI i związanych z nią wyzwań, przeczytaj nasz wywiad z dyrektorem Qualcomm Travisa Laniera I Gary'ego Brotmana i Ziada Asghara.
Źródło: AnTuTu