AnTuTu, udvikleren bag den populære benchmarking-app, har udgivet et benchmark til at teste og måle AI-ydeevnen på smartphones. Læs videre!
De seneste år har flere og flere virksomheder fokuseret på AI (Artificial Intelligence) som et middel til at adskille deres produkt fra konkurrenterne. Anvendelser af AI spænder fra at forstå stemmekommandoer til at genkende scenarier til at udføre direkte ordrer, hvilket gør det nødvendigt at reducere friktionen mellem en kunde og en service. På grund af dens eksploderende popularitet er AI nu almindeligt misbrugt som et buzzword, og det er på tide, at et system til at måle denne funktionalitet bliver sat op.
AnTuTu, kendt for sin populære benchmarking-app, har påtaget sig at levere en kvantificerbar standard for alle til at bedømme forskellen i AI-ydeevne på forskellige platforme. For at sætte grundstenene til dette formål har AnTuTu arbejdet sammen med chipproducenter for at frigive en benchmarking-app kaldet "AI Review", der fokuserer på at måle AI-ydeevnen på smartphones.
Download AnTuTu's AI Review Benchmark
AnTuTus blogindlæg til AI Review begynder med at påpege vanskelighederne ved at måle noget så stort som kunstig intelligens. I øjeblikket i smartphone-segmentet eksisterer der ikke nogen samlet standard for AI, hvilket igen har ført til en situation, hvor hver chipproducent har deres egen forståelse og implementering af AI. Qualcomm håndterer nogle AI-operationer gennem Hexagon DSP; Huaweis HiSilicon håndterer det gennem en uafhængig NPU; Samsung og MediaTek håndterer også AI-operationer gennem dedikerede chips kaldet henholdsvis NPU og APU. Denne situation kompliceres yderligere af synergien mellem hardware og software, som er afgørende for effektiv AI-ydeevne. Hver leverandør leverer deres eget SDK til AI -- Qualcomm har SNPE, MediaTek har NeuroPilot, HiSilicon har HiAI og så videre.
AnTuTus AI Review benchmark er opdelt i to underkategorier: Billedklassificering og objektgenkendelse. Billedklassificeringstesten gennemgår testdata bestående af 200 billeder og er baseret på Inception v3 neural netværk, mens objektgenkendelsestesten gennemgår en 600-frames video og er baseret på MobileNet SSD neural netværk. Disse neurale netværk oversættes derefter til det neurale netværk, der understøttes af producenten gennem SDK'et leveret af leverandøren. Hvis chippen ikke understøtter AI-relaterede algoritmer, bruger benchmark-appen TFLite til benchmarking, hvis resultater AnTuTu selv advarer om at være utilfredsstillende og upålidelige.
Benchmark-scoringen er direkte relateret til både hastighed og nøjagtighed. Hvis nøjagtighed byttes ud med hastighed, tildeler AnTuTu scoren straffe. Dette ville afskrække AI benchmark snyd, der ville have været afhængig af blot at give hurtige, men forkerte resultater.
AnTuTu har også nedfældet et par særlige bemærkninger til brugen af sin app. Platforme, der bruger den samme AI-processor, vil næppe have store scoregab, da benchmark ikke blot tester ydeevne, men fokuserer på AI-ydelse. Samsung har endnu ikke frigivet sin AI SDK, og HiSilicon bruger TFLite til visse funktioner, hvilket betyder, at deres score vil være lav, indtil disse situationer er forbedret. Den grundlæggende Android-version af enheden vil også have en effekt på scoren, da Google selv har optimeret understøttelsen af AI på systemniveau.
Selv fra AnTuTus eget blogindlæg er det tydeligt, at målet til måle AI-baseret ydeevne er muligvis ikke mulig ved blot at koge det ned til et tal. Der er en masse variable involveret i AI-baseret beregning, hvilket tilføjer endnu et lag af kompleksitet til den allerede komplekse interaktion mellem forskellige hardware- og softwareløsninger. Den enestående numeriske score, der ville komme ud af en benchmarking-aktivitet, ville ikke yde retfærdighed til nuancerne involveret i AI-verdenen. Så selvom du måske ser på din score og monetært føler en grad af stolthed, skal du vide, at vi stadig er i de relativt tidlige stadier af AI, og endnu mere, af AI-benchmarking.
Hvis du ønsker at læse mere om AI, AI-benchmarking og de involverede udfordringer, så tjek vores interview med Qualcomm's Travis Lanier og Gary Brotman og Ziad Asghar.
Kilde: AnTuTu