AnTuTu, utvikleren bak den populære benchmarking-appen, har gitt ut en benchmark for å teste og måle AI-ytelsen til smarttelefoner. Les videre!
De siste årene har flere og flere selskaper fokusert på AI (Artificial Intelligence) som et middel til å skille produktet fra konkurrentene. Bruk av AI spenner fra å forstå talekommandoer til å gjenkjenne scenarier til å utføre direkte ordre, og dermed gjøre det nødvendig å redusere friksjonen mellom en kunde og en tjeneste. På grunn av sin eksploderende popularitet, blir AI nå mye misbrukt som et buzzword, og det er på tide at et system for å måle denne funksjonaliteten blir satt opp.
AnTuTu, kjent for sin populære benchmarking-app, har tatt på seg å gi en kvantifiserbar standard for alle å bedømme forskjellen i AI-ytelse til forskjellige plattformer. For å sette grunnsteinene for dette formålet, har AnTuTu jobbet med brikkeprodusenter for å gi ut en benchmarking-app kalt "AI Review" som fokuserer på å måle AI-ytelsen til smarttelefoner.
Last ned AnTuTus AI Review Benchmark
AnTuTus blogginnlegg for AI Review begynner med å påpeke vanskelighetene med å måle noe så stort som kunstig intelligens. For øyeblikket i smarttelefonsegmentet finnes det ingen enhetlig standard for AI, som igjen har ført til en situasjon der hver brikkeprodusent har sin egen forståelse og implementering av AI. Qualcomm håndterer noen AI-operasjoner gjennom Hexagon DSP; Huaweis HiSilicon håndterer det gjennom en uavhengig NPU; Samsung og MediaTek håndterer også AI-operasjoner gjennom dedikerte brikker referert til som henholdsvis NPU og APU. Denne situasjonen kompliseres ytterligere av synergien mellom maskinvare og programvare, som er avgjørende for effektiv AI-ytelse. Hver leverandør gir sin egen SDK for AI -- Qualcomm har SNPE, MediaTek har NeuroPilot, HiSilicon har HiAI, og så videre.
AnTuTus AI Review-benchmark er delt inn i to underkategorier: bildeklassifisering og objektgjenkjenning. Bildeklassifiseringstesten gjennomgår testdata som består av 200 bilder, og er basert på Inception v3 neural nettverk, mens Object Recognition-testen vurderer en 600-frame video og er basert på MobileNet SSD neural Nettverk. Disse nevrale nettverkene blir deretter oversatt til det nevrale nettverket som støttes av produsenten gjennom SDK levert av leverandøren. Hvis brikken ikke støtter AI-relaterte algoritmer, bruker benchmark-appen TFLite for benchmarking, resultatene som AnTuTu selv advarer om som utilfredsstillende og upålitelige.
Referansescoringen er direkte relatert til både hastighet og nøyaktighet. Hvis nøyaktighet byttes ut mot hastighet, tildeler AnTuTu straffer til poengsummen. Dette ville fraråde AI-benchmark-juks som ville ha vært avhengig av å gi raske, men feil resultater.
AnTuTu har også gitt noen spesielle merknader for bruken av appen sin. Plattformer som bruker samme AI-prosessor vil neppe ha store poenggap, da referansen ikke bare tester opptreden, men fokuserer på AI-ytelse. Samsung har ennå ikke gitt ut sin AI SDK, og HiSilicon bruker TFLite for visse funksjoner, noe som betyr at poengsummen deres kommer til å være lav til disse situasjonene er forbedret. Base Android-versjonen av enheten vil også ha en effekt på poengsummen ettersom Google selv har optimalisert støtten til AI på systemnivå.
Selv fra AnTuTus eget blogginnlegg er det tydelig at målet til måle AI-basert ytelse er kanskje ikke mulig ved å bare koke den ned til et tall. Det er mange variabler involvert i AI-basert beregning, som legger til enda et lag av kompleksitet til den allerede komplekse interaksjonen mellom forskjellige maskinvare- og programvareløsninger. Den enestående numeriske poengsummen som ville komme ut av en benchmarking-aktivitet ville ikke gjøre rettferdighet til nyansene involvert i AI-verdenen. Så selv om du kanskje ser på poengsummen din og føler et mål på stolthet, må du vite at vi fortsatt er i de relativt tidlige stadiene av AI, og enda mer, av AI-benchmarking.
Hvis du ønsker å lese mer om AI, AI-benchmarking og utfordringene involvert, sjekk ut intervjuet vårt med Qualcomms Travis Lanier og Gary Brotman og Ziad Asghar.
Kilde: AnTuTu