AnTuTu, utvecklaren bakom den populära benchmarking-appen, har släppt ett riktmärke för att testa och mäta AI-prestandan hos smartphones. Läs vidare!
De senaste åren har fler och fler företag fokuserat på AI (Artificial Intelligence) som ett sätt att särskilja sin produkt från konkurrenterna. Användningen av AI sträcker sig från att förstå röstkommandon till att känna igen scenarier till att utföra direkta order, vilket gör det nödvändigt att minska friktionen mellan en kund och en tjänst. På grund av dess exploderande popularitet missbrukas AI nu allmänt som ett modeord, och det är på tiden att något system för att mäta denna funktionalitet inrättas.
AnTuTu, känd för sin populära benchmarking-app, har tagit på sig att tillhandahålla en kvantifierbar standard för alla att bedöma skillnaden i AI-prestanda på olika plattformar. För att sätta grundstenarna för detta ändamål har AnTuTu arbetat med chiptillverkare för att släppa en benchmarking-app som heter "AI Review" som fokuserar på att mäta AI-prestanda hos smartphones.
Ladda ner AnTuTus AI Review Benchmark
AnTuTus blogginlägg för AI Review börjar med att påpeka svårigheterna med att mäta något så stort som artificiell intelligens. För närvarande inom smartphonesegmentet finns det ingen enhetlig standard för AI, vilket i sin tur har lett till en situation där varje chiptillverkare har sin egen förståelse och implementering av AI. Qualcomm hanterar vissa AI-operationer genom Hexagon DSP; Huaweis HiSilicon hanterar det genom en oberoende NPU; Samsung och MediaTek hanterar också AI-operationer genom dedikerade kretsar som kallas NPU respektive APU. Denna situation kompliceras ytterligare av synergin mellan hårdvara och mjukvara, vilket är avgörande för effektiv AI-prestanda. Varje leverantör tillhandahåller sin egen SDK för AI -- Qualcomm har SNPE, MediaTek har NeuroPilot, HiSilicon har HiAI, och så vidare.
AnTuTus AI Review-riktmärke är uppdelat i två underkategorier: Bildklassificering och Objektigenkänning. Bildklassificeringstestet granskar testdata som består av 200 bilder och är baserat på Inception v3 neural nätverk, medan Object Recognition-testet granskar en video med 600 bildrutor och är baserad på MobileNet SSD neural nätverk. Dessa neurala nätverk översätts sedan till det neurala nätverk som stöds av tillverkaren genom SDK som tillhandahålls av leverantören. Om chipet inte stöder AI-relaterade algoritmer använder benchmark-appen TFLite för benchmarking, vars resultat AnTuTu själva varnar för att vara otillfredsställande och opålitliga.
Benchmarkpoängen är direkt relaterad till både hastighet och noggrannhet. Om noggrannhet byts ut mot snabbhet, tilldelar AnTuTu straff till poängen. Detta skulle avskräcka AI benchmark fusk som skulle ha förlitat sig på att helt enkelt ge snabba men felaktiga resultat.
AnTuTu har också lagt ner några särskilda anmärkningar för användningen av sin app. Plattformar som använder samma AI-processor kommer sannolikt inte att ha stora poängskillnader eftersom riktmärket inte bara testar prestanda, men fokuserar på AI-prestanda. Samsung har ännu inte släppt sin AI SDK, och HiSilicon använder TFLite för vissa funktioner, vilket innebär att deras poäng kommer att vara låga tills dessa situationer förbättras. Bas Android-versionen av enheten kommer också att ha en effekt på poängen eftersom Google själv har optimerat stödet för AI på systemnivå.
Även från AnTuTus eget blogginlägg är det tydligt att målet att mäta AI-baserad prestanda kanske inte är möjlig genom att helt enkelt koka ner den till en siffra. Det finns många variabler involverade i AI-baserad beräkning, vilket lägger till ytterligare ett lager av komplexitet till den redan komplexa interaktionen mellan olika hårdvaru- och mjukvarulösningar. Den singulära numeriska poängen som skulle komma från en benchmarkingaktivitet skulle inte göra rättvisa åt nyanserna som är involverade i AI-världen. Så även om du kanske tittar på din poäng och monetärt känner ett mått av stolthet, vet du att vi fortfarande är i de relativt tidiga stadierna av AI, och ännu mer, av AI-benchmarking.
Om du vill läsa mer om AI, AI-benchmarking och de utmaningar som är involverade, kolla in vår intervju med Qualcomms Travis Lanier och Gary Brotman och Ziad Asghar.
Källa: AnTuTu