AnTuTu, de ontwikkelaar achter de populaire benchmarking-app, heeft een benchmark uitgebracht om de AI-prestaties van smartphones te testen en te meten. Lees verder!
De afgelopen jaren hebben steeds meer bedrijven zich gericht op AI (Artificiële Intelligentie) als middel om hun product te onderscheiden van de concurrentie. Het gebruik van AI varieert van het begrijpen van spraakopdrachten tot het herkennen van scenario's tot het uitvoeren van directe orders, waardoor het noodzakelijk wordt om de wrijving tussen een klant en een dienst te verminderen. Vanwege de exploderende populariteit wordt AI nu op grote schaal misbruikt als modewoord, en het wordt tijd dat er een systeem wordt opgezet om deze functionaliteit te meten.
AnTuTu, bekend om zijn populaire benchmarking-app, heeft de taak op zich genomen om een kwantificeerbare standaard te bieden waarmee iedereen het verschil in AI-prestaties van verschillende platforms kan beoordelen. Om de basis voor dit doel te leggen, heeft AnTuTu samen met chipfabrikanten een benchmarking-app uitgebracht genaamd "AI Review", die zich richt op het meten van de AI-prestaties van smartphones.
Download de AI Review Benchmark van AnTuTu
AnTuTu's blogpost voor AI Review begint met te wijzen op de moeilijkheden bij het meten van zoiets groots als kunstmatige intelligentie. Momenteel bestaat er in het smartphonesegment geen uniforme standaard voor AI, wat op zijn beurt niet het geval is heeft geleid tot een situatie waar iedere chipfabrikant zijn eigen begrip en implementatie van heeft AI. Qualcomm voert een aantal AI-operaties uit via de Hexagon DSP; Huawei's HiSilicon handelt dit af via een onafhankelijke NPU; Samsung en MediaTek voeren ook AI-operaties uit via speciale chips die respectievelijk NPU en APU worden genoemd. Deze situatie wordt verder gecompliceerd door de synergie tussen hardware en software, die cruciaal is voor effectieve AI-prestaties. Elke leverancier levert zijn eigen SDK voor AI: Qualcomm heeft SNPE, MediaTek heeft NeuroPilot, HiSilicon heeft HiAI, enzovoort.
De AI Review-benchmark van AnTuTu is onderverdeeld in twee subcategorieën: beeldclassificatie en objectherkenning. De Image Classification-test beoordeelt testgegevens bestaande uit 200 afbeeldingen en is gebaseerd op de Inception v3 neural netwerk, terwijl de Object Recognition-test een video van 600 frames beoordeelt en gebaseerd is op de MobileNet SSD neural netwerk. Deze neurale netwerken worden vervolgens vertaald naar het neurale netwerk dat door de fabrikant wordt ondersteund via de SDK die door de leverancier wordt geleverd. Als de chip geen AI-gerelateerde algoritmen ondersteunt, gebruikt de benchmark-app TFLite voor benchmarking, waarvan AnTuTu zelf waarschuwt als onbevredigend en onbetrouwbaar.
De benchmarkscore houdt rechtstreeks verband met zowel snelheid als nauwkeurigheid. Als nauwkeurigheid wordt ingeruild voor snelheid, kent AnTuTu straffen toe aan de score. Dit zou het bedrog van AI-benchmarks ontmoedigen, omdat dit alleen maar snelle maar verkeerde resultaten zou opleveren.
AnTuTu heeft ook enkele bijzondere opmerkingen vastgelegd voor het gebruik van haar app. Het is onwaarschijnlijk dat platforms die dezelfde AI-processor gebruiken grote verschillen in de scores zullen hebben, aangezien de benchmark niet eenvoudigweg test prestatie, maar richt zich op AI-prestaties. Samsung heeft zijn AI SDK nog niet uitgebracht en HiSilicon gebruikt TFLite voor bepaalde functies, wat betekent dat hun scores laag zullen zijn totdat die situaties zijn verbeterd. Ook de basis-Android-versie van het toestel zal effect hebben op de score, aangezien Google zelf de ondersteuning van AI op systeemniveau heeft geoptimaliseerd.
Zelfs uit AnTuTu's eigen blogpost wordt duidelijk dat het doel is om meeteenheid Prestaties op basis van AI zijn misschien niet mogelijk door het simpelweg terug te brengen tot een getal. Er zijn veel variabelen betrokken bij op AI gebaseerde berekeningen, wat een extra laag complexiteit toevoegt aan de toch al complexe interactie tussen verschillende hardware- en softwareoplossingen. De unieke numerieke score die uit een benchmarkingactiviteit zou voortkomen, zou geen recht doen aan de nuances die betrokken zijn bij de wereld van AI. Dus hoewel u misschien naar uw score kijkt en financieel gezien een zekere trots voelt, weet u dat we ons nog in de relatief vroege stadia van AI bevinden, en nog meer van AI-benchmarking.
Als je meer wilt lezen over AI, AI-benchmarking en de uitdagingen die daarmee gepaard gaan, bekijk dan ons interview met Qualcomm's Travis Lanier En Gary Brotman en Ziad Asghar.
Bron: AnTuTu