AnTuTu, vývojář za populární benchmarkingovou aplikací, vydal benchmark pro testování a měření výkonu AI smartphonů. Číst dál!
V posledních letech se stále více společností zaměřuje na AI (Artificial Intelligence) jako prostředek k odlišení svých produktů od konkurence. Využití umělé inteligence sahá od porozumění hlasovým příkazům přes rozpoznání scénářů až po provádění přímých příkazů, takže je nutné snížit třenice mezi zákazníkem a službou. Kvůli své explozivní popularitě je AI nyní široce zneužívána jako módní slovo a je na čase, aby byl nastaven nějaký systém měření této funkce.
AnTuTu, známá svou oblíbenou aplikací pro srovnávání, se rozhodla poskytnout kvantifikovatelný standard pro každého, aby mohl posoudit rozdíl ve výkonu AI různých platforem. Aby AnTuTu položila základní kameny pro tento účel, spolupracovala s výrobci čipů na vydání srovnávací aplikace s názvem „AI Review“, která se zaměřuje na měření výkonu AI chytrých telefonů.
Stáhněte si AnTuTu's AI Review Benchmark
Blogový příspěvek AnTuTu pro AI Review začíná poukazem na obtíže při měření něčeho tak rozsáhlého, jako je umělá inteligence. V současné době v segmentu chytrých telefonů neexistuje žádný jednotný standard pro AI, což zase vedlo k situaci, kdy každý výrobce čipů má své vlastní chápání a implementaci AI. Qualcomm zpracovává některé operace AI prostřednictvím Hexagon DSP; HiSilicon od Huawei to řeší prostřednictvím nezávislého NPU; Samsung a MediaTek také zpracovávají operace AI prostřednictvím vyhrazených čipů označovaných jako NPU a APU. Tuto situaci dále komplikuje synergie mezi hardwarem a softwarem, která je zásadní pro efektivní výkon AI. Každý dodavatel poskytuje vlastní SDK pro AI – Qualcomm má SNPE, MediaTek má NeuroPilot, HiSilicon má HiAI a tak dále.
Benchmark AI Review společnosti AnTuTu je rozdělen do dvou podkategorií: Klasifikace obrázků a Rozpoznávání objektů. Test klasifikace obrázků kontroluje testovací data obsahující 200 obrázků a je založen na neurálním systému Inception v3 síť, zatímco test Object Recognition kontroluje 600-snímkové video a je založen na MobileNet SSD neuronovém síť. Tyto neuronové sítě jsou poté převedeny do neuronové sítě, která je podporována výrobcem prostřednictvím sady SDK poskytnuté dodavatelem. Pokud čip nepodporuje algoritmy související s AI, benchmarková aplikace používá pro benchmarking TFLite, jehož výsledky sami AnTuTu varují jako neuspokojivé a nespolehlivé.
Srovnávací hodnocení přímo souvisí s rychlostí i přesností. Pokud je přesnost vyměněna za rychlost, AnTuTu přiřadí skóre ke skóre. To by odrazovalo od podvádění srovnávacích testů AI, které by se spoléhalo na pouhé poskytování rychlých, ale nesprávných výsledků.
AnTuTu také uvedl několik speciálních poznámek pro používání své aplikace. Platformy, které používají stejný procesor AI, pravděpodobně nebudou mít velké mezery ve skóre, protože benchmark pouze netestuje výkon, ale zaměřuje se na Výkon AI. Samsung ještě nevydal své AI SDK a HiSilicon pro určité funkce využívá TFLite, což znamená, že jejich skóre bude nízké, dokud se tyto situace nezlepší. Na skóre bude mít vliv i základní verze zařízení pro Android, protože samotný Google optimalizuje podporu AI na systémové úrovni.
I z vlastního blogového příspěvku AnTuTu je zřejmé, že cílem je opatření Výkon založený na AI nemusí být možný pouhým snížením na číslo. Ve výpočtech založených na AI je zapojeno mnoho proměnných, což přidává další vrstvu složitosti k již tak složité interakci mezi různými hardwarovými a softwarovými řešeními. Jedinečné číselné skóre, které by vzešlo z benchmarkingové aktivity, by neodpovídalo nuancím obsaženým ve světě AI. I když se tedy můžete podívat na své skóre a z finančního hlediska pociťovat určitou míru hrdosti, vězte, že jsme stále v relativně raných fázích umělé inteligence, a ještě více, srovnávání umělé inteligence.
Pokud si chcete přečíst více o AI, benchmarkingu AI a souvisejících výzvách, podívejte se na náš rozhovor s Qualcomm's Travis Lanier a Gary Brotman a Ziad Asghar.
Zdroj: AnTuTu