AnTuTu, razvijalec priljubljene primerjalne aplikacije, je izdal merilo uspešnosti za testiranje in merjenje zmogljivosti AI pametnih telefonov. Beri naprej!
V zadnjih letih je vse več podjetij osredotočeno na AI (umetno inteligenco) kot sredstvo za razlikovanje njihovih izdelkov od konkurence. Uporabe umetne inteligence segajo od razumevanja glasovnih ukazov do prepoznavanja scenarijev do izvrševanja neposrednih naročil, zaradi česar je treba zmanjšati trenja med stranko in storitvijo. Zaradi njegove eksplozivne priljubljenosti se AI zdaj pogosto zlorablja kot modna beseda in skrajni čas je, da se vzpostavi sistem merjenja te funkcionalnosti.
AnTuTu, znan po svoji priljubljeni aplikaciji za primerjalno analizo, si je zadal nalogo, da zagotovi merljiv standard za vsakogar, da presodi razlike v zmogljivosti AI različnih platform. Da bi postavil temelje za ta namen, je AnTuTu sodeloval s proizvajalci čipov pri izdaji primerjalne aplikacije, imenovane "AI Review", ki se osredotoča na merjenje zmogljivosti AI pametnih telefonov.
Prenesite AnTuTu's AI Review Benchmark
Objava v spletnem dnevniku AnTuTu za AI Review se začne s poudarjanjem težav pri merjenju nečesa tako velikega, kot je umetna inteligenca. Trenutno v segmentu pametnih telefonov ne obstaja noben enoten standard za AI, kar posledično je privedla do situacije, ko ima vsak proizvajalec čipov svoje razumevanje in implementacijo AI. Qualcomm upravlja nekatere operacije AI prek Hexagon DSP; Huaweijev HiSilicon to obravnava prek neodvisnega NPU; Samsung in MediaTek upravljata tudi operacije umetne inteligence prek namenskih čipov, imenovanih NPU oziroma APU. Ta položaj je še dodatno zapleten zaradi sinergije med strojno in programsko opremo, ki je ključnega pomena za učinkovito delovanje umetne inteligence. Vsak prodajalec ponuja svoj SDK za AI - Qualcomm ima SNPE, MediaTek ima NeuroPilot, HiSilicon ima HiAI itd.
Merilo AnTuTu AI Review je razdeljeno na dve podkategoriji: klasifikacija slik in prepoznavanje predmetov. Test razvrščanja slik pregleduje testne podatke, ki obsegajo 200 slik, in temelji na nevronskem sistemu Inception v3. omrežju, medtem ko test za prepoznavanje predmetov pregleduje videoposnetek s 600 sličicami in temelji na nevronskem modulu MobileNet SSD omrežje. Te nevronske mreže se nato prevedejo v nevronsko mrežo, ki jo podpira proizvajalec prek SDK-ja, ki ga zagotovi prodajalec. Če čip ne podpira algoritmov, povezanih z umetno inteligenco, primerjalna aplikacija za primerjalno analizo uporablja TFLite, rezultate katerega AnTuTu sami opozarjajo kot nezadovoljive in nezanesljive.
Primerjalno točkovanje je neposredno povezano s hitrostjo in natančnostjo. Če se natančnost nadomesti s hitrostjo, AnTuTu rezultatu dodeli kazni. To bi odvrnilo goljufanje pri merilih uspešnosti umetne inteligence, ki bi se zanašalo na preprosto zagotavljanje hitrih, a napačnih rezultatov.
AnTuTu je določil tudi nekaj posebnih opomb za uporabo svoje aplikacije. Platforme, ki uporabljajo isti procesor umetne inteligence, verjetno ne bodo imele velikih vrzeli v rezultatih, saj merilo uspešnosti ne preizkuša le izvedba, vendar se osredotoča na Umetna inteligenca. Samsung še ni izdal svojega AI SDK, HiSilicon pa uporablja TFLite za določene funkcije, kar pomeni, da bodo njihovi rezultati nizki, dokler se te situacije ne izboljšajo. Osnovna različica naprave Android bo prav tako vplivala na rezultat, saj Google sam optimizira podporo AI na sistemski ravni.
Tudi iz lastne objave v spletnem dnevniku AnTuTu je jasno, da je cilj ukrep Zmogljivost na osnovi umetne inteligence morda ne bo mogoča, če jo preprosto skrčimo na številko. Pri računanju na osnovi umetne inteligence je vključenih veliko spremenljivk, ki že tako zapleteni interakciji med različnimi strojnimi in programskimi rešitvami dodajajo še eno plast kompleksnosti. Enotna številčna ocena, ki bi izhajala iz dejavnosti primerjalne analize, ne bi ustrezala niansam, vključenim v svet umetne inteligence. Torej, čeprav morda pogledate svoj rezultat in denarno občutite nekaj ponosa, vedite, da smo še vedno v razmeroma zgodnjih fazah umetne inteligence, še bolj pa primerjalne analize umetne inteligence.
Če želite prebrati več o AI, primerjalni analizi AI in povezanih izzivih, si oglejte naš intervju s Qualcommovim Travis Lanier in Gary Brotman in Ziad Asghar.
Vir: AnTuTu