AnTuTu, programer koji stoji iza popularne benchmarking aplikacije, objavio je benchmark za testiranje i mjerenje AI performansi pametnih telefona. Nastavi čitati!
Posljednjih godina sve se više tvrtki usredotočuje na AI (umjetnu inteligenciju) kao sredstvo za razlikovanje svojih proizvoda od konkurencije. Upotrebe umjetne inteligencije kreću se od razumijevanja glasovnih naredbi do prepoznavanja scenarija do izvršavanja izravnih naredbi, čime je potrebno smanjiti trvenje između korisnika i usluge. Zbog svoje eksplozivne popularnosti, AI se sada naširoko zlorabi kao poštapalica i krajnje je vrijeme da se uspostavi neki sustav mjerenja ove funkcionalnosti.
AnTuTu, poznat po svojoj popularnoj aplikaciji za usporedbu, preuzeo je na sebe osigurati mjerljivi standard za svakoga kako bi procijenio razliku u performansama AI različitih platformi. Kako bi postavio kamen temeljac za ovu svrhu, AnTuTu je surađivao s proizvođačima čipova na izdavanju aplikacije za usporedbu pod nazivom "AI Review" koja se fokusira na mjerenje AI performansi pametnih telefona.
Preuzmite AnTuTu AI Review Benchmark
AnTuTu blog post za AI Review počinje ukazivanjem na poteškoće u mjerenju nečega tako ogromnog kao što je umjetna inteligencija. Trenutno u segmentu pametnih telefona ne postoji jedinstveni standard za AI, koji pak dovela je do situacije u kojoj svaki proizvođač čipova ima vlastito razumijevanje i implementaciju AI. Qualcomm upravlja nekim AI operacijama kroz Hexagon DSP; Huaweijev HiSilicon upravlja time kroz neovisni NPU; Samsung i MediaTek također upravljaju AI operacijama putem namjenskih čipova koji se nazivaju NPU odnosno APU. Ovu situaciju dodatno komplicira sinergija između hardvera i softvera, koja je ključna za učinkovite performanse umjetne inteligencije. Svaki dobavljač nudi vlastiti SDK za AI -- Qualcomm ima SNPE, MediaTek ima NeuroPilot, HiSilicon ima HiAI itd.
AnTuTu's AI Review benchmark podijeljen je u dvije potkategorije: Klasifikacija slike i Prepoznavanje objekata. Test klasifikacije slika pregledava testne podatke koji se sastoje od 200 slika, a temelji se na Inception v3 neuronskom mreže, dok test prepoznavanja objekata pregledava video od 600 sličica i temelji se na MobileNet SSD neuronskom mreža. Te se neuronske mreže zatim prevode u neuronsku mrežu koju podržava proizvođač putem SDK-a koji osigurava dobavljač. Ako čip ne podržava algoritme povezane s umjetnom inteligencijom, benchmark aplikacija koristi TFLite za benchmarking, čije rezultate sami AnTuTu upozoravaju kao nezadovoljavajuće i nepouzdane.
Referentno bodovanje izravno je povezano s brzinom i preciznošću. Ako se točnost zamijeni brzinom, AnTuTu dodjeljuje kazne rezultatu. To bi obeshrabrilo AI benchmark varanje koje bi se oslanjalo na jednostavno pružanje brzih, ali pogrešnih rezultata.
AnTuTu je također postavio nekoliko posebnih napomena za korištenje svoje aplikacije. Platforme koje koriste isti procesor umjetne inteligencije vjerojatno neće imati velike razlike u rezultatima jer referentna vrijednost ne testira samo izvođenje, ali se fokusira na AI-izvedba. Samsung još nije objavio svoj AI SDK, a HiSilicon koristi TFLite za određene funkcije, što znači da će njihovi rezultati biti niski dok se te situacije ne poprave. Osnovna Android verzija uređaja također će utjecati na ocjenu budući da sam Google optimizira podršku za AI na razini sustava.
Čak i iz AnTuTu-ovog vlastitog posta na blogu jasno je da je cilj mjera Performanse temeljene na umjetnoj inteligenciji možda neće biti moguće jednostavno svesti na broj. Mnogo je varijabli uključenih u računanje temeljeno na umjetnoj inteligenciji, što dodaje još jedan sloj složenosti ionako složenoj interakciji između različitih hardverskih i softverskih rješenja. Pojedinačna numerička ocjena koja bi proizašla iz aktivnosti usporedne analize ne bi opravdala nijanse uključene u svijet umjetne inteligencije. Dakle, iako možete pogledati svoj rezultat i novčano osjetiti mjeru ponosa, znajte da smo još uvijek u relativno ranim fazama AI, a još više, AI benchmarkinga.
Ako želite pročitati više o umjetnoj inteligenciji, benchmarkingu umjetne inteligencije i uključenim izazovima, pogledajte naš intervju s Qualcommovim Travis Lanier i Gary Brotman i Ziad Asghar.
Izvor: AnTuTu