AnTuTu, suositun benchmarking-sovelluksen kehittäjä, on julkaissut benchmarkin älypuhelimien tekoälyn suorituskyvyn testaamiseksi ja mittaamiseksi. Jatka lukemista!
Viime vuosina yhä useammat yritykset ovat keskittyneet tekoälyyn (AI) erottaakseen tuotteensa kilpailijoista. Tekoälyn käyttötarkoitukset vaihtelevat äänikomentojen ymmärtämisestä skenaarioiden tunnistamiseen suorien tilausten toteuttamiseen, mikä tekee välttämättömäksi vähentää kitkaa asiakkaan ja palvelun välillä. Räjähdysmäisen suosionsa vuoksi tekoälyä käytetään nykyään laajalti muotisanana, ja on korkea aika ottaa käyttöön jokin tämän toiminnon mittausjärjestelmä.
AnTuTu, joka tunnetaan suositusta benchmarking-sovelluksestaan, on ottanut tehtäväkseen tarjota kvantitatiivisen standardin, jonka avulla jokainen voi arvioida eri alustojen tekoälyn suorituskyvyn eroja. Peruskivien asettamiseksi tälle tarkoitukselle AnTuTu on työskennellyt siruvalmistajien kanssa ja julkaissut benchmarking-sovelluksen nimeltä "AI Review", joka keskittyy älypuhelimien tekoälyn suorituskyvyn mittaamiseen.
Lataa AnTuTu's AI Review Benchmark
AnTuTun AI Review -blogiviesti alkaa huomauttamalla vaikeuksista mitata jotain niin laajaa kuin tekoäly. Tällä hetkellä älypuhelinsegmentissä ei ole olemassa mitään yhtenäistä standardia tekoälylle, mikä puolestaan on johtanut tilanteeseen, jossa jokaisella siruvalmistajalla on oma käsityksensä ja toteutus AI. Qualcomm hoitaa joitain tekoälytoimintoja Hexagon DSP: n kautta; Huawein HiSilicon käsittelee sitä itsenäisen NPU: n kautta; Samsung ja MediaTek hoitavat myös tekoälytoimintoja omistettujen sirujen kautta, joita kutsutaan NPU: ksi ja APU: ksi. Tilannetta vaikeuttaa entisestään laitteiston ja ohjelmiston välinen synergia, mikä on ratkaisevan tärkeää tehokkaan tekoälyn suorituskyvyn kannalta. Jokainen toimittaja tarjoaa oman SDK: n tekoälylle – Qualcommilla on SNPE, MediaTekillä on NeuroPilot, HiSiliconilla on HiAI ja niin edelleen.
AnTuTu: n AI Review -benchmark on jaettu kahteen alaluokkaan: kuvan luokittelu ja objektien tunnistus. Image Classification -testi tarkastelee testidataa, joka koostuu 200 kuvasta ja perustuu Inception v3 -hermostoon. verkkoon, kun taas Object Recognition -testi tarkastelee 600 kehyksen videota ja perustuu MobileNet SSD -neuroon verkkoon. Nämä hermoverkot käännetään sitten valmistajan tukemaan hermoverkkoon toimittajan tarjoaman SDK: n kautta. Jos siru ei tue tekoälyyn liittyviä algoritmeja, benchmark-sovellus käyttää benchmarkingiin TFLitea, jonka tuloksia AnTuTu itse varoittaa epätyydyttäväksi ja epäluotettavaksi.
Vertailupisteytys liittyy suoraan sekä nopeuteen että tarkkuuteen. Jos tarkkuus vaihdetaan nopeuteen, AnTuTu määrää rangaistuksia tulokseen. Tämä estäisi tekoälyn benchmark-huijaamisen, joka olisi tukeutunut yksinkertaisesti nopeiden mutta väärien tulosten tuottamiseen.
AnTuTu on myös asettanut muutamia erityishuomautuksia sovelluksensa käyttöön. Samaa tekoälyprosessoria käyttävillä alustoilla ei todennäköisesti ole suuria eroja, koska vertailuarvo ei vain testaa esitys, mutta keskittyy AI-suorituskyky. Samsung ei ole vielä julkaissut AI SDK: ta, ja HiSilicon käyttää TFLitea tiettyihin toimintoihin, mikä tarkoittaa, että niiden pisteet ovat alhaiset, kunnes nämä tilanteet paranevat. Laitteen Android-perusversiolla on myös vaikutusta pisteytykseen, sillä Google on itse optimoinut tekoälyn tukea järjestelmätasolla.
Jopa AnTuTu: n omasta blogikirjoituksesta käy selväksi, että tavoitteena on mitata AI-pohjainen suorituskyky ei ehkä ole mahdollista keittämällä se vain numeroon. Tekoälypohjaiseen laskemiseen liittyy paljon muuttujia, mikä lisää uuden kerroksen monimutkaisuutta eri laitteisto- ja ohjelmistoratkaisujen jo ennestään monimutkaiseen vuorovaikutukseen. Yksittäinen numeerinen pistemäärä, joka syntyisi benchmarking-toiminnasta, ei tekisi oikeutta tekoälyn maailmaan liittyville vivahteille. Vaikka saatatkin katsoa pisteitäsi ja tuntea rahallisesti ylpeyttä, tiedä, että olemme vielä verrattain varhaisessa vaiheessa tekoälyn ja vielä varsinkin tekoälyn benchmarkingin vaiheissa.
Jos haluat lukea lisää tekoälystä, tekoälyn benchmarkingista ja niihin liittyvistä haasteista, katso haastattelumme Qualcommin kanssa. Travis Lanier ja Gary Brotman ja Ziad Asghar.
Lähde: AnTuTu