AnTuTu, lo sviluppatore della popolare app di benchmarking, ha rilasciato un benchmark per testare e misurare le prestazioni dell'intelligenza artificiale degli smartphone. Continuare a leggere!
Gli ultimi anni hanno visto sempre più aziende concentrarsi sull’AI (Intelligenza Artificiale) come mezzo per distinguere il proprio prodotto dalla concorrenza. Gli usi dell’intelligenza artificiale spaziano dalla comprensione dei comandi vocali al riconoscimento degli scenari fino all’esecuzione di ordini diretti, rendendo così necessario ridurre l’attrito tra un cliente e un servizio. A causa della sua crescente popolarità, l’intelligenza artificiale è ora ampiamente utilizzata come parola d’ordine, ed è giunto il momento di istituire un sistema per misurare questa funzionalità.
AnTuTu, nota per la sua popolare app di benchmarking, si è impegnata a fornire uno standard quantificabile affinché tutti possano giudicare la differenza nelle prestazioni dell'intelligenza artificiale di diverse piattaforme. Per porre le basi per questo scopo, AnTuTu ha collaborato con i produttori di chip per rilasciare un'app di benchmarking chiamata "AI Review" che si concentra sulla misurazione delle prestazioni AI degli smartphone.
Scarica il benchmark di revisione dell'intelligenza artificiale di AnTuTu
Il post sul blog di AnTuTu per AI Review inizia sottolineando le difficoltà nel misurare qualcosa di così vasto come l'intelligenza artificiale. Attualmente nel segmento degli smartphone non esiste uno standard unificato per l'intelligenza artificiale, che a sua volta ha portato a una situazione in cui ogni produttore di chip ha la propria comprensione e implementazione di AI. Qualcomm gestisce alcune operazioni di intelligenza artificiale tramite Hexagon DSP; L'HiSilicon di Huawei lo gestisce tramite una NPU indipendente; Samsung e MediaTek gestiscono anche le operazioni di intelligenza artificiale tramite chip dedicati denominati rispettivamente NPU e APU. Questa situazione è ulteriormente complicata dalla sinergia tra hardware e software, che è fondamentale per prestazioni efficaci dell’intelligenza artificiale. Ogni fornitore fornisce il proprio SDK per l'intelligenza artificiale: Qualcomm ha SNPE, MediaTek ha NeuroPilot, HiSilicon ha HiAI e così via.
Il benchmark AI Review di AnTuTu è diviso in due sottocategorie: Classificazione delle immagini e Riconoscimento degli oggetti. Il test di classificazione delle immagini esamina i dati di test comprendenti 200 immagini e si basa sul neurale Inception v3 rete, mentre il test di riconoscimento degli oggetti esamina un video da 600 fotogrammi e si basa sul neurale MobileNet SSD rete. Queste reti neurali vengono quindi tradotte nella rete neurale supportata dal produttore tramite l'SDK fornito dal fornitore. Se il chip non supporta gli algoritmi legati all'intelligenza artificiale, l'app benchmark utilizza TFLite per il benchmarking, i cui risultati secondo AnTuTu sono insoddisfacenti e inaffidabili.
Il punteggio del benchmark è direttamente correlato sia alla velocità che alla precisione. Se la precisione viene scambiata con la velocità, AnTuTu assegna penalità al punteggio. Ciò scoraggerebbe gli imbrogli nei benchmark dell’IA che si sarebbero basati semplicemente sulla fornitura di risultati rapidi ma sbagliati.
AnTuTu ha anche stabilito alcune osservazioni speciali per l'utilizzo della sua app. È improbabile che le piattaforme che utilizzano lo stesso processore AI presentino grandi lacune nei punteggi poiché il benchmark non si limita a testare prestazione, ma si concentra su Prestazioni dell'intelligenza artificiale. Samsung non ha ancora rilasciato il suo SDK AI e HiSilicon utilizza TFLite per alcune funzioni, il che significa che i loro punteggi saranno bassi finché tali situazioni non miglioreranno. Anche la versione base Android del dispositivo avrà un effetto sul punteggio poiché Google stessa ha ottimizzato il supporto dell'intelligenza artificiale a livello di sistema.
Anche dal post sul blog di AnTuTu, è chiaro che l'obiettivo è quello di misurare Le prestazioni basate sull’intelligenza artificiale potrebbero non essere possibili semplicemente riducendole a un numero. Ci sono molte variabili coinvolte nel calcolo basato sull’intelligenza artificiale, che aggiunge un ulteriore livello di complessità alla già complessa interazione tra diverse soluzioni hardware e software. Il singolare punteggio numerico che emergerebbe da un’attività di benchmarking non renderebbe giustizia alle sfumature coinvolte nel mondo dell’IA. Quindi, anche se puoi guardare il tuo punteggio e provare monetariamente un certo orgoglio, sappi che siamo ancora nelle fasi relativamente iniziali dell’IA e, ancor di più, del benchmarking dell’IA.
Se desideri saperne di più sull'intelligenza artificiale, sul benchmarking dell'intelligenza artificiale e sulle sfide coinvolte, dai un'occhiata alla nostra intervista con Qualcomm Travis Lanier E Gary Brotman e Ziad Asghar.
Fonte: AnTuTu