AnTuTu, le développeur de la populaire application d'analyse comparative, a publié un benchmark pour tester et mesurer les performances de l'IA des smartphones. Continuer à lire!
Ces dernières années, de plus en plus d’entreprises se sont concentrées sur l’IA (Intelligence Artificielle) comme moyen de distinguer leurs produits de la concurrence. Les utilisations de l’IA vont de la compréhension des commandes vocales à la reconnaissance de scénarios en passant par l’exécution d’ordres directs, rendant ainsi nécessaire la réduction des frictions entre un client et un service. En raison de sa popularité croissante, l’IA est désormais largement utilisée à mauvais escient comme un mot à la mode, et il est temps de mettre en place un système de mesure de cette fonctionnalité.
AnTuTu, connu pour son application d'analyse comparative populaire, a pris sur lui de fournir une norme quantifiable permettant à chacun de juger de la différence de performances de l'IA entre les différentes plates-formes. Pour poser les bases de cet objectif, AnTuTu a travaillé avec les fabricants de puces pour lancer une application d'analyse comparative appelée « AI Review » qui se concentre sur la mesure des performances de l'IA des smartphones.
Téléchargez le benchmark d'examen de l'IA d'AnTuTu
Le billet de blog d'AnTuTu pour AI Review commence par souligner les difficultés liées à la mesure de quelque chose d'aussi vaste que l'intelligence artificielle. Actuellement, dans le segment des smartphones, il n’existe aucune norme unifiée pour l’IA, ce qui à son tour a conduit à une situation dans laquelle chaque fabricant de puces a sa propre compréhension et mise en œuvre de IA. Qualcomm gère certaines opérations d'IA via Hexagon DSP; HiSilicon de Huawei le gère via un NPU indépendant; Samsung et MediaTek gèrent également les opérations d'IA via des puces dédiées appelées respectivement NPU et APU. Cette situation est encore compliquée par la synergie entre le matériel et les logiciels, qui est cruciale pour des performances efficaces de l’IA. Chaque fournisseur fournit son propre SDK pour l'IA: Qualcomm a SNPE, MediaTek a NeuroPilot, HiSilicon a HiAI, etc.
Le benchmark AI Review d'AnTuTu est divisé en deux sous-catégories: la classification d'images et la reconnaissance d'objets. Le test de classification d'images examine les données de test comprenant 200 images et est basé sur le système neuronal Inception v3. réseau, tandis que le test de reconnaissance d'objet examine une vidéo de 600 images et est basé sur le système neuronal MobileNet SSD. réseau. Ces réseaux de neurones sont ensuite traduits en réseau de neurones pris en charge par le fabricant via le SDK fourni par le fournisseur. Si la puce ne prend pas en charge les algorithmes liés à l'IA, l'application de référence utilise TFLite pour l'analyse comparative, dont AnTuTu eux-mêmes avertissent comme étant insatisfaisants et peu fiables.
La notation de référence est directement liée à la vitesse et à la précision. Si la précision est sacrifiée au profit de la vitesse, AnTuTu attribue des pénalités au score. Cela découragerait la triche des benchmarks IA qui aurait consisté simplement à fournir des résultats rapides mais erronés.
AnTuTu a également posé quelques remarques particulières pour l'utilisation de son application. Il est peu probable que les plates-formes qui utilisent le même processeur d'IA présentent des écarts de score importants, car le benchmark ne se contente pas de tester. performance, mais se concentre sur Performances de l'IA. Samsung n'a pas encore publié son SDK AI et HiSilicon utilise TFLite pour certaines fonctions, ce qui signifie que leurs scores seront faibles jusqu'à ce que ces situations s'améliorent. La version de base Android de l'appareil aura également un effet sur le score, car Google lui-même a optimisé la prise en charge de l'IA au niveau du système.
Même à partir du propre article de blog d'AnTuTu, il est clair que l'objectif de mesure Les performances basées sur l’IA ne seront peut-être pas possibles en les réduisant simplement à un chiffre. De nombreuses variables sont impliquées dans le calcul basé sur l’IA, ce qui ajoute une autre couche de complexité à l’interaction déjà complexe entre les différentes solutions matérielles et logicielles. Le score numérique singulier qui résulterait d’une activité d’analyse comparative ne rendrait pas justice aux nuances impliquées dans le monde de l’IA. Ainsi, même si vous regardez votre score et ressentez une certaine fierté financière, sachez que nous en sommes encore aux premiers stades de l’IA, et plus encore de l’analyse comparative de l’IA.
Si vous souhaitez en savoir plus sur l'IA, l'analyse comparative de l'IA et les défis impliqués, consultez notre entretien avec Qualcomm. Travis Lanier et Gary Brotman et Ziad Asghar.
Source: AnTuTu