AnTuTu, el desarrollador detrás de la popular aplicación de evaluación comparativa, lanzó una evaluación comparativa para probar y medir el rendimiento de la IA de los teléfonos inteligentes. ¡Sigue leyendo!
En los últimos años, cada vez más empresas se han centrado en la IA (Inteligencia Artificial) como medio para distinguir su producto de la competencia. Los usos de la IA van desde comprender comandos de voz hasta reconocer escenarios y ejecutar órdenes directas, lo que hace necesario reducir la fricción entre un cliente y un servicio. Debido a su creciente popularidad, la inteligencia artificial ahora se utiliza ampliamente como palabra de moda, y ya es hora de que se establezca algún sistema para medir esta funcionalidad.
AnTuTu, conocida por su popular aplicación de evaluación comparativa, se ha encargado de proporcionar un estándar cuantificable para que todos puedan juzgar la diferencia en el rendimiento de la IA de diferentes plataformas. Para sentar las bases para este propósito, AnTuTu ha trabajado con fabricantes de chips para lanzar una aplicación de evaluación comparativa llamada "AI Review" que se centra en medir el rendimiento de la IA de los teléfonos inteligentes.
Descargue el punto de referencia de revisión de IA de AnTuTu
La publicación del blog de AnTuTu para AI Review comienza señalando las dificultades para medir algo tan vasto como la Inteligencia Artificial. Actualmente en el segmento de los teléfonos inteligentes no existe ningún estándar unificado para la IA, lo que a su vez ha llevado a una situación en la que cada fabricante de chips tiene su propia comprensión e implementación de AI. Qualcomm maneja algunas operaciones de IA a través de Hexagon DSP; HiSilicon de Huawei lo maneja a través de una NPU independiente; Samsung y MediaTek también manejan operaciones de IA a través de chips dedicados denominados NPU y APU respectivamente. Esta situación se complica aún más por la sinergia entre hardware y software, que es crucial para un rendimiento eficaz de la IA. Cada proveedor proporciona su propio SDK para IA: Qualcomm tiene SNPE, MediaTek tiene NeuroPilot, HiSilicon tiene HiAI, etc.
El punto de referencia AI Review de AnTuTu se divide en dos subcategorías: clasificación de imágenes y reconocimiento de objetos. La prueba de clasificación de imágenes revisa datos de prueba que comprenden 200 imágenes y se basa en el sistema neuronal Inception v3. red, mientras que la prueba de reconocimiento de objetos revisa un video de 600 cuadros y se basa en el sistema neuronal MobileNet SSD. red. Luego, estas redes neuronales se traducen a la red neuronal compatible con el fabricante a través del SDK proporcionado por el proveedor. Si el chip no admite algoritmos relacionados con la IA, la aplicación de evaluación comparativa utiliza TFLite, cuyos resultados el propio AnTuTu advierte que son insatisfactorios y poco confiables.
La puntuación de referencia está directamente relacionada tanto con la velocidad como con la precisión. Si la precisión se compensa con la velocidad, AnTuTu asigna penalizaciones a la puntuación. Esto desalentaría las trampas en los benchmarks de IA que se habrían basado simplemente en proporcionar resultados rápidos pero incorrectos.
AnTuTu también ha hecho algunas observaciones especiales sobre el uso de su aplicación. Es poco probable que las plataformas que utilizan el mismo procesador de IA tengan grandes diferencias de puntuación, ya que el punto de referencia no se limita a realizar pruebas. actuación, pero se centra en Rendimiento de IA. Samsung aún no ha lanzado su SDK de IA y HiSilicon está utilizando TFLite para determinadas funciones, lo que significa que sus puntuaciones serán bajas hasta que mejoren esas situaciones. La versión base de Android del dispositivo también tendrá un efecto en la puntuación, ya que el propio Google ha estado optimizando el soporte de la IA a nivel del sistema.
Incluso a partir de la propia entrada del blog de AnTuTu, queda claro que el objetivo de medida Es posible que el rendimiento basado en IA no sea posible simplemente reduciéndolo a un número. Hay muchas variables involucradas en la computación basada en IA, lo que está agregando otra capa de complejidad a la ya compleja interacción entre diferentes soluciones de hardware y software. La puntuación numérica singular que resultaría de una actividad de evaluación comparativa no haría justicia a los matices involucrados en el mundo de la IA. Entonces, si bien puede mirar su puntaje y sentir cierto orgullo monetario, sepa que todavía estamos en las etapas relativamente tempranas de la IA, y más aún, de la evaluación comparativa de la IA.
Si desea leer más sobre IA, evaluación comparativa de IA y los desafíos involucrados, consulte nuestra entrevista con Qualcomm. Travis Lanier y Gary Brotman y Ziad Asghar.
Fuente: AnTuTu