AnTuTu, desenvolvedor do popular aplicativo de benchmarking, lançou um benchmark para testar e medir o desempenho de IA de smartphones. Leia!
Nos últimos anos, cada vez mais empresas se concentram na IA (Inteligência Artificial) como um meio de distinguir o seu produto da concorrência. Os usos da IA vão desde a compreensão de comandos de voz até o reconhecimento de cenários e a execução de pedidos diretos, tornando-se assim necessário reduzir o atrito entre um cliente e um serviço. Devido à sua popularidade explosiva, a IA é agora amplamente utilizada como uma palavra da moda, e é hora de algum sistema de medição desta funcionalidade ser criado.
O AnTuTu, conhecido por seu popular aplicativo de benchmarking, assumiu a responsabilidade de fornecer um padrão quantificável para que todos possam avaliar a diferença no desempenho da IA de diferentes plataformas. Para definir as bases para esse propósito, a AnTuTu trabalhou com fabricantes de chips para lançar um aplicativo de benchmarking chamado “AI Review”, que se concentra em medir o desempenho de IA de smartphones.
Baixe o benchmark de revisão de IA do AnTuTu
A postagem do blog AnTuTu para AI Review começa apontando as dificuldades em medir algo tão vasto quanto a Inteligência Artificial. Atualmente no segmento de smartphones não existe nenhum padrão unificado para IA, que por sua vez levou a uma situação em que cada fabricante de chips tem seu próprio entendimento e implementação de IA. A Qualcomm lida com algumas operações de IA por meio do Hexagon DSP; O HiSilicon da Huawei lida com isso através de um NPU independente; Samsung e MediaTek também lidam com operações de IA por meio de chips dedicados chamados NPU e APU, respectivamente. Esta situação é ainda mais complicada pela sinergia entre hardware e software, que é crucial para um desempenho eficaz da IA. Cada fornecedor fornece seu próprio SDK para IA – Qualcomm possui SNPE, MediaTek possui NeuroPilot, HiSilicon possui HiAI e assim por diante.
O benchmark AI Review do AnTuTu é dividido em duas subcategorias: Classificação de imagens e Reconhecimento de objetos. O teste de classificação de imagens analisa dados de teste compostos por 200 imagens e é baseado no neural Inception v3 rede, enquanto o teste de reconhecimento de objetos analisa um vídeo de 600 quadros e é baseado no neural SSD MobileNet rede. Essas redes neurais são então traduzidas na rede neural suportada pelo fabricante por meio do SDK fornecido pelo fornecedor. Se o chip não suportar algoritmos relacionados à IA, o aplicativo de benchmark usa o TFLite para benchmarking, cujos resultados o próprio AnTuTu alerta como insatisfatórios e não confiáveis.
A pontuação do benchmark está diretamente relacionada à velocidade e à precisão. Se a precisão for trocada pela velocidade, o AnTuTu atribui penalidades à pontuação. Isso desencorajaria a fraude no benchmark de IA, que se basearia simplesmente no fornecimento de resultados rápidos, mas errados.
O AnTuTu também fez algumas observações especiais sobre o uso de seu aplicativo. É pouco provável que as plataformas que utilizam o mesmo processador de IA tenham grandes diferenças de pontuação, uma vez que o benchmark não se limita a testar desempenho, mas concentra-se em Desempenho de IA. A Samsung ainda não lançou seu AI SDK e o HiSilicon está utilizando o TFLite para determinadas funções, o que significa que suas pontuações serão baixas até que essas situações sejam melhoradas. A versão básica do Android do dispositivo também terá efeito na pontuação, já que o próprio Google tem otimizado o suporte de IA no nível do sistema.
Mesmo na postagem do próprio blog do AnTuTu, fica claro que o objetivo de medir O desempenho baseado em IA pode não ser possível simplesmente resumindo-o a um número. Existem muitas variáveis envolvidas na computação baseada em IA, o que está adicionando outra camada de complexidade à já complexa interação entre diferentes soluções de hardware e software. A pontuação numérica singular que resultaria de uma atividade de benchmarking não faria justiça às nuances envolvidas no mundo da IA. Portanto, embora você possa olhar para sua pontuação e sentir um certo orgulho financeiro, saiba que ainda estamos nos estágios relativamente iniciais da IA e, mais ainda, do benchmarking de IA.
Se você deseja ler mais sobre IA, benchmarking de IA e os desafios envolvidos, confira nossa entrevista com o executivo da Qualcomm. Travis Lanier e Gary Brotman e Ziad Asghar.
Fonte: AnTuTu