Os resultados do MLPerf 3.0 chegaram e há algumas tendências interessantes do setor.
O aprendizado de máquina e a inteligência artificial são uma indústria em rápida mudança, com inovação constante todos os dias. É por isso que ser capaz de comparar as capacidades dos dispositivos é importante e também é importante que haja um órgão ou vários órgãos que ajudem a orientar o crescimento do setor. Com o MLPerf Inference v3.0, o grupo MLCommons pretende duplicar a filosofia de fornecer um ambiente justo e teste rigoroso das capacidades de aprendizado de máquina dos dispositivos, ao mesmo tempo que fornece dados verificáveis e reproduzíveis resultados. Os resultados já chegaram e vêm de uma lista ainda maior de fornecedores de anos anteriores.
“Inferência” em aprendizado de máquina refere-se ao rendimento real de resultados de um algoritmo treinado, onde o modelo pode então identificar o que foi treinado para reconhecer. Vemos inferências usadas em todos os tipos de esferas da vida, incluindo carros autônomos, sugestões de pesquisa no Google e até mesmo chatbots de IA como
ChatGPT, Bing Chat ou Google Bard. MLPerf v3.0 pode testar as seguintes tarefas:Tarefa |
Aplicações do mundo real |
Recomendação |
Recomendações de conteúdo ou compras, como pesquisa, mídia social ou anúncios |
Reconhecimento de fala |
Fala para texto em smartphones, assistência ao motorista com viva-voz |
Processamento de Linguagem Natural (PNL) |
Pesquisa, tradução, chatbots |
Classificação de imagens |
Rotulagem de imagens, visão geral |
Detecção de objetos |
Detecção de pedestres, detecção de defeitos de fabricação, redução de olhos vermelhos |
Segmentação 3D |
Análise de imagens médicas (por exemplo, identificação de tumor) |
Existem mais de 5.300 resultados de desempenho e mais de 2.400 resultados de medição de potência no banco de dados de resultados do MLPerf v3.0. Em particular, as tendências que foram identificados incluem muitos novos sistemas de hardware sendo usados com aumento de desempenho em componentes de data center de cerca de 30% em alguns benchmarks. Além disso, muito mais participantes forneceram resultados relacionados à eficiência energética e houve um aumento de três vezes no interesse na inferência da rede.
A Nvidia, que tem sido um dos pilares dos envios de MLPerf por vários anos, apresentou os primeiros resultados para seu DGX H100 e seu primeiro envio para sua GPU L4 Tensor Core. O DGX H100 ofereceu até 54% mais desempenho por acelerador em comparação com os primeiros H100 apresentados, e o L4 proporcionou até três vezes o desempenho do T4 de última geração.
Outras empresas que apresentaram resultados incluem a Qualcomm, que a empresa afirma que "todos os benchmarks mostram um aumento no desempenho e na eficiência energética para PNL e Computadores". Redes de visão." A empresa também detalhou como desde seu primeiro envio ao MLPerf 1.0, o Qualcomm Cloud AI 100 foi aprimorado em até 86% em desempenho e 52% em potência eficiência. Outros fornecedores notáveis que enviaram resultados incluem Intel, HPE, Gigabyte, Asus e Dell.