AnTuTu, der Entwickler der beliebten Benchmarking-App, hat einen Benchmark veröffentlicht, um die KI-Leistung von Smartphones zu testen und zu messen. Weiter lesen!
In den letzten Jahren haben immer mehr Unternehmen auf KI (Künstliche Intelligenz) gesetzt, um ihr Produkt von der Konkurrenz abzuheben. Die Einsatzmöglichkeiten von KI reichen vom Verstehen von Sprachbefehlen über das Erkennen von Szenarien bis hin zur Ausführung direkter Befehle und machen es daher erforderlich, die Reibung zwischen einem Kunden und einem Service zu verringern. Aufgrund ihrer explodierenden Beliebtheit wird KI heute häufig als Schlagwort missbraucht, und es ist an der Zeit, ein System zur Messung dieser Funktionalität einzurichten.
AnTuTu, bekannt für seine beliebte Benchmarking-App, hat es sich zur Aufgabe gemacht, einen quantifizierbaren Standard bereitzustellen, mit dem jeder den Unterschied in der KI-Leistung verschiedener Plattformen beurteilen kann. Um hierfür den Grundstein zu legen, hat AnTuTu gemeinsam mit Chipherstellern eine Benchmarking-App namens „AI Review“ veröffentlicht, die sich auf die Messung der KI-Leistung von Smartphones konzentriert.
Laden Sie den AI Review Benchmark von AnTuTu herunter
Der Blogbeitrag von AnTuTu für AI Review weist zunächst auf die Schwierigkeiten hin, etwas so Großes wie künstliche Intelligenz zu messen. Derzeit gibt es im Smartphone-Segment keinen einheitlichen Standard für KI, was wiederum dazu führt, dass hat zu einer Situation geführt, in der jeder Chiphersteller sein eigenes Verständnis und seine eigene Umsetzung hat KI. Qualcomm wickelt einige KI-Operationen über den Hexagon DSP ab; Huaweis HiSilicon übernimmt dies über eine unabhängige NPU; Samsung und MediaTek wickeln KI-Operationen auch über dedizierte Chips ab, die als NPU bzw. APU bezeichnet werden. Diese Situation wird durch die Synergie zwischen Hardware und Software, die für eine effektive KI-Leistung von entscheidender Bedeutung ist, noch komplizierter. Jeder Anbieter stellt sein eigenes SDK für KI bereit – Qualcomm hat SNPE, MediaTek hat NeuroPilot, HiSilicon hat HiAI und so weiter.
Der AI Review-Benchmark von AnTuTu ist in zwei Unterkategorien unterteilt: Bildklassifizierung und Objekterkennung. Der Bildklassifizierungstest überprüft Testdaten, die aus 200 Bildern bestehen, und basiert auf dem neuronalen Inception v3 Netzwerk, während der Objekterkennungstest ein 600-Frame-Video überprüft und auf dem MobileNet SSD-Neural basiert Netzwerk. Diese neuronalen Netze werden dann in das neuronale Netz übersetzt, das vom Hersteller über das vom Anbieter bereitgestellte SDK unterstützt wird. Wenn der Chip keine KI-bezogenen Algorithmen unterstützt, nutzt die Benchmark-App TFLite für das Benchmarking, dessen Ergebnisse AnTuTu selbst als unbefriedigend und unzuverlässig bezeichnet.
Die Benchmark-Bewertung steht in direktem Zusammenhang mit Geschwindigkeit und Genauigkeit. Wenn Genauigkeit gegen Geschwindigkeit getauscht wird, weist AnTuTu dem Punktestand Strafen zu. Dies würde Betrügereien bei KI-Benchmarks entgegenwirken, bei denen es lediglich darum ginge, schnelle, aber falsche Ergebnisse zu liefern.
AnTuTu hat außerdem einige Besonderheiten für die Nutzung seiner App festgelegt. Bei Plattformen, die denselben KI-Prozessor verwenden, ist es unwahrscheinlich, dass große Punkteunterschiede auftreten, da der Benchmark nicht nur testet Leistung, sondern konzentriert sich auf KI-Leistung. Samsung hat sein AI SDK noch nicht veröffentlicht und HiSilicon verwendet TFLite für bestimmte Funktionen, was bedeutet, dass ihre Bewertungen niedrig sein werden, bis diese Situationen verbessert werden. Auch die Android-Basisversion des Geräts wird sich auf die Punktzahl auswirken, da Google selbst die Unterstützung von KI auf Systemebene optimiert hat.
Sogar aus AnTuTus eigenem Blog-Beitrag geht hervor, dass das Ziel darin besteht messen KI-basierte Leistung ist möglicherweise nicht möglich, indem man sie einfach auf eine Zahl reduziert. Bei KI-basierten Berechnungen spielen viele Variablen eine Rolle, was die bereits komplexe Interaktion zwischen verschiedenen Hardware- und Softwarelösungen noch komplexer macht. Der einzigartige numerische Wert, der sich aus einer Benchmarking-Aktivität ergeben würde, würde den Nuancen in der Welt der KI nicht gerecht werden. Auch wenn Sie auf Ihre Punktzahl blicken und ein gewisses Maß an Stolz empfinden, sollten Sie sich darüber im Klaren sein, dass wir uns noch in einem relativ frühen Stadium der KI und vor allem des KI-Benchmarkings befinden.
Wenn Sie mehr über KI, KI-Benchmarking und die damit verbundenen Herausforderungen erfahren möchten, schauen Sie sich unser Interview mit Qualcomm an Travis Lanier Und Gary Brotman und Ziad Asghar.
Quelle: AnTuTu