Сравнителен анализ на Qualcomm Snapdragon 8 Gen 1: Очаквания за производителност от флагманите за 2022 г.

Само миналата седмица видяхме появата на новото Qualcomm Snapdragon 8 Gen 1 на технологичната среща на върха на компанията в Хавай. Най-новият чипсет на Qualcomm съдържа цял набор от големи подобрения навсякъде, което прави това едно от най-вълнуващите устройства на Qualcomm от дълго време. Въпреки че компанията се колебаеше да предостави задълбочени технически подробности в някои аспекти (включително пренебрегване да споменем името на версията на Adreno или Kryo), все пак успяхме да изпълним набор от популярни бенчмаркове на Референтно устройство Snapdragon 8 Gen 1. Тези бенчмаркове помагат да се определи базовата линия на очакванията за производителност за предстоящите флагмани през 2022 г., което ни дава още едно нещо, което да очакваме с нетърпение през следващата година.

На референтното устройство Snapdragon 8 Gen 1 изпълнихме един холистичен бенчмарк (AnTuTu), бенчмарк, ориентиран към процесора (Geekbench), ориентиран към GPU бенчмарк (GFXBench) и бенчмаркове MLPerf. Всеки бенчмарк беше проведен три пъти и взехме средната стойност на трите резултата. Qualcomm беше активирал опцията „UI Perf Mode“ по подразбиране, която ние деактивирахме, тъй като тя ефективно се опитва да принуди приложенията за сравнителен анализ, които да работят на ядра Prime, за да постигнат малко по-висок резултат със сигурност бенчмаркове. Също така си струва да се отбележи, че след като се сдобием с комерсиално устройство с Qualcomm Snapdragon 8 Gen 1, ще пуснем отново тези бенчмаркове.

Ако проявявате интерес да прочетете всички спецификации и характеристики на мобилния телефон Qualcomm Snapdragon 8 Gen 1 платформа, която компанията е предоставила досега, тогава препоръчвам да прочетете нашето обяснение за Qualcomm Snapdragon 8 Ген 1. За бърза справка съставих диаграма, сравняваща основните спецификации на Qualcomm Snapdragon Референтно устройство 8 Gen 1 в сравнение с другите две референтни устройства, използвани в това сравнение на бенчмарка. Можете да намерите тази диаграма по-долу преди резултатите от бенчмарка.

Qualcomm ни предостави набор от очаквани сравнителни резултати, базирани на техните собствени тестове. Използвахме това само за справка и в долната част на тази статия е налична таблица, съдържаща сравнителните резултати, които Qualcomm очакваше да постигне референтното устройство.

Относно тази статия: Qualcomm спонсорира мой колега, Рич Уудс, за да присъства на Snapdragon Tech Summit в Кона, Хавай. Компанията му плати полета и хотела. Въпреки това, Qualcomm няма никаква информация относно съдържанието на тази статия.

Резултати от бенчмарка на Qualcomm Snapdragon 8 Gen 1

Спецификации на тестовото устройство

Преглед на бенчмарковете. Щракнете за разширяване.

Общ преглед на показателите

• AnTuTu: Това е холистичен показател. AnTuTu тества производителността на процесора, графичния процесор и паметта, като включва както абстрактни тестове, така и напоследък сравними симулации на потребителско изживяване (например подтестът, който включва превъртане през a ListView). Крайният резултат се претегля според съображенията на дизайнера.
• GeekBench: Тест, ориентиран към процесора, който използва няколко изчислителни натоварвания, включително криптиране, компресия (текст и изображения), изобразяване, физически симулации, компютърно зрение, проследяване на лъчи, разпознаване на реч и конволюционни невронни изводи на изображения. Разбивката на резултатите дава конкретни показатели. Окончателният резултат се претегля според съображенията на дизайнера, като се набляга голямо на целочислената производителност (65%), след това на плаващата производителност (30%) и накрая на криптографията (5%).
• GFXBench: Има за цел да симулира изобразяване на графики на видеоигри с помощта на най-новите API. Много екранни ефекти и висококачествени текстури. По-новите тестове използват Vulkan, докато наследените тестове използват OpenGL ES 3.1. Резултатите са кадри по време на тест и кадри в секунда (другото число, разделено на дължината на теста, по същество), вместо претеглено резултат.
  • Ацтекски руини: Тези тестове са най-тежките откъм изчисления, предлагани от GFXBench. В момента най-добрите мобилни чипсети не могат да поддържат 30 кадъра в секунда. По-конкретно, тестът предлага геометрия с наистина голям брой полигони, хардуерна теселация, текстури с висока разделителна способност, глобално осветление и изобилие от картографиране на сенки, обилни ефекти на частици, както и разцвет и дълбочина на полето ефекти. Повечето от тези техники ще наблегнат на изчислителните способности на шейдъра на процесора.
  • Manhattan ES 3.0/3.1: Този тест остава уместен, като се има предвид, че съвременните игри вече са достигнали предложената графична прецизност и прилагат същите видове техники. Той разполага със сложна геометрия, използваща множество цели за изобразяване, отражения (кубични карти), изобразяване на мрежа, много отложени източници на осветление, както и разцвет и дълбочина на рязкост при преминаване след обработка.
• MLPerf Mobile: MLPerf Mobile е бенчмарк с отворен код за тестване на производителността на мобилния AI. Беше създаден от MLCommons, отворен инженерен консорциум с нестопанска цел, за „осигуряване на прозрачност и равни условия за сравняване на ML системи, софтуер и решения.” Първата итерация на MLPerf Mobile предоставя бенчмарк за производителност на изводи за шепа компютърно зрение и естествен език задачи за обработка. За повече информация вижте статията „MLPerf Mobile Inference Benchmark: Защо мобилният AI бенчмаркинг е труден и какво да правим с него.”
  • Класификация на изображението: Този тест включва извеждане на етикет, който да се приложи към входно изображение. Типичните случаи на употреба включват търсене на снимки или извличане на текст. Използваният референтен модел е MobileNetEdgeTPU с 4M параметри, наборът от данни е ImageNet 2012 (224×224), а целта за качество е 98% от FP32 (76,19% Top-1).
  • Сегментиране на изображението: Този тест включва разделяне на входно изображение на етикетирани обекти. Типичните случаи на употреба включват самостоятелно управление или дистанционно наблюдение. Използваният референтен модел е DeepLab v3+ с 2M параметри, наборът от данни е ADE20K (512×512), а целта за качество е 93% от FP32 (0,244 mAP).
  • Откриване на обект: Този тест включва чертане на ограничителни полета около обекти, както и предоставяне на етикет за тези обекти. Типичните случаи на употреба включват въвеждане на информация от камера, като например за откриване на опасност или анализ на трафика по време на шофиране. Референтният модел е SSD-MobileNet v2 със 17 милиона параметри, наборът от данни е COCO 2017 (300×300), а целта за качество е 97% от FP32 (54,8% mIoU).
  • Езикова обработка: Този тест включва разговорно отговаряне на въпроси. Типичните случаи на употреба включват онлайн търсачки. Референтният модел е MobileBERT с 25M параметри, наборът от данни е mini Squad (Stanford Question Answering Dataset) v1.1 dev, а целта за качество е 93% от FP32 (93,98% F1).

Прочетете още

---

Резултати от сравнителен анализ

AnTuTu

Започвайки с AnTuTu, можем да видим, че референтното устройство Qualcomm Snapdragon 8 Gen 1 отбеляза резултат значително по-високи от предходните години, с голямо увеличение на годишна база от приблизително 240 000 точки. Това е доста голямо подобрение от приблизително 33%, доста над обещанията на Qualcomm за 20% подобрение на скоростта. Това е само един тест, но AnTuTu е страхотен инструмент за сравняване на необработените изчислителни способности между устройствата, дори и ако не всичко това се превръща в употреба в реалния свят.

Geekbench

В Geekbench 5.0 обаче това е съвсем различна история. Snapdragon 8 Gen 1 демонстрира малка или никаква печалба спрямо последното референтно устройство Snapdragon 888 и всъщност дори регресира в производителността, когато става въпрос за многоядрени. Не е като че ли сме се провалили – Qualcomm ни даде информационна страница с резултати от бенчмарк, които да очакваме от Snapdragon 8 Gen 1, и те са в съответствие с това, което трябва да се очаква. Всъщност едноядрената производителност беше по-висока от горните граници, които Qualcomm ни даде, докато многоядрената производителност беше с 20 точки под долните граници на това, което очакваме.

Като казах това, мисля, че е ясно, че какъвто и да е тестът, това не е тестване, където Qualcomm е направила подобрения. Другите ни тестове показват големи подобрения спрямо чипсетите от предишни години.

GFXBench

Qualcomm не е разкрила много за новия графичен процесор Adreno в Snapdragon 8 Gen 1, така че нямаме какво да кажем за графичния процесор, освен неговите печалби в производителността. Не знаем броя на ядрата, не знаем честотата и дори нямаме номер на версията. В теста на GFXBench в Манхатън, който използва OpenGL ES 3.0 API и изобразява 1080p сцена извън екрана, Snapdragon 8 Gen 1 имаше средна честота на кадрите от 221 кадъра в секунда, около 31% и 75% по-висока от честотата на кадрите, постигната от Snapdragon 888 и 865 съответно. В теста Aztec Ruins на GFXBench, който използва графичния API на Vulkan и изобразява 1080p сцена извън екрана, Snapdragon 8 Gen 1 имаше средна честота на кадрите от 41 кадъра в секунда. Има обаче предупреждение за това; предишните резултати на референтни устройства бяха тествани в 1080p, докато единственият тест на Aztec Ruins, до който имахме достъп, беше в 1440p. Увеличаването до 1080p изисква 43,75% повече пиксели, за да бъдат изобразени наведнъж, поради което производителността намаля в този тест.

Само някои от много най-добрите Android игри изискват много конски сили на GPU, но подобрената производителност на GPU е полезна за нещо повече от игри. Като каза това, игрите определено са най-голямата причина, поради която хората ще се интересуват от тези сравнителни резултати и Snapdragon 8 Gen 1 изглежда се представя с 35% по-бързо изобразяване на графики и 20% по-добра енергийна ефективност година по-късно година. Тези резултати обаче демонстрират само върховата производителност на GPU, така че ще трябва да прегледаме GFXBench – след като се сдобием с комерсиален хардуер — за да поддържаме дългосрочната производителност на бенчмарка тестове.

MLPerf

Qualcomm е особено хитър по отношение на спецификите, когато става въпрос за подобрения на изкуствения интелект. Нямаме цифри за TOPS (трилион операции в секунда), въпреки че имаме известна информация за други подобрения. Има например третото поколение сензорен център на компанията и също така демонстрира редица други специфични за SoC функции в Хавай.

Трудно ни е обаче да демонстрираме колко значителен е всъщност този скок в производителността. Говорихме задълбочено за трудностите при бенчмаркинга на AI по време на нашите интервюта с Травис Лание от Qualcomm, Гари Бротман и Зиад Асгар. Добрата новина е, че след нашите дискусии с ръководителите на Qualcomm има значителен напредък в областта на бенчмарковете на AI.

Най-обещаващите бенчмаркове, налични в момента, идват под формата на MLPerf Mobile, който е бенчмарк за мобилен AI с отворен код, подкрепен от множество доставчици на SoC, доставчици на ML framework и модел производители. Неговата първоначална партида от резултати от мобилни изводи е публичен, затова използвахме тези резултати, за да сравним Snapdragon 8 Gen 1 със Snapdragon 888 в Xiaomi Mix 4, Dimensity 1100 във Vivo S9 5G и Exynos 2100 в Samsung Galaxy S21 Plus. Не получихме резултати за забавяне — само данни за пропускателна способност — така че не начертахме пълните резултати, както са изпратени от доставчиците за проверка от MLCommons.

В тези избрани тестове за компютърно зрение и обработка на естествен език можем да видим че референтното устройство Qualcomm Snapdragon 8 Gen 1 постигна най-високите резултати във всичките четири теста от далеч. Като цяло Demensity 1100 се представи доста зле. Snapdragon 888 на Qualcomm все още удобно побеждава останалите в този тест, но Snapdragon 8 Gen 1 е на друго ниво във всички тези тестове.

Ще бъде интересно да видим какви приложения и функции разработчиците и OEM производителите могат да създадат, използвайки AI мощта на Snapdragon 8 Gen 1. Компютърното зрение ще играе особено важна роля в многото видеографски функции, подобрени с AI, които ще предлагаме вероятно през 2022 г., докато подобрената производителност на НЛП може също да повлияе на съседни видео аспекти като аудио записване. Компании като Google работят върху Google Tensor също ще избута други доставчици на SoC в този отдел.

Заключение

Таблицата, която Qualcomm ни предостави с очаквани сравнителни резултати, е по-долу, която можете да видите, че е в съответствие най-вече с резултатите, които постигнахме по-горе.

Очаквани бенчмарк резултати за референтен дизайн на Snapdragon 8 Gen 1 (от Qualcomm)

Бенчмарк	Версия	Метод	Очакван диапазон на резултата
Система	Geekbench ST	v5.4.2	Средно 3 итерации	~1220 - 1233
Система	Geekbench MT	v5.4.2	Средно 3 итерации	~3770 - 3810
Система	AnTuTu	v9.2.1	Средно 3 итерации	1-во изпълнение: ~1mAvg от 3 итерации: ~980K
Система	PCMark	v3.0.4061	Средно 3 итерации	~17 хил
Браузър (Chrome v95.0.4638.74 64-bit)	JetStream	v2.0	Средно 3 итерации	~135 - 140
Браузър	скоростомер	v2.0	Средно 3 итерации	~123 - 126
Браузър	WebXPRT	v3.0	Средно 3 итерации	~194 - 197
AI	AITuTu	v2.0	Средно 3 итерации	~2,550,000 - 2,600,000
AI	AIMark	v3.0	Средно 3 итерации	~97K
AI	MLPerf (на отделен QRD, тъй като изпълнението му отнема 30 минути)	v1.1	Средно 3 итерации	Клас на изображението: ~2435 - 2450 Откриване на обект: ~1180 - 1250 Сегмент на изображението: ~520 - 540 Разбиране на език: ~38 - 40 Клас на изображението (офлайн): ~3580 - 3650
AI	ETH AIB	v4.0.4	Средно 3 итерации	~530 - 550k
Графика	GFXBench Manhattan 3.0 Offscreen (1080p) (FPS)	v5.0	Средно 3 итерации	~267 - 268 FPS
Графика	GFXBench T-Rex - Извън екрана (1080p) (FPS)	v5.0	Средно 3 итерации	~450 - 452 FPS
Графика	GFXBench Manhattan 3.1 Offscreen (1080p) (FPS)	v5.0	Средно 3 итерации	~176 FPS
Графика	GFXBench Car Chase Offscreen (1080p) ES3.1 (FPS)	v5.0	Средно 3 итерации	~97 - 98 FPS
Графика	GFXBench Aztec Ruins Vulkan (High Tier) Offscreen (1440p) (FPS)	v5.0	Средно 3 итерации	~49 FPS
Графика	GFXBench Aztec Ruins OpenGL (High Tier) Offscreen (1440p) (FPS)	v5.0	Средно 3 итерации	~43 FPS

Прочетете още

Snapdragon 8 Gen 1 носи много подобрения спрямо миналогодишния чипсет, особено що се отнася до AI. Въпреки че определено има известна странност в обвързаните с процесора резултати от Geekbench, ясно е, че има подобрения във всички области. Ако надграждате от устройство, което е две години по-старо (или по-старо), тогава подобренията вероятно ще бъдат забележими, въпреки че огромните печалби в производителността на AI вероятно ще останат незабелязани от повечето. Компаниите рядко използват пълния потенциал на изкуствения интелект, когато става въпрос за чипсетите на Qualcomm и е вероятно това отново да е същото.

Също така си струва да се отбележи, че с нарастващата конкуренция може би си струва да изчакате, за да видите какво правят Samsung и MediaTek по-нататък. The Размер 9000 чипсетът има потенциала да изпревари Snapdragon 8 Gen 1, когато става дума за производителност, и все още не знаем много за предстоящия Exynos 2200. Аз лично очаквам с нетърпение да преразгледам тези бенчмаркове на комерсиално устройство в бъдеще, особено в по-контролирана среда.