Бенчмаркове на Qualcomm Snapdragon 888: Ето как ще се представят водещите 5G телефони за 2021 г.

По-рано този месец Qualcomm покани журналисти на виртуална Snapdragon Tech Summit, където те обявиха Snapdragon 888 мобилна платформа. Най-новата 8-серия SoC на Qualcomm носи големи подобрения в обработката на изображения и машинното обучение, но само постепенни подобрения в производителността на CPU и GPU. За да разберем колко по-мощен е най-новият чипсет на Qualcomm, обикновено получаваме възможност да изпълним бенчмаркове на неговия референтен хардуер. Поради COVID-19 обаче Qualcomm не можаха да организират лична сесия за сравнителен анализ, така че вместо това изпратиха ни предварително записано видео, показващо референтно устройство Qualcomm Snapdragon 888, работещо с гамата от популярни бенчмаркове.

На референтното устройство Snapdragon 888 Qualcomm проведе един холистичен бенчмарк (AnTuTu), ориентиран към процесора бенчмарк (Geekbench), ориентиран към GPU бенчмарк (GFXBench) и няколко AI/ML бенчмарка (AIMark, AITuTu, MLPerf и Процион). Всеки бенчмарк беше проведен три пъти, така че компанията сподели средния резултат за три итерации. В допълнение, компанията казва, че са изпълнили всеки бенчмарк, използвайки настройките по подразбиране на референтния дизайн на Snapdragon 888, което означава, че не са активирали режим с висока производителност. Въпреки това, тъй като сравнителните резултати бяха предоставени за нас, ние не можем да проверим резултатите или условията за тестване сами. След като се сдобием с комерсиално устройство с Qualcomm Snapdragon 888, ще направим отново тези бенчмаркове.

Ако се интересувате да прочетете всички спецификации и функции на мобилната платформа Qualcomm Snapdragon 888, препоръчвам ви да прочетете Отличният обяснител на Idrees Patel за Snapdragon 888 публикувани по-рано този месец. Неговата статия навлиза в подробности за всички подобрения, направени от Qualcomm в CPU, GPU, модема, подсистемата за свързване, ISP, AI двигателя, DSP и всичко останало. За бърза справка съставих диаграма, сравняваща основните спецификации на референтното устройство Qualcomm Snapdragon 888 в сравнение с другите две устройства, използвани в това бенчмарк сравнение: референтното устройство със Snapdragon 865 и Pixel 4 с процесор Snapdragon 855 че Използвах в миналогодишната сесия за сравнителен анализ. Можете да намерите тази диаграма по-долу преди резултатите от бенчмарка.

Резултати от бенчмарка на Qualcomm Snapdragon 888

Спецификации на тестовите устройства

Общ преглед на показателите

С входове от Марио Сераферо

• AnTuTu: Това е холистичен показател. AnTuTu тества производителността на процесора, графичния процесор и паметта, като включва както абстрактни тестове, така и напоследък сравними симулации на потребителско изживяване (например подтестът, който включва превъртане през a ListView). Крайният резултат се претегля според съображенията на дизайнера.
• GeekBench: Тест, ориентиран към процесора, който използва няколко изчислителни натоварвания, включително криптиране, компресия (текст и изображения), изобразяване, физически симулации, компютърно зрение, проследяване на лъчи, разпознаване на реч и конволюционни невронни изводи на изображения. Разбивката на резултатите дава конкретни показатели. Окончателният резултат се претегля според съображенията на дизайнера, като се набляга много на целочислената производителност (65%), след това на плаващата производителност (30%) и накрая на крипто (5%).
• GFXBench: Има за цел да симулира изобразяване на графики на видеоигри с помощта на най-новите API. Много екранни ефекти и висококачествени текстури. По-новите тестове използват Vulkan, докато наследените тестове използват OpenGL ES 3.1. Резултатите са кадри по време на тест и кадри в секунда (другото число, разделено на дължината на теста, по същество), вместо претеглено резултат.
  • Ацтекски руини: Тези тестове са най-тежките откъм изчисления, предлагани от GFXBench. В момента най-добрите мобилни чипсети не могат да поддържат 30 кадъра в секунда. По-конкретно, тестът предлага геометрия с наистина голям брой полигони, хардуерна теселация, текстури с висока разделителна способност, глобално осветление и изобилие от картографиране на сенки, обилни ефекти на частици, както и разцвет и дълбочина на полето ефекти. Повечето от тези техники ще наблегнат на изчислителните способности на шейдъра на процесора.
  • Manhattan ES 3.0/3.1: Този тест остава уместен, като се има предвид, че съвременните игри вече са достигнали предложената графична прецизност и прилагат същите видове техники. Той разполага със сложна геометрия, използваща множество цели за изобразяване, отражения (кубични карти), изобразяване на мрежа, много отложени източници на осветление, както и разцвет и дълбочина на рязкост при преминаване след обработка.
• MLPerf Mobile: MLPerf Mobile е бенчмарк с отворен код за тестване на производителността на мобилния AI. Беше създаден от MLCommons, отворен инженерен консорциум с нестопанска цел, за да „осигури прозрачност и равни условия за сравняване на ML системи, софтуер и решения." Първата итерация на MLPerf Mobile предоставя еталон за изводи за производителност за шепа компютърно зрение и естествен език задачи за обработка. За повече информация вижте статията "MLPerf Mobile Inference Benchmark: Защо мобилният AI бенчмаркинг е труден и какво да правим с него."
  • Класификация на изображението: Този тест включва извеждане на етикет, който да се приложи към входно изображение. Типичните случаи на употреба включват търсене на снимки или извличане на текст. Използваният референтен модел е MobileNetEdgeTPU с 4M параметри, наборът от данни е ImageNet 2012 (224x224), а целта за качество е 98% от FP32 (76,19% Top-1).
  • Сегментиране на изображението: Този тест включва разделяне на входно изображение на етикетирани обекти. Типичните случаи на употреба включват самостоятелно управление или дистанционно наблюдение. Използваният референтен модел е DeepLab v3+ с 2M параметри, наборът от данни е ADE20K (512x512), а целта за качество е 93% от FP32 (0,244 mAP).
  • Откриване на обект: Този тест включва чертане на ограничителни полета около обекти, както и предоставяне на етикет за тези обекти. Типичните случаи на употреба включват въвеждане на информация от камерата, като например за откриване на опасност или анализ на трафика по време на шофиране. Референтният модел е SSD-MobileNet v2 със 17M параметри, наборът от данни е COCO 2017 (300x300), а целта за качество е 97% от FP32 (54,8% mIoU).
  • Езикова обработка: Този тест включва разговорно отговаряне на въпроси. Типичните случаи на употреба включват онлайн търсачки. Референтният модел е MobileBERT с 25M параметри, наборът от данни е mini Squad (Stanford Question Answering Dataset) v1.1 dev, а целта за качество е 93% от FP32 (93,98% F1).

Резултати от AnTuTu

Започвайки с AnTuTu, можем да видим, че референтното устройство Qualcomm Snapdragon 888 отбеляза близо 17 000 точки по-висока от референтното устройство Snapdragon 865 и почти 350 000 точки по-висока от Pixel, захранван от Snapdragon 855 4. Когато погледнете подрезултатите CPU, GPU, памет и UX (не са показани тук), можем да видим, че най-големите подобрения в производителността идват от GPU и паметта. Snapdragon 888 QRD отбеляза приблизително 45,56% по-висок резултат в подтеста на GPU на AnTuTu в сравнение със Snapdragon 865 QRD. По същия начин, Snapdragon 888 QRD отбеляза около 52,08% по-висок резултат в подтеста на паметта на AnTuTu в сравнение със Snapdragon 865 QRD. В сравнение с Pixel 4, захранван от Snapdragon 855, 888 QRD го надмина в подтестовете на GPU и паметта съответно с 98,42% и 117,58%.

Междувременно Snapdragon 888 QRD отбеляза приблизително 30,05% и 90,28% по-висок резултат в подтеста на процесора на AnTuTu в сравнение със Snapdragon 865 QRD и Pixel 4, захранван от Snapdragon 855, съответно. UX подрезултатът е труден за сравняване поради различните версии на Android OS, работещи на всяко устройство (Pixel 4 и Snapdragon 865 QRD работеха с Android 10, когато ги сравних миналата година, докато 888 QRD работи с Android 11.)

Големият тласък в производителността на паметта е доста интересен. Както 865 QRD, така и 888 QRD разполагат с 12 GB LPDDR5 RAM, въпреки че не знаем на каква честота е RAM. По-специално, 865 поддържа до 16GB LPDDR5 RAM на 2750MHz, докато 888 поддържа до 16GB LPDDR5 RAM на 3200MHz. Неравностите в CPU и GPU производителността тук е малко над нашите очаквания, тъй като Qualcomm каза, че печалбите на CPU и GPU на Snapdragon 888 са съответно 25% и 35% година след година. По-ориентираните към CPU и GPU бенчмаркове, които следват, обаче показват печалби, които са в по-голямо съответствие с нашите очаквания.

Резултати от Geekbench

В Geekbench 5.0, Qualcomm Snapdragon 888 се представя с 22,17% и 9,97% по-високо в едноядрените и многоядрените тестове съответно в сравнение със Snapdragon 865. В сравнение със Snapdragon 855, 888 се представя съответно с около 89,17% и 51,82% по-добре.

Qualcomm казва, че Snapdragon 888 осигурява 25% подобрение в производителността на процесора спрямо Snapdragon 865. Единственото ARM Cortex-X1 Prime ядро ​​на процесора е с тактова честота от 2,84 GHz – същата тактова честота като ARM от последно поколение Основно ядро ​​Cortex-A77 — така че е възможно да видим тактова честота от 3+GHz за неизбежния в средата на годината Snapdragon 888 „Plus“ опресняване. Ако случаят е такъв, можем да очакваме производителността на процесора да се подобри още повече, въпреки че в момента е честно да се каже, че печалбите са солидни, но просто нарастващи.

По този начин, ако надграждате от двугодишен флагман, 888 трябва да донесе големи подобрения в производителността на процесора. Ако надграждате от годишен флагман, тези печалби са много по-малки. Аз лично съм развълнуван да видя как едно устройство със Snapdragon 888 се справя с емулацията на конзолата.

Резултати от GFXBench

Qualcomm не разкри броя на ядрата или максималната честота на графичния процесор Adreno 660 в Snapdragon 888, така че нямаме какво да кажем за графичния процесор, освен неговите печалби в производителността. В теста на GFXBench в Манхатън, който използва OpenGL ES 3.0 API и изобразява 1080p сцена извън екрана, Snapdragon 888 имаше средна честота на кадрите от 169 кадъра в секунда, около 34,13% и 83,7% по-висока от честотата на кадрите, постигната от Snapdragon 865 и 855 съответно. В теста Aztec Ruins на GFXBench, който използва графичния API на Vulkan и изобразява 1080p сцена извън екрана, Snapdragon 888 имаше средна честота на кадрите от 86 кадъра в секунда, около 38,71% и 95,45% по-висока от честотата на кадрите, постигната от Snapdragon 865 и 855 съответно.

Няма много игри, които изискват много GPU конски сили (the скорошният Genshin Impact е едно изключение), но подобрената производителност на GPU е полезна за нещо повече от игри. Но игрите определено са най-голямата причина хората да се интересуват от тези сравнителни резултати и Snapdragon 888 определено се представя с 35% по-бързо изобразяване на графики и 20% по-добра енергийна ефективност година след година. Тези резултати обаче демонстрират само върховата производителност на GPU, така че ще трябва да ги прегледаме отново GFXBench—след като се сдобием с комерсиален хардуер—за да работим в дългосрочен план на бенчмарка тестове за ефективност.

MLPerf резултати

Може би най-интересните печалби са в производителността на AI. Qualcomm като цяло прави огромен скок в производителността на AI всяка година, но печалбите тази година са най-впечатляващи. Енджинът на AI на Snapdragon 888 може да се похвали с 26 TOPS производителност, увеличение от 15 TOPS на Snapdragon 865 и 7 TOPS на Snapdragon 855. Qualcomm отдава голяма част от тази печалба на новата слята архитектура на AI ускорителя на Hexagon 780 DSP, сливайки скаларни, векторни и тензорни ускорители за премахване на физически разстояния и обединяване на паметта за споделяне и преместване на данни ефективно.

Трудно ни е обаче да демонстрираме колко значителен е всъщност този скок в производителността. Говорихме задълбочено за трудностите при бенчмаркинга на AI по време на нашите интервюта с Травис Лание от Qualcomm, Гари Бротман и Зиад Асгар. Добрата новина е, че след нашите дискусии с ръководителите на Qualcomm има значителен напредък в областта на бенчмарковете на AI.

В началото на тази статия споменахме, че Qualcomm е изпълнил 4 различни AI бенчмарка на референтното устройство Snapdragon 888: AIMark, AITuTu, MLPerf и Procyon на UL. Може би най-обещаващият от тези показатели е MLPerf Mobile, който скоро ще бъде пуснат, бенчмарк за мобилен AI с отворен код, подкрепен от множество доставчици на SoC, доставчици на ML framework и модел производители. Неговата първоначална партида от резултати от мобилни изводи е публичен, затова използвахме тези резултати за сравнение със Snapdragon 888. Резултатите обхващат само 3 устройства: Xiaomi Redmi 10X 5G, захранван от MediaTek Dimensity 820, ASUS ROG Phone 3 с Qualcomm Snapdragon 865+ и Samsung Galaxy Note 20 с Exynos 990 Ultra 5G. Qualcomm не предостави резултати за забавяне - само данни за пропускателна способност - така че не начертахме пълните резултати като подадени от продавачите за проверка от MLCommons.

В тези избрани сравнителни тестове за компютърно зрение и обработка на естествен език, можем да видим, че референтното устройство Qualcomm Snapdragon 888 постигна най-високите резултати във всичките четири теста. От 3 чипсета от предишно поколение, Dimensity 820 на MediaTek превъзхожда Snapdragon 865+ и Exynos 990 при откриване на обекти, докато Exynos 990 превъзхожда Snapdragon 865+ и Dimensity 820 в НЛП. Snapdragon 865+ на Qualcomm като цяло беше конкурентен, постигна равен резултат с Dimensity 820 в сегментирането на изображения и го надмина в NLP. В тези специфични тестове за изводи с тези конкретни модели и набори от данни, Snapdragon 888 превъзхожда 3-те чипсета от последно поколение.

Ще бъде интересно да видим какви приложения и функции разработчиците и производителите на оригинално оборудване могат да създадат, използвайки AI мощта на Snapdragon 888. Компютърното зрение ще играе особено важна роля в многото видеографски функции, подобрени с AI, които ще предлагаме вероятно през 2021 г., докато подобрената производителност на НЛП може също да повлияе на съседни видео аспекти, като аудио записване.

Трябва да отбележим обаче, че резултатите на Snapdragon 888 са такива непроверено от MLCommons, тъй като част от процеса на проверка на организацията изисква устройството да бъде налични в търговската мрежа (референтните устройства на Qualcomm не се продават чрез оператор или като отключени телефон). Освен това производителността зависи от избраните ML модели, числови формати и ML рамки, както и от наличните ML ускорители.

Заключение

Snapdragon 888 на Qualcomm отново носи постепенни подобрения в производителността на CPU и GPU, но масивни подобрения в обработката на изображения и AI. Не са много хората, които надграждат от устройство на две години, ще забележат подобренията в CPU и GPU (освен ако не планират да стартират емулатори или играене на игри като Genshin Impact), но те определено ще забележат другите подобрения, направени в мобилните устройства технология. Устройствата имат дисплеи с по-висока честота на опресняване, повече камери със сензори за изображения с по-висока разделителна способност, поддръжка за 5G свързаност и много повече в наши дни. Огромните печалби в производителността на AI ще останат незабелязани от средния потребител, но възможностите, които се откриха с новия чипсет на Qualcomm, са вълнуващи за размисъл. Подобрения на AI видео в реално време, потоци от много камери и много други са на хоризонта през следващата година и компании като Google продължават да изненадват с функциите, които пускат, подкрепени от машинно обучение за обучение модели.

Qualcomm обаче не е единствената компания, която прави подобрения в своята гама SoC. Говори се, че предстоящият Exynos 2100 на Samsung за Galaxy S21 ще донесе значителни подобрения в производителността. Има и новия HiSilicon Kirin 9000 на Huawei и нарастващата линия Dimensity на MediaTek от мобилни SoC. Надявам се да го посетя отново тези сравнителни показатели, след като имаме поне едно устройство от най-висок клас с следващото поколение на Samsung, Huawei и MediaTek силиций.

Демонстрация на сравнителен анализ на Qualcomm Snapdragon 888

Споменах в началото на тази статия, че Qualcomm сподели с нас предварително записано видео. Ако се интересувате, качих това видео в YouTube. Той показва, че Snapdragon 888 изпълнява всички бенчмаркове, които споделих по-горе, както и останалите бенчмаркове за AI, които не съм демонстрирал.

Междувременно, ето таблицата, която Qualcomm ни предостави, обобщавайки резултатите от бенчмарка на Snapdragon 888: