Hexagon 685 DSP Qualcomm adalah Pembangkit Tenaga Pembelajaran Mesin

Snapdragon 845 - system-on-chip terbaru dalam keluarga Snapdragon Qualcomm - adalah prosesor yang sangat kuat. Ia membanggakan inti CPU yang cepat, prosesor sinyal gambar (ISP) Spectra generasi ketiga, dan arsitektur yang 30 persen lebih hemat daya dibandingkan generasi sebelumnya. Namun komponennya yang paling mengesankan adalah co-processor -- Hexagon 685 DSP -- yang dibuat khusus untuk kecerdasan buatan dan pembelajaran mesin.

Apa yang membuat Hexagon 685 DSP Qualcomm unggul?

"Matematika vektor adalah dasar dari pembelajaran mendalam." - Travis Lanier, Direktur Senior Manajemen Produk di Qualcomm

Untuk memahami apa yang membuat Hexagon DSP begitu unik, ada baiknya kita mengetahui bahwa AI didorong oleh jenis jurusan matematika yang sangat dikenal oleh jurusan teknik perguruan tinggi. Pembelajaran mesin melibatkan komputasi dengan vektor besar, yang menimbulkan tantangan bagi prosesor ponsel cerdas, tablet, dan PC. Sulit bagi chip tujuan umum untuk menghitung algoritme seperti penurunan gradien stokastik -- jenis algoritme yang merupakan inti aplikasi yang didukung AI -- dengan cepat dan efisien. Hexagon DSP Qualcomm diperkenalkan sebagian untuk mengatasi masalah ini: Sangat bagus dalam menangani data gambar dan sensor, terutama fotografi.

Namun Hexagon DSP mampu melakukan lebih dari sekadar mempercantik selfie. Konteks HVX yang disertakan (akan dibahas lebih lanjut nanti) memberikannya keunggulan dari prosesor serba guna dan inti dengan fungsi tetap; Hexagon 685 DSP sangat efisien dalam menghitung matematika di balik pembelajaran mesin pada perangkat, namun tetap mempertahankan fleksibilitas prosesor yang lebih dapat diprogram.

Chip AI seperti Hexagon 685 DSP, yang terkadang disebut sebagai “unit pemrosesan saraf”, “mesin saraf”, atau “inti pembelajaran mesin”, dirancang khusus untuk matematika algoritma AI kebutuhan. Desainnya jauh lebih kaku dibandingkan CPU tradisional, dan berisi instruksi dan pengaturan khusus (dalam kasus Hexagon 685 DSP, arsitektur HVX yang disebutkan di atas) yang mempercepat operasi skalar dan vektor tertentu, yang menjadi nyata dalam skala besar implementasi.

Hexagon 685 DSP pada Snapdragon 845 dapat menangani ribuan bit unit vektor per siklus pemrosesan, dibandingkan dengan rata-rata inti CPU yang menangani ratusan bit per siklus. Itu memang disengaja. Dengan empat thread skalar paralel untuk operasi Kata Instruksi Sangat Panjang (VLIW) dan beberapa konteks HVX, DSP adalah mampu menyulap beberapa unit eksekusi dalam satu instruksi dan menjalankan bilangan bulat dan desimal titik tetap operasi.

Daripada mendorong kinerja melalui MHz mentah, desain Hexagon 685 bertujuan untuk pekerjaan tingkat tinggi per siklus dengan kecepatan clock yang dikurangi. Ini mencakup multi-threading perangkat keras yang bekerja dengan baik untuk VLIW, karena multi-threading menyembunyikan latensi pipa memungkinkan pemanfaatan paket VLIW yang lebih baik. Multi-threading pada DSP berarti dapat melayani beberapa sesi offload -- yaitu, aplikasi bersamaan untuk audio, kamera, visi komputer, dan sebagainya -- dan mempercepat berbagai tugas secara bersamaan, sehingga mencegah aplikasi harus berjuang keras waktu pelaksanaan.

Namun bukan hanya itu saja kelebihan Hexagon DSP. Arsitektur set instruksi (ISA) menawarkan peningkatan efisiensi dibandingkan VLIW tradisional berkat kode kontrol yang ditingkatkan, dan menggunakan trik cerdas untuk memulihkan kinerja dari keadaan diam dan terhenti benang. Ini juga menerapkan penjadwalan thread round-robin tanpa latensi, yang berarti bahwa thread DSP memproses instruksi baru segera setelah menyelesaikan paket data sebelumnya.

Jelasnya, semua ini bukanlah hal baru. Qualcomm memperkenalkan Hexagon DSP 'generasi pertama' (atau yang tepat) -- Hexagon 680, atau QDSP6 v6 -- di samping Snapdragon 820 pada tahun 2015, dan Hexagon 680 diikuti oleh yang sedikit lebih baik segi enam 682. Namun generasi terbaru adalah yang paling canggih, dan memberikan kinerja keseluruhan hingga tiga kali lipat dari DSP Snapdragon 835.

Hal ini sebagian besar berkat HVX, yang bekerja sangat baik untuk pemrosesan gambar (seperti augmented reality, computer vision, video, dan gambar). Register HVX DSP dapat dikontrol oleh dua register skalar mana pun, dan unit HVX serta unit skalar dapat digunakan secara bersamaan, sehingga menghasilkan peningkatan kinerja dan konkurensi yang besar.

Ini dia Penjelasan Qualcomm:

“Misalnya Anda memproses pada CPU seluler dalam mode kode kontrol dan Anda beralih ke mode komputasi pada koprosesor. Jika Anda memerlukan kode kontrol apa pun, Anda harus berhenti dan kembali dari koprosesor ke CPU utama. Dengan Hexagon, pemroses kode kontrol pada DSP dan pemroses kode komputasi pada HVX dapat dijalankan secara bersamaan untuk penggabungan kontrol dan kode komputasi yang erat. Hal ini memungkinkan DSP mengambil hasil komputasi HVX dan menggunakannya dalam keputusan kode kontrol pada siklus jam berikutnya.”

HVX memberikan keuntungan besar lainnya dalam pemrosesan sensor gambar. Perangkat Snapdragon dengan DSP Hexagon 685 dapat mengalirkan data langsung dari sensor pencitraan ke memori lokal DSP (L2 Cache), melewati pengontrol memori DDR perangkat. Tentu saja hal ini mengurangi latensi, namun juga meningkatkan masa pakai baterai -- prosesor Snapdragon dirancang untuk idle selama pengoperasian.

Ini secara khusus dioptimalkan untuk jaringan floating point 16-bit, dan dikendalikan oleh perangkat lunak pembelajaran mesin Qualcomm: Snapdragon Neural Processing Engine.

“Kami telah [menanggapinya] dengan sangat serius,” kata juru bicara Qualcomm. “Kami telah bekerja sama dengan mitra selama tiga tahun terakhir agar mereka memanfaatkan [...] silikon kami untuk AI dan pencitraan.”

Mitra tersebut termasuk Google, yang menggunakan bagian pemrosesan gambar Hexagon DSP untuk mendukung algoritme HDR+ Pixel dan Pixel 2, misalnya. Meskipun Google juga telah memperkenalkan Pixel Core mereka sendiri, perlu dicatat bahwa perangkat berkemampuan Hexagon 685 DSP adalah yang terbaik. yang mendapatkan hasil terbaik dengan port Google Kamera yang terkenal, sebagian karena (seperti yang telah kami konfirmasikan) HVX pemanfaatan. Facebook, mitra lainnya, bekerja sama dengan Qualcomm untuk mempercepat filter dan efek kamera real-time Messenger.

Oppo mengoptimalkan teknologi face unlock untuk Hexagon 685 DSP, dan Lenovo mengembangkan fitur Landmark Detection di sekitarnya.

Salah satu alasan banyaknya dukungan platform adalah kesederhanaannya. Hexagon SDK Qualcomm yang ekstensif mendukung bahasa Halide untuk pemrosesan gambar berkinerja tinggi, dan hal itu tidak diperlukan perlu khawatir tentang kerangka pelatihan pembelajaran mesin -- mengimplementasikan model semudah membuat panggilan API kasus.

“Kami tidak [...] bersaing dengan IBM dan Nvidia [dalam AI], namun kami memiliki area yang dapat dimanfaatkan oleh pengembang -- dan sudah dimilikinya,” kata Qualcomm kepada XDA Developers.

segi enam vs. sebuah kompetisi

Hexagon 685 DSP pada Snapdragon 845 hadir seiring dengan semakin banyaknya produsen peralatan asli (OEM) yang mengejar solusi AI seluler dan pada perangkat mereka sendiri. milik Huawei Kirin 970 -- sistem-on-chip di dalam Teman 10 Dan Pasangan 10 Pro -- memiliki “unit pemrosesan saraf” (NPU) yang dilaporkan dapat mengenali lebih dari 2.000 gambar per detik hanya dengan 1/50 konsumsi daya rata-rata CPU ponsel cerdas. Dan sistem-on-chip Apple A11 Bionic di iPhone 8, iPhone 8 Plus, dan iPhone X memiliki “Neural Engine” yang melakukan pemodelan wajah secara real-time dan hingga 600 miliar operasi per detik.

Namun Qualcomm mengatakan bahwa agnostisisme platform Hexagon memberinya keuntungan. Tidak seperti Apple dan Huawei, yang sebagian besar memaksa pengembang untuk menggunakan API berpemilik, Qualcomm berupaya mendukung beberapa kerangka kerja sumber terbuka paling populer sejak awal. Misalnya, ia bekerja dengan Google untuk mengoptimalkan Aliran Tensor, platform pembelajaran mesin Google, untuk Hexagon 685 DSP -- Qualcomm mengatakan platform ini bekerja hingga delapan kali lebih cepat dan 25 kali lebih hemat daya dibandingkan perangkat non-Hexagon.

Pada arsitektur DSP Qualcomm, milik Google Jaringan Syaraf Dalam Awal GoogLeNet -- algoritme pembelajaran mesin yang dirancang untuk menilai kualitas sistem deteksi dan klasifikasi objek -- menunjukkan peningkatan dalam pertunjukan demo satu aplikasi pengenalan gambar bertenaga TensorFlow di dua ponsel cerdas: Satu yang menjalankan aplikasi di CPU, dan satu lagi yang menjalankannya di Hexagon Qualcomm DSP. Aplikasi ponsel cerdas dengan akselerasi DSP menangkap lebih banyak gambar per detik, mengidentifikasi objek lebih cepat, dan memiliki keyakinan lebih tinggi dalam menyimpulkan objek tersebut dibandingkan aplikasi khusus CPU.

Google juga menggunakan Hexagon 685 DSP untuk mempercepat Project Tango, platform augmented reality untuk ponsel pintar. Phab 2 Pro dari Lenovo, ZenFone AR dari Asus, dan perangkat lain dengan modul IR penginderaan kedalaman Tango dan kamera pelacak gambar memanfaatkan teknologi Qualcomm. Arsitektur Pemrosesan Heterogen, yang mendelegasikan tugas pemrosesan di antara DSP Hexagon 685 chipset Snapdragon, hub sensor, dan sinyal gambar prosesor (ISP). Hasilnya adalah overhead “kurang dari 10 persen” pada CPU sistem-on-chip, menurut Qualcomm.

“Sejauh yang kami tahu, kami adalah satu-satunya perusahaan seluler di luar sana yang mengoptimalkan kinerja dan efisiensi daya,” kata juru bicara Qualcomm.

Tentu saja, para pesaing juga berupaya memperluas pengaruh mereka dan mendorong dukungan pengembang pada platform mereka. Chip saraf Kirin 970 diluncurkan dengan dukungan untuk TensorFlow dan kafe (Kerangka kerja API terbuka Facebook) selain API Kirin Huawei, dengan TensorFlow Lite Dan Kafe2 integrasi akan dilakukan akhir tahun ini. Dan Huawei bekerja sama dengan Microsoft untuk mengoptimalkan Penerjemah bertenaga AI untuk Mate 10.

Namun Qualcomm memiliki keunggulan lain: Jangkauan. Produsen chip ini menguasai 42 persen pasar chip ponsel pintar pada paruh pertama tahun 2017, diikuti oleh Apple dan MediaTek masing-masing menguasai 18 persen, menurut Strategy Analytics. Cukuplah untuk mengatakan, ia belum gemetar.

Dan Qualcomm memperkirakan pertumbuhannya akan terus meningkat. Pembuat chip tersebut memproyeksikan pendapatan sebesar $160 miliar pada tahun 2025 dengan teknologi perangkat lunak AI seperti visi komputer, dan melihat pasar ponsel pintar -- yang diperkirakan akan mencapai 8,6 miliar unit yang dikirimkan pada tahun 2021 -- sebagai pasar terbesar platform.

Dengan DSP Hexagon 685 dan penyempurnaan “tersier” lainnya yang terus berlanjut hingga ke kelas menengah perangkat keras, chip Qualcomm juga lebih mudah menghadirkan pembelajaran mesin pada perangkat ke semua jenis perangkat dalam waktu dekat masa depan. Mereka juga menawarkan SDK yang berguna bagi pengembang (tidak perlu mengutak-atik bahasa rakitan DSP) untuk memanfaatkan Hexagon 685 DSP dan HVX dalam aplikasi dan layanan mereka.

“Ada kebutuhan akan unit pemrosesan khusus untuk pemrosesan saraf, tetapi Anda juga perlu memperluasnya, sehingga Anda dapat mendukung kerangka kerja [open source],” kata juru bicara Qualcomm. “Jika Anda tidak menciptakan ekosistem tersebut, tidak mungkin… pengembang dapat menciptakan ekosistem tersebut.”