Qualcomm'un Snapdragon 845'i, içinde güçlü bir makine öğrenme çipi barındırıyor. Adı Hexagon 685 DSP'dir ve yapay zeka donanımında ileriye doğru atılmış büyük bir adımdır.
Qualcomm'un Snapdragon ailesindeki en yeni çip sistemi olan Snapdragon 845, bir işlemcinin güç merkezidir. Hızlı CPU çekirdeklerine, üçüncü nesil Spectra görüntü sinyal işlemcisine (ISP) ve önceki nesle göre yüzde 30 daha fazla güç verimliliğine sahip bir mimariye sahiptir. Ancak tartışmasız en etkileyici bileşeni, yapay zeka ve makine öğrenimi için özel olarak tasarlanmış bir ortak işlemci olan Hexagon 685 DSP'dir.
Qualcomm'un Hexagon 685 DSP'sini harekete geçiren şey nedir?
"Vektör matematiği derin öğrenmenin temelidir." - Travis Lanier, Qualcomm Ürün Yönetimi Kıdemli Direktörü
Hexagon DSP'yi bu kadar benzersiz kılan şeyin ne olduğunu anlamak için yapay zekanın, matematik fakültesi mühendislik bölümlerinin yakından aşina olduğu türde bir teknoloji tarafından yönlendirildiğini bilmek faydalı olacaktır. Makine öğrenimi, akıllı telefon, tablet ve PC işlemcileri için zorluk teşkil eden büyük vektörlerle hesaplamayı içerir. Genel amaçlı çiplerin, yapay zeka destekli uygulamaların merkezinde yer alan stokastik gradyan iniş gibi algoritmaları hızlı ve verimli bir şekilde hesaplaması zordur. Qualcomm'un Hexagon DSP'si kısmen bu sorunu çözmek için tanıtıldı: Görüntü ve sensör verilerinin, özellikle de fotoğrafçılığın işlenmesinde harikadır.
Ancak Hexagon DSP, selfie'lere çeki düzen vermekten çok daha fazlasını yapabilir. Dahil edilen HVX bağlamları (daha sonra bunlara değineceğiz), ona hem genel amaçlı işlemcilerin hem de sabit işlevli çekirdeklerin avantajını sağlar; Hexagon 685 DSP, cihazdaki makine öğreniminin ardındaki matematiği hesaplamada müthiş verimliliğe sahiptir, ancak daha programlanabilir işlemcilerin esnekliğini de korur.
Bazen "nöral işlem birimleri" olarak da adlandırılan Hexagon 685 DSP gibi AI çipleri, "sinir motorları" veya "makine öğrenimi çekirdekleri", özellikle yapay zeka algoritmalarının matematiksel gereksinimlerine göre uyarlanmıştır. ihtiyaçlar. Tasarım açısından geleneksel CPU'lardan çok daha katıdırlar ve özel talimatlar ve düzenlemeler içerirler (Hexagon 685 DSP'nin durumunda, Yukarıda belirtilen HVX mimarisi), büyük ölçekli görüntülerde fark edilebilir hale gelen belirli skaler ve vektör işlemlerini hızlandırır. uygulamalar.
Snapdragon 845'in Hexagon 685 DSP'si, ortalama CPU çekirdeğinin döngü başına yüzlerce bitiyle karşılaştırıldığında, işlem döngüsü başına binlerce bit vektör birimini işleyebilir. Bu tasarım gereğidir. Çok Uzun Komut Kelimesi (VLIW) işlemleri ve çoklu HVX bağlamları için dört paralel skaler iş parçacığıyla DSP, tek bir talimatta birden fazla yürütme birimiyle hokkabazlık yapma ve tamsayı ve sabit noktalı ondalık sayılarda hızla ilerleme yeteneğine sahip operasyonlar.
Hexagon 685'in tasarımı, performansı ham MHz'e zorlamak yerine, azaltılmış saat hızında döngü başına yüksek düzeyde iş yapmayı hedefliyor. Çoklu iş parçacığı ardışık düzen gecikmelerini gizlediğinden, VLIW paketlerinin daha iyi kullanılmasını sağladığından, VLIW için iyi çalışan donanım çoklu iş parçacığını içerir. DSP'nin çoklu iş parçacığı, birden fazla boşaltma oturumuna (yani ses, kamera, eş zamanlı uygulamalar) hizmet verebileceği anlamına gelir. bilgisayar görüşü vb. - ve çeşitli görevleri eş zamanlı olarak hızlandırarak uygulamaların birbirleriyle mücadele etmesini önleyin uygulama vakti.
Ancak bunlar Hexagon DSP'nin tek güçlü yönleri değil. Komut seti mimarisi (ISA), geleneksel VLIW'ye göre gelişmiş verimlilik sağlar. geliştirilmiş kontrol kodu ve performansı boşta ve durmuş halden kurtarmak için akıllı hileler kullanır İş Parçacığı. Aynı zamanda sıfır gecikmeli döngüsel iş parçacığı planlamasını da uygular; bu, DSP iş parçacıklarının önceki veri paketini tamamladıktan hemen sonra yeni talimatları işlemesi anlamına gelir.
Açıkçası bunların hiçbiri yeni değil. Qualcomm 'birinci nesil' (veya uygun) Hexagon DSP'yi (Hexagon 680 veya QDSP6 v6) tanıttı. 2015 yılında Snapdragon 820'nin yanı sıra Hexagon 680'i de biraz geliştirilmiş olan takip etti. Altıgen 682. Ancak en yeni nesil şimdiye kadarki en gelişmiş nesildir ve Snapdragon 835'in DSP'sinin genel performansının üç katına kadar performans sunar.
Bu büyük ölçüde görüntü işlemede (artırılmış gerçeklik, bilgisayar görüşü, video ve resimleri düşünün) çok iyi çalışan HVX sayesinde oldu. DSP'nin HVX kayıtları, herhangi iki skaler kayıt tarafından kontrol edilebilir ve HVX birimleri ile skaler birimler aynı anda kullanılabilir, bu da önemli performans kazanımları ve eşzamanlılık sağlar.
İşte Qualcomm'un açıklaması:
"Mobil CPU'da kontrol kodu modunda işlem yaptığınızı ve yardımcı işlemcide hesaplama moduna geçtiğinizi varsayalım. Herhangi bir kontrol koduna ihtiyacınız varsa, durup yardımcı işlemciden ana CPU'ya geri dönmeniz gerekir. Hexagon ile, hem DSP'deki kontrol kodu işlemcisi hem de HVX'teki hesaplamalı kod işlemcisi, kontrol ve hesaplamalı kodun sıkı bir şekilde birleştirilmesi için aynı anda çalışabilir. Bu, DSP'nin bir HVX hesaplamasının sonucunu almasına ve bunu bir sonraki saat döngüsünde bir kontrol kodu kararında kullanmasına olanak tanıyor."
HVX, görüntü sensörü işlemede başka bir büyük avantaj sağlar. Hexagon 685 DSP'ye sahip Snapdragon cihazları, cihazın DDR bellek denetleyicisini atlayarak verileri doğrudan görüntüleme sensöründen DSP'nin yerel belleğine (L2 Önbellek) aktarabilir. Bu elbette gecikmeyi azaltır ama aynı zamanda pil ömrünü de artırır; Snapdragon işlemci, işlem boyunca boşta kalacak şekilde tasarlanmıştır.
Özellikle 16 bitlik kayan nokta ağları için optimize edilmiştir ve Qualcomm'un makine öğrenimi yazılımı olan Snapdragon Neural Processing Engine tarafından kontrol edilmektedir.
Bir Qualcomm sözcüsü, "Bunu çok ciddiye aldık" dedi. "Yapay zeka ve görüntüleme için silikonumuzu kullanmalarını sağlamak amacıyla son üç yıldır ortaklarımızla birlikte çalışıyoruz."
Bu ortaklar arasında, örneğin Pixel ve Pixel 2'nin HDR+ algoritmasını güçlendirmek için Hexagon DSP'nin görüntü işleme bölümünü kullanan Google yer alıyor. Google kendi Pixel Core'unu da tanıtmış olsa da, Hexagon 685 DSP özellikli cihazların kısmen (doğruladığımız gibi) HVX sayesinde ünlü Google Kamera bağlantı noktasıyla en iyi sonuçları görenler kullanım. Başka bir ortak olan Facebook, Messenger'ın gerçek zamanlı kamera filtrelerini ve efektlerini hızlandırmak için Qualcomm ile yakın işbirliği içinde çalıştı.
Oppo, yüz tanıma kilidini Hexagon 685 DSP için optimize etti ve Lenovo, Yer İşareti Tespiti özelliğini bu doğrultuda geliştirdi.
Platformun desteğinin zenginliğinin bir nedeni basitliğidir. Qualcomm'un kapsamlı Hexagon SDK'sı, yüksek performanslı görüntü işleme için Halide dilini destekler ve buna gerek yoktur. makine öğrenimi eğitim çerçeveleri hakkında endişelenmek; çoğu durumda bir modeli uygulamak, API çağrısı yapmak kadar basittir vakalar.
Qualcomm, XDA Developers'a şunları söyledi: "IBM ve Nvidia gibi [Yapay Zeka'da] rakiplerle rekabet etmiyoruz, ancak geliştiricilerin yararlanabileceği ve zaten sahip olduğu alanlarımız var."
Altıgen vs. rekabet
Snapdragon 845'in Hexagon 685 DSP'si, giderek artan sayıda orijinal ekipman üreticisinin (OEM) kendi mobil ve cihaz içi yapay zeka çözümlerini arayışına girmesiyle birlikte geliyor. Huawei'nin Kirin 970 -- çip üzerindeki sistem içindeki Mate 10 Ve Mate 10 Pro - ortalama bir akıllı telefon CPU'sunun yalnızca 1/50'si kadar güç tüketimiyle saniyede 2.000'den fazla görüntüyü tanıyabilen bir "sinirsel işlem birimine" (NPU) sahiptir. Ayrıca iPhone 8, iPhone 8 Plus ve iPhone X'teki Apple A11 Bionic çip üzerinde sistem, gerçek zamanlı yüz modelleme ve saniyede 600 milyara kadar işlem gerçekleştiren bir "Neural Engine"e sahip.
Ancak Qualcomm, Hexagon'un platform agnostisizminin ona bir avantaj sağladığını söylüyor. Geliştiricileri büyük ölçüde özel API'leri kullanmaya zorlayan Apple ve Huawei'den farklı olarak Qualcomm, en popüler açık kaynak çerçevelerinden bazılarını en başından itibaren desteklemeye çalıştı. Örneğin, optimize etmek için Google ile birlikte çalıştı TensorFlowHexagon 685 DSP için Google'ın makine öğrenimi platformu - Qualcomm, Hexagon olmayan cihazlara göre sekiz kata kadar daha hızlı ve 25 kat daha fazla güç verimliliğiyle çalıştığını söylüyor.
Qualcomm'un DSP mimarisinde, Google'ın GoogLeNet Başlangıç Derin Sinir Ağı -- nesne algılama ve sınıflandırma sistemlerinin kalitesini değerlendirmek için tasarlanmış bir makine öğrenimi algoritması -- bir demo gösteriminde kazanımlar ortaya konmuştur İki akıllı telefonda TensorFlow destekli bir görüntü tanıma uygulaması: Biri uygulamayı CPU'da çalıştırıyor, diğeri ise Qualcomm'un Hexagon'unda çalıştırıyor DSP. DSP ile hızlandırılmış akıllı telefon uygulaması saniyede daha fazla görüntü yakaladı, nesneleri daha hızlı tanımladı ve nesnenin ne olduğu konusunda vardığı sonuca yalnızca CPU uygulamasına göre daha fazla güven verdi.
Google ayrıca akıllı telefonlar için artırılmış gerçeklik platformu Project Tango'yu hızlandırmak için Hexagon 685 DSP'yi kullanıyor. Lenovo'nun Phab 2 Pro'su, Asus'un ZenFone AR'si ve Tango'nun derinlik algılayıcı IR modülü ve görüntü izleme kameralarına sahip diğer cihazlar, Qualcomm'un avantajlarından yararlanıyor İşleme görevlerini Snapdragon yonga setinin Hexagon 685 DSP'si, sensör merkezi ve görüntü sinyali arasında devreden Heterojen İşleme Mimarisi işlemci (ISP). Sonuç, Qualcomm'a göre çip üzerindeki sistemin CPU'su üzerinde "yüzde 10'dan az" bir ek yük anlamına geliyor.
Bir Qualcomm sözcüsü, "Bildiğimiz kadarıyla performans ve güç verimliliğini optimize eden tek mobil cihaz biziz" dedi.
Elbette rakipler de etki alanlarını genişletmek ve platformlarında geliştirici desteğini geliştirmek için çalışıyor. Kirin 970'in sinir çipi TensorFlow desteğiyle piyasaya sürüldü ve Kafe (Facebook'un açık API çerçevesi) Huawei'nin Kirin API'lerine ek olarak TensorFlow Lite Ve Kahve2 entegrasyon bu yılın sonlarında yolda olacak. Ve Huawei, Yapay Zeka destekli Çeviricisini Mate 10 için optimize etmek amacıyla Microsoft ile birlikte çalıştı.
Ancak Qualcomm'un başka bir avantajı daha var: Erişim. Strateji Analitiği'ne göre çip üreticisi, 2017 yılının ilk yarısında akıllı telefon çip pazarının yüzde 42'sine hakim olurken, onu yüzde 18'er payla Apple ve MediaTek takip etti. Şunu söylemek yeterli, henüz botlarının içi titremiyor.
Ve Qualcomm bunun daha da büyüyeceğini öngörüyor. Çip üreticisi, bilgisayar görüşü gibi yapay zeka yazılım teknolojilerinden 2025 yılına kadar 160 milyar dolar gelir elde etmeyi öngörüyor. 2021 yılına kadar 8,6 milyar adede ulaşması beklenen akıllı telefon pazarını en büyük pazar olarak görüyor platformu.
Hexagon 685 DSP ve diğer "üçüncül" iyileştirmeler sürekli olarak orta aralığa doğru ilerliyor donanım sayesinde Qualcomm çiplerinin cihaz içi makine öğrenimini yakındaki her türlü cihaza getirmesi de daha kolay gelecek. Ayrıca geliştiricilerin uygulamalarında ve hizmetlerinde Hexagon 685 DSP ve HVX'ten yararlanabilmeleri için kullanışlı bir SDK da sunuyorlar (DSP montaj diliyle uğraşmaya gerek yok).
Bir Qualcomm sözcüsü, "Sinirsel işleme için bu özel işlem birimlerine ihtiyaç var, ancak aynı zamanda bunu genişletmeniz gerekiyor, böylece [açık kaynak] çerçeveleri destekleyebilirsiniz" dedi. "Eğer bu ekosistemi yaratmazsanız, geliştiricilerin [...] onun üzerinde ekosistem yaratması mümkün değildir."