บทสัมภาษณ์: Qualcomm เกี่ยวกับ AI และ Hexagon 690 DSP ของ Snapdragon 855

เมื่อ Qualcomm เปิดตัวผลิตภัณฑ์ใหม่ แพลตฟอร์มมือถือ Snapdragon 855พวกเขากล่าวถึงการปรับปรุงที่สำคัญในทุกด้านของคอมพิวเตอร์มือถือ สำหรับผู้ใช้ทั่วไป จะเข้าใจได้ง่าย ประโยชน์ของผู้ใช้ที่อยู่เบื้องหลังการปรับปรุง CPU และ GPU ที่ Qualcomm ผลิตใน Snapdragon 855 ประสิทธิภาพของ CPU ที่ดีขึ้นแปลเป็นแอปที่โหลดเร็วขึ้น และประสิทธิภาพของ GPU ที่ดีขึ้นแปลเป็นอัตราเฟรมที่ดีขึ้นเมื่อเล่นเกม สิ่งที่ผู้ใช้เข้าใจง่ายน้อยกว่าคือ AI (ปัญญาประดิษฐ์) และโดยเฉพาะ เทคนิคการเรียนรู้ของเครื่องที่แอปและบริการนำมาใช้มากขึ้น เช่น ประสาทเทียม เครือข่าย Qualcomm เพิ่มประสิทธิภาพเวิร์กโหลด AI ได้อย่างมากด้วย Snapdragon 855 ด้วยการปรับปรุงการประมวลผลโดยรวม และโดยเฉพาะอย่างยิ่งเนื่องจาก Hexagon 690 DSP ที่ปรับปรุงใหม่ เราได้พูดคุยกับ Gary Brotman หัวหน้าฝ่าย AI และกลยุทธ์การเรียนรู้ของเครื่องและการวางแผนผลิตภัณฑ์ที่ Qualcomm และ Ziad Asghar รองประธานฝ่าย การวางแผนแผนงาน Snapdragon และ AI, XR, กลยุทธ์การแข่งขันที่ Qualcomm เพื่อเรียนรู้เพิ่มเติมเกี่ยวกับการปรับปรุงที่ Qualcomm ทำในปริมาณงาน AI

---

มาริโอ เซอร์ราเฟโร: "ดังนั้น DSP ใหม่ ปีที่แล้ว ฉันถามคุณเกี่ยวกับกลยุทธ์การโจมตีเกี่ยวกับวิธีที่ Qualcomm ผลักดัน โปรโมต ทำการตลาด และสื่อสาร DSP และ HVX โดยเฉพาะ ในฐานะบล็อก AI ในขณะนั้น บล็อกนี้ยังค่อนข้างใหม่สำหรับผู้อ่านและผู้บริโภคส่วนใหญ่ ดังนั้นเราจึงสงสัยว่าคุณเห็นพัฒนาการนี้ได้อย่างไรนับตั้งแต่นั้นมาด้วยการส่งเสริมรุ่น 845 ต่อไป"

แกรี่ บรอทแมน: "สิ่งแรกและสำคัญที่สุด เมื่อเราเริ่มทำสิ่งนี้กลับมาพร้อมกับ 820 มันยังคงมี CPU และ GPU เป็นศูนย์กลาง และใช้ประโยชน์จาก DSP และ ความสามารถในการประมวลผลเวกเตอร์นั้นเกิดขึ้นจากการที่ Google พยายามมุ่งหน้าสู่ TensorFlow และ 8 บิต คณิตศาสตร์. นั่นคือจุดที่เรายืดขาของเราใน DSP หรือสมมติว่าเป็นเวกเตอร์โปรเซสเซอร์ เมื่อพิจารณาถึงความสมบูรณ์ของตัวประมวลผลเวกเตอร์ที่เรามีใน Hexagon และวิธีที่เราสามารถพัฒนาแผนงานดังกล่าวได้อย่างรวดเร็วในอีกสองข้างหน้า และกรณีการใช้งานที่เราเห็น ซึ่งในขณะนั้น เครือข่ายการจำแนกประเภทพื้นฐานค่อนข้างตรงไปตรงมา โดยมีไม่มากนัก ยกนำ้หนัก สามารถทำงานได้ดีกับคณิตศาสตร์ 8 บิต แม้กระทั่งปีที่แล้ว เครื่องเร่งความเร็วเฉพาะก็มีความเสี่ยงในการจัดสรรพื้นที่ให้กับสิ่งที่อาจไม่สามารถใช้งานได้ จุดบรรจบของกรณีการใช้งาน และอะไรก็ได้ตั้งแต่กล้องเดี่ยวมาตรฐาน ความละเอียดขั้นสูง หรือการแบ่งส่วนแบบเรียลไทม์ สิ่งเหล่านี้เกิดขึ้นพร้อมกันในบางกรณี ความต้องการในการเร่งความเร็วเฉพาะในระดับหนึ่งเป็นอย่างน้อย คุณสามารถปิดและยังคงอ่านวงจรบนโปรเซสเซอร์เวกเตอร์หรือแม้แต่ GPU ได้ มันเป็นเวลาที่เหมาะสม

แน่นอนว่ามันเป็นสิ่งที่เราต้องวางแผนเร็วกว่าตอนที่คุยกันครั้งก่อนมาก แต่ผมคิดว่าทุกคนคงสบายดี ธุรกิจนี้กำลังวางเดิมพันว่าพวกเขารู้แน่ชัดหรือใกล้เคียงกับปริมาณงานเหล่านั้นจะเป็นอย่างไร ความแม่นยำประเภทใดที่ควรเป็นสิ่งจำเป็น และหากคุณทำหรือไม่ได้จัดงบประมาณในการประมวลผลให้เพียงพอเพื่อตอบสนองกรณีการใช้งานที่จะเกิดขึ้นมาบรรจบกัน เราค่อนข้างตั้งใจในเรื่องนั้น—Qualcomm ให้ความสำคัญกับกรณีการใช้งานเป็นหลัก—และเราไม่ต้องการเรียกใช้ ความเสี่ยงที่จะมีการเร่งความเร็วโดยเฉพาะซึ่งจะไม่ถูกนำมาใช้เพราะอาจล้าสมัยในที่สุด วงจร เราเห็นเพียงพอแล้วในแง่ของการบิดงอโดยทั่วไปเพียงอย่างเดียวที่ตัวเร่งความเร็วเฉพาะสามารถทำงานได้อย่างยอดเยี่ยม อีกครั้ง ปล่อยวงจรไปที่อื่น ในแง่ของกลยุทธ์ที่เรามีกับตัวเร่งความเร็วใหม่นี้: มันถูกทุ่มเท มันเป็นสถาปัตยกรรมใหม่ มันไม่ใช่อนุพันธ์ของหกเหลี่ยม แต่ถ้าคุณคิดถึงเน็ตในปัจจุบัน มีฟังก์ชันความไม่เชิงเส้นบางอย่างที่ทำงานได้ไม่ดีกับความเร่งเฉพาะบางค่า -"

มาริโอ เซอร์ราเฟโร: "ใช่แล้ว ซิกมอยด์ ReLU -"

แกรี่ บรอทแมน: "ถูกต้องแล้ว Softmax และคุณต้องถ่อพวกมันไปที่อื่นหรือไปที่ CPU แต่ในกรณีของเรา วิธีที่เราออกแบบสิ่งนี้ภายใต้ประทุน DSP เป็นผู้ควบคุมจริงๆ โดยจะกำหนดตำแหน่งที่เน็ตทำงานและตำแหน่งที่เลเยอร์ทำงาน และสามารถตัดสินใจได้ว่ามีบางสิ่งที่ควรทำงานบน DSP เป็นทางเลือกสำรองเมื่อเทียบกับรันบนโปรเซสเซอร์เทนเซอร์หรือไม่ ดังนั้นการจับคู่นั้นจึงสมเหตุสมผลสำหรับเรามาก แต่นั่นไม่ได้เบี่ยงเบนความเชื่อและกลยุทธ์ของเราที่คอร์หลักทุกคอร์ใน SoC ของเรามี บทบาท ดังนั้นเราจึงปรับให้เหมาะสมทั่วทั้งกระดาน แต่ก็ยังมีความแปรปรวนอยู่มาก และนั่นจะเป็นเช่นนี้ ดำเนินการต่อ."

มาริโอ เซอร์ราเฟโร: “อีกหัวข้อหนึ่งที่เราอยากจะพูดถึงคือกรณีการใช้งาน อย่างที่คุณพูด Qualcomm ให้ความสำคัญกับกรณีการใช้งานเป็นหลัก เราได้เห็น AI มาสู่อุปกรณ์เคลื่อนที่ในสามด้านหลัก: การรู้จำเสียง การทำนายลำดับเช่นการใช้สตริงและการพิมพ์ และการมองเห็นของคอมพิวเตอร์เช่นฟิลเตอร์ AI [และวัตถุ] การยอมรับ]. คอมพิวเตอร์วิทัศน์ระเบิดแล้ว ตอนนี้คุณมองเห็นมันได้ทุกที่แล้ว ฉันเคยเห็นมาแล้วในการรู้จำเสียง ทุกคนมีผู้ช่วย AI ของตัวเอง ทุกคนมีผู้ช่วยของตัวเอง ตอนนี้ ทุกสิ่งสามารถทำได้ที่ Edge โดยมีเวลาแฝงเล็กน้อยและการรักษาความปลอดภัยที่สมบูรณ์แบบ แต่อะไรต่อไปสำหรับกรณีการใช้งานของการเรียนรู้ของเครื่อง และกรณีการใช้งานเหล่านั้นทั้งหมดจะได้รับการพัฒนาโดยบริษัทใหญ่ ๆ ในโลกหรือไม่ เช่น Snapchats ทั้งหมดในโลก หรือ Facebooks ข้างนอกนั้นหรือไม่ เห็นมันกลิ้งได้ยังไง”

แกรี่ บรอทแมน: "ฉันไม่คิดว่าจะชี้ให้เห็นถึงกรณีการใช้งานแบบนักฆ่าได้ แต่ความสามารถดังกล่าวทำให้เกิดความซับซ้อนในการคำนวณมากขึ้น และในกรณีของการมองเห็น ความละเอียดอินพุตอาจสูงกว่าได้ คุณไม่ได้ทำงานกับภาพความละเอียดต่ำเพื่อสร้างโบเก้ ก่อนหน้านี้มีการพูดคุยกันในการสัมภาษณ์อื่นที่เรามีตัวอย่างการสตรีมแบบ 4K ฉันจะไม่คาดเดาว่ามันเป็นไปได้ แต่นักพัฒนาที่เราร่วมงานด้วย ไม่ว่าจะเป็นบริษัทใหญ่อย่าง Google หรือของเรา พันธมิตรด้านการพัฒนาซอฟต์แวร์ที่กำลังสร้างอัลกอริธึมที่ขับเคลื่อนคุณสมบัติมือถือเหล่านี้จำนวนมาก พวกเขาเพียงแค่ต้องการ ผลักดันมากขึ้น พวกเขาต้องการที่จะไปไกลกว่านี้ หากมีอะไรที่ฉันจะเห็นในแง่ของขั้นตอนต่อไป มันอาจจะน้อยลงเกี่ยวกับสิ่งที่เกิดขึ้นเหนือเส้นหรือในระดับแอป และ ข้อมูลเพิ่มเติมเกี่ยวกับสิ่งที่เกิดขึ้นในระบบ เช่น การปรับปรุงวิธีการทำงานของผลิตภัณฑ์ การจัดการพลังงาน และแม้แต่ในขั้นตอนการทำงานของกล้อง ไม่ใช่แค่ด้านบน มัน. คุณพูดถึงเสียง และจำนวนคำหลักที่คุณจะสนับสนุน หรือคุณสามารถตัดเสียงรบกวนบนอุปกรณ์ได้หรือไม่ สิ่งสำคัญคือน่าสนใจเนื่องจากการสร้างไลบรารี่ไม่ใช่เรื่องง่าย เนื่องจากคุณมีหน่วยความจำที่จำกัด ดังนั้นจะยังคงมีความสมดุลระหว่างสิ่งที่อยู่ในท้องถิ่นและสิ่งที่จะเกิดขึ้นในระบบคลาวด์"

เซียด อัสการ์: "เสริมได้นิดหน่อยครับ. อย่างน้อยสองโดเมนที่มีการเติบโตอย่างมากในปัจจุบันก็คือเสียงและภาพ เราเห็นได้ว่ามีกรณีการใช้งานมากมาย แจ็คพูดถึงเรื่องนี้จากมุมมองของกล้อง เรามีกลไก AI ที่คุณสามารถใช้ประโยชน์จากกลไกดังกล่าวได้มากมายสำหรับกรณีการใช้งานด้านการถ่ายภาพ บางส่วนที่ได้นำมาแสดงในวันนี้ แล้วถ้าคุณดูที่เสียง เราไม่ได้พูดถึงเรื่องนี้มากนัก แต่จริงๆ แล้วเราได้เพิ่มความสามารถด้านเสียงบางอย่างให้กับบล็อกเสียงด้วย เราสามารถเปิดใช้งานด้วยเสียงได้ดีขึ้นในสภาพแวดล้อมที่มีเสียงดังมากขึ้น เราสามารถตัดเสียงรบกวนได้ดีขึ้น [ในการถ่ายภาพ] โดยพื้นฐานแล้วความสามารถเหล่านั้นทั้งหมดได้เกิดขึ้นแล้ว มีพันธมิตรที่ Gary แสดงให้ ISP ได้เห็นในวันนี้ และยังมีพันธมิตรอีกมากมายที่มา ดังนั้นผมคิดว่านี่เป็นสองมิติที่เราให้ความสำคัญมากขึ้นในวันนี้"

แกรี่ บรอทแมน: "และขั้นตอนถัดไป ฉันจะไม่คาดการณ์ว่าสิ่งนี้จะเกิดขึ้นเมื่อใด ตอนนี้มีการประมวลผลเพียงพอหรือไม่ การเรียนรู้และการทดลองบนอุปกรณ์เกี่ยวกับการเรียนรู้จริงบนอุปกรณ์มีแนวโน้มจะเกิดขึ้นในครั้งต่อไป วงจร"

มาริโอ เซอร์ราเฟโร: "นี่อาจเป็นหัวข้อที่สนุกกว่าในการพูดคุย และเป็นความจริงที่ว่า Qualcomm ยังคงใช้ชื่อเล่น Hexagon DSP และ HVX ในขณะที่บริษัทอื่น ๆ กำลังเลือกใช้ "neural" ไปเรื่อย ๆ Qualcomm มองเห็นความแตกต่างนี้ รวมถึงกลยุทธ์และแนวทางที่แตกต่างกันเหล่านี้อย่างไร การตลาด แต่เราสามารถอธิบายเพิ่มเติมในภายหลังเกี่ยวกับการประมวลผลที่แตกต่างกับบิตบล็อกเฉพาะได้ ดี."

แกรี่ บรอทแมน: "เนื่องจากHexagon มีส่วนได้ส่วนเสียใน DSP อยู่แล้ว คนๆ นั้นจึงหันไปคิดว่าเราแค่ขยายกลยุทธ์ DSP ของเราเท่านั้น จริงๆ แล้วในแบรนด์ ถ้าคุณดูโปรเซสเซอร์ทั้งสามตัว สเกลาร์ เวกเตอร์ของคุณ และตอนนี้ตัวเร่งเทนเซอร์เฉพาะของคุณ พวกมันไม่ใช่ DSP ทั้งหมด Hexagon เป็นแบรนด์ระดับที่สูงกว่า DSP จริงๆ มี DSP ไม่กี่ตัว ฉันคิดว่าคำถามทางการตลาดอาจจะตอบยากกว่านิดหน่อยเพราะแต่ละภูมิภาคมีความแตกต่างกัน ประเทศจีนมี NPU เป็นศูนย์กลางอย่างมาก เนื่องจากเป็นชื่อเล่นที่ถูกนำมาใช้เมื่อปีที่แล้ว และดูเหมือนว่าจะเป็นชื่อที่หยั่งรากลึกไปแล้ว ฉันจะไม่พูดว่านั่นใช้ได้ผลจากที่อื่นทั่วโลก Google มีตัวประมวลผลเทนเซอร์ และดูเหมือนว่าเทนเซอร์จะสะท้อนกลับ"

มาริโอ เซอร์ราเฟโร: “หลายๆ คนมีชื่อเป็นของตัวเอง”

แกรี่ บรอทแมน: "ท้ายที่สุดแล้วมันขึ้นอยู่กับสิ่งที่ OEM ต้องการทำ" หากสิ่งนั้นสำคัญต่อลูกค้าของพวกเขา ก็มีหน้าที่ที่จะต้องพิจารณาว่าพวกเขาสามารถใช้ประโยชน์จากความสามารถในการประมวลผลและสร้างความแตกต่างในแง่ของความสามารถได้อย่างไร เครื่องยนต์ของเราและฉันคิดว่าความสามารถในการประมวลผลจำนวนมากที่เรามี ยังคงเป็นเวกเตอร์และเทนเซอร์เป็นศูนย์กลางมากในแง่ของการผสมผสานโดยรวม การประมวลผลเฉพาะนั้นเอง วิธีการคูณเมทริกซ์ มันเป็นโปรเซสเซอร์เฉพาะประเภทเดียวกับที่ NPU จะใช้งาน คำถามทางการตลาดเป็นคำถามที่น่าสนใจ และฉันลืมไปว่าคำตอบของ Keith คืออะไร"

เซียด อัสการ์: "คำตอบของเขาคือ 'คุณจะเรียกมันว่าอะไรก็ได้ที่คุณต้องการเพื่อให้สามารถขายสินค้าได้มากขึ้น'"

แกรี่ บรอทแมน: "นั่นก็ค่อนข้างจะเป็นเช่นนั้น; ถูกต้อง มันเป็นคำตอบที่ตรงไปตรงมามาก”

เซียด อัสการ์: "ฉันคิดว่าแกรี่ปกปิดมันได้ดีจริงๆ บางคนใช้ชื่อเล่นนั้นเป็นคำในลักษณะที่เกือบจะระบุหรือบอกเป็นนัยว่าเป็นเพียงการจำกัดไว้เฉพาะบล็อกนั้นเท่านั้น แต่สิ่งที่เราเห็นก็คือ วิธีการใช้ CPU หรือ GPU หรือเทนเซอร์หกเหลี่ยมที่แตกต่างกันทั้งหมดนี้ vector ช่วยให้คุณได้ข้อดีข้อเสียต่างๆ ในด้านความแม่นยำในด้านกำลังและประสิทธิภาพ และนั่นคือสิ่งที่คุณต้องการ วันนี้. เพราะเราไม่รู้ว่าแอปพลิเคชันใดต้องการความแม่นยำระดับใด สิ่งใดต้องการประสิทธิภาพที่ยั่งยืน หรือสิ่งใดที่ไม่ต้องการ ดังนั้นเราจึงเชื่อว่าเป็นโซลูชันโดยรวมที่สมบูรณ์เพราะนั่นคือวิธีที่คุณจะได้รับประสบการณ์ที่ดีที่สุด"

แกรี่ บรอทแมน: "และนั่นไม่เคยเปลี่ยนแปลงในการสนทนาใดๆ ของเรา แม้แต่กับตัวเร่งความเร็วเฉพาะก็ตาม มันเป็นการเพิ่มเติม มันไม่ใช่การทดแทน”

มาริโอ เซอร์ราเฟโร: “ใช่แล้ว ปีที่แล้วผมคิดว่าเป็น Keith ที่พูดว่า 'ที่ใดมีการคำนวณ ที่นั่นย่อมมี AI' และตอนนี้ก็มีการประมวลผลมากขึ้น"

แกรี่ บรอทแมน: "ประมวลผลมากขึ้นในทุก ๆ บล็อก ถูกต้องเลย"

มาริโอ เซอร์ราเฟโร: “นเนื่องจากเราอยู่ในหัวข้อนี้ เราได้ยินการเปรียบเทียบกับคู่แข่ง 7 นาโนเมตรที่ “ลึกลับ” บน Android มากมาย ใช่ เรายังไม่รู้ว่านั่นคือใคร” (พูดแล้ว ในเรื่องตลก)

แกรี่ บรอทแมน: "ไม่มีความเห็น." (พูดเล่นๆ)

มาริโอ เซอร์ราเฟโร: “แต่คุณช่วยบอกเราเกี่ยวกับการเปรียบเทียบเหล่านี้ได้ไหม? พวกเขาวัดได้อย่างไร? คำเตือนอะไรที่ควรค่าแก่การพิจารณา? ความคิดเห็นอื่นๆ ที่พวกคุณอาจไม่มีเวลาอธิบายในสไลด์หรือในช่วงถามตอบ ฉันรู้ว่ามันยากที่จะวัดผล [และสื่อสาร] เนื่องจากมีโมเดลที่หลากหลาย ดังนั้นฉันคิดว่ามันเป็นเช่นนั้น เป็นหัวข้อที่น่าสนใจที่จะขยายออกไปเพื่อให้ผู้คนทราบว่าเหตุใดจึงไม่ง่ายที่จะทำสิ่งเหล่านั้น การเปรียบเทียบ"

แกรี่ บรอทแมน: "จริงๆ แล้วมันก็ค่อนข้างง่าย ฉันจะให้คำตอบง่ายๆ แก่คุณเกี่ยวกับเมตริกใดเมตริกหนึ่งโดยเฉพาะ เราจะทำการเปรียบเทียบเพิ่มเติมในเดือนมกราคม เราจะพูดคุยเพิ่มเติมเกี่ยวกับตาข่ายต่างๆ ที่ใช้ในการวัดตัวเลขที่เราใช้เป็นพื้นฐาน และนั่นก็คือ Inception v3 มาตรฐาน นั่นคือจุดที่เราได้รับประสิทธิภาพนั้นและความเข้าใจว่าการแข่งขันอยู่ในอันดับไหน แต่ในส่วนของที่ประกาศและออกสู่ตลาดก็มี 2x และ 3x มาครับ จาก—3x เทียบกับสิ่งที่เรามีใน 845 ในขณะที่ 2x เป็นการวัดประสิทธิภาพและสถานะของประสิทธิภาพสัมพันธ์กัน ของเรา"

เซียด อัสการ์: "คุณมีอุปกรณ์ที่พร้อมใช้งาน คุณสามารถรับมาได้จริงและทำการทดสอบบางอย่างด้วยตัวเอง แต่ฉันคิดว่าสิ่งเดียวที่ฉันจะระวังก็คือการเปรียบเทียบ AI แบบ Wild West บางคนใช้คำทั่วไปบางคำหรือหลายเครือข่ายที่อาจเป็นประโยชน์ต่อพวกเขาในลักษณะเฉพาะหรือไม่ก็ตาม "นั่นจะสอดคล้องกับภาระงานกิริยาได้ดีหรือไม่" ไม่ใช่สิ่งที่ผู้คนคำนึงถึง เกณฑ์มาตรฐานบางส่วนที่ลอยๆ กันนั้นทำได้มากกว่านั้นมาก และเราก็ใกล้เคียงกันมากด้วย รู้ว่ามีคนที่ทำให้เกณฑ์มาตรฐานเหล่านั้นแกว่งไปแกว่งมาไม่ทางใดก็ทางหนึ่ง ขึ้นอยู่กับว่าอะไรเป็นประโยชน์ พวกเขา. นั่นเป็นเหตุผลว่าทำไมจึงให้ความสำคัญกับกรณีการใช้งานจริงมากกว่า ยังมีอีกมากมายเกี่ยวกับประสิทธิภาพที่ดีที่สุดในระดับเดียวกันสำหรับกรณีการใช้งานนั้น และจากนั้นก็เกี่ยวกับการทำให้เสร็จเร็วที่สุด ฉันคิดว่านั่นคือปัจจัยทั้งหมดที่เราพิจารณา แต่ฉันคิดว่ามันจะดีขึ้นมันจะมาบรรจบกัน ขณะนี้มีตัวเลือกที่แตกต่างกันมากมาย ฉันคิดว่าคุณจะมีเกณฑ์มาตรฐานบางอย่างที่เหมาะสมกว่า วันนี้ คุณอาจโต้แย้งว่า Inception v3 ค่อนข้างดีกว่าในเวลานี้"

แกรี่ บรอทแมน: "ในส่วนของเครือข่ายก็มีไม่กี่อย่าง มี ResNet, VGG, Segmentation Nets, Super Resolution Nets ซึ่งเป็นประสิทธิภาพดิบที่คุณสามารถวัดสิ่งเหล่านี้ได้ ประเด็นที่ต้องคำนึงถึงในแง่ของการวัดประสิทธิภาพ เช่น บริษัทหรือหน่วยงานที่ทำการวัดประสิทธิภาพ AI และพวกเขา มีส่วนผสมของความแม่นยำ เครือข่าย และสูตรที่แปรผัน ตัวแปรจึงแปรผันเมื่อผลลัพธ์เปลี่ยนไป สัปดาห์ต่อสัปดาห์ นั่นคือสิ่งที่มันเป็น Wild West อย่างแท้จริง และเราจะรักษาความยาวแขนไว้ เราไม่ได้วางเดิมพันไว้ที่ใด เนื่องจากมีความแปรปรวนมากเมื่อพูดถึงประสิทธิภาพจริงของเครือข่ายเหล่านี้ ที่ใช้ในกรณีการใช้งาน เรารู้สึกมั่นใจว่าเรายังคงอยู่ในอันดับที่สูงขึ้นอย่างแน่นอนในแง่ของประสิทธิภาพเมื่อเทียบกับ การแข่งขัน. ฉันควรจะบอกว่าไม่ใช่อันดับ แต่การเพิ่มขึ้นเป็นสองเท่าที่เราพูดถึงคือผลงานดิบ”

มาริโอ เซอร์ราเฟโร: "วิชาหนึ่งที่เราสนใจในฐานะไซต์สำหรับนักพัฒนาเป็นหลักก็คือการทำให้แมชชีนเลิร์นนิงเป็นประชาธิปไตย แน่นอนว่าเรามีไลบรารีโอเพ่นซอร์สที่ยอดเยี่ยม ทุกคนต่างก็เสนอ SDK ที่น่าทึ่งเหล่านี้เช่นกัน และยังมีการศึกษาอีกมากมาย และตอนนี้ Android NN ก็พร้อมใช้งานแล้ว และ Google เพิ่งเปิดตัว เอ็มแอล คิท ซึ่งทำให้กระบวนการง่ายขึ้น คุณเพียงแค่เรียก API ป้อนข้อมูลของคุณ พวกเขาใช้โมเดลที่ผ่านการฝึกอบรม คุณไม่จำเป็นต้องกังวลเกี่ยวกับมัน ไม่ต้องคิด ไม่ต้องรู้สถิติหรือแคลคูลัสเวกเตอร์ใดๆ. คุณเห็นได้อย่างไรว่าภูมิทัศน์ได้พัฒนาไปในเรื่องนี้ในการทำให้สามารถเข้าถึงได้มากขึ้น ลดความซับซ้อนของ API ลดความซับซ้อนของเอกสาร SDK และส่งเสริมการรวมนักพัฒนาบุคคลที่สาม ไม่ใช่แค่เรื่องใหญ่เท่านั้น บริษัท?"

แกรี่ บรอทแมน: "มันตลกดีเมื่อเรามุ่งเน้นไปที่บริษัทใหญ่ๆ จริงๆ ก็ได้ช่วยเหลือนักพัฒนารายย่อยด้วยเช่นกัน เราเริ่มต้นด้วยสแต็กที่เป็นกรรมสิทธิ์มากขึ้นเมื่อพูดถึงการเขียนโปรแกรมสำหรับ Snapdragon โดยเฉพาะสำหรับการรัน AI แต่เมื่อเวลาผ่านไป และในสองสามรุ่นที่ผ่านมา เราได้เพิ่มเครื่องมือมากขึ้น เรากำลังพยายามสร้างสมดุลระหว่างนามธรรมระดับสูงและความง่ายในการใช้งาน และการเข้าถึงระดับล่างซึ่งต้องใช้ใครสักคน เพื่อให้มีความรอบรู้มากขึ้น โดยเฉพาะอย่างยิ่งเมื่อต้องจัดการกับคอร์ที่เป็นกรรมสิทธิ์ของเรา เช่น โปรเซสเซอร์เวกเตอร์หรือ NPU เราเห็นว่ามันพัฒนาจากจุดยืนที่เป็นประชาธิปไตย เรามีพื้นฐานการสร้างพื้นฐานเช่นห้องสมุดคณิตศาสตร์หกเหลี่ยมและวอลคอมม์ แต่อาจเป็น API ระดับที่สูงกว่าเล็กน้อยที่สรุปการยกของหนักเป็นอย่างน้อย แต่ให้ความยืดหยุ่นเพียงพอแก่นักพัฒนาเพื่อให้สามารถใช้โอเปอเรเตอร์ที่กำหนดเองของตนเองได้หรือสามารถปรับแต่งประสิทธิภาพในระดับล่างได้เล็กน้อย ระดับ. ดังนั้นพอร์ตโฟลิโอจะยังคงเกี่ยวข้องกับเครื่องมือมากขึ้น และแน่นอนว่าเช่น NN API โดยที่ Onyx เป็นตัวอย่างในความสามารถในการ โดยพื้นฐานแล้วพูดว่า "นี่คือสิ่งที่คุณกำลังเขียนโปรแกรม สิ่งที่คุณแสดงเครือข่ายของคุณ" ตราบใดที่ฮาร์ดแวร์รองรับ คุณก็เป็นเช่นนั้น ดี.

ดังที่ผมได้กล่าวไว้ในการนำเสนอของเรา เรามีหน้าที่รับผิดชอบต่อภูมิทัศน์ของระบบปฏิบัติการหลายระบบ มี Windows มี Linux มี Android ดังนั้นจึงไม่ใช่แค่เกี่ยวกับ Android เมื่อเราดูสิ่งนี้ หากเราจะสร้าง API บางประเภทที่เป็น SoC, cross-SoC หรือ ข้ามแพลตฟอร์มจากมุมมองของระบบปฏิบัติการ เราต้องดูและดูวิธีค้นหาความเหมือนกันในสิ่งที่เราสร้างภายใต้ เครื่องดูดควัน สแต็กที่มีไลบรารีและการสนับสนุนโอเปอเรเตอร์และสามารถเสียบเข้ากับ NN API หรือ Windows ML ได้เป็นตัวอย่าง แต่แน่นอนว่า เราได้เปลี่ยนจากลูกตุ้มมาอยู่ที่นี่ ซึ่งไม่มีใครรู้จริงๆ ว่าต้องทำอย่างไร อย่างแท้จริง, ไม่ทราบ. “ฉันไม่รู้ว่าจะใช้กรอบงานอะไร ฉันควรใช้ TensorFlow หรือควรใช้ Caffe หรือ Torch?” และไม่รู้ว่าจะต้องทำอย่างไรเพื่อเพิ่มประสิทธิภาพในระดับล่าง ทุกคนจึงพอใจกับการเรียก API ตอนนี้ ภายในเวลาเพียงไม่กี่ปี มันง่ายที่จะเจาะลึกลงไป ดังนั้นเครื่องมือที่มีอยู่ ไม่ว่าจะเป็นเครื่องมือโอเพ่นซอร์สทั่วไป หรือแม้แต่ในพอร์ตโฟลิโออย่างที่เราเสนอหรือข้อเสนอของคู่แข่ง เครื่องมือเหล่านั้นจึงเข้าถึงได้ง่ายขึ้นและใช้งานง่ายขึ้น"

มาริโอ เซอร์ราเฟโร: “พูดถึงชุมชนนักพัฒนา ครั้งล่าสุดที่เราได้พูดถึงชุมชนที่เติบโตเต็มที่ที่สุดแห่งหนึ่งที่เรามีคือชุมชนเกม และ Qualcomm ก็ฝังตัวอยู่ในนั้นเป็นอย่างดี ตอนนี้เราเห็นแล้วว่ามีความร่วมมือกับเอ็นจิ้นเกมที่ได้รับการส่งเสริมและทำการตลาดมากขึ้นกว่าเดิม ดังนั้นเราจึงพูดถึงเรื่องนั้นในบริบทของ AI และวิธีที่มันเกิดขึ้นที่นั่น"

มิชาล ราห์มาน: “คุณกำลังพูดถึงวิธีที่คุณต้องการลงทุนมากขึ้นในอีก 12 เดือนข้างหน้า นี่กลับมาในช่วงครั้งสุดท้ายที่เราอยู่ที่นี่”

มาริโอ เซอร์ราเฟโร: “โดยเฉพาะชุมชนนักพัฒนาเกม การขยายขอบเขตออกไปและสิ่งที่เราเห็นในปัจจุบัน”

แกรี่ บรอทแมน: “ผมจำความเห็นเจาะจงเกี่ยวกับการลงทุนในชุมชนเกมไม่ได้แล้ว แต่หากดูหมวดที่เราเห็นแล้วขับเคลื่อน ความจำเป็นในการเร่งความเร็วโดยเฉพาะ และการเล่นเกมก็เป็นส่วนหนึ่งของสิ่งนี้ แต่ก็ไม่ใช่กรณีการใช้งานหลักที่จำเป็น นั่นคือ VR ในฐานะ ตัวอย่าง. ในประสบการณ์ VR ที่เต็มอิ่มและดื่มด่ำ โดยพื้นฐานแล้วทุกคอร์จะถูกนำมาใช้ประโยชน์ คุณกำลังประมวลผลกราฟิกบน GPU ประมวลผลภาพบนโปรเซสเซอร์เวกเตอร์ และความจำเป็น ใช้เน็ตหนึ่งหรือหลายเน็ตแล้วรันแยกกันบนตัวเร่งความเร็วเฉพาะโดยไม่ต้องกังวลเรื่องการทำงานพร้อมกัน ผลกระทบ. นั่นเป็นหนึ่งในเหตุผลที่ผลักดันเราไปสู่เส้นทางแห่งการเร่งความเร็วโดยเฉพาะ ฉันไม่มีข้อมูลมากนักเกี่ยวกับวิธีที่ AI ถูกนำมาใช้ในเกมในปัจจุบัน มีงานมากมายกับตัวแทน—พัฒนาตัวแทนเพื่อต่อสู้หรือสอนคุณ”

มาริโอ เซอร์ราเฟโร: "เหมือนกับ AI แบบดั้งเดิมในเกม"

แกรี่ บรอทแมน: "ถูกต้องครับ. แต่ใช้โครงข่ายประสาทเทียมมากกว่า”

มาริโอ เซอร์ราเฟโร: “ใช่ ไม่ใช่มินิแมกซ์”

แกรี่ บรอทแมน: "ความรับผิดชอบส่วนหนึ่งของ Ziad ก็คือการขับเคลื่อนกลยุทธ์ XR"

เซียด อัสการ์: "อย่างชาญฉลาด XR ถ้าคุณดูวันนี้ เราได้เปิดตัวอุปกรณ์ใหม่ที่เป็น HMD แบบ all-in-one พร้อมการเปิดใช้งาน 6DOF เต็มรูปแบบ อุปกรณ์อย่าง Oculus Quest ที่เปิดตัวจริงด้วย Snapdragon 835 ดังนั้นเราจึงเริ่มเข้าสู่จุดที่ดีมากในแง่ของการควบคุมความสามารถที่แท้จริงของอุปกรณ์ XR ในอดีต อุปกรณ์บางตัวไม่ได้ให้ประสบการณ์ที่บริสุทธิ์จริงๆ เพราะบางคนไม่ได้รับประสบการณ์ที่ดีที่สุด ฉันคิดว่า XR กำลังทำได้ดีมาก สิ่งที่เรากำลังดูอยู่ในอนาคตเมื่อรวมกับ 5G ก็คือตอนนี้คุณสามารถรับ อุปกรณ์ของคุณมีความคล่องตัวมากกว่ามาก ซึ่งหมายความว่าคุณสามารถจินตนาการได้ว่าคุณกำลังเดินอยู่บน ถนน. แล้วการมีลิงค์แบบ 5G ก็หมายความว่าแบบนั้น การสาธิตที่ Gary แสดงเกี่ยวกับ Google Lens. ทีนี้ ลองจินตนาการว่าหากคุณสวมแว่นตา Google หรืออะไรทำนองนั้น และคุณสามารถนำเข้ามาได้จริงๆ ข้อมูลทั้งหมดเกี่ยวกับสิ่งที่คุณกำลังมองผ่านสายตา ตอนนี้คุณมีกรณีการใช้งานที่อาจเป็นประโยชน์อย่างมาก น่าสนใจ ฉันคิดว่านั่นคือสิ่งที่การลงทุนระยะยาวที่คุณกำลังพูดถึงนั้นเป็นทิศทางที่มันไป

แต่ตอนนี้เรารู้สึกว่าเราอยู่ในสถานะที่ดีมากในแง่ของ XR และบริษัทต่างๆ ทั้งหมดที่เปิดตัวด้วย XR Oculus Go นั้นใช้ Snapdragon 820 เช่นกัน ดังนั้นฉันคิดว่าเรากำลังเริ่มไปถึงจุดที่ดีมากที่ผู้คนหยิบมันขึ้นมาและทำสิ่งต่าง ๆ มากมายกับมัน และขั้นตอนต่อไปอย่างที่ฉันพูดถึงคือเราเริ่มนำการเชื่อมต่อ 5G เข้ามา ซึ่งเราจะทำและต่อจากนี้ไป แน่นอนว่า AR และบางสิ่งที่ต้องการประสิทธิภาพที่มากกว่านั้นมาก แต่ก็ยังมีข้อจำกัดอยู่ พลัง. และนั่นจะเป็นเรื่องที่ท้าทายอย่างยิ่ง และฉันคิดว่าสิ่งที่เราพูดถึงในวันนี้ Qualcomm น่าจะดีที่สุดในแง่ของการใช้งานกรณีการใช้งานเหล่านี้ หากคุณดูกราฟิก หากคุณเปรียบเทียบคู่แข่งใดๆ คุณจะเห็นว่าประสิทธิภาพต่อหน่วยกำลังของเราดีที่สุดในระดับเดียวกัน และด้วยผลที่ตามมา ความร้อน ประสิทธิภาพที่ยั่งยืนคือสิ่งสำคัญใน XR และในแง่นี้เราจึงนำหน้าจริงๆ นั่นคือเหตุผลที่ผู้คนใช้เราเพื่อ XR"

มาริโอ เซอร์ราเฟโร: "ตั้งแต่ปีที่แล้ว เราได้เห็นแล้วว่า Hexagon 685 DSP ตีช่วงเสียงกลางระดับพรีเมียมได้ในที่สุด 710 และช่วงกลางที่เหมาะสมด้วย 670 และ 675. ตอนนี้เรากำลังทำให้ Hexagon Vector Extensions ดำเนินไปในทิศทางปลายน้ำ ในขณะที่คู่แข่งรายอื่นๆ ไม่ค่อยทำแบบนั้นกับหน่วยประมวลผลประสาทของพวกเขา คุณเห็นอย่างไรว่าการขยายขอบเขตของประสบการณ์เหล่านี้ และฉันอยากจะถามว่า ในอดีตคุณเห็นว่าความคลาดเคลื่อนของประสิทธิภาพใน AI สร้างความแตกต่างหรือไม่ เพราะเรายังคงอยู่ในช่วงเริ่มต้นของการนำ AI มาใช้"

เซียด อัสการ์: "ผมดูแผนงานโดยรวมแล้ว หากคุณกำลังมองหาประสิทธิภาพที่ดีที่สุดในระดับเดียวกัน ก็จะอยู่ในระดับพรีเมี่ยม สิ่งที่เรากำลังทำคือเราเลือกใช้ความสามารถบางอย่างของ Hexagon และทำให้มันต่ำลง เอ็นจิ้น AI ตัวแรกหรือหกเหลี่ยมตัวแรกเริ่มต้นด้วย Snapdragon 820 ดังนั้นเราจึงลดระดับลงเป็น Snapdragon 660 และ 670 และ 710 ก็มีเช่นกัน ดังนั้นแผนของเราคือการดูว่ามันจะแบ่งออกเป็นประสบการณ์ที่คาดหวังได้อย่างไร

ในฐานะกลไก AI เรามีส่วนประกอบพื้นฐานแบบเก่า ได้แก่ CPU, GPU, เทนเซอร์หกเหลี่ยม, เวกเตอร์หกเหลี่ยม และสเกลาร์ สิ่งที่เราทำคือเราคัดเลือกบางส่วนของส่วนนั้นลงในแผนงานเพิ่มเติม เนื่องจากเราเห็นว่าความสามารถเหล่านั้นลดน้อยลงและเข้าสู่ชุดหูฟังระดับล่าง คุณจะเห็นจริงเมื่อเราก้าวต่อไปในปีนี้ คุณจะเห็นว่าเราจะทำสิ่งนั้นให้มากกว่านี้ เราเปิดตัว Snapdragon 675 ที่การประชุมสุดยอด 4G/5G เราได้พูดคุยเกี่ยวกับการมาของ 675 และสิ่งที่คุณเห็นก็คือ เนื่องจากกรณีการใช้งานเหล่านี้มีเพิ่มมากขึ้น อย่างแพร่หลาย ตามที่เราได้แสดงให้เห็นกับ ArcSoft และคนอื่นๆ ในวันนี้ เราจะนำความสามารถเหล่านี้มาใช้ ต่ำกว่า. ในชั้นล่าง คุณจะสามารถเรียกใช้กรณีการใช้งานนั้นได้ แต่เพื่อให้ได้โปรไฟล์พลังงานที่เหมาะสมเหมือนฉัน อย่างที่คุยกันไว้ก่อนหน้านี้ว่า หากคุณต้องการมีผลงานที่ยั่งยืน คุณคงอยากให้บล็อกนั้นมา ต่ำกว่า. ดังนั้น ขอย้ำอีกครั้ง ประสิทธิภาพที่ดีที่สุดในระดับเดียวกันจะอยู่บนจุดสูงสุด แต่เมื่อคุณลดระดับลง ก็จะมีการเสื่อมถอยหรือการไล่ระดับอย่างมากของ…"

มาริโอ เซอร์ราเฟโร: "คุณสามารถพูดได้ว่ามีการสืบเชื้อสายแบบไล่ระดับ" (พูดติดตลก)

เซียด อัสการ์: "ใช่แล้ว. นั่นคือวิธีที่เราดำเนินการกับเทคโนโลยีอื่นๆ ตามแผนงาน และ AI ก็จะไม่แตกต่างกันมากนักในแง่นั้น มันอาจจะมีความแตกต่างอย่างหนึ่ง บางทีคุณอาจจะมาจากที่ใด เพราะว่ามันอาจจะลงมาเร็วกว่านั้น ผ่านเทคโนโลยีอื่นๆ ที่เรานำมาใช้ในแผนงาน ดังนั้นการสังเกตนั้นฉันก็เห็นด้วย กับ."

---

หากคุณสนใจที่จะเรียนรู้เพิ่มเติมเกี่ยวกับ AI ในแพลตฟอร์มมือถือของ Qualcomm เราขอแนะนำให้อ่านบทสัมภาษณ์ของเรากับ Gary Brotman เมื่อปีที่แล้ว คุณสามารถเริ่มต้นด้วย ส่วนที่ 1 ของการสัมภาษณ์ของเราหรือไปที่ ส่วนที่ 2.

กราฟิกทั้งหมดที่แสดงในการสัมภาษณ์นี้มาจากการนำเสนอของ Gary Brotman ในระหว่างการประชุม Snapdragon Tech Summit คุณสามารถดูสไลด์ได้ ที่นี่.