يشرح جود هيب من شركة Qualcomm كيف تعمل شركة Qualcomm على تحسين تجارب الكاميرا على هواتف Android من خلال ميزات جديدة في مزودي خدمات الإنترنت Spectra.
باعتبارها الشركة المصنعة للأنظمة على الرقائق (SoCs) التي تعمل على تشغيل الكثير من الهواتف الذكية والأجهزة القابلة للارتداء في العالم، فإن شركة Qualcomm ومقرها الولايات المتحدة هي بلا شك واحدة من عمالقة صناعة الرقائق. على سبيل المثال، يتم استخدام خط Snapdragon الخاص بـ SoCs من قبل كل صانع أجهزة Android الرئيسي تقريبًا للهواتف الذكية الرائدة ومتوسطة المدى والميزانية. تحصل شركة Qualcomm على استحسان كل عام في القمة التقنية السنوية للشركة للتقدم في مجالات وحدة المعالجة المركزية ووحدة معالجة الرسومات والذكاء الاصطناعي، حيث تتضمن البنى الدقيقة الجديدة لوحدة المعالجة المركزية من ARM ويكملها بالتحسينات السنوية في وحدات معالجة الرسومات المخصصة. ومع ذلك، فإن التقدم الذي حققته في مجال الكاميرات لم يتم ملاحظته كثيرًا، حيث أنها تميل إلى التعمق في عالم الكاميرات رادار.
لكن هذا لا يعني أن عمل شركة كوالكوم في مجال كاميرات الهواتف الذكية غير مهم. على العكس من ذلك، يساعد مزودو خدمات الإنترنت Spectra من Qualcomm في Snapdragon SoCs على جعل الكثير من كاميرات الهواتف الذكية الحديثة ممكنة مع زيادة قوة المعالجة الحسابية، وميزات مثل تسجيل فيديو بدقة 8K، وفيديو HDR10، ودعم كاميرات QCFA عالية الدقة، وغير ذلك الكثير أكثر. قامت شركة Qualcomm بالترويج لـ Spectra 380 ISP في Snapdragon 855
كان أول CV-ISP في العالم، وقد روجت لميزات تسجيل الفيديو بدقة 4K HDR الأولى في العالم، والتي تم استكمالها الآن بالجيل الثاني من تسجيل الفيديو بدقة 4K HDR10+. Spectra 480 ISP في أحدث جيل سناب دراجون 865 يتمتع بقدرة عالية - حيث يمكنه معالجة 2 جيجا بكسل في الثانية، أي بزيادة قدرها 40% عن سابقه. إنها ملكية فكرية (IP) تميز شركة Qualcomm عن منافسيها في مجال بيع شرائح الهاتف المحمول.بينما تشرح شركة كوالكوم معظم الميزات الرئيسية في بياناتها الصحفية وكلمات المنتج الأساسية، فما فوق حتى الآن، لم تتاح للمستهلكين فرصة لمعرفة معظم التفاصيل ذات المستوى المنخفض التي تصنع هذه الأشياء عمل.
ولهذا السبب كنا في XDA Developers سعداء بقبول عرض التحدث مع Judd Heape، المدير الأول لإدارة المنتجات في Qualcomm. لقد أجريت أنا ورئيس تحرير موقع XDA، مشعل الرحمن، مقابلة مع جود في يونيو 2020 لنتعلم ونرى كيف تعمل شركة كوالكوم على تحقيق الأهداف من خلال التصوير الفوتوغرافي وتسجيل الفيديو بالهواتف الذكية. تحدثنا عن موضوعات تشمل معالجة الصور بالذكاء الاصطناعي، وتقليل الضوضاء متعددة الإطارات (MFNR)، وAV1، وتسجيل فيديو Dolby Vision، ودمج وحدات البكسل في الكاميرات عالية الدقة، وغير ذلك الكثير. دعونا نلقي نظرة على رؤى جود في كل موضوع على حدة:
أعباء عمل معالجة الصور بالذكاء الاصطناعي
مشعل الرحمن: سأبدأ بواحدة من تلك التي كان لدى إدريس، وهي مثيرة للاهتمام، والتي كنت مهتمة بها أيضًا. لذلك نحن نتساءل ما هي أحمال عمل معالجة صور الذكاء الاصطناعي التي تستخدمها شركة Qualcomm في Spectra ISP وإلى أي درجة يمكن تخصيصها من قبل صانعي الأجهزة؟
جود هيب: نعم، نحن ننظر إلى الكثير من أعباء عمل الذكاء الاصطناعي وهناك بعض الذكاء الاصطناعي الذي يمكن تشغيله في مزود خدمة الإنترنت نفسه مثل، على سبيل المثال، الجيل التالي 3A: التعرض التلقائي، وتوازن اللون الأبيض التلقائي، والتركيز التلقائي هي الذكاء الاصطناعي قائم على.
لكننا ننظر أيضًا إلى عدد قليل من أعباء عمل الذكاء الاصطناعي الأخرى، والتي يمكن تشغيلها خارج مزود خدمة الإنترنت، في أحد عناصر الحوسبة الأخرى. لذلك، على وجه الخصوص، ننظر إلى أشياء مثل: لدينا نواة لتقليل الضوضاء تعتمد على الذكاء الاصطناعي والتي تعمل خارجيًا من مزود خدمة الإنترنت، في جزء محرك الذكاء الاصطناعي (AIE) من الشريحة.
لدينا أيضًا أشياء مثل اكتشاف الوجه، وهو محرك تعلم عميق كامل يعمل أيضًا في مجمع AIE، ولكنه يساعد الكاميرا بالطبع. وهناك أشياء أخرى نعمل عليها بخلاف اكتشاف الوجه وتقليل الضوضاء؛ نحن نتطلع أيضًا إلى القيام بأشياء مثل الضبط التلقائي للقطات باستخدام الذكاء الاصطناعي الذي سيتم ضبطه تلقائيًا المعلمات لكل مشهد بناءً على محتوى HDR، سنقوم بمعالجة تعديل الظل والإبرازات والألوان وما إلى ذلك شيء.
فاز أحد شركائنا، Morpho، بجائزة ضخمة لأعباء عمل الذكاء الاصطناعي في Embedded Vision Summit هذا العام. يمتلك شركاء بائعي البرامج المستقلين أيضًا الكثير من الخوارزميات المكثفة القائمة على الذكاء الاصطناعي والتي يمكن أن تتراوح من أي شيء مثل الكاميرا الناعمة الانتقال، مثل ما تفعله Arcsoft، (ذكرت ذلك في قمة Snapdragon Tech الأخيرة التي تعتمد على الذكاء الاصطناعي)، إلى تجزئة Morpho الدلالية محرك. الحل الذي تقدمه Morpho هو محرك الذكاء الاصطناعي الذي يفهم أجزاء مختلفة من المشهد، مثل ما تعرفه، القماش مقابل الجلد مقابل السماء والعشب و بناء وهذا النوع من الأشياء ومن ثم يستطيع مزود خدمة الإنترنت أخذ تلك المعلومات ومعالجة تلك البكسلات بشكل مختلف فيما يتعلق بالملمس والضوضاء واللون مثال.
بيان كوالكوم: بالنسبة إلى ML وAI، فإننا لا نعلن أيضًا عن أي تحديثات جديدة لميزات اكتشاف الوجه و"3A" (AE وAF وAWB) اليوم أيضًا. ومع ذلك، كما قال جود، نحن ملتزمون، للمضي قدمًا، بجلب المزيد من إمكانات ML/AI إلى الكاميرا، بما في ذلك هذين المجالين المميزين.
التحليل والسياق: لقد تم اعتبار الذكاء الاصطناعي في الهواتف الذكية إلى حد كبير كلمة طنانة منذ أن بدأت وحدات المعالجة العصبية (NPUs) والميزات "المعتمدة على الذكاء الاصطناعي" في الوصول إلى هواتف Android. ومع ذلك، هذا لا يعني أن الذكاء الاصطناعي في حد ذاته لا معنى له. على العكس من ذلك، يتمتع الذكاء الاصطناعي بالكثير من الإمكانات في مجال الهاتف المحمول، لدرجة أن بائعي الرقائق وصانعي الأجهزة على حد سواء لا يزالون يخدشون السطح حتى الآن لما هو ممكن.
بفضل الذكاء الاصطناعي، أصبحت كاميرات الهواتف الذكية أفضل - أحيانًا بسرعة، وأحيانًا ببطء شديد، لكنها تصل إلى هناك. تتغلب كاميرات الهواتف الذكية على القيود الأساسية مثل أجهزة الاستشعار الأصغر نسبيًا والثابتة الأطوال البؤرية والبصريات الضعيفة مع التصوير الحسابي الذكي المدعوم بالتعلم الآلي (مل). إن التعرض التلقائي وتقليل الضوضاء واكتشاف الوجه والتجزئة ليست سوى بعض المجالات التي تمكن فيها الذكاء الاصطناعي في التصوير الفوتوغرافي بالهواتف الذكية من إحداث تأثير. وفي السنوات الخمس المقبلة، ستنضج هذه المجالات الناشئة للذكاء الاصطناعي التي تعمل على تحسين جوانب مختلفة من التصوير الفوتوغرافي كثيرًا.
تقليل الضوضاء متعدد الإطارات
إدريس باتيل: لقد ذكرت شركة Qualcomm تقليل الضوضاء متعددة الإطارات كميزة. أرغب في معرفة المزيد من التفاصيل حول هذا الموضوع كما هو الحال في كيفية عمل تكديس الصور. هل يشبه بأي شكل من الأشكال ما تفعله Google بتقنية HDR + الخاصة بها أم أن الأمر مختلف تمامًا؟
جود هيب: إنها مشابهة ولكنها مختلفة. تخيل أن الكاميرا تقوم بالتقاط صور متتابعة وتلتقط من خمسة إلى سبعة إطارات في تتابع سريع. ثم يقوم محرك ISP بإلقاء نظرة على تلك الإطارات ويختار أفضلها (يُسمى "إطار التثبيت"). التركيز والوضوح ومن ثم يمكنه اختيار 3-4 إطارات على جانبي هذا الإطار ثم متوسطها جميعًا معاً. فهو يحاول اختيار الإطارات القريبة من بعضها بدرجة كافية بحيث تكون الحركة قليلة جدًا.
وعندما يستقر على تلك الإطارات، فإنه يقوم بحساب متوسطها معًا لتمييز ما هو مختلف، على سبيل المثال، ما هي بيانات الصورة الفعلية مقابل ما هي بيانات الضوضاء. لذلك عندما يكون لديك المزيد والمزيد من المعلومات، من المزيد والمزيد من الإطارات، يمكنك في الواقع القيام بأشياء بسيطة مثل النظر إلى الاختلافات بين الإطارات. من المحتمل أن تكون الاختلافات عبارة عن ضوضاء، في حين أن ما هو متساوٍ في الإطارات هو على الأرجح بيانات الصورة.
حتى نتمكن من الجمع بين إطار الوقت الحقيقي لتقليل الضوضاء. الآن، يمكنك أيضًا أن تفعل الشيء نفسه مع الإضاءة المنخفضة وتقنية HDR، وهذا يشبه إلى حد كبير ما تفعله Google على الأرجح. نحن لسنا مطلعين على الخوارزمية الخاصة بهم. لكنهم يستخدمون تقنيات الإطارات المتعددة لزيادة الحساسية حتى تتمكن من "الرؤية" بشكل أفضل؛ بمجرد تقليل مستوى الضوضاء، يمكنك الآن التفكير في إجراء المزيد من تعيين النغمات المحلية، أو إضافة مكاسب إلى الصورة دون إضافة المزيد من الضوضاء.
هذه هي الطريقة التي يتعاملون بها مع الإضاءة المنخفضة، بالإضافة إلى تقنية HDR. ستأتي التحسينات على ميزة تقليل الضوضاء متعددة الإطارات من شركة Qualcomm، والتي ستشمل أيضًا الإضاءة المنخفضة وتقنية HDR. ولكن هذا شيء سنطرحه قريبًا.
مشعل الرحمن: لقد ذكرت طرح هذه الميزة قريبًا. هل يأتي ذلك كتحديث لـ BSP للشركاء؟
جود هيب: في منتجات الجيل التالي لدينا، من خلال إضافة البرامج، سيكون لدينا القدرة على التعامل مع - وهو ما يحدث بالفعل الآن في المستقبل منتجات الجيل - نحن نتعامل مع العملاء في الوقت الحالي للقيام بالمزيد من تقنيات الإطارات المتعددة بما يتجاوز تقليل الضوضاء، ولكن أيضًا للتعامل مع HDR والإضاءة المنخفضة مواقف. إنه يستخدم نفس محرك ISP HW الأساسي، لكننا نضيف المزيد من البرامج للتعامل مع هذه الإطارات المتعددة لأكثر من مجرد تقليل الضوضاء.
لذلك، لم يتم طرح هذا الأمر ولكننا نتعامل مع بعض العملاء الرئيسيين بشأن هذه الميزات.
التحليل والسياق: مع كل إعلان جديد عن Snapdragon SoC، يتضمن جدول مواصفات Qualcomm المواصفات المتعلقة بتقليل الضوضاء متعددة الإطارات. على سبيل المثال، Snapdragon 865، مع مزودي خدمة الإنترنت CV-ISP المزدوجين 14 بت يدعم ما يصل إلى كاميرا واحدة افتراضية بدقة 200 ميجابكسل (على الرغم من أن بائعي مستشعرات الكاميرا مثل Sony وSamsung وOmniVision لم يصدروا بعد أي مستشعر لكاميرا الهواتف الذكية أعلى من 108 ميجابكسل). ومع ذلك، عندما يتعلق الأمر بدعم كاميرا واحدة مع MFNR، وتأخر الغالق الصفري (ZSL)، ودعم 30 إطارًا في الثانية، فإن تتغير المواصفات إلى 64 ميجابكسل، وبالنسبة للكاميرات المزدوجة بنفس المواصفات تتغير المواصفات إلى 25 ميجابكسل.
إن تقنية تقليل الضوضاء متعددة الإطارات من Qualcomm تشبه إلى حد كبير تقنية HDR+ ولكنها ليست متماثلة تمامًا، كما أوضح Judd أعلاه. في حين أن تقنية HDR+ تأخذ سلسلة من التعريضات الضوئية المنخفضة ومتوسطها للحصول على أفضل صورة، فإن MFNR تلتقط خمسة إلى سبعة إطارات عادية. لا يبدو أن MFNR من Qualcomm متقدم مثل حل Google لأنه لم يتم ذكر HDR والإضاءة المنخفضة كأولويات محددة في الوقت الحالي سير العمل لـ Spectra، بينما يستهدف HDR + من Google تقنية HDR والتصوير الفوتوغرافي في الإضاءة المنخفضة وتقليل الضوضاء في نفس الوقت، مع رفع Night Sight الأمر حتى إلى مستوى أعلى. إضافي. ومع ذلك، فمن المشجع معرفة أن MFNR تتلقى تحسينات وأن شركة Qualcomm ستطرح هذه التحسينات على "بعض العملاء الرئيسيين". في المستقبل، ربما لن نحتاج إلى منافذ Google Camera غير الرسمية لتحقيق الإمكانات الكاملة لكاميرات الهواتف الذكية التي لا تعمل بنظام Android.
دقة فائقة للفيديو
مشعل الرحمن: إذن، شيء سمعته في قمة التكنولوجيا. في الواقع، أعتقد أنه كان في مقابلة مع هيئة الروبوت. هو أن شركة كوالكوم تخطط لتوسيع نطاق الدقة الفائقة للفيديو كحل برمجي للشركاء وأنه سيتم طرح ذلك في التحديث، على ما يبدو. أتساءل عما إذا كان لديك أي تحديثات لمشاركتها حول هذه الميزة.
جود هيب: نعم، هذه هي الميزة التي كانت لدينا القدرة على القيام بها لفترة من الوقت، ويتم طرحها الآن. لن أقول إنه في تحديث برنامج، ولكن أود أن أقول إنه يشبه إلى حد ما ميزة إضافية للقدرة الحالية على ميزة الإطارات المتعددة والإضاءة المنخفضة. نحن نتعامل مع بعض العملاء الرئيسيين المحددين بشأن هذه الميزة. لذا، نعم، دقة الفيديو الفائقة هي شيء موجود في جيل آخر أو نحو ذلك سنحصل عليه كما نحن استدعاء ميزة خطة التسجيل حيث يتم تضمينها بالفعل في قاعدة التعليمات البرمجية للبرنامج لـ [the] آلة تصوير. ولكن في الوقت الحالي، يتعلق الأمر أكثر بمستوى تفاعلات العملاء المحددة لهذه الميزة الجديدة.
التحليل والسياق: تعد الدقة الفائقة للفيديو ميزة لم تظهر حتى الآن في كاميرات الهواتف الذكية. إنه مجال جديد ولا تزال الأوراق البحثية قيد الكتابة حول هذا الموضوع. يعد استخدام تقنيات الإطارات المتعددة للتصوير الفوتوغرافي أمرًا واحدًا، ولكن استخدامها للفيديو لرفع مستوى الفيديو إلى دقة أعلى هو أمر مختلف تمامًا. وتقول شركة كوالكوم إنها تطرح هذه الميزة على "بعض العملاء الرئيسيين" مرة أخرى، ولكنها في الوقت الحالي ليست مدمجة في قاعدة كود البرنامج الخاصة بالكاميرا. في المستقبل، قد تكون متاحة للجميع، ولكن في الوقت الحالي، إنها ميزة لم يتعين على المستهلكين النهائيين استخدامها بعد.
مستشعرات Quad Bayer بدقة عالية
إدريس باتيل: دعونا نتحدث عن أجهزة استشعار Quad Bayer. منذ عام 2019، تحتوي العديد من الهواتف الآن على مستشعرات بدقة 48 ميجابكسل، و64 ميجابكسل، والآن حتى 108 ميجابكسل. هذه هي أجهزة استشعار رباعية باير. ليس لديك في الواقع دقة ألوان حقيقية تبلغ 48 أو 64 أو 108 ميجابكسل. شيء واحد أردت أن أسأله هو كيف يختلف مزود خدمة الإنترنت من حيث معالجة الصور لأجهزة Quad Bayer أو Nona مستشعرات Bayer (4 في 1 أو 9 في 1 بكسل)، عند مقارنتها بأجهزة الاستشعار التقليدية، التي لا تحتوي على أي بكسل binning.
جود هيب: نعم، وبالطبع فإن فائدة مستشعرات CFA (مصفوفة المرشحات الرباعية الألوان) هي القدرة على التشغيل في الضوء الساطع بدقة كاملة، ومن ثم يستطيع مزود خدمة الإنترنت معالجتها بدقة 108 ميجابكسل أو 64 ميجابكسل أو أيًا كان متاح.
ومع ذلك، عادةً في معظم حالات الإضاءة، مثل الأماكن المغلقة أو المظلمة، يتعين عليك التخلص من وحدات البكسل لأن وحدات البكسل الخاصة بالمستشعر صغيرة جدًا بحيث يتعين عليك دمج وحدات البكسل للحصول على حساسية أفضل للضوء. لذلك أود أن أقول في معظم الأوقات، خاصة إذا كنت تقوم بتصوير الفيديو أو إذا كنت في الإضاءة المنخفضة لالتقاط الصور، فأنت تعمل في وضع المهملات.
الآن، يستطيع مزود خدمة الإنترنت معالجة المستشعر في كلتا الحالتين. يمكنك إلقاء نظرة على المستشعر في وضع binned وفي هذه الحالة يكون مجرد صورة عادية قادمة من Bayer، أو يمكنك النظر إليه في وضع الدقة الكاملة حيث تكون البيانات الواردة عبارة عن Quad CFA. وإذا كان في هذا الوضع، يقوم مزود خدمة الإنترنت بتحويله إلى Bayer.
لذلك نحن نقوم بما نسميه "إعادة التشكيل". يؤدي هذا إلى إجراء بعض الاستيفاء لصورة CFA الرباعية لجعلها تبدو وكأنها دقة كاملة لباير مرة أخرى. ويتم ذلك عادةً في برنامج اللقطة، على الرغم من أننا سنقوم في النهاية بإضافة هذه الإمكانية في الأجهزة لدعم الفيديو أيضًا.
ما هو موجود في أجهزة مزود خدمة الإنترنت اليوم هو binning. لذلك يمكنك إدخال المستشعر ويمكنك في الواقع جعل المستشعر يقرر ما إذا كان سيخرج دقة كاملة أو ربعية أو 1/9 أو يمكنك إدخال مزود خدمة الإنترنت. وهذه ميزة أضفناها في Snapdragon 865 في الواقع. لذا، إذا قمت بإدراج مزود خدمة الإنترنت ثم قمت بتشغيل المستشعر بدقة كاملة، فهذا يمنح مزود خدمة الإنترنت القدرة على الحصول على الصورة ذات الدقة الكاملة والصورة المحذوفة في نفس الوقت. ولذلك، يمكنه استخدام الدقة الأصغر أو الصورة "المحذوفة" للفيديو (كاميرا الفيديو) والمعاينة (عدسة الكاميرا) واستخدام الصورة ذات الدقة الكاملة في نفس الوقت للحصول على لقطة بالحجم الكامل.
ولكن مرة أخرى، سيكون ذلك في حالة ظروف الإضاءة الساطعة. ولكن على الأقل إذا قمت بإدراج مزود خدمة الإنترنت، فستكون لديك القدرة على التعامل مع الصورة الكبيرة والصغيرة على حد سواء في نفس الوقت، وبالتالي، يمكنك الحصول على فيديو ولقطات متزامنة، ويمكنك أيضًا الحصول على الدقة الكاملة زسل؛ كل ذلك دون الحاجة إلى تبديل المستشعر ذهابًا وإيابًا، الأمر الذي يستغرق وقتًا طويلاً.
هذه هي ميزة جيدة حقا. وكما تعلمون، فإن مستشعرات Quad CFA وحتى كما تعلمون، تظهر مستشعرات 9x وربما أكثر، وكلما أصبحت هذه المستشعرات أكثر في كل مكان - نحن نتطلع أكثر فأكثر للتعامل مع تلك المستشعرات الموجودة في الأجهزة، ليس فقط من أجل التجميع ولكن أيضًا من أجل إعادة الفسيفساء.
وبالتالي فإن فائدة ذلك هي أنه إذا قمت بذلك في الأجهزة مقابل القيام بذلك في البرنامج فإنك تقلل من زمن الاستجابة لعملائك، وبالتالي، ستكون أوقات اللقطات ومعدلات اللقطات أسرع بكثير. لذا، بينما نمضي قدمًا مع مزودي خدمة الإنترنت الجدد والرقائق الجديدة، ستبدأ في رؤية الكثير مما نفعله لهذه الأنواع الجديدة من أجهزة الاستشعار التي يتم وضعها في الأجهزة.
التحليل والسياق: كانت شركة Huawei أول من استخدم مستشعر Quad Bayer بدقة 40 ميجابكسل مع هواوي بي 20 برو في عام 2018، وكانت شعبية مستشعرات Quad Bayer عالية جدًا لدرجة أنها شقت طريقها الآن إلى هواتف بقيمة 150 دولارًا مدعومة بشرائح Snapdragon/Exynos/MediaTek. على وجه الخصوص، رأينا صناعة الهواتف الذكية تصل إلى كاميرات بدقة 48 ميجابكسل و64 ميجابكسل باعتبارها النقطة المثالية، في حين أن بعض الهواتف تصل إلى 108 ميجابكسل. لا تخلو مستشعرات Quad Bayer وNona Bayer من السلبيات، حيث تأتي دقتها الكاملة مع المحاذير.
ومع ذلك، لأسباب تسويقية، يبدو مستشعر 48 ميجابكسل أفضل بكثير من مستشعر 12 ميجابكسل، حتى لو كان المستخدم يلتقط صورًا بدقة 12 ميجابكسل في معظم الأوقات على أي حال. من المفترض نظريًا أن يؤدي مستشعر 48 ميجابكسل إلى الحصول على صور أفضل بدقة 12 ميجابكسل في الإضاءة المنخفضة مقارنة بالمستشعر التقليدي بدقة 12 ميجابكسل المستشعر، ولكن يجب أن تستمر معالجة الصور، وكما أذكر أدناه، هناك طريق طويل لنقطعه لتحقيق ذلك يحدث. بغض النظر، كان من المثير للاهتمام أن نرى كيف يتعامل مزود خدمة الإنترنت Spectra مع مستشعرات Quad Bayer مع إعادة التشكيل. هناك الكثير من الإمكانات في هذه المستشعرات والهواتف مثل OnePlus 8 Pro (الذي يستخدم مستشعر Sony IMX689 Quad Bayer مع وحدات بكسل كبيرة) حاليًا في قمة كاميرات الهواتف الذكية.
التعرف على الوجه القائم على ML
مشعل الرحمن: لذا أعتقد أنك ذكرت سابقًا أن التعرف على الوجه المستند إلى ML مدعوم في Spectra 480. هذا شيء سمعته بالفعل في القمة التقنية. [أن هذا] أحد التحسينات من 380 إلى 480؛ أنه جزء من - هناك كتلة جديدة للكشف عن الهدف في محرك تحليلات الفيديو المستخدمة للتعرف المكاني من الآن فصاعدا.
هل يمكنك التحدث أكثر عن مدى تحسين هذا التعرف على الوجه وما هي التطبيقات المحتملة التي ترى أنها تستخدم من قبل البائعين؟
جود هيب: نعم في الواقع، أنت على حق في كتلة رؤية الكمبيوتر المضمنة، وهي كتلة "EVA"، التي تحدثنا عنها في Tech Summit. يحتوي هذا على جوهر عام للكشف عن الأشياء والذي نستخدمه عند تشغيل الكاميرا، ونستخدمه لاكتشاف الوجوه. التقنيات الموجودة في هذه الكتلة هي تقنيات أكثر تقليدية، لذا يتم التعرف على الكائنات باستخدام الأساليب التقليدية المصنفات، ولكن علاوة على ذلك لدينا محرك برمجي يعمل لتحسين دقة ذلك حاجز.
لذلك نحن نستخدم برنامجًا يعتمد على التعلم الآلي لتصفية النتائج الإيجابية الخاطئة، حيث قد يكتشف الجهاز المزيد من الأشياء كوجوه في المشهد، ومن ثم يصبح برنامج التعلم الآلي قول، "حسنًا، هذا وجه"، أو "هذا ليس وجهًا حقًا" وبالتالي فهو يزيد من الدقة ببضع نقاط مئوية عن طريق تشغيل مرشح ML أعلى المعدات.
لقد ذكرت الكثير من الأشياء حول المستقبل. للمضي قدمًا في المستقبل، ما نخطط للقيام به أيضًا هو تشغيل اكتشاف الوجه الفعلي بالكامل في ML أو في وضع التعلم العميق في البرنامج. سيكون هذا صحيحًا على وجه الخصوص في المستويات الدنيا، لذلك على سبيل المثال، في الطبقة التي لا يتوفر لدينا فيها محرك أجهزة EVA، سنبدأ في التعلم العميق تدريجيًا كالكشف، الذي يتم تشغيله في محرك الذكاء الاصطناعي للرقاقة ثم لاحقًا، في المستويات العليا في الطبقات 700-800، لدينا أجهزة EVA للقيام بذلك...
سأقول بشكل عام، إننا سنتحرك أكثر نحو أساليب التعلم الآلي للقيام باكتشاف الوجه، وهذا سيشمل كلا من البرامج على المدى المتوسط والأجهزة على المدى اللاحق. لن أقوم بالكشف عن المنتجات التي ستحتوي على هذه الميزة، ولكن بالطبع بينما نسير قدمًا في تحسين مزود خدمة الإنترنت، سنضيف المزيد والمزيد من قدرة الأجهزة للقيام بالتعلم الآلي، بالتأكيد.
مشعل الرحمن: مذهل. حسنًا، أعتقد أنه من المسلم به أن الاتجاه الذي تسلكه هو جلب تحسينات التعلم الآلي لسلسلة 800 إلى المستوى الأدنى، لذلك أعتقد أن هذا أمر مسلم به بشكل عام. لكن بالطبع، لا توجد تفاصيل يمكنك تقديمها لنا في هذا الشأن. شكرا لك على التحديث.
جود هيب: اكتشاف الوجه هو شيء نحن متحمسون جدًا له. نريد تحسين هذه الدقة، كما تعلمون جيلًا بعد جيل في جميع المستويات بدءًا من المستوى 800 وصولاً إلى المستوى 400. ML جزء كبير من ذلك.
التحليل والسياق: هذه الجوانب هي التي تمنح التصوير الفوتوغرافي بالهواتف الذكية إمكانات أكبر بكثير حتى من أحدث الكاميرات التي لا تحتوي على مرايا. نعم، تتمتع الكاميرات غير المزودة بمرآة بجودة صورة أفضل في الإضاءة المنخفضة وأكثر مرونة، لكن كاميرات الهواتف الذكية تتغلب على قيودها بطرق بارعة. إن اكتشاف الوجه القائم على ML ليس سوى جزء من ذلك.
تحسينات في محرك معالجة الصور
مشعل الرحمن: مذهل. لذا فإن أحد الأشياء التي سمعتها لفترة وجيزة خلال مناقشات المائدة المستديرة بعد قمة Snapdragon Tech Summit كان تحسين محرك معالجة الصور. سمعت أنه تم تحسين تقليل الضوضاء ذات التردد المتوسط المنخفض أو LEANR. وأنك تقوم بتطبيق خريطة ديناميكية للكسب العكسي؛ هل هو شيء ذكرته سابقًا في المحادثة.
جود هيب: حسنا. لذلك أعتقد أنك تخلط بين شيئين معًا. نعم، هناك نواة LEANR، وهي النواة التي تعمل على تقليل الضوضاء على الحبوب الخشنة، مما يساعد في الإضاءة المنخفضة. هذه كتلة جديدة تمت إضافتها في Snapdragon 865 إلى مزود خدمة الإنترنت، وهذا شيء واحد.
خريطة الكسب العكسي شيء آخر. وهذا شيء آخر ذكرته في الموائد المستديرة، ولكنه يهدف إلى عكس تأثيرات تظليل العدسة. وكما تعلم، إذا كان لديك هاتفًا به عدسة صغيرة؛ سيكون مركز العدسة ساطعًا وستكون الحواف أكثر تظليلًا؛ وهذا يعني أنهم سيصبحون أكثر قتامة.
وهكذا في السنوات الماضية في مزود خدمة الإنترنت، ما كان لدينا هو أننا قمنا بتطبيق خريطة مكاسب عكسية ثابتة للتخلص من تلك الحواف المظلمة. وهذا كان موجودًا في مزود خدمة الإنترنت لبعض الوقت. ما أضفناه في Snapdragon 865 هو القدرة على تغيير خريطة الكسب ديناميكيًا وفقًا لإطار الصورة المحدد، لأنه إذا قمت بتطبيق الكثير من المكاسب على الحواف ما يحدث هو أنه يمكن قص الحواف، خاصة إذا كنت تنظر إلى مشاهد الضوء الساطع في الخارج، مثل السماء الزرقاء التي يمكن أن تتحول إلى اللون الأبيض أو أن الحواف سوف تنقطع بسبب الكثير من يكسب.
لذا، في Snapdragon 865، خريطة الكسب العكسي هذه ليست ثابتة؛ إنها ديناميكية. لذلك نحن ننظر إلى الصورة ونقول، "حسنًا، لقد تم قص هذه الأجزاء من الصورة ولا ينبغي أن يتم قصها" حتى نتمكن من التدحرج قم بإزالة خريطة الكسب بشكل طبيعي حتى لا تحصل على حواف ساطعة أو تأثيرات هالة أو هذا النوع من الأشياء من تصحيح العدسة تظليل. وهذا يختلف عن تقليل الضوضاء، وهما نواتان مختلفتان.
التصوير الفوتوغرافي في الإضاءة المنخفضة وتقليل الضوضاء بشكل قوي
إدريس باتيل: هناك شيء واحد أردت أن أسأل عنه وهو التصوير الفوتوغرافي في الإضاءة المنخفضة. كما هو الحال في السنوات القليلة الماضية، كان هناك الكثير من الأوضاع الليلية [التي تم تنفيذها من قبل OEM]، ولكن الشيء الوحيد الذي لاحظته هو ذلك يسعى العديد من صانعي الأجهزة إلى تقليل الضوضاء بشكل كبير، مما يقلل من التفاصيل، إلى الحد الذي يكون فيه ضوضاء النصوع متساوية إزالة.
لذا فإن سؤالي هو: هل تنصح شركة كوالكوم أي صانع للأجهزة بعدم القيام بذلك وهل هذا شيء تفعله خطوط المعالجة الخاصة بهم، أم أنه شيء يتأثر بمزود خدمة الإنترنت في شركة نفط الجنوب.
جود هيب: الكثير من ذلك يتعلق بالضبط، وإذا لم يكن لديك إطار متعدد، أو أود أن أقول إن مستشعر الصورة الجيد جدًا غير متوفر، مع حساسية عالية أو بصريات بأرقام f منخفضة. إحدى طرق التخلص من الضوضاء في الإضاءة المنخفضة على وجه الخصوص هي تطبيق المزيد من تقليل الضوضاء، ولكن ما يحدث عند تطبيق المزيد من تقليل الضوضاء هو أنك تفقد التفاصيل، وبالتالي تصبح الحواف الحادة ضبابية. الآن، يمكنك التخلص من ذلك إذا قمت بتطبيق تقنيات الإطارات المتعددة هذه. أو إذا قمت بتطبيق تقنيات الذكاء الاصطناعي، والتي يمكنها نوعًا ما معرفة مكان حواف الأشياء والوجوه، وما إلى ذلك. لذا فإن تطبيق الحد من الضوضاء بالقوة الغاشمة في هذا اليوم وهذا العصر ليس حقًا الطريقة للتعامل معها لأنك ستفقد التفاصيل في النهاية.
ما تريد القيام به هو تنفيذ تقنيات متعددة الإطارات أو تقنيات الذكاء الاصطناعي بحيث لا يزال بإمكانك تطبيق الضوضاء تقليلها لتصبح أشبه بالمناطق الداخلية للأشياء مع الحفاظ على حواف نظيفة لطيفة أو الحفاظ على الحواف الحادة أشياء. وهذا ما أود قوله: استخدام الذكاء الاصطناعي أو الإطارات المتعددة هو الطريقة لتقليل الضوضاء وتحسين الصور في الإضاءة المنخفضة من الآن فصاعدا.
إدريس باتيل: نعم، وهذا بالضبط ما أردت سماعه. [إنه] لأن هذا هو الشيء الرئيسي الذي يفصل بين كاميرات الهواتف الذكية الرائعة وكاميرات الطبقة المتوسطة أو ذات الميزانية المحدودة.
جود هيب: نعم.
إدريس باتيل: تعرف كاميرات الهواتف الذكية الرائعة متى يجب تطبيق تقليل الضوضاء ومتى لا تفعل ذلك.
جود هيب: بالضبط. نعم، وكما قلت، يتم ضبط الكاميرا بالفعل من قبل عملائنا أو مصنعي المعدات الأصلية، ويفضل بعض مصنعي المعدات الأصلية صورة أكثر نعومة مع ضوضاء أقل. يفضل البعض الكشف عن مزيد من التفاصيل مع قدر أكبر من الضوضاء.
ولذا فهي مقايضة وبالتالي لديك قيود. وكما قلت إن أفضل ما يمكنك فعله هو الحصول على مستشعر صورة أفضل بحساسية أعلى، بكسلات أكبر أو بصريات ذات رقم بؤري أقل، لأنك تحصل بعد ذلك على مزيد من الضوء منذ البداية، وهذا هو الحال دائمًا أحسن. ولكن إذا لم تتمكن من القيام بذلك، فبدلاً من مجرد زيادة تقليل الضوضاء وفقدان التفاصيل، ما تريد القيام به هو استخدام تقنيات الإطارات المتعددة أو الذكاء الاصطناعي.
التحليل والسياق: وهذا، في رأيي، هو أكبر مشكلة حاليًا تتعلق بكاميرات الهواتف الذكية. نعم، يمكنك استخدام مستشعر بدقة 48 ميجابكسل أو 64 ميجابكسل أو حتى 108 ميجابكسل. ومع ذلك، إذا لم تختر استخدام تقليل الضوضاء المقيد باستخدام تقنيات MFNR أو الذكاء الاصطناعي، فإن كل تلك الميجابكسل، و4 في 1، وحتى 9 في 1 ليست ذات فائدة كبيرة. يعد هاتف Galaxy S20 Ultra هو المثال الرئيسي هنا، حيث أن الكاميرا الأساسية بدقة 108 ميجابكسل كان يعتبر إلى حد كبير مخيبا للآمال. لقد عادت سامسونج إلى الوراء في معالجة الصور من خلال استخدام تقليل الضوضاء الشديد للغاية في أوضاعها الليلية في هواتفها الرائدة لعام 2020، في حين أن سلسلة Galaxy S10 لعام 2019 كانت تتمتع بجودة صورة أفضل.
يكشف جود أن بعض مصنعي المعدات الأصلية يفضلون في الواقع صورة أكثر نعومة مع ضوضاء أقل، وهو الاختيار الخاطئ بشكل أساسي. يتم إجراء الضبط بواسطة صانعي الأجهزة، وبالتالي، يمكن لهاتفين يستخدمان نفس المستشعر ويتم تشغيلهما بواسطة نفس SoC إخراج صور مختلفة جدًا. ومن المأمول أن يتعلم صانعو الأجهزة هذه الحقيقة من منافسيهم الأفضل أداءً. في حين ضلت شركة سامسونج طريقها في معالجة الصور هذا العام، كان OnePlus يمثل تناقضًا صارخًا. يعد OnePlus 8 Pro أحد أفضل كاميرات الهواتف الذكية في السوق، وهو إنجاز ملحوظ بالنظر إلى الأداء الضعيف للغاية لكاميرا OnePlus 5T في عام 2017. يجب أن تتغير عقلية معالجة الصور حتى تظهر الصور بوضوح، بغض النظر عن مدى احتدام حروب الميجابكسل.
فك وتشفير AV1
مشعل الرحمن: إذن هذا منفصل بعض الشيء عن المناقشات الأخرى التي نجريها حول جودة الكاميرا. أحد الأشياء التي يتساءل عنها بعض الأشخاص في مجتمع برامج ترميز الوسائط مفتوحة المصدر هو متى ستدعم شركة Qualcomm هذا البرنامج فك تشفير AV1 وربما الترميز. أعلم أن هذا الأمر مبالغ فيه بعض الشيء، لكن Google تطلب أجهزة تلفزيون 4K HDR و8K على نظام Android 10 لدعم فك تشفير AV1 وNetflix. موقع YouTube، لقد بدأوا في طرح مقاطع الفيديو المشفرة بـ AV1. لذلك يبدو الأمر وكأنه زيادة بطيئة في مقاطع الفيديو المشفرة بـ AV1. لذلك نحن نتساءل متى سيكون دعم فك التشفير متاحًا على الأقل في Spectra.
بيان كوالكوم: بناءً على سؤالك على AV1 - ليس لدينا ما نعلن عنه اليوم. ومع ذلك، Snapdragon قادر حاليًا على تشغيل AV1 عبر البرنامج. تعمل شركة Qualcomm دائمًا مع شركاء على برامج الترميز من الجيل التالي من خلال تصنيع البرامج والأجهزة Snapdragon هو الرائد في برامج ترميز HDR بما في ذلك الالتقاط والتشغيل في HEIF وHLG وHDR10 وHDR10+ وDolby رؤية. بالطبع، نحن ندرك أنه من أجل تقديم أفضل تجارب CODEC لعملائنا، بما في ذلك دعم الدقة العالية وأقل طاقة، فإن تنفيذ ذلك في المخلفات الصلبة أمر مرغوب فيه.
تسجيل الفيديو - تعويض الحركة
مشعل الرحمن: لذا لا أعرف إذا كان لدى إدريس أي أسئلة أخرى ولكن لدي سؤال واحد حول شيء قرأته مرة أخرى في قمة Snapdragon Tech Summit. يتعلق الأمر بحركة الفيديو الأساسية المعوضة. سمعت أن هناك تحسينات في محرك تعويض الحركة لتقليل الضوضاء عند تسجيل الفيديو. كنت أتساءل عما إذا كان بإمكانك التوسع في توضيح ما تم تحسينه بالضبط وما تم إنجازه.
جود هيب: تم تحسين محرك EVA (محرك تحليلات الفيديو) باستخدام قلب خريطة الحركة الأكثر كثافة بحيث يمكن لـ EVA المحرك، كما تعلمون، على سبيل المثال، ينظر دائمًا إلى الفيديو الوارد ولديه قلب يقوم بالحركة تقدير. ما فعلناه هو أننا جعلنا هذا النواة أكثر دقة حيث يتم ذلك على مستوى كل بكسل تقريبًا بدلاً من أن يكون مثل المزيد مستوى الكتلة الخشنة وبالتالي نحصل على عدد أكبر بكثير من ناقلات الحركة من محرك EVA في Snapdragon 865 عما فعلناه في السابق أجيال. وما يعنيه ذلك هو أن نواة الفيديو التي تقوم بالتشفير يمكنها استخدام متجهات الحركة هذه بشكل أكبر دقيق فيما يتعلق بالتشفير، لكن مزود خدمة الإنترنت الموجود على جانب الكاميرا يستخدم هذه المعلومات أيضًا للضوضاء تخفيض.
كما تعلمون، على مدى أجيال كان لدينا تصفية زمنية معوضة للحركة، وهي في الحقيقة تقليل الضوضاء النشط أثناء الفيديو، والذي يقوم بمتوسط الإطارات مع مرور الوقت للتخلص من الضوضاء.
لكن المشكلة في هذه التقنية تكمن في وجود حركة في المشهد. ينتهي الأمر بالحركة إلى رفضها من خلال تقليل الضوضاء لأنه لا يمكن التعامل معها أو يتم تلطيخها، وتحصل على هذه المسارات القبيحة والتحف على الأشياء المتحركة. لذلك، في التصفية الزمنية المعوضة للحركة، ما فعلناه في الماضي حيث لم يكن لدينا خريطة الحركة الكثيفة هذه للتنقل المحلي الحركة، لدينا - ببساطة نتعامل مع الحالات فقط عندما تقوم بتحريك الكاميرا، فالأمر سهل للغاية لأن كل شيء يتحرك عالميا.
ولكن إذا كنت تقوم بتصوير شيء ما وكان لديك جسم يتحرك داخل المشهد، فإن ما فعلناه من قبل [كان ذلك] لقد تجاهلنا تلك البكسلات لأننا لم نتمكن من معالجتها بحثًا عن الضوضاء، لأنها كانت تتحرك محليًا هدف. وبالتالي، إذا قمت بحساب متوسط إطار بإطار، كان الكائن في مكان مختلف في كل إطار، لذا لا يمكنك معالجته حقًا.
ولكن في Snapdragon 865، لأن لدينا خريطة حركة أكثر كثافة ولدينا القدرة على النظر إلى متجهات الحركة على بكسل تقريبًا على أساس البكسل، نحن في الواقع قادرون على معالجة تلك البكسلات المنقولة محليًا إطارًا بعد إطار لتقليل الضوضاء، بينما لم نكن نستطيع ذلك من قبل. أعتقد أنني ذكرت مقياسًا في الحديث. لا أتذكر الرقم (كانت 40%) ولكنها كانت نسبة كبيرة من وحدات البكسل في المتوسط بالنسبة لمعظم مقاطع الفيديو التي يمكن الآن معالجتها من أجل الضوضاء، بينما لم يكن من الممكن معالجتها في الجيل السابق. ويعود ذلك جزئيًا إلى القدرة على فهم الحركة المحلية وليس فقط الحركة العالمية.
تسجيل الفيديو - HDR
إدريس باتيل: سؤال آخر لدي يتعلق بالفيديو بتقنية HDR. هذا العام، أرى أن العديد من صانعي الأجهزة يقدمون تسجيل فيديو بتقنية HDR10. فهل هذا شيء تم الترويج له باستخدام Snapdragon 865، أم أنه كان موجودًا منذ بضعة أجيال.
جود هيب: أوه نعم، كما تحدثنا عن ذلك في Tech Summit، كان لدينا HDR10، وهو معيار الفيديو لـ HDR على جانب تشفير الكاميرا لبضعة أجيال الآن، منذ Snapdragon 845، على ما أعتقد، وقمنا بالتحسن باستمرار الذي - التي.
في العام الماضي، تحدثنا عن HDR10+، وهو تسجيل HDR 10 بت، ولكن بدلاً من البيانات الوصفية الثابتة، فإنه يحتوي على بيانات تعريف ديناميكية، وبالتالي فإن البيانات الوصفية التي تلتقطها الكاميرا يتم تسجيل المشهد فعليًا في الوقت الفعلي، بحيث عندما تقوم بتشغيله مرة أخرى، يفهم محرك التشغيل ما إذا كانت غرفة مظلمة أم غرفة مشرقة، ويمكنه التعويض عن ذلك الذي - التي.
لقد تحدثنا أيضًا العام الماضي في Tech Summit عن التقاط Dolby Vision، وهو بديل Dolby لـ HDR10+. إنه مشابه جدًا حيث يقومون بالفعل بإنتاج البيانات التعريفية الديناميكية أيضًا. لذلك يمكن لـ Snapdragon اليوم أن يدعم جميع هذه التنسيقات الثلاثة: HDR10، وHDR10+، وDolby Vision. وبالتالي، ليس هناك أي قيود حقًا، حيث يمكن لمصنعي المعدات الأصلية لدينا اختيار الطريقة التي يفضلونها. لدينا عملاء يستخدمون HDR10 منذ فترة، ولدينا في العام الماضي وهذا العام المزيد والمزيد من العملاء الذين اختاروا HDR10+. وأعتقد أنه في المستقبل، سوف ترى بعض الاعتماد على تقنية Dolby Vision Capture أيضًا.
لذا، نعم، لقد قمنا بالترويج لذلك بشكل كبير. تعد تقنية HDR مهمة جدًا بالنسبة لنا، سواء من ناحية اللقطات أو من ناحية الفيديو. وكما قلت، نحن ملتزمون بصيغتي HDR10 وHDR10+ والآن تنسيقات Dolby Vision، كما تعلمون منذ Snapdragon 845 والآن حتى مؤخرًا Snapdragon 865 لـ Dolby Vision.
مشعل الرحمن: أيضًا، لم أكن متأكدًا في الواقع مما إذا كان أي بائعين قد قاموا بتنفيذ تسجيل Dolby Vision حتى الآن، ولكن أعتقد أن هذا يجيب على هذا السؤال. [هذا] شيء سنراه في المستقبل.
جود هيب: بالطبع - لا أستطيع التعليق على البائعين المهتمين ونوع الشيء. سيكون هذا سؤالاً لشركة Dolby؛ إنها ميزتهم، لذا إذا كنت تريد المزيد من المعلومات حول ذلك، أقترح الاتصال بـ Dolby. لكن حتى الآن، على حد علمي، لم يتم إصدار أي هاتف مزود بتقنية Dolby Vision Capture.
إدريس باتيل: لأنك تحتاج إلى دعم العرض أيضًا. لقد لاحظت أن شاشات الهواتف الذكية تدعم HDR10 وHDR10+ ولكن لا تدعم Dolby Vision.
جود هيب: نعم في الواقع، ولكن تم دعم تشغيل Dolby Vision على Snapdragon في الماضي. يمكن أن تعمل مع شاشة معينة وليس من الضروري أن تستوفي الشاشة بالضرورة أي معايير محددة لتكون متوافقة مع Dolby Vision باستثناء ذلك ستقوم Dolby بتصنيف الشاشة والتأكد من أنها تحتوي على نطاق ألوان معين، وغاما، وعمق بت معين، وسطوع معين، وتباين معين نسبة.
لذا، كما تعلم، يمكنك شراء شاشة HDR10، ولكن يمكنك أيضًا شراء هاتف يدعم Dolby Vision التشغيل، ولكن Doby ستقوم بتأهيل هذا العرض للتأكد من توافقه مع معاييرها الصارمة متطلبات.
التعاون مع بائعي البرامج: Imint وMorpho وArcsoft
مشعل الرحمن: أعتقد أن هناك سؤال واحد فقط يجب أن أتابعه، وهو إجراء المزيد من الأبحاث مع إحدى الشركات التي تحدثنا إليها مؤخرًا وهي أنا النعناع. لقد قاموا مؤخرًا بترقية هواتفهم برنامج استقرار Vidhance ل العمل مع سبكترا 480. أعلم أنكم تعملون مع الكثير من الشركات التي تستفيد أيضًا من المعالجة Spectra 480. أتساءل عما إذا كنت قادرًا على الكشف عن المزيد من الأمثلة على هذه التقنيات التي تمتلكها - أو الشركاء الذين تمتلكهم عملت معه، فقط] شيء يمكننا متابعته، ومعرفة المزيد حول كيفية استخدام Spectra 480 في مجال.
جود هيب: نحن نعمل مع الكثير من بائعي البرامج. وكما ذكرنا سابقًا، فإن Dolby هي واحدة منها. هناك برامج أخرى مثل التي ذكرتها، Imint/Vidhance for EIS (تثبيت الصورة الإلكتروني). لقد ذكرنا أيضًا Morpho وArcsoft من قبل، ونعمل معهم بشكل وثيق أيضًا.
وبقدر ما نعمل معهم، فإن سياستنا هي أننا نريد حقًا العمل بشكل وثيق مع بائعي البرامج المستقلين هؤلاء وتقديم تأكد من أنهم مهما كانوا يفعلون في مجال البرمجيات، فإنهم قادرون على الاستفادة من الأجهزة في Snapdragon للحصول على أقل استهلاك للطاقة ممكن.
لذا فإن أحد الأشياء التي نقوم بها مع هؤلاء البائعين هو التأكد من أن لديهم وصولًا جيدًا إلى محرك HVX، أو نواة Hexagon DSP. إنهم يستخدمون أيضًا محرك EVA للحصول على متجهات الحركة واستخدام الأجهزة ومحرك EVA لمعالجة الصور بحيث يمكنهم إجراء حركة الصورة وترجمتها وإزالة تزييفها وهذا النوع من الأشياء في الأجهزة بدلاً من استخدام وحدة معالجة الرسومات للقيام بذلك الذي - التي.
ولذا، فإننا نعمل بشكل وثيق مع موردي البرامج المستقلين، وخاصة تلك التي ذكرتها على وجه الخصوص، للتأكد من أنهم لا يقومون فقط بوضع كل شيء والبرامج في وحدة المعالجة المركزية ولكنهم يستخدمون أشياء مثل DSP ومسرعات الأجهزة في EVA للحصول على أداء أفضل وطاقة أقل استهلاك. وهذا مهم حقًا بالنسبة لنا أيضًا لأنه يمنح عملائنا أفضل مزيج ممكن من الميزات واستهلاك الطاقة.
[التعليقات الختامية من جود]: أردت فقط أن أقول، شكرًا لكم يا رفاق على جميع الأسئلة الجيدة حقًا. إنهم حقًا مفصلون حقًا. لقد كنت في Qualcomm منذ ما يقرب من ثلاث سنوات وأنظر إلى ماضينا، حتى بعد فترة عملي هنا حيث بدأنا في Spectra من قبل Snapdragon 845، لقد عملنا بجد لتحسين مزود خدمة الإنترنت والكاميرا والتجربة الإجمالية بشكل كبير على مدار الأعوام القليلة الماضية سنين. أنا متحمس حقًا حتى لما يجلبه المستقبل. وأنا متحمس لما سنعلن عنه في مؤتمرات التكنولوجيا المستقبلية والتي يمكنكم أن تسألوا عنها وتكتبوا عنها. ربما تكون [Spectra Camera]، في رأيي، واحدة من أكثر التقنيات إثارة في Qualcomm.
افكار اخيرة
كان من الرائع إجراء مناقشة مع جود حول مساهمات شركة كوالكوم في التصوير الفوتوغرافي بالهواتف الذكية. يمكن أن تكون لدينا مشاعر متضاربة تجاه الشركة ونظام ترخيص براءات الاختراع الخاص بها، لكن علامة Qualcomm على صناعة الهواتف الذكية يشعر بها الجميع، سواء كنت تتحدث عنها براءات الاختراع، و4G و5G، وWi-Fi، ووحدات معالجة الرسوميات Adreno، ومزودو خدمة الإنترنت Spectra، وشرائح Snapdragon نفسها، والتي يُنظر إليها إلى حد كبير على أنها المعيار الذهبي في الهواتف الذكية التي تعمل بنظام Android. سوق.
لا تزال هناك العديد من نقاط الألم التي يتعين حلها في التصوير الفوتوغرافي بالهواتف الذكية، ولكن المستقبل هو ذلك مشرقة كما وعدت شركة كوالكوم بتحقيق المزيد من التقدم في المجالات الواسعة والمتنامية لتعلم الآلة، والتي توفر الطاقة منظمة العفو الدولية. دعونا نرى ما ستعلنه شركة كوالكوم في هذا المجال في قمة Snapdragon Tech القادمة.