أخيرًا ، تستفيد ميزات iOS 15 من المحرك العصبي لـ iPhone

أثناء المشاهدة الكلمة الرئيسية WWDC21 قبل بضعة أسابيع ، بدأت في ملاحظة موضوع متكرر. وهذا الموضوع هو أن العديد من ميزات iOS 15 القادمة يبدو أنها تستفيد من المحرك العصبي لجهاز iPhone.

كان المحرك العصبي Neural Engine موجودًا في iPhone منذ إصدار iPhone X في عام 2017. ومع ذلك ، لا أعتقد أن معظمنا قد شعر بتأثيرات هذا المعالج على الإطلاق على مدار السنوات الأربع منذ إطلاقه الأولي.

ظل WWDC21 يعطيني هذا الشعور بأن iOS 15 هو أول تحديث مستقبلي لنظام iOS منذ فترة طويلة. وعلى الرغم من عدم وجود تأكيد رسمي من Apple بشأن هذا الأمر ، أعتقد أن هذا يرجع إلى أن Apple تستفيد أخيرًا بشكل كامل من المحرك العصبي Neural Engine.

في هذا المنشور ، سأغطي بإيجاز ماهية المحرك العصبي Neural Engine ، ثم سأتعمق في جميع ميزات iOS 15 الجديدة التي يبدو أنها تستخدم هذا المعالج إلى أقصى إمكاناته. بالقرب من النهاية ، سأغطي الطرق الرئيسية التي يستخدم بها iOS حاليًا المحرك العصبي ، بحيث يمكنك مقارنته بإصدار iOS 15 القادم.

حسنًا ، دعنا ندخله!

ما هو المحرك العصبي Neural Engine في iPhone؟

المحرك العصبي Neural Engine هو معالج موجود على iPhone X وما بعده يتولى عمليات التعلم الآلي. إن قدرة هذا المعالج على تشغيل التعلم الآلي هو ما يجعله مهمًا للغاية ، لذا فإن فهم التعلم الآلي مهم لفهم هذا المعالج.

يشير التعلم الآلي إلى البرامج التي تتخذ قرارات بشأن الكود الذي يجب تنفيذه بشكل مستقل عن المبرمج.

عادة ، يحتاج البرنامج إلى العمل مع بيانات محددة للغاية وخاضعة للرقابة. هذا هو السبب في أن Siri سيفهم نيتك بعبارة واحدة لكنه يفشل في فهمها بعبارة أخرى - حتى لو كانت النية في كل عبارة متطابقة. يحتاج Siri إلى أن تأتي البيانات في بنية محددة ، وإلا فإنها تفشل.

التعلم الآلي هو وسيلة لتغيير ذلك. يسمح للبرنامج باستيعاب بيانات أقل تنظيماً ومعالجتها. إذا وجدت نفسك متفاجئًا في أي وقت من الأوقات لفهم Siri طلبًا تمت صياغته بشكل غريب ، فربما يرجع ذلك إلى تحسن قدرات التعلم الآلي في Siri.

المحرك العصبي Neural Engine ، كما يوحي الاسم ، هو المحرك الموجود على هاتفك الذي يجعل ذلك ممكناً.

أدرك أن هذه المفاهيم قد يكون من الصعب فهمها بعض الشيء ، وأعلم أنني قد لا أقوم بأفضل عمل في شرحها. أحاول أن أبقي الأمور قصيرة وبسيطة لهذه المشاركة ، ولكن إذا كنت تريد مزيدًا من التعمق ، فيجب عليك التحقق هذا المشنور!

كيف بدأت ميزات iOS 15 في الاستفادة من المحرك العصبي

لا تكمن المشكلة في المحرك العصبي لجهاز iPhone في أنه ليس قويًا ، ولكن لا يتم استخدام قوته إلى أقصى حد على iPhone. على مدار السنوات الأربع الماضية ، تم تشغيله في حالات محدودة ، مثل الواقع المعزز. إنه مفيد ، لكنه لم يحدث ثورة في iPhone حتى الآن.

أعتقد أن العديد من ميزات iOS 15 تشير إلى مستقبل أكثر ثورية للمحرك العصبي Neural Engine. لا أعتقد أن أيًا من الميزات الجديدة التي سأفصلها أدناه ستكون ممكنة بدون هذا المعالج. لذلك دعونا نرى كيف تستخدم هذه الميزات المحرك العصبي على أكمل وجه.

يمكن لجهاز iPhone الخاص بك قراءة النص في صورك

أول ميزات iOS 15 التي تصرخ "التعلم الآلي!" بالنسبة لي كان Live Text. Live Text هي ميزة في iOS 15 تتيح لجهاز iPhone الخاص بك قراءة النص في تطبيق الصور الخاص بك.

هذا يعني أنه يمكنك التقاط صورة لأي شيء به نص مطبوع ، وفتح تلك الصورة في تطبيق الصور ، وستتمكن من التفاعل مع هذا النص. يمكنك النقر فوق أرقام الهواتف في الصور ، ونسخ النص ولصقه من صور المستندات ، واستخدام شريط البحث في الصور للبحث عن نص في الصور.

تسمح هذه الميزة أيضًا لجهاز iPhone الخاص بك بقراءة خط اليد في صورك. إنه يعمل مع تطبيق الكاميرا أيضًا ، لذا يمكنك التفاعل مع النص في محدد المناظر بكاميرا iPhone في الوقت الفعلي.

بدون التعلم الآلي ، ستكون ميزة مثل هذه مستحيلة تقريبًا. لهذا السبب تستخدم اختبارات الأمان عبر الإنترنت نصًا مشوهًا لإثبات أنك لست روبوتًا. لأنه من الصعب على البرنامج قراءة النص.

لا يقتصر الأمر على ميزة الهاتف الذكي التي يمكنها قراءة النص بغض النظر عن الخط أو النمط أو اللون أو الزاوية ، بل إنها مفيدة للغاية في الوقت الفعلي ، بل إنها أيضًا استخدام ممتاز للتعلم الآلي للجوّال.

ستسمح ميزات iOS 15 لجهاز iPhone الخاص بك بالتعرف على المحتوى في صورك والتعرف عليه

ميزة أخرى من ميزات iOS 15 الجديدة التي تستخدم المحرك العصبي Neural Engine هي التعرف على الأشياء في الصور. تعمل هذه الميزة بشكل مشابه للنص المباشر ، باستثناء أنها تتعرف على الكائنات بدلاً من النص. المثال الذي استخدمته Apple هو أنه يمكنك توجيه كاميرا iPhone الخاصة بك إلى كلب ، ولن يتعرف جهاز iPhone الخاص بك على أنه كلب فحسب ، بل سيتعرف أيضًا على سلالة الكلاب.

تمكن iPhone من سحب الوجوه من صورك لفترة من الوقت ، وهو شكل من أشكال التعرف على الأشياء ، وإن كان محدودًا. سيسمح هذا التوسيع لهذه الإمكانية لجهاز iPhone الخاص بك بالاطلاع بسرعة على البيانات غير المهيكلة للصورة وكائنات الهوية بداخلها.

هذا أكثر إثارة للإعجاب (وصعوبة) من النص المباشر لأن الأنماط التي يجب أن يبحث عنها المحرك العصبي ستكون أقل اتساقًا بكثير. سيحتاج جهاز iPhone الخاص بك إلى اتخاذ الآلاف (إن لم يكن مئات الآلاف) من القرارات لتكون قادرًا على اتخاذ قرارات من هذا القبيل.

لتحديد سلالة الكلاب ، ستحتاج أولاً إلى معرفة أن الكلب هو كائن مميز عن الخلفية ، ثم سيحتاج إلى رسم حدود حول هذا الكلب ، ثم اختر الخصائص المميزة لهذا الكلب حتى يتمكن من تحديد أنه كلب ، ثم استخرج المزيد من الخصائص لتحديد أي نوع من الكلاب هو يكون.

هذا النوع من الحوسبة ممكن فقط باستخدام معالج التعلم الآلي.

ستكون الذكريات في الصور أكثر تعقيدًا وشعورًا "حقيقيًا"

هناك ميزة أخرى في تطبيق الصور والتي ستحصل على ميزة تحسين المحرك العصبي Neural Engine وهي Memories.

تلتقط هذه الميزة صورًا من وقت معين (عادةً يوم محدد) وتجمعها في مقطع فيديو قصير لتتمكن من مشاهدته. الفكرة هي أن Memories ستنشئ ملصقات فيديو لإجازاتك وحفلاتك واحتفالاتك السنوية والمزيد تلقائيًا.

الذكريات هي ميزة أخرى من ميزات iOS 15 التي تحصل على نتوء كبير في الجودة. سيتم تلقائيًا دمج الموسيقى من مكتبة Apple Music في ذكرياتك.

الموسيقى التي تختارها الصور لن تتناسب مع الفيديو فحسب ، بل يجب أن تتطابق أيضًا مع محتوى الفيديو. على سبيل المثال ، يجب إقران الصور المأخوذة من إحدى الحفلات بموسيقى نشطة ، بينما يجب أن تحتوي الصور الأكثر عمقًا على موسيقى أبطأ.

على الرغم من أنني لا أستخدم هذه الميزة كثيرًا ، إلا أن علوم الكمبيوتر الكامنة وراءها رائعة للغاية. فهو يجمع بين التعرف على الكائنات والمشاهد ، وتجميع الصور بناءً على المحتوى والموقع والفترة الزمنية ، ويفصل متوسط ​​الصور اليومية عن الصور المرتبطة بالحياة الخاصة الأحداث ، يربط بين الحالة المزاجية لتلك الصور ومزاج الأغنية التي تعجبك ، ويقرنها في عرض شرائح ، وأوقات هذا العرض مع إيقاع موسيقى.

لطالما استخدمت الذكريات المحرك العصبي Neural Engine. ويتم تعيين الإصدار التالي من iOS لزيادة ذكاء هذه الميزة بشكل كبير.

أصبحت الإشعارات والأدوات وميزة "عدم الإزعاج" أكثر ذكاءً

مجموعة من ميزات iOS 15 التي تستفيد بشكل أكبر من المحرك العصبي Neural Engine هي الإخطارات والأدوات وعدم الإزعاج.

بدأت الأدوات في استخدام التعلم الآلي في iOS 14 ، لكنني اعتقدت أنه سيكون من المفيد إضافتها هنا. تسمح لك Smart Stacks بوضع عناصر واجهة المستخدم فوق بعضها البعض. سوف يتنقل جهاز iPhone الخاص بك بعد ذلك خلال اليوم ، ويظهر لك ما يعتقد أنه الأداة الأكثر صلة في أي وقت.

يتم اتخاذ هذه الأنواع من القرارات من خلال تحليل سلوكك في أوقات مختلفة من اليوم وبعد استخدام تطبيقات معينة. يأخذ المحرك العصبي هذه البيانات ويفسرها ثم يعرض عناصر واجهة المستخدم الخاصة بك وفقًا لهذه البيانات.

تم تعيين ميزات iOS 15 الجديدة للعمل بشكل مشابه جدًا.

سيتم الآن تجميع الإشعارات في ملخص الإشعارات ، لذلك لا ترى إشعارات أقل أهمية تزدحم شاشة القفل طوال اليوم. يمكنك تخصيص ميزة ملخص الإخطار ، أو السماح للمحرك العصبي بالتعامل معها نيابة عنك.

تحصل ميزة "عدم الإزعاج" على مكون جديد ، التركيز ، والذي سيخفي إشعارات معينة بناءً على كيفية تصنيفها. يمكنك إدارة التركيز يدويًا ، أو السماح له بإدارة نفسه بذكاء.

ستستخدم كل هذه الميزات الثلاث مقاييس تعلم الآلة متشابهة للغاية للتنبؤ بسلوكك والتكيف معه.

ستعمل ميزات iOS 15 الجديدة على تسهيل الحصول على الاتجاهات باستخدام الكاميرا

هذه إحدى ميزات iOS 15 التي لم أسمع عنها الكثير من الإثارة كما توقعت. ما زلت أجده ممتعًا للغاية ، لا سيما في سياق التعلم الآلي.

في الخرائط في نظام التشغيل iOS 15 ، ستتمكن من توجيه الكاميرا حولك أثناء المشي. سيسمح لك ذلك برؤية اتجاهات الواقع المعزز المتوقعة على بيئتك. لنفترض أنك تحاول الوصول إلى السينما ولست متأكدًا من الطريق الذي يجب أن تسلكه. ستكون قادرًا على توجيه iPhone حولك ومشاهدة الاتجاهات المميزة في الشوارع والمباني من حولك.

أصبح الواقع المعزز على iPhone ممكنًا من خلال تضمين المحرك العصبي Neural Engine ، لذا فإن هذه الميزة تدين بأصولها إلى التعلم الآلي. ولكن هذه الميزة تجمع أيضًا بين الواقع المعزز والتعرف على الصور واكتشاف الموقع لتوفير تجربة مذهلة في الوقت الفعلي.

على الرغم من أنها ستكون متاحة فقط في عدد قليل من المدن عند الإطلاق ، إلا أن هذه الميزة تشير إلى المستقبل حيث لا يساعدك التعلم الآلي على iPhone في الخلفية فقط. سيكون قادرًا على مساعدتك في تحقيق الأشياء على الفور خارج منطقة الراحة أو القدرة.

سيجري Siri المزيد من المعالجة على جهازك

آخر ميزات iOS 15 التي تستفيد بشكل أكبر من المحرك العصبي Neural Engine هي Siri. لطالما استخدمت Siri التعلم الآلي. لكن هذا التعلم لم يصل إلى الحد الأقصى من إمكانات المحرك العصبي حتى الآن.

ذلك لأن Siri استخدم المعالجة خارج الجهاز. هذا يعني أن جهاز iPhone الخاص بك يستمع إلى طلبك ، ويرسله إلى خادم Apple الذي يعالج الطلب ، ثم يرسله مرة أخرى إلى Siri على جهاز iPhone الخاص بك للعمل بناءً على هذا الطلب.

كان السبب في ذلك هو زيادة قوة Siri بما يتجاوز ما يمكن أن يدعمه iPhone. ومع ذلك ، في نظام التشغيل iOS 15 ، من المقرر أن يتغير هذا. سيقوم Siri الآن بمعالجة معظم عملياته على جهاز iPhone الخاص بك. يجب أن يجعل ذلك Siri أسرع وأكثر ذكاءً وأكثر موثوقية.

أعتقد أن هذا التحديث سيتطلب على الأرجح أقل مساعدة من المحرك العصبي. ومن هنا يتم وضعه في نهاية القائمة. ومع ذلك ، تجدر الإشارة إلى أنه يشير إلى أن Siri أصبح أكثر ذكاءً. مساعد أكثر قدرة على استخدام الأجهزة الموجودة على iPhone ، وليس خادمًا بعيدًا.

ما الذي يمكن أن يفعله المحرك العصبي Neural Engine بدون ميزات iOS 15 القادمة؟

وهذا كل شيء! بقدر ما أستطيع أن أقول ، هذه هي جميع الطرق الجديدة التي ستبدأ بها ميزات iOS 15 في استخدام القوة الأولية للمحرك العصبي Neural Engine.

أردت تضمين قسم موجز في نهاية هذا المنشور يسلط الضوء على بعض الأشياء التي يقوم بها المحرك العصبي بالفعل على جهاز iPhone الخاص بك. بهذه الطريقة ، يمكنك مقارنة ما هو عليه اليوم بما سيكون عليه في غضون بضعة أشهر.

نأمل أن يساعدك هذا في تقدير التغييرات القادمة على iOS في ضوء جديد وفهم أفضل لكيفية وصول ميزات مثل هذه إلى جهاز iPhone الخاص بك.

يساعدك المحرك العصبي Neural Engine على التقاط صور أفضل

أود أن أقول إن أكبر استخدام للمحرك العصبي Neural Engine على iPhone منذ عام 2017 كان في التصوير الفوتوغرافي. في كل عام ، تُظهر Apple كيف أن أحدث iPhone سيكون قادرًا على إجراء المزيد من العمليات الحسابية الفوتوغرافية مقارنة بالجيل السابق. تقول Apple أشياء مثل ، "يقوم معالج الصور بإجراء X مليون عملية حسابية / قرار لكل صورة".

يشير هذا إلى عدد العمليات الحسابية التي يقوم بها المحرك العصبي كلما التقطت صورة. إنه ينظر إلى الألوان والإضاءة والعناصر المتناقضة والموضوع والخلفية والعديد من العوامل الأخرى. وهي تحدد أفضل طريقة لتقدير كل هذه العناصر وضبطها وامتصاصها وتوازنها في لحظة.

إنها عملية التعلم الآلي التي جعلت أشياء مثل Portrait Mode و Deep Fusion ممكنة. يمكن أن يعزلك الوضع الرأسي عن خلفيتك ، وقد جعل Deep Fusion التصوير الليلي على iPhone أفضل بكثير من ذي قبل.

يعد المحرك العصبي Neural Engine أمرًا بالغ الأهمية لكاميرا iPhone بسبب قيود الأجهزة. نظرًا لحجم iPhone ، فإن قدرة الكاميرا وعدساتها محدودة. إن الحوسبة والتعلم الآلي الذي يحدث عند التقاط صورة هو ما يجعل تصوير iPhone الخاص بك على قدم المساواة مع الصور من DSLR الاحترافية.

يجعل التعلم الآلي FaceID سريعًا وآمنًا وقابلاً للتكيف

بالطبع ، لا يمكننا التحدث عن المحرك العصبي Neural Engine دون ذكر سبب إنشائه.

هذا صحيح - تمت إضافة المحرك العصبي Neural Engine إلى iPhone X لجعل FaceID ممكنًا. في حالة عدم معرفتك ، يعد FaceID أحد أكثر ميزات iPhone تعقيدًا وتعقيدًا.

لا يقارن FaceID فقط الصورة ثنائية الأبعاد لوجهك في كاميرا الصور الشخصية مع صورة ثنائية الأبعاد أخرى لوجهك. إنه ينظر إلى خريطة ثلاثية الأبعاد لوجهك ، ويتتبع حركة عينيك ، ويقارنها بمسح ثلاثي الأبعاد لوجهك سابقًا.

لا يقوم FaceID بهذا فقط في أقل من ثانيتين بينما يكون وجهك متحركًا ومظلومًا جزئيًا وفي زوايا مختلفة. كما أنه يتكيف مع الطريقة التي يتغير بها وجهك بمهارة من يوم لآخر. لهذا السبب يمكنك إطلاق لحيتك ، والتقدم في السن ، والتغيير بطرق أخرى خفية دون الحاجة إلى إعادة مسح وجهك.

يدرس كل من FaceID والمحرك العصبي Neural Engine ويتعلمان من وجهك في كل مرة تفتح فيها قفل iPhone الخاص بك. بدون المحرك العصبي ، لن يكون FaceID بنصف السرعة أو الأمان أو الموثوقية كما هو عليه اليوم.

يلعب المحرك العصبي Neural Engine دورًا رئيسيًا في تجارب الواقع المعزز على iPhone

أخيرًا ، يلعب المحرك العصبي Neural Engine دورًا رئيسيًا في الواقع المعزز على iPhone. بالنسبة لأولئك الذين لا يعرفون ، فإن الواقع المعزز (AR) هو ميزة تعرض نماذج ثلاثية الأبعاد على بيئتك من خلال عدسة الكاميرا على iPhone. يمكنك اختبار ذلك بنفسك باستخدام تطبيق Measure على جهاز iPhone الخاص بك.

يجمع هذا النوع من الميزات بين أشياء مثل التعرف على الصور والوعي المكاني والذاكرة. كل ذلك يتطلب القوة التي يجلبها المحرك العصبي إلى الطاولة.

لحسن الحظ ، تم تعيين العديد من ميزات iOS 15 الجديدة لجعل الواقع المعزز على iPhone أكثر قوة. إنه اتجاه آمل أن يستمر ، حيث أعتقد أن الواقع المعزز لديه القدرة على أن يكون أحد أكثر الميزات تكاملاً في أجهزة الجوال.

تشير ميزات iOS 15 القادمة إلى مستقبل أكثر ذكاءً لـ iPhone

بشكل عام ، أنا متحمس جدًا للمستقبل الذي تقدم لنا ميزات iOS 15 لمحة عنه. هناك العديد من جوانب iPhone التي تشعر بأنها غير مستغلة قليلاً ، ولكن القليل منها مثل المحرك العصبي Neural Engine. إنني أتطلع إلى هذا التغيير ، وآمل أن تفعل ذلك أيضًا!

لمزيد من الأخبار والرؤى والنصائح حول كل ما يتعلق بشركة Apple ، تحقق من بقية مدونة AppleToolBox!