תכונות iOS 15 סוף סוף נצלו את המנוע העצבי של האייפון

בזמן צפייה ההרצאה המרכזית של WWDC21 לפני מספר שבועות התחלתי לשים לב לנושא שחוזר על עצמו. והנושא הזה הוא שנראה שכמה מהתכונות הקרובות של iOS 15 מנצלות את המנוע העצבי של האייפון.

המנוע העצבי נמצא באייפון מאז השקת האייפון X ב-2017. עם זאת, אני לא חושב שרובנו הרגשנו את ההשפעות של המעבד הזה בכלל במהלך ארבע השנים מאז השחרור הראשוני שלו.

WWDC21 כל הזמן נתן לי את ההרגשה הזו ש-iOS 15 הוא עדכון ה-iOS העתידני הראשון מזה זמן רב. ולמרות שאין אישור רשמי מאפל על זה, אני מאמין שזה בגלל שאפל סוף סוף מנצלת את מלוא המנוע העצבי.

בפוסט זה, אכסה בקצרה מהו המנוע העצבי, ואז אצלול לכל התכונות החדשות של iOS 15 שנראה כי משתמשות במעבד הזה במלוא הפוטנציאל שלו. לקראת הסוף, אכסה את הדרכים העיקריות שבהן iOS משתמש כעת במנוע העצבי, כך שתוכל להשוות אותו לגרסה הקרובה של iOS 15.

בסדר, בואו ניכנס לזה!

מהו המנוע העצבי באייפון?

The Neural Engine הוא מעבד באייפון X ואילך שמטפל בפעולות למידת מכונה. היכולת של המעבד הזה להפעיל למידת מכונה היא שהופכת אותו לכל כך חשוב, ולכן הבנת למידת מכונה חשובה להבנת המעבד הזה.

למידת מכונה מתייחסת לתוכנה שמקבלת החלטות לגבי איזה קוד להפעיל ללא תלות למתכנת.

בדרך כלל, תוכנה צריכה לעבוד עם נתונים מאוד ספציפיים ומבוקרים. זו הסיבה שסירי תבין את הכוונה שלך עם ביטוי אחד אבל לא תבין אותה עם אחר - גם אם הכוונה בכל ביטוי זהה. סירי צריכה שהנתונים יגיעו במבנה מסוים, או שהם נכשלים.

למידת מכונה היא דרך לשנות זאת. זה מאפשר לתוכנה לקלוט נתונים פחות מובנים ועדיין לעבד אותם. אם אי פעם מצאתם את עצמכם מופתעים מכך שסירי הבינה בקשה מנוסחת בצורה מוזרה, זה כנראה בגלל שיכולות למידת המכונה של סירי השתפרו.

המנוע העצבי הוא, כפי שהשם מרמז, המנוע בטלפון שלך שמאפשר זאת.

אני מבין שהמושגים האלה יכולים להיות קצת קשים להבנה, ואני יודע שאולי אני לא עושה את העבודה הכי טובה בהסברתם. אני מנסה לשמור דברים קצרים ופשוטים עבור הפוסט הזה, אבל אם אתה רוצה צלילה עמוקה יותר, כדאי לך לבדוק הפוסט הזה!

כיצד תכונות iOS 15 מתחילות לנצל את המנוע העצבי

הבעיה עם המנוע העצבי של האייפון היא לא שהוא לא חזק, אלא שהכוח שלו לא מנוצל במלואו באייפון. בארבע השנים האחרונות, זה הופעל במקרים מוגבלים, כמו מציאות רבודה. זה מועיל, אבל זה עדיין לא חולל מהפכה באייפון.

אני חושב שכמה תכונות של iOS 15 מצביעות על עתיד מהפכני יותר עבור המנוע העצבי. אני לא חושב שאף אחת מהתכונות החדשות שאני עומד לפרק להלן לא תהיה אפשרית בלי המעבד הזה. אז בואו נראה כיצד התכונות הללו משתמשות במנוע העצבי במלואו.

האייפון שלך יכול לקרוא טקסט בתמונות שלך

הראשון מבין תכונות iOS 15 שצעקו "למידת מכונה!" בשבילי היה טקסט חי. טקסט חי הוא תכונה ב-iOS 15 המאפשרת לאייפון שלך לקרוא טקסט באפליקציית התמונות שלך.

זה אומר שאתה יכול לצלם כל דבר עם טקסט מודפס עליו, לפתוח את התמונה באפליקציית התמונות, ותוכל ליצור אינטראקציה עם הטקסט הזה. אתה יכול להקיש על מספרי טלפון בתמונות, להעתיק ולהדביק טקסט מתמונות של מסמכים, ולהשתמש בסרגל החיפוש בתמונות כדי לחפש טקסט בתמונות.

תכונה זו מאפשרת גם לאייפון שלך לקרוא כתב יד בתמונות שלך. זה עובד גם עם אפליקציית המצלמה, כך שתוכל ליצור אינטראקציה עם טקסט בעינית מצלמת האייפון שלך בזמן אמת.

ללא למידת מכונה, תכונה כזו תהיה כמעט בלתי אפשרית. זו הסיבה שמבחני האבטחה המקוונים האלה משתמשים בטקסט מעוות כדי להוכיח שאתה לא רובוט. כי זה מאתגר לתוכנית להיות מסוגל לקרוא טקסט.

לא רק שתכונת סמארטפון שיכולה לקרוא טקסט ללא קשר לגופן, סגנון, צבע או זווית, בזמן אמת שימושית ביותר, היא גם שימוש מצוין בלמידת מכונה ניידת.

תכונות iOS 15 יאפשרו לאייפון שלך לזהות ולזהות תוכן בתמונות שלך

עוד אחת מהתכונות החדשות של iOS 15 המשתמשות במנוע העצבי היא זיהוי אובייקטים בתמונות. תכונה זו פועלת באופן דומה ל- Live Text, פרט לכך שהיא מזהה אובייקטים ולא טקסט. הדוגמה שבה השתמשה אפל היא שאתה יכול לכוון את מצלמת האייפון שלך לכלב, והאייפון שלך לא רק יזהה שזהו כלב אלא גם באיזה גזע של כלב מדובר.

האייפון הצליח לשלוף פרצופים מהתמונות שלך במשך זמן מה, שהיא סוג של זיהוי אובייקטים, אם כי מוגבל. הרחבה זו של יכולת זו תאפשר לאייפון שלך להסתכל במהירות על הנתונים הלא מובנים של תמונה וחפצי זהות בתוכו.

זה יותר מרשים (וקשה) מטקסט חי, שכן הדפוסים שהמנוע העצבי צריך לחפש יהיו הרבה פחות עקביים. האייפון שלך יצטרך לקבל אלפי (אם לא מאות אלפי) החלטות כדי להיות מסוגל לקבל החלטות כאלה.

כדי לזהות גזע כלבים, הוא יצטרך קודם כל לראות שכלב הוא אובייקט נבדל מהרקע, ואז הוא יצטרך לשרטט גבולות סביב הכלב הזה, ואז בחר מאפיינים ברורים של הכלב הזה עד שהוא יכול לקבוע שזה כלב, ואז שלוף עוד מאפיינים כדי לקבוע איזה סוג של כלב זה הוא.

סוג זה של מחשוב אפשרי רק עם מעבד למידת מכונה.

זיכרונות בתמונות הולכים להיות מתוחכמים יותר והרגשה "אמיתית".

תכונה נוספת באפליקציית התמונות שעומדת לקבל מגע של מנוע עצבי היא זיכרונות.

תכונה זו מצלמת תמונות משעה מסוימת (בדרך כלל מיום מסוים) ומשלבת אותן בסרטון קצר לצפייה. הרעיון הוא ש-Memories ייצרו קולאז'ים וידיאו של החופשות, המסיבות, ימי השנה ועוד, באופן אוטומטי.

זיכרונות הם עוד אחת מתכונות iOS 15 שמקבלות עלייה משמעותית באיכות. זה ישלב אוטומטית מוזיקה מספריית Apple Music שלך לתוך הזיכרונות שלך.

המוזיקה שתמונות תבחר לא רק תהיה בקצב הולם עם הסרטון, אלא היא צריכה להתאים גם לתוכן של הסרטון. לדוגמה, תמונות ממסיבה צריכות להיות משולבות עם מוזיקה אנרגטית, בעוד שתמונות מתחשבות יותר צריכות לצרף מוזיקה איטית יותר.

למרות שאני לא משתמש בתכונה זו לעתים קרובות, מדעי המחשב מאחוריה מרתקים ביותר. הוא משלב זיהוי אובייקטים ונוף, מקבץ תמונות על סמך תוכן, מיקום ותקופת זמן, מפריד בין תמונות ממוצעות מיום ליום לבין תמונות הקשורות לחיים מיוחדים אירועים, מצייר קשר בין מצב הרוח של התמונות הללו לאווירה של שיר שאתה אוהב, מצמיד אותם במצגת שקופיות, לבין הזמנים של המצגת בקצב של מוּסִיקָה.

זיכרונות תמיד השתמשו במנוע העצבי. והגרסה הבאה של iOS אמורה להגביר את האינטליגנציה של תכונה זו באופן משמעותי.

התראות, ווידג'טים ואל תפריע נעשים חכמים יותר

קבוצה של תכונות iOS 15 שמנצלות יותר את המנוע העצבי הן התראות, ווידג'טים ו-Do Not Disturb.

ווידג'טים התחילו להשתמש בלמידת מכונה ב-iOS 14, אבל חשבתי שזה יעזור להוסיף אותם כאן. ערימות חכמות מאפשרות לך לשים ווידג'טים זה על גבי זה. האייפון שלך ידפדף ביניהם במהלך היום, ויראה לך מה לדעתו הוא הווידג'ט הרלוונטי ביותר בכל זמן נתון.

החלטות מסוג זה מתקבלות על ידי ניתוח ההתנהגות שלך בזמנים שונים של היום ולאחר שימוש באפליקציות מסוימות. המנוע העצבי לוקח את הנתונים האלה, מפרש אותם ואז מציג את הווידג'טים שלך בהתאם לנתונים האלה.

תכונות חדשות של iOS 15 מוגדרות לעבוד בצורה דומה מאוד.

הודעות יקובצו כעת בסיכום הודעות, כך שלא תראה הודעות פחות חשובות מצטופפות במסך הנעילה שלך כל היום. אתה יכול להתאים אישית את התכונה 'סיכום הודעות', או לתת למנוע העצבי לטפל בה עבורך.

'נא לא להפריע' מקבל רכיב חדש, Focus, שיסתיר התראות מסוימות על סמך האופן שבו הן מסווגות. אתה יכול לנהל את Focus באופן ידני, או לתת לו לנהל את עצמו בצורה חכמה.

כל שלוש התכונות הללו ישתמשו במדדי למידת מכונה דומים ביותר כדי לחזות ולהסתגל להתנהגות שלך.

תכונות חדשות של iOS 15 יקלו על קבלת הנחיות עם המצלמה שלך

זוהי אחת מתכונות iOS 15 שלא שמעתי עליהן התרגשות רבה כמו שציפיתי. אני עדיין מוצא את זה מאוד מעניין, במיוחד בהקשר של למידת מכונה.

במפות ב-iOS 15, תוכל לכוון את המצלמה שלך בזמן הליכה. זה יאפשר לך לראות כיווני AR מוקרנים על הסביבה שלך. תגיד שאתה מנסה להגיע לסרטים ולא בטוח באיזו דרך ללכת. תוכל להפנות את האייפון שלך ולראות כיוונים מודגשים ברחובות ובבניינים סביבך.

מציאות רבודה באייפון התאפשרה על ידי הכללת המנוע העצבי, כך שתכונה זו חייבת את מקורותיה ללמידת מכונה. אבל תכונה זו משלבת גם AR עם זיהוי תמונה וזיהוי מיקום כדי לספק חוויה מדהימה בזמן אמת.

למרות שזה יהיה זמין רק בכמה ערים בעת ההשקה, תכונה זו מצביעה על עתיד שבו למידת מכונה באייפון לא רק עוזרת לך ברקע. זה יוכל לעזור לך להשיג דברים באופן מיידי שנמצאים מחוץ לאזור הנוחות או ליכולת שלך.

Siri תבצע עיבוד נוסף במכשיר שלך

האחרונה בתכונות iOS 15 שמנצלת יותר את המנוע העצבי היא Siri. סירי תמיד השתמשה בלמידת מכונה. אבל הלמידה הזו עדיין לא מיצה את הפוטנציאל של המנוע העצבי.

הסיבה לכך היא ש-Siri השתמשה בעיבוד מחוץ למכשיר. זה אומר שהאייפון שלך מקשיב לבקשה שלך, שולח אותה לשרת של אפל שמעבד את הבקשה, ואז שולח אותה בחזרה לסירי באייפון שלך כדי לפעול לפי בקשה זו.

הסיבה שזה נעשה הייתה כדי להגביר את הכוח של Siri מעבר למה שהאייפון יכול לתמוך. עם זאת, ב-iOS 15 זה אמור להשתנות. Siri תבצע כעת את רוב העיבוד שלה באייפון שלך. זה אמור להפוך את Siri למהירה יותר, חכמה יותר ואמינה יותר.

אני חושב שהעדכון הזה כנראה ידרוש הכי פחות סיוע מהמנוע העצבי. מכאן מיקומו בסוף הרשימה. עם זאת, ראוי לציין כי זה מצביע על כך שסירי הופכת חכמה יותר. עוזר מוכשר יותר המשתמש בחומרה באייפון, לא בשרת מרוחק.

מה המנוע העצבי יכול לעשות בלי תכונות iOS 15 הקרובות?

וזה הכל! עד כמה שאני יכול לדעת, אלו כל הדרכים החדשות שבהן תכונות iOS 15 הולכות להתחיל להשתמש בכוח הגולמי של המנוע העצבי.

רציתי לכלול קטע קצר בסוף הפוסט הזה שמדגיש כמה מהדברים שהמנוע העצבי כבר עושה באייפון שלך. כך, אתה יכול להשוות את המקום שבו הוא נמצא היום למקום שבו הוא עומד להיות בעוד כמה חודשים.

אני מקווה שזה יעזור לך להעריך את השינויים הקרובים ל-iOS באור חדש ולהבין טוב יותר כיצד תכונות כאלה מגיעות לאייפון שלך.

המנוע העצבי עוזר לך לצלם תמונות טובות יותר

הייתי אומר שהשימוש הגדול ביותר במנוע העצבי באייפון מאז 2017 היה בצילום. בכל שנה, אפל מציגה כיצד האייפון החדש ביותר יוכל לבצע חישובי צילום רבים יותר מהדור הקודם. אפל אומרת דברים כמו, "מעבד התמונה עושה X מיליון חישובים/החלטות לכל תמונה".

זה מתייחס למספר החישובים שהמנוע העצבי עושה בכל פעם שאתה מצלם. הוא מסתכל על הצבעים, התאורה, האלמנטים המנוגדים, הנושא, הרקע והמון גורמים אחרים. והוא קובע כיצד לדרג, להתאים, לספוג ולאזן את כל האלמנטים האלה ברגע.

תהליך למידת המכונה הזה הוא שהפך דברים כמו Portrait Mode ו-Deep Fusion אפשריים. מצב פורטרט יכול לבודד אותך מהרקע שלך, ו-Deep Fusion הפך את צילומי הלילה באייפון לטובים יותר מבעבר.

המנוע העצבי הוא קריטי למצלמה של האייפון שלך בגלל אילוצי חומרה. בשל גודל האייפון, המצלמה והעדשות שלה מוגבלות ביכולת. המחשוב ולמידת המכונה שקורה כשאתה מצלם הופך את צילום האייפון שלך לשווה לתמונות מ-DSLR מקצועי.

למידת מכונה הופכת את FaceID למהיר, מאובטח ומותאם

כמובן, איננו יכולים לדבר על המנוע העצבי מבלי להזכיר מדוע הוא נוצר.

זה נכון - המנוע העצבי התווסף לאייפון X כדי לאפשר FaceID. למקרה שלא ידעת, FaceID היא אחת התכונות המתוחכמות והמורכבות ביותר של האייפון שלך.

FaceID לא רק משווה את התמונה הדו-ממדית של הפנים שלך במצלמת הסלפי לתמונה דו-ממדית אחרת של הפנים שלך. הוא מסתכל על מפת תלת-ממד של הפנים שלך, עוקב אחר תנועת העיניים שלך ומשווה אותה לסריקה תלת-ממדית קודמת של הפנים שלך.

FaceID לא עושה זאת רק בפחות משתי שניות בזמן שהפנים שלך בתנועה, סתומות חלקית ובזוויות שונות. זה גם מסתגל לאופן שבו הפנים שלך משתנות בעדינות מיום ליום. זו הסיבה שאתה יכול לגדל זקן, להזדקן ולשנות בדרכים עדינות אחרות מבלי שתצטרך לסרוק מחדש את הפנים שלך.

FaceID והמנוע העצבי לומדים ולומדים מהפנים שלך בכל פעם שאתה פותח את האייפון שלך. ללא המנוע העצבי, FaceID לא היה מהיר, מאובטח או אמין בחצי כפי שהוא היום.

המנוע העצבי ממלא תפקיד מפתח בחוויות AR באייפון

לבסוף, המנוע העצבי ממלא תפקיד מפתח ב-AR באייפון. למי שלא יודע, מציאות רבודה (AR) היא תכונה המקרינה דגמי תלת מימד על הסביבה שלך דרך עינית מצלמת האייפון שלך. אתה יכול לבדוק זאת בעצמך באמצעות אפליקציית Measure באייפון שלך.

סוג זה של תכונה משלבת דברים כמו זיהוי תמונה, מודעות מרחבית וזיכרון. כל אלה דורשים את הכוח שהמנוע העצבי מביא לשולחן.

למרבה המזל, רבים מהתכונות החדשות של iOS 15 מיועדות להפוך את AR ב-iPhone לעוצמתי עוד יותר. זו מגמה שאני מקווה שתימשך, מכיוון שלדעתי ל-AR יש פוטנציאל להיות אחת התכונות האינטגרליות ביותר של מכשירים ניידים.

תכונות iOS 15 הקרובות מצביעות על עתיד חכם יותר לאייפון

בסך הכל, אני מאוד נרגש לעתיד תכונות iOS 15 אלה נותנות לנו הצצה. יש כמה היבטים של האייפון שמרגישים מעט לא מנוצלים, אבל מעטים כמו המנוע העצבי. אני מצפה לשינוי הזה, ומקווה שגם אתה תעשה זאת!

לעוד חדשות, תובנות וטיפים על כל מה שקשור לאפל, עיין בשאר הבלוג AppleToolBox!