Функциите на iOS 15 най-накрая се възползват от невронния двигател на iPhone

Докато гледате основната бележка на WWDC21 преди няколко седмици започнах да забелязвам повтаряща се тема. И тази тема е, че някои от предстоящите функции на iOS 15 изглежда се възползват от Neural Engine на iPhone.

Neural Engine е в iPhone от пускането на iPhone X през 2017 г. Въпреки това, не мисля, че повечето от нас изобщо не са усетили ефекта от този процесор през четирите години след първоначалното му пускане.

WWDC21 продължаваше да ми създава усещането, че iOS 15 е първата футуристична актуализация на iOS от много време насам. И въпреки че няма официално потвърждение от Apple за това, вярвам, че това е защото Apple най-накрая се възползва напълно от Neural Engine.

В тази публикация ще разкажа накратко какво представлява Neural Engine, след което ще се потопя във всички нови функции на iOS 15, които изглежда използват този процесор в пълния му потенциал. Близо до края ще покрия основните начини, по които iOS в момента използва Neural Engine, за да можете да го сравните с предстоящата версия на iOS 15.

Добре, нека да влезем в него!

Какво представлява Neural Engine на iPhone?

Neural Engine е процесор на iPhone X и по-късно, който обработва операции за машинно обучение. Способността на този процесор да захранва машинното обучение го прави толкова важен, така че разбирането на машинното обучение е важно за разбирането на този процесор.

Машинното обучение се отнася до софтуер, който взема решения за това какъв код да изпълни независимо от програмиста.

Обикновено софтуерът трябва да работи с много специфични и контролирани данни. Ето защо Siri ще разбере намерението ви с една фраза, но не успява да го разбере с друга – дори ако намерението във всяка фраза е идентично. Siri се нуждае от данните, за да дойдат в конкретна структура, или не успява.

Машинното обучение е начин да промените това. Той позволява на софтуера да приема по-малко структурирани данни и все пак да ги обработва. Ако някога се окажете изненадани, че Siri е разбрала странно формулирана заявка, това вероятно е защото възможностите за машинно обучение на Siri са се подобрили.

Neural Engine е, както подсказва името, двигателят на вашия телефон, който прави това възможно.

Осъзнавам, че тези понятия могат да бъдат малко трудни за разбиране и знам, че може да не се справя най-добре с обяснението им. Опитвам се да запазя нещата кратки и прости за тази публикация, но ако искате по-дълбоко гмуркане, трябва да проверите тази публикация!

Как функциите на iOS 15 започват да се възползват от невронния двигател

Проблемът с Neural Engine на iPhone не е, че той не е мощен, а че неговата мощност не се използва в пълна степен на iPhone. През последните четири години той работи в ограничени случаи, като разширена реалност. Това е полезно, но все още не е революционизирало iPhone.

Мисля, че няколко функции на iOS 15 сочат към по-революционно бъдеще за Neural Engine. Не мисля, че някоя от новите функции, които ще разбия по-долу, би била възможна без този процесор. Така че нека видим как тези функции използват Neural Engine в най-голяма степен.

Вашият iPhone може да чете текст във вашите снимки

Първата от функциите на iOS 15, която крещеше „Машинно обучение!“ за мен беше Live Text. Live Text е функция в iOS 15, която позволява на вашия iPhone да чете текст във вашето приложение Photos.

Това означава, че можете да направите снимка на всичко с отпечатан текст върху него, да отворите тази снимка в приложението Photos и ще можете да взаимодействате с този текст. Можете да докосвате телефонни номера в снимки, да копирате и поставяте текст от снимки на документи и да използвате лентата за търсене в Снимки, за да търсите текст в снимки.

Тази функция също така позволява на вашия iPhone да чете почерк във вашите снимки. Работи и с приложението Camera, така че можете да взаимодействате с текст във визьора на камерата на вашия iPhone в реално време.

Без машинно обучение подобна функция би била почти невъзможна. Ето защо тези онлайн тестове за сигурност използват изкривен текст, за да докажат, че не сте робот. Защото е предизвикателство за една програма да може да чете текст.

Функцията на смартфона, която може да чете текст, независимо от шрифта, стила, цвета или ъгъла, в реално време е не само изключително полезна, но също така е отлично използване на мобилно машинно обучение.

Функциите на iOS 15 ще позволят на вашия iPhone да разпознава и идентифицира съдържанието във вашите снимки

Друга от новите функции на iOS 15, която използва Neural Engine, е разпознаването на обекти в снимки. Тази функция работи подобно на Live Text, с изключение на това, че разпознава обекти, а не текст. Използваният от Apple пример е, че можете да насочите камерата на iPhone към куче и вашият iPhone не само ще разпознае, че е куче, но и коя порода куче е.

За известно време iPhone успява да изважда лица от снимките ви, което е форма на разпознаване на обекти, макар и ограничено. Това разширяване на тази възможност ще позволи на вашия iPhone бързо да разглежда неструктурираните данни на снимка и обекти за самоличност в нея.

Това е по-впечатляващо (и трудно) от Live Text, тъй като моделите, които Neural Engine трябва да търси, ще бъдат далеч по-малко последователни. Вашият iPhone ще трябва да вземе хиляди (ако не и стотици хиляди) решения, за да може да взема такива решения.

За да идентифицира породата куче, първо трябва да види, че кучето е отделен обект от фона, след това ще трябва да начертае граници около това куче, след това изберете отделни характеристики на това куче, докато не може да определи, че е куче, след това изтеглете още повече характеристики, за да определи кой вид куче то е

Този вид изчисление е възможно само с процесор за машинно обучение.

Спомените в снимките ще бъдат по-сложни и „истински“ усещане

Друга функция в приложението Photos, която ще получи настройка на Neural Engine, е Memories.

Тази функция прави снимки от определено време (обикновено конкретен ден) и ги комбинира в кратък видеоклип, който можете да видите. Идеята е, че Memories автоматично ще създава видеоколажи от вашите ваканции, партита, годишнини и други.

Спомените са друга от функциите на iOS 15, получаващи значително подобрение в качеството. Той автоматично ще включи музика от вашата библиотека на Apple Music във вашите спомени.

Музиката, която снимките избират, не само ще бъде подходяща за видеоклипа, но и трябва да съответства на съдържанието на видеоклипа. Например изображенията от парти трябва да бъдат съчетани с енергична музика, докато по-внимателните снимки трябва да имат по-бавна музика.

Въпреки че не използвам тази функция често, компютърните науки зад нея са изключително завладяващи. Той комбинира разпознаване на обекти и пейзажи, групира снимки въз основа на съдържание, местоположение и период от време, разделя средните ежедневни снимки от снимки, свързани със специален живот събития, създава връзка между настроението на тези снимки и настроението на песен, която харесвате, сдвоява ги в презентация на слайдшоу и умножава това представяне в ритъма на музика.

Memories винаги е използвал Neural Engine. А следващата версия на iOS е настроена да увеличи значително интелигентността на тази функция.

Известията, джаджи и режимът „Не безпокойте“ стават все по-умни

Групиране от функции на iOS 15, които се възползват по-добре от Neural Engine, са известия, джаджи и режим „Не безпокойте“.

Приспособленията започнаха да използват машинно обучение в iOS 14, но реших, че ще е полезно да ги добавя тук. Интелигентните стекове ви позволяват да поставяте джаджи една върху друга. След това вашият iPhone ще ги прелиства през целия ден, показвайки ви коя според него е най-подходящата джаджа във всеки един момент.

Тези видове решения се вземат чрез анализиране на поведението ви в различно време на деня и след използване на определени приложения. Neural Engine приема тези данни, интерпретира ги и след това показва вашите джаджи според тези данни.

Новите функции на iOS 15 са настроени да работят много подобно.

Известията вече ще бъдат групирани в Резюме на известията, така че да не виждате по-малко важни известия да претрупват вашия заключен екран през целия ден. Можете да персонализирате функцията Резюме на уведомленията или да оставите Neural Engine да се справи вместо вас.

„Не безпокойте“ получава нов компонент, Focus, който ще скрива определени известия въз основа на това как са категоризирани. Можете да управлявате Focus ръчно или да го оставите да управлява сам интелигентно.

И трите от тези функции ще използват изключително сходни показатели за машинно обучение, за да предскажат и да се адаптират към вашето поведение.

Новите функции на iOS 15 ще улеснят получаването на упътвания с вашата камера

Това е една от функциите на iOS 15, за които не съм чувал толкова вълнение, колкото очаквах. Все още го намирам за много интересен, особено в контекста на машинно обучение.

В Карти в iOS 15 ще можете да насочвате камерата си наоколо, докато се разхождате. Това ще ви позволи да видите посоките на AR, проектирани върху вашата среда. Кажете, че се опитвате да стигнете до киното и не сте сигурни по кой път да поемете. Ще можете да насочите вашия iPhone наоколо и да видите упътванията, подчертани по улиците и сградите около вас.

Разширената реалност на iPhone стана възможна чрез включването на Neural Engine, така че тази функция дължи произхода си на машинното обучение. Но тази функция също така комбинира AR с разпознаване на изображения и откриване на местоположение, за да осигури невероятно изживяване в реално време.

Въпреки че ще бъде достъпна само в няколко града при стартирането, тази функция насочва към бъдеще, в което машинното обучение на iPhone не ви помага само на заден план. Ще може да ви помогне да постигнете моментално неща, които са извън вашата зона на комфорт или способности.

Siri ще извърши повече обработка на вашето устройство

Последната от функциите на iOS 15, която се възползва по-добре от Neural Engine, е Siri. Siri винаги е използвала машинно обучение. Но това обучение все още не е оползотворило максимално потенциала на Neural Engine.

Това е така, защото Siri е използвала обработка извън устройството. Това означава, че вашият iPhone слуша вашата заявка, изпраща я до сървър на Apple, който обработва заявката, след което я изпраща обратно до Siri на вашия iPhone, за да действа по тази заявка.

Причината за това е да се увеличи мощността на Siri отвъд това, което iPhone може да поддържа. В iOS 15 обаче това е настроено да се промени. Сега Siri ще извършва по-голямата част от обработката на вашия iPhone. Това трябва да направи Siri по-бърза, по-интелигентна и по-надеждна.

Мисля, че тази актуализация вероятно ще изисква най-малко помощ от Neural Engine. Оттук и поставянето му в края на списъка. Струва си да се отбележи обаче, тъй като показва, че Siri става по-умна. По-способен асистент, използващ хардуера на iPhone, а не отдалечен сървър.

Какво може да направи Neural Engine без предстоящите функции на iOS 15?

И това е! Доколкото мога да кажа, това са всички нови начини, по които функциите на iOS 15 ще започнат да използват суровата мощност на Neural Engine.

Исках да включа кратък раздел в края на тази публикация, подчертаващ някои от нещата, които Neural Engine вече прави на вашия iPhone. По този начин можете да сравните къде е днес с това къде ще бъде след няколко месеца.

Надяваме се, че това ще ви помогне да оцените предстоящите промени в iOS в нова светлина и да разберете по-добре как функции като тази идват на вашия iPhone.

Neural Engine ви помага да правите по-добри снимки

Бих казал, че най-голямото използване на Neural Engine на iPhone от 2017 г. насам е във фотографията. Всяка година Apple показва как най-новият iPhone ще може да извършва повече фотографски изчисления от предишното поколение. Apple казва неща като: „Процесорът за изображения прави X милиона изчисления/решения на снимка“.

Това се отнася до броя на изчисленията, които Neural Engine прави всеки път, когато правите снимка. Той разглежда цветовете, осветлението, контрастните елементи, обекта, фона и множество други фактори. И определя как най-добре да класифицирате, коригирате, усвоите и балансирате всички тези елементи за миг.

Този процес на машинно обучение направи възможни неща като портретен режим и дълбоко сливане. Портретният режим може да ви изолира от фона ви, а Deep Fusion направи нощната фотография на iPhone значително по-добра от преди.

Невронният двигател е от решаващо значение за камерата на вашия iPhone поради хардуерни ограничения. Поради размера на iPhone камерата и нейните обективи са ограничени по възможност. Това е компютърното и машинното обучение, което се случва, когато правите снимка, което прави снимката на вашия iPhone наравно със снимките от професионален DSLR.

Машинното обучение прави FaceID бърз, сигурен и адаптивен

Разбира се, не можем да говорим за Neural Engine, без да споменем защо е създаден.

Точно така – Neural Engine беше добавен към iPhone X, за да направи FaceID възможен. В случай, че не знаете, FaceID е една от най-сложните и сложни функции на вашия iPhone.

FaceID не просто сравнява 2D изображението на лицето ви в селфи камерата с друго 2D изображение на лицето ви. Той разглежда 3D карта на лицето ви, проследява движението на очите ви и я сравнява с предишно 3D сканиране на лицето ви.

FaceID не прави това просто за по-малко от две секунди, докато лицето ви е в движение, частично затъмнено и под различни ъгли. Той също така се адаптира към начина, по който лицето ви се променя от ден на ден. Ето защо можете да пуснете брада, да остареете и да се промените по други фини начини, без да е необходимо да сканирате отново лицето си.

FaceID и Neural Engine изучават и се учат от лицето ви всеки път, когато отключите вашия iPhone. Без Neural Engine FaceID не би бил и наполовина толкова бърз, сигурен или надежден, колкото е днес.

Neural Engine играе ключова роля в AR преживяванията на iPhone

И накрая, Neural Engine играе ключова роля в AR на iPhone. За тези, които не знаят, разширената реалност (AR) е функция, която проектира 3D модели върху вашата среда през визьора на камерата на вашия iPhone. Можете да тествате това сами, като използвате приложението Measure на вашия iPhone.

Този вид функция съчетава неща като разпознаване на изображения, пространствено съзнание и памет. Всички те изискват мощността, която Neural Engine носи на масата.

За щастие, много от новите функции на iOS 15 са настроени да направят AR на iPhone още по-мощен. Това е тенденция, която се надявам да продължи, тъй като смятам, че AR има потенциала да бъде една от най-необходимите характеристики на мобилните устройства.

Предстоящите функции на iOS 15 сочат към по-интелигентно бъдеще за iPhone

Като цяло съм много развълнуван за бъдещето, в което тези функции на iOS 15 ни дават поглед. Има няколко аспекта на iPhone, които се чувстват малко неизползвани, но малко са толкова, колкото Neural Engine. Очаквам тази промяна и се надявам и вие!

За повече новини, прозрения и съвети относно всичко, което Apple е, вижте останалата част блога на AppleToolBox!