Функції iOS 15 нарешті скористалися перевагами нейронного механізму iPhone

Під час перегляду основна доповідь WWDC21 кілька тижнів тому я почав помічати повторювану тему. І ця тема полягає в тому, що деякі з майбутніх функцій iOS 15, схоже, використовують переваги нейронного механізму iPhone.

Neural Engine був в iPhone з моменту випуску iPhone X у 2017 році. Однак я не думаю, що більшість із нас взагалі не відчули впливу цього процесора протягом чотирьох років з моменту його першого випуску.

WWDC21 постійно викликав у мене відчуття, що iOS 15 є першим футуристичним оновленням iOS за довгий час. І хоча офіційного підтвердження цього від Apple немає, я вважаю, що це тому, що Apple нарешті повністю використовує Neural Engine.

У цій публікації я коротко розповім, що таке Neural Engine, а потім розповім про всі нові функції iOS 15, які, здається, використовують цей процесор у повній мірі. Ближче до кінця я розповім про основні способи, якими iOS зараз використовує Neural Engine, щоб ви могли порівняти його з майбутнім випуском iOS 15.

Гаразд, приступаємо!

Що таке Neural Engine на iPhone?

Neural Engine — це процесор на iPhone X і новіших версіях, який обробляє операції машинного навчання. Саме здатність цього процесора забезпечувати машинне навчання робить його таким важливим, тому розуміння машинного навчання важливо для розуміння цього процесора.

Машинне навчання відноситься до програмного забезпечення, яке приймає рішення про те, який код виконувати незалежно від програміста.

Як правило, програмне забезпечення має працювати з дуже конкретними та контрольованими даними. Ось чому Siri зрозуміє ваш намір за допомогою однієї фрази, але не зможе зрозуміти його з іншою, навіть якщо намір у кожній фразі ідентичний. Siri потребує, щоб дані надійшли в певній структурі, інакше це не вдається.

Машинне навчання – це спосіб змінити це. Це дозволяє програмному забезпеченню приймати менш структуровані дані та все одно обробляти їх. Якщо ви коли-небудь здивуєтеся, що Siri зрозуміла дивно сформульований запит, можливо, це тому, що можливості машинного навчання Siri покращилися.

Neural Engine — це, як випливає з назви, механізм на вашому телефоні, який робить це можливим.

Я розумію, що ці поняття можуть бути трохи складними для розуміння, і я знаю, що можу не найкраще пояснювати їх. Я намагаюся зробити це коротким і простим для цієї публікації, але якщо ви хочете глибше зануритися, вам варто перевірити цей пост!

Як функції iOS 15 починають використовувати переваги нейронного механізму

Проблема з нейронним механізмом iPhone не в тому, що він не потужний, а в тому, що його потужність не використовується в повній мірі на iPhone. Протягом останніх чотирьох років він працював в обмежених випадках, як-от доповнена реальність. Це корисно, але це ще не змінило iPhone.

Я думаю, що кілька функцій iOS 15 вказують на більш революційне майбутнє Neural Engine. Я не думаю, що будь-яка з нових функцій, які я збираюся розглянути нижче, була б можлива без цього процесора. Тож давайте подивимося, як ці функції використовують Neural Engine у ​​повній мірі.

Ваш iPhone може читати текст на ваших фотографіях

Перша з функцій iOS 15, яка кричала «Машинне навчання!» для мене був Live Text. Live Text — це функція в iOS 15, яка дозволяє вашому iPhone читати текст у програмі «Фотографії».

Це означає, що ви можете сфотографувати будь-що з надрукованим текстом, відкрити цю фотографію в програмі «Фотографії», і ви зможете взаємодіяти з цим текстом. Ви можете натискати на номери телефонів на фотографіях, копіювати та вставляти текст із зображень документів, а також використовувати рядок пошуку у Фотографії для пошуку тексту на фотографіях.

Ця функція також дозволяє вашому iPhone читати рукописний текст на ваших фотографіях. Він також працює з програмою Камера, тому ви можете взаємодіяти з текстом у видошукачі камери вашого iPhone в режимі реального часу.

Без машинного навчання така функція була б майже неможлива. Ось чому ці онлайн-тести безпеки використовують деформований текст, щоб довести, що ви не робот. Тому що для програми важко читати текст.

Мало того, що функція смартфона, яка може читати текст незалежно від шрифту, стилю, кольору чи кута нахилу, в режимі реального часу надзвичайно корисна, це також чудове використання мобільного машинного навчання.

Функції iOS 15 дозволять вашому iPhone розпізнавати та ідентифікувати вміст ваших фотографій

Ще одна з нових функцій iOS 15, яка використовує Neural Engine, — це розпізнавання об’єктів у фотографіях. Ця функція працює так само, як і живий текст, за винятком того, що вона розпізнає об’єкти, а не текст. Приклад, який використовувала Apple, полягає в тому, що ви можете направити камеру iPhone на собаку, і ваш iPhone не тільки розпізнає, що це собака, але й того, якої це породи собак.

iPhone деякий час міг витягувати обличчя з ваших фотографій, що є формою розпізнавання об’єктів, хоча й обмеженою. Це розширення цієї можливості дозволить вашому iPhone швидко переглядати неструктуровані дані фотографії та ідентифікаційні об’єкти в ній.

Це більш вражаюче (і складніше), ніж Live Text, оскільки шаблони, які Neural Engine має шукати, будуть набагато менш послідовними. Ваш iPhone повинен прийняти тисячі (якщо не сотні тисяч) рішень, щоб мати можливість приймати подібні рішення.

Щоб визначити породу собаки, спочатку потрібно побачити, що собака є відмінним від фону об’єктом, потім їй потрібно буде провести межі навколо цієї собаки, а потім виберіть різні характеристики цієї собаки, поки вона не зможе визначити, що це собака, потім витягніть ще більше характеристик, щоб визначити, який це собака є

Такий тип обчислень можливий лише за допомогою процесора машинного навчання.

Спогади у фотографіях будуть більш витонченими і «справжніми».

Ще одна функція в додатку «Фотографії», яка буде внесена в Neural Engine, — це «Спогади».

Ця функція робить фотографії за певний час (зазвичай певний день) і об’єднує їх у коротке відео для перегляду. Ідея полягає в тому, що Memories автоматично створюватиме відеоколажі ваших відпусток, вечірок, ювілеїв тощо.

Спогади — ще одна з функцій iOS 15, які значно покращили якість. Він автоматично додасть музику з вашої бібліотеки Apple Music у ваші спогади.

Музика, яку вибирає «Фотографії», не тільки відповідатиме відео, але й має відповідати вмісту відео. Наприклад, зображення з вечірки слід поєднувати з енергійною музикою, а до більш продуманих фотографій слід додавати повільну музику.

Хоча я не часто використовую цю функцію, комп’ютерні науки, які стоять за нею, надзвичайно захоплюючі. Він поєднує в собі розпізнавання об’єктів і пейзажів, групує фотографії за вмістом, місцем розташування та періодом часу, відокремлює середні щоденні фотографії від фотографій, пов’язаних із особливим життям. події, встановлює зв’язок між настроєм цих фотографій і настроєм пісні, яка вам подобається, об’єднує їх у презентації слайд-шоу та час цієї презентації в ритмі музика.

Memories завжди використовував Neural Engine. І наступна версія iOS має суттєво збільшити інтелект цієї функції.

Сповіщення, віджети та режим «Не турбувати» стають розумнішими

Групою функцій iOS 15, які користуються більшими перевагами Neural Engine, є сповіщення, віджети та режим «Не турбувати».

Віджети почали використовувати машинне навчання в iOS 14, але я подумав, що було б корисно додати їх сюди. Розумні стеки дозволяють розміщувати віджети один на одному. Потім ваш iPhone буде гортати їх протягом дня, показуючи вам, який, на його думку, найбільш релевантний віджет у будь-який момент часу.

Такі рішення приймаються шляхом аналізу вашої поведінки в різний час доби та після використання певних програм. Neural Engine приймає ці дані, інтерпретує їх, а потім відображає ваші віджети відповідно до цих даних.

Нові функції iOS 15 працюють дуже схоже.

Сповіщення тепер будуть згруповані в Підсумку сповіщень, тому ви не побачите менш важливі сповіщення, які скупчуються на екрані блокування цілий день. Ви можете налаштувати функцію "Підсумок сповіщень" або дозволити Neural Engine впоратися з нею за вас.

Режим «Не турбувати» отримує новий компонент Focus, який приховуватиме певні сповіщення залежно від того, як вони класифіковані. Ви можете керувати Focus вручну або дозволити йому керувати самостійно.

Усі три ці функції використовуватимуть надзвичайно подібні показники машинного навчання для прогнозування та адаптації до вашої поведінки.

Нові функції iOS 15 полегшать отримання маршрутів за допомогою камери

Це одна з функцій iOS 15, про яку я не чув такого захоплення, як очікував. Я все ще вважаю, що це дуже цікаво, особливо в контексті машинного навчання.

У Картах в iOS 15 ви зможете направляти камеру навколо під час ходьби. Це дозволить вам бачити напрямки AR, спроектовані на ваше середовище. Скажімо, ви намагаєтеся потрапити в кіно і не знаєте, якою дорогою піти. Ви зможете спрямовувати свій iPhone і бачити напрямки, виділені на вулицях і будівлях навколо вас.

Доповнена реальність на iPhone стала можливою завдяки включенню Neural Engine, тому ця функція зобов’язана своїм походженням машинному навчанню. Але ця функція також поєднує AR з розпізнаванням зображень і визначенням місцезнаходження, щоб забезпечити неймовірний досвід у реальному часі.

Хоча на момент запуску ця функція буде доступна лише в кількох містах, ця функція вказує на майбутнє, де машинне навчання на iPhone допоможе вам не тільки у фоновому режимі. Він зможе допомогти вам миттєво досягти речей, які виходять за межі зони комфорту чи можливостей.

Siri зробить більше обробки на вашому пристрої

Останньою з функцій iOS 15, яка використовує більші переваги Neural Engine, є Siri. Siri завжди використовувала машинне навчання. Але це навчання ще не максимально використало потенціал Neural Engine.

Це тому, що Siri використовувала обробку поза пристроєм. Це означає, що ваш iPhone слухає ваш запит, надсилає його на сервер Apple, який обробляє запит, а потім надсилає його назад до Siri на вашому iPhone, щоб виконати цей запит.

Причина, по якій це було зроблено, полягала в тому, щоб збільшити потужність Siri понад те, що може підтримувати iPhone. Однак у iOS 15 це буде змінено. Тепер Siri буде виконувати більшу частину обробки на вашому iPhone. Це повинно зробити Siri швидшою, розумнішою та надійнішою.

Я думаю, що це оновлення, ймовірно, потребуватиме найменшої допомоги з боку Neural Engine. Звідси його розміщення в кінці списку. Однак варто відзначити, що це вказує на те, що Siri стає розумнішою. Більш здібний помічник, який використовує обладнання на iPhone, а не на далекому сервері.

Що може зробити Neural Engine без майбутніх функцій iOS 15?

І це все! Наскільки я можу судити, це всі нові способи, якими функції iOS 15 почнуть використовувати необроблену потужність Neural Engine.

Я хотів включити короткий розділ в кінці цієї публікації, який висвітлює деякі речі, які Neural Engine вже робить на вашому iPhone. Таким чином, ви можете порівняти те, що він знаходиться сьогодні з тим, де він буде через кілька місяців.

Сподіваємося, це допоможе вам по-новому оцінити майбутні зміни в iOS і краще зрозуміти, як такі функції приходять на ваш iPhone.

Neural Engine допомагає робити кращі знімки

Я б сказав, що найбільше використання Neural Engine на iPhone з 2017 року було у фотографії. Щороку Apple демонструє, як новітній iPhone зможе виконувати більше фотографічних розрахунків, ніж попереднє покоління. Apple каже щось на кшталт: «Процесор зображень робить X мільйонів обчислень/рішень на кожну фотографію».

Це стосується кількості обчислень, які Neural Engine робить щоразу, коли ви робите фотографію. Він розглядає кольори, освітлення, контрастні елементи, предмет, фон та безліч інших факторів. І це визначає, як найкраще оцінити, налаштувати, поглинути та збалансувати всі ці елементи в одну мить.

Саме цей процес машинного навчання зробив можливими такі речі, як портретний режим і Deep Fusion. Портретний режим може ізолювати вас від фону, а Deep Fusion зробив нічну фотографію на iPhone значно кращою, ніж раніше.

Нейронний механізм має вирішальне значення для камери вашого iPhone через апаратні обмеження. Через розміри iPhone камера та її об’єктиви обмежені у можливостях. Саме обчислення та машинне навчання, які відбуваються, коли ви робите фотографію, роблять вашу фотографію iPhone нарівні з фотографіями з професійної DSLR.

Машинне навчання робить FaceID швидким, безпечним та адаптивним

Звичайно, ми не можемо говорити про Neural Engine, не згадуючи, чому він був створений.

Правильно – Neural Engine був доданий до iPhone X, щоб зробити FaceID можливим. Якщо ви не знали, FaceID є однією з найскладніших і найскладніших функцій вашого iPhone.

FaceID не просто порівнює 2D-зображення вашого обличчя на селфі-камері з іншим 2D-зображенням вашого обличчя. Він переглядає 3D-карту вашого обличчя, відстежує рух ваших очей і порівнює її з попереднім 3D-скануванням вашого обличчя.

FaceID не робить це лише за дві секунди, коли ваше обличчя рухається, частково затьмарене та під різними кутами. Він також адаптується до того, як ваше обличчя тонко змінюється з кожним днем. Ось чому ви можете відростити бороду, постаріти та змінитися іншими тонкими способами, не потребуючи повторно сканувати своє обличчя.

FaceID і Neural Engine вивчають і навчаються на вашому обличчі щоразу, коли ви розблокуєте свій iPhone. Без Neural Engine FaceID не був би наполовину таким швидким, безпечним або надійним, як сьогодні.

Neural Engine відіграє ключову роль у доповненій реальності на iPhone

Нарешті, Neural Engine відіграє ключову роль у AR на iPhone. Для тих, хто не знає, доповнена реальність (AR) — це функція, яка проектує 3D-моделі на ваше середовище через видошукач камери вашого iPhone. Ви можете перевірити це самостійно, скориставшись програмою Measure на своєму iPhone.

Ця функція поєднує в собі такі речі, як розпізнавання зображень, просторове усвідомлення та пам’ять. Усе це вимагає потужності, яку надає Neural Engine.

На щастя, багато з нових функцій iOS 15 налаштовані, щоб зробити AR на iPhone ще потужнішим. Я сподіваюся, що ця тенденція збережеться, оскільки я думаю, що AR може стати однією з найбільш невід’ємних функцій мобільних пристроїв.

Майбутні функції iOS 15 вказують на розумніше майбутнє iPhone

Загалом, я дуже схвильований тим, що ці функції iOS 15 дадуть нам уявлення про майбутнє. Є кілька аспектів iPhone, які здаються трохи невикористаними, але мало хто настільки, як Neural Engine. Я з нетерпінням чекаю цих змін, і сподіваюся, що ви теж!

Щоб отримати додаткові новини, ідеї та поради щодо всього Apple, перегляньте решту блог AppleToolBox!