Возможности iOS 15 наконец-то воспользовались преимуществами нейронного движка iPhone

Во время просмотра основной доклад WWDC21 Несколько недель назад я начал замечать повторяющуюся тему. И эта тема заключается в том, что некоторые из предстоящих функций iOS 15, похоже, используют преимущества нейронного движка iPhone.

Neural Engine присутствует в iPhone с момента выпуска iPhone X в 2017 году. Однако я не думаю, что большинство из нас вообще ощутили влияние этого процессора за четыре года с момента его первого выпуска.

WWDC21 все время давал мне ощущение, что iOS 15 - первое футуристическое обновление iOS за долгое время. И хотя официального подтверждения от Apple по этому поводу нет, я считаю, что это потому, что Apple наконец-то в полной мере использует возможности Neural Engine.

В этом посте я кратко расскажу, что такое Neural Engine, а затем подробно расскажу обо всех новых функциях iOS 15, которые, похоже, используют этот процессор в полной мере. Ближе к концу я расскажу об основных способах, которыми iOS в настоящее время использует Neural Engine, чтобы вы могли сравнить его с предстоящим выпуском iOS 15.

Хорошо, давай займемся этим!

Что такое нейронный движок на iPhone?

Neural Engine - это процессор на iPhone X и более поздних версиях, который обрабатывает операции машинного обучения. Способность этого процессора задействовать машинное обучение делает его таким важным, поэтому понимание машинного обучения важно для понимания этого процессора.

Машинное обучение относится к программному обеспечению, которое принимает решения о том, какой код выполнять независимо от программиста.

Как правило, программное обеспечение должно работать с очень конкретными и контролируемыми данными. Вот почему Siri поймет ваше намерение с помощью одной фразы, но не поймет его с помощью другой, даже если намерения в каждой фразе идентичны. Siri нужно, чтобы данные поступали в определенной структуре, иначе она не работает.

Машинное обучение - способ изменить это. Это позволяет программному обеспечению принимать менее структурированные данные и при этом обрабатывать их. Если вы когда-нибудь удивлялись, что Siri поняла странно сформулированный запрос, это, вероятно, связано с улучшением возможностей машинного обучения Siri.

Neural Engine - это, как следует из названия, движок вашего телефона, который делает это возможным.

Я понимаю, что эти концепции могут быть немного сложными для понимания, и я знаю, что, возможно, я не буду лучше всего их объяснять. Я стараюсь, чтобы в этой публикации все было коротко и просто, но если вы хотите более глубокого погружения, вам следует проверить эта почта!

Как функции iOS 15 начинают использовать нейронный движок

Проблема с нейронным движком iPhone не в том, что он не мощный, а в том, что его мощность не используется в полной мере на iPhone. За последние четыре года она использовалась в ограниченном количестве случаев, например, в дополненной реальности. Это полезно, но пока не произвело революцию в iPhone.

Я думаю, что несколько функций iOS 15 указывают на более революционное будущее Neural Engine. Я не думаю, что какие-либо новые функции, о которых я расскажу ниже, были бы возможны без этого процессора. Итак, давайте посмотрим, как эти функции в полной мере используют Neural Engine.

Ваш iPhone может читать текст на ваших фотографиях

Первая из функций iOS 15, которая кричала «Машинное обучение!» для меня был Live Text. Live Text - это функция iOS 15, которая позволяет вашему iPhone читать текст в приложении «Фото».

Это означает, что вы можете сфотографировать что угодно с напечатанным текстом, открыть эту фотографию в приложении «Фото», и вы сможете взаимодействовать с этим текстом. Вы можете нажимать на телефонные номера на фотографиях, копировать и вставлять текст из изображений документов и использовать панель поиска в Фото для поиска текста на фотографиях.

Эта функция также позволяет вашему iPhone читать рукописный текст на ваших фотографиях. Он также работает с приложением «Камера», поэтому вы можете работать с текстом в видоискателе камеры iPhone в режиме реального времени.

Без машинного обучения такая функция была бы практически невозможна. Вот почему в этих онлайн-тестах безопасности используется искаженный текст, чтобы доказать, что вы не робот. Потому что программе сложно читать текст.

Функция смартфона, которая может читать текст независимо от шрифта, стиля, цвета или ракурса в режиме реального времени, не только чрезвычайно полезна, но и отлично подходит для использования мобильного машинного обучения.

Функции iOS 15 позволят вашему iPhone распознавать и идентифицировать контент на ваших фотографиях.

Еще одна новая функция iOS 15, в которой используется нейронный движок, - это распознавание объектов в фотографиях. Эта функция работает аналогично Live Text, за исключением того, что распознает объекты, а не текст. Apple использовала пример: вы можете направить камеру своего iPhone на собаку, и ваш iPhone не только распознает, что это собака, но и определит ее породу.

Некоторое время iPhone может извлекать лица из ваших фотографий, что является формой распознавания объектов, хотя и ограниченной. Такое расширение этой возможности позволит вашему iPhone быстро просматривать неструктурированные данные фотографии и идентификационные объекты внутри нее.

Это более впечатляюще (и сложно), чем Live Text, поскольку шаблоны, которые должна искать Neural Engine, будут гораздо менее последовательными. Ваш iPhone должен будет принять тысячи (если не сотни тысяч) решений, чтобы иметь возможность делать подобные определения.

Чтобы определить породу собаки, сначала нужно увидеть, что собака является отдельным объектом на заднем плане, затем нужно будет очертить границы вокруг этой собаки, а затем выберите отличительные характеристики этой собаки, пока она не сможет определить, что это собака, а затем выберите еще больше характеристик, чтобы определить, какую собаку она является.

Такие вычисления возможны только с процессором машинного обучения.

Воспоминания в фотографиях станут более сложными и «настоящими».

Еще одна функция в приложении "Фото", которая получит доработку Neural Engine, - это Воспоминания.

Эта функция позволяет делать снимки в определенное время (обычно в определенный день) и объединять их в короткое видео для просмотра. Идея состоит в том, что Memories автоматически создаст видеоколлажи с вашими отпусками, вечеринками, годовщинами и т. Д.

Воспоминания - еще одна функция iOS 15, качество которой значительно улучшилось. Он автоматически добавит музыку из вашей библиотеки Apple Music в ваши воспоминания.

Музыка, которую выбирает Фото, будет не только соответствовать видео, но и содержанию видео. Например, изображения с вечеринки должны сопровождаться энергичной музыкой, а более продуманные фотографии должны сопровождаться более медленной музыкой.

Хотя я не часто использую эту функцию, информатика, стоящая за ней, чрезвычайно увлекательна. Он сочетает в себе распознавание объектов и пейзажей, группирует фотографии на основе содержимого, местоположения и периода времени, отделяет средние ежедневные фотографии от фотографий, связанных с особой жизнью. событий, устанавливает связь между настроением этих фотографий и настроением песни, которая вам нравится, объединяет их в слайд-шоу и время этой презентации в ритме Музыка.

Воспоминания всегда использовали Neural Engine. И следующая версия iOS намерена существенно расширить интеллектуальные возможности этой функции.

Уведомления, виджеты и режим "Не беспокоить" становятся умнее

Функции iOS 15, которые используют больше преимуществ Neural Engine, включают уведомления, виджеты и режим «Не беспокоить».

Машинное обучение для виджетов началось в iOS 14, но я подумал, что было бы полезно добавить их сюда. Умные стеки позволяют размещать виджеты друг над другом. Затем ваш iPhone будет просматривать их в течение дня, показывая вам, что, по его мнению, является наиболее актуальным виджетом в любой момент времени.

Подобные решения принимаются путем анализа вашего поведения в разное время дня и после использования определенных приложений. Neural Engine принимает эти данные, интерпретирует их и затем отображает ваши виджеты в соответствии с этими данными.

Новые функции iOS 15 настроены на работу очень похоже.

Уведомления теперь будут сгруппированы в сводке уведомлений, так что вы не увидите менее важные уведомления, заполняющие ваш экран блокировки весь день. Вы можете настроить функцию «Сводка уведомлений» или позволить Neural Engine сделать это за вас.

В «Не беспокоить» появился новый компонент «Фокус», который будет скрывать определенные уведомления в зависимости от того, как они распределены по категориям. Вы можете управлять Focus вручную или позволить ему управлять самим собой разумно.

Все три функции будут использовать очень похожие показатели машинного обучения для прогнозирования вашего поведения и адаптации к нему.

Новые функции iOS 15 упростят прокладывание маршрута с помощью камеры.

Это одна из функций iOS 15, о которой я не слышал такого волнения, как я ожидал. Я до сих пор считаю это очень интересным, особенно в контексте машинного обучения.

В приложении "Карты" в iOS 15 вы сможете навести камеру во время прогулки. Это позволит вам видеть направления AR, проецируемые на вашу среду. Допустим, вы пытаетесь пойти в кино и не знаете, по какой дороге идти. Вы сможете направить свой iPhone вокруг и увидеть направления, выделенные на улицах и зданиях вокруг вас.

Дополненная реальность на iPhone стала возможной благодаря включению Neural Engine, поэтому эта функция обязана своим происхождением машинному обучению. Но эта функция также объединяет AR с распознаванием изображений и определением местоположения, чтобы обеспечить невероятный опыт в реальном времени.

Хотя на момент запуска эта функция будет доступна только в нескольких городах, эта функция указывает на будущее, в котором машинное обучение на iPhone не будет помогать вам только в фоновом режиме. Это поможет вам мгновенно достичь того, что выходит за рамки вашей зоны комфорта или способностей.

Siri сделает больше обработки на вашем устройстве

Последняя из функций iOS 15, которая использует больше преимуществ Neural Engine, - это Siri. Siri всегда использовала машинное обучение. Но это обучение еще не раскрыло потенциал Neural Engine.

Это потому, что Siri использовала обработку вне устройства. Это означает, что ваш iPhone прослушивает ваш запрос, отправляет его на сервер Apple, который обрабатывает запрос, а затем отправляет его обратно Siri на вашем iPhone, чтобы действовать по этому запросу.

Причина, по которой это было сделано, заключалась в том, чтобы увеличить мощность Siri по сравнению с тем, что мог поддерживать iPhone. Однако в iOS 15 это должно измениться. Теперь Siri будет выполнять большую часть обработки на вашем iPhone. Это должно сделать Siri быстрее, умнее и надежнее.

Я думаю, что это обновление, вероятно, потребует наименьшей помощи со стороны Neural Engine. Отсюда его размещение в конце списка. Однако стоит отметить, что это указывает на то, что Siri становится умнее. Более способный помощник, использующий оборудование на iPhone, а не удаленный сервер.

Что может делать Neural Engine без новых функций iOS 15?

Вот и все! Насколько я могу судить, это все новые способы, которыми функции iOS 15 собираются начать использовать грубую мощь Neural Engine.

Я хотел включить краткий раздел в конце этого поста, в котором рассказывается о некоторых вещах, которые Neural Engine уже выполняет на вашем iPhone. Таким образом, вы можете сравнить, где он находится сегодня, с тем, что будет через несколько месяцев.

Надеюсь, это поможет вам по-новому взглянуть на грядущие изменения в iOS и лучше понять, как такие функции появляются на вашем iPhone.

Neural Engine помогает делать снимки лучше

Я бы сказал, что больше всего Neural Engine на iPhone с 2017 года использовался в фотографии. Каждый год Apple демонстрирует, как новейший iPhone сможет выполнять больше фотографических расчетов, чем предыдущее поколение. Apple говорит что-то вроде: «Обработчик изображений выполняет X миллионов вычислений / решений для каждой фотографии».

Это относится к количеству вычислений, которые нейронный движок выполняет всякий раз, когда вы делаете снимок. Он учитывает цвета, освещение, контрастирующие элементы, объект, фон и множество других факторов. И он определяет, как лучше всего оценивать, регулировать, поглощать и балансировать все эти элементы в одно мгновение.

Именно этот процесс машинного обучения сделал возможными такие вещи, как портретный режим и Deep Fusion. Портретный режим может изолировать вас от фона, а Deep Fusion сделал ночную фотосъемку на iPhone значительно лучше, чем раньше.

Neural Engine критически важен для камеры вашего iPhone из-за аппаратных ограничений. Возможности камеры и ее объективов ограничены из-за размеров iPhone. Именно вычисления и машинное обучение, которые происходят, когда вы делаете снимок, делают вашу фотографию на iPhone не хуже, чем фотографии с профессиональной цифровой зеркальной камеры.

Машинное обучение делает FaceID быстрым, безопасным и адаптивным

Конечно, мы не можем говорить о Neural Engine, не упомянув, почему он был создан.

Совершенно верно - Neural Engine был добавлен в iPhone X, чтобы сделать FaceID возможной. Если вы не знали, FaceID - одна из самых сложных функций вашего iPhone.

FaceID не просто сравнивает 2D-изображение вашего лица на селфи-камере с другим 2D-изображением вашего лица. Он смотрит на 3D-карту вашего лица, отслеживает движения ваших глаз и сравнивает их с предыдущим 3D-сканированием вашего лица.

FaceID не делает это менее чем за две секунды, пока ваше лицо находится в движении, частично скрыто и под разными углами. Он также адаптируется к тому, как ваше лицо тонко меняется изо дня в день. Вот почему вы можете отрастить бороду, стать старше и измениться другими тонкими способами без необходимости повторного сканирования лица.

FaceID и Neural Engine изучают и учатся на вашем лице каждый раз, когда вы разблокируете свой iPhone. Без нейронного движка FaceID не был бы наполовину таким же быстрым, безопасным или надежным, как сегодня.

Neural Engine играет ключевую роль в AR на iPhone

Наконец, Neural Engine играет ключевую роль в AR на iPhone. Для тех, кто не знает, дополненная реальность (AR) - это функция, которая проецирует 3D-модели на вашу среду через видоискатель камеры iPhone. Вы можете проверить это на себе, используя приложение «Измерить» на своем iPhone.

Эта функция сочетает в себе такие вещи, как распознавание изображений, пространственное восприятие и память. Все это требует мощности, которую обеспечивает Neural Engine.

К счастью, многие из новых функций iOS 15 призваны сделать AR на iPhone еще более мощным. Я надеюсь, что эта тенденция сохранится, поскольку я считаю, что дополненная реальность может стать одной из важнейших функций мобильных устройств.

Предстоящие функции iOS 15 указывают на более разумное будущее для iPhone

В целом, я очень рад, что эти функции iOS 15 позволят нам заглянуть в будущее. Есть несколько аспектов iPhone, которые кажутся немного недоиспользованными, но не так сильно, как Neural Engine. Я с нетерпением жду этого изменения, и надеюсь, что вы тоже!

Чтобы узнать больше новостей, идей и советов обо всем, что связано с Apple, ознакомьтесь с остальной частью блог AppleToolBox!