Os recursos do iOS 15 finalmente tiram proveito do mecanismo neural do iPhone

Enquanto assistia a palestra WWDC21 algumas semanas atrás, comecei a notar um tema recorrente. E esse tema é que vários dos próximos recursos do iOS 15 parecem estar aproveitando o mecanismo neural do iPhone.

O Motor Neural está no iPhone desde o lançamento do iPhone X em 2017. No entanto, não acho que a maioria de nós tenha sentido os efeitos desse processador em todos os quatro anos desde seu lançamento inicial.

WWDC21 sempre me deu a sensação de que o iOS 15 é a primeira atualização futurística do iOS em muito tempo. E, embora não haja uma confirmação oficial da Apple sobre isso, acredito que é porque a Apple está finalmente aproveitando ao máximo o Motor Neural.

Neste post, vou cobrir brevemente o que é o Motor Neural e, em seguida, vou mergulhar em todos os novos recursos do iOS 15 que parecem estar usando este processador em todo o seu potencial. Perto do final, vou cobrir as principais maneiras que o iOS usa atualmente o Neural Engine, para que você possa compará-lo com o lançamento do iOS 15 que está por vir.

Tudo bem, vamos entrar nisso!

O que é o motor neural no iPhone?

O Neural Engine é um processador no iPhone X e posterior que lida com operações de aprendizado de máquina. É a capacidade desse processador de impulsionar o aprendizado de máquina que o torna tão importante, portanto, entender o aprendizado de máquina é importante para entender esse processador.

O aprendizado de máquina se refere ao software que toma decisões sobre qual código executar independentemente de um programador.

Normalmente, o software precisa trabalhar com dados muito específicos e controlados. É por isso que o Siri entenderá sua intenção com uma frase, mas não conseguirá entendê-la com outra - mesmo se a intenção em cada frase for idêntica. O Siri precisa que os dados venham em uma estrutura específica ou falhará.

O aprendizado de máquina é uma maneira de mudar isso. Ele permite que o software receba dados menos estruturados e ainda os processe. Se você já se surpreendeu com o fato de o Siri ter entendido uma solicitação formulada de maneira estranha, é provável que os recursos de aprendizado de máquina do Siri tenham melhorado.

O Motor Neural é, como o nome indica, o motor do seu telefone que torna isso possível.

Sei que esses conceitos podem ser um pouco difíceis de entender e sei que posso não estar fazendo o melhor trabalho ao explicá-los. Estou tentando manter as coisas curtas e simples para este post, mas se você quiser um mergulho mais profundo, você deve verificar esta postagem!

Como os recursos do iOS 15 estão começando a tirar proveito do mecanismo neural

O problema com o motor neural do iPhone não é que ele não seja poderoso, mas que seu poder não é utilizado em toda a sua extensão no iPhone. Nos últimos quatro anos, ele foi colocado para funcionar em casos limitados, como realidade aumentada. É útil, mas ainda não revolucionou o iPhone.

Acho que vários recursos do iOS 15 apontam para um futuro mais revolucionário para o Motor Neural. Não acho que nenhum dos novos recursos que estou prestes a analisar seria possível sem este processador. Então, vamos ver como esses recursos usam o Motor Neural em seu máximo.

Seu iPhone pode ler texto em suas fotos

O primeiro dos recursos do iOS 15 que gritava "Aprendizado de máquina!" para mim era Live Text. Texto ao vivo é um recurso do iOS 15 que permite ao iPhone ler texto no aplicativo Fotos.

Isso significa que você pode tirar uma foto de qualquer coisa com texto impresso, abrir essa foto no aplicativo Fotos e interagir com esse texto. Você pode tocar em números de telefone em fotos, copiar e colar texto de imagens de documentos e usar a barra de pesquisa em Fotos para pesquisar texto em fotos.

Esse recurso também permite que seu iPhone leia a escrita à mão em suas fotos. Ele também funciona com o aplicativo Câmera, para que você possa interagir com o texto no visor da câmera do seu iPhone em tempo real.

Sem o aprendizado de máquina, um recurso como esse seria quase impossível. É por isso que esses testes de segurança online usam texto distorcido para provar que você não é um robô. Porque é um desafio para um programa ser capaz de ler texto.

Não é apenas um recurso de smartphone que pode ler texto, independentemente da fonte, estilo, cor ou ângulo, em tempo real extremamente útil, mas também é um excelente uso de aprendizado de máquina móvel.

Os recursos do iOS 15 permitirão que seu iPhone reconheça e identifique o conteúdo em suas fotos

Outro dos novos recursos do iOS 15 que usa o Motor Neural é o reconhecimento de objetos em Fotos. Este recurso funciona de forma semelhante ao Texto Ativo, exceto que reconhece objetos em vez de texto. O exemplo que a Apple usou é que você pode apontar a câmera do iPhone para um cachorro, e seu iPhone não apenas reconhecerá que é um cachorro, mas também qual raça de cachorro ele é.

O iPhone foi capaz de destacar rostos de suas fotos por um tempo, o que é uma forma de reconhecimento de objetos, embora limitada. Essa expansão dessa capacidade permitirá que seu iPhone observe rapidamente os dados não estruturados de uma foto e os objetos de identidade dentro dela.

Isso é mais impressionante (e difícil) do que o texto ativo, pois os padrões que o mecanismo neural deve procurar serão muito menos consistentes. Seu iPhone precisará tomar milhares (senão centenas de milhares) de decisões para poder tomar decisões como essa.

Para identificar uma raça de cachorro, primeiro será necessário ver que um cachorro é um objeto distinto do fundo, então será necessário traçar limites ao redor desse cachorro, então escolha características distintas daquele cão até que ele possa determinar que é um cão e, em seguida, extraia ainda mais características para determinar que tipo de cão ele é.

Esse tipo de computação só é possível com um processador de aprendizado de máquina.

Memórias em fotos serão mais sofisticadas e com uma sensação "real"

Outro recurso do aplicativo Fotos que receberá um retoque do Motor Neural são as Memórias.

Este recurso tira fotos de um determinado horário (geralmente um dia específico) e as combina em um pequeno vídeo para você ver. A ideia é que Memories criará colagens de vídeo de suas férias, festas, aniversários e muito mais, automaticamente.

As memórias são outro dos recursos do iOS 15 que obtêm um aumento significativo em qualidade. Ele irá incorporar automaticamente músicas de sua biblioteca do Apple Music em suas memórias.

A música que o Photos escolhe não só terá o ritmo adequado com o vídeo, mas também deve corresponder ao conteúdo do vídeo. Por exemplo, as imagens de uma festa devem ser combinadas com música enérgica, enquanto as fotos mais elaboradas devem ter uma música mais lenta anexada.

Embora eu não use esse recurso com frequência, a ciência da computação por trás dele é extremamente fascinante. Combina o reconhecimento de objetos e cenários, agrupa fotos com base no conteúdo, localização e período de tempo, separa fotos médias do dia-a-dia das fotos vinculadas a vidas especiais eventos, estabelece uma conexão entre o clima dessas fotos e o clima de uma música de que você gosta, os associa em uma apresentação de slides e os tempos dessa apresentação ao ritmo do música.

Memórias sempre usou o motor neural. E a próxima versão do iOS está definida para aumentar substancialmente a inteligência desse recurso.

Notificações, widgets e Não perturbe estão ficando mais inteligentes

Um agrupamento de recursos do iOS 15 que estão aproveitando as vantagens do Motor Neural são notificações, widgets e Não perturbe.

Os widgets começaram a usar o aprendizado de máquina no iOS 14, mas achei que seria útil adicioná-los aqui. As Pilhas inteligentes permitem que você coloque widgets um sobre o outro. Seu iPhone os percorrerá ao longo do dia, mostrando o que ele considera o widget mais relevante em um determinado momento.

Esse tipo de decisão é feito analisando seu comportamento em diferentes momentos do dia e depois de usar determinados aplicativos. O Motor Neural pega esses dados, os interpreta e, em seguida, exibe seus widgets de acordo com esses dados.

Os novos recursos do iOS 15 estão configurados para funcionar de forma muito semelhante.

As notificações agora serão agrupadas em um Resumo de notificações, para que você não veja notificações menos importantes ocupando sua tela de bloqueio o dia todo. Você pode personalizar o recurso de Resumo de Notificação ou deixar que o Mecanismo Neural cuide disso para você.

O Do Not Disturb está recebendo um novo componente, Focus, que ocultará certas notificações com base em como elas são categorizadas. Você pode gerenciar o Focus manualmente ou deixá-lo gerenciar a si mesmo de forma inteligente.

Todos os três recursos usarão métricas de aprendizado de máquina extremamente semelhantes para prever e se adaptar ao seu comportamento.

Os novos recursos do iOS 15 tornarão mais fácil obter direções com sua câmera

Este é um dos recursos do iOS 15 sobre o qual não ouvi tanto entusiasmo quanto esperava. Ainda acho isso muito interessante, especialmente em um contexto de aprendizado de máquina.

No Maps no iOS 15, você pode apontar sua câmera enquanto caminha. Isso permitirá que você veja as direções AR projetadas em seu ambiente. Digamos que você esteja tentando ir ao cinema e não tem certeza de que caminho seguir. Você poderá apontar seu iPhone ao redor e ver as direções destacadas nas ruas e edifícios ao seu redor.

A Realidade Aumentada no iPhone foi possibilitada pela inclusão do Motor Neural, portanto, esse recurso deve sua origem ao aprendizado de máquina. Mas esse recurso também combina AR com reconhecimento de imagem e detecção de localização para fornecer uma experiência incrível em tempo real.

Embora só esteja disponível em algumas cidades no lançamento, esse recurso aponta para um futuro em que o aprendizado de máquina no iPhone não o ajudará apenas em segundo plano. Será capaz de ajudá-lo a alcançar coisas instantaneamente que estão fora de sua zona de conforto ou capacidade.

Siri fará mais processamento no seu dispositivo

O último dos recursos do iOS 15 que tira maior proveito do Motor Neural é o Siri. O Siri sempre usou o aprendizado de máquina. Mas esse aprendizado ainda não esgotou o potencial do Motor Neural.

Isso ocorre porque o Siri usou processamento fora do dispositivo. Isso significa que seu iPhone escuta sua solicitação, a envia para um servidor Apple que processa a solicitação e, em seguida, a envia de volta para a Siri em seu iPhone para atender a essa solicitação.

A razão pela qual isso foi feito foi para aumentar o poder do Siri além do que o iPhone poderia suportar. No iOS 15, no entanto, isso está definido para mudar. O Siri agora fará a maior parte do processamento no seu iPhone. Isso deve tornar o Siri mais rápido, inteligente e confiável.

Acho que essa atualização provavelmente exigirá o mínimo de assistência do Motor Neural. Daí sua colocação no final da lista. É importante notar, no entanto, que indica que o Siri está ficando mais inteligente. Um assistente mais capaz usando o hardware do iPhone, não um servidor distante.

O que o Neural Engine pode fazer sem os próximos recursos do iOS 15?

E é isso! Até onde eu posso dizer, essas são todas as novas maneiras de os recursos do iOS 15 começarem a usar a força bruta do Motor Neural.

Eu queria incluir uma breve seção no final deste post destacando algumas das coisas que o Motor Neural já faz no seu iPhone. Dessa forma, você pode comparar onde está hoje com onde estará em alguns meses.

Esperançosamente, isso ajudará você a apreciar as futuras mudanças no iOS sob uma nova luz e entender melhor como recursos como este chegam ao seu iPhone.

O Motor Neural ajuda você a tirar fotos melhores

Eu diria que o maior uso do Motor Neural no iPhone desde 2017 foi na fotografia. Todos os anos, a Apple mostra como o mais novo iPhone será capaz de realizar mais cálculos fotográficos do que a geração anterior. A Apple diz coisas como: “O processador de imagem está fazendo X milhões de cálculos / decisões por foto”.

Isso se refere ao número de cálculos que o mecanismo neural faz sempre que você tira uma foto. Ele analisa as cores, iluminação, elementos contrastantes, assunto, plano de fundo e uma infinidade de outros fatores. E determina como melhor classificar, ajustar, absorver e equilibrar todos esses elementos em um instante.

É esse processo de aprendizado de máquina que tornou possíveis coisas como o Modo Retrato e o Deep Fusion. O Modo Retrato pode isolar você do seu fundo, e o Deep Fusion tornou a fotografia noturna no iPhone substancialmente melhor do que antes.

O Motor Neural é essencial para a câmera do seu iPhone por causa das restrições de hardware. Devido ao tamanho do iPhone, a câmera e suas lentes têm capacidade limitada. É a computação e o aprendizado de máquina que acontece quando você tira uma foto que torna a fotografia do seu iPhone no mesmo nível das fotos de uma DSLR profissional.

O aprendizado de máquina torna o FaceID rápido, seguro e adaptável

Claro, não podemos falar sobre o Motor Neural sem mencionar por que ele foi criado.

Isso mesmo - o Neural Engine foi adicionado ao iPhone X para tornar o FaceID possível. Caso você não saiba, o FaceID é um dos recursos mais sofisticados e complexos do seu iPhone.

FaceID não se limita a comparar a imagem 2D do seu rosto na câmera selfie com outra imagem 2D do seu rosto. Ele olha para um mapa 3D do seu rosto, rastreia o movimento dos olhos e o compara com uma varredura 3D anterior do seu rosto.

FaceID não faz isso apenas em menos de dois segundos, enquanto seu rosto está em movimento, parcialmente obscurecido e em vários ângulos. Também se adapta à maneira como seu rosto muda sutilmente de dia para dia. É por isso que você pode deixar a barba crescer, envelhecer e mudar de outras maneiras sutis, sem precisar digitalizar novamente o rosto.

FaceID e o Neural Engine estão estudando e aprendendo com seu rosto cada vez que você desbloqueia seu iPhone. Sem o Motor Neural, o FaceID não seria tão rápido, seguro ou confiável quanto é hoje.

O Motor Neural desempenha um papel fundamental nas experiências de RA no iPhone

Finalmente, o Motor Neural desempenha um papel fundamental na RA no iPhone. Para quem não sabe, a Realidade Aumentada (AR) é um recurso que projeta modelos 3D em seu ambiente por meio do visor da câmera do iPhone. Você pode testar isso por si mesmo usando o aplicativo Measure no seu iPhone.

Esse tipo de recurso combina coisas como reconhecimento de imagem, consciência espacial e memória. Tudo isso exige a potência que o Motor Neural traz para a mesa.

Felizmente, muitos dos novos recursos do iOS 15 foram criados para tornar a RA no iPhone ainda mais poderosa. É uma tendência que espero que continue, pois acho que a RA tem o potencial de ser um dos recursos mais integrais dos dispositivos móveis.

Os próximos recursos do iOS 15 apontam para um futuro mais inteligente para o iPhone

No geral, estou muito animado para o futuro, esses recursos do iOS 15 nos dão uma ideia. Existem várias facetas do iPhone que parecem um pouco subutilizadas, mas poucas tanto quanto o Motor Neural foi. Estou ansioso por essa mudança e espero que você também!

Para mais notícias, insights e dicas sobre tudo que é relacionado à Apple, confira o resto do o blog AppleToolBox!