Funkcie iOS 15 konečne využívajú výhody neurónového enginu iPhonu

Počas sledovania Keynote WWDC21 pred pár týždňami som si začal všímať opakujúcu sa tému. A tou témou je, že sa zdá, že niekoľko nadchádzajúcich funkcií iOS 15 využíva výhody neurónového enginu iPhone.

Neural Engine je v iPhone od uvedenia iPhone X v roku 2017. Nemyslím si však, že väčšina z nás vôbec pocítila účinky tohto procesora počas štyroch rokov od jeho prvého vydania.

WWDC21 mi neustále dávala pocit, že iOS 15 je prvou futuristickou aktualizáciou iOS po dlhej dobe. A hoci o tom Apple oficiálne nepotvrdil, verím, že je to preto, že Apple konečne naplno využíva výhody Neural Engine.

V tomto príspevku stručne popíšem, čo je Neural Engine, potom sa ponorím do všetkých nových funkcií iOS 15, ktoré, ako sa zdá, využívajú tento procesor naplno. Na konci sa budem zaoberať hlavnými spôsobmi, ktorými iOS v súčasnosti používa Neural Engine, aby ste ho mohli porovnať s nadchádzajúcim vydaním iOS 15.

Dobre, poďme do toho!

Čo je to Neural Engine na iPhone?

Neural Engine je procesor na iPhone X a novšom, ktorý spracováva operácie strojového učenia. Práve schopnosť tohto procesora poháňať strojové učenie je taká dôležitá, takže pochopenie strojového učenia je dôležité pre pochopenie tohto procesora.

Strojové učenie sa týka softvéru, ktorý rozhoduje o tom, aký kód sa má spustiť, nezávisle od programátora.

Softvér zvyčajne potrebuje pracovať s veľmi špecifickými a kontrolovanými údajmi. To je dôvod, prečo Siri porozumie vášmu zámeru pri jednej fráze, no nepochopí ju pri inej – aj keď je zámer v každej fráze rovnaký. Siri potrebuje, aby údaje prichádzali v špecifickej štruktúre, inak zlyhá.

Strojové učenie je spôsob, ako to zmeniť. Umožňuje softvéru prijímať menej štruktúrované údaje a stále ich spracovávať. Ak vás niekedy prekvapí, že Siri pochopila čudne formulovanú požiadavku, je to pravdepodobne preto, že sa zlepšili schopnosti Siriho strojového učenia.

Neural Engine je, ako už názov napovedá, motor vo vašom telefóne, ktorý to umožňuje.

Uvedomujem si, že tieto pojmy môžu byť trochu ťažké pochopiť, a viem, že pri ich vysvetľovaní možno nerobím najlepšiu prácu. Snažím sa, aby boli veci v tomto príspevku krátke a jednoduché, ale ak sa chcete hlbšie ponoriť, mali by ste sa pozrieť tento príspevok!

Ako funkcie iOS 15 začínajú využívať výhody neurónového enginu

Problém s neurónovým motorom iPhone nie je v tom, že nie je výkonný, ale v tom, že jeho sila nie je na iPhone využívaná v plnom rozsahu. Za posledné štyri roky to fungovalo v obmedzených prípadoch, ako je napríklad rozšírená realita. Je to užitočné, ale zatiaľ to nespôsobilo revolúciu v iPhone.

Myslím si, že niekoľko funkcií iOS 15 poukazuje na revolučnejšiu budúcnosť pre Neural Engine. Nemyslím si, že žiadna z nových funkcií, ktoré sa chystám rozobrať nižšie, by bola možná bez tohto procesora. Pozrime sa teda, ako tieto funkcie naplno využívajú Neural Engine.

Váš iPhone dokáže čítať text na vašich fotografiách

Prvá z funkcií systému iOS 15, ktorá kričala „Strojové učenie!“ pre mňa bol živý text. Živý text je funkcia v systéme iOS 15, ktorá umožňuje vášmu iPhonu čítať text vo vašej aplikácii Fotky.

To znamená, že môžete odfotiť čokoľvek s vytlačeným textom, otvoriť túto fotografiu v aplikácii Fotky a budete môcť s týmto textom pracovať. Môžete klepnúť na telefónne čísla na fotografiách, kopírovať a prilepiť text z obrázkov dokumentov a použiť panel vyhľadávania vo Fotkách na vyhľadávanie textu na fotografiách.

Táto funkcia tiež umožňuje vášmu iPhone čítať rukou písaný text na vašich fotografiách. Funguje aj s aplikáciou Fotoaparát, takže môžete pracovať s textom v hľadáčiku fotoaparátu iPhone v reálnom čase.

Bez strojového učenia by takáto funkcia bola takmer nemožná. To je dôvod, prečo tieto online bezpečnostné testy používajú zdeformovaný text, aby dokázali, že nie ste robot. Pretože pre program je náročné čítať text.

Funkcia smartfónu, ktorá dokáže čítať text bez ohľadu na písmo, štýl, farbu alebo uhol, je nielen mimoriadne užitočná v reálnom čase, ale je to aj vynikajúce využitie mobilného strojového učenia.

Funkcie iOS 15 umožnia vášmu iPhonu rozpoznať a identifikovať obsah na vašich fotografiách

Ďalšou z nových funkcií iOS 15, ktorá využíva Neural Engine, je rozpoznávanie objektov vo Fotkách. Táto funkcia funguje podobne ako Živý text, okrem toho, že rozpoznáva skôr objekty ako text. Príklad, ktorý spoločnosť Apple použila, je, že môžete namieriť fotoaparát iPhone na psa a váš iPhone nielen rozpozná, že ide o psa, ale aj o aké plemeno psa ide.

iPhone dokáže na chvíľu vytiahnuť tváre z vašich fotiek, čo je forma rozpoznávania objektov, aj keď obmedzená. Toto rozšírenie tejto schopnosti umožní vášmu iPhonu rýchlo sa pozrieť na neštruktúrované dáta fotografie a objektov identity v nej.

Je to pôsobivejšie (a ťažšie) ako Živý text, pretože vzory, ktoré musí neurónový engine hľadať, budú oveľa menej konzistentné. Váš iPhone bude musieť urobiť tisíce (ak nie stovky tisíc) rozhodnutí, aby mohol robiť takéto rozhodnutia.

Ak chcete identifikovať plemeno psa, musíte najprv vidieť, že pes je odlišný objekt od pozadia, potom bude musieť okolo tohto psa nakresliť hranice. vyberte odlišné vlastnosti tohto psa, kým nebude môcť určiť, že je to pes, potom vytiahnite ešte viac charakteristík, aby ste určili, o aký druh psa ide je.

Tento druh výpočtov je možný len s procesorom strojového učenia.

Spomienky vo fotografiách budú sofistikovanejšie a budú „skutočnejšie“.

Ďalšou funkciou v aplikácii Fotky, ktorá dostane vylepšenie Neural Engine, sú spomienky.

Táto funkcia vytvára fotografie z určitého času (zvyčajne konkrétneho dňa) a spája ich do krátkeho videa, ktoré si môžete pozrieť. Myšlienkou je, že Memories automaticky vytvorí video koláže z vašich dovoleniek, večierkov, výročí a podobne.

Spomienky sú ďalšou z funkcií systému iOS 15, ktorá výrazne zvyšuje kvalitu. Automaticky začlení hudbu z vašej knižnice Apple Music do vašich spomienok.

Hudba, ktorú si Photos vyberie, bude nielen vhodne prispôsobená videu, ale mala by zodpovedať aj obsahu videa. Napríklad obrázky z večierka by mali byť spárované s energickou hudbou, zatiaľ čo premyslenejšie fotografie by mali mať pripojenú pomalšiu hudbu.

Aj keď túto funkciu často nepoužívam, počítačová veda za ňou je mimoriadne fascinujúca. Kombinuje rozpoznávanie objektov a scenérií, zoskupuje fotografie na základe obsahu, miesta a časového obdobia, oddeľuje priemerné každodenné fotografie od fotografií viazaných na zvláštny život. udalosti, vytvorí spojenie medzi náladou týchto fotografií a náladou piesne, ktorá sa vám páči, spáruje ich do prezentácie a načasuje túto prezentáciu do rytmu hudba.

Memories vždy používal Neurónový motor. A ďalšia verzia systému iOS má podstatne zvýšiť inteligenciu tejto funkcie.

Upozornenia, miniaplikácie a režim Nerušiť sú stále inteligentnejšie

Zoskupením funkcií iOS 15, ktoré vo väčšej miere využívajú Neural Engine, sú upozornenia, widgety a režim Nerušiť.

Widgety začali používať strojové učenie v systéme iOS 14, ale myslel som si, že by bolo užitočné pridať ich sem. Inteligentné zásobníky vám umožňujú umiestniť miniaplikácie na seba. Váš iPhone ich potom bude listovať počas dňa a ukáže vám, čo považuje za najrelevantnejšiu miniaplikáciu v danom čase.

Tieto druhy rozhodnutí sa robia analýzou vášho správania v rôznych časoch dňa a po použití určitých aplikácií. Neural Engine vezme tieto údaje, interpretuje ich a potom podľa týchto údajov zobrazí vaše widgety.

Nové funkcie iOS 15 majú fungovať veľmi podobne.

Upozornenia budú teraz zoskupené v súhrne upozornení, takže na uzamknutej obrazovke celý deň neuvidíte menej dôležité upozornenia. Funkciu súhrnu upozornení si môžete prispôsobiť alebo nechať Neural Engine, aby ju spravoval za vás.

Funkcia Nerušiť dostáva nový komponent Focus, ktorý skryje určité upozornenia podľa toho, ako sú kategorizované. Focus môžete spravovať manuálne alebo ho nechať, aby sa spravoval sám inteligentne.

Všetky tri tieto funkcie budú používať veľmi podobné metriky strojového učenia na predpovedanie a prispôsobenie sa vášmu správaniu.

Nové funkcie systému iOS 15 uľahčia získavanie trasy pomocou fotoaparátu

Toto je jedna z funkcií iOS 15, o ktorej som nepočul toľko vzrušenia, ako som očakával. Stále to považujem za veľmi zaujímavé, najmä v kontexte strojového učenia.

V Mapách v systéme iOS 15 budete môcť počas chôdze nasmerovať fotoaparát. To vám umožní vidieť smery AR premietnuté do vášho prostredia. Povedzme, že sa pokúšate dostať do kina a nie ste si istí, ktorou cestou sa vydať. Svoj iPhone budete môcť nasmerovať a uvidíte zvýraznené trasy na uliciach a budovách okolo vás.

Rozšírenú realitu na iPhone umožnilo zahrnutie Neural Engine, takže táto funkcia vďačí za svoj pôvod strojovému učeniu. Táto funkcia však tiež kombinuje AR s rozpoznávaním obrazu a detekciou polohy, čím poskytuje neuveriteľný zážitok v reálnom čase.

Hoci bude pri spustení k dispozícii len v niekoľkých mestách, táto funkcia poukazuje na budúcnosť, v ktorej vám strojové učenie na iPhone nebude pomáhať len na pozadí. Pomôže vám to okamžite dosiahnuť veci, ktoré sú mimo vašej zóny pohodlia alebo schopností.

Siri vykoná na vašom zariadení viac spracovania

Poslednou z funkcií iOS 15, ktorá vo väčšej miere využíva Neural Engine, je Siri. Siri vždy používala strojové učenie. Ale toto učenie ešte nevyčerpalo potenciál neurónového motora.

Je to preto, že Siri použila spracovanie mimo zariadenia. To znamená, že váš iPhone vypočuje vašu požiadavku, odošle ju na server Apple, ktorý žiadosť spracuje, a potom ju odošle späť do Siri na vašom iPhone, aby na základe tejto požiadavky konala.

Dôvodom bolo zvýšenie výkonu Siri nad rámec toho, čo by mohol podporovať iPhone. V iOS 15 sa to však má zmeniť. Siri teraz vykoná väčšinu svojho spracovania na vašom iPhone. Vďaka tomu by Siri mala byť rýchlejšia, inteligentnejšia a spoľahlivejšia.

Myslím si, že táto aktualizácia bude pravdepodobne vyžadovať najmenšiu pomoc od Neural Engine. Preto je jeho umiestnenie na konci zoznamu. Stojí to však za zmienku, pretože to poukazuje na to, že Siri je múdrejšia. Schopnejší asistent využívajúci hardvér na iPhone, nie vzdialený server.

Čo dokáže Neural Engine bez nadchádzajúcich funkcií iOS 15?

A je to! Pokiaľ viem, toto sú všetky nové spôsoby, ako funkcie iOS 15 začnú využívať surovú silu Neural Engine.

Na koniec tohto príspevku som chcel uviesť krátku časť, v ktorej zdôrazníme niektoré z vecí, ktoré Neural Engine už robí na vašom iPhone. Týmto spôsobom môžete porovnať, kde je to dnes, s tým, kde to bude o niekoľko mesiacov.

Dúfajme, že vám to pomôže oceniť nadchádzajúce zmeny v systéme iOS v novom svetle a lepšie pochopiť, ako sa funkcie, ako je táto, dostanú do vášho iPhone.

Neural Engine vám pomáha robiť lepšie obrázky

Povedal by som, že najväčšie využitie Neural Engine na iPhone od roku 2017 bolo vo fotografii. Apple každý rok ukazuje, ako bude najnovší iPhone schopný vykonávať viac fotografických výpočtov ako predchádzajúca generácia. Apple hovorí veci ako: „Obrazový procesor robí X miliónov výpočtov/rozhodnutí na fotografiu“.

Vzťahuje sa na počet výpočtov, ktoré neurónový modul vykoná vždy, keď urobíte fotografiu. Pozerá sa na farby, osvetlenie, kontrastné prvky, predmet, pozadie a množstvo ďalších faktorov. A určuje, ako najlepšie triediť, upravovať, absorbovať a vyvážiť všetky tieto prvky v okamihu.

Je to tento proces strojového učenia, ktorý umožnil veci ako Portrait Mode a Deep Fusion. Režim Portrét vás dokáže izolovať od pozadia a vďaka Deep Fusion je nočná fotografia na iPhone podstatne lepšia ako predtým.

Neural Engine je kritický pre fotoaparát vášho iPhone z dôvodu hardvérových obmedzení. Vzhľadom na veľkosť iPhonu má fotoaparát a jeho šošovky obmedzené možnosti. Je to výpočtová technika a strojové učenie, ku ktorému dochádza, keď urobíte fotografiu, vďaka ktorej bude vaša fotografia iPhone na rovnakej úrovni ako fotografie z profesionálnej digitálnej zrkadlovky.

Strojové učenie robí FaceID rýchlym, bezpečným a prispôsobivým

Samozrejme, nemôžeme hovoriť o neurónovom motore bez toho, aby sme spomenuli, prečo bol vytvorený.

Je to tak – Neural Engine bol pridaný do iPhone X, aby umožnil FaceID. Ak by ste nevedeli, FaceID je jednou z najsofistikovanejších a najkomplexnejších funkcií vášho iPhone.

FaceID neporovnáva iba 2D obraz vašej tváre v selfie kamere s iným 2D obrázkom vašej tváre. Pozerá sa na 3D mapu vašej tváre, sleduje pohyb vašich očí a porovnáva ho s predchádzajúcim 3D skenom vašej tváre.

FaceID to neurobí len za menej ako dve sekundy, keď je vaša tvár v pohybe, čiastočne zakrytá a v rôznych uhloch. Tiež sa prispôsobuje tomu, ako sa vaša tvár jemne mení zo dňa na deň. To je dôvod, prečo si môžete nechať narásť fúzy, zostarnúť a zmeniť sa inými jemnými spôsobmi bez toho, aby ste museli znova skenovať svoju tvár.

FaceID a Neural Engine študujú a učia sa z vašej tváre zakaždým, keď odomknete svoj iPhone. Bez Neural Engine by FaceID nebolo ani z polovice také rýchle, bezpečné ani spoľahlivé ako dnes.

Neural Engine hrá kľúčovú úlohu pri používaní AR na iPhone

Nakoniec, Neural Engine hrá kľúčovú úlohu v AR na iPhone. Pre tých, ktorí nevedia, Augmented Reality (AR) je funkcia, ktorá premieta 3D modely do vášho prostredia cez hľadáčik fotoaparátu vášho iPhone. Môžete si to vyskúšať sami pomocou aplikácie Measure na vašom iPhone.

Tento druh funkcie kombinuje veci ako rozpoznávanie obrázkov, priestorové povedomie a pamäť. Všetky vyžadujú výkon, ktorý na stôl prináša Neurónový motor.

Našťastie mnohé z nových funkcií iOS 15 sú nastavené tak, aby AR na iPhone boli ešte výkonnejšie. Dúfam, že je to trend, ktorý bude pokračovať, pretože si myslím, že AR má potenciál stať sa jednou z najintegrálnejších funkcií mobilných zariadení.

Pripravované funkcie iOS 15 smerujú k inteligentnejšej budúcnosti pre iPhone

Celkovo som veľmi nadšený z budúcnosti, ktoré nám tieto funkcie iOS 15 poskytujú. Existuje niekoľko aspektov iPhone, ktoré sa cítia trochu nedostatočne využívané, ale len málo takých ako Neural Engine. Teším sa na túto zmenu a dúfam, že vy tiež!

Ak chcete získať viac noviniek, prehľadov a tipov o všetkom, čo sa týka Apple, pozrite si zvyšok blog AppleToolBox!