Funcțiile iOS 15 profită în sfârșit de motorul neural al iPhone-ului

În timp ce mă uit discursul principal WWDC21 acum câteva săptămâni, am început să observ o temă recurentă. Și acea temă este că câteva dintre următoarele caracteristici iOS 15 par să profite de Neural Engine al iPhone.

Neural Engine se află în iPhone de la lansarea iPhone X în 2017. Cu toate acestea, nu cred că cei mai mulți dintre noi au simțit deloc efectele acestui procesor în cei patru ani de la lansarea sa inițială.

WWDC21 mi-a tot dat sentimentul că iOS 15 este prima actualizare futuristă a iOS de mult timp. Și, deși nu există o confirmare oficială de la Apple în acest sens, cred că asta se datorează faptului că Apple profită în sfârșit din plin de Neural Engine.

În această postare, voi acoperi pe scurt ce este Neural Engine, apoi mă voi scufunda în toate noile funcții iOS 15 care par să folosească acest procesor la întregul său potențial. Aproape de sfârșit, voi acoperi principalele moduri în care iOS utilizează în prezent Neural Engine, astfel încât să îl puteți compara cu viitoarea lansare iOS 15.

Bine, hai să intrăm în asta!

Ce este Neural Engine pe iPhone?

Neural Engine este un procesor pe iPhone X și mai târziu, care se ocupă de operațiunile de învățare automată. Capacitatea acestui procesor de a alimenta învățarea automată este cea care o face atât de importantă, așa că înțelegerea învățării automate este importantă pentru înțelegerea acestui procesor.

Învățarea automată se referă la software-ul care ia decizii cu privire la ce cod să execute independent de un programator.

De obicei, software-ul trebuie să funcționeze cu date foarte specifice și controlate. De aceea, Siri vă va înțelege intenția cu o frază, dar nu o va înțelege cu alta – chiar dacă intenția din fiecare frază este identică. Siri are nevoie ca datele să vină într-o structură specifică sau nu reușește.

Învățarea automată este o modalitate de a schimba asta. Permite software-ului să preia date mai puțin structurate și să le proceseze în continuare. Dacă te-ai surprins vreodată că Siri a înțeles o solicitare formulată ciudat, probabil că s-au îmbunătățit capacitățile de învățare automată ale lui Siri.

Neural Engine este, după cum sugerează și numele, motorul de pe telefonul dvs. care face acest lucru posibil.

Îmi dau seama că aceste concepte pot fi puțin greu de înțeles și știu că s-ar putea să nu fac cea mai bună treabă în a le explica. Încerc să fac lucrurile scurte și simple pentru această postare, dar dacă doriți o scufundare mai profundă, ar trebui să verificați acest post!

Cum funcțiile iOS 15 încep să profite de motorul neuronal

Problema cu motorul neuronal al iPhone-ului nu este că nu este puternic, ci că puterea sa nu este utilizată în întregime pe iPhone. În ultimii patru ani, a fost pus să funcționeze în cazuri limitate, cum ar fi realitatea augmentată. Este util, dar încă nu a revoluționat iPhone-ul.

Cred că mai multe funcții iOS 15 indică un viitor mai revoluționar pentru Neural Engine. Nu cred că niciuna dintre noile funcții pe care sunt pe cale să le defalc mai jos ar fi posibilă fără acest procesor. Deci, să vedem cum aceste funcții folosesc Neural Engine la maximum.

iPhone-ul tău poate citi textul din fotografiile tale

Prima dintre caracteristicile iOS 15 care a strigat „Învățare automată!” pentru mine a fost Live Text. Live Text este o funcție din iOS 15 care permite iPhone-ului tău să citească text în aplicația Fotografii.

Aceasta înseamnă că puteți face o fotografie a oricărui text tipărit, puteți deschide fotografia respectivă în aplicația Fotografii și veți putea interacționa cu acel text. Puteți să atingeți numerele de telefon din fotografii, să copiați și să lipiți text din imaginile documentelor și să utilizați bara de căutare din Fotografii pentru a căuta text în fotografii.

Această caracteristică permite, de asemenea, iPhone-ului tău să citească scrisul de mână în fotografiile tale. Funcționează și cu aplicația Cameră, astfel încât să puteți interacționa cu textul din vizorul camerei iPhone în timp real.

Fără învățarea automată, o funcție ca aceasta ar fi aproape imposibilă. Acesta este motivul pentru care acele teste de securitate online folosesc text deformat pentru a dovedi că nu ești un robot. Pentru că este o provocare pentru un program să poată citi text.

Nu numai că o funcție de smartphone care poate citi textul indiferent de font, stil, culoare sau unghi, în timp real este extrem de utilă, ci este și o utilizare excelentă a învățării automate mobile.

Funcțiile iOS 15 vor permite iPhone-ului tău să recunoască și să identifice conținutul din fotografiile tale

O altă dintre noile funcții iOS 15 care utilizează Neural Engine este recunoașterea obiectelor în Fotografii. Această caracteristică funcționează în mod similar cu Live Text, cu excepția faptului că recunoaște obiecte mai degrabă decât text. Exemplul pe care l-a folosit Apple este că poți îndrepta camera iPhone către un câine, iar iPhone-ul tău nu numai că va recunoaște că este un câine, ci și ce rasă de câine este.

iPhone-ul a reușit să scoată fețe din fotografiile tale pentru un timp, ceea ce este o formă de recunoaștere a obiectelor, deși limitată. Această extindere a acestei capacități va permite iPhone-ului dvs. să se uite rapid la datele nestructurate ale unei fotografii și la obiectele de identitate din el.

Acest lucru este mai impresionant (și mai dificil) decât Live Text, deoarece modelele pe care trebuie să le caute Neural Engine vor fi mult mai puțin consistente. iPhone-ul tău va trebui să ia mii (dacă nu sute de mii) de decizii pentru a putea lua astfel de decizii.

Pentru a identifica o rasă de câine, va trebui mai întâi să vedeți că un câine este un obiect distinct de fundal, apoi va trebui să traseze limite în jurul acelui câine, apoi alegeți caracteristicile distincte ale acelui câine până când poate determina că este un câine, apoi scoateți și mai multe caracteristici pentru a determina ce fel de câine este este.

Acest tip de calcul este posibil doar cu un procesor de învățare automată.

Amintirile din fotografii vor avea un sentiment mai sofisticat și „real”.

O altă caracteristică din aplicația Fotografii care va primi o retușare Neural Engine este Amintiri.

Această funcție realizează fotografii de la o anumită oră (de obicei, o anumită zi) și le combină într-un scurt videoclip pentru a le vizualiza. Ideea este că Memories va crea automat colaje video cu vacanțele, petrecerile, aniversarile și multe altele.

Amintirile sunt o altă caracteristică a iOS 15 care obțin o creștere semnificativă a calității. Va încorpora automat muzica din biblioteca dvs. Apple Music în Amintiri.

Muzica aleasă de Fotografii nu numai că va fi ritmată corespunzător cu videoclipul, dar ar trebui să se potrivească și cu conținutul videoclipului. De exemplu, imaginile de la o petrecere ar trebui să fie asociate cu muzică energică, în timp ce fotografiile mai atente ar trebui să aibă atașată muzică mai lentă.

Deși nu folosesc des această funcție, informatica din spatele ei este extrem de fascinantă. Combină recunoașterea obiectelor și a peisajului, grupează fotografiile în funcție de conținut, locație și perioadă de timp, separă fotografiile zilnice medii de fotografiile legate de viața specială evenimente, face o conexiune între starea de spirit a fotografiilor respective și starea de spirit a unei melodii care vă place, le asociază într-o prezentare de diapozitive și acționează prezentarea în ritmul muzică.

Memories a folosit întotdeauna Motorul Neural. Iar următoarea versiune de iOS este setată să crească în mod substanțial inteligența acestei funcții.

Notificările, widgeturile și Nu deranjați devin mai inteligente

O grupare de funcții iOS 15 care profită mai mult de Neural Engine sunt notificările, widget-urile și Nu deranjați.

Widgeturile au început să folosească învățarea automată în iOS 14, dar m-am gândit că ar fi util să le adaug aici. Stivele inteligente vă permit să puneți widget-uri unul peste altul. iPhone-ul dvs. le va răsfoi pe parcursul zilei, arătându-vă ceea ce crede că este cel mai relevant widget la un moment dat.

Aceste tipuri de decizii sunt luate prin analizarea comportamentului dumneavoastră la diferite momente ale zilei și după utilizarea anumitor aplicații. Neural Engine preia aceste date, le interpretează și apoi vă afișează widget-urile în funcție de aceste date.

Noile funcții iOS 15 sunt setate să funcționeze în mod foarte similar.

Notificările vor fi acum grupate într-un Rezumat al notificărilor, astfel încât să nu vedeți notificări mai puțin importante care vă aglomerează ecranul de blocare toată ziua. Puteți personaliza caracteristica Rezumatul notificărilor sau puteți lăsa Neural Engine să se ocupe de aceasta.

Do Not Disturb primește o nouă componentă, Focus, care va ascunde anumite notificări în funcție de modul în care sunt clasificate. Puteți gestiona Focus manual sau îl puteți lăsa să se gestioneze singur în mod inteligent.

Toate aceste trei caracteristici vor folosi valori de învățare automată extrem de similare pentru a prezice și a se adapta la comportamentul dvs.

Noile funcții iOS 15 vor face mai ușor să obțineți indicații de orientare cu camera dvs

Aceasta este una dintre funcțiile iOS 15 despre care nu am auzit atât de mult entuziasm pe cât mă așteptam. Încă mi se pare foarte interesant, mai ales într-un context de învățare automată.

În Hărți în iOS 15, veți putea îndrepta camera în jur în timp ce mergeți. Acest lucru vă va permite să vedeți direcțiile AR proiectate în mediul dvs. Spuneți că încercați să ajungeți la filme și nu sunteți sigur pe ce drum să luați. Veți putea să vă îndreptați iPhone-ul în jur și să vedeți indicațiile evidențiate pe străzile și clădirile din jurul vostru.

Augmented Reality pe iPhone a fost posibilă prin includerea Neural Engine, așa că această caracteristică își datorează originile învățării automate. Dar această caracteristică combină, de asemenea, AR cu recunoașterea imaginii și detectarea locației pentru a oferi o experiență incredibilă în timp real.

Deși va fi disponibilă doar în câteva orașe la lansare, această funcție indică un viitor în care învățarea automată pe iPhone nu te ajută doar în fundal. Vă va putea ajuta să realizați instantaneu lucruri care se află în afara zonei sau abilităților dvs. de confort.

Siri va procesa mai mult pe dispozitivul dvs

Ultima dintre caracteristicile iOS 15 care profită mai mult de Neural Engine este Siri. Siri a folosit întotdeauna învățarea automată. Dar această învățare nu a maximizat încă potențialul Neural Engine.

Asta pentru că Siri a folosit procesarea în afara dispozitivului. Asta înseamnă că iPhone-ul tău îți ascultă cererea, o trimite la un server Apple care procesează cererea, apoi o trimite înapoi la Siri de pe iPhone-ul tău pentru a răspunde cererii respective.

Motivul pentru care a fost făcut acest lucru a fost creșterea puterii lui Siri dincolo de ceea ce iPhone-ul ar putea suporta. În iOS 15, totuși, acest lucru este setat să se schimbe. Siri va face acum cea mai mare parte a procesării sale pe iPhone. Acest lucru ar trebui să facă Siri mai rapid, mai inteligent și mai fiabil.

Cred că această actualizare va necesita probabil cea mai mică asistență din partea Neural Engine. De aici și plasarea sa la sfârșitul listei. Cu toate acestea, merită remarcat, deoarece indică faptul că Siri devine mai inteligent. Un asistent mai capabil care folosește hardware-ul de pe iPhone, nu un server îndepărtat.

Ce poate face Neural Engine fără viitoarele funcții iOS 15?

Si asta e! Din câte îmi pot da seama, acestea sunt toate modalitățile noi prin care funcțiile iOS 15 vor începe să utilizeze puterea brută a Neural Engine.

Am vrut să includ o scurtă secțiune la sfârșitul acestei postări care evidențiază unele dintre lucrurile pe care Neural Engine le face deja pe iPhone-ul tău. În acest fel, puteți compara locul în care este astăzi cu locul în care va fi în câteva luni.

Sperăm că acest lucru vă va ajuta să apreciați schimbările viitoare ale iOS într-o lumină nouă și să înțelegeți mai bine cum funcții ca aceasta vin pe iPhone-ul dvs.

Neural Engine vă ajută să faceți fotografii mai bune

Aș spune că cea mai mare utilizare a Neural Engine pe iPhone din 2017 a fost în fotografie. În fiecare an, Apple arată cum cel mai nou iPhone va putea efectua mai multe calcule fotografice decât generația anterioară. Apple spune lucruri precum: „Procesorul de imagine face X milioane de calcule/decizii per fotografie”.

Aceasta se referă la numărul de calcule pe care Neural Engine le face de fiecare dată când faceți o fotografie. Se uită la culori, iluminare, elemente contrastante, subiect, fundal și o multitudine de alți factori. Și determină cum să gradați, să ajustați, să absorbiți și să echilibrați cel mai bine toate aceste elemente într-o clipă.

Acest proces de învățare automată a făcut posibile lucruri precum Portrait Mode și Deep Fusion. Modul Portret vă poate izola de fundal, iar Deep Fusion a făcut fotografia de noapte pe iPhone substanțial mai bună decât înainte.

Neural Engine este esențial pentru camera iPhone-ului dvs. din cauza constrângerilor hardware. Datorită dimensiunii iPhone-ului, camera și lentilele sale au capacitatea limitată. Este calculul și învățarea automată care se întâmplă atunci când faci o fotografie, ceea ce face ca fotografia ta pe iPhone să fie la egalitate cu fotografiile de la un DSLR profesional.

Învățarea automată face FaceID rapid, sigur și adaptabil

Desigur, nu putem vorbi despre Neural Engine fără să menționăm de ce a fost creat.

Așa este – Neural Engine a fost adăugat la iPhone X pentru a face posibil FaceID. În cazul în care nu știai, FaceID este una dintre cele mai sofisticate și complexe funcții ale iPhone-ului tău.

FaceID nu compară doar imaginea 2D a feței tale din camera selfie cu o altă imagine 2D a feței tale. Se uită la o hartă 3D a feței tale, urmărește mișcarea ochilor și o compară cu o scanare 3D anterioară a feței tale.

FaceID nu face acest lucru doar în mai puțin de două secunde în timp ce fața ta este în mișcare, parțial ascunsă și sub unghiuri diferite. De asemenea, se adaptează la modul în care fața ta se schimbă subtil de la o zi la alta. De aceea, poți să-ți lași barba, să îmbătrânești și să te schimbi în alte moduri subtile, fără a fi nevoie să-ți scanezi din nou fața.

FaceID și Neural Engine studiază și învață din chipul tău de fiecare dată când deblochezi iPhone-ul. Fără Neural Engine, FaceID nu ar fi pe jumătate la fel de rapid, sigur sau de încredere decât este astăzi.

Neural Engine joacă un rol cheie în experiențele AR pe iPhone

În cele din urmă, Neural Engine joacă un rol cheie în AR pe iPhone. Pentru cei care nu știu, Augmented Reality (AR) este o caracteristică care proiectează modele 3D în mediul tău prin vizorul camerei iPhone. Puteți testa acest lucru pentru dvs. folosind aplicația Measure de pe iPhone.

Acest tip de caracteristică combină lucruri precum recunoașterea imaginilor, conștientizarea spațială și memoria. Toate acestea necesită puterea pe care Neural Engine o aduce la masă.

Din fericire, multe dintre noile funcții iOS 15 sunt setate să facă AR pe iPhone și mai puternic. Este o tendință, sper că va continua, deoarece cred că AR are potențialul de a fi una dintre cele mai integrante caracteristici ale dispozitivelor mobile.

Caracteristicile viitoare iOS 15 indică un viitor mai inteligent pentru iPhone

În general, sunt foarte încântat de faptul că aceste funcții iOS 15 ne oferă o privire în viitor. Există mai multe fațete ale iPhone-ului care se simt puțin subutilizate, dar puține așa cum a fost Neural Engine. Aștept cu nerăbdare această schimbare și sper să o faci și tu!

Pentru mai multe știri, informații și sfaturi despre toate lucrurile Apple, consultați restul blogul AppleToolBox!