Funkcije iOS 15 končno izkoristijo nevronski motor iPhonea

Med gledanjem osrednji govor WWDC21 pred nekaj tedni sem začel opažati ponavljajočo se temo. In ta tema je, da se zdi, da več prihajajočih funkcij iOS 15 izkorišča prednosti iPhona Neural Engine.

Neural Engine je v iPhonu od izdaje iPhone X leta 2017. Vendar pa mislim, da večina od nas v štirih letih od njegove prve izdaje sploh ni občutila učinkov tega procesorja.

WWDC21 mi je ves čas dajal občutek, da je iOS 15 prva futuristična posodobitev za iOS po dolgem času. In čeprav o tem ni uradne potrditve s strani Appla, verjamem, da je to zato, ker Apple končno v celoti izkorišča Neural Engine.

V tej objavi bom na kratko opisal, kaj je Neural Engine, nato pa se bom poglobil v vse nove funkcije iOS 15, za katere se zdi, da ta procesor uporabljajo v celoti. Proti koncu bom pokril glavne načine, kako iOS trenutno uporablja Neural Engine, tako da ga lahko primerjate s prihajajočo izdajo iOS 15.

V redu, pojdimo v to!

Kaj je nevronski motor na iPhoneu?

Neural Engine je procesor na iPhone X in novejših, ki upravlja operacije strojnega učenja. Zaradi sposobnosti tega procesorja, da poganja strojno učenje, je tako pomemben, zato je razumevanje strojnega učenja pomembno za razumevanje tega procesorja.

Strojno učenje se nanaša na programsko opremo, ki sprejema odločitve o tem, katero kodo izvajati neodvisno od programerja.

Običajno mora programska oprema delati z zelo specifičnimi in nadzorovanimi podatki. Zato bo Siri razumela vaš namen z eno besedno zvezo, z drugo pa ga ne bo razumela – tudi če je namen v vsaki frazi enak. Siri potrebuje podatke, da pridejo v določeni strukturi, sicer ne uspe.

Strojno učenje je način, kako to spremeniti. Programski opremi omogoča, da sprejme manj strukturirane podatke in jih še vedno obdeluje. Če ste kdaj presenečeni, da je Siri razumela nenavadno izraženo zahtevo, je to verjetno zato, ker so se Sirijeve zmogljivosti strojnega učenja izboljšale.

Neural Engine je, kot že ime pove, motor na vašem telefonu, ki to omogoča.

Zavedam se, da je te koncepte težko razumeti in vem, da jih morda ne bom najbolje razložil. Poskušam biti stvari kratke in preproste za to objavo, če pa se želite globlje potopiti, si oglejte ta objava!

Kako funkcije iOS 15 začenjajo izkoriščati prednosti nevronskega motorja

Težava z nevronskim motorjem iPhone ni v tem, da ni zmogljiv, ampak v tem, da njegova moč ni v celoti izkoriščena na iPhoneu. Zadnja štiri leta je delovala v omejenih primerih, kot je razširjena resničnost. Koristno je, vendar še ni spremenilo iPhonea.

Mislim, da več funkcij iOS 15 kaže na bolj revolucionarno prihodnost Neural Engine. Mislim, da nobena od novih funkcij, ki jih bom razčlenil spodaj, ne bi bila mogoča brez tega procesorja. Poglejmo si, kako te funkcije v celoti uporabljajo Neural Engine.

Vaš iPhone lahko bere besedilo na vaših fotografijah

Prva od funkcij iOS 15, ki je kričala "Strojno učenje!" zame je bil Live Text. Besedilo v živo je funkcija v sistemu iOS 15, ki vašemu iPhoneu omogoča branje besedila v aplikaciji Fotografije.

To pomeni, da lahko fotografirate kar koli, na katerem je natisnjeno besedilo, odprete to fotografijo v aplikaciji Fotografije in s tem besedilom boste lahko komunicirali. Dotaknete se lahko telefonskih številk na fotografijah, kopirate in prilepite besedilo iz slik dokumentov in uporabite iskalno vrstico v Fotografijah za iskanje besedila na fotografijah.

Ta funkcija omogoča tudi, da vaš iPhone bere rokopis na vaših fotografijah. Deluje tudi z aplikacijo Camera, tako da lahko v realnem času komunicirate z besedilom v iskalu kamere iPhone.

Brez strojnega učenja bi bila takšna funkcija skoraj nemogoča. Zato ti spletni varnostni testi uporabljajo popačeno besedilo, da dokažejo, da niste robot. Ker je za program težko brati besedilo.

Ne samo, da je funkcija pametnega telefona, ki lahko bere besedilo ne glede na pisavo, slog, barvo ali kot, v realnem času izjemno uporabna, ampak je tudi odlična uporaba mobilnega strojnega učenja.

Funkcije iOS 15 bodo vašemu iPhoneu omogočile, da prepozna in prepozna vsebino na vaših fotografijah

Druga nova funkcija iOS 15, ki uporablja Neural Engine, je prepoznavanje predmetov v fotografijah. Ta funkcija deluje podobno kot živo besedilo, le da prepozna predmete in ne besedila. Primer, ki ga je uporabil Apple, je, da lahko kamero iPhone usmerite na psa in vaš iPhone ne bo prepoznal le, da je pes, ampak tudi, katera pasma psa je.

iPhone je že nekaj časa lahko iz vaših fotografij izvlekel obraze, kar je oblika prepoznavanja predmetov, čeprav omejena. Ta razširitev te zmožnosti bo vašemu iPhoneu omogočila hiter ogled nestrukturiranih podatkov fotografije in identitetnih predmetov v njej.

To je bolj impresivno (in težko) kot živo besedilo, saj bodo vzorci, ki jih mora nevronski motor iskati, veliko manj dosledni. Vaš iPhone bo moral sprejeti na tisoče (če ne na stotine tisoč) odločitev, da bo lahko sprejemal takšne odločitve.

Da bi prepoznali pasmo psa, bo moral najprej videti, da je pes ločen predmet od ozadja, nato bo moral narisati meje okoli tega psa, nato izberite različne značilnosti tega psa, dokler ne ugotovi, da je pes, nato izvlecite še več značilnosti, da ugotovite, za katero vrsto psa gre je

Takšno računanje je možno le s procesorjem za strojno učenje.

Spomini v fotografijah bodo bolj prefinjeni in »resnični« občutki

Druga funkcija v aplikaciji Fotografije, ki bo dobila popravek Neural Engine, so Spomini.

Ta funkcija posname fotografije iz določenega časa (običajno določenega dne) in jih združi v kratek videoposnetek, ki si ga lahko ogledate. Ideja je, da bo Memories samodejno ustvaril video kolaže vaših počitnic, zabav, obletnic in še več.

Spomini so še ena od funkcij iOS 15, ki se znatno povečajo v kakovosti. Glasbo iz knjižnice Apple Music bo samodejno vključil v vaše spomine.

Glasba, ki jo izbere fotografije, ne bo le v ustreznem tempu z videoposnetkom, ampak se mora ujemati tudi z vsebino videoposnetka. Slike z zabave je treba na primer povezati z energično glasbo, bolj premišljene fotografije pa naj imajo priloženo počasnejšo glasbo.

Čeprav te funkcije ne uporabljam pogosto, je računalništvo za njo izjemno fascinantno. Združuje prepoznavanje predmetov in pokrajine, združuje fotografije na podlagi vsebine, lokacije in časovnega obdobja, ločuje povprečne vsakodnevne fotografije od fotografij, povezanih s posebnim življenjem. dogodke, vzpostavi povezavo med razpoloženjem teh fotografij in razpoloženjem pesmi, ki vam je všeč, jih združi v diaprojekcijo in čas te predstavitve v ritmu glasba.

Memories je vedno uporabljal nevronski motor. In naslednja različica iOS-a naj bi znatno povečala inteligenco te funkcije.

Obvestila, pripomočki in način Ne moti postajajo vse pametnejši

Skupina funkcij iOS 15, ki bolj izkoriščajo Neural Engine, so obvestila, pripomočki in način Ne moti.

Pripomočki so začeli uporabljati strojno učenje v iOS 14, vendar sem mislil, da bi jih bilo koristno dodati tukaj. Pametni skladi vam omogočajo, da gradnike postavite enega na drugega. Vaš iPhone jih bo nato listal skozi ves dan in vam pokazal, kateri pripomoček je po njegovem mnenju najbolj ustrezen v danem trenutku.

Tovrstne odločitve se sprejemajo z analizo vašega vedenja ob različnih urah dneva in po uporabi določenih aplikacij. Neural Engine vzame te podatke, jih interpretira in nato v skladu s temi podatki prikaže vaše pripomočke.

Nove funkcije iOS 15 naj bi delovale zelo podobno.

Obvestila bodo zdaj združena v povzetek obvestil, tako da ne boste videli, da bi manj pomembna obvestila ves dan polnila vaš zaklenjeni zaslon. Funkcijo Povzetek obvestil lahko prilagodite ali prepustite Neural Engine, da to uredi namesto vas.

Način Ne moti dobiva novo komponento Focus, ki bo skrila določena obvestila glede na to, kako so kategorizirana. Focus lahko upravljate ročno ali pa mu dovolite, da se sam upravlja inteligentno.

Vse tri te funkcije bodo uporabljale zelo podobne meritve strojnega učenja za napovedovanje in prilagajanje vašemu vedenju.

Nove funkcije iOS 15 bodo olajšale pridobivanje navodil s kamero

To je ena od funkcij iOS 15, o kateri nisem slišal toliko navdušenja, kot sem pričakoval. Še vedno se mi zdi zelo zanimivo, zlasti v kontekstu strojnega učenja.

V Google Zemljevidih ​​v iOS 15 boste lahko med hojo usmerili kamero naokoli. To vam bo omogočilo ogled smeri AR, ki so projicirane v vašem okolju. Recimo, da poskušate priti v kino in niste prepričani, po kateri poti. Svoj iPhone boste lahko usmerili naokoli in si ogledali označena navodila na ulicah in stavbah okoli vas.

Obogatena resničnost na iPhoneu je bila omogočena z vključitvijo nevronskega motorja, zato ta funkcija izvira iz strojnega učenja. Toda ta funkcija združuje tudi AR s prepoznavanjem slik in zaznavanjem lokacije, da zagotovi neverjetno izkušnjo v realnem času.

Čeprav bo ob predstavitvi na voljo le v nekaj mestih, ta funkcija kaže na prihodnost, v kateri vam strojno učenje na iPhoneu ne pomaga le v ozadju. Pomagal vam bo, da takoj dosežete stvari, ki so zunaj vašega območja udobja ali sposobnosti.

Siri bo opravila več obdelave v vaši napravi

Zadnja funkcija iOS 15, ki bolj izkorišča Neural Engine, je Siri. Siri je vedno uporabljala strojno učenje. Toda to učenje še ni izkoristilo potenciala nevronskega motorja.

To je zato, ker je Siri uporabila obdelavo zunaj naprave. To pomeni, da vaš iPhone posluša vašo zahtevo, jo pošlje strežniku Apple, ki obdela zahtevo, nato pa jo pošlje nazaj Siri na vašem iPhoneu, da ukrepa v skladu s to zahtevo.

Razlog za to je bil povečanje moči Sirija, ki presega tisto, kar bi lahko podpiral iPhone. V iOS 15 pa naj bi se to spremenilo. Siri bo zdaj večino svoje obdelave opravila na vašem iPhoneu. To bi moralo narediti Siri hitrejšo, pametnejšo in zanesljivejšo.

Mislim, da bo ta posodobitev verjetno zahtevala najmanj pomoči Neural Engine. Zato je njegova umestitev na konec seznama. Vendar je treba omeniti, da kaže, da Siri postaja pametnejša. Zmogljivejši pomočnik, ki uporablja strojno opremo na iPhoneu, ne oddaljen strežnik.

Kaj zmore Neural Engine brez prihajajočih funkcij iOS 15?

In to je to! Kolikor vem, so to vsi novi načini, na katere bodo funkcije iOS 15 začele uporabljati surovo moč nevronskega motorja.

Na koncu te objave sem želel vključiti kratek razdelek, ki poudarja nekatere stvari, ki jih Neural Engine že počne na vašem iPhoneu. Tako lahko primerjate, kje je danes, s tem, kje bo čez nekaj mesecev.

Upajmo, da vam bo to pomagalo ceniti prihajajoče spremembe v sistemu iOS v novi luči in bolje razumeti, kako takšne funkcije prihajajo v vaš iPhone.

Neural Engine vam pomaga narediti boljše slike

Rekel bi, da je bila največja uporaba Neural Engine na iPhoneu od leta 2017 v fotografiji. Apple vsako leto pokaže, kako bo najnovejši iPhone lahko izvedel več fotografskih izračunov kot prejšnja generacija. Apple pravi stvari, kot so: »Slikovni procesor naredi X milijonov izračunov/odločitev na fotografijo«.

To se nanaša na število izračunov, ki jih Neural Engine opravi vsakič, ko posnamete fotografijo. Upošteva barve, osvetlitev, kontrastne elemente, motiv, ozadje in številne druge dejavnike. In določa, kako najbolje oceniti, prilagoditi, absorbirati in uravnotežiti vse te elemente v trenutku.

Prav ta proces strojnega učenja je omogočil stvari, kot sta portretni način in Deep Fusion. Portretni način vas lahko izolira od ozadja, Deep Fusion pa je naredil nočno fotografijo na iPhoneu bistveno boljše kot prej.

Neural Engine je ključnega pomena za kamero vašega iPhone-a zaradi omejitev strojne opreme. Zaradi velikosti iPhone-a so zmogljivosti kamere in njenih leč omejene. To je računalništvo in strojno učenje, ki se zgodi, ko posnamete fotografijo, zaradi česar je vaša fotografija iPhone enaka fotografijam iz profesionalnega DSLR.

S strojnim učenjem je FaceID hiter, varen in prilagodljiv

Seveda ne moremo govoriti o nevronskem motorju, ne da bi omenili, zakaj je bil ustvarjen.

Tako je – Neural Engine je bil dodan v iPhone X, da je FaceID mogoč. Če še niste vedeli, je FaceID ena najbolj izpopolnjenih in zapletenih funkcij vašega iPhone-a.

FaceID ne primerja le 2D slike vašega obraza v selfie kameri z drugo 2D sliko vašega obraza. Ogleda 3D zemljevid vašega obraza, sledi gibanju oči in ga primerja s prejšnjim 3D skeniranjem vašega obraza.

FaceID tega ne naredi samo v manj kot dveh sekundah, medtem ko je vaš obraz v gibanju, delno zakrit in pod različnimi koti. Prav tako se prilagaja načinu, kako se vaš obraz subtilno spreminja iz dneva v dan. Zato si lahko pustiš brado, se postaraš in spremeniš na druge subtilne načine, ne da bi ti bilo treba ponovno skenirati obraz.

FaceID in Neural Engine preučujeta in se učita na vašem obrazu vsakič, ko odklenete svoj iPhone. Brez nevronskega motorja FaceID ne bi bil pol tako hiter, varen ali zanesljiv, kot je danes.

Neural Engine igra ključno vlogo pri izkušnjah AR na iPhoneu

Končno ima Neural Engine ključno vlogo pri AR na iPhoneu. Za tiste, ki ne vedo, je razširjena resničnost (AR) funkcija, ki projicira 3D modele v vaše okolje skozi iskalo kamere iPhone. To lahko preizkusite sami z uporabo aplikacije Measure na vašem iPhoneu.

Ta vrsta funkcije združuje stvari, kot so prepoznavanje slik, prostorsko zavedanje in spomin. Vse to zahteva moč, ki jo Neural Engine prinaša na mizo.

Na srečo so številne nove funkcije iOS 15 nastavljene tako, da bodo AR na iPhoneu postale še močnejše. To je trend, za katerega upam, da se bo nadaljeval, saj menim, da ima AR potencial, da postane ena najpomembnejših značilnosti mobilnih naprav.

Prihajajoče funkcije iOS 15 kažejo na pametnejšo prihodnost za iPhone

Na splošno sem zelo navdušen nad prihodnostjo, ki nam jo bodo omogočile te funkcije iOS 15. Obstaja več vidikov iPhona, ki se zdijo premalo izkoriščeni, vendar le malo toliko, kot je bil Neural Engine. Veselim se te spremembe in upam, da se tudi vi!

Za več novic, vpogledov in nasvetov o vsem, kar je Apple, si oglejte ostalo blog AppleToolBox!