Značajke iOS 15 konačno iskorištavaju neuralni motor iPhonea

Dok gledam glavni govor WWDC21 prije nekoliko tjedana počeo sam primjećivati ​​ponavljajuću temu. A ta je tema da se čini da nekoliko nadolazećih značajki iOS 15 iskorištava prednosti iPhoneovog Neural Enginea.

Neural Engine je u iPhoneu od izlaska iPhonea X 2017. godine. Međutim, ne mislim da većina nas uopće nije osjetila učinke ovog procesora tijekom četiri godine od njegovog početnog izdavanja.

WWDC21 mi je stalno davao osjećaj da je iOS 15 prvo futurističko ažuriranje iOS-a nakon dugo vremena. I, iako ne postoji službena potvrda od Applea o tome, vjerujem da je to zato što Apple konačno u potpunosti koristi Neural Engine.

U ovom postu ukratko ću pokriti što je Neural Engine, a zatim ću zaroniti u sve nove značajke iOS 15 koje, čini se, koriste ovaj procesor u punom potencijalu. Pri kraju ću pokriti glavne načine na koje iOS trenutno koristi Neural Engine, tako da ga možete usporediti s nadolazećim izdanjem iOS 15.

U redu, uđimo u to!

Što je Neural Engine na iPhoneu?

Neural Engine je procesor na iPhoneu X i novijim verzijama koji upravlja operacijama strojnog učenja. Sposobnost ovog procesora da pokreće strojno učenje ga čini toliko važnim, pa je razumijevanje strojnog učenja važno za razumijevanje ovog procesora.

Strojno učenje odnosi se na softver koji donosi odluke o tome koji će kod izvršiti neovisno od programera.

Obično softver mora raditi s vrlo specifičnim i kontroliranim podacima. Zato će Siri razumjeti vašu namjeru s jednom frazom, ali neće je razumjeti s drugom - čak i ako je namjera u svakoj frazi identična. Siri treba da podaci dođu u određenoj strukturi ili neće uspjeti.

Strojno učenje je način da se to promijeni. Omogućuje softveru da uzima manje strukturirane podatke i još uvijek ih obrađuje. Ako se ikada iznenadite što je Siri shvatila čudno formuliran zahtjev, to je vjerojatno zato što su se Sirijine mogućnosti strojnog učenja poboljšale.

Neural Engine je, kao što ime govori, motor na vašem telefonu koji to čini mogućim.

Shvaćam da ove koncepte može biti malo teško razumjeti i znam da možda ne radim najbolji posao u njihovom objašnjavanju. Pokušavam biti kratki i jednostavni za ovaj post, ali ako želite dublje zaroniti, trebali biste pogledati ovaj post!

Kako značajke iOS 15 počinju iskorištavati prednosti neuronskog motora

Problem s iPhoneovim Neural Engineom nije u tome što nije moćan, već u tome što se njegova snaga ne koristi u punoj mjeri na iPhoneu. Posljednje četiri godine funkcionirao je u ograničenim slučajevima, poput proširene stvarnosti. Korisno je, ali još nije revolucionirao iPhone.

Mislim da nekoliko značajki iOS 15 ukazuje na revolucionarniju budućnost Neural Enginea. Ne mislim da bi bilo koja od novih značajki koje ću u nastavku izložiti ne bi bila moguća bez ovog procesora. Pa da vidimo kako ove značajke u potpunosti koriste Neural Engine.

Vaš iPhone može čitati tekst na vašim fotografijama

Prva od značajki iOS 15 koja je vrištala "Strojno učenje!" meni je bio Live Text. Live Text je značajka u iOS-u 15 koja vašem iPhoneu omogućuje čitanje teksta u aplikaciji Fotografije.

To znači da možete slikati bilo što s ispisanim tekstom, otvoriti tu fotografiju u aplikaciji Fotografije i moći ćete komunicirati s tim tekstom. Možete dodirnuti telefonske brojeve na fotografijama, kopirati i zalijepiti tekst sa slika dokumenata i koristiti traku za pretraživanje u Fotografijama za traženje teksta na fotografijama.

Ova značajka također omogućuje vašem iPhoneu da čita rukopis na vašim fotografijama. Radi i s aplikacijom Kamera, tako da možete komunicirati s tekstom u tražilu kamere vašeg iPhonea u stvarnom vremenu.

Bez strojnog učenja ovakva značajka bila bi gotovo nemoguća. Zato ti online sigurnosni testovi koriste iskrivljeni tekst kako bi dokazali da niste robot. Zato što je za program teško čitati tekst.

Ne samo da je značajka pametnog telefona koja može čitati tekst bez obzira na font, stil, boju ili kut, u stvarnom vremenu iznimno korisna, već je i izvrsna upotreba mobilnog strojnog učenja.

Značajke iOS 15 omogućit će vašem iPhoneu da prepozna i identificira sadržaj na vašim fotografijama

Još jedna od novih značajki iOS 15 koja koristi Neural Engine je prepoznavanje objekata u fotografijama. Ova značajka radi slično kao i Live Text, osim što prepoznaje objekte, a ne tekst. Primjer koji je Apple koristio je da svoju iPhone kameru možete usmjeriti prema psu, a vaš iPhone ne samo da će prepoznati da je pas već i koja je pasmina psa.

iPhone je neko vrijeme mogao izvlačiti lica iz vaših fotografija, što je, iako ograničen, oblik prepoznavanja objekata. Ovo proširenje te mogućnosti omogućit će vašem iPhoneu da brzo pogleda nestrukturirane podatke fotografije i identitetskih objekata unutar nje.

Ovo je impresivnije (i teže) od živog teksta jer će obrasci koje Neural Engine treba tražiti biti daleko manje dosljedni. Vaš iPhone morat će donijeti tisuće (ako ne i stotine tisuća) odluka da bi mogao donijeti takve odluke.

Da biste identificirali pasminu psa, prvo će trebati vidjeti da je pas poseban objekt od pozadine, zatim će morati povući granice oko tog psa, a zatim odaberite različite karakteristike tog psa dok ne utvrdi da je pas, a zatim izvucite još više karakteristika da odredite o kojoj vrsti psa se radi je.

Takva je vrsta računanja moguća samo s procesorom za strojno učenje.

Uspomene u fotografijama bit će sofisticiraniji i "stvarniji" osjećaj

Još jedna značajka u aplikaciji Fotografije koja će dobiti doradu Neural Enginea su Memories.

Ova značajka snima fotografije iz određenog vremena (obično određenog dana) i kombinira ih u kratki video koji možete pogledati. Ideja je da Memories automatski kreira video kolaže vaših odmora, zabava, godišnjica i još mnogo toga.

Sjećanja su još jedna od značajki iOS 15 koje dobivaju značajan porast kvalitete. Automatski će uključiti glazbu iz vaše Apple Music biblioteke u vaše uspomene.

Glazba koju fotografije odaberu ne samo da će biti usklađena s videozapisom, već bi trebala odgovarati i sadržaju videozapisa. Primjerice, slike sa zabave trebale bi biti uparene s energičnom glazbom, dok bi promišljenije fotografije trebale imati priloženu sporiju glazbu.

Iako ovu značajku ne koristim često, informatička znanost koja stoji iza nje iznimno je fascinantna. Kombinira prepoznavanje objekata i krajolika, grupira fotografije na temelju sadržaja, lokacije i vremenskog razdoblja, odvaja prosječne svakodnevne fotografije od fotografija vezanih za poseban život događaje, povlači vezu između raspoloženja tih fotografija i raspoloženja pjesme koja vam se sviđa, uparuje ih u prezentaciju u dijaprojekciji i vremena te prezentacije u ritmu glazba, muzika.

Memories je oduvijek koristio Neural Engine. I sljedeća verzija iOS-a trebala bi značajno povećati inteligenciju ove značajke.

Obavijesti, widgeti i Ne ometaj postaju sve pametniji

Grupiranje značajki iOS 15 koje više koriste Neural Engine su obavijesti, widgeti i Ne ometaj.

Widgeti su počeli koristiti strojno učenje u iOS-u 14, ali sam mislio da bi bilo korisno dodati ih ovdje. Smart Stacks vam omogućuje da widgete postavite jedan na drugi. Vaš iPhone će ih zatim listati tijekom dana, pokazujući vam što smatra da je najrelevantniji widget u bilo kojem trenutku.

Takve se odluke donose analizom vašeg ponašanja u različito doba dana i nakon korištenja određenih aplikacija. Neural Engine uzima ove podatke, interpretira ih i zatim prikazuje vaše widgete prema tim podacima.

Nove značajke iOS 15 postavljene su na vrlo sličan rad.

Obavijesti će sada biti grupirane u Sažetak obavijesti, tako da nećete vidjeti manje važne obavijesti koje cijeli dan gomilaju vaš zaključani zaslon. Možete prilagoditi značajku Sažetak obavijesti ili prepustiti Neural Engineu da to upravlja umjesto vas.

Ne uznemiravaj dobiva novu komponentu, Focus, koja će sakriti određene obavijesti na temelju načina na koji su kategorizirane. Focusom možete upravljati ručno ili ga pustiti da sam upravlja inteligentno.

Sve tri ove značajke koristit će iznimno slične metrike strojnog učenja za predviđanje i prilagođavanje vašem ponašanju.

Nove značajke iOS 15 olakšat će dobivanje uputa pomoću kamere

Ovo je jedna od značajki iOS 15 za koju nisam čuo toliko uzbuđenja koliko sam očekivao. I dalje smatram da je to vrlo zanimljivo, posebno u kontekstu strojnog učenja.

U Kartama u iOS-u 15 moći ćete usmjeriti kameru uokolo dok hodate. To će vam omogućiti da vidite AR smjerove projicirane na vaše okruženje. Recimo da pokušavate doći u kino i niste sigurni kojim putem. Moći ćete usmjeriti svoj iPhone i vidjeti upute istaknute na ulicama i zgradama oko vas.

Proširena stvarnost na iPhoneu omogućena je uključivanjem Neural Enginea, tako da ova značajka svoje porijeklo duguje strojnom učenju. Ali ova značajka također kombinira AR s prepoznavanjem slike i otkrivanjem lokacije kako bi pružila nevjerojatno iskustvo u stvarnom vremenu.

Iako će pri lansiranju biti dostupna samo u nekoliko gradova, ova značajka ukazuje na budućnost u kojoj vam strojno učenje na iPhoneu neće pomoći samo u pozadini. Moći će vam pomoći da odmah postignete stvari koje su izvan vaše zone udobnosti ili sposobnosti.

Siri će obaviti više obrade na vašem uređaju

Posljednja od značajki iOS 15 koja više koristi Neural Engine je Siri. Siri je oduvijek koristila strojno učenje. Ali to učenje još nije maksimalno iskoristilo potencijal Neural Enginea.

To je zato što je Siri koristila obradu izvan uređaja. To znači da vaš iPhone sluša vaš zahtjev, šalje ga Appleovom poslužitelju koji obrađuje zahtjev, a zatim ga šalje natrag Siri na vašem iPhoneu da postupi po tom zahtjevu.

Razlog zašto je to učinjeno je povećanje snage Siri iznad onoga što iPhone može podržati. Međutim, u iOS-u 15 to će se promijeniti. Siri će sada obaviti većinu svoje obrade na vašem iPhoneu. To bi Siri trebalo učiniti bržom, pametnijom i pouzdanijom.

Mislim da će ovo ažuriranje vjerojatno zahtijevati najmanje pomoći Neural Enginea. Otuda i njegovo smještanje na kraj liste. Međutim, to je vrijedno napomenuti jer ukazuje na to da Siri postaje pametnija. Sposobniji pomoćnik koji koristi hardver na iPhoneu, a ne udaljeni poslužitelj.

Što Neural Engine može bez nadolazećih značajki iOS 15?

I to je to! Koliko mogu reći, to su svi novi načini na koje će značajke iOS 15 početi koristiti sirovu snagu Neural Enginea.

Htio sam uključiti kratak odjeljak na kraju ovog posta koji naglašava neke od stvari koje Neural Engine već radi na vašem iPhoneu. Na taj način možete usporediti gdje je danas s onim gdje će biti za nekoliko mjeseci.

Nadamo se da će vam ovo pomoći da cijenite nadolazeće promjene iOS-a u novom svjetlu i bolje shvatite kako ovakve značajke dolaze na vaš iPhone.

Neural Engine pomaže vam snimiti bolje slike

Rekao bih da je najveća upotreba Neural Enginea na iPhoneu od 2017. u fotografiji. Svake godine Apple pokazuje kako će najnoviji iPhone moći izvesti više fotografskih proračuna od prethodne generacije. Apple kaže stvari poput: "Procesor slike donosi X milijuna izračuna/odluka po fotografiji".

To se odnosi na broj izračuna koje Neural Engine napravi kad god snimite fotografiju. Gleda na boje, osvjetljenje, kontrastne elemente, predmet, pozadinu i mnoštvo drugih čimbenika. I određuje kako najbolje ocijeniti, prilagoditi, apsorbirati i uravnotežiti sve te elemente u trenu.

Upravo je ovaj proces strojnog učenja omogućio stvari kao što su Portretni način rada i Deep Fusion. Portretni način rada može vas izolirati od vaše pozadine, a Deep Fusion je učinio noćnu fotografiju na iPhoneu znatno boljom nego prije.

Neural Engine je ključan za kameru vašeg iPhonea zbog hardverskih ograničenja. Zbog veličine iPhonea, kamera i njegove leće ograničene su u mogućnostima. Računalno i strojno učenje koje se događa kada snimite fotografiju čini vašu iPhone fotografiju u rangu s fotografijama s profesionalnog DSLR-a.

Strojno učenje čini FaceID brzim, sigurnim i prilagodljivim

Naravno, ne možemo govoriti o Neural Engineu, a da ne spomenemo zašto je stvoren.

Tako je - Neural Engine je dodan u iPhone X kako bi FaceID bio moguć. U slučaju da niste znali, FaceID je jedna od najsofisticiranijih i najsloženijih značajki vašeg iPhonea.

FaceID ne uspoređuje samo 2D sliku vašeg lica u selfie kameri s drugom 2D slikom vašeg lica. Gleda 3D kartu vašeg lica, prati kretanje vaših očiju i uspoređuje je s prethodnim 3D skeniranjem vašeg lica.

FaceID to ne čini samo za manje od dvije sekunde dok je vaše lice u pokretu, djelomično zaklonjeno i pod različitim kutovima. Također se prilagođava načinu na koji se vaše lice suptilno mijenja iz dana u dan. Zato možete pustiti bradu, ostarjeti i promijeniti se na druge suptilne načine bez potrebe da ponovno skenirate svoje lice.

FaceID i Neural Engine proučavaju i uče s vašeg lica svaki put kada otključate svoj iPhone. Bez Neural Enginea, FaceID ne bi bio ni upola brz, siguran ili pouzdan kao što je danas.

Neural Engine igra ključnu ulogu u AR iskustvima na iPhoneu

Konačno, Neural Engine igra ključnu ulogu u AR-u na iPhoneu. Za one koji ne znaju, proširena stvarnost (AR) je značajka koja projicira 3D modele na vaše okruženje kroz tražilo vaše iPhone kamere. To možete sami isprobati pomoću aplikacije Measure na svom iPhoneu.

Ova vrsta značajke kombinira stvari kao što su prepoznavanje slika, prostorna svijest i pamćenje. Sve to zahtijeva snagu koju Neural Engine donosi na stol.

Srećom, mnoge nove značajke iOS 15 postavljene su tako da AR na iPhoneu učine još moćnijim. To je trend za koji se nadam da će se nastaviti, jer mislim da AR ima potencijal biti jedna od najvažnijih značajki mobilnih uređaja.

Nadolazeće značajke iOS 15 ukazuju na pametniju budućnost za iPhone

U cjelini, jako sam uzbuđen što će nam ove značajke iOS 15 dati uvid u budućnost. Postoji nekoliko aspekata iPhonea koji se osjećaju malo nedovoljno iskorišteni, ali malo ih je toliko koliko je bio Neural Engine. Radujem se ovoj promjeni, a nadam se da ćete i vi!

Za više vijesti, uvida i savjeta o svemu što je Apple, pogledajte ostatak blogu AppleToolBox!