IOS 15 funkcijas beidzot izmanto iPhone neironu dzinēja priekšrocības

Skatoties WWDC21 pamatnosacījums pirms dažām nedēļām es sāku pamanīt atkārtotu tēmu. Šī tēma ir tāda, ka vairākas no gaidāmajām iOS 15 funkcijām, šķiet, izmanto iPhone neironu dzinēja priekšrocības.

Neironu dzinējs ir bijis iPhone tālrunī kopš iPhone X izlaišanas 2017. gadā. Tomēr es nedomāju, ka lielākā daļa no mums ir izjutuši šī procesora ietekmi četru gadu laikā kopš tā sākotnējās izlaišanas.

WWDC21 man radīja sajūtu, ka iOS 15 ir pirmais futūristiskais iOS atjauninājums ilgu laiku. Un, lai gan no Apple par to nav oficiāla apstiprinājuma, es uzskatu, ka tas ir tāpēc, ka Apple beidzot izmanto visas neironu dzinēja priekšrocības.

Šajā ziņojumā es īsi apskatīšu, kas ir neironu dzinējs, un pēc tam iedziļināšos visās jaunajās iOS 15 funkcijās, kas, šķiet, pilnībā izmanto šo procesoru. Beigās es apskatīšu galvenos veidus, kā iOS pašlaik izmanto Neural Engine, lai jūs varētu to salīdzināt ar gaidāmo iOS 15 laidienu.

Labi, iedziļināsimies tajā!

Kas ir neironu dzinējs iPhone tālrunī?

Neironu dzinējs ir iPhone X un jaunāku versiju procesors, kas apstrādā mašīnmācīšanās darbības. Šī procesora spēja nodrošināt mašīnmācīšanos padara to tik svarīgu, tāpēc, lai izprastu šo procesoru, ir svarīgi saprast mašīnmācīšanos.

Mašīnmācība attiecas uz programmatūru, kas pieņem lēmumus par to, kādu kodu izpildīt neatkarīgi no programmētāja.

Parasti programmatūrai jādarbojas ar ļoti specifiskiem un kontrolētiem datiem. Tāpēc Siri sapratīs jūsu nodomu ar vienu frāzi, bet nesapratīs to ar citu — pat ja katras frāzes nolūks ir identisks. Siri ir nepieciešams, lai dati nonāktu noteiktā struktūrā, pretējā gadījumā tie neizdodas.

Mašīnmācība ir veids, kā to mainīt. Tas ļauj programmatūrai uztvert mazāk strukturētus datus un joprojām tos apstrādāt. Ja kādreiz esat pārsteigts, ka Siri saprata dīvaini formulētu pieprasījumu, iespējams, tas ir tāpēc, ka ir uzlabojušās Siri mašīnmācīšanās iespējas.

Neironu dzinējs, kā norāda nosaukums, ir jūsu tālruņa dzinējs, kas to padara iespējamu.

Es saprotu, ka šos jēdzienus var būt nedaudz grūti saprast, un es zinu, ka, iespējams, es nedaru to labāko darbu, to izskaidrojot. Es cenšos, lai šī ziņa būtu īsa un vienkārša, taču, ja vēlaties padziļināti, pārbaudiet šo ziņu!

Kā iOS 15 funkcijas sāk izmantot neironu dzinēja priekšrocības

Problēma ar iPhone neironu dzinēju nav tā, ka tas nav jaudīgs, bet gan tajā, ka tā jauda netiek pilnībā izmantota iPhone tālrunī. Pēdējos četrus gadus tā ir izmantota ierobežotos gadījumos, piemēram, paplašinātā realitāte. Tas ir noderīgi, taču tas vēl nav mainījis iPhone.

Es domāju, ka vairākas iOS 15 funkcijas norāda uz revolucionārāku neironu dzinēja nākotni. Es nedomāju, ka neviena no jaunajām funkcijām, kuras es grasos nojaukt, nebūtu iespējama bez šī procesora. Tātad, redzēsim, kā šīs funkcijas pilnībā izmanto neironu dzinēju.

Jūsu iPhone var lasīt tekstu jūsu fotoattēlos

Pirmā no iOS 15 funkcijām, kas kliedza “Mašīnmācīšanās!” man bija tiešraide. Tiešais teksts ir iOS 15 funkcija, kas ļauj jūsu iPhone tālrunim lasīt tekstu lietotnē Fotoattēli.

Tas nozīmē, ka varat nofotografēt jebko ar drukātu tekstu, atvērt šo fotoattēlu lietotnē Fotoattēli un varēsit mijiedarboties ar šo tekstu. Varat pieskarties tālruņu numuriem fotoattēlos, kopēt un ielīmēt tekstu no dokumentu attēliem, kā arī izmantot fotoattēlu meklēšanas joslu, lai meklētu tekstu fotoattēlos.

Šī funkcija arī ļauj jūsu iPhone tālrunim nolasīt rokrakstu jūsu fotoattēlos. Tas darbojas arī ar lietotni Kamera, lai jūs varētu mijiedarboties ar tekstu jūsu iPhone kameras skatu meklētājā reāllaikā.

Bez mašīnmācīšanās šāda funkcija būtu gandrīz neiespējama. Tāpēc tiešsaistes drošības pārbaudēs tiek izmantots deformēts teksts, lai pierādītu, ka jūs neesat robots. Tā kā programmai ir grūti lasīt tekstu.

Viedtālruņa funkcija ir ne tikai ļoti noderīga reāllaikā, kas var nolasīt tekstu neatkarīgi no fonta, stila, krāsas vai leņķa, bet arī lieliski izmanto mobilo mašīnu apguvi.

iOS 15 funkcijas ļaus jūsu iPhone tālrunim atpazīt un identificēt saturu jūsu fotoattēlos

Vēl viena no jaunajām iOS 15 funkcijām, kas izmanto neironu dzinēju, ir objektu atpazīšana programmā Fotoattēli. Šī funkcija darbojas līdzīgi kā tiešais teksts, izņemot to, ka tā atpazīst objektus, nevis tekstu. Apple izmantotais piemērs ir tāds, ka varat pavērst savu iPhone kameru pret suni, un jūsu iPhone ne tikai atpazīs, ka tas ir suns, bet arī atpazīs, kura suņa šķirne tas ir.

IPhone kādu laiku ir spējis izvilkt sejas no jūsu fotoattēliem, kas ir objektu atpazīšanas veids, kaut arī ierobežots. Šīs iespējas paplašināšana ļaus jūsu iPhone ātri apskatīt fotoattēla nestrukturētos datus un tajā esošos identitātes objektus.

Tas ir iespaidīgāks (un grūtāks) nekā tiešais teksts, jo modeļi, kas jāmeklē neironu dzinējam, būs daudz mazāk konsekventi. Jūsu iPhone būs jāpieņem tūkstošiem (ja ne simtiem tūkstošu) lēmumu, lai varētu pieņemt šādus lēmumus.

Lai identificētu suņu šķirni, vispirms ir jāpārliecinās, ka suns ir atšķirīgs objekts no fona, pēc tam tam būs jānovelk robežas ap šo suni. izvēlieties šī suņa atšķirīgās īpašības, līdz tas var noteikt, ka tas ir suns, pēc tam izvelciet vēl vairāk īpašību, lai noteiktu, kāda veida suns tas ir. ir.

Šāda veida skaitļošana ir iespējama tikai ar mašīnmācīšanās procesoru.

Atmiņas programmā Fotoattēli kļūs izsmalcinātākas un “īstākas”.

Vēl viena lietotnes Fotoattēli funkcija, kas tiks papildināta ar neironu dzinēju, ir atmiņas.

Šī funkcija uzņem fotoattēlus no noteikta laika (parasti konkrētas dienas) un apvieno tos īsā videoklipā, lai jūs varētu to apskatīt. Ideja ir tāda, ka Memories automātiski izveidos jūsu brīvdienu, ballīšu, jubileju un citu video kolāžas.

Atmiņas ir vēl viena no iOS 15 funkcijām, kas ievērojami uzlabo kvalitāti. Tas automātiski iekļaus mūziku no jūsu Apple Music bibliotēkas jūsu atmiņās.

Fotogrāfijas izvēlētā mūzika būs ne tikai atbilstoša videoklipa tempam, bet arī tai jāatbilst videoklipa saturam. Piemēram, ballītes attēli ir jāsavieno ar enerģisku mūziku, savukārt pārdomātākām fotogrāfijām ir jāpievieno lēnāka mūzika.

Lai gan es šo funkciju neizmantoju bieži, datorzinātne aiz tās ir ārkārtīgi aizraujoša. Tas apvieno objektu un ainavu atpazīšanu, grupē fotoattēlus, pamatojoties uz saturu, atrašanās vietu un laika periodu, atdala vidējos ikdienas fotoattēlus no fotoattēliem, kas saistīti ar īpašu dzīvi. notikumiem, izveido saikni starp šo fotoattēlu noskaņu un dziesmas noskaņu, kas jums patīk, savieno tos pārī slaidrādes prezentācijā un reizina šo prezentāciju atbilstoši dziesmas ritmam. mūzika.

Memories vienmēr ir izmantojis neironu dzinēju. Un nākamā iOS versija ir iestatīta, lai ievērojami palielinātu šīs funkcijas inteliģenci.

Paziņojumi, logrīki un režīms Netraucēt kļūst gudrāki

IOS 15 funkciju grupa, kas vairāk izmanto neironu dzinēja priekšrocības, ir paziņojumi, logrīki un režīms Netraucēt.

Logrīki sāka izmantot mašīnmācīšanos operētājsistēmā iOS 14, taču es domāju, ka būtu noderīgi tos pievienot šeit. Smart Stacks ļauj novietot logrīkus vienu virs otra. Pēc tam jūsu iPhone tos pārlūkos visas dienas garumā, parādot, kas, pēc tā domām, ir visatbilstošākais logrīks jebkurā laikā.

Šāda veida lēmumi tiek pieņemti, analizējot jūsu uzvedību dažādos dienas laikos un pēc noteiktu lietotņu izmantošanas. Neironu dzinējs ņem šos datus, interpretē tos un pēc tam parāda jūsu logrīkus atbilstoši šiem datiem.

Jaunās iOS 15 funkcijas ir iestatītas darbam ļoti līdzīgi.

Paziņojumi tagad tiks grupēti paziņojumu kopsavilkumā, lai jūs visu dienu neredzētu mazāk svarīgus paziņojumus, kas pārpilda jūsu bloķēšanas ekrānu. Varat pielāgot paziņojumu kopsavilkuma funkciju vai ļaut Neural Engine to apstrādāt jūsu vietā.

Funkcija Netraucēt iegūst jaunu komponentu Focus, kas paslēps noteiktus paziņojumus, pamatojoties uz to, kā tie ir klasificēti. Varat pārvaldīt Focus manuāli vai ļaut tam pārvaldīt sevi gudri.

Visas trīs šīs funkcijas izmantos ļoti līdzīgus mašīnmācīšanās rādītājus, lai prognozētu un pielāgotos jūsu uzvedībai.

Jaunās iOS 15 funkcijas atvieglos norāžu saņemšanu, izmantojot kameru

Šī ir viena no iOS 15 funkcijām, par kuru es neesmu dzirdējis tik lielu sajūsmu, kā biju gaidījis. Es joprojām uzskatu, ka tas ir ļoti interesants, jo īpaši mašīnmācības kontekstā.

Pakalpojumā Maps operētājsistēmā iOS 15 varēsiet pavērst kameru apkārt, ejot. Tas ļaus jums redzēt AR norādes, kas projicētas jūsu vidē. Pieņemsim, ka mēģināt apmeklēt kino un nezināt, kuru ceļu izvēlēties. Jūs varēsiet pavērst savu iPhone tālruni un redzēt norādes, kas izceltas uz ielām un ēkām, kas atrodas jums apkārt.

Papildinātā realitāte iPhone tālrunī bija iespējama, iekļaujot neironu dzinēju, tāpēc šīs funkcijas izcelsme ir mašīnmācība. Taču šī funkcija arī apvieno AR ar attēla atpazīšanu un atrašanās vietas noteikšanu, lai nodrošinātu neticamu reāllaika pieredzi.

Lai gan izlaišanas brīdī tā būs pieejama tikai dažās pilsētās, šī funkcija norāda uz nākotni, kurā iPhone mašīnmācība ne tikai palīdz jums fonā. Tas var palīdzēt jums uzreiz sasniegt lietas, kas ir ārpus jūsu komforta zonas vai spējām.

Siri veiks vairāk apstrādes jūsu ierīcē

Pēdējā no iOS 15 funkcijām, kas vairāk izmanto neironu dzinēja priekšrocības, ir Siri. Siri vienmēr ir izmantojis mašīnmācīšanos. Taču šī mācīšanās vēl nav pilnībā izmantojusi neironu dzinēja potenciālu.

Tas ir tāpēc, ka Siri ir izmantojusi apstrādi ārpus ierīces. Tas nozīmē, ka jūsu iPhone noklausās jūsu pieprasījumu, nosūta to uz Apple serveri, kas apstrādā pieprasījumu, un pēc tam nosūta to atpakaļ uz Siri savā iPhone, lai tas rīkotos saskaņā ar šo pieprasījumu.

Iemesls tas tika darīts, lai palielinātu Siri jaudu, pārsniedzot to, ko varēja atbalstīt iPhone. Tomēr operētājsistēmā iOS 15 tas ir iestatīts uz izmaiņām. Siri tagad lielāko daļu apstrādes veiks jūsu iPhone. Tam vajadzētu padarīt Siri ātrāku, gudrāku un uzticamāku.

Es domāju, ka šim atjauninājumam, iespējams, būs nepieciešama vismazākā neironu dzinēja palīdzība. Līdz ar to tas ir novietots saraksta beigās. Tomēr tas ir vērts atzīmēt, jo tas norāda uz Siri kļūstot gudrākam. Spējīgāks palīgs, kas izmanto iPhone aparatūru, nevis attālu serveri.

Ko Neural Engine var darīt bez gaidāmajām iOS 15 funkcijām?

Un tas arī viss! Cik es varu pateikt, tie ir visi jaunie veidi, kā iOS 15 funkcijas sāks izmantot neironu dzinēja neapstrādāto jaudu.

Šīs ziņas beigās vēlējos iekļaut īsu sadaļu, kurā uzsvērtas dažas lietas, ko neironu dzinējs jau dara jūsu iPhone tālrunī. Tādā veidā jūs varat salīdzināt pašreizējo stāvokli ar to, kur tas būs pēc dažiem mēnešiem.

Cerams, ka tas palīdzēs jums novērtēt gaidāmās iOS izmaiņas jaunā gaismā un labāk izprast, kā šādas funkcijas tiek izmantotas jūsu iPhone.

Neironu dzinējs palīdz uzņemt labākus attēlus

Es teiktu, ka iPhone tālrunī kopš 2017. gada lielākais neironu dzinēja lietojums ir bijis fotogrāfijā. Katru gadu Apple parāda, kā jaunākais iPhone spēs veikt vairāk fotogrāfisku aprēķinu nekā iepriekšējā paaudze. Apple saka, piemēram, “Attēlu procesors veic X miljonus aprēķinu/lēmumu katram fotoattēlam”.

Tas attiecas uz aprēķinu skaitu, ko neironu dzinējs veic ikreiz, kad uzņemat fotoattēlu. Tajā aplūkotas krāsas, apgaismojums, kontrastējošie elementi, objekts, fons un daudzi citi faktori. Un tas nosaka, kā vienā mirklī vislabāk novērtēt, pielāgot, absorbēt un līdzsvarot visus šos elementus.

Šis mašīnmācīšanās process ir padarījis iespējamu tādas lietas kā portreta režīms un Deep Fusion. Portreta režīms var izolēt jūs no fona, un Deep Fusion ir padarījis nakts fotografēšanu iPhone tālrunī ievērojami labāku nekā iepriekš.

Neironu dzinējs ir ļoti svarīgs jūsu iPhone kamerai aparatūras ierobežojumu dēļ. iPhone izmēra dēļ kameras un tās objektīvu iespējas ir ierobežotas. Tā ir skaitļošanas un mašīnmācīšanās, kas notiek, uzņemot fotoattēlu, kas padara jūsu iPhone fotoattēlu līdzvērtīgu fotoattēliem no profesionālas DSLR.

Mašīnmācīšanās padara FaceID ātru, drošu un pielāgojamu

Protams, mēs nevaram runāt par neironu dzinēju, neminot, kāpēc tas tika izveidots.

Tieši tā – iPhone X tika pievienots neironu dzinējs, lai padarītu FaceID iespējamu. Ja nezināt, FaceID ir viena no vissarežģītākajām un sarežģītākajām jūsu iPhone funkcijām.

FaceID ne tikai salīdzina jūsu sejas 2D attēlu pašbildes kamerā ar citu jūsu sejas 2D attēlu. Tas aplūko jūsu sejas 3D karti, izseko jūsu acu kustībām un salīdzina to ar iepriekšējo jūsu sejas 3D skenēšanu.

FaceID to nedara tikai mazāk nekā divās sekundēs, kamēr jūsu seja ir kustībā, daļēji aizsegta un dažādos leņķos. Tas arī pielāgojas tam, kā jūsu seja smalki mainās katru dienu. Tāpēc jūs varat audzēt bārdu, kļūt vecākam un mainīties citos smalkos veidos, neveicot atkārtotu sejas skenēšanu.

FaceID un Neural Engine pēta un mācās no jūsu sejas katru reizi, kad atbloķējat savu iPhone. Bez neironu dzinēja FaceID nebūtu uz pusi tik ātrs, drošs vai uzticams kā šodien.

Neironu dzinējam ir galvenā loma AR pieredzē iPhone tālrunī

Visbeidzot, neironu dzinējam ir galvenā loma AR iPhone ierīcē. Tiem, kas nezina, paplašinātā realitāte (AR) ir funkcija, kas projicē 3D modeļus jūsu vidē, izmantojot jūsu iPhone kameras skatu meklētāju. Varat to pārbaudīt pats, savā iPhone ierīcē izmantojot lietotni Measure.

Šāda veida funkcija apvieno tādas lietas kā attēla atpazīšana, telpiskā izpratne un atmiņa. Tam visam ir nepieciešama jauda, ​​ko neironu dzinējs nodrošina.

Par laimi, daudzas no jaunajām iOS 15 funkcijām ir iestatītas, lai padarītu AR iPhone ierīcē vēl jaudīgāku. Es ceru, ka šī tendence turpināsies, jo es domāju, ka AR var būt viena no neatņemamākajām mobilo ierīču funkcijām.

Gaidāmās iOS 15 funkcijas norāda uz viedāku iPhone nākotni

Kopumā esmu ļoti satraukti par nākotni, jo šīs iOS 15 funkcijas sniedz mums ieskatu. Ir vairākas iPhone šķautnes, kas šķiet mazliet nepietiekami izmantotas, taču dažas ir tik ļoti izmantotas kā neironu dzinējs. Es gaidu šīs izmaiņas, un ceru, ka arī jūs to darīsit!

Lai iegūtu vairāk ziņu, ieskatu un padomus par visu Apple, skatiet pārējo AppleToolBox emuārs!