„iOS 15“ funkcijos pagaliau pasinaudokite „iPhone“ neuronų varikliu

Žiūrint WWDC21 pagrindinis pranešimas prieš kelias savaites pradėjau pastebėti pasikartojančią temą. Ir ši tema yra ta, kad kai kurios būsimos „iOS 15“ funkcijos naudojasi „iPhone“ neuroniniu varikliu.

„Neural Engine“ buvo „iPhone“ nuo „iPhone X“ išleidimo 2017 m. Tačiau nemanau, kad dauguma iš mūsų pajuto šio procesoriaus poveikį per ketverius metus nuo jo pirminio išleidimo.

WWDC21 man nuolat kėlė jausmą, kad iOS 15 yra pirmasis futuristinis iOS atnaujinimas per ilgą laiką. Ir nors oficialaus „Apple“ patvirtinimo šiuo klausimu nėra, manau, kad taip yra todėl, kad „Apple“ pagaliau išnaudoja visas neuroninio variklio galimybes.

Šiame įraše trumpai aprašysiu, kas yra neuroninis variklis, tada pasinersiu į visas naujas „iOS 15“ funkcijas, kurios, atrodo, išnaudoja visas šio procesoriaus galimybes. Pabaigoje apžvelgsiu pagrindinius būdus, kaip „iOS“ šiuo metu naudoja „Neural Engine“, kad galėtumėte palyginti jį su būsima „iOS 15“ versija.

Gerai, įsigilinkime!

Kas yra „iPhone“ neuronų variklis?

„Neural Engine“ yra procesorius „iPhone X“ ir naujesniuose įrenginiuose, kuris tvarko mašininio mokymosi operacijas. Būtent dėl ​​šio procesoriaus gebėjimo valdyti mašininį mokymąsi jis yra toks svarbus, todėl norint suprasti šį procesorių, svarbu suprasti mašininį mokymąsi.

Mašinų mokymasis reiškia programinę įrangą, kuri priima sprendimus, kokį kodą vykdyti nepriklausomai nuo programuotojo.

Paprastai programinė įranga turi dirbti su labai konkrečiais ir kontroliuojamais duomenimis. Štai kodėl „Siri“ supras jūsų ketinimus viena fraze, bet nesupras kita – net jei ketinimas kiekvienoje frazėje yra identiškas. „Siri“ reikia, kad duomenys būtų pateikti tam tikroje struktūroje, arba tai nepavyksta.

Mašininis mokymasis yra būdas tai pakeisti. Tai leidžia programinei įrangai priimti mažiau struktūrizuotus duomenis ir juos apdoroti. Jei kada nors nustebsite, kad Siri suprato keistai suformuluotą užklausą, tikriausiai taip yra todėl, kad pagerėjo Siri mašininio mokymosi galimybės.

Neuroninis variklis, kaip rodo pavadinimas, yra jūsų telefono variklis, leidžiantis tai padaryti.

Suprantu, kad šias sąvokas gali būti sunku suprasti, ir žinau, kad galiu ne geriausiai jas paaiškinti. Stengiuosi, kad šis įrašas būtų trumpas ir paprastas, bet jei norite pasinerti giliau, turėtumėte patikrinti šis įrašas!

Kaip „iOS 15“ funkcijos pradeda naudotis neuroninio variklio teikiamais pranašumais

„iPhone“ neuroninio variklio problema yra ne ta, kad jis nėra galingas, o tai, kad „iPhone“ jo galia nėra visiškai išnaudojama. Pastaruosius ketverius metus ji buvo naudojama ribotais atvejais, pavyzdžiui, papildyta realybė. Tai naudinga, bet dar nepakeitė iPhone.

Manau, kad kelios iOS 15 funkcijos rodo revoliucingesnę neuroninio variklio ateitį. Nemanau, kad kuri nors iš naujų funkcijų, kurias ketinu toliau išardyti, būtų įmanoma be šio procesoriaus. Taigi pažiūrėkime, kaip šios funkcijos išnaudoja neuroninį variklį iki galo.

Jūsų iPhone gali skaityti tekstą jūsų nuotraukose

Pirmoji iš iOS 15 funkcijų, kurios šaukė „Mašininis mokymasis! man buvo tiesioginis tekstas. Tiesioginis tekstas yra „iOS 15“ funkcija, leidžianti „iPhone“ skaityti tekstą „Photos“ programoje.

Tai reiškia, kad galite nufotografuoti bet ką, ant kurio yra atspausdintas tekstas, atidaryti tą nuotrauką „Photos“ programoje ir galėsite bendrauti su tuo tekstu. Galite paliesti telefono numerius nuotraukose, kopijuoti ir įklijuoti tekstą iš dokumentų paveikslėlių ir naudoti nuotraukos paieškos juostą, norėdami ieškoti teksto nuotraukose.

Ši funkcija taip pat leidžia jūsų iPhone nuskaityti rašyseną jūsų nuotraukose. Jis taip pat veikia su programa „Camera“, todėl galite sąveikauti su tekstu „iPhone“ fotoaparato vaizdo ieškiklyje realiuoju laiku.

Be mašininio mokymosi tokia funkcija būtų beveik neįmanoma. Štai kodėl tie internetiniai saugumo testai naudoja iškreiptą tekstą, kad įrodytų, jog nesate robotas. Nes programai sunku skaityti tekstą.

Ne tik išmaniojo telefono funkcija, kuri gali skaityti tekstą, neatsižvelgiant į šriftą, stilių, spalvą ar kampą, realiuoju laiku yra labai naudinga, bet ir puikiai išnaudoja mobiliųjų mašinų mokymąsi.

„iOS 15“ funkcijos leis jūsų iPhone atpažinti ir atpažinti turinį jūsų nuotraukose

Dar viena iš naujų iOS 15 funkcijų, naudojančių neuronų variklį, yra objektų atpažinimas nuotraukose. Ši funkcija veikia panašiai kaip tiesioginis tekstas, išskyrus tai, kad ji atpažįsta objektus, o ne tekstą. „Apple“ naudojo pavyzdį, kad galite nukreipti „iPhone“ fotoaparatą į šunį ir jūsų „iPhone“ ne tik atpažins, kad tai šuo, bet ir atpažins, kokios veislės šuo tai yra.

„IPhone“ kurį laiką galėjo ištraukti veidus iš jūsų nuotraukų, o tai yra objektų atpažinimo forma, nors ir ribota. Šis šios galimybės išplėtimas leis jūsų iPhone greitai peržiūrėti nestruktūrizuotus nuotraukos duomenis ir joje esančius tapatybės objektus.

Tai įspūdingiau (ir sudėtingiau) nei tiesioginis tekstas, nes modeliai, kurių turi ieškoti neuroninis variklis, bus daug mažiau nuoseklūs. Jūsų iPhone turės priimti tūkstančius (jei ne šimtus tūkstančių) sprendimų, kad galėtumėte priimti tokius sprendimus.

Norint nustatyti šuns veislę, pirmiausia reikia įsitikinti, kad šuo yra atskiras objektas nuo fono, tada jis turės nubrėžti ribas aplink tą šunį. išsirinkite skirtingas to šuns savybes, kol jis galės nustatyti, kad tai šuo, tada išsirinkite dar daugiau savybių, kad nustatytumėte, kokio tipo šuo tai yra yra.

Toks skaičiavimas įmanomas tik naudojant mašininio mokymosi procesorių.

Prisiminimai nuotraukose bus sudėtingesni ir „tikras“ jausmas

Kita „Photos“ programos funkcija, kuriai bus pritaikytas neuroninis variklis, yra „Memories“.

Ši funkcija fotografuoja tam tikru laiku (dažniausiai tam tikrą dieną) ir sujungia jas į trumpą vaizdo įrašą, kurį galėsite peržiūrėti. Idėja ta, kad „Memories“ automatiškai sukurs vaizdo koliažus iš jūsų atostogų, vakarėlių, jubiliejų ir kt.

Prisiminimai yra dar viena iš „iOS 15“ funkcijų, kurių kokybė gerokai pablogėja. Jis automatiškai įtrauks muziką iš jūsų Apple Music bibliotekos į prisiminimus.

Muzika, kurią pasirinks nuotraukos, ne tik atitiks vaizdo įrašo tempą, bet ir turi atitikti vaizdo įrašo turinį. Pavyzdžiui, vakarėlio vaizdai turėtų būti derinami su energinga muzika, o apgalvotesnėse nuotraukose turėtų būti lėtesnė muzika.

Nors šia funkcija nenaudoju dažnai, jos kompiuterių mokslas yra nepaprastai žavus. Jis sujungia objektų ir peizažo atpažinimą, sugrupuoja nuotraukas pagal turinį, vietą ir laikotarpį, atskiria vidutines kasdienes nuotraukas nuo nuotraukų, susijusių su ypatingu gyvenimu. įvykius, nustato ryšį tarp tų nuotraukų nuotaikos ir jums patinkančios dainos nuotaikos, suporuoja jas skaidrių demonstravimo pristatyme ir laiko tą pristatymą pagal muzika.

„Memories“ visada naudojo neuronų variklį. Kita iOS versija turėtų žymiai padidinti šios funkcijos intelektą.

Pranešimai, valdikliai ir netrukdymo režimas tampa išmanesni

„IOS 15“ funkcijų, kurios išnaudoja daugiau „Neural Engine“ pranašumų, grupė yra pranešimai, valdikliai ir „Netrukdyti“.

Valdikliai pradėjo naudoti mašininį mokymąsi „iOS 14“, bet maniau, kad būtų naudinga juos pridėti čia. „Smart Stacks“ leidžia dėti valdiklius vieną ant kito. Tada jūsų „iPhone“ juos peržiūrės visą dieną, parodydamas, koks, jo nuomone, yra tinkamiausias valdiklis bet kuriuo metu.

Tokie sprendimai priimami analizuojant jūsų elgesį skirtingu paros metu ir naudojant tam tikras programas. Neuroninis variklis paima šiuos duomenis, juos interpretuoja ir pagal šiuos duomenis rodo valdiklius.

Naujos iOS 15 funkcijos veikia labai panašiai.

Pranešimai dabar bus sugrupuoti į pranešimų suvestinę, todėl visą dieną nematysite mažiau svarbių pranešimų. Galite tinkinti pranešimų suvestinės funkciją arba leisti „Neural Engine“ ją atlikti už jus.

„Netrukdyti“ gauna naują komponentą „Focus“, kuris paslėps tam tikrus pranešimus, atsižvelgiant į tai, kaip jie suskirstyti į kategorijas. Galite valdyti „Focus“ rankiniu būdu arba leisti jam valdyti save išmaniai.

Visos trys šios funkcijos naudos labai panašią mašininio mokymosi metriką, kad nuspėtų jūsų elgesį ir prie jo prisitaikytų.

Naujos iOS 15 funkcijos leis lengviau gauti nuorodas naudojant fotoaparatą

Tai viena iš iOS 15 funkcijų, apie kurią negirdėjau tiek daug įspūdžių, kiek tikėjausi. Vis dar manau, kad tai labai įdomu, ypač mašininio mokymosi kontekste.

15 versijos „iOS“ žemėlapiuose galėsite nukreipti fotoaparatą aplinkui eidami. Tai leis jums matyti jūsų aplinkoje suprojektuotas AR kryptis. Tarkime, kad bandote patekti į kiną ir nesate tikri, kokiu keliu pasirinkti. Galėsite nukreipti savo iPhone aplink ir matyti nuorodas, paryškintas gatvėse ir aplink jus esančiuose pastatuose.

Papildyta realybė „iPhone“ buvo įmanoma įtraukus neuroninį variklį, todėl ši funkcija atsirado dėl mašininio mokymosi. Tačiau ši funkcija taip pat sujungia AR su vaizdo atpažinimu ir vietos aptikimu, kad būtų užtikrinta neįtikėtina patirtis realiuoju laiku.

Nors pristatymo metu ji bus prieinama tik keliuose miestuose, ši funkcija rodo ateitį, kai mašininis mokymasis iPhone ne tik padės jums fone. Tai gali padėti jums akimirksniu pasiekti dalykų, kurie yra už jūsų komforto zonos ar galimybių ribų.

„Siri“ atliks daugiau apdorojimo jūsų įrenginyje

Paskutinė „iOS 15“ funkcija, kuri išnaudoja daugiau „Neural Engine“ pranašumų, yra „Siri“. „Siri“ visada naudojo mašininį mokymąsi. Tačiau šis mokymasis dar neišnaudojo neuroninio variklio potencialo.

Taip yra todėl, kad „Siri“ naudojo apdorojimą ne įrenginyje. Tai reiškia, kad jūsų „iPhone“ išklauso jūsų užklausą, siunčia jį į „Apple“ serverį, kuris apdoroja užklausą, tada siunčia atgal į „Siri“ jūsų „iPhone“, kad jis veiktų pagal tą užklausą.

Priežastis, kodėl tai buvo padaryta, buvo padidinti „Siri“ galią, nei palaiko „iPhone“. Tačiau „iOS 15“ tai nustatyta keisti. Dabar „Siri“ didžiąją dalį apdorojimo atliks jūsų „iPhone“. Dėl to „Siri“ turėtų būti greitesnė, protingesnė ir patikimesnė.

Manau, kad šiam atnaujinimui tikriausiai reikės mažiausiai Neural Engine pagalbos. Taigi jo vieta sąrašo pabaigoje. Tačiau verta paminėti, nes tai rodo, kad „Siri“ tampa protingesnė. Pajėgesnis asistentas, naudojantis „iPhone“ aparatinę įrangą, o ne tolimą serverį.

Ką „Neural Engine“ gali padaryti be būsimų „iOS 15“ funkcijų?

Štai ir viskas! Kiek galiu pasakyti, tai yra visi nauji būdai, kuriais „iOS 15“ funkcijos pradės naudoti neapdorotą neuroninio variklio galią.

Šio įrašo pabaigoje norėjau įtraukti trumpą skyrių, kuriame pabrėžiami kai kurie dalykai, kuriuos neuroninis variklis jau daro jūsų „iPhone“. Tokiu būdu galite palyginti, kokia ji yra šiandien, su tuo, kur ji bus po kelių mėnesių.

Tikimės, kad tai padės naujai įvertinti būsimus iOS pakeitimus ir geriau suprasti, kaip tokios funkcijos atsiranda jūsų iPhone.

Neuroninis variklis padeda padaryti geresnes nuotraukas

Sakyčiau, kad daugiausia nuo 2017 m. „iPhone“ Neural Engine buvo panaudota fotografijoje. Kiekvienais metais „Apple“ demonstruoja, kaip naujausias „iPhone“ galės atlikti daugiau fotografinių skaičiavimų nei ankstesnė karta. „Apple“ sako, kad „vaizdo procesorius atlieka X milijonus skaičiavimų / sprendimų kiekvienai nuotraukai“.

Tai reiškia, kiek skaičiavimų neuroninis variklis atlieka kiekvieną kartą, kai fotografuojate. Jame atsižvelgiama į spalvas, apšvietimą, kontrastingus elementus, temą, foną ir daugybę kitų veiksnių. Ir tai lemia, kaip akimirksniu geriausiai įvertinti, sureguliuoti, įsisavinti ir subalansuoti visus šiuos elementus.

Būtent dėl ​​šio mašininio mokymosi proceso tapo įmanoma naudoti tokius dalykus kaip portreto režimas ir „Deep Fusion“. Portreto režimas gali atskirti jus nuo fono, o „Deep Fusion“ padarė naktinę fotografiją „iPhone“ žymiai geresne nei anksčiau.

Neuroninis variklis yra labai svarbus jūsų „iPhone“ fotoaparatui dėl aparatinės įrangos apribojimų. Dėl iPhone dydžio fotoaparato ir jo objektyvų galimybės yra ribotos. Tai kompiuterinis ir mašininis mokymasis, kuris nutinka, kai fotografuojate, todėl jūsų iPhone fotografuojate kaip profesionalaus DSLR nuotraukos.

Mašininis mokymasis daro „FaceID“ greitą, saugų ir prisitaikantį

Žinoma, mes negalime kalbėti apie neuroninį variklį nepaminėdami, kodėl jis buvo sukurtas.

Teisingai – prie „iPhone X“ buvo pridėtas neuronų variklis, kad būtų galima naudoti „FaceID“. Jei nežinojote, FaceID yra viena sudėtingiausių ir sudėtingiausių jūsų iPhone funkcijų.

FaceID ne tik lygina 2D jūsų veido vaizdą asmenukės kameroje su kitu 2D jūsų veido vaizdu. Jis žiūri į 3D veido žemėlapį, seka akių judesius ir lygina jį su ankstesniu 3D veido nuskaitymu.

FaceID tai atlieka ne tik greičiau nei per dvi sekundes, kai veidas juda, iš dalies uždengtas ir įvairiais kampais. Jis taip pat prisitaiko prie to, kaip jūsų veidas subtiliai keičiasi kiekvieną dieną. Štai kodėl galite užsiauginti barzdą, pasenti ir kitais subtiliais būdais keistis, nereikia iš naujo nuskaityti veido.

„FaceID“ ir „Neural Engine“ mokosi ir mokosi iš jūsų veido kiekvieną kartą, kai atrakinate „iPhone“. Be neuroninio variklio „FaceID“ nebūtų perpus toks greitas, saugus ar patikimas kaip šiandien.

Neuroninis variklis atlieka pagrindinį vaidmenį naudojant AR patirtį „iPhone“.

Galiausiai, neuronų variklis atlieka pagrindinį vaidmenį naudojant „iPhone“ AR. Tiems, kurie nežino, papildyta realybė (AR) yra funkcija, kuri projektuoja 3D modelius į jūsų aplinką per „iPhone“ fotoaparato vaizdo ieškiklį. Galite tai išbandyti patys naudodami „iPhone“ programą „Measure“.

Ši funkcija apjungia tokius dalykus kaip vaizdo atpažinimas, erdvinis suvokimas ir atmintis. Visiems tam reikia galios, kurią neuroninis variklis suteikia prie stalo.

Laimei, daugelis naujų „iOS 15“ funkcijų sukurtos taip, kad AR „iPhone“ būtų dar galingesnė. Tikiuosi, kad ši tendencija tęsis, nes manau, kad AR gali būti viena iš labiausiai integruotų mobiliųjų įrenginių funkcijų.

Būsimos „iOS 15“ funkcijos rodo išmanesnę „iPhone“ ateitį

Apskritai aš labai džiaugiuosi dėl ateities, nes šios „iOS 15“ funkcijos suteikia mums žvilgsnį. Yra keletas „iPhone“ aspektų, kurie jaučiasi šiek tiek nepakankamai išnaudojami, tačiau nedaugelis tiek, kiek buvo „Neural Engine“. Nekantriai laukiu šio pasikeitimo ir tikiuosi, kad taip pat!

Norėdami gauti daugiau naujienų, įžvalgų ir patarimų apie visus Apple dalykus, peržiūrėkite kitus „AppleToolBox“ tinklaraštį!