IOS 15 funktsioonid kasutavad lõpuks ära iPhone'i närvimootori eelised

Vaatamise ajal WWDC21 peaettekanne paar nädalat tagasi hakkasin märkama korduvat teemat. Ja see teema on see, et mitmed tulevased iOS 15 funktsioonid näivad kasutavad iPhone'i närvimootorit.

Neural Engine on olnud iPhone'is alates iPhone X väljalaskmisest 2017. aastal. Kuid ma ei usu, et enamik meist on selle protsessori mõju nelja aasta jooksul pärast selle esmast väljalaskmist üldse tundnud.

WWDC21 tekitas mulle pidevalt tunde, et iOS 15 on esimene futuristlik iOS-i värskendus üle pika aja. Ja kuigi Apple ei ole selle kohta ametlikku kinnitust saanud, usun, et selle põhjuseks on asjaolu, et Apple kasutab lõpuks närvimootorit täielikult ära.

Selles postituses käsitlen lühidalt, mis on närvimootor, ja seejärel sukeldun kõikidesse uutesse iOS 15 funktsioonidesse, mis näivad seda protsessorit täiel määral ära kasutavat. Lõpu lähedal käsitlen peamisi viise, kuidas iOS praegu närvimootorit kasutab, et saaksite seda võrrelda eelseisva iOS 15 versiooniga.

Olgu, asume asjasse!

Mis on iPhone'i närvimootor?

Neural Engine on protsessor iPhone X-is ja uuemates versioonides, mis tegeleb masinõppega. Selle protsessori võime masinõpet toita muudab selle nii oluliseks, nii et masinõppe mõistmine on protsessori mõistmiseks oluline.

Masinõpe viitab tarkvarale, mis teeb programmeerijast sõltumatult otsuseid selle kohta, millist koodi käivitada.

Tavaliselt peab tarkvara töötama väga spetsiifiliste ja kontrollitud andmetega. Sellepärast mõistab Siri teie kavatsusi ühe fraasi puhul, kuid ei mõista seda teise fraasi puhul – isegi kui iga fraasi kavatsus on identne. Siri vajab, et andmed tuleksid kindlas struktuuris või see ebaõnnestub.

Masinõpe on viis selle muutmiseks. See võimaldab tarkvaral võtta vastu vähem struktureeritud andmeid ja neid siiski töödelda. Kui olete kunagi üllatunud, et Siri veidralt sõnastatud taotlusest aru sai, on see tõenäoliselt seetõttu, et Siri masinõppe võimalused on paranenud.

Neural Engine on, nagu nimigi viitab, teie telefoni mootor, mis teeb selle võimalikuks.

Ma mõistan, et neid mõisteid võib olla raske mõista ja ma tean, et ma ei pruugi nende selgitamisel kõige paremini hakkama saada. Üritan selle postituse jaoks jätta asjad lühikeseks ja lihtsaks, kuid kui soovite sügavamat sukeldumist, peaksite vaatama see postitus!

Kuidas iOS 15 funktsioonid hakkavad närvimootorit ära kasutama

IPhone'i närvimootori probleem ei seisne selles, et see pole võimas, vaid selles, et selle võimsust ei kasutata iPhone'is täielikult ära. Viimase nelja aasta jooksul on see piiratud juhtudel tööle pandud, näiteks liitreaalsus. See on kasulik, kuid see pole iPhone'is veel revolutsiooni teinud.

Arvan, et mitmed iOS 15 funktsioonid viitavad närvimootori revolutsioonilisemale tulevikule. Ma arvan, et ükski neist uutest funktsioonidest, mida ma allpool lagundama hakkan, poleks ilma selle protsessorita võimalik. Nii et vaatame, kuidas need funktsioonid närvimootorit maksimaalselt kasutavad.

Teie iPhone saab lugeda teie fotodelt teksti

Esimene iOS 15 funktsioonidest, mis hüüdis "Masinõpe!" minu jaoks oli otsetekst. Otsetekst on iOS 15 funktsioon, mis võimaldab teie iPhone'il lugeda rakenduses Photos teksti.

See tähendab, et saate pildistada kõike, millel on prinditud tekst, avada selle foto rakenduses Photos ja saate selle tekstiga suhelda. Saate puudutada fotodel olevaid telefoninumbreid, kopeerida ja kleepida dokumentide piltidelt teksti ning kasutada fotodelt teksti otsimiseks rakenduse Photos otsinguriba.

See funktsioon võimaldab teie iPhone'il lugeda ka teie fotode käekirja. See töötab ka rakendusega Kaamera, nii et saate oma iPhone'i kaamera pildiotsija tekstiga reaalajas suhelda.

Ilma masinõppeta oleks selline funktsioon peaaegu võimatu. Sellepärast kasutavad need veebiturbetestid kõverdatud teksti, et tõestada, et te pole robot. Sest programmi jaoks on keeruline teksti lugeda.

Lisaks sellele, et nutitelefoni funktsioon, mis suudab lugeda teksti sõltumata fondist, stiilist, värvist või vaatenurgast, pole reaalajas väga kasulik, on see ka suurepärane mobiilse masinõppe kasutamine.

iOS 15 funktsioonid võimaldavad teie iPhone'il tuvastada ja tuvastada teie fotode sisu

Teine iOS 15 uus funktsioon, mis kasutab närvimootorit, on objektituvastus rakenduses Photos. See funktsioon töötab sarnaselt reaalajas tekstiga, välja arvatud see, et see tuvastab teksti asemel objekte. Apple kasutas näiteks seda, et saate suunata oma iPhone'i kaamera koerale ja teie iPhone ei tuvasta mitte ainult, et see on koer, vaid ka seda, mis koeratõugu see on.

IPhone on suutnud mõnda aega teie fotodelt nägusid välja tõmmata, mis on objektide tuvastamise vorm, ehkki piiratud. Selle võimaluse laiendamine võimaldab teie iPhone'il kiiresti vaadata foto struktureerimata andmeid ja selles sisalduvaid identiteediobjekte.

See on muljetavaldavam (ja keerulisem) kui reaalajas tekst, kuna mustrid, mida närvimootor peab otsima, on palju vähem järjepidevad. Teie iPhone peab selliste otsuste tegemiseks tegema tuhandeid (kui mitte sadu tuhandeid) otsuseid.

Koeratõu tuvastamiseks peab ta esmalt nägema, et koer on taustast erinev objekt, seejärel peab ta tõmbama selle koera ümber piirid ja seejärel vali välja selle koera erinevad omadused, kuni ta saab kindlaks teha, et see on koer, seejärel tõmmake välja veelgi rohkem omadusi, et teha kindlaks, mis tüüpi koer see on on.

Selline andmetöötlus on võimalik ainult masinõppeprotsessoriga.

Mälestused rakenduses Photos muutuvad keerukamaks ja "tõelisemaks".

Rakenduse Photos teine ​​funktsioon, mis hakkab närvimootorit parandama, on Mälestused.

See funktsioon teeb fotosid kindlast ajast (tavaliselt konkreetsest päevast) ja ühendab need teile vaatamiseks lühikeseks videoks. Idee seisneb selles, et Memories loob automaatselt videokollaaže teie puhkustest, pidudest, tähtpäevadest ja muust.

Mälestused on veel üks iOS 15 funktsioonidest, mille kvaliteet on oluliselt paranenud. See lisab teie Apple Musicu kogu muusika automaatselt teie mälestustesse.

Muusika, mille Photos valib, ei ole mitte ainult sobivas tempos koos videoga, vaid see peaks sobima ka video sisuga. Näiteks peopildid tuleks siduda energilise muusikaga, samas kui läbimõeldumatele piltidele peaks olema lisatud aeglasem muusika.

Kuigi ma ei kasuta seda funktsiooni sageli, on selle taga olev arvutiteadus äärmiselt põnev. See ühendab objektide ja maastikutuvastuse, rühmitab fotod sisu, asukoha ja ajaperioodi alusel, eraldab keskmised päevased fotod erilise eluga seotud fotodest sündmused, loob seose nende fotode meeleolu ja teile meeldiva laulu meeleolu vahel, ühendab need slaidiesitluses ja ajastab selle esitluse vastavalt muusika.

Memories on alati kasutanud närvimootorit. Ja iOS-i järgmine versioon peaks oluliselt suurendama selle funktsiooni intelligentsust.

Märguanded, vidinad ja režiim Mitte segada muutuvad targemaks

IOS 15 funktsioonide rühmitus, mis kasutab närvimootori eeliseid, on märguanded, vidinad ja režiim Mitte segada.

Vidinad hakkasid masinõpet kasutama iOS 14-s, kuid arvasin, et oleks kasulik need siia lisada. Nutikad virnad võimaldavad teil vidinaid üksteise peale asetada. Seejärel sirvib teie iPhone neid kogu päeva jooksul, näidates teile, mis on tema arvates igal ajahetkel kõige asjakohasem vidin.

Sellised otsused tehakse teie käitumise analüüsimisel erinevatel kellaaegadel ja pärast teatud rakenduste kasutamist. Neural Engine võtab need andmed, tõlgendab neid ja kuvab seejärel teie vidinad vastavalt nendele andmetele.

Uued iOS 15 funktsioonid on seatud töötama väga sarnaselt.

Märguanded rühmitatakse nüüd teavituste kokkuvõttesse, nii et te ei näeks kogu päeva lukustuskuva tunglemas vähem olulisi teatisi. Saate kohandada funktsiooni Teavituste kokkuvõte või lasta närvimootoril seda enda eest hallata.

Funktsioon Mitte segada saab uue komponendi Focus, mis peidab teatud märguanded vastavalt nende liigitamisele. Saate Focust käsitsi hallata või lasta tal end arukalt hallata.

Kõik need kolm funktsiooni kasutavad teie käitumise ennustamiseks ja sellega kohanemiseks äärmiselt sarnaseid masinõppemõõdikuid.

Uued iOS 15 funktsioonid muudavad kaameraga juhiste hankimise lihtsamaks

See on üks iOS 15 funktsioonidest, mille kohta ma pole nii palju põnevust kuulnud, kui ootasin. Minu arvates on see endiselt väga huvitav, eriti masinõppe kontekstis.

iOS 15-s Mapsis saate oma kaamerat kõndides ringi suunata. See võimaldab teil näha oma keskkonda projitseeritud AR-juhiseid. Oletame, et proovite kinno jõuda ja pole kindel, millist teed valida. Saate suunata oma iPhone'i ringi ja näha teid ümbritsevatel tänavatel ja hoonetel esile tõstetud juhiseid.

Liitreaalsus iPhone'is sai võimalikuks tänu närvimootori kaasamisele, seega võlgneb see funktsioon oma päritolu masinõppele. Kuid see funktsioon ühendab ka AR-i pildituvastuse ja asukohatuvastusega, et pakkuda uskumatut reaalajas kogemust.

Kuigi see on käivitamisel saadaval vaid mõnes linnas, viitab see funktsioon tulevikule, kus iPhone'i masinõpe ei aita teid ainult taustal. See võib aidata teil saavutada kohe asju, mis on väljaspool teie mugavustsooni või võimeid.

Siri töötleb teie seadmes rohkem

Viimane iOS 15 funktsioonidest, mis kasutab närvimootori eeliseid, on Siri. Siri on alati kasutanud masinõpet. Kuid see õppimine ei ole veel närvimootori potentsiaali ära kasutanud.

Seda seetõttu, et Siri on kasutanud seadmevälist töötlemist. See tähendab, et teie iPhone kuulab teie päringu, saadab selle Apple'i serverisse, mis taotlust töötleb, ja seejärel saadab selle tagasi teie iPhone'i Sirile, et see päring toimiks.

Põhjus, miks seda tehti, oli Siri võimsuse suurendamine üle selle, mida iPhone toetab. iOS 15 puhul on see aga määratud muutuma. Siri teeb nüüd suurema osa oma töötlusest teie iPhone'is. See peaks muutma Siri kiiremaks, targemaks ja töökindlamaks.

Arvan, et see värskendus nõuab tõenäoliselt kõige vähem närvimootori abi. Sellest ka selle paigutus loendi lõppu. See väärib siiski märkimist, kuna see viitab Siri targemaks muutumisele. Võimekam assistent, kes kasutab iPhone'i riistvara, mitte kaugemas serveris.

Mida saab närvimootor teha ilma tulevaste iOS 15 funktsioonideta?

Ja see ongi kõik! Niipalju kui ma aru saan, on see kõik uued viisid, kuidas iOS 15 funktsioonid hakkavad kasutama närvimootori toorvõimsust.

Tahtsin lisada selle postituse lõppu lühikese jaotise, mis tõstab esile mõned asjad, mida närvimootor teie iPhone'is juba teeb. Nii saate võrrelda seda, mis praegu on, sellega, kus see on mõne kuu pärast.

Loodetavasti aitab see teil hinnata iOS-i eelseisvaid muudatusi uues valguses ja mõista paremini, kuidas sellised funktsioonid teie iPhone'ile tulevad.

Neural Engine aitab teil teha paremaid pilte

Ütleksin, et iPhone'is on Neural Engine'i suurim kasutusala alates 2017. aastast olnud fotograafia. Igal aastal näitab Apple, kuidas uusim iPhone suudab teha rohkem fotograafilisi arvutusi kui eelmine põlvkond. Apple ütleb selliseid asju nagu: "Pildiprotsessor teeb X miljonit arvutust/otsust foto kohta".

See viitab arvutuste arvule, mida närvimootor teeb iga kord, kui pildistate. See vaatleb värve, valgustust, kontrastseid elemente, objekti, tausta ja paljusid muid tegureid. Ja see määrab, kuidas kõiki neid elemente hetkega kõige paremini hinnata, kohandada, absorbeerida ja tasakaalustada.

Just see masinõppeprotsess on teinud võimalikuks sellised asjad nagu portreerežiim ja Deep Fusion. Portreerežiim suudab teid taustast isoleerida ja Deep Fusion on muutnud iPhone'is öise pildistamise oluliselt paremaks kui varem.

Neural Engine on teie iPhone'i kaamera jaoks riistvarapiirangute tõttu kriitilise tähtsusega. IPhone'i suuruse tõttu on kaamera ja selle objektiivide võimalused piiratud. Foto tegemisel toimub arvuti ja masinõpe, mis muudab teie iPhone'i fotograafia samaväärseks professionaalse peegelkaamera fotodega.

Masinõpe muudab FaceID kiireks, turvaliseks ja kohanemisvõimeliseks

Muidugi ei saa me närvimootorist rääkida, mainimata, miks see loodi.

See on õige – iPhone X-ile lisati FaceID võimalikuks muutmiseks närvimootor. Kui te ei teadnud, on FaceID üks teie iPhone'i kõige keerukamaid ja keerukamaid funktsioone.

FaceID ei võrdle ainult selfie-kaameras oleva näo 2D-pilti teise näo 2D-kujutisega. See vaatab teie näo 3D-kaarti, jälgib teie silmade liikumist ja võrdleb seda teie näo eelmise 3D-skaneerimisega.

FaceID ei tee seda vähem kui kahe sekundiga, kui teie nägu on liikumises, osaliselt varjatud ja erinevate nurkade all. See kohandub ka sellega, kuidas teie nägu peenelt muutub päevast päeva. Seetõttu saate habet kasvatada, vanemaks saada ja muudel peenelt muutuda, ilma et peaksite oma nägu uuesti skannima.

FaceID ja Neural Engine uurivad ja õpivad teie nägu iga kord, kui avate oma iPhone'i. Ilma närvimootorita poleks FaceID pooltki nii kiire, turvaline ega töökindel kui praegu.

Neural Engine mängib iPhone'i AR-kogemustes võtmerolli

Lõpuks mängib närvimootor iPhone'i AR-is võtmerolli. Neile, kes ei tea, on liitreaalsus (AR) funktsioon, mis projitseerib 3D-mudeleid teie iPhone'i kaamera pildiotsija kaudu teie keskkonda. Saate seda ise testida, kasutades oma iPhone'i rakendust Measure.

Selline funktsioon ühendab endas selliseid asju nagu pildituvastus, ruumiteadlikkus ja mälu. Kõik need nõuavad võimsust, mille närvimootor lauale toob.

Õnneks on paljud uued iOS 15 funktsioonid seatud muutma AR-i iPhone'is veelgi võimsamaks. Loodan, et see suundumus jätkub, kuna arvan, et AR võib olla üks mobiilseadmete lahutamatumaid funktsioone.

Tulevased iOS 15 funktsioonid viitavad iPhone'i nutikama tuleviku poole

Üldiselt olen tuleviku suhtes väga põnevil, sest need iOS 15 funktsioonid annavad meile ülevaate. iPhone'il on mitu tahku, mis tunduvad veidi alakasutatud, kuid vähesed nii palju kui närvimootor. Ootan seda muutust ja loodan, et ka teie!

Kui soovite rohkem uudiseid, teadmisi ja näpunäiteid kõigi Apple'i asjade kohta, vaadake ülejäänud osa AppleToolBoxi ajaveebi!