IOS 15:n ominaisuudet hyödyntävät vihdoinkin iPhonen hermomoottoria

Katsoessaan WWDC21:n pääpuheenvuoro muutama viikko sitten aloin huomata toistuvan teeman. Ja tämä teema on, että useat iOS 15:n tulevat ominaisuudet näyttävät hyödyntävän iPhonen hermomoottoria.

Neural Engine on ollut iPhonessa iPhone X: n julkaisusta vuonna 2017 lähtien. En kuitenkaan usko, että useimmat meistä ovat tunteneet tämän prosessorin vaikutuksia neljän vuoden aikana sen alkuperäisestä julkaisusta.

WWDC21 sai minut jatkuvasti tuntemaan, että iOS 15 on ensimmäinen futuristinen iOS-päivitys pitkään aikaan. Ja vaikka Applelta ei ole virallista vahvistusta tälle, uskon sen johtuvan siitä, että Apple on vihdoinkin hyödyntämässä Neural Engineä täysimääräisesti.

Tässä viestissä kerron lyhyesti, mitä hermomoottori on, ja sitten sukeltaan kaikkiin uusiin iOS 15 -ominaisuuksiin, jotka näyttävät käyttävän tätä prosessoria täysillä. Lopussa kerron tärkeimmistä tavoista, joilla iOS käyttää Neural Engineä tällä hetkellä, jotta voit verrata sitä tulevaan iOS 15 -julkaisuun.

Selvä, mennään asiaan!

Mikä on hermomoottori iPhonessa?

Neural Engine on iPhone X: n ja uudempien prosessori, joka käsittelee koneoppimistoimintoja. Tämän prosessorin kyky tehostaa koneoppimista tekee siitä niin tärkeän, joten koneoppimisen ymmärtäminen on tärkeää tämän prosessorin ymmärtämiseksi.

Koneoppiminen viittaa ohjelmistoon, joka tekee päätökset suoritettavasta koodista ohjelmoijasta riippumatta.

Tyypillisesti ohjelmiston on toimittava erittäin tarkan ja valvotun tiedon kanssa. Siksi Siri ymmärtää tarkoituksesi yhdellä lauseella, mutta ei ymmärrä sitä toisella – vaikka jokaisen lauseen tarkoitus on sama. Siri tarvitsee tiedon tullakseen tietyssä rakenteessa, tai se epäonnistuu.

Koneoppiminen on tapa muuttaa tätä. Sen avulla ohjelmisto voi ottaa vastaan ​​vähemmän jäsenneltyä dataa ja silti käsitellä sitä. Jos olet joskus yllättynyt siitä, että Siri ymmärsi oudosti muotoillun pyynnön, se johtuu todennäköisesti siitä, että Sirin koneoppimisominaisuudet ovat parantuneet.

Neural Engine on, kuten nimestä voi päätellä, puhelimesi moottori, joka tekee tämän mahdolliseksi.

Ymmärrän, että nämä käsitteet voivat olla hieman vaikeita ymmärtää, ja tiedän, että en ehkä osaa parhaiten selittää niitä. Yritän pitää asiat lyhyinä ja yksinkertaisina tässä postauksessa, mutta jos haluat syvemmälle sukeltaa, sinun kannattaa tarkistaa Tämä postaus!

Kuinka iOS 15:n ominaisuudet alkavat hyödyntää hermomoottoria

iPhonen hermomoottorin ongelma ei ole siinä, että se ei ole tehokas, vaan se, että sen tehoa ei hyödynnetä täysimääräisesti iPhonessa. Viimeisen neljän vuoden aikana se on otettu käyttöön rajoitetuissa tapauksissa, kuten lisätty todellisuus. Se on hyödyllistä, mutta se ei ole vielä mullistanut iPhonea.

Uskon, että useat iOS 15:n ominaisuudet viittaavat mullistavampaan tulevaisuuteen Neural Enginelle. En usko, että mikään alla olevista uusista ominaisuuksista olisi mahdollinen ilman tätä prosessoria. Katsotaanpa, kuinka nämä ominaisuudet käyttävät hermomoottoria täysimääräisesti.

iPhone voi lukea tekstiä kuvistasi

Ensimmäinen iOS 15:n ominaisuuksista, joka huusi "Machine Learning!" minulle oli Live Text. Live Text on iOS 15:n ominaisuus, jonka avulla iPhone voi lukea tekstiä Kuvat-sovelluksessasi.

Tämä tarkoittaa, että voit ottaa kuvan mistä tahansa, johon on painettu teksti, avata valokuvan Kuvat-sovelluksessa ja voit olla vuorovaikutuksessa tekstin kanssa. Voit napauttaa kuvissa olevia puhelinnumeroita, kopioida ja liittää tekstiä asiakirjojen kuvista ja käyttää Kuvien hakupalkkia kuvien tekstin hakemiseen.

Tämän ominaisuuden avulla iPhone voi myös lukea kuvien käsinkirjoituksen. Se toimii myös Kamera-sovelluksen kanssa, joten voit olla vuorovaikutuksessa iPhonen kamerasi etsimessä olevan tekstin kanssa reaaliajassa.

Ilman koneoppimista tällainen ominaisuus olisi lähes mahdotonta. Siksi ne online-tietoturvatestit käyttävät vääntynyttä tekstiä todistamaan, että et ole robotti. Koska ohjelman on haastavaa lukea tekstiä.

Älypuhelimen ominaisuus, joka pystyy lukemaan tekstiä fontista, tyylistä, väristä tai kulmasta riippumatta, ei ole vain reaaliajassa erittäin hyödyllinen, vaan se on myös erinomainen käyttö mobiilikoneoppimisessa.

iOS 15:n ominaisuuksien avulla iPhonesi tunnistaa ja tunnistaa kuviesi sisällön

Toinen iOS 15:n uusista ominaisuuksista, joka käyttää hermomoottoria, on kohteiden tunnistus valokuvissa. Tämä ominaisuus toimii samalla tavalla kuin Live Text, paitsi että se tunnistaa objektit tekstin sijaan. Applen käyttämä esimerkki on, että voit suunnata iPhone-kamerasi koiraa kohti, jolloin iPhone ei vain tunnista, että se on koira, vaan myös sen, minkä rodun koira se on.

IPhone on pystynyt poistamaan kasvot valokuvistasi jonkin aikaa, mikä on eräänlainen objektintunnistus, vaikkakin rajoitettu. Tämän ominaisuuden laajennuksen ansiosta iPhonesi voi nopeasti tarkastella valokuvan jäsentelemätöntä dataa ja siinä olevia identiteettiobjekteja.

Tämä on vaikuttavampaa (ja vaikeampaa) kuin live-teksti, koska hermomoottorin etsimät kuviot ovat paljon vähemmän yhdenmukaisia. iPhonesi täytyy tehdä tuhansia (ellei satoja tuhansia) päätöksiä voidakseen tehdä sellaisia ​​päätöksiä.

Koirarodun tunnistamiseksi sen on ensin nähtävä, että koira on taustasta erottuva kohde, sitten sen on piirrettävä rajat koiran ympärille. poimi kyseisen koiran erillisiä ominaisuuksia, kunnes se voi päätellä, että se on koira, ja vedä sitten esiin vielä enemmän ominaisuuksia määrittääksesi, millainen koira se on On.

Tällainen laskenta on mahdollista vain koneoppimisprosessorilla.

Valokuvien muistot tulevat olemaan kehittyneempiä ja "oikeampia" tunteita

Toinen Photos-sovelluksen ominaisuus, joka tulee saamaan Neural Engine -korjauksen, on Memories.

Tämä ominaisuus ottaa kuvia tietystä ajasta (yleensä tietystä päivästä) ja yhdistää ne lyhyeksi videoksi, jota voit katsella. Ajatuksena on, että Memories luo automaattisesti videokollaaseja lomistasi, juhlistasi, vuosipäivistäsi ja muusta.

Muistot ovat toinen iOS 15:n ominaisuuksista, jotka parantavat merkittävästi laatua. Se sisällyttää automaattisesti musiikkia Apple Music -kirjastostasi muistoihisi.

Valokuvan valitsema musiikki ei ainoastaan ​​sovi videoon sopivaan tahtiin, vaan sen tulee myös vastata videon sisältöä. Esimerkiksi juhlien kuvat tulisi yhdistää energisen musiikin kanssa, kun taas harkitumpiin kuviin tulisi liittää hitaampaa musiikkia.

Vaikka en käytä tätä ominaisuutta usein, sen takana oleva tietojenkäsittelytiede on erittäin kiehtovaa. Se yhdistää esineiden ja maisemien tunnistuksen, ryhmittelee kuvat sisällön, sijainnin ja ajanjakson perusteella, erottaa keskimääräiset päiväkohtaiset valokuvat erityiseen elämään sidottuista kuvista. tapahtumia, yhdistää näiden valokuvien tunnelman haluamasi kappaleen tunnelmaan, yhdistää ne diaesitysesitykseen ja ajastaa esityksen musiikkia.

Memories on aina käyttänyt hermomoottoria. Ja iOS: n seuraavan version on määrä lisätä tämän ominaisuuden älykkyyttä huomattavasti.

Ilmoitukset, widgetit ja Älä häiritse -tila ovat entistä älykkäämpiä

Joukko iOS 15:n ominaisuuksia, jotka hyödyntävät enemmän hermomoottoria, ovat ilmoitukset, widgetit ja Älä häiritse.

Widgetit alkoivat käyttää koneoppimista iOS 14:ssä, mutta ajattelin, että olisi hyödyllistä lisätä ne tähän. Älykkäiden pinojen avulla voit laittaa widgetejä päällekkäin. iPhonesi selaa niitä sitten päivän aikana ja näyttää sinulle, mikä sen mielestä on olennaisin widget kulloinkin.

Tällaisia ​​päätöksiä tehdään analysoimalla käyttäytymistäsi eri vuorokaudenaikoina ja tiettyjen sovellusten käytön jälkeen. Neural Engine ottaa nämä tiedot, tulkitsee ne ja näyttää sitten widgetisi näiden tietojen mukaan.

iOS 15:n uudet ominaisuudet on asetettu toimimaan hyvin samalla tavalla.

Ilmoitukset ryhmitellään nyt ilmoitusten yhteenvetoon, jotta et näe vähemmän tärkeitä ilmoituksia tukkeutumassa lukitusnäyttöäsi koko päivän ajan. Voit mukauttaa ilmoitusten yhteenvetoominaisuutta tai antaa Neural Enginen hoitaa sen puolestasi.

Älä häiritse -toiminto saa uuden osan, Focus, joka piilottaa tietyt ilmoitukset niiden luokittelun perusteella. Voit hallita Focusa manuaalisesti tai antaa sen hallita itseään älykkäästi.

Kaikki kolme ominaisuutta käyttävät erittäin samankaltaisia ​​koneoppimismittareita käyttäytymisesi ennustamiseen ja siihen mukautumiseen.

iOS 15:n uudet ominaisuudet helpottavat reittiohjeiden saamista kamerallasi

Tämä on yksi iOS 15:n ominaisuuksista, joista en ole kuullut niin paljon jännitystä kuin odotin. Pidän sitä edelleen erittäin mielenkiintoisena, etenkin koneoppimisympäristössä.

iOS 15:n Mapsissa voit suunnata kameraa ympäriinsä kävellessäsi. Näin voit nähdä AR-suunnat heijastettuina ympäristöösi. Oletetaan, että yrität päästä elokuviin etkä ole varma, mitä tietä valitset. Voit suunnata iPhoneasi ympärillesi ja nähdä ohjeet korostettuina ympärilläsi olevilla kaduilla ja rakennuksilla.

Lisätty todellisuus iPhonessa tehtiin hermomoottorin sisällyttämisen ansiosta, joten tämä ominaisuus johtuu koneoppimisesta. Mutta tämä ominaisuus yhdistää myös AR: n kuvantunnistukseen ja sijainnin tunnistukseen uskomattoman reaaliaikaisen kokemuksen tarjoamiseksi.

Vaikka se on saatavilla vain muutamassa kaupungissa julkaisun yhteydessä, tämä ominaisuus viittaa tulevaisuuteen, jossa iPhonen koneoppiminen ei vain auta sinua taustalla. Se voi auttaa sinua saavuttamaan välittömästi asioita, jotka ovat mukavuusalueesi tai kykysi ulkopuolella.

Siri käsittelee enemmän laitteellasi

Viimeinen iOS 15:n ominaisuuksista, joka hyödyntää enemmän hermomoottoria, on Siri. Siri on aina käyttänyt koneoppimista. Mutta tämä oppiminen ei ole vielä hyödyntänyt hermomoottorin potentiaalia.

Tämä johtuu siitä, että Siri on käyttänyt laitteen ulkopuolista käsittelyä. Tämä tarkoittaa, että iPhonesi kuuntelee pyyntöäsi, lähettää sen Apple-palvelimelle, joka käsittelee pyynnön, ja lähettää sen sitten takaisin iPhonen Sirille toimiakseen pyynnön mukaisesti.

Syynä tähän oli Sirin tehon lisääminen yli iPhonen tukeman tehon. iOS 15:ssä tämä on kuitenkin asetettu muuttumaan. Siri suorittaa nyt suurimman osan käsittelystään iPhonellasi. Tämän pitäisi tehdä Siristä nopeampi, älykkäämpi ja luotettavampi.

Luulen, että tämä päivitys vaatii todennäköisesti vähiten apua hermomoottorilta. Tästä syystä sen sijoitus luettelon loppuun. Se on kuitenkin huomion arvoinen, koska se viittaa Sirin älykkäämpään. Voimakkaampi avustaja, joka käyttää iPhonen laitteistoa, ei kaukainen palvelin.

Mitä Neural Engine voi tehdä ilman tulevia iOS 15 -ominaisuuksia?

Ja siinä se! Sikäli kuin voin kertoa, tämä on kaikki uudet tavat, joilla iOS 15:n ominaisuudet alkavat käyttää Neural Enginen raakatehoa.

Halusin sisällyttää tämän viestin loppuun lyhyen osion, jossa korostetaan joitain asioita, joita Neural Engine jo tekee iPhonessasi. Tällä tavalla voit verrata nykyistä paikkaa siihen, missä se on muutaman kuukauden kuluttua.

Toivottavasti tämä auttaa sinua arvostamaan iOS: n tulevia muutoksia uudessa valossa ja ymmärtämään paremmin, kuinka tämänkaltaiset ominaisuudet tulevat iPhonellesi.

Neural Engine auttaa sinua ottamaan parempia kuvia

Sanoisin, että Neural Enginen suurin käyttö iPhonessa vuodesta 2017 lähtien on ollut valokuvauksessa. Joka vuosi Apple näyttää, kuinka uusin iPhone pystyy suorittamaan enemmän valokuvauslaskelmia kuin edellinen sukupolvi. Apple sanoo esimerkiksi: "Kuvanprosessori tekee X miljoonaa laskelmaa/päätöstä valokuvaa kohden".

Tämä viittaa laskelmien määrään, jonka Neural Engine tekee aina, kun otat valokuvan. Siinä tarkastellaan värejä, valaistusta, kontrastielementtejä, aihetta, taustaa ja monia muita tekijöitä. Ja se määrittää, kuinka parhaiten arvostella, säätää, absorboida ja tasapainottaa kaikki nämä elementit hetkessä.

Tämä koneoppimisprosessi on mahdollistanut esimerkiksi muotokuvatilan ja Deep Fusionin. Muotokuvatila voi eristää sinut taustastasi, ja Deep Fusion on tehnyt yökuvauksesta iPhonella huomattavasti parempia kuin ennen.

Neural Engine on kriittinen iPhonesi kameralle laitteistorajoitusten vuoksi. iPhonen koosta johtuen kameran ja sen linssien ominaisuudet ovat rajalliset. Tietojenkäsittely ja koneoppiminen tapahtuu, kun otat valokuvan, mikä tekee iPhonestasi valokuvaamisen ammattimaisen DSLR-valokuvien kanssa.

Koneoppiminen tekee FaceID: stä nopean, turvallisen ja mukautuvan

Emme tietenkään voi puhua hermomoottorista mainitsematta, miksi se luotiin.

Aivan oikein – Neural Engine lisättiin iPhone X: ään FaceID: n mahdollistamiseksi. Jos et tiennyt, FaceID on yksi iPhonesi kehittyneimmistä ja monimutkaisimmista ominaisuuksista.

FaceID ei vain vertaa kasvosi 2D-kuvaa selfie-kamerassa toiseen kasvosi 2D-kuvaan. Se näyttää kasvosi 3D-kartan, seuraa silmiesi liikkeitä ja vertaa sitä aiempaan kasvosi 3D-skannaukseen.

FaceID ei tee tätä vain kahdessa sekunnissa, kun kasvosi ovat liikkeessä, osittain peitettyinä ja eri kulmissa. Se mukautuu myös siihen, miten kasvosi muuttuvat hienovaraisesti päivästä toiseen. Siksi voit kasvattaa parran, vanheta ja muuttua muilla hienovaraisilla tavoilla ilman, että sinun tarvitsee skannata kasvojasi uudelleen.

FaceID ja Neural Engine tutkivat ja oppivat kasvoistasi aina, kun avaat iPhonesi lukituksen. Ilman hermomoottoria FaceID ei olisi puolikaan yhtä nopea, turvallinen tai luotettava kuin nykyään.

Neural Engine on avainasemassa iPhonen AR-kokemuksissa

Lopuksi, hermomoottorilla on avainrooli iPhonen AR: ssä. Niille, jotka eivät tiedä, lisätty todellisuus (AR) on ominaisuus, joka heijastaa 3D-malleja ympäristöösi iPhonen kameran etsimen kautta. Voit testata tätä itse käyttämällä iPhonesi Measure-sovellusta.

Tällainen ominaisuus yhdistää esimerkiksi kuvantunnistuksen, tilatietoisuuden ja muistin. Kaikki nämä vaativat tehoa, jonka hermomoottori tuo pöytään.

Onneksi monet iOS 15:n uusista ominaisuuksista on asetettu tekemään AR: stä iPhonessa entistä tehokkaampaa. Se on trendi, jonka toivon jatkuvan, sillä mielestäni AR: llä on potentiaalia olla yksi mobiililaitteiden tärkeimmistä ominaisuuksista.

Tulevat iOS 15:n ominaisuudet viittaavat kohti älykkäämpää tulevaisuutta iPhonelle

Kaiken kaikkiaan olen erittäin innoissani tulevaisuuden suhteen, ja nämä iOS 15:n ominaisuudet antavat meille vilauksen. iPhonessa on useita puolia, jotka tuntuvat hieman vajaakäytöltä, mutta harvat niin paljon kuin Neural Engine on ollut. Odotan tätä muutosta innolla, ja toivottavasti sinäkin!

Jos haluat lisää uutisia, oivalluksia ja vinkkejä kaikesta Applesta, katso loput AppleToolBox-blogi!