Функције иОС 15 коначно користе предности неуралног мотора иПхоне-а

Док гледам главни говор ВВДЦ21 пре неколико недеља, почео сам да примећујем тему која се понавља. А та тема је да неколико надолазећих функција иОС 15 изгледа користи предности иПхоне-овог Неурал Енгине-а.

Неурал Енгине је у иПхоне-у од објављивања иПхоне-а Кс 2017. године. Међутим, не мислим да већина нас уопште није осетила ефекте овог процесора током четири године од његовог првобитног издавања.

ВВДЦ21 ми је стално давао осећај да је иОС 15 прво футуристичко ажурирање за иОС после дуго времена. И, иако не постоји званична потврда од Аппле-а о томе, верујем да је то зато што Аппле коначно у потпуности користи Неурал Енгине.

У овом посту ћу укратко покрити шта је Неурал Енгине, а затим ћу заронити у све нове функције иОС 15 које изгледа да користе овај процесор у свом пуном потенцијалу. При крају ћу покрити главне начине на које иОС тренутно користи Неурал Енгине, тако да можете да га упоредите са предстојећим издањем иОС 15.

У реду, хајде да уђемо у то!

Шта је Неурал Енгине на иПхоне-у?

Неурал Енгине је процесор на иПхоне Кс и новијим верзијама који управља операцијама машинског учења. Способност овог процесора да покреће машинско учење га чини толико важним, тако да је разумевање машинског учења важно за разумевање овог процесора.

Машинско учење се односи на софтвер који доноси одлуке о томе који код да се изврши независно од програмера.

Обично софтвер треба да ради са врло специфичним и контролисаним подацима. Зато ће Сири разумети вашу намеру са једном фразом, али неће је разумети другом – чак и ако је намера у свакој фрази идентична. Сири треба да подаци дођу у одређеној структури или не успе.

Машинско учење је начин да се то промени. Омогућава софтверу да узима мање структуриране податке и да их и даље обрађује. Ако се икада изненадите што је Сири разумео чудно формулисан захтев, то је вероватно зато што су се Сири-јеве могућности машинског учења побољшале.

Неурал Енгине је, као што име говори, мотор на вашем телефону који ово омогућава.

Схватам да ови концепти могу бити мало тешки за разумевање, и знам да можда не радим најбољи посао у њиховом објашњавању. Трудим се да ствари буду кратке и једноставне за овај пост, али ако желите дубље зароните, требало би да погледате овај пост!

Како функције иОС 15 почињу да користе предности неуронског механизма

Проблем са иПхоне-овим Неурал Енгине-ом није у томе што није моћан, већ у томе што се његова снага не користи у пуној мери на иПхоне-у. Последње четири године је стављено да функционише у ограниченим случајевима, попут проширене стварности. Корисно је, али још увек није револуционисало иПхоне.

Мислим да неколико функција иОС 15 указује на револуционарнију будућност Неурал Енгине-а. Не мислим да би било која од нових функција које ћу разложити у наставку била могућа без овог процесора. Хајде да видимо како ове функције у потпуности користе Неурал Енгине.

Ваш иПхоне може да чита текст на вашим фотографијама

Прва од функција иОС 15 која је вриштала „Машинско учење!“ за мене је био Ливе Тект. Ливе Тект је функција у иОС-у 15 која омогућава вашем иПхоне-у да чита текст у вашој апликацији Фотографије.

То значи да можете да сликате било шта са одштампаним текстом, отворите ту фотографију у апликацији Фотографије и моћи ћете да ступите у интеракцију са тим текстом. Можете да додирнете бројеве телефона на фотографијама, копирате и налепите текст са слика докумената и користите траку за претрагу у Фотографијама да бисте тражили текст на фотографијама.

Ова функција такође омогућава вашем иПхоне-у да чита рукопис на вашим фотографијама. Такође ради и са апликацијом Камера, тако да можете да комуницирате са текстом у тражилу камере вашег иПхоне-а у реалном времену.

Без машинског учења, оваква функција би била скоро немогућа. Због тога ови онлајн безбедносни тестови користе искривљени текст да би доказали да нисте робот. Зато што је за програм тешко да чита текст.

Не само да је функција паметног телефона која може да чита текст без обзира на фонт, стил, боју или угао, у реалном времену изузетно корисна, већ је и одлична употреба мобилног машинског учења.

Функције иОС 15 ће омогућити вашем иПхоне-у да препозна и идентификује садржај на вашим фотографијама

Још једна од нових функција иОС 15 која користи Неурал Енгине је препознавање објеката у фотографијама. Ова функција функционише слично као и Ливе Тект, осим што препознаје објекте, а не текст. Пример који је Аппле користио је да можете да усмерите своју иПхоне камеру на пса, а ваш иПхоне не само да ће препознати да је то пас, већ и која је раса пса.

иПхоне је већ неко време био у могућности да извлачи лица са ваших фотографија, што је облик препознавања објеката, иако ограничен. Ово проширење те могућности омогућиће вашем иПхоне-у да брзо погледа неструктуриране податке фотографије и идентитетских објеката у њој.

Ово је импресивније (и теже) од живог текста јер ће обрасци које Неурал Енгине треба да тражи бити далеко мање доследни. Ваш иПхоне ће морати да донесе хиљаде (ако не и стотине хиљада) одлука да би могао да доноси такве одлуке.

Да би се идентификовала раса пса, прво ће морати да се види да је пас посебан објекат из позадине, затим ће морати да повуче границе око тог пса, а затим изаберите различите карактеристике тог пса док не утврди да је пас, а затим извуците још више карактеристика да одредите о којој врсти пса се ради је.

Таква врста рачунарства је могућа само са процесором за машинско учење.

Сећања у фотографијама ће бити софистициранија и „стварна” осећања

Још једна функција у апликацији Фотографије која ће добити дораду Неурал Енгине-а су Мемориес.

Ова функција снима фотографије из одређеног времена (обично одређеног дана) и комбинује их у кратак видео који можете да видите. Идеја је да Мемориес аутоматски креира видео колаже ваших одмора, забава, годишњица и још много тога.

Сећања су још једна од карактеристика иОС 15 које су значајно побољшале квалитет. Аутоматски ће укључити музику из ваше Аппле Мусиц библиотеке у ваше успомене.

Музика коју фотографије одаберу не само да ће имати одговарајући темпо са видео снимком, већ би требало да одговара и садржају видеа. На пример, слике са журке би требало да буду упарене са енергичном музиком, док би промишљеније фотографије требало да имају приложену спорију музику.

Иако ову функцију не користим често, компјутерска наука иза ње је изузетно фасцинантна. Комбинује препознавање објеката и пејзажа, групише фотографије на основу садржаја, локације и временског периода, одваја просечне свакодневне фотографије од фотографија везаних за посебан живот догађаје, повлачи везу између расположења тих фотографија и расположења песме која вам се допада, упарује их у презентацију пројекције слајдова и времена те презентације у ритму музика.

Мемориес је одувек користио Неурал Енгине. А следећа верзија иОС-а је постављена да значајно повећа интелигенцију ове функције.

Обавештења, виџети и режим Не узнемиравај постају све паметнији

Групација иОС 15 функција које користе веће предности Неурал Енгине-а су обавештења, виџети и Не узнемиравај.

Виџети су почели да користе машинско учење у иОС-у 14, али сам мислио да би било корисно да их додам овде. Смарт Стацкс вам омогућавају да ставите виџете један на други. Ваш иПхоне ће их затим листати током дана, показујући вам шта мисли да је најрелевантнији виџет у било ком тренутку.

Ове врсте одлука се доносе анализом вашег понашања у различито доба дана и након коришћења одређених апликација. Неурал Енгине узима ове податке, тумачи их, а затим приказује ваше виџете у складу са овим подацима.

Нове функције иОС 15 су постављене да раде веома слично.

Обавештења ће сада бити груписана у резимеу обавештења, тако да не видите мање важна обавештења која цео дан гомилају ваш закључани екран. Можете да прилагодите функцију Резиме обавештења или да дозволите Неурал Енгине-у да то ради уместо вас.

Не узнемиравај добија нову компоненту, Фокус, која ће сакрити одређена обавештења на основу тога како су категорисана. Фоцусом можете управљати ручно или га пустити да сам управља интелигентно.

Све три ове функције ће користити изузетно сличне метрике машинског учења за предвиђање и прилагођавање вашем понашању.

Нове функције иОС 15 ће олакшати добијање упутстава помоћу камере

Ово је једна од функција иОС 15 за коју нисам чуо толико узбуђења колико сам очекивао. И даље сматрам да је то веома интересантно, посебно у контексту машинског учења.

У Мапама у иОС-у 15, моћи ћете да усмеравате камеру док ходате. То ће вам омогућити да видите АР правце пројектоване на ваше окружење. Рецимо да покушавате да одете у биоскоп и нисте сигурни којим путем да кренете. Моћи ћете да усмерите свој иПхоне и видите упутства која су истакнута на улицама и зградама око вас.

Проширена стварност на иПхоне-у је омогућена укључивањем Неурал Енгине-а, тако да ова функција своје порекло дугује машинском учењу. Али ова функција такође комбинује АР са препознавањем слике и откривањем локације како би пружила невероватно искуство у реалном времену.

Иако ће бити доступна само у неколико градова по лансирању, ова функција указује на будућност у којој вам машинско учење на иПхоне-у не помаже само у позадини. Моћи ће вам помоћи да одмах постигнете ствари које су изван ваше зоне удобности или способности.

Сири ће обавити више обраде на вашем уређају

Последња од функција иОС 15 која користи веће предности Неурал Енгине-а је Сири. Сири је одувек користила машинско учење. Али то учење још није максимално искористило потенцијал Неурал Енгинеа.

То је зато што је Сири користио обраду ван уређаја. То значи да ваш иПхоне слуша ваш захтев, шаље га Аппле серверу који обрађује захтев, а затим га шаље назад Сири на вашем иПхоне-у да реагује на тај захтев.

Разлог зашто је то учињено је да се повећа снага Сири изнад онога што иПхоне може да подржи. У иОС-у 15, међутим, ово ће се променити. Сири ће сада извршити већину своје обраде на вашем иПхоне-у. То би требало да учини Сири бржим, паметнијим и поузданијим.

Мислим да ће ово ажурирање вероватно захтевати најмање помоћи Неурал Енгине-а. Отуда и његово постављање на крај листе. Међутим, вреди напоменути, јер указује на то да Сири постаје паметнија. Способнији помоћник који користи хардвер на иПхоне-у, а не удаљени сервер.

Шта може Неурал Енгине без надолазећих функција иОС 15?

И то је то! Колико могу да кажем, то су сви нови начини на које ће функције иОС 15 почети да користе сирову снагу Неурал Енгине-а.

Желео сам да укључим кратак одељак на крају овог поста који истиче неке од ствари које Неурал Енгине већ ради на вашем иПхоне-у. На тај начин можете да упоредите где је данас са оним где ће бити за неколико месеци.

Надамо се да ће вам ово помоћи да цените предстојеће промене на иОС-у у новом светлу и боље разумете како функције попут ове долазе на ваш иПхоне.

Неурал Енгине вам помаже да направите боље слике

Рекао бих да је највећа употреба Неурал Енгине-а на иПхоне-у од 2017. године у фотографији. Сваке године Аппле показује како ће најновији иПхоне моћи да изврши више фотографских прорачуна од претходне генерације. Аппле каже ствари попут: „Процесор слике прави Кс милиона прорачуна/одлука по фотографији“.

Ово се односи на број прорачуна које Неурал Енгине прави кад год снимите фотографију. Гледа на боје, осветљење, контрастне елементе, предмет, позадину и мноштво других фактора. И одређује како најбоље оценити, прилагодити, апсорбовати и уравнотежити све ове елементе у трену.

Управо је овај процес машинског учења омогућио ствари као што су портретни режим и дубока фузија. Портретни режим може да вас изолује од ваше позадине, а Дееп Фусион је учинио ноћне фотографије на иПхоне-у знатно бољим него раније.

Неурал Енгине је критичан за камеру вашег иПхоне-а због хардверских ограничења. Због величине иПхоне-а, камера и њена сочива су ограничена у могућностима. Рачунарство и машинско учење које се дешавају када снимите фотографију чини вашу иПхоне фотографију у рангу са фотографијама са професионалног ДСЛР-а.

Машинско учење чини ФацеИД брзим, сигурним и прилагодљивим

Наравно, не можемо говорити о Неурал Енгинеу, а да не помињемо зашто је створен.

Тако је – Неурал Енгине је додат на иПхоне Кс да би ФацеИД био могућ. У случају да нисте знали, ФацеИД је једна од најсофистициранијих и најсложенијих карактеристика вашег иПхоне-а.

ФацеИД не упоређује само 2Д слику вашег лица на селфи камери са другом 2Д сликом вашег лица. Гледа 3Д мапу вашег лица, прати кретање ваших очију и упоређује је са претходним 3Д скенирањем вашег лица.

ФацеИД то не ради само за мање од две секунде док је ваше лице у покрету, делимично заклоњено и под различитим угловима. Такође се прилагођава начину на који се ваше лице суптилно мења из дана у дан. Зато можете пустити браду, остарити и променити се на друге суптилне начине без потребе да поново скенирате своје лице.

ФацеИД и Неурал Енгине проучавају и уче са вашег лица сваки пут када откључате свој иПхоне. Без Неурал Енгине-а, ФацеИД не би био ни упола брз, безбедан или поуздан као данас.

Неурал Енгине игра кључну улогу у АР искуствима на иПхоне-у

Коначно, Неурал Енгине игра кључну улогу у АР-у на иПхоне-у. За оне који не знају, проширена стварност (АР) је функција која пројектује 3Д моделе на ваше окружење кроз тражило ваше иПхоне камере. Ово можете сами да тестирате користећи апликацију Меасуре на свом иПхоне-у.

Ова врста функције комбинује ствари као што су препознавање слика, просторна свест и памћење. Све то захтева снагу коју Неурал Енгине доноси на сто.

На срећу, многе нове функције иОС 15 су постављене да учине АР на иПхоне-у још моћнијим. То је тренд за који се надам да ће се наставити, јер мислим да АР има потенцијал да буде једна од најинтегративнијих карактеристика мобилних уређаја.

Надолазеће функције иОС 15 указују на паметнију будућност за иПхоне

Све у свему, веома сам узбуђен што ће нам ове функције иОС 15 дати увид у будућност. Постоји неколико аспеката иПхоне-а који се осећају мало недовољно искоришћеним, али мало их је толико колико је био Неурал Енгине. Једва чекам да се ово промени, и надам се да ћете и ви!

За више вести, увида и савета о свему што је Аппле, погледајте остатак блог АпплеТоолБок!