IOS 15 기능은 마침내 iPhone의 신경 엔진을 활용합니다

시청하면서 WWDC21 기조연설 몇 주 전에 나는 반복되는 주제를 알아차리기 시작했습니다. 그리고 그 주제는 곧 출시될 iOS 15 기능 중 일부가 iPhone의 Neural Engine을 활용하는 것으로 보인다는 것입니다.

Neural Engine은 2017년 iPhone X 출시 이후 iPhone에 탑재되었습니다. 그러나 우리 대부분은 최초 출시 이후 4년 동안 이 프로세서의 효과를 전혀 느끼지 못했다고 생각합니다.

WWDC21은 오랫동안 iOS 15가 최초의 미래형 iOS 업데이트라는 느낌을 계속 주었습니다. 그리고 이에 대한 Apple의 공식 확인은 없지만 Apple이 마침내 Neural Engine을 최대한 활용하기 때문이라고 생각합니다.

이 게시물에서는 Neural Engine이 무엇인지 간략하게 설명한 다음 이 프로세서를 최대한 활용하는 것으로 보이는 모든 새로운 iOS 15 기능에 대해 알아보겠습니다. 끝에서 iOS가 현재 Neural Engine을 사용하는 주요 방법을 다루므로 곧 출시될 iOS 15 릴리스와 비교할 수 있습니다.

좋아, 들어가 보자!

iPhone의 신경 엔진이란 무엇입니까?

신경 엔진은 기계 학습 작업을 처리하는 iPhone X 및 이후 모델의 프로세서입니다. 머신 러닝을 구동하는 이 프로세서의 능력은 이 프로세서를 매우 중요하게 만들기 때문에 이 프로세서를 이해하려면 머신 러닝을 이해하는 것이 중요합니다.

기계 학습은 프로그래머와 독립적으로 실행할 코드를 결정하는 소프트웨어를 말합니다.

일반적으로 소프트웨어는 매우 구체적이고 통제된 데이터로 작업해야 합니다. 이것이 바로 Siri가 한 구절로 당신의 의도를 이해하지만 다른 구절로 이해하지 못하는 이유입니다. 각 구절의 의도가 동일하더라도 말입니다. Siri는 특정 구조로 데이터를 가져와야 합니다. 그렇지 않으면 실패합니다.

머신 러닝은 이를 바꾸는 방법입니다. 이를 통해 소프트웨어는 덜 구조화된 데이터를 가져와 계속 처리할 수 있습니다. Siri가 이상한 구문의 요청을 이해했다는 사실에 놀란 적이 있다면 아마도 Siri의 기계 학습 기능이 향상되었기 때문일 것입니다.

Neural Engine은 이름에서 알 수 있듯이 이를 가능하게 하는 휴대전화의 엔진입니다.

나는 이 개념들이 이해하기 조금 어려울 수 있다는 것을 알고 있으며, 내가 그것들을 설명하는 데 최선을 다하지 못할 수도 있다는 것을 알고 있습니다. 나는 이 포스트에 대해 짧고 간단하게 유지하려고 노력하고 있지만, 더 깊은 다이빙을 원하신다면 다음을 확인해야 합니다. 이 게시물!

iOS 15 기능이 신경 엔진을 활용하기 시작하는 방법

iPhone의 Neural Engine의 문제는 강력하지 않다는 것이 아니라 iPhone에서 그 성능을 최대한 활용하지 못한다는 것입니다. 지난 4년 동안 증강 현실과 같은 제한된 경우에만 작동했습니다. 유용하지만 아직 iPhone에 혁명을 일으키지 않았습니다.

여러 iOS 15 기능이 Neural Engine의 보다 혁신적인 미래를 가리키고 있다고 생각합니다. 아래에서 설명할 새로운 기능 중 어떤 것도 이 프로세서 없이는 불가능할 것이라고 생각합니다. 이제 이러한 기능이 Neural Engine을 최대한 활용하는 방법을 살펴보겠습니다.

iPhone은 사진의 텍스트를 읽을 수 있습니다.

"머신 러닝!"을 외친 iOS 15 기능 중 첫 번째 기능 나에게 라이브 텍스트였습니다. 라이브 텍스트는 iPhone이 사진 앱에서 텍스트를 읽을 수 있도록 하는 iOS 15의 기능입니다.

즉, 인쇄된 텍스트가 있는 모든 것을 사진으로 찍고 사진 앱에서 해당 사진을 열면 해당 텍스트와 상호 작용할 수 있습니다. 사진에 있는 전화번호를 탭하고 문서 사진에서 텍스트를 복사하여 붙여넣고 사진의 검색 창을 사용하여 사진에서 텍스트를 검색할 수 있습니다.

이 기능을 사용하면 iPhone에서 사진에 있는 손글씨를 읽을 수도 있습니다. 카메라 앱과도 작동하므로 iPhone 카메라의 뷰파인더에 있는 텍스트와 실시간으로 상호 작용할 수 있습니다.

머신 러닝이 없었다면 이와 같은 기능은 거의 불가능했을 것입니다. 이것이 온라인 보안 테스트에서 왜곡된 텍스트를 사용하여 로봇이 아님을 증명하는 이유입니다. 프로그램이 텍스트를 읽을 수 있다는 것이 어렵기 때문입니다.

글꼴, 스타일, 색상, 각도에 관계없이 실시간으로 텍스트를 읽을 수 있는 스마트폰 기능은 매우 유용할 뿐만 아니라 모바일 머신 러닝의 탁월한 활용입니다.

iOS 15 기능을 사용하면 iPhone에서 사진의 콘텐츠를 인식하고 식별할 수 있습니다.

Neural Engine을 사용하는 iOS 15의 또 다른 기능은 사진의 객체 인식입니다. 이 기능은 텍스트가 아닌 개체를 인식한다는 점을 제외하고 라이브 텍스트와 유사하게 작동합니다. Apple이 사용한 예는 iPhone 카메라로 개를 가리킬 수 있다는 것입니다. 그러면 iPhone은 개뿐 아니라 어떤 품종의 개인지도 인식합니다.

iPhone은 잠시 동안 사진에서 얼굴을 추출할 수 있었습니다. 이는 제한적이긴 하지만 객체 인식의 한 형태입니다. 이 기능의 확장을 통해 iPhone은 사진의 구조화되지 않은 데이터와 그 안에 있는 ID 개체를 빠르게 볼 수 있습니다.

Neural Engine이 찾아야 하는 패턴이 훨씬 덜 일관되기 때문에 이것은 라이브 텍스트보다 더 인상적이고 어렵습니다. iPhone은 그런 결정을 내리기 위해 수천(수십만은 아니더라도)의 결정을 내려야 합니다.

개 품종을 식별하려면 먼저 개가 배경과 구별되는 개체인지 확인한 다음 해당 개 주위에 경계를 그려야 합니다. 그것이 개임을 결정할 수 있을 때까지 그 개의 뚜렷한 특징을 골라낸 다음, 어떤 종류의 개인지 결정하기 위해 더 많은 특징을 꺼냅니다. 이다.

그런 종류의 컴퓨팅은 기계 학습 프로세서에서만 가능합니다.

사진 속 추억은 더욱 정교하고 리얼한 느낌이 들 것입니다.

Neural Engine을 수정하게 될 사진 앱의 또 다른 기능은 추억입니다.

이 기능은 특정 시간(보통 특정 날짜)의 사진을 찍어 짧은 비디오로 결합하여 볼 수 있도록 합니다. Memories는 휴가, 파티, 기념일 등의 비디오 콜라주를 자동으로 만듭니다.

추억은 품질이 크게 향상되는 iOS 15 기능 중 하나입니다. Apple Music 보관함의 음악을 추억에 자동으로 통합합니다.

Photos가 선택한 음악은 비디오에 적절하게 맞춰질 뿐만 아니라 비디오의 내용과도 일치해야 합니다. 예를 들어, 파티의 이미지는 활기찬 음악과 짝을 이루어야 하고, 사려 깊은 사진에는 느린 음악이 첨부되어야 합니다.

이 기능을 자주 사용하지는 않지만 그 뒤에 숨겨진 컴퓨터 과학은 매우 매력적입니다. 사물과 풍경 인식을 결합하고 내용, 위치, 기간에 따라 사진을 그룹화하고 일상적인 사진과 특별한 삶에 묶인 사진을 분리합니다. 이벤트, 그 사진의 분위기와 좋아하는 노래의 분위기 사이의 연결을 그려 슬라이드쇼 프레젠테이션에서 짝을 이루고 프레젠테이션 시간을 음악의 비트에 맞춰 음악.

Memories는 항상 신경 엔진을 사용했습니다. 그리고 iOS의 다음 버전은 이 기능의 인텔리전스를 상당히 높일 예정입니다.

알림, 위젯 및 방해 금지 모드가 더 똑똑해지고 있습니다.

Neural Engine을 더 많이 활용하는 iOS 15 기능 그룹은 알림, 위젯 및 방해 금지입니다.

위젯은 iOS 14부터 머신러닝을 사용하기 시작했는데 여기에 추가하면 도움이 될 것 같았습니다. 스마트 스택을 사용하면 위젯을 서로 위에 놓을 수 있습니다. 그러면 iPhone은 하루 종일 위젯을 넘겨보고 주어진 시간에 가장 관련성이 높은 위젯이 무엇이라고 생각하는지 보여줍니다.

이러한 종류의 결정은 하루 중 다양한 시간에 특정 앱을 사용한 후의 행동을 분석하여 이루어집니다. Neural Engine은 이 데이터를 가져와 해석한 다음 이 데이터에 따라 위젯을 표시합니다.

새로운 iOS 15 기능은 매우 유사하게 작동하도록 설정되어 있습니다.

이제 알림이 알림 요약으로 그룹화되므로 하루 종일 잠금 화면을 가득 채우는 덜 중요한 알림이 표시되지 않습니다. 알림 요약 기능을 사용자 정의하거나 Neural Engine에서 처리하도록 할 수 있습니다.

Do Not Disturb는 분류 방식에 따라 특정 알림을 숨길 수 있는 새로운 구성 요소인 Focus를 제공합니다. Focus를 수동으로 관리하거나 스스로 지능적으로 관리하도록 할 수 있습니다.

이 세 가지 기능은 모두 매우 유사한 기계 학습 메트릭을 사용하여 행동을 예측하고 적응합니다.

새로운 iOS 15 기능으로 카메라로 더 쉽게 길찾기

이것은 내가 기대했던 것만큼 흥분하지 않은 iOS 15 기능 중 하나입니다. 특히 머신 러닝 맥락에서 여전히 매우 흥미롭습니다.

iOS 15의 지도에서는 ​​걷는 동안 카메라를 가리킬 수 있습니다. 그러면 환경에 투영된 AR 방향을 볼 수 있습니다. 영화를 보러 가려고 하는데 어느 길을 가야 할지 잘 모르겠다고 가정해 봅시다. iPhone으로 주변을 가리키면 주변의 거리와 건물에 강조 표시된 방향을 볼 수 있습니다.

iPhone의 증강 현실은 Neural Engine을 포함하여 가능하게 되었기 때문에 이 기능의 기원은 기계 학습입니다. 그러나 이 기능은 AR을 이미지 인식 및 위치 감지와 결합하여 놀라운 실시간 경험을 제공합니다.

출시 시 일부 도시에서만 사용할 수 있지만 이 기능은 iPhone의 기계 학습이 백그라운드에서 도움이 되지 않을 미래를 가리킵니다. 그것은 당신의 안전 지대나 능력 밖의 일을 즉시 달성하는 데 도움이 될 것입니다.

Siri가 기기에서 더 많은 처리 작업을 수행합니다.

Neural Engine을 더 많이 활용하는 iOS 15의 마지막 기능은 Siri입니다. Siri는 항상 기계 학습을 사용해 왔습니다. 그러나 그 학습은 아직 신경 엔진의 잠재력을 최대한 활용하지 못했습니다.

Siri가 기기 외부 처리를 사용했기 때문입니다. 즉, iPhone이 사용자의 요청을 듣고 요청을 처리하는 Apple 서버로 보낸 다음 해당 요청을 처리하기 위해 iPhone의 Siri로 다시 보냅니다.

이렇게 한 이유는 iPhone이 지원할 수 있는 것 이상으로 Siri의 성능을 높이기 위함이었습니다. 그러나 iOS 15에서는 이것이 변경되도록 설정되어 있습니다. 이제 Siri가 iPhone에서 대부분의 처리를 수행합니다. 그것은 Siri를 더 빠르고, 더 똑똑하고, 더 안정적으로 만들 것입니다.

이 업데이트는 아마도 Neural Engine의 도움이 가장 적게 필요할 것이라고 생각합니다. 따라서 목록의 끝에 배치됩니다. 그러나 Siri가 더 똑똑해지고 있다는 점에서 주목할 가치가 있습니다. 멀리 떨어진 서버가 아닌 iPhone의 하드웨어를 사용하여 더 유능한 도우미.

다가오는 iOS 15 기능 없이 Neural Engine은 무엇을 할 수 있습니까?

그리고 그게 다야! 내가 말할 수 있는 한, 이것이 iOS 15 기능이 Neural Engine의 원시 기능을 사용하기 시작하는 모든 새로운 방법입니다.

이 게시물 끝에 Neural Engine이 이미 iPhone에서 수행하는 작업을 강조하는 간단한 섹션을 포함하고 싶었습니다. 그렇게 하면 현재의 위치와 몇 개월 후의 위치를 ​​비교할 수 있습니다.

바라건대 이것은 새로운 관점에서 iOS에 대한 다가오는 변경 사항을 이해하고 이와 같은 기능이 iPhone에 어떻게 제공되는지 더 잘 이해하는 데 도움이 될 것입니다.

Neural Engine은 더 나은 사진을 찍을 수 있도록 도와줍니다.

2017년 이후로 iPhone에서 Neural Engine을 가장 많이 사용한 것은 사진 촬영이었습니다. 매년 Apple은 최신 iPhone이 이전 세대보다 더 많은 사진 계산을 수행할 수 있는 방법을 보여줍니다. Apple은 "이미지 프로세서가 사진당 X백만 계산/결정을 내리고 있습니다"와 같은 것을 말합니다.

이것은 사진을 찍을 때마다 Neural Engine이 수행하는 계산의 수를 나타냅니다. 색상, 조명, 대조 요소, 주제, 배경 및 기타 여러 요소를 살펴봅니다. 그리고 이 모든 요소를 ​​한 번에 가장 잘 평가하고, 조정하고, 흡수하고, 균형을 맞추는 방법을 결정합니다.

세로 모드 및 딥 퓨전과 같은 기능을 가능하게 한 것은 바로 이 기계 학습 프로세스입니다. 인물 사진 모드는 사용자를 배경에서 분리할 수 있으며 Deep Fusion은 iPhone의 야간 사진을 이전보다 훨씬 더 좋게 만들었습니다.

Neural Engine은 하드웨어 제약으로 인해 iPhone 카메라에 매우 중요합니다. iPhone의 크기 때문에 카메라와 렌즈의 기능은 제한적입니다. iPhone 사진을 전문 DSLR의 사진과 동등하게 만드는 것은 사진을 찍을 때 발생하는 컴퓨팅 및 기계 학습입니다.

머신 러닝을 통해 FaceID를 빠르고 안전하며 적응력 있게 만들 수 있습니다.

물론 신경 엔진이 만들어진 이유를 언급하지 않고는 신경 엔진에 대해 이야기할 수 없습니다.

맞습니다. FaceID를 가능하게 하기 위해 Neural Engine이 iPhone X에 추가되었습니다. 모르는 경우를 대비하여 FaceID는 iPhone에서 가장 정교하고 복잡한 기능 중 하나입니다.

FaceID는 셀카 카메라에 있는 얼굴의 2D 이미지를 다른 얼굴의 2D 이미지와 비교하지 않습니다. 그것은 당신의 얼굴의 3D 지도를 보고, 당신의 눈 움직임을 추적하고, 당신의 얼굴의 이전 3D 스캔과 비교합니다.

FaceID는 얼굴이 움직이고 부분적으로 가려져 있고 다양한 각도에서 2초 이내에 이 작업을 수행하지 않습니다. 그것은 또한 당신의 얼굴이 날마다 미묘하게 변화하는 방식에 적응합니다. 그렇기 때문에 얼굴을 다시 스캔할 필요 없이 수염을 기르고 늙고 다른 미묘한 방식으로 변화할 수 있습니다.

FaceID와 Neural Engine은 iPhone을 잠금 해제할 때마다 사용자의 얼굴에서 학습하고 학습합니다. Neural Engine이 없었다면 FaceID는 오늘날만큼 빠르거나, 안전하거나, 안정적이지 않았을 것입니다.

Neural Engine은 iPhone의 AR 경험에서 중요한 역할을 합니다.

마지막으로 Neural Engine은 iPhone의 AR에서 핵심적인 역할을 합니다. 모르는 사람들을 위해 증강 현실(AR)은 iPhone 카메라의 뷰파인더를 통해 3D 모델을 환경에 투영하는 기능입니다. iPhone에서 측정 앱을 사용하여 직접 테스트할 수 있습니다.

이러한 종류의 기능은 이미지 인식, 공간 인식 및 메모리와 같은 것을 결합합니다. 이 모든 작업에는 Neural Engine이 테이블에 제공하는 성능이 필요합니다.

다행히도 많은 새로운 iOS 15 기능이 iPhone의 AR을 더욱 강력하게 만들도록 설정되어 있습니다. AR이 모바일 장치의 가장 필수적인 기능 중 하나가 될 가능성이 있다고 생각하기 때문에 계속되기를 바라는 추세입니다.

곧 출시될 iOS 15 기능은 iPhone의 더 스마트한 미래를 가리킵니다.

전반적으로, 저는 이러한 iOS 15 기능이 우리에게 엿볼 수 있는 미래에 대해 매우 흥분됩니다. iPhone에는 활용도가 다소 떨어지는 느낌이 드는 여러 측면이 있지만 Neural Engine만큼 많이 활용되지는 않습니다. 나는 이 변화를 기대하고, 당신도 그렇게 되기를 바랍니다!

Apple에 대한 더 많은 뉴스, 통찰력 및 팁을 보려면 나머지 부분을 확인하십시오. AppleToolBox 블로그!