Sony ogłosiło pierwsze na świecie czujniki obrazu w kamerach z wyposażonym przetwarzaniem AI w postaci IMX500 i IMX501.
Sony jest największym graczem na rynku czujników obrazu do kamer w smartfonach. Przykłady popularnych czujników obejmują 48 MP IMX586, który w 2019 r. był używany w oszałamiającej liczbie telefonów z różnych przedziałów cenowych. The IMX586 został zastąpiony przez 64 MP IMX686. Firma nie zajmuje się oczywiście wyłącznie czujnikami obrazu w smartfonach. Posiada niezwykle udaną ofertę wysokiej klasy aparatów bezlusterkowych, które często uważane są za złoty standard. Nieustające tempo innowacji nie wykazuje oznak spowolnienia, ponieważ ogłosiła właśnie nadchodzącą premierę swoich pierwszych czujników obrazu z przetwarzaniem AI, odpowiednio IMX500 i IMX501.
Sony IMX500 i IMX501 to nadchodzące dwa modele inteligentnych czujników wizyjnych. Sony twierdzi, że są to pierwsze na świecie przetworniki obrazu wyposażone w funkcję przetwarzania AI. Firma twierdzi, że włączenie funkcji przetwarzania AI w sam czujnik obrazu umożliwia szybkie przetwarzanie brzegowej sztucznej inteligencji i ekstrakcję tylko niezbędnych danych. Zmniejsza to opóźnienia w transmisji danych, rozwiązuje problemy związane z prywatnością oraz zmniejsza zużycie energii i koszty komunikacji w porównaniu z korzystaniem z usług w chmurze.
Należy pamiętać, że te dwa czujniki nie są przeznaczone do aparatów telefonicznych. Zamiast tego aplikacje znajdują zastosowanie w branży handlu detalicznego i sprzętu przemysłowego, a także przyczyniają się do tworzenia „optymalnych systemów” łączących się z chmurą.
Dlaczego przetwarzanie AI jest zintegrowane z samym czujnikiem? Sony wyjaśnia, że rozpowszechnienie Internetu Rzeczy spowodowało, że wszystkie typy urządzeń są podłączone do chmury, co sprawia, że powszechne systemy przetwarzania informacji, w których informacje uzyskane z takich urządzeń są przetwarzane za pośrednictwem sztucznej inteligencji na Chmura. Problemem związanym z takim podejściem są zwiększone opóźnienia w transmisji danych utrudniające przetwarzanie informacji w czasie rzeczywistym; obawy użytkowników dotyczące bezpieczeństwa związane z przechowywaniem danych osobowych w chmurze; oraz inne problemy, takie jak zwiększone zużycie energii i koszty komunikacji, które wiążą się z usługami w chmurze.
IMX500 i IMX501 mają konfigurację stosową, która składa się z układu pikselowego i układu logicznego. Funkcje analizy i przetwarzania obrazu AI są wbudowane w układ logiczny. Sygnał odbierany przez chip pikselowy jest przetwarzany przez sztuczną inteligencję w czujniku, co eliminuje potrzebę stosowania wysokowydajnych procesorów lub pamięci zewnętrznej. To z kolei umożliwia rozwój brzegowych systemów AI.
Czujnik wysyła metadane zamiast informacji o obrazie, co skutkuje zmniejszeniem objętości danych i rozwiązuje problemy związane z prywatnością. Możliwości sztucznej inteligencji umożliwiają zastosowania takie jak śledzenie obiektów w czasie rzeczywistym z szybkim przetwarzaniem AI. Można wybierać różne modele AI, przepisując pamięć wewnętrzną zgodnie z wymaganiami użytkownika lub warunkami miejsca, w którym system jest używany.
Czip pikselowy tych czujników ma BSI i ma około 12,3 MP efektywnego do przechwytywania informacji. Format optyczny to 1/2,3 cala (przekątna 7,857 mm) i rozmiar piksela 1,55 mikrona. Mają zestaw filtrów kolorów Bayer. Czujniki umożliwiają nagrywanie wideo w rozdzielczości 4K przy 60 kl./s bez przetwarzania AI oraz nagrywanie wideo 4K przy 30 kl./s z przetwarzaniem AI. Oprócz konwencjonalnego obwodu sterującego czujnika obrazu, w lokalnym chipie znajduje się także oryginalny procesor DSP firmy Sony. DSP jest dedykowany do przetwarzania sygnału AI oraz pamięci dla modelu AI. Dzięki temu nie są potrzebne wysokowydajne procesory i pamięć zewnętrzna, co przynosi korzyści brzegowym systemom AI.
Sony objaśnia działanie czujników obrazu. Sygnały odbierane przez chip pikselowy są przepuszczane przez dostawcę usług internetowych, a przetwarzanie AI odbywa się na etapie procesu na komputerze układ logiczny, w którym wyodrębnione informacje są przesyłane w formie metadanych, co zmniejsza ilość danych obsługiwane. Same informacje o obrazie nie są przesyłane, co jest korzystne ze względu na bezpieczeństwo i prywatność. Użytkownicy mogą wybrać format wyjściowy danych, w tym obrazy w formacie ISP (YUV/RGB) i obrazy wyodrębniania obszarów specyficznych dla ROI (regionu zainteresowania).
Sony promuje także prędkość. Mówi, że gdy film jest nagrywany przy użyciu konwencjonalnego czujnika obrazu, konieczne jest przesłanie danych dla każdej osoby ramkę wyjściową do przetwarzania AI, co skutkuje zwiększoną transmisją danych i utrudnia osiągnięcie czasu rzeczywistego wydajność. Z kolei nowe czujniki IMX wykonują przetwarzanie ISP i szybkie przetwarzanie AI (3,1 ms przetwarzanie dla MobileNet V1*2) na chipie logicznym, kończąc w ten sposób cały proces w jednym filmie rama. To z kolei umożliwia, według Sony, „precyzyjne śledzenie obiektów w czasie rzeczywistym podczas nagrywania wideo”.
Wreszcie użytkownicy mogą zapisywać wybrane modele AI we wbudowanej pamięci i aktualizować je zgodnie z wymaganiami lub warunkami lokalizacji, w której system jest używany. Firma Sony podaje przykład sytuacji, gdy w sklepie detalicznym zainstalowano wiele kamer wykorzystujących ten produkt, a jeden typ kamery może być używany z wszechstronnością w różnych lokalizacjach, terminach i warunkach cele. Gdy kamera jest zainstalowana przy wejściu do obiektu, można za jej pomocą zliczać liczbę osób wchodzących na teren obiektu; zamontowany na półce sklepowej może służyć do wykrywania braków magazynowych; umieszczony na suficie może być używany do tworzenia map cieplnych odwiedzających sklep i tak dalej. Model AI w danej kamerze można przepisać z modelu służącego do wykrywania map cieplnych na model służący do identyfikacji zachowań konsumentów.
Jak się wydaje, zapowiedź nadchodzącej premiery czujników obrazu jest rzeczywiście znaczącym osiągnięciem. Ma to jednak swoje konsekwencje dla nadzoru. Obecnie czujniki są przeznaczone do rozwiązań o niskim poborze mocy, takich jak kamery bezpieczeństwa. Być może za kilka lat aparaty w smartfonach będą wykorzystywać tę technologię, ale na razie nie jest to przewidywane ze względu na ograniczenia, ponieważ wbudowany układ logiczny nie jest w stanie dorównać wszechstronności oferowanej przez nowoczesnych dostawców usług internetowych (takich jak Dostawca usług Spectra w układach Qualcomm Snapdragon). Obecnie aparaty w smartfonach działają inaczej, gdzie czujnik sam w sobie jest stosunkowo głupi i działa z inteligentnym dostawcą usług internetowych znajdującym się w ramach SoC telefonu. Całą pracę związaną z przetwarzaniem obrazu wykonuje dostawca usług internetowych, co oznacza, że faktyczna rola samego czujnika jest dość ograniczona w nowoczesnych aparatach w smartfonach (przetwarzanie obrazu jest ważniejsze niż posiadanie świetnego sprzętu do robienia zdjęć jakość). Fotografia obliczeniowa to nowe modne hasło, ale w świecie przemysłowym IMX500 i IMX501 próbują wnieść chwałę przetwarzania AI do samych czujników.
Wprowadzenie modeli IMX500 i IMX501 zaplanowano na przyszły rok. Sony planuje udostępnienie próbek produktów odpowiednio w kwietniu i czerwcu 2020 r. Aby uzyskać więcej informacji na temat ich specyfikacji, czytelnikom zaleca się sprawdzenie łącza źródłowego.
Źródło: Sony