Sony-მ გამოაცხადა მსოფლიოში პირველი კამერის გამოსახულების სენსორები აღჭურვილი AI დამუშავებით IMX500 და IMX501 სახით.
Sony არის ყველაზე დიდი მოთამაშე, როდესაც საქმე ეხება სმარტფონებისთვის კამერის გამოსახულების სენსორების მიწოდებას. პოპულარული სენსორების მაგალითებია 48MP IMX586, რომელსაც იყენებდნენ დამაბნეველი ტელეფონები, ფასების დიაპაზონში 2019 წელს. The IMX586 შეცვალა 64MP IMX686. კომპანია, რა თქმა უნდა, არ ეხება მხოლოდ სმარტფონის გამოსახულების სენსორებს. მას აქვს პრემიუმ სარკისებური კამერების უაღრესად წარმატებული ხაზი, რომლებიც ხშირად ოქროს სტანდარტად ითვლება. მისი დაუნდობელი ინოვაციების ტემპი არ აჩვენებს შეწყვეტის ნიშანს, რადგან მან ახლა გამოაცხადა გამოსახულების პირველი სენსორების გამოშვება AI დამუშავებით, შესაბამისად, IMX500 და IMX501.
Sony IMX500 და IMX501 არის ინტელექტუალური ხედვის სენსორების ორი მომავალი მოდელი. Sony ამტკიცებს, რომ ისინი არიან მსოფლიოში პირველი გამოსახულების სენსორები, რომლებიც აღჭურვილია AI დამუშავების ფუნქციით. კომპანია ამბობს, რომ თვით გამოსახულების სენსორზე ხელოვნური ინტელექტის დამუშავების ფუნქციონალობის ჩათვლით, საშუალებას იძლევა მაღალსიჩქარიანი AI დამუშავება და მხოლოდ საჭირო მონაცემების ამოღება. ეს ამცირებს მონაცემთა გადაცემის შეყოვნებას, აგვარებს კონფიდენციალურობის პრობლემებს და ამცირებს ენერგიის მოხმარებას და კომუნიკაციის ხარჯებს ღრუბლოვან სერვისებთან შედარებით.
მნიშვნელოვანია აღინიშნოს, რომ ეს ორი სენსორი არ არის განკუთვნილი ტელეფონის კამერებისთვის. ამის ნაცვლად, აპლიკაციები არის საცალო და სამრეწველო აღჭურვილობის ინდუსტრიაში, ასევე ხელს უწყობს "ოპტიმალური სისტემების" შექმნას, რომლებიც აკავშირებენ ღრუბელთან.
რატომ არის AI დამუშავება ინტეგრირებული თავად სენსორთან? Sony განმარტავს, რომ IoT-ის გავრცელების შედეგად ყველა ტიპის მოწყობილობა დაკავშირებულია ღრუბელთან, რაც ქმნის ჩვეულებრივია ინფორმაციის დამუშავების სისტემები, სადაც ასეთი მოწყობილობებიდან მიღებული ინფორმაცია მუშავდება AI-ზე ღრუბელი. ასეთ მიდგომასთან დაკავშირებული პრობლემაა მონაცემთა გადაცემის გაზრდილი შეყოვნება, რაც აფერხებს რეალურ დროში ინფორმაციის დამუშავებას; უსაფრთხოების შეშფოთება მომხმარებლებისგან, რომლებიც დაკავშირებულია პერსონალურად იდენტიფიცირებული მონაცემების ღრუბელში შენახვასთან; და სხვა საკითხები, როგორიცაა ენერგიის მოხმარება და კომუნიკაციის ხარჯები, რომლებიც მოყვება ღრუბლოვან სერვისებს.
IMX500 და IMX501 ახასიათებს დაწყობილი კონფიგურაცია, რომელიც შედგება პიქსელის ჩიპისა და ლოგიკური ჩიპისგან. AI გამოსახულების ანალიზისა და დამუშავების ფუნქციონირება აღჭურვილია ლოგიკურ ჩიპზე. პიქსელის ჩიპის მიერ შეძენილი სიგნალი მუშავდება სენსორზე AI-ის საშუალებით, რაც გამორიცხავს მაღალი ხარისხის პროცესორების ან გარე მეხსიერების საჭიროებას. ეს, თავის მხრივ, საშუალებას აძლევს განავითაროს Edge AI სისტემები.
სენსორი გამოსცემს მეტამონაცემებს სურათის ინფორმაციის ნაცვლად, რაც იწვევს მონაცემთა მოცულობის შემცირებას და აგვარებს კონფიდენციალურობის პრობლემებს. ხელოვნური ინტელექტის უნარი შესაძლებელს ხდის ისეთ აპლიკაციებს, როგორიცაა რეალურ დროში ობიექტების თვალყურის დევნება მაღალსიჩქარიანი AI დამუშავებით. AI-ის სხვადასხვა მოდელების არჩევა შესაძლებელია შიდა მეხსიერების გადაწერით მომხმარებლის მოთხოვნების ან იმ მდებარეობის პირობების მიხედვით, სადაც სისტემა გამოიყენება.
ამ სენსორების პიქსელის ჩიპს აქვს BSI და აქვს დაახლოებით 12.3 ეფექტური მეგაპიქსელი ინფორმაციის გადასაღებად. ოპტიკური ფორმატი არის 1/2.3" (7.857 მმ დიაგონალი) 1.55 მიკრონი პიქსელის ზომით. მათ აქვთ ბაიერის ფერის ფილტრის მასივი. სენსორებს შეუძლიათ 4K 60fps ვიდეოს გადაღება AI დამუშავების გარეშე და 4K 30fps ვიდეოს გადაღება AI დამუშავებით. ადგილობრივი ჩიპი ასევე აღჭურვილია Sony-ს ორიგინალური DSP-ით, გარდა ჩვეულებრივი გამოსახულების სენსორის მუშაობის სქემისა. DSP ეძღვნება AI სიგნალის დამუშავებას, ისევე როგორც მეხსიერებას AI მოდელისთვის. ამასთან, არ არის საჭირო მაღალი ხარისხის პროცესორები და გარე მეხსიერება, რაც სარგებელს მოუტანს Edge AI სისტემებს.
გამოსახულების სენსორების მუშაობის პროცესს ხსნის Sony. პიქსელის ჩიპის მიერ შეძენილი სიგნალები გადის ISP-ის მეშვეობით, ხოლო AI დამუშავება ხდება პროცესის ეტაპზე. ლოგიკური ჩიპი, ამოღებული ინფორმაციის გამოშვებით მეტამონაცემების სახით, რაც ამცირებს მონაცემთა რაოდენობას დამუშავებული. თავად სურათის ინფორმაცია არ არის გამოტანილი, რაც სასარგებლოა უსაფრთხოებისა და კონფიდენციალურობისთვის. მომხმარებლებს შეუძლიათ აირჩიონ მონაცემთა გამომავალი ფორმატი, მათ შორის ISP ფორმატის სურათები (YUV/RGB) და ROI (ინტერესის რეგიონი) კონკრეტული ტერიტორიის ამონაწერის სურათები.
Sony ასევე ხელს უწყობს სიჩქარეს. ნათქვამია, რომ როდესაც ვიდეო ჩაწერილია ჩვეულებრივი გამოსახულების სენსორის გამოყენებით, აუცილებელია თითოეული ინდივიდისთვის მონაცემების გაგზავნა გამომავალი ჩარჩო AI დამუშავებისთვის, რაც იწვევს მონაცემთა გადაცემის გაზრდას და ართულებს რეალურ დროში მიღწევას შესრულება. ახალი IMX სენსორები, თავის მხრივ, ასრულებენ ISP დამუშავებას და მაღალსიჩქარიანი AI დამუშავებას (3.1ms დამუშავება MobileNet V1*2) ლოგიკურ ჩიპზე, რითაც სრულდება მთელი პროცესი ერთ ვიდეოში ჩარჩო. ეს, თავის მხრივ, შესაძლებელს ხდის "მაღალი სიზუსტით, რეალურ დროში თვალყურის დევნება ობიექტებს ვიდეოს ჩაწერისას", Sony-ის თანახმად.
და ბოლოს, მომხმარებლებს შეუძლიათ ჩაწერონ AI მოდელები ჩაშენებულ მეხსიერებაში და განაახლონ იგი მისი მოთხოვნების ან იმ მდებარეობის პირობების მიხედვით, სადაც სისტემა გამოიყენება. Sony გვაძლევს მაგალითს, როდესაც რამდენიმე კამერა ამ პროდუქტს იყენებს საცალო ვაჭრობის ადგილას, და ერთი ტიპის კამერა შეიძლება გამოყენებულ იქნას მრავალმხრივად სხვადასხვა ადგილას, დროს და მიზნები. როდესაც კამერა დამონტაჟებულია დაწესებულების შესასვლელთან, მისი გამოყენება შესაძლებელია დაწესებულებაში შემოსული ვიზიტორების რაოდენობის დასათვლელად; მაღაზიის თაროზე დაყენებისას ის შეიძლება გამოყენებულ იქნას მარაგის დეფიციტის გამოსავლენად; როდესაც ჭერზე შეიძლება გამოვიყენოთ მაღაზიის ვიზიტორთა სითბოს რუკებისთვის და ა.შ. მოცემული კამერის ხელოვნური ინტელექტის მოდელი შეიძლება გადაიწეროს ერთიდან, რომელიც გამოიყენება სითბოს რუქების გამოსავლენად მომხმარებელთა ქცევის იდენტიფიცირებისთვის.
როგორც ჟღერს, გამოსახულების სენსორების მოახლოებული გამოშვების შესახებ განცხადება ნამდვილად შესამჩნევი მიღწევაა. თუმცა, მას გააჩნია საკუთარი გავლენა მეთვალყურეობისთვის. ამჟამად, სენსორები განკუთვნილია დაბალი სიმძლავრის გადაწყვეტილებებისთვის, როგორიცაა უსაფრთხოების კამერები. სმარტფონის კამერები შეიძლება შეიცავდეს ამ ტექნოლოგიას რამდენიმე წლის შემდეგ, მაგრამ ის ჯერ არ არის ხელმისაწვდომი. შეზღუდვების გამო, რადგან ჩაშენებული ლოგიკური ჩიპი ვერ ემთხვევა თანამედროვე ISP-ების მიერ შემოთავაზებულ მრავალფეროვნებას (როგორიცაა Spectra ISP Qualcomm Snapdragon SoC-ებში). ამჟამად სმარტფონის კამერები განსხვავებულად ფუნქციონირებს, სადაც სენსორი თავისთავად შედარებით მუნჯია და ფუნქციონირებს ჭკვიანი ISP-ით, რომელიც ტელეფონის SoC-ის ნაწილია. ISP ასრულებს სურათის დამუშავების ყველა სამუშაოს, რაც ნიშნავს, რომ თავად სენსორის რეალური როლი საკმაოდ შეზღუდულია თანამედროვე სმარტფონის კამერებში (სურათის დამუშავება უფრო მნიშვნელოვანია, ვიდრე გამოსახულების შესანიშნავი კამერის აპარატურა ხარისხი). გამოთვლითი ფოტოგრაფია ახალი ხმაურია, მაგრამ ინდუსტრიულ სამყაროში IMX500 და IMX501 ცდილობენ AI დამუშავების დიდება თავად სენსორებს მოუტანონ.
IMX500 და IMX501 იგეგმება პროდუქტებში მომავალ წელს. Sony გეგმავს პროდუქციის ნიმუშების გამოშვებას 2020 წლის აპრილში და ივნისში შესაბამისად. მათი სპეციფიკაციების შესახებ დამატებითი ინფორმაციისთვის, მკითხველებს ურჩევენ, გაეცნონ წყაროს ბმულს.
წყარო: სონი