Sony wprowadza pierwsze na świecie inteligentne czujniki wizyjne z funkcją przetwarzania opartego na sztucznej inteligencji

Sony wprowadza pierwsze na świecie inteligentne czujniki wizyjne z funkcją przetwarzania opartego na sztucznej inteligencji.

Inteligentne czujniki wizyjne Z lewej: IMX500, z prawej: IMX501

Możliwość wprowadzania szybkiego przetwarzania Edge AI i krok ku budowie optymalnych systemów powiązanych z chmurą. Sony Corporation zapowiedziało wprowadzenie dwóch modeli inteligentnych czujników wizyjnych, będących pierwszymi na świecie przetwornikami obrazu z funkcją przetwarzania opartego na sztucznej inteligencji (AI) *1 Wprowadzenie funkcji przetwarzania AI w samym przetworniku obrazu umożliwia szybkie przetwarzanie Edge AI i selekcjonowanie tylko potrzebnych danych, co w przypadku użycia serwisów chmurowych oznacza mniejsze opóźnienia w transmisji, lepszą ochronę prywatności oraz niższe zużycie energii i koszty łączności.
*1 Wśród przetworników obrazu. Na podstawie badań przeprowadzonych przez firmę Sony (stan na dzień ogłoszenia – 14 maja 2020 r.).

Nowe produkty zwiększą możliwości opracowywania kamer i aparatów wyposażonych w sztuczną inteligencję. Stworzą szereg nowych zastosowań w handlu detalicznym i sektorze urządzeń przemysłowych, przyczyniając się do budowy optymalnych systemów łączących z chmurą.

Rozwój Internetu rzeczy (IoT) spowodował powstanie najróżniejszych urządzeń połączonych z chmurą, w wyniku czego powszechne stały się systemy do przetwarzania informacji, w których dane pochodzące z takich urządzeń są przetwarzane przez sztuczną inteligencję w chmurze. Wzrost ilości informacji obsługiwanych przez chmurę rodzi jednak różne problemy: większe opóźnienia w transmisji danych utrudniające przetwarzanie w czasie rzeczywistym, obawy o bezpieczeństwo w przypadku użytkowników o których sądzi się, że przechowują w chmurze dane umożliwiające identyfikację osób, a także większy pobór mocy i wyższe koszty transmisji danych generowane przez usługi chmurowe.

Nowe przetworniki mają konfigurację warstwową i składają się bloku pikseli i bloku układów logicznych. Są pierwszymi na świecie przetwornikami obrazu, w których funkcje analizy i przetwarzania obrazu z użyciem sztucznej inteligencji są realizowane przez sam blok układów logicznych. Sygnał rejestrowany przez blok pikseli jest przetwarzany z użyciem sztucznej inteligencji w samym przetworniku. Eliminuje to zapotrzebowanie na wydajne procesory i zewnętrzną pamięć, umożliwiając rozwój systemów Edge AI. Wyjściowymi danymi z przetwornika nie są informacje o obrazie, tylko metadane (informacje semantyczne należące do danych o obrazie), co pomaga rozwiązać problem dużej ilości danych i ochrony prywatności. Co więcej, sztuczna inteligencja pozwala zapewnić różnorodne funkcje o uniwersalnych zastosowaniach, takie jak śledzenie obiektów w czasie rzeczywistym z szybkim przetwarzaniem AI. Możliwość zastępowania danych w wewnętrznej pamięci pozwala wybierać różne modele AI, dostosowane do wymagań użytkownika lub warunków w miejscu, w których używany jest system.
Główne cechy
■ Pierwszy na świecie przetwornik obrazu z funkcją przetwarzania opartego na sztucznej inteligencji (AI)
Blok pikseli jest wykonany w technologii BSI. Jego efektywna rozdzielczość wynosi około 12,3 megapiksela, co umożliwia rejestrację informacji przy szerokim kącie widzenia. Z kolei blok układów logicznych zawiera nie tylko standardowe obwody przetwornika obrazu, lecz także pamięć modelu AI oraz firmowy procesor sygnałowy (DSP) Sony przeznaczony do przetwarzania sygnału z użyciem sztucznej inteligencji. Taka konfiguracja eliminuje zapotrzebowanie na wydajne procesory i zewnętrzną pamięć, dzięki czemu idealnie sprawdza się w systemach Edge AI.

■ Wyjściowe metadane
Sygnały rejestrowane przez blok pikseli przechodzą przez procesor obrazu (ISP), a przetwarzanie z użyciem sztucznej inteligencji odbywa się w bloku układów logicznych. Wyselekcjonowane informacje pojawiają się na wyjściu jako metadane, zmniejszając ilość obsługiwanych danych. Ponieważ na wyjściu układu nie muszą pojawiać się informacje o obrazie, maleje zagrożenie dla bezpieczeństwa i obawy o prywatność. Oprócz rejestracji obrazu przez standardowy przetwornik obrazu użytkownicy mogą wybrać format danych wyjściowych dostosowany do własnych potrzeb i zastosowań. Ustawienia obejmują wyjściowy format obrazu z procesora ISP (YUV/RGB) oraz obrazy z wyselekcjonowanym określonym obszarem (region zainteresowania – Region of Interest).

■ Szybkie przetwarzanie z użyciem AI
Kiedy do nagrywania materiału wideo służy standardowy przetwornik obrazu, do systemu przetwarzania AI trzeba przesłać informacje o każdej klatce wyjściowego obrazu, co zwiększa ilość przesyłanych danych i utrudnia uzyskanie działania w czasie rzeczywistym. Nowe przetworniki Sony wykonują przetwarzanie obrazu i szybkie przetwarzanie z użyciem AI (3,1 milisekundy dla architektury MobileNet V1*2) na poziomie bloku układów logicznych, realizując cały proces w jednej klatce obrazu wideo. Taki system pozwala zapewnić dokładne śledzenie obiektów w czasie rzeczywistym przy nagrywaniu filmów.
*2 MobileNet V1: model sztucznej inteligencji do analizy obrazu na urządzeniach mobilnych, służący do rozpoznawania obiektów.

■ Możliwość wyboru modelu AI
Użytkownik może zapisywać w wewnętrznej pamięci wybrane przez siebie modele AI oraz zastępować je i aktualizować odpowiednio do własnych wymagań lub warunków w miejscu, w których używany jest system. Przykładowo, jeśli w miejscu sprzedaży detalicznej zainstalowanych jest wiele kamer wykorzystujących ten produkt, można używać jednego rodzaju kamery, uzyskując uniwersalność w różnych miejscach, okolicznościach, godzinach lub zastosowaniach. Kamera znajdująca się w wejściu do obiektu umożliwi zliczanie wchodzących klientów, zainstalowana na półce – wykrywanie braków towaru, a pod sufitem – tworzenie map ciepła (wykrywanie miejsc, w których gromadzi się dużo osób). Co więcej, model AI w danej kamerze będzie można zmienić, by na przykład zastąpić tworzenie map ciepła identyfikacją zachowań konsumentów

Najważniejsze cechy

Sony Corporation jest czołowym producentem sprzętu audiowizualnego, rozrywkowego, telekomunikacyjnego i informatycznego oraz podzespołów elektronicznych przeznaczonych na rynek masowy i dla odbiorców profesjonalnych. Działalność w segmentach muzyki, filmu, rozrywki interaktywnej i Internetu zapewnia Sony wyjątkową pozycję: światowego lidera w branży elektronicznej i rozrywkowej. Skonsolidowany obrót Sony w roku finansowym, który zakończył się 31 marca 2018 r., wyniósł w przybliżeniu 77 miliardów dolarów USA.
Ogólnoświatowa strona www Sony: http://www.sony.net/

źródło: Sony