Wyślij wiadomość

Aktualności

June 30, 2022

Ewolucja architektur przetworników obrazu CMOS

Rozwój przetworników obrazu CMOS i perspektywa wykorzystania zaawansowanych technologii obrazowania obiecuje poprawę jakości życia.Wraz z szybkim pojawieniem się równoległych przetworników analogowo-cyfrowych (ADC) i technologii podświetlenia tylnego (BI), czujniki obrazu CMOS dominują obecnie na rynku aparatów cyfrowych, podczas gdy czujniki obrazu „stacked CMOS” nadal zapewniają zwiększoną funkcjonalność i wygodę użytkownika.W tym artykule dokonano przeglądu ostatnich osiągnięć łączonych czujników obrazu w ewolucji architektur czujników obrazu w celu przyspieszenia poprawy wydajności, rozszerzenia możliwości wykrywania i połączenia obliczeń brzegowych z różnymi technologiami urządzeń piętrowych.
Czujniki obrazu są obecnie używane w różnych zastosowaniach.Od czasu wynalezienia urządzenia ze sprzężeniem ładunkowym (CCD) w 1969 roku, półprzewodnikowe czujniki obrazu rozprzestrzeniły się na różne rynki konsumenckie, takie jak kompaktowe kamery wideo i aparaty cyfrowe.Przetwornik obrazu CMOS, który od 2005 roku jest popularnym przetwornikiem półprzewodnikowym, opiera się na technologii opracowanej dla przetworników CCD.Oprócz smartfonów, obecnie największego rynku czujników obrazu, zapotrzebowanie na czujniki obrazu gwałtownie rośnie, obejmując kamery sieciowe do celów bezpieczeństwa, systemy wizyjne maszyn do automatyzacji fabryk oraz kamery samochodowe do wspomagania jazdy i autonomicznych systemów jazdy.
Głównym punktem zwrotnym w technologii przetworników obrazu CMOS był pomyślny rozwój przetworników obrazu z oświetleniem tylnym (BI), co umożliwiło opracowanie ułożonych w stos struktur przetworników obrazu, jak pokazano na rysunku 1. W oryginalnej konstrukcji z oświetleniem przednim (FI) , trudno było zmniejszyć rozmiar piksela czujnika, ponieważ padające światło musiało być zbierane przez fotodiodę przez szczelinę otoczoną metalowymi liniami.Struktury podświetlane od tyłu (BI) mają znacznie lepszą czułość i umożliwiają elastyczność w trasowaniu metalu, a dzięki wiązaniu płytek i niezwykle jednorodnym technikom pocieniania płytek stały się popularnym produktem dla czujników obrazu.Czujniki obrazu stopniowo rozwijają się w kierunku struktur ułożonych w stos, w których obwody logiczne są bezpośrednio zintegrowane z płytką bazową.Proces układania w stos pozwala na wyższy poziom integracji wysoce równoległych przetworników analogowo-cyfrowych (ADC) i elementów przetwarzania sygnału w bardziej zaawansowanych procesach CMOS, niezależnie od procesu czujnika dostosowanego do fotodiod pikselowych.Spiętrzone struktury urządzeń nadal radykalnie zmieniają architekturę przetworników obrazu.

najnowsze wiadomości o firmie Ewolucja architektur przetworników obrazu CMOS  0

Rysunek 1. Budowa przetwornika obrazu CMOS.(a) struktura FI, (b) struktura BI i (c) struktura piętrowa z przelotkami.
W tym artykule dokonano przeglądu trendów w architekturze czujników obrazu z urządzeniami ustawionymi w stos, aby znacznie przyspieszyć poprawę wydajności, rozszerzyć możliwości wykrywania i zintegrować możliwości przetwarzania brzegowego połączone z warstwą czujnika.W drugiej części przedstawiono różne architektury czujników dla konfiguracji urządzeń spiętrzonych, które umożliwiają wysoką rozdzielczość pikseli i obrazowanie z dużą szybkością klatek za pomocą wysoce równoległych, równoległych kolumn ADC.Sekcja 3 przedstawia niektóre zaawansowane obwody pikseli zaimplementowane przy użyciu połączeń Cu-Cu o skoku piksela, które są krytyczne dla lepszej wydajności pikseli w praktycznych rozdzielczościach pikseli.Połączenia Cu-Cu o rozstawie pikseli umożliwiają również architekturom czujników przejście w kierunku cyfryzacji równoległej do pikseli.W sekcji IV przedstawiono pewne postępy w architekturze czujników, które rozszerzają możliwości wykrywania, takie jak głębia przestrzenna, wykrywanie kontrastu czasowego i obrazowanie niewidzialnego światła.Sekcja V przedstawia czujniki wizyjne, które integrują akceleratory sztucznej inteligencji (AI) na krawędzi.Wreszcie sekcja VI zawiera pewne wnioski.
II.Nagrywanie z ponad megapikselowymi filmami
Nagrywanie filmów wymaga szybkości klatek co najmniej 30 lub 60 klatek na sekundę (kl./s), mimo że liczba pikseli wzrasta z 2-megapikselowego formatu wysokiej rozdzielczości (HD) do 8-megapikselowego formatu 4K.Dodatkowo, działanie z większą liczbą klatek na sekundę, na przykład 120, 240 lub 1000 klatek na sekundę (fps), może zapewnić odtwarzanie w zwolnionym tempie.Odkąd w 1997 r. zaproponowano architekturę kolumnowo-równoległego przetwornika ADC, liczba klatek na sekundę poprawiła się poprzez zwiększenie liczby równoległych przetworników ADC i przyspieszenie samego działania ADC.Struktury piętrowe pomagają zmaksymalizować liczbę klatek na sekundę, ponieważ najlepszą technologię przetwarzania można zastosować do pikseli czujnika i urządzeń peryferyjnych.Wytwarzanie czujnika wymaga kilku procesów implantacji jonów w celu wytworzenia fotodiod i tranzystorów o niskim upływie złącza.Jednak proces logiczny wymaga tranzystorów o niskiej rezystancji i dużej prędkości.W przypadku pikseli zwykle wystarczają trzy lub cztery warstwy okablowania, ale w przypadku obwodów logicznych wymagane jest około dziesięciu warstw okablowania.Zastosowana technika układania w stos może złagodzić sprzeczne ograniczenia nieułożonych w stos czujników obrazu na tym samym chipie, w tym pikseli czujnika i obwodów logicznych.
A. Architektura ADC Dual Rank
Obecnie większość przetworników obrazu CMOS zawiera tablicę pikseli, tysiące przetworników ADC i obwodów logicznych zorganizowanych w strukturę kolumnowo-równoległą.Jak pokazano na rysunku 2(a), krzemowe przelotki (TSV) znajdujące się poza macierzą pikseli łączą kolumny pikseli z przetwornikiem ADC w wysoce równoległy sposób.W pierwszym ułożonym w stos przetworniku obrazu CMOS wprowadzonym w 2013 r., analogowe i cyfrowe części kolumny ADC zostały podzielone odpowiednio na górne i dolne chipy, jak pokazano na rysunku 2 (b).W 2015 roku zaproponowano architekturę dwukolumnowego przetwornika ADC i osiągnięto szybkość klatek 120 fps przy 16 mln pikseli, gdzie kolumna ADC została całkowicie przeniesiona na dolny układ, jak pokazano na rysunku 2(c).Układ czujnika jest wytwarzany przy użyciu niestandardowego procesu czujnika 90 nm dla fotodiod, przy użyciu wyłącznie logiki NMOS.Układy logiczne są wytwarzane w standardowym 65-nanometrowym procesie CMOS.Ponieważ kolumnowy ADC można zaimplementować niezależnie od chipa czujnika, ADC może być wysoce zintegrowany.Oprócz zwiększenia liczby klatek na sekundę, nadmiarowe równoległe przetworniki ADC są używane do redukcji szumów poprzez uśrednienie wielu konwersji analogowo-cyfrowych (AD), jak pokazano na rysunku 3. Wyjście jednego piksela jest rozdzielane na dwa przetworniki ADC jednocześnie, a dwa wyjścia cyfrowe są sumowane, aby odtworzyć ramkę obrazu.Fazy ​​taktowania dwóch przetworników ADC są nieco inne, aby osiągnąć redukcję szumów poprzez zmniejszenie korelacji między ich zaszumionymi sygnałami.

najnowsze wiadomości o firmie Ewolucja architektur przetworników obrazu CMOS  1

Rysunek 2. Implementacja czujnika obrazu „stacked CMOS”.(a) Połączenie TSV między fotodiodą a obwodem logicznym.(b) Pierwszy przetwornik obrazu „stacked CMOS”.(c) Dwurzędowa architektura ADC.

najnowsze wiadomości o firmie Ewolucja architektur przetworników obrazu CMOS  2

Rysunek 3. Uproszczony schemat blokowy (po lewej) i ulepszona charakterystyka szumów (po prawej) architektury dwurzędowego przetwornika ADC.
B. Trójwarstwowy przetwornik obrazu „stacked CMOS” z dynamiczną pamięcią o dostępie swobodnym (DRAM)
Wraz ze wzrostem liczby pikseli i równoległych przetworników ADC czujniki obrazu wysyłają duże ilości danych.W 2017 roku zaproponowano trójwarstwowy przetwornik obrazu CMOS do nagrywania wideo w zwolnionym tempie przy 960 fps, jak pokazano na rysunku 4;trzy warstwy są połączone przelotkami silikonowymi (TSV), a dane uzyskane z równoległego przetwornika ADC są buforowane w drugiej warstwie pamięci DRAM, aby uzyskać przechwytywanie w zwolnionym tempie.W przypadku nagrywania w bardzo zwolnionym tempie czujnik może działać z prędkością 960 kl./s w rozdzielczości Full HD, podczas gdy dane cyfrowe z przetwornika ADC są tymczasowo buforowane w pamięci DRAM przez magistralę 102 Gbit/s.Gdy czujnik wykryje wyzwalacze użytkownika lub szybki ruch w scenie podczas nagrywania filmu z prędkością 30 kl./s, prędkość odczytu wynosi 960 kl./s.W pamięci DRAM można jednocześnie przechowywać do 63 klatek w rozdzielczości Full HD i buforować dane wyjściowe podczas późniejszego nagrywania filmu.

najnowsze wiadomości o firmie Ewolucja architektur przetworników obrazu CMOS  3

Rysunek 4. Trójwarstwowy przetwornik obrazu „stacked CMOS” z pamięcią DRAM
C. W przypadku technologii chip-on-wafer dużego formatu optycznego
Wprowadzone do tej pory przetworniki obrazu Stacked CMOS są wytwarzane w procesie łączenia wafel na wafel (WoW).Ponieważ jednak wymiary czujnika i układów logicznych muszą być takie same, proces ten nie zawsze jest najlepszym wyborem, zwłaszcza w przypadku dużego formatu optycznego.Inna metoda układania w stos obejmuje wiązanie CoW, jak pokazano na rysunku 5.Wydajność powierzchniowa jest najlepsza w połączeniu WoW, gdy układ logiczny o tym samym rozmiarze co format optyczny jest całkowicie wypełniony wysoce równoległymi przetwornikami ADC i cyfrowymi blokami konstrukcyjnymi.Jednakże, jeśli obwód logiczny jest mniejszy niż format optyczny, konfiguracja CoW ma najlepszą wydajność powierzchniową, podczas gdy konfiguracja WoW ma problemy z kosztami.

najnowsze wiadomości o firmie Ewolucja architektur przetworników obrazu CMOS  4

Rysunek 5. Efektywność powierzchniowa procesów łączenia WoW i CoW dla wielkoformatowych sensorów obrazu.
Czujnik obrazu „stacked CMOS” wykorzystujący proces wiązania CoW [12] został zgłoszony w 2016 r., Realizując globalny czujnik obrazu migawki do kamer nadawczych z formatem optycznym super-35 mm.Tutaj dwa pokrojone układy logiczne są zaprojektowane w procesie 65-nm CMOS z równoległymi przetwornikami ADC i mikrowypukłościami i ułożone w stos na dużym chipie czujnika, specjalnie zaprojektowanym dla globalnych pikseli migawki, jak pokazano na rysunku 6. Wycięty układ logiczny o wysokim Współczynnik proporcji jest połączony z czujnikiem za pomocą mikrowypukłości o rastrze 40 µm.W związku z tym łączna liczba połączeń wynosi około 38 000. Sensor pozwala również na odtwarzanie w bardzo zwolnionym tempie z prędkością 480 kl./s przez 8 megapikseli.

najnowsze wiadomości o firmie Ewolucja architektur przetworników obrazu CMOS  5

Rysunek 6. Przetwornik obrazu Stacked CMOS wykorzystujący proces łączenia CoW.
Rysunek 7 przedstawia trendy wydajności dla dużych przetworników obrazu w formacie optycznym, z 50 megapikselami i 250 kl./s dla przetworników obrazu o pełnym formacie 35 mm w 2021 r. Zwiększenie liczby równoległych przetworników ADC i stopniowego zwiększania statycznej pamięci o dostępie swobodnym (SRAM) bufor ramki, proces WoW służy do osiągnięcia wysokiej wydajności.Z drugiej strony proces CoW służy do zrównoważenia opłacalności z wydajnością wielkoformatowych czujników optycznych.W 2021 r. wprowadzono również 3,6-calowy czujnik obrazu z 127 milionami pikseli i czterema układami logicznymi ułożonymi w stos w procesie CoW.Kolejnym wyzwaniem dla procesu CoW jest zwiększenie przepustowości umieszczania wiórów na wafelku w celu zwiększenia produktywności.

najnowsze wiadomości o firmie Ewolucja architektur przetworników obrazu CMOS  6

Rysunek 7. Trendy wydajnościowe dla wielkoformatowych sensorów obrazu.
III.Architektura równoległa pikseli
W poprzedniej sekcji architektura czujników wykorzystująca urządzenia spiętrzone była używana głównie do zwiększenia liczby klatek na sekundę w architekturze opartej na równoległych kolumnach ADC.W tej sekcji przedstawiono niektóre postępy oparte na architekturach równoległych do pikseli, wykorzystujących połączenia Cu-Cu o drobnym skoku.W tym przypadku połączenia między warstwami czujnika i logiki zostały zmienione z TSV na połączenia Cu-Cu z wiązaniem hybrydowym, jak pokazano na rysunku 8(a).W konfiguracji TSV linie sygnałowe są kierowane do warstwy logicznej na obrzeżach tablicy pikseli.Natomiast połączenia Cu-Cu można zintegrować bezpośrednio pod pikselem, a te połączenia pozwalają zwiększyć liczbę połączeń.Najnowsze trendy dotyczące rozstawu połączeń Cu-Cu przedstawiono na rys. 8(b).Hybrydowy proces łączenia przetworników obrazu wymaga milionów połączeń Cu-Cu bez wad połączeń, a rozstaw styków stopniowo maleje wraz ze stabilnym połączeniem dużej liczby styków;ponadto ostatnio doniesiono o odstępach między wiązaniami hybrydowymi o grubości 1 µm Cu-Cu.Te połączenia o drobnych skokach umożliwią wytwarzanie architektur obwodów równoległych do pikseli w praktycznych wymiarach w pikselach.

najnowsze wiadomości o firmie Ewolucja architektur przetworników obrazu CMOS  7

Rysunek 8. Trendy rozstawu złącz Cu-Cu (a) uproszczona konstrukcja urządzenia i (b) przekrój.
A. Rozszerzenie obwodu pikselowego stosu
W literaturze zaproponowano wiele technik i implementacji, aby poprawić wydajność pikseli poprzez rozszerzenie obwodu pikseli, takie jak pełna pojemność odwiertu (FWC), oraz zaimplementować dodatkowe funkcje, takie jak globalna migawka.Rysunek 9(a) i (b) przedstawiają konfigurację pikseli odpowiednio dla pojedynczego wzmocnienia konwersji i podwójnego wzmocnienia konwersji.Mniejsze pojemnościowe CFD doświadczają wahań wysokiego napięcia z optoelektroniki w celu odczytu przy niskim poziomie szumów, ale są łatwo nasycane dużą liczbą elektronów sygnałowych.Jednak piksele z podwójnym wzmocnieniem konwersji są przełączane przez sekwencyjną operację między dwoma wzmocnieniami konwersji, umożliwiając odczyty o niskim poziomie szumów na CFD i odczyty o wysokim zakresie dynamiki (HDR) na CDCG;ponadto, obszar narzutu dodatkowych tranzystorów i kondensatorów Wysoka rozdzielczość pikseli jest osiągana przez ograniczenie wielkości, o jaką można zmniejszyć rozmiar piksela.W 2018 roku zaproponowano rozszerzenie obwodu pikselowego z podwójnym wzmocnieniem konwersji;dodatkowe obwody zostały zaimplementowane na dolnym chipie poprzez równoległe pikselowo połączenia Cu-Cu, jak pokazano na rys. 9(c).Przełączając między wzmocnieniami konwersji 20 i 200 µV/e-, udało się wyświetlić piksel o wielkości 1,5 µm z zakresem dynamicznym 83,8 dB i niskim szumem 0,8 e-rms.Jak pokazano na rysunku 10, konfiguracja obwodu stosowego na poziomie pikseli została zastosowana do funkcji globalnej migawki w domenie napięcia i piksela z podwójnym wzmocnieniem konwersji.2019 zademonstrował globalny piksel migawki 2,2 µm o wydajności migawki ponad 100 dB.Najnowocześniejsze piksele z podwójnym wzmocnieniem konwersji i globalną migawką w domenie napięciowej osiągają rozmiary odpowiednio 0,8 µm i 2,3 µm, bez skalowania obwodu stosu na poziomie pikseli;jednak nadal oczekuje się, że konfiguracje ze stosami pikseli poprawią wydajność pikseli dla mniejszych pikseli.

najnowsze wiadomości o firmie Ewolucja architektur przetworników obrazu CMOS  8

Rysunek 9. Konfiguracje obwodów pikseli (a) z pojedynczym wzmocnieniem konwersji, (b) z podwójnym wzmocnieniem konwersji oraz (c) z podwójnym wzmocnieniem konwersji i pikselami ułożonymi w stos z równoległymi połączeniami Cu-Cu.
najnowsze wiadomości o firmie Ewolucja architektur przetworników obrazu CMOS  9

Rysunek 10. Konfiguracja obwodu pikseli ułożonej globalnej migawki w domenie napięciowej za pośrednictwem równoległych do pikseli połączeń Cu-Cu.
B. Równoległy przetwornik ADC pikseli
Od czasu, gdy w 2001 r. zaproponowano koncepcję cyfryzacji równoległo-pikselowej, zaproponowano również ułożone w stos czujniki obrazu połączone równolegle z Cu-Cu z hybrydowymi procesami wiązania.Narzuty w obrębie jednego piksela w złożonych obwodach zdecydowanie ograniczają rozdzielczość pikseli, ale w 2017 r. zaproponowano 4,1-megapikselowy czujnik obrazu z układem równoległym ADC, a następnie w 2018 r. 1,46-megapikselowy czujnik obrazu z równoległym ADC.Architektura ADC z równoległymi pikselami osiągnęła rozdzielczość megapikseli dzięki drobnym połączeniom Cu-Cu w procesie hybrydowego wiązania.Jak pokazano na rysunku 11, przetworniki ADC o pojedynczej nachyleniu są używane w architekturach równoległych do pikseli i tradycyjnych kolumnowo-równoległych, ale bez obwodów podążających za źródłem.Wzmacniacze tranzystorowe w pikselach są zintegrowane bezpośrednio z komparatorami, łącząc każdy piksel z dolnym układem za pomocą dwóch połączeń Cu-Cu.Ze względu na ograniczenie obszaru licznika, kod Graya jest przypisany do zatrzasków w pikselach, a cyfrowe potoki odczytu zostały zaimplementowane za pomocą przetworników ADC pod tablicą pikseli.

najnowsze wiadomości o firmie Ewolucja architektur przetworników obrazu CMOS  10

Rysunek 11. Konfiguracja obwodu pikselowo-równoległego przetwornika ADC.
Rysunek 12(a) przedstawia prototypowy układ scalony z architekturą ADC równoległą do pikseli;chociaż każdy ADC jest zaimplementowany z rozstawem pikseli wynoszącym zaledwie 6,9 ​​µm, gdzie prąd spoczynkowy komparatora jest ograniczony do 7,74 nA, poziom szumów ze względu na efektywną kontrolę szerokości pasma jest tłumiony do 8,77 e-rms.Wszystkie przetworniki ADC równoległe do pikseli działają jednocześnie jako globalna migawka;w związku z tym, jak pokazano na rysunku 12 (c), na obrazach zarejestrowanych przy użyciu prototypu nie obserwuje się zniekształceń płaszczyzny ogniskowej migawki, jak pokazano na rysunku 12 (b).W dalszym ciągu rozwijane są równoległe do pikseli architektury ADC.Najnowsza praca z 2020 roku pokazuje rozstaw pikseli 4,6 µm, zakres dynamiczny 127 dB i szum 4,2 e-rms oraz pracę 4,95 µm i szum 2,6 e-rms.

najnowsze wiadomości o firmie Ewolucja architektur przetworników obrazu CMOS  11

Rysunek 12. Implementacja na chipie przetwornika ADC równoległego do pikseli.(a) Mikrograf chipa.(b) Obrazy uchwycone przy użyciu funkcji Rolling Shutter oraz (c) przy użyciu funkcji Global Shutter.
C. Licznik fotonów równoległych pikseli
Obrazowanie zliczania fotonów, znane również jako obrazowanie kwantowe, jest obiecującą techniką umożliwiającą przechwytywanie obrazu z odczytem bez szumów i obrazowaniem w dużym zakresie dynamicznym (HDR).Czujniki obrazu zliczające fotony wykorzystujące jednofotonowe diody lawinowe (SPAD) są jednym z wyzwań związanych z cyfryzacją równoległą pikseli poprzez techniki układania w stosy.Prąd lawinowy jest wyzwalany przez pojedynczy fotoelektron, a przy braku jakichkolwiek szumów z analogowego układu front-end zdarzenie może być oglądane cyfrowo jako liczba fotonów.Wymaga to implementacji skomplikowanych obwodów dla każdego SPADa;podczas gdy ułożone w stos struktury urządzeń z połączeniami pikseli mają potencjał do wysoce zintegrowanego obrazowania zliczania fotonów.
Czujnik obrazu SPAD zliczający fotony o zakresie dynamicznym 124 dB i wykorzystujący architekturę ekstrapolacji podramek został zgłoszony w 2021 r. Matryca pikseli z pojedynczą fotonową diodą lawinową (SPAD) z podświetleniem od tyłu (BI) jest ułożona na dolnym chipie, a obwód odczytu jest połączony za pośrednictwem równoległego do pikseli Cu-Cu, jak pokazano na rysunku 13 (a).Ryc. 13(b) jest schematycznym diagramem jednostki piksela.Każdy piksel ma 9-b cyfrowy licznik tętnień (CN), który zlicza liczbę padających fotonów.Przeniesienie przepełnienia (OF) z licznika jest zwracane do obwodu gaszącego, aby sterować aktywacją SPAD i blokować kod czasowy (TC).Kod czasowy 14-b (TC) jest następnie przypisywany do wszystkich pikseli i przesłania licznik, gdy zmienia się flaga OF, jak pokazano na schemacie czasowym na rysunku 14. Odczytaj liczbę 9-b fotonów lub zatrzaśniętych 14-b TC i uzyskać dokładnie wszystkie zliczenia fotonów w warunkach słabego oświetlenia bez przepełnienia licznika.Jednak gdy licznik przepełnia się w jasnych warunkach oświetleniowych, przepełniony piksel rejestruje czas i ekstrapoluje rzeczywistą liczbę fotonów padających podczas ekspozycji.

najnowsze wiadomości o firmie Ewolucja architektur przetworników obrazu CMOS  12

Rysunek 13. Czujnik obrazu zliczający fotony.(a) Konfiguracja chipa.(b) Uproszczony schemat obwodu pikselowego.

najnowsze wiadomości o firmie Ewolucja architektur przetworników obrazu CMOS  13

Rysunek 14. Diagram czasowy dla zliczania fotonów i ekstrapolacji podramek.
Jak pokazano na rysunku 15(a), zademonstrowano dynamiczny zakres 124 dB bez pogorszenia stosunku sygnału do szumu (SNR).SNR po przepełnieniu licznika w warunkach jasnego oświetlenia pozostaje na poziomie 40 dB w rozszerzonym zakresie dynamicznym, ponieważ operacje prawdziwego zliczania fotonów mogą zliczyć do 10 240 fotonów lub 9 bitów × 20 podramek.Rysunek 15(b) przedstawia obraz HDR przechwycony przy 250 fps;ze względu na globalną migawkę i obsługę HDR z 20-klatkami pomocniczymi nie zaobserwowano żadnych artefaktów ruchu, nawet przy obracającym się wentylatorze o prędkości 225 obr./min.Ekstrapolacja 20-podramek skutecznie tłumi artefakty ruchu, jak pokazano na Rys. 15(c).SPAD wymaga wysokiego napięcia polaryzacji około 20 V i równoległego wyzwalania detektorów przy niskim napięciu zasilania.Piksele SPAD o małych odstępach są często trudne do osiągnięcia ze względu na izolację urządzenia między różnymi napięciami zasilania.Jednak ułożona w stos struktura urządzenia skutecznie oddziela warstwy logiczne SPAD i CMOS, przyspieszając w ten sposób rozwój konfiguracji małych pikseli ze SPAD i rozszerzoną funkcjonalnością.

najnowsze wiadomości o firmie Ewolucja architektur przetworników obrazu CMOS  14

Rysunek 15. Wyniki pomiarów zliczania fotonów.(a) Zakres dynamiki i stosunek sygnału do szumu.(b) Przechwycony obraz HDR.(c) Przechwycony obraz z tłumieniem artefaktów ruchu.
IV.Rozszerzenie możliwości wykrywania
Oprócz wcześniej wprowadzonych możliwości dynamicznego zakresu i globalnej migawki, technologia urządzeń piętrowych nie tylko poprawia jakość obrazu architektury czujnika, ale także zwiększa możliwości wykrywania, takie jak głębia przestrzenna, wykrywanie kontrastu czasowego i obrazowanie niewidzialnego światła.
A. Głębokość przestrzenna
Jak opisano w Sekcji III-C, ułożona w stos struktura urządzenia z wiązaniem hybrydowym Cu-Cu jest obiecującym podejściem do praktycznej technologii SPAD w szerokim zakresie zastosowań i zmniejsza rozstaw pikseli SPAD do mniej niż 10 µm.Aby poprawić skuteczność wykrywania fotonów (PDE) i zmniejszyć przesłuch optyczny przy małym skoku pikseli, w 2020 r. zgłoszono macierz pikseli BI SPAD, w tym pełną izolację rowów (FTI) i wiązanie Cu-Cu. Jak pokazano na rysunku 16, w BI ułożonym SPAD struktura, macierz pikselowa SPAD jest całkowicie otwarta na światło padające, a wszystkie tranzystory pikselowe są zaimplementowane na dolnym chipie.Zakopany w metal FTI pomaga tłumić przesłuchy z sąsiednimi pikselami.Piksele SPAD o rozstawie 10 µm posiadają warstwę krzemu o grubości 7 µm, która poprawia czułość pomiarów spektroskopowych w bliskiej podczerwieni (NIR) i pozwala osiągnąć wysokie PDE wynoszące odpowiednio ponad 31,4% i 14,2% przy 850 nm i 940 nm.

najnowsze wiadomości o firmie Ewolucja architektur przetworników obrazu CMOS  15

Rysunek 16. Struktura urządzenia SPAD.(a) FI SPAD.(b) SPAD ułożony w stosy BI.
W 2021 r. zgłoszono czujnik bezpośredniego czasu przelotu (ToF) SPAD o wymiarach 189 × 600, wykorzystujący układ BI-stacked SPAD dla samochodowych systemów LiDAR.Wszystkie obwody front-end pikseli są zaimplementowane w bazowym chipie pod macierzą SPAD, jak pokazano na rysunku 17. W systemie LiDAR, gdy odbierany jest odbity impuls laserowy, SPAD generuje impuls wyzwalający o czasie martwym 6 ns i przesyła go do konwertera czasu na cyfrę (TDC).Górne i dolne układy scalone wykorzystują procesy 90-nm SPAD i 40-nm CMOS z odpowiednio 10 warstwami miedzi.Ze względu na spiętrzoną strukturę czujnik zawiera obwód wykrywania koincydencji, TDC i cyfrowy procesor sygnałowy (DSP) jako elementy składowe do wykrywania głębokości.Bezpośredni czujnik ToF wykazuje dokładność odległości 30 cm w rozszerzonym zakresie do 200 m, umożliwiając wykrywanie obiektów o współczynniku odbicia 95% w świetle słonecznym przy 117 tys. luksów.

najnowsze wiadomości o firmie Ewolucja architektur przetworników obrazu CMOS  16

Rysunek 17. BI stacked SPAD z bezpośrednim czujnikiem głębokości ToF.
Struktura BI stacked SPAD to przełom w obrazowaniu opartym na SPAD i wykrywaniu głębi o ulepszonych właściwościach.Struktura stosu BI poprawia wydajność kwantową i rozdziela SPAD-y i obwody na optymalne warstwy krzemu w porównaniu z konwencjonalnymi pikselami, które umieszczają obwody obok każdego SPAD-a.Dlatego implementacja stosowa przezwycięża tradycyjne ograniczenia czujników SPAD i nadaje się do szerszego zakresu zastosowań.
B. Wykrywanie kontrastu czasu
Czujniki wizyjne oparte na zdarzeniach (EVS) wykrywają kontrast czasowy pojedynczego piksela powyżej wstępnie ustawionych progów względnych, aby śledzić czasową ewolucję względnych zmian światła i definiują punkty próbkowania dla bezramkowych pomiarów na poziomie pikseli o bezwzględnej intensywności.Od czasu pierwszego zgłoszenia EVS w 2006 r. zaproponowano wiele zastosowań wykorzystujących EVS, takich jak szybkie i energooszczędne widzenie maszynowe ze względu na precyzję czasową zarejestrowanych danych, nieodłączne tłumienie nadmiarowości czasowej prowadzące do zmniejszenia kosztów przetwarzania końcowego i szeroka gama scenariuszy.Operacja DR.Chociaż rozmiar piksela został zmniejszony do 9 µm skoku w 2019 r. dzięki strukturom BI, EVS cierpi z powodu dużego rozmiaru piksela i często małej rozdzielczości ze względu na rozległe przetwarzanie sygnału analogowego na poziomie pikseli.W związku z tym EVS szczególnie korzystają z postępów w konstrukcjach urządzeń spiętrzonych z połączeniami Cu-Cu w skali piksela.
1280 × 720 4,86 ​​µm piksel z BI-stacked EVS został zgłoszony w 2020 r. Rysunek 18 przedstawia pikselowy schemat blokowy funkcji wykrywania kontrastu (CD) oraz schematyczny diagram asynchronicznego interfejsu odczytu w pikselach i bloków logicznych stanu.Fotoprąd jest przetwarzany na sygnał napięciowy Vlog, a zmianę kontrastu uzyskuje się przez asynchroniczną modulację delta (ADM) wykrytą za pomocą komparatora przekroczenia poziomu.Układ EVS ze stosem BI na rysunku 19(a) osiąga znaczniki czasu rzędu 1 µs, maksymalną częstotliwość zdarzeń wynoszącą 1,066 miliarda zdarzeń na sekundę (eps) oraz potok formatowania danych wynoszący 35 nW/piksel i 137 pJ/zdarzenie. szybkie aplikacje wizyjne o niskim poborze mocy.Rysunek 19(b) przedstawia działanie czujnika w niektórych przykładowych zastosowaniach.Nagrania ruchu ulicznego około 1 luksa wykazują wrażliwość na kontrast przy słabym oświetleniu.Wysoka dokładność czasowa z pikseli o małym opóźnieniu i szybkie operacje odczytu umożliwiają czujnikowi dekodowanie uporządkowanych wzorów świetlnych zakodowanych w czasie w zastosowaniach 3D do wykrywania głębi.Rysunek 20 przedstawia trend rozstawu pikseli w EVS.Ze względu na technologię urządzeń piętrowych, rozmiar piksela EVS jest teraz mniejszy niż 5 µm, co pozwala na praktyczne zastosowania megapikseli.

najnowsze wiadomości o firmie Ewolucja architektur przetworników obrazu CMOS  17

Rysunek 18. Pikselowy schemat blokowy EVS

najnowsze wiadomości o firmie Ewolucja architektur przetworników obrazu CMOS  18

Rysunek 19. EVS ze stosem BI i przykład jego zastosowania.(a) Mikrograf chipa.(b) Przykłady zastosowań.

najnowsze wiadomości o firmie Ewolucja architektur przetworników obrazu CMOS  19

C. Obrazowanie w świetle niewidzialnym
Technologia urządzeń piętrowych ułatwia również obrazowanie w świetle niewidzialnym przy użyciu fotodetektorów bezkrzemowych w integracji hybrydowej.Przykłady fotodetektorów bez krzemu z integracją hybrydową obejmują fotodetektory InGaAs, fotodetektory Ge-on-Si i organiczne błony fotoprzewodzące.W tej sekcji podsumowano najnowsze wyniki czujników InGaAs wykorzystujących wiązanie hybrydowe Cu-Cu.
Wzrasta zapotrzebowanie na obrazowanie w zakresie krótkofalowej podczerwieni (SWIR) (tj. długości fal od 1000 do 2000 nm) w zastosowaniach przemysłowych, naukowych, medycznych i związanych z bezpieczeństwem.Urządzenia InGaAs zostały wykorzystane w czujnikach SWIR, ponieważ ich właściwości absorpcyjne w zakresie SWIR nie mogą być pokryte przez urządzenia na bazie krzemu.W konwencjonalnych czujnikach InGaAs każdy piksel matrycy fotodiodowej (PDA) jest połączony z odczytowym układem scalonym (ROIC) za pośrednictwem hybrydy typu flip-chip z wykorzystaniem wypukłości.Ta struktura zwykle komplikuje wytwarzanie macierzy pikseli o drobnym skoku ze względu na ograniczoną skalowalność wypukłości.W 2019 roku wprowadzono czujnik obrazu InGaAs, w którym każdy piksel PDA o wielkości 5 µm był podłączony do ROIC za pomocą wiązania Cu-Cu.Heterostruktury InGaAs/InP hodowano epitaksjalnie na małych, dostępnych na rynku podłożach InP o średnicach mniejszych niż 4. Jak pokazano na Rysunku 21, epitaksjalne płytki InGaAs/InP są krojone w kostkę i przenoszone na duże płytki krzemowe za pomocą matrycy III-V do krzemu proces.Po wyprodukowaniu padów Cu, heteropłytka III-V/Si wykorzystuje wiązanie Cu-Cu do połączenia każdego piksela III-V z ROIC za pomocą miksu ROIC.Rysunek 22 przedstawia trend skoku styku dla wypukłości typu flip-chip i wiązania Cu-Cu dla czujników InGaAs.Hybryda typu flip-chip wykorzystująca wypukłości, tradycyjna metoda wytwarzania czujników InGaAs, nie nadaje się do zmniejszania skoku piksela ze względu na wąskie marginesy procesu i słabą powtarzalność.Hybrydyzacja Cu-Cu jest jednak wykorzystywana do masowej produkcji czujników obrazu CMOS z wysoką wydajnością od 2016 r. i jest kluczową technologią do skalowania połączeń z czujnikami InGaAs.Rysunek 22 pokazuje również przykład aplikacji obejmującej inspekcję i monitorowanie bezpieczeństwa w mglistym scenariuszu.W ten sposób czujniki obrazu InGaAs umożliwiają obrazowanie HD SWIR za pośrednictwem połączeń Cu-Cu na poziomie pikseli.

najnowsze wiadomości o firmie Ewolucja architektur przetworników obrazu CMOS  20

Rysunek 21. Schemat przebiegu procesu wytwarzania czujnika obrazu InGaAs.

najnowsze wiadomości o firmie Ewolucja architektur przetworników obrazu CMOS  21

Rysunek 22. Trendy skoku styków typu flip-chip i przykłady zastosowań dla połączeń Cu-Cu i czujników InGaAs.
V. Inteligentne czujniki wizyjne
Zapotrzebowanie na aparaty z możliwościami przetwarzania AI rośnie na rynku Internetu rzeczy (IoT), handlu detalicznym, inteligentnych miastach i podobnych aplikacjach.Moc przetwarzania AI na takich urządzeniach brzegowych może rozwiązać niektóre problemy związane z czystymi systemami przetwarzania w chmurze, takie jak opóźnienia, komunikacja w chmurze, koszty przetwarzania i kwestie prywatności.Wymagania rynku dotyczące inteligentnych kamer z funkcjami przetwarzania AI obejmują niewielkie rozmiary, niski koszt, niskie zużycie energii i łatwość instalacji.Jednak konwencjonalne czujniki obrazu CMOS wysyłają tylko nieprzetworzone dane przechwyconego obrazu.Dlatego przy opracowywaniu inteligentnej kamery z możliwościami przetwarzania AI konieczne jest użycie układów scalonych, które obejmują procesor sygnału obrazu (ISP), przetwarzanie splotowych sieci neuronowych (CNN), DRAM i inne możliwości.
Czujnik obrazu „stacked CMOS” składający się z 12,3 megapikseli i procesora DSP dedykowanego do obliczeń CNN został zgłoszony w 2021 roku. Jak pokazano na rysunku 23, czujnik zawiera zintegrowane rozwiązanie z pełnym transferem przechwytywania obrazu do procesora wnioskowania CNN i może być przetwarzany z prędkością 120 fps , w tym przechwytywanie obrazu przy użyciu procesora DSP 4,97 TOPS/W i wbudowanego przetwarzania CNN.Blok przetwarzania ma dostawcę usług internetowych do wstępnego przetwarzania danych wejściowych CNN, podsystem DSP zoptymalizowany pod kątem przetwarzania CNN oraz 8 MB pamięci L2 SRAM do przechowywania wag CNN i pamięci wykonawczej.Rysunek 24 przedstawia kilka przykładów wyników wnioskowania CNN przy użyciu MobileNet v1.Podsystem DSP wykazał podobne wyniki wnioskowania jak TensorFlow.Inteligentne czujniki wizyjne są w stanie uruchomić cały proces wnioskowania CNN na czujniku i mogą przesyłać przechwycone obrazy jako surowe dane, a wyniki wnioskowania CNN w tej samej ramce za pośrednictwem interfejsu MIPI.Czujnik obsługuje również wyprowadzanie wyników wnioskowania CNN tylko z interfejsu SPI, aby umożliwić korzystanie z małych kamer i zmniejszyć zużycie energii i koszty systemu.Procesor wnioskowania CNN w czujniku umożliwia użytkownikom programowanie ulubionych modeli sztucznej inteligencji we wbudowanej pamięci i przeprogramowywanie ich zgodnie z wymaganiami lub warunkami, w których system jest używany.Na przykład, gdy jest zainstalowany przy wejściu do obiektu, może służyć do zliczania liczby odwiedzających wchodzących do obiektu;po zainstalowaniu na półce sklepowej może być używany do wykrywania sytuacji braku towaru;po zamontowaniu na suficie może służyć do mapowania cieplnego odwiedzających sklep.Oczekuje się, że inteligentne czujniki wizyjne zapewnią tanie brzegowe systemy sztucznej inteligencji do różnych zastosowań przy użyciu elastycznych modeli sztucznej inteligencji.

W tym artykule dokonano przeglądu ostatnich osiągnięć w architekturze przetworników obrazu ze strukturą urządzeń piętrowych.Ułożona w stos struktura urządzenia znacznie poprawia wydajność czujnika obrazu, zwłaszcza przy dużej liczbie klatek na sekundę i wysokiej rozdzielczości pikseli, dzięki wysoce równoległym przetwornikom ADC zaimplementowanym przy użyciu pikseli czujnika i technologii procesowej zoptymalizowanej pod kątem obwodów CMOS.W ostatnich pracach pojawiło się kilka propozycji, z pewnymi wynikami, wykorzystujących układy układania równoległego pikseli i/lub inteligentniejsze jednostki przetwarzające.Te nowe wyzwania wymagają większej skalowalności, większej optymalizacji technologii procesu dla każdej funkcji oraz wyższej wydajności obszaru.Fotodetektory, pikselowe obwody front-end, analogowe procesory sygnałów mieszanych i cyfrowe oraz pamięci mogą być integrowane w bardziej efektywny sposób, jak pokazano na rysunku 25, a przyszłe architektury czujników obrazu będą dalej rozwijane w celu rozszerzenia możliwości dzięki technikom układania urządzeń w stosy.

Szczegóły kontaktu