4.6. Rolling a global shutter

Senzor vyčítá svou dvourozměrnou mřížku pixelů po jedné buňce. Výsledný zaznamenaný obraz ovlivňují dvě věci: pořadí, v jakém jsou pixely skenovány, a způsob, jakým se expoziční okno každého řádku časově skládá s tímto skenováním. To první je dáno pevně křemíkem; to druhé existuje ve dvou zavedených variantách, které velmi záleží u scén, které se pohybují.

4.6.1. Pořadí vyčítání

Typické senzory začínají v levém dolním pixelu a skenují doprava podél tohoto řádku, poté postoupí na další řádek nahoru a opět skenují doprava, a tak dále, dokud neskončí vpravo nahoře.

Pole pixelů se vyčítá počínaje levým dolním pixelem, skenuje se doprava podél každého řádku a mezi řádky se postupuje nahoru na další řádek.

Toto pořadí není náhoda. Objektiv při promítání scény na senzor scénu vodorovně zrcadlí a svisle převrací – vršek scény dopadá na spodek senzoru a levá strana scény na pravou stranu senzoru – a vyčítání zdola zleva směrem nahoru prochází senzor v pořadí, které obě převrácení vrací zpět, takže pixely uloží do paměti správnou stranou nahoru.

4.6.2. Rolling shutter

U senzoru s rolling shutterem je každý řádek postupně exponován a vyčítán. Zatímco se jeden řádek vyčítá, další stále dokončuje svou expozici, řádek za ním teprve začal, a tak dále – expoziční okno každého řádku je oproti následujícímu časově mírně posunuté. Integrační okno senzoru se valí napříč snímkem v pořadí skenování a celé skenování trvá celou periodu snímku.

U statických scén je to neviditelné. U scén s rychlým pohybem se posun projeví jako zkosení – objekt, který se mezi okamžikem zachycení prvního řádku a okamžikem zachycení posledního řádku pohne, se objeví na různých pozicích v různých řádcích téhož snímku.

Svislá tyč pohybující se doprava, zachycená každým typem shutteru. Rolling shutter tyč zkosí, protože vršek snímku je vyčítán v jiném čase než spodek; global shutter tyč zmrazí v jednom okamžiku.

Rolling shutter je levnější konstrukce. Protože se každý řádek vyčítá ihned po dokončení expozice, nepotřebuje pixelový obvod žádné stíněné úložiště na jeden pixel, které by udrželo jeho hodnotu po dobu vyčítání celého senzoru. Ušetřené tranzistory ponechávají fotodiodě větší podíl plochy pixelu, což se přímo promítá do vyšší citlivosti a nižšího šumu při stejné fyzické velikosti pixelu. Většina spotřebních obrazových senzorů je z tohoto důvodu typu rolling shutter.

4.6.3. Global shutter

U senzoru s global shutterem začíná každý pixel svou expozici ve stejném okamžiku a ve stejném okamžiku ji končí. Zachycený náboj se poté přenese do stíněné úložné oblasti na pixelu a odtud probíhá vyčítání po řádcích. Zachycený snímek představuje jeden okamžik v čase, bez ohledu na to, jak rychle se scéna pohybuje.

Global shutter stojí více křemíku a tato cena dopadá na fotodiodu. Udržení hodnoty každého řádku po dobu vyčítání celého senzoru vyžaduje na každém pixelu navíc stíněnou úložnou buňku plus tranzistory, které ji oddělují od fotodiody – plochu, která by jinak patřila samotné fotodiodě. Menší fotodioda zachytí méně fotonů za jednotku času, takže pixel s global shutterem je méně citlivý než stejně velký pixel s rolling shutterem. Tatáž scéna potřebuje delší expozici nebo vyšší zisk, aby se zaznamenala se stejným jasem, a obvody navíc k tomu mírně zvyšují šum při čtení.

Druhá daň se platí z expozičního rozpočtu. U senzoru s rolling shutterem se expozice každého řádku překrývá s vyčítáním sousedních řádků, takže každý řádek může integrovat světlo téměř po celou periodu snímku. U global shutteru nemůže vyčítání začít, dokud každý řádek nedokončí expozici, takže při dané snímkové frekvenci je maximální doba expozice rovna periodě snímku minus celá doba vyčítání. Při stejné snímkové frekvenci tak pixel s rolling shutterem získá více světla na snímek.

Tyto náklady se sčítají: senzory s global shutterem mají menší počet pixelů, jsou hlučnější, méně citlivé a dražší na pixel než jejich protějšky s rolling shutterem. Tento kompromis se vyplatí pouze tehdy, když je třeba čistě zachytit rychlý pohyb.

4.6.4. Kdy který použít

Typ shutteru je hardwarová vlastnost senzoru, nikoli softwarové nastavení. Volba se činí při návrhu kamery.

Rolling shutter je v pořádku, když:

• je scéna statická nebo se pohybuje pomalu;

• aplikace toleruje určité zkosení (většina fotografie a většina práce s uživatelským rozhraním);

• prioritou jsou náklady a rozlišení za peníze.

Global shutter je správnou volbou, když:

• scéna obsahuje rychlý pohyb, který je třeba čistě zachytit (robotika, drony, kontrola na dopravním pásu);

• kamera sama vibruje nebo se pohybuje vůči statické scéně;

• obraz je předáván algoritmu vidění, který předpokládá, že každý snímek je jeden časový okamžik (většina pipeline pro odhad pózy a structure-from-motion).

Poznámka

Řada OpenMV Cam standardně používá senzory s global shutterem pro účely strojového vidění, kde rozmazání pohybu na pohybujícím se objektu (nebo při pohybu kamery) narušuje navazující detekci a sledování. Nabízejí se rovněž moduly senzorů s rolling shutterem pro aplikace, kde na kvalitě obrazu pomalé nebo statické scény záleží více než na zmrazení rychlého pohybu – klasické snímání ve stylu fotografie.