4.7. Belichting en versterking

Twee knoppen veranderen hoe helder elke pixelcel wordt gerapporteerd aan de rest van de pipeline:

  • Belichtingstijd (ook wel integratietijd genoemd) – hoe lang de fotodiode lading mag verzamelen voordat de uitlezing plaatsvindt.

  • Analoge versterking – de vermenigvuldiging die door een on-chip versterker op de uitleesspanning wordt toegepast vóór de ADC.

Beide knoppen maken de opgenomen afbeelding helderder, maar de manier waarop ze dat bereiken verschilt en elk brengt zijn eigen kosten met zich mee.

4.7.1. Belichtingstijd

Een langere belichting betekent dat elke cel meer elektronen per frame verzamelt, dus de digitale telling komt voor dezelfde scène hoger uit. De belichting halveren halveert ruwweg de telling; verdubbelen verdubbelt ze ruwweg. De relatie is lineair totdat de well verzadigt.

De kosten zijn beweging. De cel registreert het gemiddelde licht dat erop valt gedurende het hele integratievenster, dus elk object dat tijdens dat venster een merkbare afstand beweegt, wordt over meerdere pixels uitgesmeerd – bewegingsonscherpte. Een wandelend persoon bij een belichting van 1/30 s vervaagt over meerdere pixels; dezelfde persoon bij 1/500 s lijkt scherp.

Een lange belichting brengt de cel ook dichter bij verzadiging, dus bij goed verlichte scènes moet de belichting omlaag, ook al is de helderheid prima – anders worden de hoge lichten afgekapt.

4.7.2. Analoge versterking

Analoge versterking is een kleine versterker tussen de uitlezing van de fotodiode en de ADC. De signaalspanning wordt vermenigvuldigd met de versterking voordat deze wordt gedigitaliseerd, zodat hetzelfde aantal elektronen uiteindelijk als een groter getal wordt uitgelezen. Versterking wordt meestal uitgedrukt in decibel (dB); een verdubbeling van de versterking is +6 dB.

Versterking helpt bij licht dat te zwak is om nog langer te belichten – waar het verlengen van de belichting ofwel de framesnelheid onder de behoeften van de applicatie zou laten zakken, ofwel te veel bewegingsonscherpte zou introduceren. De kosten zijn ruis. De versterker vermenigvuldigt de ruisvloer samen met het signaal, dus de signaal-ruisverhouding verbetert niet met meer versterking. Hoge versterking levert een korreliger, ruisiger afbeelding op bij dezelfde scènehelderheid als lage versterking.

Sommige sensoren bieden ook een knop voor digitale versterking, een integer-vermenigvuldiging na de ADC. Digitale versterking is voor het ruisbeeld nog slechter dan analoge versterking, omdat ze ook de kwantisatieruis van de ADC versterkt. Grijp er als laatste naar.

4.7.3. Automatische belichting en automatische versterking

Echte camera’s moeten scènes aankunnen die een enorm bereik aan helderheid omspannen – een schemerige binnenruimte en een door de zon beschenen raam in hetzelfde gezichtsveld. Twee besturingslussen passen de knoppen in realtime aan:

  • Automatische belichtingsregeling (AEC) meet de gemiddelde pixelwaarde in het recente frame (vaak gewogen naar het midden, of weggewogen van de helderste pixels) en past de belichtingstijd aan om dat gemiddelde naar een doelwaarde te sturen.

  • Automatische versterkingsregeling (AGC) doet hetzelfde met analoge versterking, meestal als terugval zodra de belichtingstijd al naar zijn veilige maximum is geduwd.

De volgorde is belangrijk. Eerst de belichting en daarna de versterking aanpassen geeft de beste signaal-ruisverhouding voor een gegeven doelhelderheid, omdat belichting meer signaal verzamelt zonder ruis te versterken, terwijl versterking beide versterkt. AEC en AGC werken daarom volgens prioriteit: de belichting neemt eerst toe om een schemerige scène op te lichten, en de versterking komt pas in actie zodra de belichting zijn plafond heeft bereikt (bepaald door de framesnelheid of door een expliciet bewegingsonscherpte-budget).

4.7.4. Hoog dynamisch bereik

AEC en AGC kiezen de juiste enkelframehelderheid voor het gemiddelde van de scène, maar elke scène heeft delen die helderder en donkerder zijn dan het gemiddelde. Eén belichting kan slechts een beperkt deel van dat bereik tegelijk dekken – korte belichtingen behouden de hoge lichten maar laten de schaduwen verzinken in uitleesruis; lange belichtingen halen de schaduwen op maar kappen de hoge lichten af bij verzadiging. Het dynamisch bereik van de sensor – de verhouding tussen de helderste pixel die hij zonder afkapping kan opnemen en de donkerste die hij van ruis kan onderscheiden – ligt vast door de full-well-capaciteit van de fotodiode en de uitleesruisvloer, en veel scènes hebben een breder bereik dan de sensor in één frame kan vastleggen. Een door de zon beschenen raam in een schemerige binnenruimte is het klassieke voorbeeld.

Hoog-dynamisch-bereik-beeldvorming (HDR) omzeilt de limiet door twee of meer belichtingen van dezelfde scène te combineren – minimaal een korte en een lange, soms meer – tot één uitvoerframe. De korte belichtingen behouden de hoge lichten zonder te verzadigen; de lange belichtingen halen de schaduwen omhoog uit de ruisvloer. De gecombineerde afbeelding neemt de hoge lichten van de korte frames en de schaduwen van de lange frames, en eindigt met meer bruikbaar dynamisch bereik dan welke afzonderlijke invoer dan ook op zichzelf zou kunnen dragen.

Combineren kan off-chip gebeuren, waarbij software een multiframe-burst aan elkaar stikt, of on-chip, waarbij de sensor korte- en langbelichtingsrijen afwisselt in om-en-om gescande lijnen of elke pixel door twee uitleespaden met verschillende conversieversterkingen laat lopen. Hoe dan ook is het resultaat één frame met meer bits aan dynamisch bereik dan de fotodiode in één enkele opname kon opnemen.

Dat frame met uitgebreid bereik is niet rechtstreeks weer te geven. De framebuffer en elke consument stroomafwaarts daarvan werken met een vaste bitdiepte (meestal 8 bits per kanaal), terwijl het HDR-signaal kan oplopen tot 12, 16 of meer. Tone mapping comprimeert de extra bits terug tot de uitvoerdiepte door een niet-lineaire curve toe te passen die zowel schaduw- als hooglichtdetail zichtbaar houdt. Een rechttoe rechtaan lineaire schaling van het HDR-signaal zou ofwel de schemerige gebieden tot zwart wegdrukken of de heldere gebieden tot wit afkappen; een goede tone map geeft wat absolute helderheidsgetrouwheid op om detail aan beide uiteinden van het bereik te behouden, en de uitvoer lijkt veel dichter bij wat het oog daadwerkelijk in de scène ziet dan welke afzonderlijke sensorbelichting dan ooit zou kunnen.