4.7. Belichtung und Verstärkung¶

Zwei Stellschrauben ändern, wie hell jede Pixelzelle an den Rest der Pipeline gemeldet wird:

Belichtungszeit (auch Integrationszeit genannt) – wie lange die Photodiode vor dem Auslesen Ladung sammeln darf.
Analoge Verstärkung – der Multiplikator, der von einem On-Chip-Verstärker vor dem ADC auf die Auslesespannung angewendet wird.

Beide Stellschrauben machen das aufgenommene Bild heller, aber der Weg dorthin ist unterschiedlich, und jede bringt ihre eigenen Kosten mit sich.

4.7.1. Belichtungszeit¶

Eine längere Belichtung bedeutet, dass jede Zelle pro Einzelbild mehr Elektronen sammelt, sodass der Digitalwert bei gleicher Szene höher ausfällt. Eine Halbierung der Belichtung halbiert ungefähr den Wert; eine Verdopplung verdoppelt ihn ungefähr. Der Zusammenhang ist linear, bis der Speicher gesättigt ist.

Die Kosten sind Bewegung. Die Zelle erfasst das durchschnittliche Licht, das während des gesamten Integrationsfensters bei ihr eintrifft, sodass jedes Objekt, das sich während dieses Fensters eine merkliche Strecke bewegt, über mehrere Pixel verschmiert wird – Bewegungsunschärfe. Eine gehende Person verschwimmt bei 1/30 s Belichtung über mehrere Pixel; dieselbe Person erscheint bei 1/500 s scharf.

Eine lange Belichtung bringt die Zelle außerdem näher an die Sättigung, sodass in gut beleuchteten Szenen die Belichtung herabgesetzt werden muss, obwohl die Helligkeit in Ordnung ist – andernfalls werden die Lichter abgeschnitten.

4.7.2. Analoge Verstärkung¶

Die analoge Verstärkung ist ein kleiner Verstärker zwischen dem Auslesen der Photodiode und dem ADC. Die Signalspannung wird vor der Digitalisierung mit der Verstärkung multipliziert, sodass dieselbe Anzahl von Elektronen am Ende als größere Zahl ausgelesen wird. Die Verstärkung wird üblicherweise in Dezibel (dB) ausgedrückt; eine Verdopplung der Verstärkung entspricht +6 dB.

Verstärkung hilft bei Licht, das zu schwach ist, um länger zu belichten – wo eine Verlängerung der Belichtung entweder die Bildrate unter die Anforderungen der Anwendung senken oder zu viel Bewegungsunschärfe einbringen würde. Die Kosten sind Rauschen. Der Verstärker multipliziert den Rauschpegel zusammen mit dem Signal, sodass sich das Signal-Rausch-Verhältnis mit höherer Verstärkung nicht verbessert. Eine hohe Verstärkung erzeugt bei gleicher Szenenhelligkeit ein körnigeres, verrauschteres Bild als eine niedrige Verstärkung.

Manche Sensoren bieten zusätzlich eine digitale Verstärkung an, die ein ganzzahliger Multiplikator nach dem ADC ist. Die digitale Verstärkung ist für das Rauschbild noch schlechter als die analoge Verstärkung, weil sie auch das Quantisierungsrauschen des ADC verstärkt. Greifen Sie zuletzt darauf zurück.

4.7.3. Automatische Belichtung und automatische Verstärkung¶

Echte Kameras müssen Szenen bewältigen, die einen enormen Helligkeitsbereich umfassen – ein dunkler Innenraum und ein sonnenbeschienenes Fenster im selben Sichtfeld. Zwei Regelschleifen passen die Stellschrauben in Echtzeit an:

Automatische Belichtungssteuerung (AEC) misst den durchschnittlichen Pixelwert im jüngsten Einzelbild (oft zur Mitte hin gewichtet oder von den hellsten Pixeln weg gewichtet) und passt die Belichtungszeit an, um diesen Durchschnitt an einen Zielwert heranzuführen.
Automatische Verstärkungssteuerung (AGC) tut dasselbe mit der analogen Verstärkung, üblicherweise als Rückfallebene, sobald die Belichtungszeit bereits an ihr sicheres Maximum getrieben wurde.

Die Reihenfolge ist wichtig. Zuerst die Belichtung und dann die Verstärkung anzupassen, ergibt das beste Signal-Rausch-Verhältnis für eine gegebene Zielhelligkeit, da die Belichtung mehr Signal sammelt, ohne Rauschen zu verstärken, während die Verstärkung beides verstärkt. AEC und AGC arbeiten daher nach Priorität: Die Belichtung wird zuerst erhöht, um eine dunkle Szene aufzuhellen, und die Verstärkung greift erst ein, sobald die Belichtung ihre Obergrenze erreicht hat (festgelegt durch die Bildrate oder durch ein explizites Bewegungsunschärfe-Budget).

4.7.4. Hoher Dynamikumfang¶

AEC und AGC wählen die richtige Einzelbildhelligkeit für den Durchschnitt der Szene, aber jede Szene hat Teile, die heller und dunkler als der Durchschnitt sind. Eine einzelne Belichtung kann nur einen begrenzten Teil dieses Bereichs auf einmal abdecken – kurze Belichtungen bewahren die Lichter, lassen aber die Schatten im Ausleserauschen verschwinden; lange Belichtungen heben die Schatten an, schneiden aber die Lichter bei Sättigung ab. Der Dynamikumfang des Sensors – das Verhältnis zwischen dem hellsten Pixel, das er ohne Abschneiden aufzeichnen kann, und dem dunkelsten, das er vom Rauschen unterscheiden kann – ist durch die Full-Well-Kapazität der Photodiode und den Ausleserauschpegel festgelegt, und viele Szenen haben einen größeren Bereich, als der Sensor in einem einzelnen Einzelbild erfassen kann. Ein sonnenbeschienenes Fenster in einem dunklen Innenraum ist das klassische Beispiel.

High Dynamic Range (HDR)-Bildgebung umgeht die Grenze, indem sie zwei oder mehr Belichtungen derselben Szene – mindestens eine kurze und eine lange, manchmal mehr – zu einem einzigen Ausgabe-Einzelbild kombiniert. Die kurzen Belichtungen bewahren die Lichter, ohne zu sättigen; die langen Belichtungen heben die Schatten aus dem Rauschpegel heraus. Das kombinierte Bild übernimmt die Lichter aus den kurzen Einzelbildern und die Schatten aus den langen und erreicht so einen größeren nutzbaren Dynamikumfang, als ihn ein einzelnes Eingangsbild für sich allein tragen könnte.

Das Kombinieren kann off-chip geschehen, indem Software eine Mehrbild-Serie zusammenfügt, oder on-chip, indem der Sensor kurz- und langbelichtete Zeilen in abwechselnden Abtastzeilen verschachtelt oder jedes Pixel durch zwei Auslesepfade mit unterschiedlichen Wandlungsverstärkungen führt. So oder so ist das Ergebnis ein Einzelbild mit mehr Bits an Dynamikumfang, als die Photodiode in einer einzigen Aufnahme aufzeichnen könnte.

Dieses Einzelbild mit erweitertem Bereich ist nicht direkt anzeigbar. Der Framebuffer und jeder nachgelagerte Konsument davon arbeiten mit einer festen Bittiefe (üblicherweise 8 Bit pro Kanal), während das HDR-Signal bis zu 12, 16 oder mehr reichen kann. Tone Mapping komprimiert die zusätzlichen Bits wieder auf die Ausgabetiefe herunter, indem es eine nichtlineare Kurve anwendet, die sowohl Schatten- als auch Lichterdetails sichtbar hält. Eine geradlinige lineare Skalierung des HDR-Signals würde entweder die dunklen Bereiche zu Schwarz zusammendrücken oder die hellen Bereiche zu Weiß abschneiden; ein gutes Tone Mapping gibt etwas absolute Helligkeitstreue auf, um an beiden Enden des Bereichs Details zu erhalten, und die Ausgabe sieht dem, was das Auge in der Szene tatsächlich wahrnimmt, viel näher als jede einzelne Sensorbelichtung es je könnte.