4.7. 노출과 게인¶

각 픽셀 셀이 얼마나 밝게 파이프라인의 나머지 부분에 보고되는지를 두 개의 손잡이가 바꿉니다:

노출 시간(적분 시간이라고도 함) – 포토다이오드가 판독(read-out) 전까지 전하를 수집하도록 허용되는 시간입니다.
아날로그 게인 – ADC 이전에 온칩 증폭기가 판독 전압에 적용하는 배율.

두 손잡이 모두 기록된 이미지를 더 밝게 만들지만, 그 방식은 서로 다르며 각각 고유한 대가를 수반합니다.

4.7.1. 노출 시간¶

노출 시간이 길수록 각 셀이 프레임당 더 많은 전자를 모으므로, 같은 장면에 대해 디지털 카운트가 더 높게 나옵니다. 노출을 절반으로 줄이면 카운트가 대략 절반이 되고, 두 배로 늘리면 대략 두 배가 됩니다. 이 관계는 우물(well)이 포화되기 전까지는 선형입니다.

그 대가는 움직임입니다. 셀은 적분 윈도우 전체에 걸쳐 도달하는 빛의 평균을 기록하므로, 그 윈도우 동안 눈에 띄게 이동하는 물체는 여러 픽셀에 걸쳐 번지게 됩니다 – 이것이 모션 블러입니다. 1/30초 노출에서 걷는 사람은 여러 픽셀에 걸쳐 흐려지지만, 같은 사람이 1/500초에서는 선명하게 보입니다.

긴 노출은 또한 셀을 포화에 더 가깝게 만들기 때문에, 밝기가 충분한 잘 조명된 장면에서는 밝기에 문제가 없더라도 노출을 낮춰야 합니다 – 그렇지 않으면 밝은 영역이 클리핑됩니다.

4.7.2. 아날로그 게인¶

아날로그 게인은 포토다이오드 판독과 ADC 사이에 있는 작은 증폭기입니다. 신호 전압은 디지털화되기 전에 게인만큼 곱해지므로, 같은 수의 전자가 더 큰 숫자로 읽히게 됩니다. 게인은 보통 데시벨(dB)로 표현되며, 게인을 두 배로 하는 것은 +6 dB입니다.

게인은 노출을 더 길게 할 수 없을 만큼 빛이 어두운 상황에서 도움이 됩니다 – 노출을 늘리면 프레임률이 애플리케이션이 필요로 하는 수준 아래로 떨어지거나 너무 많은 모션 블러가 발생하는 경우입니다. 그 대가는 노이즈입니다. 증폭기는 신호와 함께 노이즈 플로어도 곱하므로, 신호 대 잡음비는 게인을 높여도 개선되지 않습니다. 높은 게인은 낮은 게인과 같은 장면 밝기에서 더 거칠고 노이즈가 많은 이미지를 만듭니다.

일부 센서는 디지털 게인 손잡이도 제공하는데, 이는 ADC 이후의 정수 배율입니다. 디지털 게인은 ADC의 양자화 노이즈까지 증폭하기 때문에 노이즈 측면에서 아날로그 게인보다도 더 나쁩니다. 가장 마지막에 사용하십시오.

4.7.3. 자동 노출과 자동 게인¶

실제 카메라는 매우 넓은 밝기 범위에 걸친 장면을 다뤄야 합니다 – 어두운 실내 방과 햇빛이 비치는 창문이 같은 시야 안에 있는 경우 등입니다. 두 개의 제어 루프가 실시간으로 손잡이를 조정합니다:

자동 노출 제어(AEC)는 최근 프레임의 평균 픽셀 값(흔히 중앙에 가중치를 두거나, 가장 밝은 픽셀에서 가중치를 낮춤)을 측정하고, 그 평균이 목표값에 가까워지도록 노출 시간을 조정합니다.
자동 게인 제어(AGC)는 아날로그 게인으로 같은 작업을 수행하며, 보통 노출 시간이 이미 안전한 최댓값까지 올라간 후의 대체 수단으로 사용됩니다.

순서가 중요합니다. 노출을 먼저, 게인을 나중에 조정하면 주어진 타깃 밝기에 대해 최상의 신호 대 잡음비를 얻을 수 있는데, 노출은 노이즈를 증폭하지 않고 더 많은 신호를 모으는 반면 게인은 둘 다 증폭하기 때문입니다. 따라서 AEC와 AGC는 우선순위에 따라 작동합니다. 어두운 장면을 밝게 하기 위해 노출이 먼저 증가하고, 노출이 (프레임률이나 명시적인 모션 블러 예산에 의해 정해진) 상한에 도달한 뒤에야 게인이 작동하기 시작합니다.

4.7.4. 하이 다이내믹 레인지¶

AEC와 AGC는 장면의 평균에 대해 올바른 단일 프레임 밝기를 선택하지만, 모든 장면에는 평균보다 더 밝거나 더 어두운 부분이 있습니다. 단일 노출은 그 범위를 한 번에 일정 부분까지만 담을 수 있습니다 – 짧은 노출은 밝은 영역을 보존하지만 어두운 영역을 판독 노이즈에 묻어버리고, 긴 노출은 어두운 영역을 끌어올리지만 밝은 영역을 포화에서 클리핑합니다. 센서의 다이내믹 레인지 – 클리핑 없이 기록할 수 있는 가장 밝은 픽셀과 노이즈에서 구분할 수 있는 가장 어두운 픽셀 사이의 비율 – 는 포토다이오드의 풀웰 용량(full-well capacity)과 판독 노이즈 플로어에 의해 고정되며, 많은 장면은 센서가 한 프레임에 담을 수 있는 것보다 더 넓은 범위를 갖습니다. 어두운 실내 방의 햇빛이 비치는 창문이 그 전형적인 예입니다.

하이 다이내믹 레인지(HDR) 이미징은 같은 장면을 둘 이상의 노출 – 최소한 짧은 노출과 긴 노출, 때로는 그 이상 – 로 촬영하여 하나의 출력 프레임으로 결합함으로써 이 한계를 우회합니다. 짧은 노출은 포화되지 않으면서 밝은 부분(highlight)을 보존하고, 긴 노출은 어두운 부분(shadow)을 노이즈 플로어 위로 끌어올립니다. 결합된 이미지는 짧은 프레임에서 밝은 부분을, 긴 프레임에서 어두운 부분을 가져와, 단일 입력으로는 담아낼 수 없는 더 넓은 가용 다이내믹 레인지를 얻게 됩니다.

결합은 소프트웨어가 다중 프레임 버스트를 이어 붙이는 오프칩(off-chip) 방식으로 일어날 수도 있고, 센서가 짧은 노출 행과 긴 노출 행을 스캔 라인에서 교대로 끼워 넣거나 각 픽셀을 서로 다른 변환 게인의 두 판독 경로로 통과시키는 온칩(on-chip) 방식으로 일어날 수도 있습니다. 어느 쪽이든 결과는 포토다이오드가 한 번의 촬영으로 기록할 수 있는 것보다 더 많은 다이내믹 레인지 비트를 가진 하나의 프레임입니다.

이 확장된 범위의 프레임은 직접 표시할 수 없습니다. 프레임 버퍼와 그 뒤의 모든 소비자는 고정된 비트 심도(보통 채널당 8비트)로 동작하는 반면, HDR 신호는 12비트, 16비트 또는 그 이상에 이를 수 있습니다. 톤 매핑은 어두운 영역과 밝은 영역의 디테일을 모두 보이게 유지하는 비선형 곡선을 적용하여 추가 비트를 다시 출력 심도로 압축합니다. HDR 신호를 단순히 선형으로 스케일링하면 어두운 영역을 검게 뭉개거나 밝은 영역을 흰색으로 클리핑하게 됩니다. 좋은 톤 맵은 약간의 절대 밝기 충실도를 포기하는 대신 범위의 양쪽 끝에 걸쳐 디테일을 유지하며, 그 출력은 어떤 단일 센서 노출보다도 눈이 실제로 장면에서 보는 것에 훨씬 더 가까워 보입니다.