[Math] chapter 2.4 [Image Sensing Pipeline]

Image Sensing Pipeline

Image Sensing Pipeline은 3가지 Stage로 나뉩니다.

     1. Camera 렌즈/몸체에서 빛 운송 계층

     2. Photon measurement and Conversion은 센서 칩으로 활용함

     3. Image signal processing과 compression

Shutter

초점이 맞는 필름 혹은 센서 앞에 위치한 셔터는 image sensor/film 앞에 위치합니다.
대부분의 디지털 카메라는 기계적이거나, 전기적으로 작동합니다.

shutter speed를 활용하여, 빛이 센서에 얼마나 들어오는지 control할 수 있습니다. 만약 image가 over/underexposed한다면, 이미지는 blurred 혹은 Noisy 합니다. 

Sensor

센서에는 2가지 종류(CCD, CMOS)가 존재합니다.
CCD(Charge Coupled Device, 전화결합소자)는 빛의 세기를 전기적 신호로 바꿔줍니다.

CMOS(Complementray Metal Oxide Semiconductor, 상보성금속산화물반도체)는 주로 화상 카메라에 자주 쓰임. (전문형)

CCDs는 직렬이기에, charge가 pixel to pixel로 움직이고, CMOS는 각 픽셀에 대해서 변환하므로,
CMOS가 성능이 좋아진다는 것을 알 수 있습니다.

Color Filter Arrays

Color Filter Arrays는 디지털 이미지 센서에서 사용되는 필터 패턴입니다. 왼쪽 Bayer RGB pattern은 각 픽셀이 하나의 색상 정보만을 캡쳐하는 방식이고, 대게 Bayer 패턴이라는 2x2

픽셀 형태의 패턴을 따릅니다. 이러한 패턴은 빨강, 녹색 및 파란 필터로 이루어져 있습니다. 사람들은 녹색에 민감하기 때문에 녹생에 대한 Color Filter를 더 많이 배치합니다.

Demosaicking

대부분의 이미지 센서가 각 화소에서 R,G,B 중 어느 한 색만을 감지할 수 있음에도 불구하고, 우리가 보는 카메라 영상에서는 RGB 모두 보여집니다. 이것이 가능한 이유는, 주변 화소들의 색상값을 보간하여 인위적으로 모든 색을 구성하기 때문입니다.

(CFA interpolation이라고도 함.)

 

각 Pixel이 light spectrum에 대한 분광감도에 따라 적분한 것입니다.
그러므로, 이미지의 화질과 색상은 각 픽셀의 분광감도와 적분된 빛의 강도에 따라 결정합니다.



Color Spaces

다양한 Color spaces가 개발되고 있습니다. RGB도 마찬가지로, color space 중 하나입니다. 컬러 스페이스를 사용하면, 다양한 기기간의 색상을 일관되게 표시되도록 보장할 수 있습니다.

Gamma Compression

시각 시스템이 어떻게 밝기에 영향을 미치는지 파악하기 위한 방법입니다. 인간의 눈은 밝은 부분에서 민감합니다.

그러므로, 이미지의 밝기를 증가시킬 때, 비율을 점점 증가시킵니다.