픽셀 영역 적분·표본화·aliasing

픽셀은 점 하나가 아니라 영역을 측정한다

줄무늬 벽을 촬영한다고 생각해 봅시다. 픽셀 간격이 같은 두 카메라도 감광 영역과 노출 시간이 다르면 줄무늬 대비가 달라집니다. 화면을 더 촘촘하게 그린다고 실제 측정에서 평균되어 사라진 정보를 되찾을 수는 없습니다.

앞 광학 단원에서는 광학계가 만드는 강도 분포를 계산했습니다. 이제 직사각형 픽셀과 노출 구간의 적분, 규칙적인 공간 표본 격자를 붙입니다. 연속 장면, 평균된 장면, 이산 측정값, 유한 복원 곡선을 구분하는 것이 목표입니다. 모델은 이차원 센서 위에서 한 방향으로만 변하는 줄무늬이며, 모든 카메라 기능을 포함하지 않습니다.

단위와 음수가 아닌 입력을 먼저 정한다

센서 표면의 복사조도를 다음과 같이 준비합니다.

$$E(x,t)=E_0[1+\eta\cos(2\pi\nu(x-vt)+\phi)].$$

$x$는 m, $E_0$는 W/m², 공간 주파수 $\nu$는 cycles/m, 속도 $v$는 m/s, 위상 $\phi$는 rad입니다. 변조도는 $0\leq\eta\leq1$이므로 복사조도가 음수가 되지 않습니다. 높이 방향으로는 균일하다고 가정합니다. 필터링 뒤 변조 계수가 음수가 되는 것은 평균에 대한 대비 반전이며 전체 복사조도가 음수라는 뜻이 아닙니다.

W/m²는 교정된 물리 입력입니다. 앞 단원의 상대 제곱장 값에 W/m²라는 이름만 붙여 연결하면 안 됩니다. 실제 광량으로 연결할 때에는 별도로 주어진 교정 관계가 필요합니다.

픽셀 간격과 감광 폭을 분리한다

픽셀 중심을 $x_n=x_0+np$로 둡니다. $p$는 간격, $x_0$는 원점입니다. 실제 적분 영역의 폭은 $a\leq p$, 높이는 $b$, 면적은 $A=ab$입니다. 각 픽셀은 $x_n-a/2$부터 $x_n+a/2$까지의 빛을 받습니다.

간격은 어디에서 측정하는지를 정하고 폭은 무엇을 평균하는지를 정합니다. 간격이 그대로인데 폭만 줄면 더 높은 주파수의 대비를 남길 수 있지만, 수광량은 줄어듭니다. 남은 높은 주파수 성분은 이후 성긴 격자에서 aliasing을 일으킬 수도 있습니다. 감광 폭이 좁다는 사실만으로 표본 격자의 해상도가 높아지지 않습니다.

공간과 시간에 걸쳐 에너지를 적분한다

노출 시간 $T$의 중심을 $t_c$로 정하면 수광 에너지는

$$U_n=b\int_{t_c-T/2}^{t_c+T/2}\int_{x_n-a/2}^{x_n+a/2}E(x,t)\,dx\,dt$$

입니다. 단위는 $(\mathrm{W/m^2})\mathrm{m^2}\mathrm{s}=\mathrm J$입니다. 면적과 노출 시간이 양수일 때 평균 복사조도는 $\overline E_n=U_n/(abT)$입니다. 평균은 단위 면적·시간당 밀도이며 에너지 총량과 다릅니다.

면적이나 노출이 0이면 수광 에너지는 0이고 $U_n/(abT)$는 정의되지 않습니다. 비교를 위해 점 또는 순간 극한식을 계산할 수는 있습니다. 모델은 이 유한한 극한과 실제 물리 평균의 정의 여부를 따로 표시합니다. 면적이 없는 이상적인 점을 실제 광자를 모으는 검출기로 해석하지 않습니다.

두 sinc 인자를 직접 유도한다

정규화된 정의 $\operatorname{sinc}(q)=\sin(\pi q)/(\pi q)$와 $\operatorname{sinc}(0)=1$을 사용합니다. 대칭 공간·시간 구간에서 코사인을 적분하면

$$\overline E_n=E_0[1+\eta H_xH_t\cos(2\pi\nu(x_n-vt_c)+\phi)],$$ $$H_x=\operatorname{sinc}(\nu a),\qquad H_t=\operatorname{sinc}(\nu vT)$$

를 얻습니다. 공간 폭은 서로 다른 줄무늬 위치를 평균하고, 시간 폭은 이동하며 지나간 줄무늬를 평균합니다. 두 인자는 서로 다른 적분에서 나옵니다. 정지 장면은 노출이 길어도 $H_t=1$이고, 움직이는 장면은 간격을 바꾸지 않아도 시간 평균 때문에 대비가 줄어듭니다.

전달 계수의 부호를 버리지 않는다

$\nu a=1.5$이면 $H_x\approx-0.2122$입니다. 원래 밝은 마루에 해당하던 곳이 평균보다 어두워지는 방향으로 변조됩니다. 절댓값을 취하면 대비 크기는 남지만 반주기 위상 반전이 사라집니다.

앞 단원에서 복소 OTF와 MTF를 나눈 이유와 연결됩니다. 전달 크기만으로는 순방향 관측 전체를 설명하지 못합니다. 전체 밝기는 여전히 음수가 아니며, 음의 전달 계수는 평균에 대한 변조의 부호를 뜻합니다.

실제 숫자로 평균 효과를 계산한다

$p=a=10\,\mu\mathrm m$, $\nu=30{,}000$ cycles/m이면 $\nu a=0.3$이고

$$H_x=\frac{\sin(0.3\pi)}{0.3\pi}\approx0.8584$$

입니다. 입력 변조도 $\eta=0.8$은 정지 장면에서 약 0.6867로 줄어듭니다. 평균 복사조도는 $E_0$를 유지하지만 수광 에너지는 면적과 시간에 비례합니다.

폭을 절반으로 줄이면 대비 감쇠는 작아지지만 같은 높이·노출에서 광자 수가 줄어듭니다. 다음 센서 단원에서 shot noise를 포함하면, 선명한 변조를 남기는 것과 충분한 신호를 모으는 것이 서로 다른 요구임을 확인할 수 있습니다.

표본 격자는 여러 주파수를 같은 것으로 만든다

표본 주파수는 $\nu_s=1/p$입니다. 원점이 0인 격자에서는 정수 $k$에 대해

$$e^{i2\pi(\nu+k\nu_s)np}=e^{i2\pi\nu np}$$

입니다. 따라서 측정값만으로는 이 주파수들을 구별하지 못합니다. Aliasing은 역문제의 비식별성이지 그래프 프로그램의 실수만을 뜻하는 말이 아닙니다.

다만 실제 픽셀 평균은 표본화보다 먼저 일어납니다. 같은 점 표본 무늬를 만드는 두 원래 주파수도 서로 다른 sinc 감쇠를 받을 수 있습니다. 전체 측정 연산자에 대해 똑같은 값을 만드는 반례를 구성하려면 이 감쇠 차이를 원래 진폭에 반영해야 합니다. 진폭까지 같은 임의의 두 장면이 언제나 같은 적분 측정을 만드는 것은 아닙니다.

원점이 바뀌면 alias 위상도 바뀐다

부호 있는 대표 주파수를 $\nu_a=\nu-k/p$로 정하고 $[-\nu_s/2,\nu_s/2)$ 구간에 넣습니다. 이 대표가 같은 측정값을 만들려면 위상은

$$\phi_a=\phi-2\pi\nu vt_c+2\pi kx_0/p$$

가 되어야 합니다. 마지막 항은 격자 원점이 0이 아닐 때 필요합니다. 센서를 조금 옮기면 간격이 같아도 줄무늬의 다른 위상을 측정합니다. 모델은 음의 대표 주파수를 양수로 바꾸며 위상을 잃지 않고 부호를 유지합니다.

Nyquist 조건과 경계의 함정을 이해한다

임의의 미지 위상을 갖는 실수 사인파에 대해 안전한 비중복 대역은 $\nu_s/2$보다 엄격히 낮은 쪽입니다. 경계에서는 특정 성분이 모든 격자점에서 사라질 수 있습니다. 예를 들어 $\cos(\pi n+\pi/2)=0$이지만 점 사이의 연속 변조는 0이 아닙니다.

간격이 10µm이면 Nyquist 주파수는 50,000 cycles/m입니다. 80,000 cycles/m는 부호 있는 대표 −20,000 cycles/m로 접힙니다. 이때 직사각형 aperture의 sinc는 일반적으로 0이 아니므로 높은 주파수가 완전히 제거되지 않습니다. 유한 픽셀 영역은 이상적인 급차단 anti-alias 필터가 아닙니다.

노출 적분이 이동 무늬를 지우는 예

$\nu=25{,}000$ cycles/m, $v=0.001$ m/s, $T=0.04$ s이면 $\nu vT=1$이고 $H_t=0$입니다. 한 노출 동안 픽셀이 정확히 한 시간 주기를 보므로 적분 결과에는 평균만 남습니다.

노출을 줄이면 이동 대비를 보존할 수 있지만 모이는 빛도 줄어듭니다. 이후 디지털 이득을 키워도 시간 평균을 되돌리지 못합니다. 평균만 남은 관측에서 사라진 원래 위상을 데이터만으로 알아낼 수도 없습니다.

에너지에서 광자 평균으로 변환한다

단색광 파장이 $\lambda$이면 광자 하나의 에너지는 $hc/\lambda$입니다. 따라서

$$\mu_{p,n}=\frac{U_n\lambda}{hc}$$

입니다. 면적 25µm², 노출 10ms, 복사조도 0.001W/m², 파장 550nm이면 입사 광자 평균은 약 692.19개입니다. 매번 정확히 같은 수의 광자가 들어온다는 뜻이 아닙니다.

넓은 스펙트럼은 각 파장의 에너지를 해당 광자 에너지로 나눈 뒤 합해야 합니다. 임의의 대표 파장 하나로 모든 광원을 설명하지 않습니다. 입사 광자가 수집 전자가 되는 효율은 다음 단원에서 별도로 다룹니다.

유한 sinc 복원을 정직하게 표시한다

유지한 표본이 $-N$부터 $N$까지라면

$$\widetilde E_N(x)=\sum_{n=-N}^{N}\overline E_n\operatorname{sinc}\!\left(\frac{x-x_0}{p}-n\right)$$

를 그릴 수 있습니다. 이 유한 합은 유지한 격자점을 통과하지만 무한 표본에 대한 복원 정리와 같지 않습니다. 빠진 표본 때문에 창 가장자리 오차가 생기고, 점 사이에서 overshoot나 음의 보간값이 생길 수 있습니다. 이것을 실제 음의 수광 에너지로 읽으면 안 됩니다.

화면에 곡선을 그리는 표본 격자는 또 별개입니다. 구현은 원래 연속 주파수가 충분히 보이도록 표시 표본 수를 정합니다. 화면 자체에서 잘못 접힌 곡선을 물리적 aliasing의 결과인 것처럼 보여주지 않습니다.

AI 역문제의 관측 연산자로 연결한다

장면 매개변수, 광학 강도, 공간·시간 적분, 이산 표본의 순서를 순방향 모델로 적습니다. 실제 카메라는 영역 적분인데 학습 데이터 생성기는 점 표본을 사용한다면 학습의 관측 연산자가 잘못 지정된 것입니다. 복원된 세부 질감은 관측이 유일하게 제공한 정보 대신 학습 사전분포를 반영할 수 있습니다.

연구에서는 간격·영역 폭·노출을 따로 바꾸고 단위를 기록하며, 서로 다른 장면 중 어떤 것들이 같은 관측을 만드는지 질문합니다. 매번 마루가 픽셀 중심에 놓이는 준비만 재사용하지 말고 새로운 위상·원점에서도 확인해야 합니다.

해설 연습문제

1. 간격과 폭을 구분하기

간격 10µm, 폭 5µm이면 Nyquist 주파수는 두 배가 될까요? 아닙니다. 격자가 같으므로 50,000 cycles/m 그대로입니다. 공간 전달은 sinc(ν·5µm)로 바뀌고, 높이·노출이 같으면 수광 에너지는 폭 10µm일 때의 절반입니다.

2. 높은 주파수의 위상 따라가기

간격 10µm에서 130,000 cycles/m는 30,000 cycles/m로 접힙니다. 원점이 3µm라면 위상에 0.6π가 추가됩니다. 이 항을 생략하면 그럴듯한 저주파를 그려도 실제 격자값과 맞지 않습니다.

3. 음의 전달 해석하기

νa=1.5에서 음의 sinc는 영역 안 변조 기여가 상쇄되고 반대 부호로 남았다는 뜻입니다. 평균 밝기는 양수입니다. 총 에너지가 음수라고 해석하지 않고 변조 위상이 반전되었다고 해석합니다.

4. 경계에서 숨은 성분 찾기

ν=νs/2, 위상 π/2이면 점 중심의 변조가 모두 0입니다. 원점을 옮기면 결과가 달라집니다. 특정 경계 위상 하나에서 잘 작동한 복원기를 임의 위상에서 정확하다고 주장할 수 없습니다.

5. 극한과 실제 측정 구분하기

T=0에서 순간 복사조도의 극한은 유한할 수 있습니다. 그러나 수광 에너지·광자 평균은 0이며 U/(AT)는 정의되지 않습니다. 밀도와 적분 총량을 구분하면 이 차이를 자연스럽게 설명할 수 있습니다.

6. 표본을 통과하는 복원 평가하기

유한 sinc 합이 모든 측정점을 통과해도 원래 장면 복원은 입증되지 않습니다. 창 절단, aperture 영점, 주파수 alias가 남습니다. 독립적인 연속 장면과 추가 관측으로 비교하고, 모호한 해 중 하나를 선택하는 사전 가정을 밝혀야 합니다.

자료와 적용 범위

MIT Signals and Systems, Lecture16의 대역 제한·표본화·aliasing 설명을 참고합니다. 움직이는 직사각형 픽셀의 적분, 유한 복원과 수치 예제는 여기서 명시한 교육용 모델입니다. 전체 색 카메라, demosaicing, rolling shutter, 임의 공간 스펙트럼까지 구현한 것은 아닙니다.