표본화 정리(Sampling theorem)

소리는 매 순간 값이 있는 연속적인 신호인데, CD는 1초에 44,100개의 숫자만 저장합니다. 그 사이의 값은 잃어버린 것일까요? 표본화 정리는 신호에 B보다 높은 진동수가 없다면 1초에 2B번보다 자주 뽑은 표본으로 원래 신호를 완전히 되살릴 수 있다고 답합니다(꼭 2B번이어도 되는 경우와 안 되는 경우는 아래에서 봅니다). 이 정리에는 이름이 여럿 붙어 있습니다. 1915년 영국 수학자 에드먼드 휘터커가 표본들을 지나는 매끄러운 '기수 함수⁠(cardinal function)⁠'를 연구했고, 1928년 해리 나이퀴스트가 대역폭⁠(bandwidth)⁠ B인 통로로 1초에 펄스 2B개를 보낼 수 있음을 보였고, 1933년 소련의 블라디미르 코텔니코프가 이것을 통신의 정리로 명확히 적었으며, 1949년 클로드 섀넌이 「잡음이 있을 때의 통신」에서 증명과 함께 널리 알렸습니다.

$\cos(2\pi f t + \varphi)$ 꼴의 사인파⁠(sinusoid)⁠로 시작합시다. 진동수가 $f =$ Hz인 파동을 1초에 $f_s =$ 번 뽑습니다.

표본만 보고는 진동수가 f인 파동과 $f - f_s$, $f + f_s$, … 인 파동을 구별할 수 없습니다. 표본 시각 $t = n/f_s$에서 둘의 위상⁠(phase)⁠ 차이가 $2\pi n$, 곧 한 바퀴의 정수배이기 때문입니다(오일러 공식⁠(Euler's formula)⁠으로 쓰면 $e^{2\pi i n} = 1$). 그래서 표본을 지나는 사인파는 무수히 많고, 그 가운데 가장 느린 것의 진동수는 언제나 $-f_s/2$와 $f_s/2$ 사이에 있습니다. 신호에 나이퀴스트 주파수⁠(Nyquist frequency)⁠ $f_s/2$보다 높은 진동수가 없다는 것을 미리 안다면, 가장 느린 것이 바로 원래 파동이니 헷갈릴 일이 없습니다. f가 그보다 크면 표본은 더 느린 가짜 파동을 그립니다. 이것이 에일리어싱입니다.

원 위를 도는 점의 그림자가 사인파이므로(단위원⁠, unit circle⁠), 같은 일을 바퀴로 볼 수 있습니다. 바퀴가 1초에 f바퀴 돌고 카메라가 1초에 $f_s$장을 찍으면 필름에는 아래처럼 남습니다.

눈은 장과 장 사이에서 가장 적게 돈 쪽(분홍 호)을 움직임으로 읽습니다. 그래서 1초에 24장을 찍는 영화에서 달리는 마차의 바퀴가 느려지거나 멈추거나 거꾸로 도는 것처럼 보입니다. f를 $f_s$와 같게 하면 바퀴가 서 있는 것처럼 보이고, 조금 모자라게 하면 천천히 거꾸로 돕니다. 가짜 진동수가 음수라는 것은 이렇게 거꾸로 돈다는 뜻입니다. 그림의 바퀴는 살이 하나입니다. 살이 여러 개인 실제 바퀴에서는 한 살이 옆 살 자리로 옮겨 가기만 해도 같은 그림이 되므로, 더 느린 회전⁠(rotation)⁠에서도 멈춰 보입니다.

이제 되살리기입니다. 진동수가 0.95 Hz를 넘지 않는 신호를 1초에 $f_s =$ 번 뽑습니다. 휘터커와 섀넌의 공식은 표본마다 싱크 함수⁠(sinc function)⁠ $\operatorname{sinc}(x) = \sin(\pi x)/(\pi x)$를 하나씩 놓고 표본값만큼 늘려 모두 더하는 것입니다. 싱크 함수는 제 표본 자리에서 1이고 다른 표본 자리에서는 모두 0이므로, 합은 모든 표본을 정확히 지납니다. 강조할 싱크는 초 근처의 것입니다.

표본 사이의 값은 왜 정해질까요? 진동수가 B 이하인 신호에서는 가장 빠른 성분도 표본 간격 동안 반 바퀴를 채 돌지 못하니, 표본 사이에서 제멋대로 출렁일 수 없습니다. 진동수 쪽에서 보면, 표본을 뽑는 일은 신호의 스펙트럼(신호를 진동수별 세기로 나타낸 것)을 $f_s$ 간격으로 복사해 늘어놓는 것과 같습니다. $B \lt f_s/2$이면 복사본들이 겹치지 않으므로, $f_s/2$보다 낮은 진동수만 통과시키고 그 위는 모두 잘라 내는 이상적인 저역 통과 필터⁠(low-pass filter)⁠로 원래 스펙트럼만 남길 수 있고, 그 필터⁠(filter)⁠를 시간 쪽으로 옮긴 모양이 싱크 함수입니다. 복사본이 겹치면 섞인 부분은 되돌릴 수 없습니다. $f_s$를 1.9 아래로 내려 보세요. 청록 곡선이 흰검은 점선에서 벗어나고, 평균⁠(mean)⁠ 오차가 커집니다. 경계에 있는 진동수 $f_s/2$의 사인파는 특히 조심해야 합니다. 표본이 모두 0인 자리에 떨어지면 신호가 통째로 사라지니, 안전하려면 $f_s$가 2B보다 조금이라도 커야 합니다(에너지가 유한한 신호라면 꼭 2B번도 되지만, 사인파처럼 끝없이 이어지는 신호에서는 그렇지 않습니다). 하나 더 조심할 점은, 이 공식이 모든 시각의 표본, 곧 무한히 먼 과거와 미래의 표본까지 쓴다는 것입니다. 진동수가 엄밀히 B 이하인 신호는 어느 유한한 구간 밖에서 계속 0일 수 없으므로, 실제 장비는 유한한 표본으로 이 합을 어림합니다. 그림도 −40초에서 50초까지의 표본만 더했습니다.

실제 장비는 이 정리를 그대로 따릅니다. 사람의 귀는 대략 20 kHz까지 듣기 때문에 CD는 1초에 44,100번 뽑습니다. 나이퀴스트 주파수 22.05 kHz와 20 kHz 사이의 틈은, 표본화하기 전에 높은 소리를 걸러 내는 에일리어싱 방지 필터⁠(anti-aliasing filter)⁠가 완만하게 떨어질 자리입니다. 44,100이라는 수는 초기 디지털 녹음을 비디오테이프에 담던 시절 텔레비전 주사선 한 줄에 표본 세 개를 넣던 방식에서 나왔습니다(PAL 방식에서 초당 50필드 × 294줄 × 3 = 44,100이고, NTSC 방식에서도 60필드 × 245줄 × 3으로 같은 수가 나옵니다). 걸러 내지 않으면 들리지 않던 높은 소리가 들리는 낮은 소리로 접혀 들어옵니다. 사진에서 촘촘한 줄무늬 옷이나 벽돌담을 찍을 때 화소 간격보다 가는 무늬가 굵은 물결로 나타나는 모아레⁠(moiré)⁠도 같은 현상입니다.

이어지는 곳. 1초에 표본 2B개가 신호의 전부라는 사실은, 대역폭 B인 통로로 T초 동안 보내는 신호가 대략 2BT차원 공간의 점 하나라는 뜻이고, 여기에 잡음을 더하면 섀넌–하틀리 정리⁠(Shannon–Hartley theorem)⁠가 됩니다. 뽑은 표본들은 이산 코사인 변환⁠(discrete cosine transform)⁠이나 고속 푸리에 변환(1965년 제임스 쿨리와 존 튜키가 널리 알린 빠른 계산법)으로 다시 진동수별로 나눠 분석하고 압축합니다. 신호를 진동수별 성분으로 나눈다는 생각의 뿌리가 푸리에 급수⁠(Fourier series)⁠입니다. 복소수⁠(complex number)⁠로 보면 표본 $e^{2\pi i f n/f_s}$는 원 위를 일정한 각도씩 도는 점들이고, $f/f_s$가 유리수⁠(rational number)⁠이면 1의 거듭제곱근⁠(roots of unity)⁠ 위를 되풀이해 돕니다. 이상적인 저역 통과 필터의 싱크 모양이 멀리까지 출렁이는 것은, 푸리에 급수를 잘라 낼 때 불연속점 근처에서 생기는 깁스 현상⁠(Gibbs phenomenon)⁠과 뿌리가 같습니다. 표본값을 몇 단계로 반올림하는 양자화⁠(quantization)⁠까지 거친 디지털 신호가, 허락하는 오차 안에서 얼마나 적은 비트로 충분한지는 율–왜곡 이론⁠(rate–distortion theory)⁠이 답합니다. 언어 모델⁠(language model)⁠의 RoPE에도 에일리어싱과 닮은 모호함이 있습니다. RoPE는 위치 k에 따라 좌표 두 개짜리 짝을 각도 kθ만큼 돌리는데, 빠르게 도는 짝 하나만 보면 각도가 2π마다 제자리로 돌아오니 거리 차이가 $2\pi/\theta$의 배수⁠(multiple)⁠에 가까운 두 위치를 거의 구별하지 못합니다. 그래서 여러 진동수의 짝을 함께 써서 위치가 하나로 정해지게 합니다(위치 인코딩⁠(positional encoding)⁠).