푸리에 급수(Fourier series)
주기 함수(periodic function)를 진동수(frequency)가 1, 2, 3, …배인 사인(sine)·코사인파들의 합으로 쓰는 방법. 계수는 함수(function)와 각 파동의 내적(dot product)이다.
각진 파동도 매끄러운 사인파(sinusoid)들을 더해 만들 수 있습니다.
계수는 어떻게 찾을까요? 핵심은 서로 다른 진동수의 사인파들이 "직교(orthogonality)"한다는 사실입니다. 두 함수를 곱해 한 주기(period) 동안 적분(integral)하는 것을 함수의 내적으로 보면,
테일러 급수(Taylor series)는 한 점 근처의 미분값으로 함수를 흉내 내지만, 푸리에 급수는 한 주기 전체의 모양을 한꺼번에 흉내 냅니다. 불연속(네모파의 절벽)도 따라갈 수 있습니다. 대신 절벽 근처에서 뛴 높이의 약 9%만큼 튀어나옴이 끝까지 남는데, 이것을 깁스 현상(Gibbs phenomenon)이라 부릅니다. 여기서 '다가간다'는 말은 세 가지로 갈라집니다.
- 점마다(점별 수렴, pointwise convergence). 여기 세 파동처럼 조각마다 매끄러운 함수라면, 절벽이 아닌 점 하나하나에서 항을 늘릴수록 부분합(partial sum)이 목표값에 다가갑니다. 절벽 위의 점에서는 양쪽 값의 평균(mean)으로 다가갑니다.
- 모든 점이 한꺼번에(균등 수렴, uniform convergence). 절벽이 있는 네모파와 톱니파에서는 일어나지 않습니다. 튀어나온 뿔이 절벽 쪽으로 좁아지며 옮겨 갈 뿐, 높이는 줄지 않기 때문입니다(균등 수렴). 절벽 없이 꺾이기만 하는 삼각파는 한꺼번에 수렴(convergence)합니다.
- 평균적으로(제곱 평균 수렴, mean-square convergence). 오차를 제곱해 한 주기에 걸쳐 적분한 값은 0으로 줄어듭니다. 뿔의 높이는 그대로여도 폭이 좁아지기 때문입니다. 제곱해서 적분할 수 있는 함수라면 언제나 이 뜻으로는 수렴합니다.
오일러 공식(Euler's formula)으로
뜻밖의 선물도 있습니다. 톱니파
푸리에 급수는 떨리는 줄과 퍼지는 열을 풀려는 데서 나왔습니다. 사인파를 더해 줄의 떨림을 나타내자는 생각은 1753년 스위스의 다니엘 베르누이가 내놓았고, 달랑베르와 오일러는 그런 합으로 모든 모양을 나타낼 수는 없다며 반대했습니다. 떨리는 줄이 따르는 식이 파동방정식(wave equation)입니다. 1807년 프랑스의 조제프 푸리에는 고체 속에서 열이 퍼지는 문제(열방정식, heat equation)를 풀며 거의 어떤 모양도 사인파의 합으로 쓸 수 있다고 주장했고, 이 급수(series)에 그의 이름이 붙었습니다. "거의 어떤"에 조건이 필요하다는 것은 나중에 분명해졌습니다. 1829년 디리클레는 절벽과 오르내림이 유한 번뿐인 함수라면 급수가 각 점에서 원래 값(절벽에서는 양쪽 평균)으로 다가간다는 것을 엄밀하게 증명했습니다. 반대로 1873년 독일의 뒤부아레몽은 연속함수인데도 푸리에 급수가 어떤 점에서 발산(divergence)하는 예를 만들어, 연속성(continuity)만으로는 부족하다는 것을 보였습니다.
컴퓨터에서는 표본값 n개의 푸리에 계수를 구할 때 고속 푸리에 변환(FFT)을 씁니다. 그냥 계산하면 곱셈이 약
1963년 로렌츠는 아래에서 데워진 공기가 올라가고 식은 공기가 내려오는 순환(대류, convection)을 나타내는 방정식을 다뤘습니다. 위치와 시간 여러 변수에 대한 미분(differentiation)이 함께 들어 있는 편미분방정식(partial differential equation)인데, 그는 앞서 배리 솔츠먼이 한 것처럼 해를 푸리에 성분으로 펼친 뒤, 세 개만 남기고 나머지를 잘라 냈습니다. 그렇게 얻은 세 변수의 궤적이 로렌츠 끌개(Lorenz attractor)이고, 로렌츠는 이 단순한 모형에서 작은 차이가 크게 불어나는 혼돈(chaos)을 분명하게 보였습니다.
여러 진동수의 사인파를 더한 꼴은 언어 모델(language model)에도 나옵니다. 회전(rotation) 위치 인코딩(RoPE)을 쓰는 어텐션(attention)에서 두 토큰(token)의 점수는 둘 사이 거리에 대한 여러 진동수의 사인파 합이고, 각 항의 진폭(amplitude)과 위상(phase)은 두 토큰의 내용이 정합니다(위치 인코딩). 푸리에 급수와 닮았지만, 진동수가 정수배가 아니라 등비수열(geometric progression)로 줄어든다는 점이 다릅니다. 또 일부 상태 공간 모형(state space model)은 긴 수열 위로 긴 필터(filter)를 미는 합성곱(convolution)을 고속 푸리에 변환(fast Fourier transform)으로 빠르게 계산합니다.
이 개념이 나오는 긴 글
이 개념 위에 세워진 것
이 개념을 언급하는 페이지
- 테일러 급수
… ⋯입니다. 한 점 근처를 다항식으로 흉내 내는 테일러 급수와 달리, 구간 전체를 사인파로 흉내 내는 것이푸리에 급수입니다. 이름은 1715년 이 급수를 책에 실은 영국 수학자 브룩 테일러에서 왔습니다. 하지만 sin과 …
- 사인과 코사인
… 조각마다 매끄러운 함수)를 원하는 만큼 가깝게 흉내 낼 수 있습니다. 어떤 뜻에서 가까워지는지는푸리에 급수문서에서 다룹니다. 두 그림자의 제곱을 더하면 1이라는 피타고라스 항등식과, 각을 더할 때의 공식인 …
- 오일러 공식
… 이 크기를 줄이거나 키우는 동안 e^{ibt} 가 계속 돌리니 해가 나선을 그립니다. 사인파와푸리에 급수: e^{i\omega t} 를 시간 t에 따라 돌리면(ω는 도는 빠르기) 그 그림자가 사인파이고, 여러 …
- 고유벡터와 고유값
… 채 높이만 e^{-k^2 t} 배로 줄어듭니다. 웬만한 온도 분포는 사인파들의 합으로 쪼갤 수 있으니(푸리에 급수), 사인파마다 따로 풀어 다시 더하면 됩니다. 고유값은 평형점의 운명도 정합니다. 평형점은 미분방정식에서 …
- 내적
… 두 사인파는 이 뜻에서 '수직'입니다. 이렇게 서로 수직인 사인파들을 좌표축으로 삼아 함수를 나타내는 것이푸리에 급수입니다. 직선이나 평면 위에서 가장 가까운 점을 찾는 정사영과, 데이터에 가장 잘 맞는 직선을 찾는 …
- 정사영
… 점이 오차 제곱의 합이 가장 작은 예측, 곧 최소제곱 해입니다. 같은 생각이 다른 곳에도 나옵니다.푸리에 계수는 함수를 서로 수직인 사인파들 각각의 방향으로 정사영해 구합니다. 주성분 분석은 데이터를 어느 직선에 …
- 사인파: 진폭·주기·위상
… t + \varphi) 꼴입니다. 웬만한 주기 함수는 여러 진동수의 사인파를 끝없이 더해 나타낼 수 있고(푸리에 급수, '어떤 뜻에서' 같아지는지는 그 문서에서 다룹니다), 두 사인파를 x와 y에 따로 주면 ⟦리사주 …
- 중심극한정리
… n번 되풀이하면 금방 손을 댈 수 없게 됩니다. 그래서 분포를 다른 모양으로 바꿔 적습니다. 분포를푸리에변환한 것, 곧 \varphi(t) = E[e^{itX}] 를 특성함수 라고 하는데, 독립 변수의 합의 …
- 원 위의 곱셈표
… 미끄러지지 않고 굴러가며 그 위의 한 점이 그리는 곡선(에피사이클로이드)입니다. 두 원운동을 더한 것이라푸리에 급수의 항 두 개로 쓸 수 있습니다. 카디오이드는 망델브로 집합에도 있습니다. 가장 큰 몸통의 경계가 …
- 바젤 문제
… 1735년). 원도 각도도 없는 식에 왜 \pi 가 나올까요? 오늘날 가장 깔끔한 설명은 톱니 모양 파동을푸리에 급수, 곧 여러 주파수의 사인파의 합으로 쓰고 "에너지"를 두 가지 방법으로 세는 것입니다. 한 주기 동안 …
- 1의 거듭제곱근
… 2번, … 도는 n가지 회전(1의 n제곱근의 거듭제곱)이 각각 얼마나 섞여 있는지로 바꾸는 계산입니다.푸리에 급수의 유한 버전입니다. 서로 다른 회전끼리 짝지어 곱해 더하면 위 성질 때문에 0이 되므로, 각 회전의 몫을 …
- 리만 제타 함수
… - i\gamma 와 한 쌍)마다 소수 계단 \pi(x) 에 더해지는 파동이 하나씩 대응하고(구조가푸리에 급수와 닮았습니다), 그 파동의 크기는 대략 x^{\beta} 처럼 자랍니다. 곧 영점의 실수부 \beta 가 …
- 열방정식
… 로 줄어듭니다(선형 미분방정식). 계단처럼 군데군데 끊기거나 꺾여도 조각마다 매끄러운 처음 모양이라면푸리에 급수로 사인들의 합 \sum b_k \sin kx 로 쓸 수 있고, 방정식이 선형이라 각 성분이 서로 상관없이 …
- 파동방정식
… 합이고 마디(움직이지 않는 점)가 x = m\pi/k 에 생깁니다. 뜯은 줄은 이런 모드들의 합, 곧푸리에 급수입니다. u(x,t) = \sum_{k=1}^{\infty} b_k \sin kx \cos kct, …
- 깁스 현상
−1에서 +1로 뛰어오르는 네모파를푸리에 급수의 부분합으로 근사합니다. 홀수 진동수의 사인파를 m = 개 더합니다. 더하는 방법: . S_m(x) …
- 열공간
… 12개면 b는 12차원 벡터일 뿐 계산은 같습니다. 서로 수직인 사인파들을 열로 두면 정사영의 계수가푸리에 급수의 계수가 되고, 데이터가 가장 넓게 퍼진 몇 방향이 펼치는 공간을 찾는 것이 주성분 분석입니다. …
- 혼돈
… 미끄러지는 점의 운동은 가장 오래 연구된 혼돈의 예 가운데 하나입니다. 소리로도 구별됩니다. 주기 운동을푸리에 급수로 풀면 기본 진동수와 그 정수배만 띄엄띄엄 나오지만, 혼돈 신호에는 진동수가 연속적으로 퍼져 있어 …
- 로렌츠 끌개
… 변하는 양이라 편미분방정식을 따르는데, 로렌츠는 앞서 배리 솔츠먼이 한 것처럼 그 해를 사인파 성분들(푸리에 모드)로 나눈 뒤, 가장 중요한 세 성분만 남겼습니다. x는 대류가 도는 세기와 방향, y는 오르는 흐름과 …
- 상관관계
… 곧 독립을 뜻하지만, 일반적으로는 그렇지 않습니다. 두 대상이 얼마나 닮았는지를 내적으로 재는 생각은푸리에 급수에서도 그대로 쓰입니다. 함수 하나에 사인파가 얼마나 들어 있는지(푸리에 계수)를 그 함수와 사인파의 …
- 코사인 유사도
… 이것이 차원의 저주의 또 다른 얼굴입니다. 함수도 적분으로 내적을 정하면 사이각을 잴 수 있는데,푸리에 급수의 계수는 함수와 사인·코사인 사이의 그런 내적입니다. 트랜스포머의 어텐션도 쿼리와 키가 얼마나 …
- 체비쇼프 거리
… 이론⟧). 테일러 다항식의 오차 한계도 구간 전체에서 가장 큰 오차, 곧 이 거리로 적힙니다.푸리에 급수로 계단 모양 함수를 근사하면 불연속점 근처에서 계단 높이의 약 9%만큼 튀어나옵니다(깁스 현상). …
- Lp 노름
… 이어지는 곳. 합을 적분으로 바꾸면 함수의 크기 (\int |f|^p)^{1/p} 가 됩니다.푸리에 급수는 이 가운데 L2에서 가장 자연스럽게 수렴합니다. 푸리에 계수는 함수를 사인파 방향으로 정사영한 …
- 신경망
… 그 범위 바깥에서의 값에 대해서는 아무것도 보장하지 않습니다. 사인파를 더해 주기 함수를 짓는푸리에 급수처럼, 단순한 '구부러진 조각'을 가중합해 복잡한 함수를 짓는 셈입니다. 다만 이 정리는 그런 가중치가 …
- 생성함수
… , 곧 합이 m이 되는 모든 짝의 곱을 모은 것이 되는데, 이 연산을 합성곱이라 합니다. 합성곱은푸리에 해석으로 옮기면 성분끼리의 그냥 곱셈으로 바뀝니다. 이어지는 곳. 오일러는 1740년대에 자연수를 더 작은 …
- 분할 정복
… 계산하며 같은 방법을 써 두었다는 사실이 뒤에 밝혀졌습니다. 고속 푸리에 변환 덕분에 다항식의 곱셈,푸리에 급수의 계수를 수치로 어림하는 일, JPEG 압축에 쓰이는 이산 코사인 변환을 빠르게 계산할 수 있습니다. …
- 이산 코사인 변환
푸리에 급수가 주기 함수를 사인파들의 합으로 쓰듯, 이산 코사인 변환은 값 N개 x_0, \ldots, x_{N-1} …
- 섀넌–하틀리 정리
… 최대 엔트로피 원리와 정규분포의 엔트로피로 이어지고, 신호를 여러 진동수의 사인파로 나누는푸리에 급수가 '대역폭'이라는 말의 바탕입니다. 전력을 잡음이 다른 여러 대역에 나눠 쓸 때는 '물 채우기'가 …
- 표본화 정리
… 계산법)으로 다시 진동수별로 나눠 분석하고 압축합니다. 신호를 진동수별 성분으로 나눈다는 생각의 뿌리가푸리에 급수입니다. 복소수로 보면 표본 e^{2\pi i f n/f_s} 는 원 위를 일정한 각도씩 도는 점들이고, …
- 급수의 수렴과 발산
… 제타 함수⟧의 값 ζ(−1)과 이어집니다. 이어지는 곳. 함수를 항으로 삼는 급수, 곧 테일러 급수와푸리에 급수에서는 점마다 수렴하는 것보다 강한 균등 수렴이 필요할 때가 많고, 그렇지 않을 때 깁스 현상 같은 …
- 점별 수렴과 균등 수렴
… 은 M_k = 1/k^2 (바젤 문제의 급수)로 눌러지니 연속함수입니다. 거꾸로 네모파의푸리에 급수는 점마다 수렴하지만 불연속점 근처에서 균등 수렴하지 않고, 그 흔적이 항을 아무리 늘려도 줄지 않는 …
- 르베그 적분과 측도
… 함수가 '절대 연속'이어야 한다는 것도 르베그가 밝혔습니다. 푸리에 급수. 르베그의 이론이 퍼진 것은푸리에 급수덕분이었습니다. 1907년 헝가리의 리스 프리제시와 오스트리아의 에른스트 피셔는, 제곱의 합이 유한한 …
- 기술 집합론
… '이 분류 문제는 얼마나 어려운가'를 재는 도구로도 쓰입니다. 이어지는 곳. 이 분야의 뿌리는 삼각급수와푸리에 급수가 어디서 수렴하는가라는 물음이었고, 칸토어가 무한 집합을 연구하기 시작한 것도 삼각급수가 함수를 …
- 근사 이론
… 곱해 더한 것)으로 구간 전체에서 한꺼번에 가깝게 근사할 수 있다는 사실도 이 정리의 특별한 경우입니다(푸리에 급수). 신경망이 닫힌 유계 영역(경계를 포함하고 끝없이 뻗지 않는 영역)에서 연속함수를 얼마든지 가깝게 흉내 …
- 합성곱 신경망
… 그 기저로 대각화하면 합성곱은 진동수마다 수 하나를 곱하는 일이 됩니다. 이것이 합성곱 정리이고,푸리에 급수가 신호 처리에서 하는 일이 바로 이것입니다. 복소 사인파 대신 코사인만 쓰는 이산 코사인 변환도 …
- 트랜스포머
… Adam⟧으로 가중치를 고칩니다. 사인파 위치 인코딩은 여러 진동수의 사인·코사인을 쓴다는 점에서푸리에 급수와 닮았습니다. 다만 푸리에 급수는 함수 하나를 사인파들의 합으로 나타내고, 위치 인코딩은 위치 하나를 …
- 위치 인코딩의 변천
… 정수배가 아니므로 엄밀한 푸리에 급수는 아니지만, 거리의 함수를 여러 진동수의 삼각함수로 쌓는다는 점에서푸리에 급수와 닮은 꼴입니다. RoFormer 논문은 내용 성분의 크기가 유계일 때 이 합의 상한이 거리가 멀수록 …
- 라플라시안과 그래프 라플라시안
… \pi 의 막대에서는 \sin kx ( \lambda = k^2 )이고, 이것으로 함수를 분해하는 것이푸리에 급수입니다. 한 줄로 이은 꼭짓점 n 개의 그래프에서는 고유벡터가 정확히 이산 코사인 변환의 …
- 라돈 변환과 CT
… 돌려 보는 그림은 긴 글 「거꾸로 푸는 문제는 왜 어려운가」 7절에 있습니다. 조각 정리와 램프 필터는푸리에 급수의 생각에 기대고 있습니다. 함수를 사인파로 나누면, 흐림 같은 합성곱이 주파수마다의 곱셈이 된다는 …
- 이산 푸리에 변환과 고속 푸리에 변환
… 어떤 높이의 소리가 얼마나 섞였는지, 곧 어떤 진동수의 파동이 얼마나 들어 있는지 알고 싶다고 합시다.푸리에 급수는 주기함수를 진동수가 1, 2, 3, …배인 사인·코사인파의 합으로 나누지만, 계수를 얻으려면 곡선 …