변분법(Calculus of variations)

보통의 최적화⁠(optimization)⁠는 수 하나를 찾습니다. 어떤 x에서 f(x)가 가장 작은지 묻고, 미분⁠(differentiation)⁠이 0인 곳에서 답을 찾습니다. 변분법은 수 대신 곡선 전체, 더 일반적으로는 함수 전체를 찾습니다. 두 점을 잇는 곡선 가운데 가장 짧은 것, 구슬이 가장 빨리 굴러 내려가는 것, 둘레가 같을 때 가장 넓은 땅을 두르는 것, 비눗물 막처럼 넓이가 가장 작은 곡면이 그런 문제입니다. 곡선 하나를 넣으면 길이나 시간 같은 수 하나가 나오는 규칙을 범함수라 합니다. 예를 들어 곡선 y(x)의 길이는 $\int_a^b \sqrt{1 + y'(x)^2}\,dx$(적분⁠, integral⁠)라는 범함수⁠(functional)⁠이고, 변분법은 범함수를 가장 작게(또는 크게) 만드는 함수를 찾는 방법입니다.

1696년의 도전 문제

이 분야는 1696년 6월 요한 베르누이가 학술지 『악타 에루디토룸』에 낸 도전 문제에서 시작되었습니다. 요한은 야코프 베르누이의 동생입니다. "수직면 위에 두 점 A, B가 있을 때, 중력만 받으며 마찰 없이 미끄러지는 점이 A에서 B까지 가장 짧은 시간에 가는 곡선은 무엇인가?" 그는 이 곡선을 그리스어로 '가장 짧은 시간'이라는 뜻의 최속강하선(brachistochrone)이라 불렀습니다. 기한이 이듬해 부활절까지 늘어나는 사이 요한 자신, 야코프, 라이프니츠, 로피탈 후작, 그리고 뉴턴이 답을 냈습니다. 뉴턴은 문제를 받은 날 밤에 풀었다고 전해지며, 풀이를 이름을 밝히지 않고 보냈는데, 요한은 그 풀이를 보고 "발톱을 보면 사자를 안다"고 했다고 전해집니다. 그보다 앞서 1638년 갈릴레이는 원호를 따라 내려가는 것이 곧은 현을 따라가는 것보다 빠르다는 것을 보이고, 원호가 가장 빠를 것이라고 짐작했습니다. 앞의 절반은 맞았고 뒤의 절반은 틀렸습니다.

B가 A보다 1 m 아래, 가로로 m 떨어져 있습니다. 네 곡선에서 구슬을 동시에 놓아 봅시다. 넷째 곡선은 $y \propto x^p$ 꼴이고 p = 로 모양을 바꿀 수 있습니다. 출발 제자리로

직선은 가장 짧지만 처음이 완만해서 속도⁠(velocity)⁠를 늦게 얻습니다. 빠른 곡선은 처음에 가파르게 떨어져 속도를 먼저 번 다음 그 속도로 먼 거리를 갑니다. 그렇다고 너무 가파르면 이번에는 길이가 길어집니다. 가장 좋은 균형이 사이클로이드, 곧 굴러가는 바퀴의 테두리에 찍은 점이 그리는 곡선을 뒤집은 것입니다. B가 가로로 π/2 m(약 1.57 m)보다 멀면 사이클로이드⁠(cycloid)⁠는 B보다 더 깊이 내려갔다가 올라옵니다. 올라가며 잃는 시간보다 깊은 곳에서 번 속도의 이득이 더 크기 때문입니다.

요한 베르누이의 풀이는 빛을 빌렸습니다. 페르마의 원리에 따르면 빛은 시간이 가장 적게 걸리는 길로 가고, 그래서 속도가 다른 층을 지날 때 $\sin\alpha / v$가 일정하도록 꺾입니다(스넬의 법칙⁠(Snell's law)⁠, α는 빛이 수직선과 이루는 각). 구슬은 깊이 h에서 속도가 $v = \sqrt{2gh}$이니, 깊이마다 속도가 다른 얇은 유리층이 무수히 쌓인 곳을 지나는 빛과 같습니다. 모든 깊이에서 $\sin\alpha / \sqrt{h}$가 일정한 곡선을 풀면 사이클로이드가 나옵니다. 사이클로이드에는 다른 성질도 있습니다. 1673년 하위헌스는 사이클로이드 모양의 그릇 안에서는 어디서 구슬을 놓아도 바닥까지 같은 시간이 걸린다는 것(등시성)을 보이고 이를 진자 시계에 썼습니다. 요한은 같은 곡선이 두 문제의 답이라는 데 감탄했습니다.

오일러–라그랑주 방정식

빛에 기대지 않고 모든 문제에 통하는 방법은 오일러와 라그랑주가 만들었습니다. 생각은 간단합니다. 곡선 y(x)가 최선이라면, 양 끝은 그대로 두고 곡선을 조금 흔든 $y + \varepsilon\,\eta$는 어느 것도 그보다 나을 수 없습니다. 여기서 η는 양 끝에서 0인 아무 함수이고 ε은 흔드는 양을 정하는 수입니다. 그러면 걸리는 시간 T는 수 ε 하나의 함수가 되고, ε = 0에서 가장 작으니 보통의 미분처럼 $dT/d\varepsilon = 0$이어야 합니다. 위의 사이클로이드를 $\eta = \sin(\pi x / x_B)$ 방향으로 ε = 만큼 흔들어 보세요.

오른쪽 곡선은 ε = 0에서 바닥이 평평합니다. 흔든 양이 작을 때 시간의 변화가 ε에 비례하지 않고 거의 $\varepsilon^2$에 비례한다는 뜻입니다. 이 조건이 모든 η에 대해 성립해야 한다는 것을 부분적분으로 정리하면, 곡선 위의 모든 점에서 성립해야 하는 미분 방정식 하나가 남습니다. 범함수가 $\int L(x, y, y')\,dx$ 꼴일 때 그 방정식이 위의 오일러–라그랑주 방정식입니다. 최단 경로⁠(shortest path)⁠ $L = \sqrt{1 + y'^2}$에 넣으면, L이 y 자체에는 기대지 않으니 $y'/\sqrt{1 + y'^2}$이 일정해야 하고, 곧 기울기⁠(slope)⁠가 일정하므로 답은 직선입니다. 최속강하선 $L = \sqrt{1 + h'^2}/\sqrt{2gh}$(h는 깊이)에 넣으면 $h\,(1 + h'^2)$이 일정하다는 식이 나오고, 그 해가 사이클로이드입니다. 오일러는 1744년 책에서 이 방정식을 곡선을 잘게 쪼개는 방법으로 얻었고, 1755년 열아홉 살의 라그랑주가 오일러에게 보낸 편지에서 곡선 전체를 흔드는 지금의 방법(δ 기호)을 내놓았습니다. 오일러는 이 방법을 크게 칭찬하고 여기에 '변분법'이라는 이름을 붙였습니다.

최소 작용의 원리

변분법은 곧 물리학의 언어가 되었습니다. 1744년 프랑스의 피에르 루이 모페르튀이는 자연이 어떤 양(작용)을 가장 아끼는 쪽으로 움직인다는 원리를 내세웠고, 같은 해 오일러는 이를 입자의 운동에 정확히 적용했습니다. 라그랑주의 『해석 역학』(1788)과 해밀턴의 1834–35년 논문을 거쳐 오늘날의 형태가 되었습니다. 운동 에너지⁠(kinetic energy)⁠에서 위치 에너지를 뺀 값을 시간에 대해 적분한 것을 작용 S라 하면, 실제 운동은 처음과 끝의 위치를 고정한 모든 가상의 운동 가운데 S를 정류하게(흔들어도 1차 변화가 0이게) 만드는 것입니다. 이때의 오일러–라그랑주 방정식⁠(Euler–Lagrange equation)⁠이 바로 뉴턴의 운동 방정식입니다. '최소'라는 이름과 달리 꼭 가장 작을 필요는 없고 바닥이 평평하기만 하면 됩니다. 1918년 에미 뇌터는 작용이 시간을 옮겨도 변하지 않으면 에너지가, 공간을 옮겨도 변하지 않으면 운동량⁠(momentum)⁠이 보존된다는 것을 보였습니다.

바이어슈트라스는 19세기 후반, '1차 변화가 0'이라는 조건만으로는 최소가 보장되지 않음을 짚고 엄밀한 충분조건⁠(sufficient condition)⁠을 세웠습니다. 힐베르트는 1900년에 발표한 23개 문제의 마지막을 변분법의 발전에 바쳤습니다. 둘레가 정해졌을 때 넓이를 가장 크게 하는 모양(등주 문제⁠, isoperimetric problem⁠)은 원이고, 로마의 시인 베르길리우스가 전하는 카르타고의 여왕 디도 이야기 때문에 디도의 문제라고도 불립니다. 1838년 야코프 슈타이너는 원이 아닌 모양은 둘레를 그대로 두고 넓이를 늘릴 수 있음을 보였지만, 이것만으로는 답이 원이라고 할 수 없습니다. 가장 넓은 모양이 애초에 있다는 사실을 따로 보여야 하기 때문이고, 이 빈틈도 바이어슈트라스가 메웠습니다. 곡면 위의 가장 짧은 길은 측지선⁠(geodesic)⁠이고, 일반 상대성 이론⁠(general relativity)⁠에서 행성은 시공간⁠(spacetime)⁠의 측지선을 따라가며, 아인슈타인 방정식 자체도 힐베르트가 한 범함수의 오일러–라그랑주 방정식으로 얻었습니다. 조건이 붙은 변분 문제는 라그랑주 승수⁠(Lagrange multiplier)⁠로 풉니다. 실수⁠(real number)⁠ 위의 연속 분포 가운데 평균⁠(mean)⁠과 분산⁠(variance)⁠이 정해졌을 때 엔트로피⁠(entropy)⁠가 가장 큰 분포가 정규분포⁠(normal distribution)⁠라는 최대 엔트로피⁠(maximum entropy)⁠ 원리도 그런 예입니다.

이어지는 곳. 변분법의 답은 대개 미분방정식이라서 선형 미분방정식⁠(linear differential equation)⁠과 동역학계⁠(dynamical system)⁠로 이어집니다. 열이 퍼지는 열방정식⁠(heat equation)⁠은 온도의 들쭉날쭉함(기울기 제곱의 적분)을 가장 빨리 줄이는 흐름이고, 떨리는 줄의 파동방정식⁠(wave equation)⁠은 줄의 작용을 정류하게 하는 운동입니다. 컴퓨터는 곡선을 점 몇 개로 바꾼 뒤 경사 하강법⁠(gradient descent)⁠으로 범함수를 줄여 답을 찾습니다. 흙더미를 가장 싸게 옮기는 최적 수송⁠(optimal transport)⁠, 20세기 중반에 자란 선형 계획법⁠(linear programming)⁠, 로켓의 연료를 가장 아끼는 궤도⁠(orbit)⁠를 찾는 최적 제어가 모두 가까운 친척입니다. 삼체 문제⁠(three-body problem)⁠의 8자 궤도도 작용을 가장 작게 만드는 운동으로서 존재가 증명되었습니다. 여러 분야에 같은 모양으로 나타나는 이 생각은 최적화라는 큰 생각⁠(big ideas)⁠으로 묶입니다.