동역학계(Dynamical system)

동역학계는 두 가지로 이루어집니다. 지금 이 순간을 빠짐없이 적은 상태와, 상태가 다음에 어떻게 바뀌는지 정하는 규칙입니다. 예금 잔액이 상태이고 "해마다 5%씩 이자가 붙는다"가 규칙이면, 규칙을 열 번 되풀이해 10년 뒤의 잔액을 얻습니다. 진자라면 각도 하나로는 상태가 되지 않습니다. 같은 각도에서도 왼쪽으로 가는 중인지 오른쪽으로 가는 중인지에 따라 미래가 다르니, 각도와 각속도⁠(angular velocity)⁠ 두 수가 있어야 합니다. 공간 속 행성 하나는 위치 셋과 속도⁠(velocity)⁠ 셋, 모두 여섯 수가 상태입니다. 규칙이 정해지면 같은 상태에서는 언제나 같은 미래가 나옵니다. 1814년 라플라스는 우주의 모든 입자의 상태와 힘을 아는 지성이 있다면 그에게는 미래도 과거처럼 눈앞에 보일 것이라고 썼습니다.

시간이 흐르는 방식에 따라 두 종류가 있습니다. 이산 동역학계⁠(discrete dynamical system)⁠에서는 시간이 한 칸씩 끊겨 흐릅니다. 규칙은 함수⁠(function)⁠ f 하나이고, 출발점 $x_0$에 f를 거듭 적용한 $x_0, f(x_0), f(f(x_0)), \ldots$가 미래입니다. 이렇게 이어지는 상태들을 궤도라 합니다. 점화식⁠(recurrence relation)⁠, 로지스틱 사상⁠(logistic map)⁠, 방정식의 근을 찾는 뉴턴 방법⁠(Newton's method)⁠, 웹 페이지의 순위를 매기는 페이지랭크⁠(PageRank)⁠의 반복 계산이 모두 이 꼴입니다. 연속 동역학계에서는 시간이 매끄럽게 흐르고, 규칙은 각 상태에서의 변화 속도를 주는 미분방정식 $\dot x = F(x)$입니다(점은 시간에 대한 미분⁠(differentiation)⁠, 선형 미분방정식⁠(linear differential equation)⁠). 둘은 이어져 있습니다. 연속계를 일정한 간격마다 찍으면 이산계가 되고, 거꾸로 컴퓨터는 미분방정식을 짧은 걸음의 이산계로 바꾸어 풉니다.

한 걸음씩, 또는 매끄럽게

같은 규칙이 두 방식에서 얼마나 다르게 행동하는지 봅시다. 환경이 버틸 수 있는 최대치를 1로 잡은 개체 수 x가 "한 번에 $a\,x(1 - x)$만큼 는다"고 합시다. 적을 때는 x에 비례해 늘고, 1에 가까우면 거의 늘지 않는다는 뜻입니다. 이 증가가 한 해에 한 번씩 몰아서 일어나면 이산계 $x_{n+1} = x_n + a\,x_n(1 - x_n)$이고, 매 순간 조금씩 일어나면 연속계 $\dot x = a\,x(1 - x)$입니다. 증가율 a = .

0과 1 사이에서 출발한 연속계는 a를 얼마로 두든 매끄럽게 1로 다가갑니다. 직선 위를 움직이는 점은 속도가 0인 곳을 건너뛸 수 없고, 같은 자리에서는 속도가 하나로 정해져 있으니 방향을 돌려 되돌아올 수도 없기 때문입니다. 이산계는 한 번에 뛰어넘을 수 있습니다. 고정점 1 가까이에서는 한 걸음이 1과의 차이를 $1 - a$배로 만드니, a가 1을 넘으면 1을 지나쳤다 돌아오며 흔들리고, 2를 넘으면 흔들림이 줄지 않아 두 값 사이를 오갑니다(분기⁠, bifurcation⁠). a를 더 키우면 주기⁠(period)⁠가 4, 8, …로 거듭 두 배가 되고, 약 2.57을 넘으면 되풀이되는 규칙이 없어 보이는 혼돈⁠(chaos)⁠이 나타나기 시작합니다. 그 너머에도 주기 궤도로 돌아오는 좁은 구간(창)이 섞여 있습니다. 이 이산계는 변수를 $y = \tfrac{a}{1+a}\,x$로 바꾸면 r = 1 + a인 로지스틱 사상과 똑같습니다. 너무 큰 걸음이 흔들림을 부른다는 교훈은 경사 하강법⁠(gradient descent)⁠에서 학습률⁠(learning rate)⁠을 고를 때도 그대로 통합니다.

상태 공간, 고정점, 안정성

상태를 좌표로 놓으면 가능한 모든 상태가 하나의 공간을 이룹니다. 이것을 상태 공간⁠(state space)⁠이라 합니다. 연속계의 규칙은 공간의 점마다 붙은 속도 화살표가 되고, 궤도는 그 화살표를 따라 흐르는 곡선이 됩니다. 푸앵카레는 1880년대에 미분방정식의 해를 식으로 구하는 대신 이 곡선들의 모양을 한꺼번에 보는 방법을 개척했습니다. 진자 $\ddot\theta = -\sin\theta - c\,\dot\theta$의 상태 공간을 보세요. 가로축은 각도 θ(아래로 매달린 방향이 0), 세로축은 각속도 ω이고, 마찰은 입니다. 노란 점을 끌어 출발 상태를 정하고 흔들기를 누르면, 오른쪽의 진자가 그 궤도를 따라 움직입니다.

속도가 0이어서 영원히 그대로 머무는 상태가 고정점(평형점⁠, equilibrium⁠)입니다(고정점). 진자에는 둘이 있습니다. 가만히 매달린 (0, 0)과, 거꾸로 서서 멈춘 (π, 0)입니다. 둘 다 그대로 있을 수는 있지만 성격이 정반대입니다. 매달린 진자는 살짝 밀어도 그 근처에서 흔들릴 뿐이고, 거꾸로 선 진자는 아무리 살짝 밀어도 넘어갑니다. 1892년 러시아의 수학자 알렉산드르 랴푸노프는 이 차이를 정확히 정의했습니다. 고정점 둘레에 아무리 작은 울타리를 쳐도, 충분히 가까이에서 출발한 궤도가 언제까지나 그 울타리 안에 머물면 안정입니다. 게다가 가까이에서 출발한 궤도가 고정점으로 다가가기까지 하면 점근 안정입니다. 판정은 국소 선형화⁠(linearization)⁠로 합니다. 고정점 가까이에서 $\sin\theta$를 직선으로 어림하면 진자는 선형 미분방정식이 되고, 그 행렬⁠(matrix)⁠의 고유값⁠(eigenvalue)⁠이 매달린 쪽에서는 $\pm i$(제자리를 도는 운동), 거꾸로 선 쪽에서는 $\pm 1$(한 방향으로는 다가오고 다른 방향으로는 밀려나는 안장)입니다. 마찰 c가 있으면 매달린 쪽 고유값의 실수⁠(real number)⁠ 부분이 $-c/2$가 되어 궤도가 나선을 그리며 빨려 듭니다.

마찰이 있으면 궤도는 결국 매달린 상태로 모입니다. 예외는 거꾸로 선 상태에 정확히 다가가는 몇 가닥의 곡선뿐이고, 이 곡선들은 넓이⁠(area)⁠가 0이라 아무 데나 찍은 출발점이 여기에 놓일 일은 없습니다. 이렇게 주변의 궤도를 끌어들이는 곳을 끌개라 하고, 한 끌개⁠(attractor)⁠로 모이는 출발점 전체를 그 끌개의 끌림 영역⁠(basin of attraction)⁠이라 합니다. 끌개는 점일 수도, 닫힌 고리일 수도 있습니다. 1920년대 네덜란드의 발타사르 반 데르 폴이 진공관 회로에서 찾은 진동은 어디서 출발하든 같은 크기의 고리(극한 순환⁠, limit cycle⁠)로 모이고, 심장 박동을 흉내 내는 모형으로도 쓰였습니다. 평면 위의 연속계에서는 끝이 거의 이 두 가지로 정해집니다. 궤도끼리 가로지를 수 없어서, 유한한 영역에 갇힌 궤도는(고정점이 유한 개라면) 고정점으로 가거나, 닫힌 고리에 다가가거나, 고정점들과 그 사이를 잇는 궤도로 된 고리에 다가갈 수밖에 없습니다(푸앵카레–벤딕손 정리⁠, Poincaré–Bendixson theorem⁠). 변수가 셋이 되면 이 제약이 풀려, 되풀이하지 않으면서도 유한한 곳에 갇힌 로렌츠 끌개⁠(Lorenz attractor)⁠ 같은 기이한 끌개⁠(strange attractor)⁠가 생깁니다.

혼돈과 확률

혼돈은 규칙에 우연이 전혀 없는데도, 유한한 영역 안에서 처음 상태의 아주 작은 차이가 지수적으로 커져 먼 미래를 예측할 수 없는 행동입니다. 초기 오차가 1000분의 1이든 100만분의 1이든 결국 커지니, 측정을 정밀하게 하면 예측 기간이 늘 뿐 끝없이 늘지는 않습니다. 푸앵카레는 1889년 삼체 문제⁠(three-body problem)⁠로 스웨덴 국왕의 현상 공모에서 받은 논문을 고치다 이 가능성을 처음 보았고, 1908년에는 처음 조건의 작은 차이가 최종 현상에서 매우 큰 차이를 낳을 수 있다고 적었습니다. 미국의 조지 버코프가 1927년에 펴낸 책 『동역학계』(Dynamical Systems)의 제목은 이 분야의 이름이 되었고, 콜모고로프는 1954년, 완전히 풀리는 계에 작은 교란을 더해도 규칙적인(준주기) 운동의 대부분이 살아남는다는 KAM 이론⁠(KAM theory)⁠의 첫 단계를 발표했습니다. 1963년 로렌츠의 기상 모형, 1975년 리톈옌과 제임스 요크의 논문 「주기 3은 혼돈을 뜻한다」, 1976년 로버트 메이가 생태학자들에게 로지스틱 사상의 복잡함을 알린 글이 이어지며 혼돈은 과학 전반의 말이 되었습니다.

혼돈계에서는 궤도 하나를 예측하는 대신, 상태가 어느 영역에 얼마나 자주 머무는지를 묻습니다. 계가 에르고딕⁠(ergodic)⁠하면, 곧 따로 도는 두 부분으로 쪼개지지 않으면, 거의 모든 출발점에서 한 궤도가 어떤 영역에 머무는 시간의 비율은 그 영역이 공간에서 차지하는 몫과 같아집니다. 이 에르고딕 정리⁠(ergodic theorem)⁠는 1931–32년 폰 노이만과 버코프가 증명했고, 결정론적인 계에 확률⁠(probability)⁠이 들어오는 문이 되었습니다. 상태 하나 대신 상태의 분포를 한 걸음씩 옮기면 마르코프 연쇄⁠(Markov chain)⁠가 되고, 복소평면⁠(complex plane)⁠의 반복 $z \mapsto z^2 + c$가 c마다 어떤 궤도를 낳는지 한 장에 모은 것이 망델브로 집합⁠(Mandelbrot set)⁠입니다.

이어지는 곳. 가장 단순한 연속계가 선형 미분방정식이고, 비선형계의 고정점 근처는 그것으로 어림됩니다. 매개변수⁠(parameter)⁠를 바꿀 때 고정점이 생기고 사라지는 일은 분기, 한 걸음짜리 규칙의 대표는 로지스틱 사상, 연속계의 혼돈은 로렌츠 끌개에서 볼 수 있습니다. 역사의 출발점인 삼체 문제, 반복이 한 점으로 모이는 조건을 다루는 고정점, 상태가 공간 전체에 퍼져 흐르는 열방정식⁠(heat equation)⁠과 파동방정식⁠(wave equation)⁠도 동역학계입니다. 우연이 섞이면 무작위 행보⁠(random walk)⁠와 도박꾼의 파산⁠(gambler's ruin)⁠이 되고, 경사 하강법으로 신경망⁠(neural network)⁠을 훈련하는 과정도 매개변수 공간 위의 이산 동역학계입니다. 입력을 받으며 같은 규칙을 되풀이하는 순환 신경망⁠(recurrent neural network)⁠도 이산 동역학계입니다. 그 학습 신호는 시간을 거슬러 한 걸음마다 같은 가중치⁠(weight)⁠ 행렬이 든 곱을 거듭 거치므로, 그 곱의 크기(대략 고유값의 크기)가 1보다 작은지 큰지에 따라 지수적으로 사라지거나 불어나기 쉽습니다. 규칙을 선형으로 두고 입력을 더한 $h_t = Ah_{t-1} + Bu_t$는 제어 공학의 상태 공간 꼴이고, 최근에는 언어 모델⁠(language model)⁠의 층으로도 쓰입니다(상태 공간 모형⁠(state space model)⁠). 궤도들의 전체 모양을 다루는 위상수학⁠(topology)⁠은 푸앵카레가 이런 문제를 이해하려고 다듬은 도구이기도 합니다. 흔들림이 작을 때 진자는 거의 사인파⁠(sinusoid)⁠처럼 움직여, 이 페이지의 단위에서 주기가 2π에 가깝습니다.