미적분(Calculus)

연쇄법칙(Chain rule)

함수⁠(function)⁠를 합성하면 배율도 이어서 곱해진다. f가 x에서, g가 f(x)에서 미분⁠(differentiation)⁠ 가능하면 합성함수⁠(composite function)⁠의 미분계수⁠(derivative)⁠는 각 단계 미분계수의 곱이다.

(g \circ f)'(x) = g'(f(x))\,f'(x)

먼저 보면 좋은 개념미분계수 국소 선형성

국소 선형성⁠(local linearity)⁠에 따르면 한 점 근처에서 미분 가능한 함수는 작은 변화에 "미분계수를 곱하는" 일만 (거의) 합니다. 이제 x를 f에 넣어 $u = f(x)$ 를 얻고, 그 u를 다시 g에 넣어 $y = g(u)$ 를 얻는다고 합시다(합성). 그러면 작은 변화는 두 번 늘어납니다. 먼저 $f'(x)$ 배, 다음에 $g'(u)$ 배입니다. 아래 세 수직선을 보세요. 위에서 아래로 $x \to u \to y$ 입니다.

초록 구간(폭 h)이 가운데 줄에서는 약 f′배, 아래 줄에서는 다시 약 g′배가 됩니다. h가 작을수록 '약'이 정확해집니다. 노란 점을 끌어 보세요.

지금 $f'(x) =$ , $g'(u) =$ , 곱 합성함수의 기울기⁠(slope)⁠입니다. 배율이 음수면 구간이 뒤집히고, 0에 가까우면 거의 한 점으로 눌립니다.

이 그림은 차원을 올려도 그대로입니다. 입력과 출력이 여러 개인 함수에서는 "배율"이 행렬⁠(matrix)⁠이 됩니다. 각 출력이 각 입력을 조금 바꿀 때 얼마나 변하는지(편미분⁠, partial derivative⁠)를 표로 늘어놓은 행렬로, 19세기 독일 수학자 야코비의 이름을 따 야코비 행렬⁠(Jacobian matrix)⁠이라 부릅니다. 함수를 합성하면 이 행렬들이 곱해지니, 1변수 연쇄법칙은 이 행렬 곱셈의 1×1 경우입니다.

$e^{g(x)}$ 의 미분이 $g'(x)e^{g(x)}$ 인 것(지수함수⁠, exponential function⁠)도 연쇄법칙입니다. 로그의 미분도 eˣ의 역함수⁠(inverse function)⁠라는 점에서 구합니다. $e^{\ln x} = x$ 의 양변을 미분하면 $e^{\ln x}\cdot(\ln x)' = 1$ , 곧 $x\cdot(\ln x)' = 1$ 이라 $(\ln x)' = 1/x$ 입니다. 신경망⁠(neural network)⁠ 학습의 역전파⁠(backpropagation)⁠도 이 곱을 출력 쪽에서 입력 쪽으로 거꾸로 따라가는 계산입니다. 행렬 곱은 어느 쪽부터 묶어도 결과가 같지만, 출력이 수 하나이고 입력이 많으면 출력 쪽부터 곱해야 계산이 훨씬 적습니다. 이 순서로 도함수⁠(derivative function)⁠를 구하는 것이 자동 미분⁠(automatic differentiation)⁠의 후진 모드입니다.

이 개념이 나오는 큰 생각선형화: 휘어진 것을 곧게 보기

이 개념이 나오는 긴 글

미분에서 회전까지 · 1편 · 미분 순간의 속도 속도계는 '지금 이 순간'의 속도를 보여 준다. 순간에는 시간이 흐르지 않는데, 무엇을 재는 걸까? 혼돈 나비의 날갯짓 방정식이 정해져 있으면 미래도 정해질까? 소수점 아래 몇 자리를 버린 계산이 날씨 예보의 한계를 드러냈다. 신경망과 기계 학습 배우는 기계 예를 보여 주면 규칙을 스스로 찾는 기계. 1958년의 퍼셉트론에서 오늘의 심층 신경망까지, 그 밑바닥에는 미분과 연쇄법칙이 있다. 언어 모델 다음 단어를 맞히는 기계 다음 낱말을 짐작하는 일만으로 어디까지 갈 수 있을까? 마르코프의 글자 세기에서 섀넌의 추측 게임, 트랜스포머와 규모의 법칙, 사람의 선호까지. 밑바닥에는 확률의 곱셈 규칙과 로그 하나가 있고, 그 수학은 모델이 왜 그럴듯하게 틀리는지도 말해 준다. 반환과 동적 계획법 같은 계산, 다른 덧셈 가장 짧은 길, 길의 가짓수, 가장 그럴듯한 해석, 갈 수 있는지 없는지. 따로 태어난 알고리즘들이 사실은 한 계산이고, 달라지는 것은 더하기와 곱하기 자리에 무엇을 넣느냐뿐이다. 그렇게 바꿔 넣어도 되는 까닭은 분배법칙 하나다. 범주론 화살표만으로 본 수학 최대공약수와 교집합과 '그리고'는 같은 것이고, 화살표를 뒤집으면 최소공배수와 합집합과 '또는'이 된다. 무엇으로 만들었는지 묻지 않고 어떻게 이어지는지만 보는 언어로, '자연스럽다'는 말의 뜻, 관계만으로 대상을 알아보는 요네다의 생각, 함자로 본 연쇄법칙, 어디에나 있는 수반까지 사이트의 여러 분야를 가로지른다.

이 개념 위에 세워진 것

역전파 자동 미분

이 개념을 언급하는 페이지

함수
… 합니다. 먼저 제곱하고 이어서 사인을 취하는 \sin(x^2) 이 그 예입니다. 합성한 함수의 변화율은연쇄법칙이 알려 줍니다. 합성은 결합법칙 h \circ (g \circ f) = (h \circ g) \circ …
미분계수
… 됩니다. 미분계수는 계산 도구로도 쓰입니다. 함수 안에 함수를 넣은 합성함수(예: \sin(x^2) )는연쇄법칙으로 미분합니다. 신경망은 조절할 수 있는 수(가중치)를 아주 많이 가진 거대한 합성함수입니다. 오차를 …
국소 선형성
… 하나입니다. 두 함수를 합성하면(한 함수의 출력을 다른 함수에 넣으면) 확대 배율(미분계수)이 곱해진다는연쇄법칙도 이 그림에서 나옵니다. 미분 가능한 곡선의 꼭대기나 골짜기에서는 접선이 수평이니, 확대한 직선의 …
자연로그
… 같은 함수인 이유는 미적분의 기본정리입니다. 넓이 함수의 기울기는 1/x 이고, eˣ의 역함수를연쇄법칙으로 미분해도 1/x 가 나옵니다. 넓이로 보면 \ln(ab) = \ln a + \ln b 도 그림으로 …
행렬의 곱
… 두 함수를 이어 붙인 함수의 야코비 행렬은 각 함수의 야코비 행렬의 곱이고, 이것이 여러 변수에서의연쇄법칙입니다. 신경망은 층을 지날 때마다 입력에 행렬을 곱하고, 이어서 휘어진 함수를 한 번 적용합니다. …
파동방정식
… 아무 함수 g에 대해 g(x - ct) 는 모양을 유지한 채 오른쪽으로 빠르기 c로 달리는 파동이고,연쇄법칙으로 두 번씩 미분해 보면 방정식을 만족합니다. 왼쪽으로 달리는 것도 마찬가지라 해는 f(x-ct) + …
역전파
… 한 칸씩 왼쪽으로 갑니다. 각 칸의 기울기는 오른쪽 칸의 기울기에 그 사이 변의 국소 미분을 곱한 것, 곧연쇄법칙입니다. 예를 들어 w_1 까지 가는 길을 따라 곱하면 \frac{\partial L}{\partial …
기울기 벡터와 야코비 행렬
… 야코비 행렬이 곱해집니다. J_{G\circ F}(P) = J_G(F(P))\,J_F(P) 이고, 1변수연쇄법칙은 이것의 1×1 경우입니다(행렬의 곱). 출력이 수 하나인 f의 야코비 행렬은 1×n 가로줄이고, …
자동 미분
… 계산을 ln, 곱셈, sin, 덧셈, 뺄셈 같은 기본 연산 하나하나로 쪼개고, 각 연산의 미분만 알면연쇄법칙으로 이어 붙여 도함수의 값을 냅니다. 쪼갠 모양이 아래의 계산 그래프입니다. v_1 = \ln …
인공지능
… 바꿀 때 손실이 얼마나 변하는지를 모은 것이 기울기 벡터입니다. 이것은 합성 함수를 미분하는 규칙인연쇄법칙을 기계적으로 적용하는 자동 미분으로 얻습니다. 그리고 손실이 줄어드는 쪽, 곧 기울기의 반대 방향으로 …
순환 신경망과 LSTM
… 다시 씁니다. 거슬러 올라가는 학습 신호. 마지막 걸음의 손실이 k걸음 전의 상태에 얼마나 민감한지를연쇄법칙으로 풀면, 걸음마다 하나씩 곱해진 k개의 야코비 행렬(기울기 벡터와 야코비 행렬)이 나옵니다. …

이 페이지가 가리키는 개념

기울기 행렬 카를 구스타프 야코프 야코비 기울기 벡터와 야코비 행렬 행렬의 곱 지수함수 eˣ 자연로그 단사·전사·전단사 신경망 역전파 자동 미분