자연로그(Natural logarithm)
eˣ를 되돌리는 함수(function)이자, 곡선 1/t 아래 1부터 x까지의 넓이(area). 곱셈을 덧셈으로 바꾼다.
자연로그에는 얼굴이 둘 있습니다. 하나는 eˣ의 역함수(inverse function)입니다.
두 얼굴이 같은 함수인 이유는 미적분의 기본정리(fundamental theorem of calculus)입니다. 넓이 함수(area function)의 기울기(slope)는
로그는 느리게 자라는 것들의 속도계입니다. 정렬된 목록 백만 개에서 절반씩 버리며 찾는 이진 탐색(binary search)은
나눗셈의 나머지만 보는 세계(모듈러 연산, modular arithmetic)에도 로그가 있습니다. "3을 몇 번 곱해야 17로 나눈 나머지(remainder)가 13이 될까?"를 묻는 것이고, 1부터 16 가운데서 답은 4입니다(
사람마다 친구가 k명이고 친구 관계가 충분히 뒤섞여 있으면, d단계 안에 닿는 사람은 겹치는 친구를 무시할 때 대략
확률(probability) p인 일이 일어났을 때의 놀라움을
이 개념이 나오는 긴 글
이 개념 위에 세워진 것
이 개념을 언급하는 페이지
- 정적분
… 적분은 기댓값입니다. 유명한 넓이도 몇 있습니다. 곡선 1/t 아래 1부터 x까지의 넓이(x > 0)는자연로그\ln x 입니다. 종 모양 곡선 e^{-x^2} 아래 전체 넓이는 √π입니다. 이 곡선을 가로로 …
- 미적분의 기본정리
… 미분하면 1/x가 됩니다. \ln x 도 도함수가 1/x이고 둘 다 x = 1에서 0이니, 그 넓이 함수가자연로그임을 알 수 있습니다. 하지만 한계도 있습니다. 다항식, 지수함수, 로그, 삼각함수를 사칙연산과 합성으로 …
- 연쇄법칙
… 경우입니다. e^{g(x)} 의 미분이 g'(x)e^{g(x)} 인 것(지수함수)도 연쇄법칙입니다.로그의 미분도 eˣ의 역함수라는 점에서 구합니다. e^{\ln x} = x 의 양변을 미분하면 e^{\ln …
- 지수함수 eˣ
… 입니다(기본정리). 이 급수에 허수를 넣은 것이 오일러 공식입니다. eˣ를 되돌리는 함수가자연로그이고, 지수에 −x²을 넣은 종 모양 곡선은 정규분포와 가우스 적분의 주인공입니다. p가 작을 때 …
- 중심극한정리
… 값은 e^{-t^2/2} 로 다가가고, 원래 분포의 개성이 담긴 '더 작은 항'들은 사라집니다(이 극한은로그를 취해 계산합니다). 그런데 e^{-t^2/2} 가 바로 표준정규분포의 특성함수입니다. 가우스 곡선은 …
- 소수 정리
… = \int_2^x dt/\ln t 에 가까워야 하고, 더 거칠게는 x/\ln x 입니다(분모의자연로그가 소수를 점점 드물게 만듭니다). 지금 두 근삿값은 , 입니다. 가로축은 log₁₀ x입니다. 두 비율 …
- 조화급수
… 1/x 보다 높습니다. 그래서 n개 막대의 넓이 합 H_n 은 1부터 n + 1까지 곡선 아래 넓이, 곧자연로그\ln(n+1) 보다 큽니다. 그리고 로그는 끝없이 자랍니다. 느리지만 멈추지 않습니다. 합이 100을 …
- 원시근
… 제곱근들의 곱셈과 정확히 같은 구조입니다. 거꾸로 g^k 에서 지수 k 를 되찾는 일을 보통의로그에 빗대어 이산로그 라 부릅니다. p 가 수백 자리이면 이 되돌리기를 빠르게 하는 방법이 알려져 있지 …
- 디피–헬먼 키 교환
… 거듭제곱에서 지수를 되찾는 문제를 이산로그 라 합니다. 실수 위의 지수함수는 매끄럽게 커지니로그로 쉽게 되돌리지만, 나머지를 취하는 순간 값이 시계를 여러 바퀴 돌아 흩어집니다. 한편 g^a 를 …
- 소수 판정
… 만에 나올지는 소수 정리와 기댓값이 알려 줍니다. x 근처에서 소수의 비율은 약 1/\ln x (자연로그)이고 홀수만 고르면 약 2/\ln x 이니, 300자리 홀수라면 평균 약 \ln(10^{300})/2 …
- 쌍둥이 소수
… 고르게 하나를 뽑으면 소수일 확률이 그만큼입니다). 그러니 p 근처의 평균 간격은 약 \ln p 이고,자연로그라서 아주 천천히 늘어납니다. 간격은 얼마든지 커질 수도 있습니다. k! + 2, k! + 3, …
- 리만 제타 함수
… e^{-it\ln n} 이니(오일러 공식) 각 항은 길이 n^{-\sigma} 인 화살표를로그\ln n 에 비례한 각도로 돌린 것입니다. 합은 \sigma > 1 에서만 한 값에 다가갑니다(수렴). …
- 스털링 공식
… 같은 말입니다. 상대오차는 대략 1/(12n) 이라 n = 10에서 이미 1%보다 작습니다. 곱을 합으로.로그를 취하면 곱이 합이 됩니다: \ln n! = \ln 2 + \ln 3 + \cdots + \ln n . …
- 중앙값
… 시간처럼 오른쪽 꼬리가 긴 지수분포에서는 중앙값이 평균의 \ln 2 \approx 0.69 배입니다(자연로그). 분포의 중앙값이 하나로 정해져 있다면, 표본의 중앙값도 큰 수의 법칙의 평균처럼 표본이 커질수록 …
- 로지스틱 사상
… n걸음 뒤에는 이 배율들의 곱만큼 벌어집니다(두 궤도가 아주 가까운 동안의 이야기입니다). 그 곱의로그를 걸음 수로 나눈 평균, \lambda = \lim \tfrac1n \sum \ln|f'(x_k)| 가 …
- 혼돈
… 만큼 옆에서 시작합니다. k = . 오른쪽 그림은 두 궤도 사이의 거리 |\delta_n| 을로그눈금으로 그린 것입니다. 로그 눈금에서는 지수적으로 자라는 양이 직선이 되고, 그 기울기가 랴푸노프 …
- 로렌츠 끌개
… 어느 순간 서로 다른 날개로 갈라섭니다. 지금 거리는 |\delta| = 입니다. 아래 그림에서 거리의로그가 거의 직선으로 오르니 거리는 지수적으로, |\delta(t)| \approx \varepsilon …
- 푸앵카레 원판
… 180°가 됩니다. 원점에서 반지름 r 인 점까지의 쌍곡 거리는 \ln\frac{1+r}{1-r} 입니다(자연로그). r \to 1 이면 이 값은 한없이 커지므로(극한) 원판 안에서 유한한 거리를 걸어서는 경계에 …
- 좁은 세상
… 모두에 닿는 데는 k^r = n , 곧 r = \ln n / \ln k 걸음이면 됩니다. 거리가 크기의로그로만 자라는 것입니다. 80억 명이 한 사람당 100명씩 안다고 하면 \ln(8\times10^9)/\ln …
- 하버사인 공식
… 1에 가까운 코사인 값은 쓸모가 없었습니다. 게다가 하버사인은 음수가 되지 않아 부호를 따질 필요가 없고,로그를 취해 곱셈을 덧셈으로 바꾸기도 좋았습니다. '하버사인'이라는 이름은 1835년 영국의 수학자이자 해군 …
- 지프의 법칙
… 미국 언어학자 조지 킹슬리 지프가 여러 언어의 자료로 널리 알려서 지프의 법칙이라고 부릅니다. 양변에로그를 취하면 \log f = \log C - s\log r 이니, 가로축과 세로축을 모두 로그로 그리면 …
- 정보 엔트로피
… 비트로 정했습니다. 확률 1/2인 일은 1비트, 1/4인 일은 2비트, 1/1024인 일은 10비트입니다.로그를 쓰는 이유는 서로 독립인 두 일의 확률은 곱해지지만 정보는 더해져야 하기 때문입니다. 엔트로피는 이 …
- 은닉 마르코프 모델
… T N^2 에 비례하는 횟수의 곱셈으로 끝납니다. 편집 거리와 같은 동적 계획법입니다. 확률에 −로그를 씌우면 곱이 합으로, 최대가 최소로 바뀌어, 이 계산은 날짜별 상태를 점으로 둔 격자 그래프 위의 …
- 점근 표기법
… \approx 입니다. 1초에 10억 걸음을 가는 컴퓨터로 n^2 걸음은 , 2^n 걸음은 걸립니다.로그\log_2 n 은 n을 천 배로 늘려도 10쯤 늘 뿐이고, 지수함수 2^n 은 n이 하나 늘 때마다 …
- 이진 탐색
… 목록이 10^m 개, m = 이면 이진 탐색은 많아야 번, 순차 탐색은 최악의 경우 번 비교합니다.로그와 그 역인 지수의 차이, 점근 표기법으로 말하면 O(\log n) 과 O(n) 의 차이입니다. …
- 힙과 우선순위 큐
… 어느 쪽이든 한 층에 비교 한두 번이니 모두 높이의 두 배 이하, 곧 O(\log n) 입니다(로그). 지금까지 꺼낸 값: . 그사이 더 작은 값을 새로 넣지 않는 한 꺼낸 값은 작아지지 않는 순서로 …
- 원천 부호화 정리
… 0입니다. 이 사실을 미국 물리학자 깁스의 이름을 따 깁스 부등식이라 부릅니다. 깁스 부등식의 열쇠는로그곡선의 모양입니다. 로그 곡선은 위로 볼록하게 휘어 있어서 곡선 위 두 점을 잇는 선분이 늘 곡선 아래에 …
- 렘펠–지브 압축
… 번 되풀이한 글자 개가 토큰 개로 줄어듭니다. 늘어나는 것은 길이 ℓ을 적는 자릿수뿐이고, 그것은로그만큼만 자랍니다. 실제 압축기는 가장 긴 겹침을 빨리 찾으려고 세 글자짜리 조각마다 그것이 나왔던 자리들을 …
- 결합 엔트로피와 조건부 엔트로피
… = p(x)\,p(y\mid x) 에 -\log_2 를 씌워 평균한 것뿐입니다. 곱이 합으로 바뀌는 것은로그의 성질이지요. d를 0으로 내리면 내일이 오늘과 무관해져서 H(Y|X) = H(Y)이고, 오른쪽의 첫 두 …
- 쿨백–라이블러 발산
… 참인 분포가 p이고 경쟁 가설이 q일 때 결과 i가 나오면, 두 가설의 확률 비(가능도비)의로그\log(p_i/q_i) 만큼 p 쪽으로 증거가 쌓입니다(이 값이 음수면 q 쪽으로 쌓입니다). 이것을 …
- 섀넌–하틀리 정리
… 것을 보였습니다. 같은 1928년 벨 연구소의 랠프 하틀리는 정보의 양을 '구별할 수 있는 선택지 수의로그'로 정했습니다. 펄스마다 M가지 높이 가운데 하나를 고르면 펄스 하나가 \log_2 M 비트를 싣고, …
- 맥스웰의 악마와 란다우어 원리
… T}{V'}\,dV' = k_B T \ln 2 의 일을 얻습니다( k_B 는 볼츠만 상수, ln은 자연로그). 1비트의 정보가 k_B T \ln 2 의 일로 바뀐 것입니다. 이 과정을 되풀이하면 열원 하나에서 …
- 삼체 문제
… 자라 결국 삼각형이 무너지고 세 물체가 뒤엉킵니다. 차이가 지수적으로 자라므로 아래 그림에서 거리의로그가 직선으로 오르고, k를 1 올려 처음 차이를 10분의 1로 줄여도 무너지는 시각은 약 4.3만큼 늦춰질 …
- 최대가능도법
… + 1)입니다(지금은 ). 확률분포라면 넓이가 1이어야 합니다. 가장 큰 곳 찾기. 곱은 다루기 어려우니로그를 취합니다. 로그는 늘 증가하는 함수라서 L이 가장 큰 곳과 log L이 가장 큰 곳은 같습니다. …
- 로지스틱 회귀
… 입니다. 점들이 서로 독립이라고 보면 자료 전체가 나올 확률은 이것들의 곱이고, 곱을 가장 크게 하는 것은로그를 씌운 합을 가장 크게 하는 것과 같습니다. 부호를 바꿔 평균하면 줄여야 할 손실이 됩니다. L(w, …
- 소프트맥스와 교차 엔트로피
… 것이 됩니다. 통계학에서는 이 모형을 다항 로지스틱 회귀라고 부릅니다. 학습에는 정답에 준 확률의 음의로그를 손실로 씁니다. 정답이 고양이라면 -\ln 0.659 \approx 0.417 이고, 지금 손실은 …
- 규모의 법칙
… 1쯤입니다. 캐플런 등은 학습에 쓰지 않은 글에서 잰 손실을 N에 대해 그렸습니다. 그래프의 두 축은로그눈금이었습니다. 로그 눈금에서는 1, 10, 100, 1000이 같은 간격으로 놓입니다. 그렇게 그리자 …
- 모노이드
… 길이는 이어 붙이기를 덧셈으로 옮깁니다(len(uv) = len u + len v, len '' = 0).로그는 양수의 곱셈을 덧셈으로 옮기고(log xy = log x + log y, log 1 = 0), …
- 위치 인코딩의 변천
… 뿐입니다. 헤드마다 따로, 층끼리는 공유하며, 거리를 32개 칸으로 묶되 가까운 거리는 촘촘히, 먼 거리는로그간격으로 넓게 묶고 128이 넘는 거리는 모두 한 칸에 넣었습니다. 이 셋은 모두 거리를 입력이 아니라 …
- 프랙털 차원
… = (1/r)^D , 곧 D = \log N/\log(1/r) 를 차원이라고 부르는 것이 자연스럽습니다(로그). 이것을 닮음 차원이라고 합니다. 이 규칙을 1904년 헬게 폰 코흐가 만든 곡선에 써 봅시다. 선분을 …