정보 엔트로피(Information entropy)

이 개념 위에 세워진 것

이 개념을 언급하는 페이지

• 자연로그

  … 일어났을 때의 놀라움을 -\log_2 p 로 재고 그 평균을 내면, 분포 하나가 담은 불확실성, 곧정보 엔트로피가 됩니다. 로그를 쓰는 이유는 이렇습니다. 한 일이 일어났는지가 다른 일의 확률을 바꾸지 않는 두 …

• 확률

  … 합니다. 공정한 주사위의 분포는 여섯 눈에 1/6씩을 준 것입니다. 분포 하나가 얼마나 예측하기 어려운지는정보 엔트로피라는 수 하나로 잴 수 있습니다. 공정한 동전은 1비트, 늘 앞면만 나오는 동전은 0비트입니다. 두 분포가 …

• 조건부 확률

  … 알고 나면 A가 일어날지에 대한 불확실성이 평균적으로 얼마나 줄어드는지도 잴 수 있습니다. 불확실성은엔트로피로 재고, B의 결과를 안 뒤에 남은 불확실성의 평균이 조건부 엔트로피입니다. 어느 한 결과를 듣고 …

• 정규분포

  … 분산만 정해 두고 그 밖에는 아무것도 가정하지 않는 분포를 고르고 싶다면, 가장 예측하기 어려운 분포, 곧엔트로피가 가장 큰 분포를 고르는 것이 원칙입니다(최대 엔트로피 원리). 실수 위의 연속분포 가운데 평균과 …

• 큰 수의 법칙

  … 하는데, 그 개수는 약 2^{nH} 개입니다. 여기서 n = 1000은 길이이고 H는 기호 하나당엔트로피로, 이 예에서는 약 0.47비트입니다. 가능한 문자열 2^{1000} 개 가운데 전형적인 것은 약 …

• 마르코프 연쇄

  … 음성 인식과 품사 태깅에 쓰였습니다. 정보 이론과도 이어집니다. 긴 기호열에서 기호 하나가 평균적으로 담은정보량을 엔트로피율이라 합니다. 마르코프 연쇄가 내놓은 긴 기호열은 전이 확률을 몰라도 렘펠–지브 압축으로 …

• 이항계수

  … H(q) = -q\log_2 q - (1-q)\log_2(1-q) 는 앞면 확률이 q인 동전 한 번의정보 엔트로피입니다. 예를 들어 1000번 중 100번 앞면인 순서는 H(0.1) \approx 0.47 이라서 …

• 지프의 법칙

  … 곧 본 적 없는 낱말 묶음이 끝없이 나오는 문제의 뿌리입니다. 빈도가 치우친 만큼 글자나 낱말 하나가 주는정보 엔트로피는 균등할 때보다 작고, 흔한 낱말에 짧은 부호를 주는 허프만 부호 같은 방법으로 글을 압축할 수 …

• 신경망

  … 이런 일이 드물어집니다. 가중치는 교차 엔트로피 손실(정답에 매긴 확률의 로그에 −를 붙여 평균한 값,엔트로피와 같은 꼴)을 줄이도록 경사 하강법의 변형인 Adam으로 고치고, 모든 가중치에 대한 기울기는 …

• 이진 탐색

  … 알아내는 것과 같습니다. 거꾸로, n개 가운데 하나를 가리키려면 적어도 \log_2 n 비트가 필요하므로(엔트로피), 비교만으로 찾는 어떤 방법도 최악의 경우 이보다 크게 줄일 수는 없습니다. 이진 탐색은 이 한계에 …

• 비교 정렬의 하한

  … 트리에서는 잎까지의 평균 깊이도 \log_2 n! 보다 작을 수 없기 때문입니다. 이어지는 곳. 이것은엔트로피로 본 한계입니다. 똑같이 그럴듯한 n! 가지 중 하나를 가려내려면 \log_2 n! 비트의 정보가 …

• 허프만 부호

  … 둘을 꺼내는 데 우선순위 큐를 쓰면 글자가 k가지일 때 O(k \log k) 에 끝납니다. 평균 길이는엔트로피H 밑으로 내려갈 수 없고(섀넌의 원천 부호화 정리), 허프만 부호는 언제나 H 이상 H+1 …

• 원천 부호화 정리

  … 기호들과 상관없이(독립적으로) 늘 같은 확률분포에서 뽑히는 것을 원천이라 합니다. 답은 그 분포의엔트로피H 입니다. 위의 예라면 H = 0.5 \times 1 + 0.25 \times 2 + 0.15 …

• 오류 정정 부호

  … 통로 부호화 정리는 아니라고 답합니다. 이 통로에는 용량 C = 1 - H(q) 가 있어서(H는엔트로피; 들어간 비트와 나온 비트의 상호 정보량의 최댓값), 전송률이 C보다 작기만 하면 부호 길이를 늘려 …

• 콜모고로프 복잡도

  … 독립적으로 뽑은 기호들로 된 문자열이라면, K를 길이로 나눈 값이 길이가 길어질수록 확률 1로 그 분포의엔트로피로 수렴합니다. 섀넌의 원천 부호화 정리를 문자열 하나에 대한 말로 옮긴 셈입니다. ⟦렘펠–지브 …

• 결합 엔트로피와 조건부 엔트로피

  … 번까지 던져 답을 맞히는 놀이)로 생각하면 쉽습니다. 예/아니오 질문 하나는 많아야 1비트를 알려 주니,엔트로피가 H비트인 답을 맞히려면 평균 H번 이상 물어야 하고, 질문을 잘 고르면 H + 1번 미만으로 끝낼 수 …

• 쿨백–라이블러 발산

  … 질량을 옮기는 비용을 재는 최적 수송 거리는 진짜 거리의 성질을 갖습니다. 조건부 엔트로피와엔트로피자체도 KL 발산으로 다시 쓸 수 있습니다. 예컨대 결과가 n가지일 때 H(p) = \log_2 n - …

• 최대 엔트로피 원리

  … 성질을 설명하는 물리학입니다. 우리가 아는 것을 만족하는 확률분포는 대개 무수히 많습니다. 그 가운데엔트로피가 가장 큰 것을 고르라는 것이 그의 제안입니다. 제인스의 논리는 이렇습니다. 엔트로피가 더 작은 분포를 …

• 통로 용량

  … = H(Y) - H(Y \mid X) 입니다. H(Y) 는 받는 쪽이 느끼는 불확실성 전체이고(엔트로피), H(Y \mid X) 는 x를 알아도 남는 몫, 곧 잡음이 만든 불확실성입니다(조건부 엔트로피). …

• 통로 부호화 정리

  … 부호⟧). 이어지는 곳. 섀넌은 같은 논문에서 압축(원천 부호화 정리)과 이 정리를 합쳐, 원천을 먼저엔트로피까지 줄인 다음 통로에 맞게 여분을 덧붙여도, 길게 묶어 보내는 극한에서는 손해가 없다는 것도 …

• 산술 부호화

  … 0.95 \approx 0.074 비트인데 부호어는 1비트보다 짧을 수 없으니, 치우친 원천에서는엔트로피의 몇 배를 쓰게 됩니다. 기호를 여러 개씩 묶으면 손해가 줄지만(원천 부호화 정리) 묶음의 가짓수가 …

• 율–왜곡 이론

  … dB씩 좋아집니다. 분산이 같은 원천 가운데 정규분포가 가장 압축하기 어렵습니다. 분산이 정해졌을 때엔트로피가 가장 큰 분포이기 때문입니다(최대 엔트로피 원리). 가장 단순한 손실 압축은 표본 하나마다 R비트, …

• 맥스웰의 악마와 란다우어 원리

  … 개쯤 되면 온도계로는 볼 수 없을 만큼 작아집니다. 분자 하나하나는 무작위 행보처럼 오가지만, 전체로는엔트로피가 큰 쪽, 곧 고르게 섞인 쪽이 압도적으로 흔합니다(최대 엔트로피 원리). 1929년 헝가리 태생 …

• 변분법

  … 붙은 변분 문제는 라그랑주 승수로 풉니다. 실수 위의 연속 분포 가운데 평균과 분산이 정해졌을 때엔트로피가 가장 큰 분포가 정규분포라는 최대 엔트로피 원리도 그런 예입니다. 이어지는 곳. 변분법의 답은 …

• 통계학

  … 자료로 얼마나 넓혀 말할 수 있는가'입니다. 모형이 자료를 얼마나 잘 설명하는지는 쿨백–라이블러 발산과엔트로피같은 정보의 양으로도 잽니다. 편향–분산 분해는 모형이 복잡할수록 표본마다 크게 흔들린다는 것을, …

• 확률변수

  … 내면 큰 수의 법칙과 중심극한정리가 그 모양을 알려 줍니다. 확률변수 하나가 담은 불확실성의 양이엔트로피이고, 두 확률변수가 서로에 대해 알려 주는 양이 상호 정보량입니다. 자료를 보고 확률변수의 분포를 …

• 소프트맥스와 교차 엔트로피

  … \,\|\, p) 가 성립합니다. q를 따르는 기호들을 부호로 적을 때 평균 길이는엔트로피H(q) 보다 짧을 수 없습니다. 그런데 기호마다 -\log p_j 비트를 쓰는, p에 맞춘 부호로 적으면 …

• 결정 트리와 랜덤 포레스트

  … 첫 질문은 무엇이 좋을까요? 답을 들은 뒤 양쪽의 색이 저마다 한쪽으로 쏠리는 질문입니다. 쏠림은엔트로피로 잽니다. 노랑의 비율이 p인 무리의 엔트로피는 H = -p\log_2 p - …

• EM 알고리즘과 가우스 혼합

  … 채 B를 θ에 대해 가장 크게 만듭니다. B는 책임도를 가중치로 삼은 완전한 자료의 로그 가능도에 q의엔트로피를 더한 것입니다. 엔트로피 항은 θ와 무관하므로, 위의 가중 평균 공식이 바로 B의 최댓값을 주는 …

• 볼록 함수와 볼록 최적화

  … 한 줄로 나옵니다. 로그가 오목하다는 데서 나오는 산술평균 ≥ 기하평균, 그리고 값이 n가지인 분포 가운데엔트로피가 균등 분포에서 가장 크다는 사실도 같은 부등식의 경우들입니다. 볼록 최적화. 볼록 함수를 볼록 …

• 라그랑주 승수법

  … 고유벡터 방정식이 나오고, 승수 λ가 그 방향의 분산입니다. 합이 1이고 평균이 정해진 분포 가운데엔트로피가 가장 큰 것을 찾으면 승수 두 개로 p_i \propto e^{\lambda x_i} 라는 지수 모양이 …

• 토큰화와 BPE

  … 눈으로 보면, 흔한 것에 짧은 부호를 줄 때 평균 길이를 어디까지 줄일 수 있는지는 원천 부호화 정리가엔트로피로 정해 줍니다. 토큰마다 확률을 주는 모델에 산술 부호화를 붙이면 그 한계에 다가가는, BPE보다 …

• 언어 모델과 다음 토큰 예측

  … 첫 항은 글 자체의 불확실성인엔트로피라서 모델이 무엇을 하든 줄일 수 없습니다. 둘째 항 KL 발산은 늘 0 이상이고 q = p일 때만 …

• 디코딩: 온도, top-p, 빔 탐색

  … 꼴에는 정확한 이유가 있습니다. '로짓의 기댓값 \sum_i p_i z_i 가 μ'라는 조건만 지키면서엔트로피가 가장 큰 분포를 찾으면 라그랑주 승수법으로 p_i \propto e^{\beta z_i} 가 …

• 규모의 법칙

  … 점심으로 ___을 먹었다'의 빈칸은 완벽한 모델도 확실히 맞힐 수 없습니다. 이 줄일 수 없는 몫을 글의엔트로피라 합니다. 손실은 이 엔트로피에 모델의 오차(모델의 확률이 실제 글의 확률과 다른 만큼)를 더한 …

• 상태 공간 모형과 선형 순환

  … 다른 두 입력이 같은 상태에 이르므로, 모든 입력을 옳게 베낄 수는 없습니다(평균적으로 얼마나 틀리는지는엔트로피로 셉니다). 2024년 사미 옐라시 등은 이것을 정리로 다듬었습니다. 2층 트랜스포머는 모형의 차원에 …

• 최소 기술 길이

  … 값을 맞바꾸는 저울질은 편향–분산 분해가 오차의 말로 하는 이야기와 닮았습니다. 부호 길이의 바탕인엔트로피와 KL 발산은 잘못된 모형을 쓸 때 몇 비트를 더 치르는지 알려 주고, 가능한 모든 프로그램으로 …

이 페이지가 가리키는 개념