맥스웰의 악마와 란다우어 원리(Maxwell's demon and Landauer's principle)
분자를 보고 문을 여닫는 악마가 열역학 제2법칙(second law of thermodynamics)을 깨는 듯한 사고 실험(thought experiment). 측정 자체는 원리적으로 비용 없이 할 수 있지만, 악마의 기억을 지우는 데 무작위 비트 하나마다 kT ln 2 이상의 열이 들어서 법칙이 지켜진다.
1867년 제임스 클러크 맥스웰은 스코틀랜드 물리학자 피터 거스리 테이트에게 보낸 편지에서, 그리고 1871년 책 『열 이론』에서 한 가지 사고 실험을 내놓았습니다. 기체가 든 그릇을 칸막이로 둘로 나누고 칸막이에 작은 문을 냅니다. 분자 하나하나를 볼 수 있는 작은 존재가 문을 지키며, 빠른 분자가 왼쪽에서 다가오면 오른쪽으로 들여보내고 느린 분자가 오른쪽에서 다가오면 왼쪽으로 들여보냅니다. 그러면 일을 전혀 하지 않고도 오른쪽은 뜨거워지고 왼쪽은 차가워집니다. 열은 저절로 뜨거운 쪽에서 차가운 쪽으로만 흐른다는 열역학 제2법칙이 깨지는 것처럼 보입니다. 이 존재에 '악마'라는 이름을 붙인 사람은 1874년의 윌리엄 톰슨(켈빈 경)입니다. 맥스웰 자신이 하려던 말은 제2법칙이 수많은 분자에 대한 통계적인 법칙이라는 것이었습니다.
아래 상자에는 서로 부딪치지 않는 기체 분자 100개가 들어 있습니다. 속도(velocity)의 각 성분은 정규분포(normal distribution)를 따르고(맥스웰과 오스트리아 물리학자 루트비히 볼츠만의 이름을 딴 맥스웰–볼츠만 분포(Maxwell–Boltzmann distribution)), 운동 에너지(kinetic energy)가 평균(mean)보다 큰 분자는 빨강, 작은 분자는 파랑입니다. 악마도 이 기준으로 빠르고 느림을 가립니다. 문:
온도를 300 K(절대 온도(absolute temperature) 300켈빈, 약 27°C)에서 출발시켰다고 치고, 각 칸의 온도는 그 칸 분자들의 평균 운동 에너지로 잽니다. 두 칸의 에너지를 합친 것은 처음과 같으니 악마는 에너지를 만들지 않고 나누기만 합니다. 문을 그냥 열어 두면 두 칸의 온도는 300 K 둘레에서 출렁일 뿐 벌어지지 않습니다. 이 출렁임은 분자가 100개뿐이라 눈에 보이는 것입니다. 출렁임의 상대적인 크기는 분자 수 N에 대해
1929년 헝가리 태생 물리학자 레오 실라르드는 악마를 가장 단순하게 줄였습니다. 분자 하나가 든 상자 가운데에 칸막이를 넣고, 분자가 어느 쪽에 있는지 봅니다. 답은 1비트입니다. 분자가 있는 쪽의 칸막이를 피스톤 삼아 온도 T의 열원(온도가 늘 T로 유지되는 큰 열 저장소)에 닿은 채 천천히 밀려나게 하면, 분자가 부피 V/2에서 V로 퍼지는 동안
답은 다른 곳에 있었습니다. 1961년 IBM의 물리학자 롤프 란다우어는 논리적으로 되돌릴 수 없는 연산, 곧 출력만 보고는 입력을 되찾을 수 없는 연산이 반드시 열을 낸다고 논증했습니다. 0이든 1이든 모두 0으로 만드는 '지우기'는 가능한 두 상태를 하나로 합칩니다. 0과 1이 반반인 비트를 지우면 기억 장치의 엔트로피가
이 비용은 얼마나 클까요? 온도
이어지는 곳. 미시 상태들의 확률분포(probability distribution) 하나에 대해 정의한 열역학의 엔트로피(깁스 엔트로피)와 섀넌의 정보 엔트로피(비트 단위)는
이 개념이 나오는 긴 글
이 개념을 언급하는 페이지
- 큰 수의 법칙
… 거의 확실히 그렇게 된다'는 통계 법칙입니다. 이 점을 파고든 사고 실험이 맥스웰이 1867년 내놓은맥스웰의 악마입니다. 분자를 하나하나 보고 칸막이 문을 여닫아 빠른 분자만 한쪽으로 모으는 작은 존재가 있다면 …
- 정보 엔트로피
… 물리학의 엔트로피와 같은 이름인 것도 우연이 아니어서, 1비트를 지우는 데에는 최소한의 열이 듭니다(맥스웰의 악마와 란다우어 원리). n!가지 순서 가운데 하나를 가려내려면 \log_2 n! 비트가 필요하므로, 한 번에 많아야 1비트를 …
- 콜모고로프 복잡도
… 오컴의 윌리엄의 이름을 땀)을 수로 적은 셈입니다. 물리학에서는 비트를 지우는 데 드는 열의 최솟값이란다우어 원리로 정해집니다(무작위 비트 하나에 k_B T \ln 2 . k_B 는 볼츠만 상수, T는 절대 온도). …
- 상호 정보량
… 상관계수의 재료)만 보는 방법도 놓칩니다. 측정이 계에 대해 얻은 상호 정보량은 공짜가 아니어서,맥스웰의 악마가 분자를 골라내려면 정보를 지우는 값을 치러야 합니다. X \to Y \to Z 처럼 다음 것이 바로 …
- 쿨백–라이블러 발산
… 분포) 사이의 KL 발산이 한 걸음마다 줄거나 그대로여서, 열역학 제2법칙의 정보 이론판처럼 읽힙니다(맥스웰의 악마). 분포를 비교하는 또 다른 방법으로, 확률 질량을 옮기는 비용을 재는 최적 수송 거리는 진짜 …
- 최대 엔트로피 원리
… 엔트로피가 상수배와 로그의 밑을 빼면 같은 식인 것은 우연이 아니며, 정보를 지우는 데 드는 열을 따지는맥스웰의 악마와 란다우어 원리가 두 세계를 잇습니다. 마르코프 연쇄를 오래 돌리면 정상 분포에 대한 KL 발산이 줄어들고, …
- 산술 부호화
… 없는 문자열 하나의 정보량은 콜모고로프 복잡도이고, 적어 둔 비트를 지우는 데 드는 물리적 비용은란다우어 원리가 말해 줍니다. 적응 모형이 글자를 볼 때마다 확률을 고쳐 가는 과정은 새 증거를 볼 때마다 ⟦베이즈 …