확률적 방법(Probabilistic method)
무작위로 고른 대상이 원하는 성질을 가질 확률(probability)이 0보다 크면 그런 대상이 존재한다는 증명법. 에르되시가 램지 수(Ramsey number)의 하한(lower bound)을 이렇게 얻었다.
어떤 성질을 가진 대상이 있다는 것을 보이는 가장 직접적인 방법은 그것을 만들어 보이는 것입니다. 확률적 방법은 반대로 갑니다. 대상을 무작위로 골랐을 때 원하는 성질을 가질 확률이 0보다 크다는 것만 보입니다. 그러면 그런 대상이 적어도 하나 있어야 합니다. 어느 것인지는 몰라도 됩니다.
가장 많이 쓰는 도구는 평균입니다. 무작위로 정해지는 수, 곧 확률변수(random variable) X의 기댓값(expected value)이 E이면 X ≤ E인 경우와 X ≥ E인 경우가 반드시 둘 다 (0보다 큰 확률로) 있습니다. 모두가 평균(mean)보다 클 수는 없으니까요. 점
그러니 한 색 삼각형이
에르되시의 램지 하한. 1947년 에르되시는 같은 계산으로 램지 수의 아래쪽 한계를 얻었습니다.
입니다. 이것이 1보다 작으면 X = 0인 칠하기, 곧 한 색
더 넓게. 변이 m개인 그래프의 점을 무작위로 두 편으로 나누면 변마다 확률 1/2로 두 편 사이를 가로지르므로, 가로지르는 변이 m/2개 이상인 나눔이 반드시 있습니다.
섀넌은 무작위로 고른 부호들의 평균 오류율을 계산해, 잡음이 있는 통로에서도 보내는 속도(velocity)가 통로 용량(channel capacity)보다 낮기만 하면 오류를 얼마든지 줄이는 오류 정정 부호(error-correcting code)가 존재함을 보였습니다(통로 부호화 정리, noisy-channel coding theorem). 이 증명도 '어느 부호인지'는 알려 주지 않았고, 실제로 그에 가까운 부호를 만들기까지 수십 년이 걸렸습니다.
비트열 하나를 출력하는 가장 짧은 프로그램의 길이를 그 비트열의 콜모고로프 복잡도(Kolmogorov complexity)라 합니다. 길이 n인 비트열은
이어지는 곳. 존재 증명에 쓰던 무작위성을 계산에 쓰면 무작위 알고리즘(randomized algorithm)이 됩니다. 위에서 500번 칠해 평균을 낸 실험은 몬테카를로 방법(Monte Carlo method)이고, 칠한 횟수가 늘수록 그 평균이 기댓값에 모이는 것은 큰 수의 법칙(law of large numbers)입니다. 반 데르 바르던 수(van der Waerden number)의 아래쪽 한계도 같은 방법으로 얻습니다(반 데르 바르던 정리(van der Waerden's theorem)). 계산의 대부분은 이항계수를 어림하는 일이고, 여기에는 스털링 공식(Stirling's formula)이 쓰입니다.
이 개념이 나오는 긴 글
이 개념을 언급하는 페이지
- 확률
… 있고, 이것이 램지 수의 아래쪽 한계가 됩니다. 이렇게 예를 직접 만들지 않고 존재만 보이는 방법이확률적 방법입니다. 확률이 0이라고 해서 불가능한 것은 아닙니다. 0과 1 사이에서 실수 하나를 고르게 무작위로 고를 …
- 기댓값
… 평균 점수가 70점이면 70점 이상인 학생이 적어도 한 명 있는 것과 같은 이치입니다. 이 단순한 논법이확률적 방법의 기본 도구입니다. 값이 연속적이면(대기 시간처럼) 값 하나하나의 확률 대신 확률밀도 f(x) 를 …
- 대수적 수와 초월수
… 대상을 하나도 만들지 않고 '무작위로 고르면 거의 확실히 그렇다'로 존재를 보이는 이 방식은 조합론의확률적 방법과 같은 정신입니다. 그림에서 점이 빽빽해 보여도, 목록으로 늘어놓을 수 있는 집합은 길이를 차지하지 …
- 램지 이론
… 보인 결과입니다. k가 클 때 R(k,k) 의 아래쪽 한계를 얻는 가장 유명한 방법은 무작위로 칠해 보는확률적 방법입니다. 완전한 무질서는 없다. 램지 이론의 정리들은 모두 같은 모양입니다. 구조가 충분히 크면, 어떻게 …
- 반 데르 바르던 정리
… 커서, 실제 값과의 차이를 줄이는 것이 지금도 연구 주제입니다. 아래쪽 한계는 무작위로 칠해 보는확률적 방법으로 얻습니다. 램지 이론의 한 가족. 이 정리는 램지 이론에서 가장 오래된 결과 가운데 하나로, …
- 무작위 알고리즘
… 만드는 전략입니다. 무작위로 고른 대상이 원하는 성질을 가질 확률이 0보다 크면 그런 대상이 있다는확률적 방법은 같은 생각을 증명에 쓴 것입니다. 무작위성이 계산을 본질적으로 빠르게 하는지는 아직 열린 문제로, 많은 …
- 통로 부호화 정리
… 확률이 평균 이하인 부호가 적어도 하나는 있으니 좋은 부호가 존재합니다. 어떤 부호인지는 말해 주지 않는확률적 방법의 증명입니다. 1955년 미국의 정보 이론가 피터 일라이어스는 무작위로 고른 선형 부호로도 충분하다는 …