최소제곱 회귀(Least-squares regression)

이 개념 위에 세워진 것

이 개념을 언급하는 페이지

• 기울기

  … θ를 이루는 직선의 기울기가 tan θ입니다. 흩어진 데이터 점들에 가장 잘 맞는 직선을 찾는 문제가최소제곱 회귀입니다. 여기서 "가장 잘 맞는다"는 점들과의 세로 거리를 제곱해 모두 더한 값이 가장 작다는 뜻이고, …

• 평균변화율

  … 찾습니다. 흔히 쓰는 기준은 점들과의 세로 오차를 제곱해 더한 값이 가장 작은 직선이고, 그 직선이회귀선입니다.

• 최적화

  … V' 의 0점을 뉴턴 방법이나 이분법으로 찾으면 됩니다. 최적화는 수학 곳곳에 숨어 있습니다.최소제곱 회귀는 오차 제곱의 합이 가장 작은 직선을 찾습니다. 주성분 분석은 데이터 점들을 평균을 지나는 한 직선 …

• 내적

  … 직선이나 평면 위에서 가장 가까운 점을 찾는 정사영과, 데이터에 가장 잘 맞는 직선을 찾는최소제곱법도 내적으로 계산합니다. 입력 x_1, x_2 에 가중치 w_1, w_2 를 곱해 더한 값 w_1x_1 + …

• 정사영

  … 행렬의 열공간입니다. 관측값 벡터를 이 평면에 정사영한 점이 오차 제곱의 합이 가장 작은 예측, 곧최소제곱 해입니다. 같은 생각이 다른 곳에도 나옵니다. 푸리에 계수는 함수를 서로 수직인 사인파들 각각의 방향으로 …

• 연립일차방정식과 역행렬

  … 많으면 보통 모든 식을 만족하는 해가 없습니다. 이때 오차 제곱의 합이 가장 작은 답을 고르는 것이최소제곱 회귀입니다. 그 답은 오차 벡터가 A의 모든 열과 수직이라는 조건 A^{\mathsf T}A\,\vec x = …

• 분산과 표준편차

  … n배가 되고, 표준편차는 그 제곱근이기 때문입니다(무작위 행보). 분산은 정규분포의 폭을 정합니다.회귀가 줄이려는 오차 제곱합도, 주성분 분석이 최대로 만드는 퍼짐도 모두 같은 제곱의 평균으로 잽니다. …

• 정규분포

  … 어림하다가 처음 찾았습니다. 1809년 가우스는 천체 관측값의 오차가 이 분포를 따른다고 보고최소제곱법을 정당화했고, 그래서 '가우스 분포'라는 이름이 붙었습니다. 곧이어 1810년 라플라스가 작은 …

• 주성분 분석

  … 일정하니(피타고라스 정리), 한쪽을 최대로 하는 것이 다른 쪽을 최소로 하는 것입니다. 세로 거리를 줄이는최소제곱 회귀직선과는 다릅니다. 회귀 직선의 기울기는 크기가 늘 주성분 직선의 기울기보다 작거나 같아서 더 누워 있고, …

• 중앙값

  … 평균을 중앙값이라 부릅니다. 이 차이는 직선 맞추기로 그대로 이어집니다. 세로 오차의 제곱 합을 줄이는최소제곱 회귀는 정사영 한 번으로 풀리지만 이상값 하나에 크게 끌려가고, 절댓값 합을 줄이는 직선은 강건한 대신 …

• 가우스 소거법

  … 한 줄로 두어 줄끼리 빼 나갔습니다(둘째 보기가 그 첫 문제입니다). 이어지는 곳. 관측이 미지수보다 많은최소제곱 회귀에서는 식을 모두 만족하는 해가 대개 없으니, 오차의 제곱합이 가장 작은 해를 찾는 정규방정식 …

• 열공간

  … 줄어듭니다. 이어지는 곳. 관측값을 벡터 b로, 모형이 만들 수 있는 예측 전체를 열공간으로 보면최소제곱 회귀가 바로 이 그림입니다. 관측이 12개면 b는 12차원 벡터일 뿐 계산은 같습니다. 서로 수직인 사인파들을 …

• 상관관계

  … 그래서 '피어슨 상관계수'라고도 부르며, 근대 통계학의 첫 도구 가운데 하나가 되었습니다. 상관계수는회귀 직선의 기울기가 아닙니다. y의 단위를 바꿔 세로로 배 늘여 보세요. 지금 r은 그대로인데, 회귀 직선 의 …

• 평균으로의 회귀

  … 고른 학생들에 대해 이 식이 예측하는 다른 시험의 평균은 점입니다. 그림의 청록 직선 이 바로 이 식, 곧회귀 직선이고, 기울기가 ρ < 1이라 대각선보다 완만합니다. ρ = 1이면(운이 없으면) 전혀 돌아오지 …

• 심슨의 역설

  … 이런 뒤집힘이 체계적으로 생기지 않습니다. 같은 일이 연속적인 자료에서도 일어납니다. 집단마다 따로 그린회귀 직선은 모두 기울기가 양수인데, 집단들을 합치면 음수가 될 수 있습니다. 상관관계의 부호가 뒤집히는 …

• 교란 변수

  … Z가 X와 Y의 공통 원인을 모두 담고 있을 때(뒷문 경로를 모두 막을 때) 맞습니다. 관계가 직선적이라면회귀에 Z를 함께 넣는 것도 같은 일입니다. X와 Y에서 Z로 설명되는 부분을 정사영으로 떼어 내고, 남은 …

• 마할라노비스 거리

  … 마할라노비스 거리). 그래서 밀도가 같은 곳을 이은 등고선이 곧 마할라노비스 거리의 등고선입니다.회귀에서 한 점이 직선을 얼마나 세게 끌어당기는지(지렛대 값)도 그 점의 x가 x들의 평균에서 가진 …

• 거리 함수

  … + |BC|^2 보다 커지니 제곱 거리의 삼각부등식이 깨지고, 직각이면 등호가 됩니다. 그래도 최소제곱법(선형 회귀)과 k-평균 군집은 일부러 이 제곱 거리를 줄입니다. 제곱은 매끄러워서 미분하기 쉽고, 내적과 …

• 유클리드 거리

  … 1이니, 분산은 (1 + 0 + 1)/3 = 2/3입니다. 점들 사이를 지나는 직선을 찾는 최소제곱법의선형 회귀와, 점들을 몇 무리로 나누는 k-평균 군집도 제곱 거리의 합이 가장 작아지도록 답을 고릅니다. 종 …

• 맨해튼 거리

  … 38/3 ≈ 12.67입니다. 제곱 거리의 합을 줄이면 중앙값 대신 평균이 나오고, 그것이 최소제곱법의선형 회귀입니다. 절댓값의 합을 줄이는 회귀는 멀리 튄 값에 덜 휘둘립니다. 대신 절댓값 그래프는 0에서 뾰족하게 …

• Lp 노름

  … = \mathbf x\cdot\mathbf x ). 그래서 각도, 직교, 정사영, 최소제곱의선형 회귀, 주성분 분석은 모두 L2의 세계에 삽니다. p = 1의 마름모는 꼭짓점이 축 위에 뾰족하게 나와 …

• 지프의 법칙

  … 띄어쓰기가 있고, 띄어쓰기를 칠 확률은 0.2입니다. 원숭이 다시 치기 한 번만 나온 낱말을 빼고 점들에최소제곱직선을 맞춘 기울기는 영어 , 한국어 , 원숭이 입니다. 가로는 순위, 세로는 빈도이고 두 축 모두 로그 …

• 퍼셉트론

  … 그의 학생 테드 호프는 틀렸는지 여부 대신 오차의 제곱을 줄이는 아달라인(1960)을 내놓았는데, 이것은최소제곱 회귀를 점 하나씩 푸는 셈입니다. 예를 모두 기억해 두는 최근접 이웃 분류와 달리, 퍼셉트론은 수 세 …

• 경사 하강법

  … 방법 자체는 1847년 코시가 연립방정식을 풀려고 제안한 것으로 흔히 꼽힙니다. 이어지는 곳.최소제곱 회귀의 오차 제곱합은 그릇 모양이라 공식으로 바로 풀 수 있지만, 자료가 아주 크면 경사 하강법으로 풀기도 …

• 과적합

  흰 점 12개는 곡선 y = \sin 3x (흐린 점선)에 잡음을 섞어 뽑은 학습 데이터입니다. 이 점들에최소제곱으로 d = 차 다항식을 맞춥니다(노란 곡선). 청록 작은 점 30개는 같은 방법으로 따로 뽑아 두고 …

• 다항식

  … 되찾습니다(오류 정정 부호). 점을 모두 지나는 대신 점들에 가장 가깝게 지나는 다항식을 찾으면최소제곱 회귀가 됩니다. 여기서도 차수를 너무 높이면 룽게의 그림처럼 곡선이 점 사이에서 크게 출렁이는 과적합이 …

• 근사 이론

  … 다항식이나 신경망이 필요한지는 따로 따져야 합니다. 이어지는 곳. 최대 오차 대신 오차의 제곱합을 줄이면최소제곱과 정사영의 문제가 되고, 그 연속판이 푸리에 급수입니다. 어느 잣대로 재느냐에 따라 '가장 좋은' …

• 통계학

  … 가우스(1809)는 관측값과의 어긋남을 제곱해 모두 더한 값이 가장 작아지도록 답을 고르는최소제곱법을 내놓았습니다. 라플라스는 작은 오차가 많이 더해지면 종 모양 곡선이 된다는 것을 보여 이 방법을 …

• 최대가능도법

  … + \text{const} 입니다. 이것을 가장 크게 하는 것은 오차 제곱의 합을 가장 작게 하는 것, 곧최소제곱법과 똑같습니다. 가우스는 1809년 이 관계를 거꾸로 이용했습니다. 여러 관측의 평균이 가장 그럴듯한 …

• 기계 학습

  … 학습 이라 합니다. 답이 스팸/정상처럼 몇 가지 가운데 하나면 분류, 집값처럼 수이면 회귀라 부릅니다.최소제곱 회귀, 로지스틱 회귀, 퍼셉트론, 결정 트리, 서포트 벡터 머신, 최근접 이웃 분류, …

• 로지스틱 회귀

  … 14개 가운데 위쪽 줄의 노란 점이 합격, 아래쪽 줄의 파란 점이 불합격입니다. 점들 사이로 직선을 긋는최소제곱 회귀를 그대로 쓰면 예측값이 0보다 작거나 1보다 커질 수 있어서 확률로 읽을 수 없습니다. 로지스틱 회귀는 …

• 편향–분산 분해

  … 재고(흐린 점선이 참 함수 f, 잡음 ε의 표준편차는 σ = 0.3), 그 15개 점에 d = 차 다항식을최소제곱으로 맞춥니다. 흐린 보라 곡선 30개가 그렇게 되풀이한 결과이고, 흰 점은 그 가운데 한 번의 …

• 정규화: 릿지와 라소

  설명 변수(특성)가 자료에 비해 많거나 서로 강하게 얽혀 있으면최소제곱 회귀의 계수는 자료의 잡음까지 따라가느라 크게 흔들립니다(과적합). 정규화는 손실에 계수의 크기에 대한 …

• 특잇값 분해

  … 제곱합 |A\vec x - \vec b|^2 을 가장 작게 하는 x 가운데 길이가 가장 짧은 것입니다(최소제곱법, 정사영). 경사 하강법이 길쭉한 골짜기에서 느린 까닭도 같은 종류의 수, 곧 이계도함수를 모은 …

• 볼록 함수와 볼록 최적화

  … 문제를 볼록 최적화 문제라 합니다. 선형 계획법(일차식 목표, 일차 부등식으로 잘라 낸 볼록 다면체),최소제곱법, 로지스틱 회귀의 손실, 계수의 절댓값 합에 벌점을 매기는 라소 같은 정규화, ⟦서포트 벡터 …

• 확률적 경사 하강법과 Adam

  … 틀리지만 평균으로는 옳은 쪽입니다. 아래는 점 200개에 직선 \hat y = ax + b 를 맞추는최소제곱 회귀의 손실을 (a, b) 평면의 등고선으로 그린 것입니다. 흰 점 θ를 끌고, 미니배치 크기 B = 를 바꿔 …

• 인공지능

  … 있습니다. 이 위키의 AI 페이지들. 표에서 배우는 고전적인 방법. 점들에 가장 잘 맞는 직선을 찾는최소제곱 회귀, 예/아니요의 확률을 내는 로지스틱 회귀, 가장 가까운 예를 따르는 최근접 이웃 분류, 비슷한 …

• 규모의 법칙

  … 1만분의 1 이하인 모델들로 최종 손실을 미리 맞혔다고 적었습니다. 직선 하나를 맞출 때는 로그를 취한 뒤최소제곱 회귀를 하면 되지만, E가 있는 식은 로그를 취해도 직선이 되지 않습니다. 그래서 상수를 조금씩 바꿔 가며 …

• 역문제와 잘 놓인 문제

  … 셋 모두 어길 수 있습니다. 측정이 미지수보다 많고 잡음이 섞이면 대개 모든 식을 만족하는 해가 없어서,최소제곱으로 어긋남이 가장 작은 답을 고릅니다. 측정이 미지수보다 적으면 해가 있더라도 무한히 많아서, 그중 …

이 페이지가 가리키는 개념