본문으로 건너뛰기
SuanLab

회귀·잔차·식별성과 진단

잔차 직교성과 자유도를 확인하고 비식별 계수의 선택을 구분합니다.

110 / STATISTICS LAB
먼저 알아두면 좋아요 · 연결된 선수 절의 확률·기대값·회귀·미분·극한
선형방정식과 최소제곱 →벡터공간·기저·랭크·영공간 →
단원 목록 (600) · 회귀·잔차·식별성과 진단
이해하는 속도로 읽으세요.개념도이론실험확인 문제
BUILD YOUR INTUITION

먼저 그림으로 이해하기

한 번에 한 단계씩 살펴보세요.

잔차 직교성과 자유도를 확인하고 비식별 계수의 선택을 구분합니다.

OLS on three observations; mode 0: intercept + slope; graph uses observation index

023.15-0.167
가로: 관측 번호 · 파랑: 관측 y · 주황: OLS 적합값
ixyfittedresidualleverage
0-10-0.1670.1670.833
1011.333-0.3330.333
2132.8330.1670.833

coefficients (intercept,slope) = (1.333, 1.5)

고정 기준 예제의 그림과 수치입니다. 각 단계에서 같은 그림의 의미를 차례로 살펴보세요. 고정된 기준 예제이며 아래 실험의 설정과 독립적입니다.
1 / 4

적합

제곱잔차 합을 최소화합니다.

y≈β0+β1x

실험에서 확인하기 →
이 단원 목차

기하적 적합과 통계적 추론

최소제곱은 관측 벡터를 설계 행렬의 열공간으로 투영하는 계산입니다. 정규방정식은 잔차와 각 설계 열의 직교성을 나타냅니다. 이 계산 자체에 Gaussian 잡음 가정은 필요하지 않습니다. 그러나 계수의 신뢰구간이나 분산 추정량을 통계적으로 해석하려면 평균 0, 등분산, 독립성 같은 추가 가정을 검토해야 합니다.

y^=Xβ^,r=y−y^,X⊤r=0.\widehat y=X\widehat\beta,\qquad r=y-\widehat y,\quad X^\top r=0.

세 관측으로 손계산하기

기준 x=(−1,0,1), y=(0,1,3)입니다. 절편이 있으면 절편은 4/3, 기울기는 3/2입니다. 적합값은 (−1/6,4/3,17/6)이고 잔차는 (1/6,−1/3,1/6)입니다. 잔차 합은 0이며 x와의 내적도 0입니다. 그림의 가로축은 관측 번호이고 실제 x는 표에서 읽습니다. 같은 x가 여러 번 나오는 설계도 비교하기 위한 규약입니다.

SSE⁡=∑iri2=16,σ^2=SSE⁡n−rank⁡(X).\operatorname{SSE}=\sum_i r_i^2=\frac16,\qquad\widehat\sigma^2=\frac{\operatorname{SSE}}{n-\operatorname{rank}(X)}.

절편·자유도·레버리지

절편 없이 원점을 통과하도록 적합하면 기울기는 여전히 3/2이지만 잔차 합은 4입니다. 잔차 합 0은 모든 회귀의 성질이 아니라 상수 열을 포함한 설계의 성질입니다. 잔차 자유도는 열 개수를 단순히 빼는 것이 아니라 n−rank(X)입니다. 표의 레버리지는 투영 행렬의 대각이며 합은 rank(X)입니다. 큰 레버리지만으로 이상 관측이나 원인 효과를 판정할 수는 없습니다.

H=XX+,hii=Hii,tr⁡(H)=rank⁡(X).H=XX^+,\qquad h_{ii}=H_{ii},\qquad\operatorname{tr}(H)=\operatorname{rank}(X).

같은 적합값과 여러 계수

모든 x를 1로 만들면 절편 열과 기울기 열이 같습니다. 열공간은 한 차원이고 적합값은 y의 평균이지만 두 계수는 따로 식별되지 않습니다. 실습은 두 계수를 평균의 절반씩 두는 최소 노름 선택을 명시합니다. 이를 데이터가 유일하게 결정한 두 효과라고 읽으면 안 됩니다. 훈련 SSE가 작다는 사실만으로 새 데이터의 예측오차나 인과 효과를 보장하지도 않습니다.

xi=1  ⟹  β^0+β^1=yˉ,β^min⁡-norm=(yˉ/2,yˉ/2).x_i=1\implies\widehat\beta_0+\widehat\beta_1=\bar y,\qquad\widehat\beta_{\min\text{-norm}}=(\bar y/2,\bar y/2).

확인 문제와 해설

  1. 기준 잔차 자유도는? 3−2=1입니다.
  2. 동일 x 설계의 자유도는? 3−1=2입니다.
  3. 잔차를 원인 효과로 읽어도 되나요? 아니요. 설계와 모형 가정이 필요합니다.

추가 읽기: MIT 18.650, Statistics for Applications.

CHECK YOUR UNDERSTANDING

설명할 수 있나요?

실험 설정과 무관한 기준 예제를 묻습니다. 답을 고르고 설명을 확인해보세요.

1. OLS 잔차는 무엇에 직교하나요?
2. 잔차 자유도는?

선택한 답과 학습 표시는 이 브라우저에 저장됩니다. 다시 풀거나 표시를 해제할 수 있습니다.