정규화와 편향·안정성

잘 맞춰도 불안정할 수 있다

약하게 관측한 방향에서 작은 관측을 설명하려면 큰 계수가 필요할 수 있습니다. 잡음을 조금 바꿔도 복원 계수가 크게 바뀝니다. 정규화는 해에 대한 선호를 추가합니다. 역변환을 안정화할 수 있지만 편향을 만들고 누락된 관측을 새로 만들지는 못합니다.

$X=\operatorname{diag}(3,s)$, $y=(3,y_2)^T$를 씁니다. 첫 방향은 강하게, 둘째는 $s$만큼 약하게 봅니다. 실험에서 약한 축, 응답, 음이 아닌 ridge 벌점을 조절합니다.

목적함수와 단위

첫 항은 적합도, 둘째는 선택한 좌표에서 작은 계수에 대한 선호입니다. 특징의 단위를 바꾸면 선호도 바뀝니다. 물리 단위가 있으면 벌점 계수도 맞는 단위를 갖거나 무차원화해야 합니다.

해 유도

$\nabla J=X^T(Xw-y)+\lambda w$입니다. $\lambda>0$이면 $X$가 랭크 부족이어도 곡률 행렬이 양의 정부호여서 최소점은 유일합니다.

$s=0.1,y_2=1$의 벌점 없는 해는 $w_2=10$입니다. $\lambda=0.1$이면 $10/11\approx0.909091$, 첫 계수는 $90/91\approx0.989011$입니다. 약한 축의 증폭을 줄이는 대신 둘째 관측의 잔차가 커집니다.

표의 조건수 $(9+\lambda)/(s^2+\lambda)$는 조작 범위에서의 벌점화한 정규 행렬 조건수입니다. 원래 관측 행렬 자체의 조건수와 구분하세요.

특이 방향의 필터

특잇값 $\sigma$ 방향의 역배율은 $1/\sigma$ 대신 $\sigma/(\sigma^2+\lambda)$입니다. 벌점 없는 추정 대비 비율은 $\sigma^2/(\sigma^2+\lambda)$여서 작은 특이 방향을 더 강하게 억제합니다.

SVD와 정규화를 연결하는 구체적 식입니다. 억제한 방향이 과제에 무관하다고 증명하는 것은 아닙니다. 실제 신호가 약한 관측 방향에 있으면 잡음과 함께 중요한 신호도 줄일 수 있습니다.

랭크 부족과 해의 선택

$s=\lambda=0$이면 둘째 관측은 $w_2$를 결정하지 못합니다. 어떤 값도 같은 적합도를 줍니다. 실험은 최소 노름 선택으로 0을 표시하고 경고합니다. 데이터가 0을 입증한 것이 아닙니다.

양의 벌점이 그 방향의 0을 유일하게 선택해도 빠진 정보가 생기지는 않습니다. 목적함수의 유일성과 물리적 식별 가능성은 구분해야 합니다.

그림과 비용 읽기

곡선은 현재 $s,y_2$에 대해 여러 벌점 강도의 두 해를 보여줍니다. 표는 선택한 벌점에서 잔차 비용과 벌점 비용을 분리합니다. 벌점을 늘리면 최적화가 안정되어도 벌점 없는 적합도는 나빠질 수 있습니다. 서로 다른 벌점의 결합 목적값만 비교해 예측 성능을 판단하면 안 됩니다.

선택 절차와 연구 설계

벌점은 선언한 검증 절차로 선택하고 최종 시험 집합은 재사용하지 마세요. 예측 오차·계수 민감도·비용을 비교하고 특징 스케일과 절편 벌점 여부를 기록합니다. 이 예제에는 절편이 없습니다. Gaussian 가능도와 사전을 명시하면 Bayesian 해석이 가능하지만 ridge를 썼다는 사실만으로 그 가정이 입증되지는 않습니다.

알려진 관측 잡음을 가하고 ridge 유무에 따른 매개변수 변화와 합성 참값 오차를 비교하세요. 그다음 실제 보류 관측에도 도움이 되는지 따로 평가합니다. 수치 조건수·추정량 분산·일반화는 관련되지만 정의가 다릅니다.

연습과 근거

1. $s=0.1,y_2=1,\lambda=0.01$에서 $w_2$는? 답: 5입니다.
2. $\lambda\to\infty$이면 두 계수가 0으로 가는지 보이세요.
3. 유일한 벌점 최소점이 왜 참 매개변수 식별을 뜻하지 않나요?
4. 둘째 특징의 단위를 바꾸고 동등한 벌점을 어떻게 바꿀지 쓰세요.

배경은 저자들의 Introduction to Statistical Learning 자료를 참고하세요. 대각 예제는 직접 유도한 것이며 그 책의 경험 결과 재현이 아닙니다.