선형방정식과 최소제곱

방정식을 모두 만족할 수 없다면

입력 x가 1,2,3일 때 관측 y가 1,2,2라고 합시다. 원점을 지나는 직선 y=ax로 설명하려면 a=1, a=1, a=2/3을 동시에 만족해야 합니다. 서로 모순이므로 정확한 해가 없습니다. 그렇다고 근사를 포기할 필요는 없습니다. 어떤 오차를 최소화할지 정하면 가장 가까운 예측을 찾을 수 있습니다.

여기서는 절편이 없는 하나의 기울기 a만 학습합니다. 데이터는 교육용 합성 예제이며 모든 수는 무차원입니다. 절편이나 가중치를 추가한 회귀와 같은 문제라고 혼동하지 마세요.

기호와 두 종류의 공간

기호	의미	기준값
xᵢ, yᵢ	i번째 입력과 응답	(1,1), (2,2), (3,2)
x	세 입력을 모은 벡터	(1,2,3)
y	세 응답을 모은 벡터	(1,2,2)
a	조절할 기울기 한 개	처음에는 0.5
ax	세 예측을 모은 벡터	(0.5,1,1.5)
r=y−ax	관측에서 예측을 뺀 잔차	(0.5,1,0.5)

관측 평면의 점 (xᵢ,yᵢ)은 입력과 응답을 한 쌍으로 그린 것입니다. 반면 응답 공간에서는 세 관측을 각각 축으로 삼아 y 전체를 점 하나로 표시합니다. 3D 장면의 축 obs₁, obs₂, obs₃가 뜻하는 공간이 후자입니다. 실제 공간 속 물체의 좌표가 아닙니다.

잔차의 합이 아니라 제곱합

잔차를 그냥 더하면 양수와 음수가 상쇄될 수 있습니다. 예를 들어 (1,−1)은 합이 0이지만 오차가 없는 예측이 아닙니다. 제곱합은 각 관측의 오차 크기를 합칩니다.

$$L(a)=\tfrac12\sum_{i=1}^{3}(y_i-ax_i)^2=\tfrac12\|\mathbf y-a\mathbf x\|^2.$$

앞의 1/2은 미분을 간단하게 하는 양의 상수이며 최소 위치를 바꾸지 않습니다. 손실을 합으로 할지 평균으로 할지는 수치 크기와 학습률에 영향을 주므로 구현에서 명시해야 합니다.

처음 기울기 0.5를 검산하기

입력 xᵢ	관측 yᵢ	예측 0.5xᵢ	잔차 yᵢ−0.5xᵢ	잔차 제곱
1	1	0.5	0.5	0.25
2	2	1	1	1
3	2	1.5	0.5	0.25

제곱합은 1.5, 손실은 0.75입니다. 실험의 관측 평면에서 점과 직선 사이 세로 선분을 읽으세요. 직선까지의 기하적 최단거리와 달리, 여기서는 입력 x를 고정한 세로 응답 오차를 제곱합니다.

기울기 하나의 해를 직접 구하기

손실을 전개하면

$$L(a)=\tfrac12\left(\mathbf y^T\mathbf y-2a\mathbf x^T\mathbf y+a^2\mathbf x^T\mathbf x\right).$$

이 예제에서 x·x=1+4+9=14, x·y=1+4+6=11, y·y=9입니다. 따라서

$$L(a)=\tfrac12(9-22a+14a^2).$$

a에 대한 미분은 14a−11이고, 이를 0으로 만드는 값은

$$a^*=\frac{\mathbf x^T\mathbf y}{\mathbf x^T\mathbf x}=\frac{11}{14}.$$

미분이 0이라는 것만으로 임의의 함수에서 최소를 보장하지는 않습니다. 여기서는 a²의 계수가 양수인 이차함수이므로 유일한 전역 최소입니다. 완전제곱으로도 L(a)=7(a−11/14)²+5/28임을 확인할 수 있습니다.

최적점에도 오차가 남는다

최소제곱 예측과 잔차는 다음과 같습니다.

$$a^*\mathbf x=(11/14,22/14,33/14)^T, \qquad \mathbf r=(3/14,6/14,-5/14)^T.$$

잔차 제곱합은 (9+36+25)/196=70/196=5/14입니다. 따라서 손실은 그 절반인 5/28≈0.178571입니다. 처음 손실 0.75보다 작지만 0은 아닙니다. 모순된 관측을 한 기울기로 모두 맞출 수 없기 때문입니다.

투영으로 같은 답을 얻기

모든 가능한 예측 a x는 응답 공간에서 x가 만드는 직선 위에 있습니다. 관측 y를 그 직선에 투영하면

$$\operatorname{proj}_{\mathbf x}\mathbf y =\frac{\mathbf x^T\mathbf y}{\mathbf x^T\mathbf x}\mathbf x=a^*\mathbf x.$$

최적점에서 x·r=3/14+12/14−15/14=0인지 확인하세요. 잔차가 x에 수직이라는 투영 조건과 손실의 미분이 0이라는 조건은 같은 사실을 두 방식으로 읽은 것입니다. 직교라고 잔차 자체가 영벡터라는 뜻은 아닙니다.

여러 계수로 확장하기

입력 특징이 여러 개라면 각 관측을 설계 행렬 A의 한 행으로 둡니다. 매개변수 벡터 w에 대한 예측은 Aw이고 최소제곱 문제는

$$\min_{\mathbf w}\tfrac12\|\mathbf y-A\mathbf w\|^2,\qquad A^T(A\mathbf w-\mathbf y)=0$$

으로 연결됩니다. 마지막 식이 정규방정식입니다. 잔차가 A의 각 열에 직교한다는 뜻입니다. 모든 열이 독립이면 계수 해가 유일합니다. 열이 종속이면 같은 예측을 만드는 계수가 여럿일 수 있습니다. 그래도 열공간으로의 직교투영인 최적 예측 자체는 유일합니다.

정규방정식을 썼다고 역행렬을 직접 계산하는 구현이 최선인 것은 아닙니다. 이후 QR·SVD와 수치 안정성에서 해의 존재, 유일성, 계산 오차를 구분합니다.

AI 회귀와 평가를 연결하기

신경망의 마지막 선형층이나 작은 회귀 모형도 특징을 조합해 응답을 예측합니다. 이번에는 특징 한 열만 사용했으므로 계산과 기하를 완전히 따라갈 수 있습니다. 절편을 넣으려면 A에 1로 채운 열을 추가해야 합니다. 그러면 지금의 기울기 11/14를 그대로 답으로 쓸 수 없습니다.

손실은 선택한 목적입니다. 이상치의 응답을 크게 바꾸면 제곱으로 벌점을 주므로 최적 계수도 영향을 받습니다. 실험의 ‘큰 관측값’ 예제는 이를 계산으로 비교하기 위한 것이며, 특정 데이터에서 어떤 손실이 더 좋다는 성능 주장이 아닙니다.

세 훈련점을 정확히 맞추어도 새 관측에서 잘 맞는다고 보장되지 않습니다. 모델 가정, 데이터 분할, 단위·전처리와 평가 지표가 별도로 필요합니다.

도전과 연구 점검

1. 응답을 (1,2,3)으로 바꾸면 a*=1이고 손실은 0입니다. 원래 예제와 왜 다른가요?
2. (1,2,5)에서 최적 기울기를 손으로 계산하세요. 분자는 20, 분모는 14입니다.
3. 관측 평면의 세로 잔차와 응답 공간의 직교 잔차가 어떻게 같은 숫자들을 표현하나요?
4. 연구 구현에서 절편·가중치·손실의 합/평균이 같은지 확인할 수 있나요?

참고 학습 자료: MIT — Projection Matrices and Least Squares.