내적과 직교투영

같은 방향을 얼마나 담고 있을까

벡터를 더하는 법을 알았다면 이제 두 벡터를 비교해 봅시다. (3,2,0)에는 x 방향으로 얼마만큼의 성분이 있을까요? 기울어진 방향을 기준으로 삼아도 같은 질문을 할 수 있습니다. 내적은 비교를 숫자로, 투영은 남는 성분을 벡터로 표현합니다.

이 단원에서는 내적·각도·투영을 구분하고, 잔차가 왜 기준 방향에 수직인지 손으로 검산합니다. 모든 좌표는 무차원인 유클리드 직교 좌표입니다. 실제 특징에 적용할 때는 단위와 스케일을 따로 검토해야 합니다.

기호와 선수 개념

기호	뜻	기준 예제
u	나누어 볼 벡터	(3,2,0)
v	투영할 기준 방향을 정하는 벡터	(2,0,0)
u·v	같은 성분을 곱해 더한 내적	6
α	v에 곱할 계수	1.5
p	v가 만드는 직선 위의 투영	(3,0,0)
r=u−p	투영 뒤 남는 잔차	(0,2,0)

점 p는 위치로 그릴 수 있지만 이 계산에서는 원점에서 그 점으로 향하는 벡터로 읽습니다. v와 p는 같은 직선 위에 있어도 길이가 같을 필요가 없습니다.

내적을 성분으로 계산하기

내적은 다음과 같이 정의합니다.

$$\mathbf u\cdot\mathbf v=u_1v_1+u_2v_2+u_3v_3.$$

기준 예제에서는 3×2 + 2×0 + 0×0=6입니다. 벡터 둘을 입력받아 스칼라 하나를 반환합니다. 앞 단원의 벡터 합은 벡터를 반환하므로 두 연산의 출력 종류부터 다릅니다.

같은 방향의 성분은 양수로, 반대 방향의 성분은 음수로 기여합니다. 내적이 음수라는 것은 계산 오류가 아니라 두 벡터 사이 각도가 둔각임을 뜻할 수 있습니다. 단, 두 벡터가 모두 0이 아니어야 각도를 정의할 수 있습니다.

길이와 각도를 분리하기

성분으로 정의한 내적은 기하적으로 다음과 연결됩니다.

$$\mathbf u\cdot\mathbf v=\|\mathbf u\|\|\mathbf v\|\cos\theta.$$

따라서 두 벡터가 영벡터가 아닐 때

$$\cos\theta=\frac{\mathbf u\cdot\mathbf v}{\|\mathbf u\|\|\mathbf v\|}.$$

기준 예제의 길이는 √13과 2입니다. 코사인은 6/(2√13)=3/√13≈0.832, 각도는 약 33.69°입니다. 내적 6과 코사인 0.832는 서로 다른 수입니다. 코사인은 길이의 영향을 나누어 제거한 값이고, 범위는 −1부터 1까지입니다.

비교	내적 또는 코사인 해석
같은 방향	코사인 1
직교하는 두 비영벡터	내적 0, 코사인 0, 각도 90°
반대 방향	코사인 −1
영벡터 포함	내적은 계산되지만 각도는 정의되지 않음

투영은 기준 방향의 배율을 찾는 일

v가 만드는 직선의 점은 αv로 나타낼 수 있습니다. u와 가장 가까운 점 p=αv를 찾고 싶습니다. 가까운 점에서 남은 잔차는 기준 방향과 직교해야 합니다.

$$\mathbf v\cdot(\mathbf u-\alpha\mathbf v)=0.$$

내적을 전개하고 α를 풀면

$$\alpha=\frac{\mathbf u\cdot\mathbf v}{\mathbf v\cdot\mathbf v},\qquad \mathbf p=\operatorname{proj}_{\mathbf v}\mathbf u=\alpha\mathbf v.$$

기준 예제에서 α=6/4=1.5이므로 p=1.5(2,0,0)=(3,0,0)입니다. 계수 1.5, 투영 벡터 (3,0,0), 투영의 길이 3을 구분하세요.

v가 단위 벡터라면 분모가 1이 되어 계산이 간단해집니다. 일반 벡터에 이 생략을 그대로 적용하면 틀립니다. v를 2배로 바꾸어도 같은 직선에 투영하므로 p는 그대로이며, 대신 계수가 절반이 됩니다.

왜 직각인 점이 가장 가까울까

임의의 실수 t에 대해 u에서 tv까지의 거리 제곱은

$$\|\mathbf u-t\mathbf v\|^2=\|\mathbf u\|^2-2t(\mathbf u\cdot\mathbf v)+t^2\|\mathbf v\|^2.$$

위에서 구한 α를 사용해 완전제곱을 만들면

$$\|\mathbf u-t\mathbf v\|^2 =\|\mathbf v\|^2(t-\alpha)^2+\|\mathbf u-\alpha\mathbf v\|^2.$$

v가 0이 아니면 첫 항은 0 이상이며 t=α일 때만 0입니다. 따라서 p가 유일하게 가장 가까운 점입니다. 미분을 사용하지 않아도 최적임을 확인할 수 있습니다.

그림으로는 수직 잔차에 추가적인 직선 방향 이동을 더하면 직각삼각형의 빗변이 더 길어진다는 뜻입니다. 이 원리가 다음 단원의 최소제곱으로 이어집니다.

잔차를 직접 검산하기

기준 예제의 잔차는 (3,2,0)−(3,0,0)=(0,2,0)입니다.

$$\mathbf v\cdot\mathbf r=(2,0,0)\cdot(0,2,0)=0.$$

또한 ‖u‖²=13, ‖p‖²=9, ‖r‖²=4이므로 피타고라스 관계 13=9+4가 맞습니다. 직교 분해일 때 성립하는 제곱 길이 관계이지, 일반적인 벡터 덧셈에서 길이를 그대로 더하는 규칙이 아닙니다.

실험에서 u의 z를 바꾸어도 같은 공식으로 투영할 수 있습니다. 3D 그림에서는 두 벡터와 수직 잔차를 회전해서 확인하고, 위 개념도는 고정된 z=0 예제로 읽으세요.

영벡터와 음의 투영

기준 v=0에는 방향이 없고 분모 v·v도 0입니다. 이번 방향 벡터로 투영을 지정하는 공식은 이 경우 정의되지 않습니다. 별도로 부분공간 {0}에 대한 투영을 0으로 정의할 수는 있지만, 그것이 영벡터의 방향이나 각도를 정해 주지는 않습니다. 실험은 이 경계를 명시적으로 표시합니다.

반면 u=0이고 v≠0이면 투영은 0으로 계산할 수 있습니다. 그래도 두 벡터 사이 각도는 정의되지 않습니다.

u=(-3,0,0), v=(2,0,0)이면 내적 −6, 계수 −1.5, 투영은 (-3,0,0)입니다. 음의 계수는 v의 반대 방향을 사용한다는 뜻입니다. 투영이 항상 v가 가리키는 반직선 위에 있는 것은 아닙니다.

AI 예제: 유사도와 성분 제거

두 표현 u=(1,1), v=(1,−1)의 내적은 0입니다. 같은 좌표계와 유클리드 내적에서 직교합니다. 그런데 둘째 특징을 10배 하여 두 표현을 (1,10), (1,−10)으로 바꾸면 내적은 −99, 코사인은 −99/101입니다. 같은 데이터 의미라도 스케일을 바꾼 비교는 다른 기하를 만듭니다.

코사인 유사도는 −1도 가능하므로 그 자체가 확률이 아닙니다. 높은 유사도가 어떤 과제의 정확도를 보장하지도 않습니다. 무엇을 특징으로 삼고, 같은 축이 같은 의미인지, 어떤 정규화를 했는지 기록해야 합니다.

특정 방향의 성분을 제거하려면 u−projᵥu를 계산할 수 있습니다. 이 잔차는 그 방향과 직교하지만, 제거한 방향이 사회적 속성이나 인과적 요인을 완전히 표현한다고 보장되지는 않습니다. 기하적 제거와 과제의 의미적 보장은 구분합니다.

여러 방향으로 확장하기

서로 직교하고 길이가 1인 기저 q₁,…,qₖ가 있으면 각 방향의 투영을 더할 수 있습니다.

$$\mathbf p=\sum_{j=1}^{k}(\mathbf q_j^T\mathbf u)\mathbf q_j.$$

기저들이 서로 직교하지 않으면 이 합을 그대로 쓰면 안 됩니다. 여러 계수를 함께 풀어야 하며, 그 문제가 최소제곱과 연결됩니다. 이후 직교화와 QR 분해에서 더 일반적인 계산법을 배웁니다.

도전과 연구 점검

u=(3,2,0)을 유지하고 v=(1,1,0)으로 바꾸세요. 계산하면 α=5/2, p=(2.5,2.5,0), r=(0.5,−0.5,0)입니다. v·r=0과 길이 제곱의 합을 확인해 보세요.

1. v를 3배 했을 때 무엇이 바뀌고 무엇이 그대로인가요?
2. u=0과 v=0은 각도와 투영에서 왜 다르게 취급되나요?
3. 코사인 유사도를 비교한 연구에서 특징의 스케일과 정규화를 재현할 수 있나요?

참고 학습 자료: MIT — Projections and Least Squares.