이차형식·행렬 부등식

한 방향의 값에서 모든 방향의 부등식으로

대칭행렬 A의 이차형식 q(v)=vᵀAv는 방향과 크기에 따라 달라집니다. α배 벡터에서는 q(αv)=α²q(v)이므로 방향만 비교하려면 단위 벡터를 쓰거나 길이 제곱으로 나눕니다.

이를 Rayleigh quotient라 합니다. 영벡터에서는 분모가 0이라 정의되지 않습니다. 실습은 v=(cosθ,sinθ)로 항상 단위 벡터를 써서 q 자체가 Rayleigh quotient와 같습니다.

극값과 고유값의 관계

A=QΛQᵀ,z=Qᵀv이면

가중치가 음이 아니고 합이 1이므로 고유값의 가중 평균입니다. 양 끝값은 해당 고유벡터 방향에서 얻습니다. 반복 고유값이면 극값 방향이 유일하지 않을 수 있습니다.

기준 A=[[2,1],[1,2]]에서 고유값은 1,3입니다. θ=0도에서는 q=2, θ=45도에서는 q=3입니다. 한 방향이 작다고 다른 모든 방향도 작다는 보장은 없습니다.

Loewner 순서의 정의

같은 크기의 실대칭 행렬에서

이는 행렬 원소를 각각 비교하는 순서가 아닙니다. 행렬 차이의 모든 방향 이차형식을 비교합니다. 예를 들어 B−A=[[1,−1],[−1,1]]은 음의 원소가 있지만 고유값 2,0으로 PSD입니다.

반대로 모든 원소가 양수인 [[1,2],[2,1]]은 부정부호여서 PSD가 아닙니다. 원소별 양수와 Loewner 양성을 연결하지 마세요. 이 순서는 모든 행렬쌍을 비교하지 못하는 부분순서입니다.

스칼라 행렬 상한을 정확히 판정하기

B=CI이면

기준 행렬에 C=3을 주면 3I−A=[[1,−1],[−1,1]]이 PSD여서 상한이 성립합니다. C=2를 주면 θ=0도 프로브는 q=2로 통과하지만 45도에서는 q=3>2입니다. 실습의 두 표식은 한 프로브와 보편 행렬 상한을 따로 표시합니다.

행렬 표식은 CI−A의 정확한 2×2 정수 PSD 조건을 사용합니다. 프로브 값은 삼각함수의 부동소수점 계산이라 10⁻¹²의 비교 허용오차가 있습니다. 이 작은 허용오차를 보편 정리의 가정으로 해석하지 마세요.

양변에 선형 변환을 적용하기

A⪯B이면 임의의 크기가 맞는 실행렬 M에 대해

입니다. wᵀMᵀ(B−A)Mw=(Mw)ᵀ(B−A)(Mw)≥0로 바로 증명합니다. M이 가역이면 역방향도 성립하지만 특이면 일부 방향을 지워 역방향이 실패할 수 있습니다.

PSD 행렬을 임의의 행렬과 단순히 한쪽에서 곱하는 것은 다른 연산입니다. 결과가 대칭조차 아닐 수 있어 같은 결론을 적용할 수 없습니다. 양쪽의 합동 변환과 한쪽 곱을 구분하세요.

최적화·안정성과 연결하기

볼록 이차 손실 f(x)=½xᵀHx−bᵀx에서 0≺mI⪯H⪯LI이면 곡률은 m과 L 사이입니다. 이는 강볼록성·매끄러움·경사하강의 보폭 분석에 연결됩니다. 일반 비선형 손실에서는 한 점이 아니라 해당 영역의 모든 Hessian을 제어해야 합니다.

그림은 전체 방향의 q와 후보 C를 보여 주며 선택한 θ는 숫자 표에 반영됩니다. 유한 각도 그림이 전체 방향의 증명은 아닙니다. 보편 상한은 대칭행렬의 분해나 PSD 조건으로 검증합니다.

확인 문제와 답

1. A=[[2,1],[1,2]]의 최소 유효 C는? 3입니다.
2. 2I−A의 고유값은? 1과 −1이므로 PSD가 아닙니다.
3. A⪯B이면 대각 원소 aᵢᵢ≤bᵢᵢ인가요? 예. 표준 기저 방향을 대입합니다. 역은 일반적으로 거짓입니다.

추가 읽기: MIT Linear Algebra. 본문의 대칭행렬 논증은 직접 유도했습니다.