대칭·양의 준정부호 행렬

모든 방향의 부호를 검사하는 조건

실대칭 행렬 A가 양의 준정부호 PSD라는 것은 모든 벡터 v에 대해 vᵀAv≥0이라는 뜻입니다. 양의 정부호 PD는 모든 비영 v에서 엄격히 양수인 조건입니다. v=0에서는 항상 0이므로 그 점을 제외해야 합니다.

실대칭 조건을 빼면 이 단원의 고유값 판정을 그대로 적용할 수 없습니다. 일반 실행렬의 이차형식은 대칭 부분 (A+Aᵀ)/2에 의해 정해집니다. 복소 공간에서는 전치 대신 켤레전치를 쓰는 Hermitian 조건이 필요합니다.

고유기저에서의 증명

실대칭 행렬에는 직교 대각화 A=QΛQᵀ가 있습니다. z=Qᵀv로 놓으면

모든 λᵢ≥0이면 모든 방향의 이차형식이 음이 아닙니다. 반대로 어떤 λⱼ<0이면 그 고유벡터를 v로 선택하여 음수 반례를 얻습니다. 따라서 PSD는 모든 고유값 비음수와 동치이고 PD는 모두 양수와 동치입니다.

기준 A=[[2,1],[1,2]]의 고유값은 3,1입니다. 단위 방향의 이차형식은 1부터 3 사이이며 항상 양수입니다. A=[[1,1],[1,1]]은 고유값 2,0이고 (1,−1) 방향에서 0이므로 PSD지만 PD는 아닙니다.

2×2의 정확한 조건

A=[[a,b],[b,c]]에서는

a>0이면 완전제곱으로 q(x,y)=a(x+(b/a)y)²+(c−b²/a)y²라서 조건이 충분함을 알 수 있습니다. a=0이면 determinant 조건이 b=0을 강제하고 q=cy²≥0입니다. 필요성은 표준 기저 방향과 최소화되는 방향을 대입하거나 고유값을 사용해 얻습니다.

PD 조건은 a>0,ac−b²>0입니다. PSD에서는 대각 원소나 determinant 하나만 확인해서는 부족합니다. [[1,2],[2,1]]은 대각이 양수지만 determinant −3, 최소 고유값 −1로 부정부호입니다. −I는 determinant가 양수이지만 음의 정부호입니다.

그림은 방향별 값을 보여 준다

v=(cosθ,sinθ)인 단위 벡터를 움직이며 q=vᵀAv를 그립니다. 가로축은 각도이고 세로축은 q입니다. 타원이나 확률밀도 그림이 아닙니다. 0 기준선 아래로 내려가면 음수 방향의 증인입니다.

실습의 판정은 각도 표본에 의존하지 않고 위 정확한 정수 조건을 사용합니다. 유한하게 그린 점에서 양수라는 사실만으로 임의 행렬의 모든 방향을 증명할 수는 없습니다. 그림은 정리를 이해하는 보조 자료입니다.

Gram 행렬과 공분산

어떤 실행렬 X에 대해서도 G=XᵀX는 PSD입니다.

열들이 독립일 때만 모든 비영 v에서 Xv≠0이므로 PD입니다. 중심화 데이터의 표본 공분산도 적절한 양의 정규화 상수를 곱한 Gram 행렬이어서 PSD입니다. 표본 수가 작거나 특성이 중복되면 특이할 수 있습니다. 계산 반올림으로 작은 음의 고유값이 나온 경우와 수학적 공분산 정의의 PSD 성질은 구분해야 합니다.

AI 연결과 확인 문제

이차 손실의 Hessian이 PSD이면 볼록성과 연결되지만 일반 비선형 함수의 볼록성을 한 점의 Hessian만으로 판정하지는 않습니다. 정의역 전체와 미분 가능성 조건이 필요합니다. 커널 Gram 행렬의 PSD 조건도 뒤의 커널 단원에서 다시 사용합니다.

1. 영행렬은 PSD인가요, PD인가요? PSD이고 PD는 아닙니다.
2. [[1,1],[1,1]]의 영 방향은? **(1,−1)**입니다.
3. XᵀX가 PD일 조건은? X의 열들이 선형독립이어야 합니다.

추가 읽기: MIT Linear Algebra. 실습은 작은 2×2 정수 대칭행렬에 한정합니다.