Gaussian Process의 조건부 함수 분포

함수 하나 대신 함수값들의 일관된 확률 모형

Gaussian process(GP)는 임의의 유한 입력 집합에서 함수값 벡터가 다변량 Gaussian이 되는 확률 과정입니다. 평균 함수 m과 공분산 kernel k가 필요하며 모든 유한 Gram 행렬이 PSD여야 합니다. 여기서는 평균 0, amplitude 1의 RBF 사전과 독립 Gaussian 관측 잡음을 사용합니다.

슬라이더의 σ²는 분산입니다. 표준편차를 대각에 그대로 넣으면 다른 모형이 됩니다. 세 관측만으로 모든 함수를 동일하게 가능하다고 보는 것이 아니라 kernel 사전의 구조로 관측 사이를 연결합니다.

Gaussian 조건화로 평균과 분산 얻기

질의 x에서 k=k(X,x*), k**=k(x*,x*)라고 합시다. 공동 Gaussian의 조건부 분포에서 다음을 얻습니다.

단위 amplitude와 앞 단원의 합 손실 관례에서는 GP 평균이 λ=σ²인 kernel ridge와 같습니다. 그러나 GP는 함수 분산도 제공하고, 모형 선택·prior 해석은 단순한 점 추정과 다릅니다.

잠재 함수와 새 관측을 분리하기

v는 잡음 없는 잠재 함수의 불확실성입니다. 독립 잡음을 더해 새 y를 관측한다면 분산은 v*+σ²입니다. σ²=.1이면 표의 두 분산 차이는 항상 .1입니다. σ²=0이고 질의가 관측 위치이면 잠재 분산은 0입니다. 관측 밖으로 이동하면 보통 kernel 사전의 분산 쪽으로 돌아가지만 유한 구간에서 반드시 단조로 증가한다는 보장은 아닙니다.

코드는 조건화를 선형 해법으로 계산합니다. 부동소수점 반올림 크기의 음수 분산만 0으로 보정하며, 의미 있는 음수가 나오면 실패로 취급합니다. 이 보정을 별도의 관측 잡음으로 해석하지 않습니다.

그림의 구간이 보장하는 범위

파랑은 posterior 평균, 주황은 평균 ±2√v*입니다. 올바른 Gaussian 모형 아래 고정한 한 질의의 조건부 확률 질량은 약 95.45%입니다. 모든 x에서 동시에 함수를 덮는 95% band가 아니며 모형이 틀리거나 분포가 바뀌었을 때의 보장도 아닙니다.

관측 y를 바꿔도 kernel과 잡음 분산을 고정하면 posterior 분산은 변하지 않습니다. 실제 이분산 자료나 학습한 kernel hyperparameter의 불확실성을 다루려면 현재 모형을 확장해야 합니다.

확인 문제와 해설

1. 평균이 kernel ridge와 같으면 모든 예측 정보도 같나요? 아니요. GP의 조건부 분산과 모형 가정이 추가됩니다.
2. 잡음 분산 .1을 표준편차 .1로 읽으면? 실제 의도한 분산 .01과 .1을 혼동합니다. 단위를 확인하세요.
3. 평균을 바꾸면 분산도 항상 바뀌나요? 현재 kernel과 σ²를 고정한 조건화에서는 아닙니다. 분산 식은 y를 포함하지 않습니다.

추가 읽기: Rasmussen and Williams, Regression.