본문으로 건너뛰기
SuanLab

Laplace 근사와 곡률

Beta 사후의 모드·곡률을 이용한 Gaussian 근사를 정확한 밀도와 비교합니다.

122 / BAYES LAB
먼저 알아두면 좋아요 · 연결된 선수 절의 조건부확률·기대값·적분·미분·추정
우도·MLE·MAP와 사후평균 →Taylor 전개와 나머지 →
단원 목록 (600) · Laplace 근사와 곡률
이해하는 속도로 읽으세요.개념도이론실험확인 문제
BUILD YOUR INTUITION

먼저 그림으로 이해하기

한 번에 한 단계씩 살펴보세요.

Beta 사후의 모드·곡률을 이용한 Gaussian 근사를 정확한 밀도와 비교합니다.

n=8, k=4; posterior Beta(6,6); expand log density in θ itself at its interior mode. Gaussian is UNTRUNCATED; mode and approximation depend on parameterization.

-0.41.42.8420
가로: 모수 θ · 세로: 밀도 · 파랑: 정확한 Beta · 주황: 절단하지 않은 Gaussian
quantityexact BetaLaplace Gaussian
mean0.50.5
variance0.0190.025
outside support00.002

posterior mode = 0.5

고정 기준 예제의 그림과 수치입니다. 각 단계에서 같은 그림의 의미를 차례로 살펴보세요. 고정된 기준 예제이며 아래 실험의 설정과 독립적입니다.
1 / 4

모드

내부에서 기울기가 0입니다.

θ*=argmax log p(θ|x)

실험에서 확인하기 →
이 단원 목차

가장 높은 점의 주변을 Gaussian으로 보기

사후 전체를 계산하기 어렵더라도 모드와 그 주변의 곡률을 계산할 수 있는 경우가 있습니다. 로그 사후를 모드에서 이차 전개하면 Gaussian 형태가 나오며, 이것이 Laplace 근사의 핵심입니다. 실습은 정확한 Beta 사후를 알고 있는 예제로 근사의 오차를 직접 비교합니다.

log⁡p(θ∣x)≈log⁡p(θ∗∣x)−12H(θ−θ∗)2,q(θ)=N(θ∗,H−1).\log p(\theta\mid x)\approx\log p(\theta_*\mid x)-\tfrac12H(\theta-\theta_*)^2, \qquad q(\theta)=N(\theta_*,H^{-1}).

Beta 모드와 곡률 계산

관측 n=8에 사전 Beta(α,β)를 사용합니다. 여기서는 두 사전 모수를 2 이상으로 제한해 사후 Beta(A,B)의 모드가 내부에 있게 합니다. 로그 밀도를 두 번 미분하면 다음 결과를 얻습니다.

θ∗=A−1A+B−2,H=A−1θ∗2+B−1(1−θ∗)2.\theta_*=\frac{A-1}{A+B-2},\qquad H=\frac{A-1}{\theta_*^2}+\frac{B-1}{(1-\theta_*)^2}.

k=4,α=β=2이면 사후는 Beta(6,6), 모드는 0.5, H=40입니다. Laplace 분산은 0.025이지만 정확한 분산은 1/52≈0.01923입니다. 이차 전개가 국소 모양을 맞춘다고 전체 모멘트까지 일치하지는 않습니다.

경계와 비대칭을 살펴보기

k=0으로 바꾸면 모드는 0.1이고 사후는 비대칭입니다. Gaussian 평균은 모드에 놓이지만 정확한 Beta 평균은 1/6입니다. 그래프의 파랑은 정규화한 정확 밀도, 주황은 절단하지 않은 Gaussian입니다. 가로축은 [0,1] 밖까지 보여주어 Gaussian이 불가능한 모수에도 질량을 주는 것을 확인할 수 있습니다.

표는 지지 밖 질량을 별도 보고하며 정규 CDF의 수치 근사를 사용합니다. Gaussian을 몰래 잘라 재정규화하지 않습니다. 절단하면 다른 근사 분포와 다른 모멘트를 얻게 됩니다.

좌표와 유효 조건

여기서는 θ 좌표의 로그 밀도에 전개를 적용했습니다. logit 같은 다른 좌표로 바꾸면 밀도에 Jacobian이 들어가므로 모드와 근사는 일반적으로 같지 않습니다. MAP와 Laplace 근사를 좌표 불변 결과로 취급하지 마세요.

고차원에서는 H가 양의 정부호인 정규적인 내부 모드인지, 여러 모드가 있는지, 꼬리가 충분히 Gaussian 같은지 확인해야 합니다. 이 예제는 하나의 내부 모드가 있고 작은 정수 모수만 사용합니다. 사후가 집중하면 좋은 근사가 될 수 있지만 다봉성이나 경계 문제를 자동으로 해결하지는 않습니다.

확인 문제와 해설

  1. 분산은 H인가요, H의 역수인가요? 역수입니다.
  2. 정확한 사후평균은 항상 모드와 같나요? 아니요. 비대칭 예제를 확인하세요.
  3. 주황 밀도는 Beta의 지지 안에만 있나요? 아니요. 절단하지 않은 Gaussian입니다.

추가 읽기: Kevin P. Murphy, Probabilistic Machine Learning — author’s book page.

CHECK YOUR UNDERSTANDING

설명할 수 있나요?

실험 설정과 무관한 기준 예제를 묻습니다. 답을 고르고 설명을 확인해보세요.

1. 여기서 역수로 취하는 것은?
2. 모수 좌표를 바꾸어도 MAP와 Laplace 근사는 항상 같나요?

선택한 답과 학습 표시는 이 브라우저에 저장됩니다. 다시 풀거나 표시를 해제할 수 있습니다.