본문으로 건너뛰기
148 / GRAPHICAL MODEL LAB
먼저 알아두면 좋아요 · 연결된 선수 절의 조건부확률·Bayes 추론·유한 그래프·주변화
단원 목록 (600) · Factor Graph와 인자의 곱
이해하는 속도로 읽으세요.개념도이론실험확인 문제
BUILD YOUR INTUITION

먼저 그림으로 이해하기

한 번에 한 단계씩 살펴보세요.

변수와 인자를 다른 노드로 그려 인자 범위와 정규화를 확인합니다.

Bipartite factor graph: unary exp(h sA), pairs exp(J sA sB), exp(J sB sC), s=2x−1; h=0.4, J=0.7. Squares are factors, circles variables. Factors need not sum to one.

ABCφAψABψBC
구조 그림입니다. 간선 길이는 의존 강도를 나타내지 않습니다. 주황 테두리는 관측 또는 조건화 표시입니다.
070.4660
가로: 세 변수 할당 번호 · 파랑: 결합 질량 · 주황 점: 선택 할당
A B Cunary φApair ψABpair ψBCproductprobability
0000.672.0142.0142.7180.2
1001.4920.4972.0141.4920.109
0100.670.4970.4970.1650.012
1101.4922.0140.4971.4920.109
0010.672.0140.4970.670.049
1011.4920.4970.4970.3680.027
0110.670.4972.0140.670.049
1111.4922.0142.0146.050.444

partition function Z = 13.625

고정 기준 예제의 그림과 수치입니다. 각 단계에서 같은 그림의 의미를 차례로 살펴보세요. 고정된 기준 예제이며 아래 실험의 설정과 독립적입니다.
1 / 4

변수

원은 변수 노드입니다.

A,B,C∈{0,1}

실험에서 확인하기 →
이 단원 목차

사각형 노드가 필요한 이유

Factor graph는 변수와 인자를 다른 종류의 노드로 그리는 이분 그래프입니다. 원은 변수, 사각형은 함수를 뜻하며 변수가 인자의 입력에 포함될 때만 연결합니다. 같은 결합 분포도 인자를 어떻게 묶는지에 따라 다른 factor graph를 가질 수 있습니다.

이 실습은 sᵢ=2xᵢ−1을 사용해 unary exp(hsA)와 pair exp(JsAsB),exp(JsBsC)를 곱합니다. 인자 범위는 각각 {A},{A,B},{B,C}입니다. 간선 길이나 사각형의 위치가 수치 크기를 뜻하지는 않습니다.

국소 함수값에서 전체 확률까지

하나의 할당을 정하면 각 인자의 값을 계산하고 곱합니다. h=.4,J=.7의 111에서는 exp(.4) × exp(.7) × exp(.7) = exp(1.8) ≈ 6.04965입니다. 이는 1보다 커도 정상인 원시 가중치입니다. 모든 8개 할당의 곱을 합한 Z≈13.6254로 나누면 확률은 약 .444입니다.

w(a,b,c)=ehsAeJsAsBeJsBsC,p(a,b,c)=w(a,b,c)/Z.\begin{aligned}w(a,b,c)&=e^{hs_A}e^{Js_As_B}e^{Js_Bs_C},\\p(a,b,c)&=w(a,b,c)/Z.\end{aligned}

곱하는 범위와 합하는 범위

인자 둘을 곱할 때 scope는 변수 집합의 합집합입니다. ψAB와 ψBC의 곱은 A,B,C의 함수가 됩니다. B를 합해 제거하면 A,C의 새로운 인자가 남습니다. 이 새 함수는 일반적으로 확률표가 아니며 양의 가중치 표일 뿐입니다.

τ(a,c)=∑bψAB(a,b)ψBC(b,c).\tau(a,c)=\sum_b\psi_{AB}(a,b)\psi_{BC}(b,c).

이 관점은 다음 variable elimination과 메시지 전달의 기초입니다. 인자의 곱과 주변화를 반복하면서 전체 결합 표를 한 번에 만들지 않을 수 있습니다.

결합의 부호와 독립

J>0은 이웃 부호가 같은 할당을, J<0은 다른 할당을 선호합니다. J=0이면 pair 인자는 모두 1이 되어 사라지고 h도 0이면 모든 할당이 균등해 Z=8입니다. 그래프에 함수 노드가 그려져 있어도 모수에 따라 실제 상호작용이 없어질 수 있습니다.

실습과 확인 문제

선택 mask의 낮은 비트부터 A,B,C를 읽습니다. 주황 점과 표의 인자 세 값을 비교해 곱셈을 직접 해 보세요. mask는 표를 선택할 뿐 모형 자체를 바꾸지는 않습니다.

  1. ψAB와 ψBC를 곱한 scope는? {A,B,C}입니다.
  2. B를 합하면 항상 상수인가요? 아니요. A,C에 의존하는 함수일 수 있습니다.
  3. Factor graph의 화살표가 인과를 나타내나요? 이 그림은 방향 없는 계산 인수분해입니다.

추가 읽기: Stanford CS228, Probabilistic Graphical Models.

CHECK YOUR UNDERSTANDING

설명할 수 있나요?

실험 설정과 무관한 기준 예제를 묻습니다. 답을 고르고 설명을 확인해보세요.

1. Factor graph의 두 노드 종류는?
2. 인자값이 1보다 커도 되나요?

선택한 답과 학습 표시는 이 브라우저에 저장됩니다. 다시 풀거나 표시를 해제할 수 있습니다.