이 단원 목차
볼록 함수와 접선 사이의 간극
미분 가능한 볼록 생성 함수 φ에 대해
볼록성으로 비음수이고 엄격 볼록이면 같은 인자에서만 0이다. 두 번째 인자 y는 접선 기준점, 첫 번째 x는 세로 간극을 재는 위치다. 파란 생성 함수와 주황 접선의 x에서 높이 차이가 divergence다.
Divergence가 자동으로 거리 metric인 것은 아니다. 비대칭일 수 있고 삼각부등식도 실패할 수 있다. 유클리드 거리 제곱의 절반조차 거리 자체의 삼각부등식을 만족하지 않는다.
세 생성 함수 비교
실습은 양수 [0.1,3]에서 다음을 사용한다.
Entropy divergence는 정규화된 확률 벡터에 합하면 선형 질량 항이 사라져 KL이 된다. 양수 스칼라 하나를 정규화된 분포처럼 읽으면 안 된다. Log 생성 함수는 절대 차이보다 상대 비율을 강조한다.
x=2,y=1에서 entropy 순방향은 2log2−1≈0.386294, 역방향은 1−log2≈0.306853이다. 인자를 바꾸면 접선 기준점도 바뀐다. Quadratic은 양쪽 모두 0.5다.
국소 곡률과 수치 상쇄
작은 h에서 Dφ(y+h,y)=φ″(y)h²/2+o(h²)다. 곡률은 quadratic에서 1, entropy에서 1/y, log에서 1/y²다. 같은 절대 변화도 기준점에 따라 다른 국소 비용을 낸다.
함수값과 접선을 직접 빼면 작은 양의 간극이 상쇄로 사라질 수 있다. 구현은 가까운 점에서 안정적인 로그 Taylor 나머지를 사용한다. 음수를 몰래 0으로 바꾸거나 수치 0을 서로 다른 인자의 divergence가 진짜 0이라는 증명으로 삼지 않는다.
세 점 항등식
정의를 전개하면
실습은 양변을 따로 계산한다. Gradient 차이 항 때문에 유클리드 삼각형·Pythagoras 논리를 그대로 재사용할 수 없다. 특정 투영 부등식에는 직교성·최적성 같은 추가 조건이 필요하다.
직접 풀기와 풀이
Quadratic에서 x=3,y=2,z=1이면 D(3,1)=2지만 D(3,2)+D(2,1)=1이다. 삼각부등식의 직접 반례다. Entropy에서 x=2,y=1을 바꾸어 위의 비대칭 간극을 검산하자. x=y에서는 두 divergence가 0이고 어떤 z에도 세 점 항등식이 성립한다.
Mirror descent는 이 생성 함수 기하를 갱신 규칙의 이동 비용으로 사용한다. 생성 함수를 바꾸면 이동 비용과 정의역 보존이 달라지지만, 최소화하려는 목적 자체를 생성 함수로 바꾼 것은 아니다.
설명할 수 있나요?
실험 설정과 무관한 기준 예제를 묻습니다. 답을 고르고 설명을 확인해보세요.
선택한 답과 학습 표시는 이 브라우저에 저장됩니다. 다시 풀거나 표시를 해제할 수 있습니다.