본문으로 건너뛰기
SuanLab

Rényi 엔트로피와 발산

차수에 따라 희귀 결과와 큰 질량을 다르게 강조하는 정보량을 계산합니다.

134 / INFORMATION LAB
먼저 알아두면 좋아요 · 연결된 선수 절의 확률·조건부 분포·로그·볼록성과 적분
교차 엔트로피와 KL 발산 →Fano 부등식과 분류 오류 경계 →
단원 목록 (600) · Rényi 엔트로피와 발산
이해하는 속도로 읽으세요.개념도이론실험확인 문제
BUILD YOUR INTUITION

먼저 그림으로 이해하기

한 번에 한 단계씩 살펴보세요.

차수에 따라 희귀 결과와 큰 질량을 다르게 강조하는 정보량을 계산합니다.

P=Bernoulli(0.8), Q=Bernoulli(0.5) with full Q support; Rényi order α=2 ∈[0,8]. α=0 counts positive support and α=1 is the continuous Shannon/KL limit, not direct division by zero.

081.050
가로: 차수 α · 파랑: Rényi 엔트로피 · 주황: Shannon 기준 · 발산은 수치와 표에서 비교
order αRényi entropy (bits)Rényi divergence (bits)
010
0.50.8480.152
10.7220.278
20.5560.444
80.3680.632

Rényi entropy Hα (bits) = 0.556

고정 기준 예제의 그림과 수치입니다. 각 단계에서 같은 그림의 의미를 차례로 살펴보세요. 고정된 기준 예제이며 아래 실험의 설정과 독립적입니다.
1 / 4

차수

α가 질량의 강조를 바꿉니다.

Hα(P)=log₂Σpᵅ/(1−α)

실험에서 확인하기 →
이 단원 목차

하나의 엔트로피에서 차수별 정보량으로

Shannon 엔트로피 외에도 질량의 거듭제곱을 이용하는 정보량이 있습니다. Rényi 엔트로피는 차수 α에 따라 큰 질량과 희귀 질량의 상대적인 강조를 바꿉니다. 이 실습은 유한 이진 분포와 α∈[0,8]을 사용하며 값의 단위는 bits입니다.

Hα(P)=11−αlog⁡2∑ipiα,α≠1.H_\alpha(P)=\frac1{1-\alpha}\log_2\sum_i p_i^\alpha,\qquad \alpha\ne1.

0·1·2·무한 차수를 구분하기

0차수는 양의 질량을 가진 지지 크기의 로그입니다. 1차수는 연속 확장으로 Shannon 엔트로피이고, 2차수는 두 독립 표본이 같은 결과일 충돌확률의 음의 로그입니다. α가 무한대로 가면 가장 큰 질량만 남아 min entropy가 됩니다. 화면은 무한 차수의 값도 별도 수치로 보여주지만 곡선 범위는 8까지만입니다.

H0=log⁡2∣supp⁡P∣,H1=H(P),H2=−log⁡2∑ipi2,H∞=−log⁡2max⁡ipi.H_0=\log_2|\operatorname{supp}P|,\quad H_1=H(P),\quad H_2=-\log_2\sum_i p_i^2,\quad H_\infty=-\log_2\max_i p_i.

p=.8이면 H₀=1, H₁≈.72193, H₂≈.55639, H∞≈.32193 bits입니다. 차수가 커질수록 엔트로피가 감소하는 경향을 확인하세요. 균등 분포는 모든 차수에서 같고 결정적 분포는 모두 0입니다. 아주 작은 양수 질량은 0이 아니므로 H₀의 지지에 포함됩니다.

Rényi 발산도 함께 비교하기

Q와의 차이는 다음 Rényi 발산으로 계산합니다. 이 단원은 Q의 두 질량을 모두 양수로 제한해 지지 특이점과 차수 극한을 분리합니다. α=1에서는 KL, α=0에서는 P의 지지에 놓인 Q 질량의 음의 로그입니다.

Dα(P∥Q)=1α−1log⁡2∑ipiαqi1−α,D0=−log⁡2Q(supp⁡P).D_\alpha(P\Vert Q)=\frac1{\alpha-1}\log_2\sum_i p_i^\alpha q_i^{1-\alpha}, \qquad D_0=-\log_2Q(\operatorname{supp}P).

p=.8,q=.5,α=2이면 D₂≈.44361 bits입니다. 파랑은 차수별 엔트로피이고 주황은 Shannon 기준선입니다. 발산은 같은 차수의 표와 수치에서 비교합니다. 엔트로피와 발산을 같은 양으로 혼동하지 마세요.

극한과 계산의 주의점

α=1에 원래 식을 직접 넣으면 0/0입니다. 구현은 정확한 Shannon/KL 값을 사용하고 가까운 차수에서는 expm1·log1p 형태로 상쇄 오차를 줄입니다. α=0에서 0⁰을 모든 상태에 1로 넣는 대신 양의 지지만 셉니다. 여기서는 Rényi 엔트로피와 발산을 소개하며 여러 서로 다른 Rényi 상호정보량의 정의까지 동일하다고 주장하지 않습니다.

확인 문제와 해설

  1. 두 상태 중 하나만 양수이면 H₀는? log₂1=0입니다.
  2. H₂에 쓰는 충돌확률은? 두 독립 표본이 같은 상태일 확률입니다.
  3. α=8은 정확한 무한 차수인가요? 아니요. 유한 차수와 극한을 구분합니다.

추가 읽기: van Erven & Harremoës, Rényi Divergence and Kullback–Leibler Divergence.

CHECK YOUR UNDERSTANDING

설명할 수 있나요?

실험 설정과 무관한 기준 예제를 묻습니다. 답을 고르고 설명을 확인해보세요.

1. α=0에서 세는 것은?
2. 이 단원의 Q에 적용한 조건은?

선택한 답과 학습 표시는 이 브라우저에 저장됩니다. 다시 풀거나 표시를 해제할 수 있습니다.