본문으로 건너뛰기
SuanLab

Bits·Nats·정규화와 밀도

로그 단위, softmax 정규화, 연속 밀도와 이산 질량의 차이를 비교합니다.

135 / INFORMATION LAB
먼저 알아두면 좋아요 · 연결된 선수 절의 확률·조건부 분포·로그·볼록성과 적분
Rényi 엔트로피와 발산 →확률질량·밀도·누적분포 →지수·로그와 척도 →
단원 목록 (600) · Bits·Nats·정규화와 밀도
이해하는 속도로 읽으세요.개념도이론실험확인 문제
BUILD YOUR INTUITION

먼저 그림으로 이해하기

한 번에 한 단계씩 살펴보세요.

로그 단위, softmax 정규화, 연속 밀도와 이산 질량의 차이를 비교합니다.

Two separate examples: normalized two-logit softmax and Uniform[0,a] with a=1, K=4 equal bins. Blue is a DENSITY, orange outlines the first bin; its probability is area 1/K, not density height.

011.050
가로: 연속 위치 · 세로: 균등 밀도 · 파랑: 전체 구간 · 주황: 첫 빈 경계, 확률은 높이가 아닌 면적
classlogitnormalized masslog probability
000.5-0.693
100.5-0.693

softmax probability sum = 1

고정 기준 예제의 그림과 수치입니다. 각 단계에서 같은 그림의 의미를 차례로 살펴보세요. 고정된 기준 예제이며 아래 실험의 설정과 독립적입니다.
1 / 4

단위

로그 밑을 바꾸면 상수 배율이 바뀝니다.

Hnats=Hbits ln2

실험에서 확인하기 →
이 단원 목차

로그의 밑은 정보량의 단위다

밑 2의 로그를 쓰면 bits, 자연로그를 쓰면 nats입니다. 같은 분포의 정보량이 다른 물리적 사실로 바뀌는 것이 아니라 단위 배율이 바뀝니다. 공정 이진 분포의 엔트로피는 1 bit 또는 ln2≈.693147 nats입니다.

Hnats=Hbitsln⁡2,Hbits=Hnats/ln⁡2.H_{\rm nats}=H_{\rm bits}\ln2,\qquad H_{\rm bits}=H_{\rm nats}/\ln2.

Logit을 확률로 정규화하기

신경망의 logit ℓᵢ는 음수여도 되고 합이 1일 필요도 없습니다. 확률 엔트로피를 계산하기 전에 softmax로 비음수 질량을 만들고 정규화합니다. 수치적으로는 최대 logit을 먼저 빼서 큰 지수의 오버플로를 피할 수 있습니다.

pi=eℓi∑jeℓj,log⁡Z=m+log⁡∑jeℓj−m,m=max⁡jℓj.p_i=\frac{e^{\ell_i}}{\sum_j e^{\ell_j}},\qquad \log Z=m+\log\sum_j e^{\ell_j-m},\quad m=\max_j\ell_j.

모든 logit에 같은 상수를 더하면 분자와 분모에서 상쇄되어 확률은 변하지 않습니다. 정규화 상수는 달라집니다. (0,0)과 (4,4)를 비교하면 p=(.5,.5)는 같고 log Z만 4만큼 이동합니다.

별도 예제: 확률 질량과 밀도 높이

그래프는 softmax와 별개인 연속 균등분포 X~U[0,a]입니다. 밀도는 1/a이고 확률은 구간 아래 면적입니다. a=.25이면 밀도 4이지만 전체 면적은 4×.25=1입니다. 밀도 높이가 확률이 아니므로 1보다 클 수 있습니다.

h(X)=−∫0a1aln⁡1a dx=ln⁡a.h(X)=-\int_0^a\frac1a\ln\frac1a\,dx=\ln a.

이 미분 엔트로피는 a=.25에서 약 −1.38629 nats로 음수입니다. 이산 엔트로피의 비음수성을 연속 밀도에 그대로 적용하지 마세요. 좌표를 양의 배율 c로 바꾸면 h(cX)=h(X)+ln c로 달라집니다.

빈 너비를 명시하면 이산 값과 연결된다

구간을 K개의 같은 너비 Δ=a/K로 나누면 각 빈의 확률은 1/K, 빈 번호의 이산 엔트로피는 ln K입니다. 이 균등 예제에서는 다음 관계가 근사가 아니라 정확한 항등식입니다.

Hbin=h(X)−ln⁡Δ=ln⁡K.H_{\rm bin}=h(X)-\ln\Delta=\ln K.

파랑은 전체 밀도, 주황은 첫 빈의 경계입니다. 첫 빈의 확률은 밀도 높이가 아니라 면적 (1/a)Δ=1/K입니다. 일반 비균등 밀도에서의 세밀한 양자화 관계는 추가 조건 아래의 근사일 수 있으므로 이 특수 항등식을 일반화하지 마세요.

AI의 손실을 기록할 때

토큰당·샘플당 평균인지 합인지, 로그 밑이 무엇인지, 원시 logit인지 정규화 확률인지, 연속 밀도인지 이산 질량인지 기록하세요. 같은 이름의 entropy나 log likelihood라도 이런 선택이 다르면 수치를 직접 비교할 수 없습니다. 조절기에서 logit은 이산 패널, a와 K는 별도 연속·빈 패널에만 영향을 줍니다.

확인 문제와 해설

  1. 1 nat는 몇 bits인가요? 1/ln2≈1.443 bits입니다.
  2. 밀도 높이 4는 불가능한 확률인가요? 아니요. 면적을 적분합니다.
  3. K=4이면 a를 바꿀 때 빈 번호 엔트로피가 변하나요? 같은 확률 네 빈이므로 ln4로 같습니다.

추가 읽기: MIT 6.441, Information Theory — lecture notes by Polyanskiy and Wu.

CHECK YOUR UNDERSTANDING

설명할 수 있나요?

실험 설정과 무관한 기준 예제를 묻습니다. 답을 고르고 설명을 확인해보세요.

1. 밀도 높이 4는 확률이 4라는 뜻인가요?
2. 미분 엔트로피는 항상 비음수인가요?

선택한 답과 학습 표시는 이 브라우저에 저장됩니다. 다시 풀거나 표시를 해제할 수 있습니다.