두 부분 MDL과 모형 선택

적합도와 모형을 함께 전송하기

어떤 모형이 데이터를 잘 설명하는지는 가능도로 비교할 수 있습니다. 하지만 모형마다 공짜 매개변수를 무제한으로 허용하면 데이터를 외운 모형이 유리해집니다. 두 부분 MDL은 “어느 모형인가”를 보내는 비용과 그 모형으로 데이터를 보내는 비용을 더합니다.

이 실습은 순서 있는 N개의 Bernoulli 관측을 사용합니다. K개가 1이고 나머지가 0입니다. 네 모형은 p=.5, .25, .5, .75이고 각각 prefix 헤더 0, 10, 110, 111을 가집니다. 같은 p=.5를 두 번 둔 것은 헤더 비용만 바뀌면 어떤 일이 생기는지 보이기 위해서입니다. 이 헤더들은 데이터 비교 전에 고정합니다.

로그 비용은 무엇을 세는가

독립 Bernoulli 모형의 순서 있는 한 비트열에 대한 가능도는 pᴷ(1−p)ᴺ⁻ᴷ입니다. 음의 로그는 모형 아래 이상적인 자료 부호 길이입니다. 자료가 개수 K만인 다른 실험이라면 이항 계수가 필요하므로 무엇을 전송하는지 명확히 해야 합니다.

표의 값은 분수 비트일 수 있습니다. 실제 단일 비트열 프로토콜을 구현한 것이 아니라 이상 로그 비용을 비교합니다. 구체적인 산술 부호기 등을 사용하면 유한 길이 오버헤드와 끝 표시 규칙을 추가로 분석해야 합니다.

수치 예제: N=16, K=4

p=.5는 자료 16비트와 헤더 1비트로 합계 17입니다. p=.25는 자료 약 12.98045비트와 헤더 2비트로 약 14.98045입니다. p=.5의 다른 모형은 자료가 같지만 헤더 3비트라 19로 불리합니다. 파란 막대가 전체, 주황 막대가 자료만의 비용입니다.

K=8이면 균형 모형의 합계 17이 선택됩니다. K=12, N=16에서는 p=.75의 더 긴 헤더도 더 좋은 적합으로 상쇄됩니다. 표본 반복 배수는 K/N을 유지하면서 로그 가능도 기여를 배수만큼 늘리고, 헤더 비용은 한 번만 냅니다.

MLE와 일반화에 관한 주의

MLE p̂=K/N의 자료 비용도 표시하지만 이 값을 다른 모형의 전체 비용과 바로 비교하면 매개변수가 무료라는 잘못된 계산이 됩니다. 학습한 실수 p̂를 어느 정밀도로 표현할지, 어떤 모형 집합인지 비용 규칙이 필요합니다. 연속 모형의 refined MDL이나 NML은 이 단순 네 후보 실험보다 더 정교한 정의를 사용합니다.

짧은 설명 선택이 특정 분포 변화에서의 정확도나 인과 해석을 자동 보장하지도 않습니다. AI 모형 비교에서는 데이터 분할, 코드·가중치·사전 공유 비용과 실제 예측 평가를 함께 기록합니다.

확인 문제와 해설

1. p가 같고 헤더만 2비트 길어지면? 전체 비용도 정확히 2비트 늘어납니다. 적합은 그대로입니다.
2. 반복 배수를 늘리면 헤더도 반복 전송하나요? 현재 실험에서는 아닙니다. 하나의 모형으로 더 긴 데이터열을 전송합니다.
3. N=16, K=4의 .25 모형은 실제로 정확히 14.98045비트 파일인가요? 아니요. 이상 길이이며 실제 코덱 비용과 구분합니다.

추가 읽기: Grünwald and Roos, Minimum Description Length Revisited.