통계적 추정과 가능도

확률의 질문을 거꾸로 보기

확률에서는 모형을 정하고 어떤 데이터가 나올지 묻습니다. 추정에서는 데이터를 관측한 뒤 어떤 매개변수가 이를 잘 설명하는지 묻습니다. 식이 같아도 해석은 달라집니다. 가능도는 고정 관측에 대한 매개변수의 함수이며 자동으로 매개변수의 확률분포가 되지 않습니다.

성공 $k$회인 $n$개의 독립 Bernoulli 관측을 가정합니다. 모두 같은 미지의 성공 확률 $p$를 공유합니다. 의존성·선택 편향·확률 변화가 있으면 최적화를 정확히 해도 의도한 통계 해석은 성립하지 않을 수 있습니다.

가능도 정의

순서가 있는 관측의 확률을 곱하면

입니다. 횟수만 관측했다면 이항 계수가 곱해집니다. 그 계수는 $p$와 무관하여 최대점은 바꾸지 않습니다. 다만 서로 다른 관측 표현의 사건 확률을 비교할 때는 수치가 달라집니다.

최대점 유도

$0<k<n$에서는

입니다. 미분을 0으로 놓으면 $\hat p=k/n$입니다. 내부에서 이차 미분이 음수이므로 유일한 내부 최대입니다. $k=0$이나 $k=n$이면 경계를 직접 확인해야 합니다. 모든 최대점이 내부에 있다고 가정하지 마세요.

7/10에서는 추정값이 0.7입니다. $p=0.5$의 순서 관측 로그 가능도는 약 $-6.931472$, $p=0.7$에서는 $-6.108643$입니다. 여기서는 큰 값이 좋습니다. 음의 로그 가능도를 손실로 쓰면 비교 방향이 바뀝니다.

추정 변동은 별도 계산이다

모형이 맞다면 $\hat p=K/n$의 평균은 $p$, 분산은 $p(1-p)/n$입니다. 미지의 $p$ 대신 추정값을 넣으면

입니다. 7/10에서는 약 0.144914입니다. 라벨 하나의 표준편차도, 매개변수의 사후 확률도 아닙니다. 같은 표집 모형으로 관측을 반복할 때 추정량이 변하는 정도를 근사합니다.

10/10이면 MLE는 1이고 plug-in 표준오차는 0입니다. 유한 데이터로 실패가 불가능하다고 증명한 것은 아닙니다. 경계에서 이 근사의 약점이 드러납니다. 신뢰구간은 별도 가정과 포함률 검토가 필요하며 어떤 표준오차에나 1.96을 곱하면 되는 것은 아닙니다.

곡선 읽기

그림은 최대 가능도로 나누어 꼭대기를 1로 맞춥니다. 적분이 1이라는 뜻은 아닙니다. 파랑은 상대 가능도이며 사전·사후 밀도가 아닙니다. 후보 $p$를 바꾸면 수치 표가 바뀌지만 곡선은 고정 데이터에 대한 모든 후보를 계속 보여줍니다.

두 번째 예제는 성공 7회를 유지하고 전체를 100회로 늘립니다. 7/10을 열 번 반복한 데이터가 아니라 성공 7·실패 93입니다. MLE는 0.07입니다. 비율이 같은 열 배 표본이라면 70/100이어야 합니다. ‘데이터가 많아졌다’는 해석 전에 분자와 분모를 확인하세요.

AI 손실과 연구 검증

이진 교차엔트로피는 주어진 라벨과 예측 확률에 대한 음의 Bernoulli 로그 가능도입니다. 신경망은 확률을 매개변수의 함수로 만들고 역전파는 합성 목적함수를 미분합니다. 관측 모형을 명시해야 하는 연결입니다. 손실 최소화만으로 보정·인과적 정확성·데이터 대표성을 입증하지는 못합니다.

연구에서는 표집 단위, 제외 기준, 누락된 결과, 모형 선택에 같은 데이터를 썼는지 기록하세요. 최적화 오차·모형 불일치·표집 불확실성은 다른 실패 원인입니다. 학습 횟수를 늘린다고 선택 편향이나 누출이 자동으로 줄지는 않습니다.

연습과 다음 연결

1. 12회 중 3회 성공의 MLE는? 답: 0.25입니다.
2. 고정 $n,k$에서 $p$를 최적화할 때 이항 계수를 생략할 수 있는 이유는?
3. 최대가 1인 가능도 곡선이 확률밀도가 아닌 이유는?
4. plug-in 표준오차가 오해를 부르는 경계 예제를 만드세요.

배경은 MIT Introduction to Probability의 추정·극한정리를 참고하세요. 다음 단원은 가능도를 확률분포로 간주하는 대신 매개변수의 분포를 명시적으로 도입합니다.