공간 밀도·상관·자기평균화

자리가 많아져도 불확실성이 줄지 않을 수 있다

작은 이진 픽셀이 넓게 펼쳐진 영상을 떠올려보자. 각 픽셀이 밝을 확률은 p다. 픽셀들이 독립적으로 흔들리면 많은 픽셀의 밝기를 평균할수록 전체 밝기는 안정된다. 그런데 가끔 영상 전체가 하나의 공통 신호를 받아 모든 픽셀이 같은 값을 복사한다면 어떨까? 모두가 공유하는 신호는 픽셀 수를 늘려 평균해도 제거되지 않는다.

한 픽셀만 보면 두 준비를 구별할 수 없다. 어느 쪽에서도 밝을 확률은 p이기 때문이다. 따라서 픽셀을 하나씩 모아 만든 주변 히스토그램만으로는 영상 평균의 불안정성을 파악하기 어렵다. 전체 자리들의 결합 확률 법칙, 공분산, 그리고 계의 크기를 늘리는 방법을 함께 지정해야 한다.

이 장에서는 정확히 계산할 수 있는 작은 공간 확률 모형을 직접 정의한다. 같은 주변분포, 독립성, 자기평균화와 드문 사건을 구별하는 것이 목적이다. 선수 지식은 Bernoulli 변수, 기댓값, 분산과 유한 합이다. 물리적 온도, 평형 상호작용이나 시간 진화는 가정하지 않는다.

계 전체에 대해 모드를 한 번 선택한다

N개의 자리가 있다고 하자. 각 크기에서 계 전체의 모드를 먼저 한 번 뽑는다. 확률1−cN에서는 N개의 독립 Bernoulli(p) 변수를 만든다. 확률 cN에서는 Bernoulli(p) 변수 Y 하나를 뽑고 모든 자리에 복사한다. cN은0과1 사이의 수다.

다음 그림은 가능한 준비 과정을 보여준다. 그림에 있는 배치들이 모두 같은 확률이라는 뜻은 아니다. 공통모드가 선택되었다는 조건 아래에서는 모든 자리가1인 결과가 확률 p, 모두0인 결과가 확률1−p다. 그림의 영어 표기는 두 언어에서 같은 개념도를 대조하기 위한 짧은 범례다.

                 ONE MODE CHOICE FOR THE WHOLE FIELD
                                  |
                    +-------------+-------------+
                    |                           |
             independent mode               collective mode
                weight 1-cN                    weight cN
                    |                           |
           [1] [0] [1] [0]             [Y] [Y] [Y] [Y]
           [0] [1] [0] [0]             [Y] [Y] [Y] [Y]
         separate Bernoulli draws          one draw copied

각 자리마다 따로 모드를 뽑는다면 다른 결합 분포가 된다. 또한 이 모형에는 자리 사이의 거리가 들어 있지 않다. 서로 다른 모든 쌍이 같은 공분산을 갖는다. 거리에 따라 상관이 감소하는 국소 상호작용 모형이라고 해석해서는 안 된다. 그림의 공간적 배열은 자리를 세기 위한 보조 도식이다.

관측량과 고정하는 입력을 정한다

점유한 자리의 총수를 K, 전체 점유 밀도를 ρ로 쓰자. 여기서 평균과 요동은 고정된 N에서 무작위로 준비한 공간 배치에 대한 것이다. 크기 기록의 여러 점은 서로 다른 크기의 준비를 비교한다. 한 계가 시간에 따라 움직이는 연속 프레임이 아니다.

$$K=\sum_{i=1}^N X_i,\qquad \rho=\frac KN,\qquad p=\frac{A}{A+B},\qquad v=p(1-p).$$

기호	뜻	약속
N	공간 자리 수	계산기에서는1부터512까지의 정수
A, B	점유와 비점유 무게	음이 아닌 정수이며 합은 양수
p	한 자리의 점유 확률	크기 경로에서 고정
c	기본 공통모드 가중치	0부터1까지
cN	현재 크기의 공통모드 가중치	c, c/N 또는 c/N²
ε	밀도 편차 임계값	양의 유리수이며1보다 커도 허용
K, ρ	총점유 수와 밀도	지정한 준비 법칙의 확률변수

계산기에서는 정수 무게의 최댓값과 양의 분모의 최댓값을 각각 백만으로 제한한다. 유한 확률은 유리수로 정확히 계산한다. 이것은 상호작용 계산의 입력 범위다. 모든 양의 정수 N에 대한 수학적 크기 가족의 정의 자체를512에서 끝내는 것은 아니다.

같은 주변분포로는 결합 법칙을 알 수 없다

독립모드에서는 E[Xi]=p다. 공통모드에서는 Xi=Y이므로 역시 평균이 p다. 두 모드를 섞어도 한 자리 분포는 바뀌지 않는다.

$$\mathbb E[X_i]=p,\qquad \operatorname{Var}(X_i)=v,\qquad \mathbb E[\rho]=p.$$

그러나 서로 다른 두 자리를 곱하면 차이가 드러난다. 독립모드의 E[XiXj]는 p²이고 공통모드에서는 Y²=Y이므로 p다. 두 평균의 곱을 빼면 공분산을 얻는다.

$$\mathbb E[X_iX_j]=(1-c_N)p^2+c_Np,\qquad \operatorname{Cov}(X_i,X_j)=c_Nv\quad(i\ne j).$$

0<p<1이면 정규화한 쌍 상관계수는 cN이다. p=0 또는1이면 공분산은0이지만 상관계수의 분모도0이므로 계수는 정의되지 않는다. N=1에는 서로 다른 자리 쌍 자체가 없다. 두 종류의 미제공 값을 모두 ‘상관계수0을 관찰했다’고 표시하면 잘못된 의미를 전달한다.

대각 항과 순서 있는 쌍을 모두 더한다

합의 분산에는 대각 항이 N개, 순서 있는 비대각 항이 N(N−1)개 들어간다. 무순서 쌍 하나가 두 번 등장하는 것이다. 따라서

$$\operatorname{Var}(K)=Nv+N(N-1)c_Nv,\qquad \operatorname{Var}(\rho)=\frac vN[1+(N-1)c_N].$$

독립 성분은 K의 분산에서 N에 비례한다. 공통 가중치가 고정된 양수이면 비대각 합은 N²에 비례한다. 밀도 분산을 얻기 위해 N²로 나누어도 그 성분은 남는다. 쌍 하나의 공분산이 작다는 사실만으로 전체 효과가 작다고 할 수 없는 이유다.

N=4,p=1/2,cN=1/2를 손으로 계산해보자. 크기1/4인 대각 항4개의 합은1이다. 크기1/8인 순서 있는 비대각 항12개의 합은3/2다. 따라서 Var(K)=5/2이고 Var(ρ)=5/32다. 같은 p와 N의 독립 밀도 분산은1/16이다. 두 준비의 평균 밀도는 모두1/2이지만 분산은 다르다.

유한한 총점유 수 분포를 복원한다

독립모드의 K는 이항분포다. 공통모드에서는 K=0과 K=N만 가능하다. 두 성분을 가중합하면 정확한 총점유 수 확률을 얻는다.

$$m_k=(1-c_N)\binom Nk p^k(1-p)^{N-k} +c_N[(1-p)\mathbf1_{k=0}+p\mathbf1_{k=N}],\qquad 0\le k\le N.$$

N=4,p=cN=1/2일 때의 확률 장부는 다음과 같다. 마지막 열은 ε=1/2의 포함 사건을 판정한다.

k	독립 확률	공통모드 확률	혼합 확률	편차 사건 포함
0	1/16	1/2	9/32	예
1	1/4	0	1/8	아니오
2	3/8	0	3/16	아니오
3	1/4	0	1/8	아니오
4	1/16	1/2	9/32	예

혼합 열을 더하면1이다. 각 행에 k/4를 곱해 더하면 평균1/2, (k/4−1/2)²를 곱해 더하면 분산5/32다. 이 합은 앞서 얻은 모멘트 공식의 별도 검산이다. 총점유 수 확률에는 그 점유 수를 갖는 이름 붙은 모든 배치가 이미 포함되어 있다. 여기에 이항계수를 다시 곱하면 중복 계산이다.

계산 전에 편차 사건을 정의한다

꼬리 확률에는 관측량, 중심과 경계 포함 규칙이 필요하다. 여기서는 양의 ε를 고정하고 등호를 포함한다.

$$T_N=\mathbb P(|\rho-p|\ge\epsilon),\qquad |k(A+B)-NA|V\ge EN(A+B),\quad\epsilon=E/V.$$

오른쪽의 정수 비교가 실제 사건 판정이다. N=3,p=1/3,ε=1/3이면 포함되는 점유 수는0,2,3이다. ε를333334/1000000으로 조금 올리면3만 남는다. 등호 근처에서 부동소수점으로 비교하면 계산하려던 질문 자체가 바뀔 수 있다.

ε>1이면 사건은 비어 있다. 이 경우에도 분산으로 만든 상한은 양수일 수 있다. 또 어떤 격자점이 편차 조건을 만족하는 것과 그 점에 양의 준비 확률이 있는 것은 다르다. p=0인 확정 준비는 k=0에만 질량을 두므로 다른 점들이 부등식을 만족하더라도 실제로 발생하지 않는다.

정확한 확률과 참조값과 상한을 구별한다

독립모드의 사건 확률을 TI, 공통모드의 사건 확률을 TS라고 쓰자. TS는 두 끝점에서 계산한다. p와 ε를 고정하면 N과 무관하다.

$$T_S=(1-p)\mathbf1_{p\ge\epsilon}+p\mathbf1_{1-p\ge\epsilon},\qquad T_N=(1-c_N)T_I+c_NT_S.$$

Chebyshev 부등식은 독립 준비의 참조 상한과 실제 혼합 준비의 상한을 각각 준다.

$$B_I=\min\{1,v/(N\epsilon^2)\},\qquad B_C=\min\{1,\operatorname{Var}(\rho)/\epsilon^2\}.$$

공통모드의 정확한 끝점 확률을 알고 있으므로 혼합 구조를 이용한 상한도 만들 수 있다.

$$B_M=(1-c_N)B_I+c_NT_S,\qquad T_N\le B_M\le B_C\le1.$$

두 번째 부등식은 TS≤min(1,v/ε²)를 적용하고 min(1,x)가 오목함을 이용하면 얻는다. BI 하나만으로는 혼합 준비를 보장하지 않는다. 네 자리 표에서는 TI=1/8,TS=1,TN=9/16이고 BM=BC=5/8이다. 독립 참조 BI=1/4는 실제 사건 확률보다 작다. 이를 혼합 준비의 상한으로 재사용하면 틀린다.

분산이 커져도 이 꼬리는 작아질 수 있다

분산은 편차의 제곱에 확률을 곱한 평균이다. 특정 임계값의 사건은 편차가 경계를 넘었는지만 구별한다. 두 비교는 서로 다른 방식으로 분포를 요약하므로 같은 순서를 줄 필요가 없다.

N=2,p=1/10,cN=1/2,ε=3/20을 보자. 사건은 k=1 또는2다. 독립모드의 사건 확률은19/100이고 공통모드에서는 모두1인 경우만 포함되어1/10이다. 따라서

$$T_N=\frac{29}{200}<\frac{19}{100}=T_I,\qquad \operatorname{Var}(\rho)=\frac{27}{400}>\frac9{200}=\operatorname{Var}_{I}(\rho).$$

공통모드는 확률을 두 끝점으로 옮긴다. 더 자주 나오는0 끝점은 p와의 거리가1/10뿐이어서 이 임계값을 넘지 못한다. 드물게 나오는1 끝점은 멀리 떨어져 있어 편차 제곱에는 큰 기여를 한다. 이 때문에 특정 꼬리는 줄면서 분산은 커질 수 있다. Chebyshev는 등식이 아닌 상한이므로 이 결과와 모순되지 않는다.

극한 전에 크기 증가 경로를 지정한다

p,c,ε를 고정하고 cN의 세 처방을 비교하자. 0<p<1에서 다음 극한을 얻는다.

경로	Var(ρ)의 극한	N Var(ρ)의 극한	분산 등가 자리 수/N의 극한
cN=c, c>0	cv	+∞	0
cN=c/N	0	v(1+c)	1/(1+c)
cN=c/N²	0	v	1

c=0이면 세 경로 모두 독립 준비가 된다. p=0 또는1이면 밀도가 확정되어 분산은 모두0이다. 이때 분산 등가 자리 수는 정의하지 않는다.

공통 가중치가 사라지는 두 경로의 유한 보정은 공분산 합에서 바로 얻을 수 있다.

$$N\operatorname{Var}(\rho)=v(1+c-c/N)\quad(c_N=c/N),\qquad N\operatorname{Var}(\rho)=v(1+c/N-c/N^2)\quad(c_N=c/N^2).$$

N=4,p=c=1/2이면 밀도 분산은 각각11/128,35/512다. 이 유한 값은 표의 극한 계수3/8,1/4와 다른 양이다. 분산만 그리면 두 경로 모두0으로 접근하지만 N을 곱한 분산을 그리면 선도 계수의 차이를 볼 수 있다. 그래프 축에 어느 양을 그렸는지 확인해야 한다.

여기서 자기평균화가 뜻하는 것

이 장에서 자기평균화는 지정한 크기 가족을 따라 밀도가 고정 평균 p로 확률 수렴한다는 뜻이다. 밀도가[0,1]에 갇혀 있기 때문에 분산 소멸은 이 수렴의 충분조건이면서 필요조건이다.

$$\mathbb P(|\rho-p|\ge\epsilon)\le\operatorname{Var}(\rho)/\epsilon^2,\qquad \mathbb E[(\rho-p)^2]\le\epsilon^2+\mathbb P(|\rho-p|>\epsilon).$$

분산이 사라지면 첫 부등식으로 사건 확률이 사라진다. 반대로 확률 수렴을 가정하면 두 번째 부등식에서 고정 ε마다 크기 극한을 취한 다음 ε를0으로 보내면 된다. 이 역방향에서는 편차 제곱이1을 넘지 않는다는 유계성이 중요하다.

고정 c>0,0<p<1에서 밀도의 약한 극한 법칙은 다음 원자 분포다.

$$\rho\ \Rightarrow\ c(1-p)\delta_0+(1-c)\delta_p+cp\delta_1.$$

공통 가중치가 사라지는 두 경로에서는 δp만 남는다. 질량0인 원자는 제거하고 같은 위치의 원자는 합친다. 이 원자들은 극한 분포이지 현재 유한 크기의 히스토그램이 아니다. 서로 다른 N의 공간 배치를 하나의 확률공간에서 어떻게 결합하는지도 지정하지 않았다. 따라서 N 전체에 걸친 거의 확실한 수렴까지 주장하지 않는다.

정확한 혼합 항등식에서는 TN→c∞TS도 얻는다. 이것은 독립 꼬리가0으로 간다는 사실로 따로 유도한 사건 극한이다. 경계 원자가 있는 사건의 확률을 약한 수렴만 보고 읽은 결과가 아니다. ε=p 또는 ε=1−p일 때 끝점의 등호는 계속 포함된다.

분산 등가 자리 수를 조심해서 사용한다

0<p<1일 때 같은 밀도 분산을 갖는 독립 자리 수를 정의해보자.

$$N_{\rm var}=\frac{v}{\operatorname{Var}(\rho)} =\frac{N}{1+(N-1)c_N}.$$

네 자리 표에서는8/5다. 고정 c>0에서는 실제 자리 수가 무한히 늘어도 이 값은1/c로 간다. cN=c/N에서는 N에 대한 비가1/(1+c)로 가고 cN=c/N²에서는 그 비가1로 간다.

이 값은 알려진 특정 준비와 밀도라는 한 관측량에 대한 분산 맞추기다. 독립 학습 데이터 수, 데이터셋의 정보량 또는 시간 MCMC 궤적의 유효 표본 수를 인증하지 않는다. p가 확정적이면 정의한 비는0/0이다. 식을 미리 약분하면 유한한 숫자가 남더라도 그 숫자에 원래의 분산 비교 의미가 생기는 것은 아니다.

같은 선도 분산에도 드문 사건은 크게 다를 수 있다

p=10^−6,c=10^−6,cN=c/N²,ε=1−p로 두자. 모두1인 공간 배치만 사건에 속한다. 따라서

$$T_I=p^N,\qquad T_N=(1-c/N^2)p^N+cp/N^2.$$

N=512에서 독립 확률은10^−3072다. 공통모드가 주는 항은 약3.8×10^−18이다. 혼합 확률과 독립 확률의 정확한 비는 유한하지만10^3054 정도로 크다. 부동소수점 표시가 작은 독립 확률이나 큰 비를 나타내지 못할 수 있어도 정확한 유리수 표현은 존재한다. 표시 불가는 확률0이나 수학적 무한대가 아니다.

두 준비 모두 N Var(ρ)의 극한은 v다. 하지만 이 사건의 혼합 꼬리에는 지수 감소보다 느린 다항 감소 항이 있다. 같은 식을 모든 N으로 확장하면−log(TN)/N→0인 반면 독립 값은−log(p)다. 이는 이 특정 사건과 가족에 대한 계산이며 임의의 상관계에 대한 일반 대편차 원리가 아니다. 선도 분산만 맞춘 근사로 아주 드문 사건까지 정확하다고 결론 내릴 수 없다.

확인하지 않은 응답 항등식을 붙이지 않는다

입력 p는 두 준비 모드를 함께 바꾼다. g=logit(p)라고 쓰면 총점유 평균의 입력 응답은 다음과 같다.

$$\frac{d\mathbb E[K]}{dg}=Nv,\qquad \operatorname{Var}(K)=Nv[1+(N-1)c_N].$$

v>0이고 서로 다른 자리가 상관되어 있으면 두 값은 다르다. 올바르게 지정한 지수 가족의 응답 항등식이 틀렸다는 뜻은 아니다. 고정 기준 법칙에 exp(tK)를 곱하는 새로운 기울이기를 별도로 정의하면 t=0에서 평균의 미분은 기준 법칙의 K 분산이 된다. 그것은 현재 p 조작과 다른 조작이다. 요동과 응답을 연결하려면 무엇을 고정하고 어떤 장을 미분하는지 먼저 지정해야 한다.

AI에서는 여러 입력에 같은 환경 교란이 섞이는 상황을 직관적 비유로 생각할 수 있다. 데이터 수만 세지 말고 의존성을 확인해야 한다는 질문을 준다. 이 비유만으로 현재 공간 모형이 실제 데이터셋을 보정하거나 AI 성능을 보장하는 것은 아니다.

공통모드와 드문 사건을 실제 실험에서 비교하자

기본 N=4,p=1/2,c=1/2에서는 계 전체가 한 번의 공통 신호를 받을 수 있습니다. 밀도 분산5/32는 독립 준비의1/16보다 큽니다. 네 픽셀을 네 번의 독립 관측처럼 세기 전에, 같은 환경 신호를 공유했는지 묻는 실험입니다.

조작	확인할 관측	설명할 질문
기본 예제와 ‘같은 주변분포·독립 준비’를 비교한다	평균 밀도는1/2로 같고 분산은5/32와1/16이다	한 픽셀의 히스토그램이 같으면 전체 평균의 오차도 같은가?
선택 점유 수를 K=0부터4까지 옮긴다	ε=1/2 사건에는0과4만 속하고 혼합 꼬리는9/16이다	격자점의 사건 포함, 그 점의 확률, 사건 전체의 확률은 어떻게 다른가?
c/N과 c/N² 경로에서 ‘N배 분산 표시’를 켠다	두 분산은0으로 가지만 N배 분산의 극한은3/8과1/4로 다르다	분산 그래프가 모두 작아지는 것만으로 같은 크기 법칙이라고 말할 수 있는가?

점유 수 슬라이더는 현재 법칙의 한 격자점을 선택하며 새 배치를 무작위로 생성하지 않습니다. ‘확률 로그 표시’는 희귀 질량을 보기 위한 표시이며 정확한0을 양수로 바꾸지 않습니다. 크기 버튼은 같은 p,c,ε와 경로를 유지한 채 N을 늘립니다. 분산 등가 자리 수는 이 밀도 관측량에 한정된 비교입니다. 큰 N에서의 작은 독립 꼬리가 표시 불가여도 확률0이나 무한한 꼬리 비율로 해석하지 마세요.

해설이 있는 여섯 문제

1. 네 자리 공분산 장부를 복원하자

고정 경로의 N=4,p=c=1/2에서 대각 합, 순서 있는 비대각 합, 밀도 분산과 분산 등가 자리 수를 구하자.

해설. 대각 분산은1/4, 서로 다른 쌍의 공분산은1/8이다. 대각4개는1, 순서 있는 쌍12개는3/2를 준다. 합5/2를16으로 나누면5/32다. 이어 (1/4)/(5/32)=8/5다. 무순서 쌍6개를 쓰면서2를 곱하지 않으면 비대각 기여의 절반이 빠진다.

2. 표시된 분포로 사건과 상한을 확인하자

네 자리 표에서 ε=1/2로 두고 TI,TN과 세 상한을 계산하자. 혼합 법칙에서 상한으로 사용할 수 없는 값은 무엇인가?

해설. 점유 수0과4만 포함된다. 독립 질량의 합은1/8, 혼합 질량의 합은9/16이다. 공통 사건 확률은1이다. BI=(1/16)/(1/4)=1/4인 반면 BC=(5/32)/(1/4)=5/8이고 BM=(1/2)(1/4)+(1/2)(1)=5/8이다. 9/16>1/4이므로 BI는 혼합 법칙의 상한이 아니다.

3. 더 큰 분산과 더 작은 꼬리를 설명하자

N=2,p=1/10,c=1/2,ε=3/20에서 사건에 속하는 점유 수를 찾고 두 비교를 검산하자.

해설. 점유 수0의 편차는1/10이어서 포함되지 않는다. 점유 수1,2의 편차는2/5,9/10이다. 독립 확률은18/100+1/100=19/100, 공통 확률은1/10이므로 혼합은29/200이다. 분산은 (9/100)(1+1/2)/2=27/400으로 독립9/200보다 크다. 편차 제곱과 임계값 통과가 분포를 다르게 가중한다는 점이 핵심이다.

4. 유한 값과 극한 계수를 비교하자

N=4,p=c=1/2일 때 c/N,c/N² 경로의 Var(ρ)를 구하고 각각의 N Var(ρ) 극한을 말하자.

해설. 현재 공통 가중치는1/8과1/32다. 대입하면11/128과35/512를 얻는다. 극한 계수는 v(1+c)=3/8과 v=1/4다. 현재 크기의 배율 분산11/32와35/128은 아직 그 극한에 도달하지 않았다. 분산과 N배 분산을 구별해야 한다.

5. 경계 등호와 질량0과 상관 미정의를 구별하자

N=3,p=1/3,ε=1/3의 사건 점유 수를 찾자. p=0인 확정 준비에서는 무엇이 달라지는가? N=1만 보고 고정 c 가족의 자기평균화를 판단할 수 있는가?

해설. 편차는1/3,0,1/3,2/3이므로 사건은0,2,3이다. p=0이면 모든 질량은 점유 수0에 있고 양의 임계값 사건의 확률은0이다. 다른 격자점이 편차 조건에 속하는지는 이 결론을 바꾸지 않는다. 쌍이 있다면 공분산은0이지만 정규화 상관계수는 미정의다. N=1에는 다른 자리 쌍이 없고 모든 c에서 한 자리 Bernoulli 법칙이다. 그래도 고정 양의 c의 큰 계에서는 밀도 분산 cv가 남을 수 있다.

6. 분산 극한과 드문 사건의 결론을 분리하자

cN=c/N²,고정0<p<1,c>0에서 모두1인 사건의 독립·혼합 확률을 비교하자. Nvar/N→1이면 꼬리도 독립과 같아지는가?

해설. 구체적으로 p<1/2와 ε=1−p를 택하면 모두1인 끝점만 포함된다. 두 확률은 p^N과 (1−c/N²)p^N+cp/N²다. 후자의 다항 항이 큰 N에서 지수 항보다 커진다. 따라서 분산 등가 비는1로 가도 꼬리 확률의 비는 발산한다. 이는 선택한 사건과 준비에 대한 결론이다. 분산 극한만으로 모든 꼬리에 대한 근사가 성립하지 않는다.

다음 가족은 두 상태만 허용하는 분배함수의 유한 반올림과 복소 영점을 다룬다. 현재 교재에서는 공통모드·크기·임계값을 바꾸고 정확 분포와 사건을 비교할 수 있다. 도서 → Interactive Book에서 다음 가족으로 이어간다.