Mean-field 게임·순방향·역방향 일관성

작은 개인과 변하는 인구를 함께 생각한다

많은 사람이 두 목적지 중 하나를 고른다고 합시다. 각자는 혼잡·이동·장소의 질을 고려합니다. 한 사람의 영향은 전체 분포를 바꿀 만큼 크지 않지만, 모두의 선택을 모으면 분포가 정해집니다. Mean-field 게임은 두 관점을 연결합니다. 개인 문제에서는 인구를 고정하고 최적화한 뒤, 그 선택들이 고정했던 인구를 실제로 다시 만들어야 합니다.

이 단원은 비용을 최소화하므로 작은 값이 좋습니다. 실습은 두 위치·두 시점·한 번의 이동 결정을 갖는 nonatomic 모형입니다. 개인의 질량은 무시할 만큼 작습니다. 두 플레이어 Markov 게임, 표본 입자 시뮬레이션, 모든 다중 에이전트 시스템을 평균으로 바꿔도 된다는 주장이 아닙니다.

초기 위치 1의 질량을 mu라 하면 위치 0에는 1−mu가 있습니다. 개인의 비용 규칙은 같지만 시작 위치는 다를 수 있습니다. 개인 제어와 분포의 일관성을 동시에 풀어야 합니다.

도착 비용은 분포에 의존한다

가정한 최종 위치 1 질량이 m일 때 비용을 다음처럼 둡니다.

$$c_0(m)=3+a(1-m)-\frac b2,\qquad c_1(m)=3+am+\frac b2.$$

위치를 바꾸면 k≥0의 이동 비용이 들고, 그대로 있으면 이동 비용은 0입니다. 실제 도시에서 추정한 값이 아니라 공개한 교육용 매개변수입니다. 양의 a는 붐비는 곳의 비용을 높이고, 음의 a는 모였을 때의 이점을 줍니다. b는 두 장소의 상대 비용을 기울입니다. 기준값 3은 지정한 범위에서 비용을 양수로 유지하지만 개인의 비교에는 영향을 주지 않습니다.

두 도착 비용의 차이는 다음과 같습니다.

$$D(m)=c_1(m)-c_0(m)=a(2m-1)+b.$$

무시 가능한 개인이 목적지를 비교할 때는 m을 고정합니다. 인구의 양의 비율을 이동시키는 계획자는 분포가 바뀌는 효과를 무시할 수 없습니다.

시작 위치별로 역방향 최적화를 한다

처음 0에 있던 개인이 최종 1에 있을 확률을 alpha, 처음 1에 있던 개인의 같은 확률을 beta라 합시다. 도착지 0,1 순서의 비용 행은 다음과 같습니다.

$$(c_0,c_1+k),\qquad(c_0+k,c_1).$$

역방향 가치는 각 행의 최솟값입니다. 최적인 확률 전체는 다음과 같습니다.

$$\alpha\in A(m)= \begin{cases}\{1\}&D<-k\\{[0,1]}&D=-k\\\{0\}&D>-k,\end{cases} \qquad \beta\in B(m)= \begin{cases}\{1\}&D<k\\{[0,1]}&D=k\\\{0\}&D>k.\end{cases}$$

동률이면 모든 혼합이 최적입니다. 행동 하나를 임의로 고르면 가능한 균형을 버릴 수 있습니다. Beta는 이동 확률이 아니라 최종 위치 1 확률입니다. 처음 1에 있던 개인은 beta=1일 때 그대로 있습니다.

여기서는 두 시작 상태 모두에서 최적인 피드백 정책을 요구합니다. Mu가 0이나 1이면 비어 있는 집단에도 정책 최적성 조건을 둡니다. 인구 가중 개선 이득은 별도로 표시합니다. 비어 있는 집단의 정책이 비최적이어도 그 이득에 가중치 0을 곱하면 평균은 0일 수 있습니다. 초기 점유 상태만 평가하는 조건보다 강한 규약입니다.

인구는 순방향으로 이동한다

정책이 주어지면 최종 질량은 다음과 같습니다.

$$m'=(1-\mu)\alpha+\mu\beta.$$

개인이 고정한 질량 m에서 최적 반응으로 만들 수 있는 질량은 구간입니다.

$$\mathcal B(m)=(1-\mu)A(m)+\mu B(m).$$

균형에서는 m이 B(m)에 속해야 합니다. 첫 그림의 가로는 고정한 질량, 세로는 최적 반응이 만들 수 있는 질량이고 점선은 m'=m입니다. 수직 동률 구간과 사각형 반응 영역은 가능한 흐름의 집합입니다. 시간 그래프의 점프를 연결한 선이 아닙니다.

조회 정책은 항상 자기 순방향 질량을 만듭니다. 그 질량에서 실제 정책이 개인적으로 최적인지를 따로 검사합니다. 조회 질량이 균형 질량 집합에 있어도 alpha와 beta가 최적이라는 보장은 없습니다. 화면에서 질량 소속과 정책 균형을 나눠 표시하는 이유입니다.

조회 격자와 독립적으로 모든 해를 구한다

선형 함수 D의 반응 규약은 D=−k 또는 D=k에서만 달라집니다. 이 정확한 유리수 경계로 [0,1]을 나눕니다. 각 열린 구간에서는 반응 범위가 고정되므로 가능한 흐름 구간과 질량 구간을 교차시킵니다. 경계점은 별도로 검사하고 이어진 해 구간은 합칩니다.

최적 반응의 그래프가 닫혀 있고 인구 사상이 연속이어서 해 구간의 극한 끝점도 유효합니다. 구현은 이 끝점을 정확히 재검사합니다. 질량 슬라이더의 격자에서만 찾는 대신 고립점·여러 성분·연속 구간 전체를 남깁니다.

예를 들어 a=2,b=0,k=0.01,mu=0.8이면 균형 질량은 201/400=0.5025이고 일관된 정책은 alpha=0,beta=201/320입니다. 질량 0.01 단위 격자로는 놓치는 값이며 정책 슬라이더도 그 beta를 정확히 표현하지 못하지만, 해 집합 계산에서는 그대로 남습니다.

선택한 질량에서도 정책은 집합일 수 있다

균형 질량 m*에서 일관된 최적 정책은 다음을 만족합니다.

$$(\alpha,\beta)\in A(m^*)\times B(m^*),\qquad (1-\mu)\alpha+\mu\beta=m^*.$$

이는 최적 반응 사각형과 흐름 직선의 교집합이므로 점 또는 선분입니다. 아래 그림은 그 단면 전체를 보존합니다. 최적으로 남는다면 인구 가중치가 0인 집단의 자유로운 정책도 포함합니다. 질량을 하나 골랐다고 정책까지 유일해지는 것은 아닙니다.

a=b=k=0이면 모든 도착 비용이 3이고 모든 정책이 개인적으로 최적이며 질량 [0,1] 전체가 균형입니다. Mu=1/2,선택 질량=1/2에서는 alpha+beta=1 선분이 남습니다. 한 쌍을 임의로 고른 값이 아닙니다. 구간 내부 위치를 바꾸면 전체 균형 구간을 탐색할 수 있고, 고립점에서는 그 입력이 아무 것도 바꾸지 않습니다.

손계산: 서로 다른 다섯 균형

a=−1,b=0,k=1/5,mu=1/2라 합시다. D=1−2m입니다. 2/5보다 아래에서는 두 집단이 최종 0을 선호해 끝점 m=0이 균형입니다. 3/5보다 위에서는 최종 1을 선호해 m=1이 균형입니다. 두 경계 사이에서는 각자 머무르므로 m=1/2을 만듭니다.

m=2/5에서는 처음 1 집단이 무차별하고 alpha=0입니다. 일관성은 beta=4/5를 요구합니다. m=3/5에서는 beta=1,alpha=1/5가 필요합니다. 따라서 모든 균형 질량은 다음과 같습니다.

$$\left\{0,\frac25,\frac12,\frac35,1\right\}.$$

경계의 두 균형은 혼합이 필요합니다. 동률의 확률 구간을 항상 끝점 하나로 바꾸는 계산은 이를 놓칠 수 있습니다. 해 하나만 찾은 계산으로 유일성을 주장할 수도 없습니다.

사회적 비용은 분포의 외부 효과를 포함한다

실제 인구의 이동량은 다음과 같습니다.

$$M=(1-\mu)\alpha+\mu(1-\beta).$$

조회 정책의 사회적 비용은 두 집단의 기대 비용을 인구로 가중한 값이며 다음과 같습니다.

$$C_{\rm query}=(1-m)c_0(m)+mc_1(m)+kM.$$

정해진 최종 질량을 만드는 최소 이동량은 |m−mu|입니다. 필요한 순이동만 한 방향으로 보내면 달성할 수 있습니다. 계획자의 문제는 다음 함수의 전역 최솟값입니다.

$$W(m)=3+a\bigl((1-m)^2+m^2\bigr)+b(m-\tfrac12)+k|m-\mu|.$$

전역 최소인 점과 평평한 구간을 모두 남깁니다. Mu의 양쪽은 이차 또는 일차 함수입니다. 볼록한 쪽의 내부 임계점, 오목한 쪽의 끝점, 기울기 0인 선형 구간을 검사합니다.

Carmona·Delarue·Lachapelle의 논문은 mean-field 게임과 분포 의존 제어의 차이를 다룹니다. 이 실습에서는 차이가 미분식에 드러납니다. 이동 비용의 꺾임점 바깥에서 계획자는 2a(2m−1)+b를 쓰지만 개인은 a(2m−1)+b를 비교합니다. 계획자는 분포 변화로 다른 사람들의 비용도 바뀐다는 사실을 계산합니다.

손계산: 개인 균형과 사회적 최적이 다르다

a=1,b=3/5,k=1/5,mu=4/5를 사용합시다. 유일한 균형 질량은 3/10이고 alpha=0,beta=3/8이 이를 만듭니다. 이때 c0=17/5,c1=18/5입니다. 처음 1에 있던 개인은 그대로 남아 18/5를 내거나 이동해 17/5+1/5를 내는 것이 같습니다. 다른 집단은 엄격히 머무르기를 선호합니다.

이동량은 1/2이므로 사회적 비용은 89/25=3.56입니다. 계획자는 질량 2/5에서 177/50=3.54를 얻어 간극이 1/50입니다. m<mu 구간의 계획 미분식 4m−2+3/5−1/5=0에서 2/5가 나옵니다. 개인의 경계식 2m−1+3/5=1/5에서는 다른 값 3/10을 얻습니다.

이는 지정한 모형의 외부 효과 차이입니다. 일반적인 실증 효율성 추정값이나 모든 mean-field 균형이 비효율적이라는 주장이 아닙니다.

맞는 질량 안에도 불필요한 왕복 이동이 있을 수 있다

a=1,b=0,k=1/5,mu=1/2에서 alpha=beta=1/2을 조회합시다. 최종 질량 1/2는 균형 질량입니다. 그러나 두 집단 모두 그대로 있으면 이동 비용을 아낄 수 있어 각각의 개선 이득은 1/10입니다. 조회 정책은 균형이 아닙니다.

실제 이동량은 1/2,최소 순이동은 0입니다. 실제 사회적 비용은 W(1/2)보다 1/10 큽니다. 파란 곡선은 최소 순이동 비용 W이고 파란 조회점은 실제 정책 비용이므로 위에 놓이는 것이 맞습니다. 조회점을 억지로 곡선에 맞추면 실제 비용을 지우게 됩니다.

유일성과 계산의 수렴은 다른 문제다

이 유한 모형의 균형 질량은 다음 함수에 대한 스칼라 변분 조건을 만족합니다.

$$J(m)=a(m^2-m)+bm+k|m-\mu|,\qquad0\le m\le1.$$

매끄러운 부분의 미분이 D(m)이고 이동은 절댓값의 부분기울기를 만듭니다. 양의 a에서는 J가 엄격히 볼록하므로 균형 질량이 유일합니다. 정책의 유일성까지 뜻하지는 않습니다. J는 잠재함수이며 사회적 목적 W와도 다릅니다. 음의 a에서는 정상 조건의 해가 여럿일 수 있으므로 J의 전역 최소만 찾으면 일부 균형을 버리게 됩니다.

균형이 유일해도 결정론적 최적 반응 선택은 수렴하지 않을 수 있습니다. a=1,b=0,k=1/5,mu=4/5에서 m=0을 고정하면 모두 1을 택하고, m=1을 고정하면 모두 0을 택합니다. 갱신은 0→1→0→1로 반복되지만 혼합 균형 3/5는 존재합니다. 이는 진단용 반례이며 구현한 물리 시간 경로가 아닙니다. 집합값 고정점의 존재가 특정 갱신 규칙을 인증하지는 않습니다.

연속적인 순방향·역방향 방정식과 연결한다

연속 MFG에는 개인 가치 u(t,x)와 인구 밀도 m(t,x)가 있습니다. 분리 가능한 비용과 확산을 쓰는 표준 형태 하나는 다음과 같습니다.

$$-\partial_tu-\nu\Delta u+H_0(x,\nabla u)=F(x,m),$$ $$\partial_tm-\nu\Delta m-\nabla\cdot\bigl(mD_pH_0(x,\nabla u)\bigr)=0, \qquad m(0)=m_0,\quad u(T,x)=G(x,m_T).$$

이 Hamiltonian 부호 규약에서 최적 drift는 −D_pH0입니다. 개인 가치는 종단 비용에서 역방향으로, 밀도는 초기 분포에서 순방향으로 진행합니다. 주기 영역과 적절한 정칙성에서는 발산항의 적분이 없어져 총질량이 보존됩니다. 다른 영역에는 적절한 경계·감쇠 조건이 필요합니다.

Cardaliaguet의 강의노트 §1은 이 결합을 설명합니다. 볼록성·정칙성·경계조건·단조성 등이 분석에 들어갑니다. 두 시점 실습은 분포 고정→개인 최적화→흐름 재생성→일관성의 논리를 보여 주지만 PDE 수치해법이나 일반적인 존재·유일성 정리의 증명이 아닙니다.

여기의 선형 도착 비용에서 두 인구 m,n의 단조성 pairing은 2a(m−n)^2입니다. 부호가 혼잡과 집중 효과의 차이를 설명합니다. 연속체 유일성 정리를 쓰려면 그 정리의 모든 가정이 필요하며 양의 슬라이더 하나로 일반 PDE를 인증할 수는 없습니다.

연구 주장에는 어떤 근거가 더 필요한가

유한 인구에서는 개인의 영향이 0이 아닙니다. Nonatomic 해에서 근사 Nash 결과를 얻으려면 유한 플레이어 모형·정보 구조·정칙성과 오차 논증을 명시해야 합니다. 군중처럼 보이는 그림에서 오차율이 자동으로 나오지 않습니다.

균형 계산, 해법의 안정성, mean-field control, 물리적 평균장 폐쇄도 서로 다른 작업입니다. 참고문헌은 수학적 틀의 근거이며 오늘의 미해결 문제 상태를 선언하기 위한 자료가 아닙니다. 실습이 인증하는 것은 지정한 작은 게임의 완전한 유리수 해 집합과 별도의 계획 문제입니다.

확인 문제와 해설

문제 1. a=1,b=3/5,k=1/5,mu=4/5에서 m=3/10의 처음 1 집단 무차별 조건과 계획 최적 m=2/5를 유도하세요.

해설. D(3/10)=1/5이므로 c1=c0+k입니다. m<mu에서 계획 미분은 4m−2+3/5−1/5이고 0으로 두면 2/5입니다. 전체 비용이 분포에 의존하므로 두 식이 다릅니다.

문제 2. 질량 소속과 인구 가중 개선 이득 0이 모두 전체 상태 정책 최적성보다 약할 수 있는 이유는 무엇인가요?

해설. 불필요한 왕복 이동을 하면서도 균형 질량을 만들 수 있습니다. 또 mu=0에서는 비어 있는 집단의 양의 개선 이득이 인구 가중치 0에 가려집니다. 실습은 이 조건들을 따로 계산합니다.

문제 3. 동률에서 무엇을 보존해야 하며, 최적 반응의 진동이 왜 균형 부존재의 증명이 아닌가요?

해설. 최적 반응의 구간과 흐름이 일관된 정책 단면 전체를 남겨야 합니다. 결정론적 선택이 고정점에 필요한 혼합을 놓칠 수 있습니다. 정확한 질량 분할은 그 선택한 갱신의 수렴 여부와 독립적으로 균형을 인증합니다.