전략·보수·혼합전략·독립과 상관

게임에는 플레이어·행동·선호가 필요하다

두 의사결정자가 있다고 합시다. P1은 행 R0과 R1 중 하나, P2는 열 C0과 C1 중 하나를 고릅니다. 두 사람은 상대가 이번에 고른 행동을 보지 못한 채 한 번씩 결정합니다. 정규형 게임은 각자의 전략 집합과 모든 공동 선택에서의 보수를 명시합니다.

이처럼 한 번 결정하는 상황에서는 순수전략을 한 행동과 같게 생각할 수 있습니다. 일반적인 순차 게임에서는 전략이 모든 정보 집합에서 무엇을 할지 정하는 완전한 조건부 계획이어야 합니다. 실제로 도달하지 않은 상황의 선택까지 포함하므로 행동 하나와 전략을 언제나 같은 뜻으로 사용하면 안 됩니다.

각 셀의 순서쌍 (u1,u2)에서 첫 값은 P1, 둘째는 P2의 보수입니다. 첫 숫자가 크다고 P2에게도 좋은 것은 아닙니다. 실습에는 조정, 상반 보수, 사회적 딜레마의 세 행렬이 있으며 보수를 모두 표시합니다. 사적 유형이나 신호, 반복 학습 과정은 이 첫 모형의 범위에 포함하지 않습니다.

정규형과 혼합전략의 구분은 MIT Representation of Games 강의노트 3.3·3.3.2절을 참고했습니다. 유한 보수 행렬과 정수 확률 계산, 아래 비교 예제는 이 교재를 위해 구성했습니다.

혼합전략은 중간 행동이 아니라 분포다

P1이 R0을 고를 확률을 p, P2가 C0을 고를 확률을 q라고 합시다. 각자의 혼합전략은 다음 벡터입니다.

$$x=(p,1-p),\qquad y=(q,1-q),\qquad p,q\in[0,1].$$

확률 0.5라고 해서 R0과 R1의 중간에 새로운 행동이 생기는 것은 아닙니다. 한 번 실행하면 둘 중 하나의 행동을 합니다. 분포는 의도적인 무작위 선택, 상대의 선택에 대한 예측, 집단 내 서로 다른 선택의 비율 등을 모형에 맞게 표현할 수 있습니다. 관측 빈도만으로 어느 해석이 실제 생성 과정인지 알 수는 없습니다.

순수전략도 경계값에 포함됩니다. p=1이면 항상 R0, p=0이면 항상 R1입니다. 실습 입력 50은 백분율이므로 실제 확률은 0.5입니다. 정수 백분율은 정확한 분자를 추적하기 위한 조작 격자이며 수학적 혼합전략 자체를 백분율 값으로 제한하는 것은 아닙니다.

독립성이 결합 확률을 결정한다

각자가 독립적으로 사적인 무작위 선택을 하면 결합 확률은 곱입니다.

$$P=xy^T= \begin{pmatrix} pq&p(1-q)\\ (1-p)q&(1-p)(1-q) \end{pmatrix}.$$

네 값의 합은 1입니다. 각 행을 더하면 P1의 주변 확률, 각 열을 더하면 P2의 주변 확률이 나옵니다. 하지만 두 주변 확률만 주어졌다고 결합 확률이 곱이라고 결론 내릴 수는 없습니다. 독립성이라는 가정이 더 필요합니다. 각자가 공정한 확률로 행동하더라도 두 행동이 항상 같거나 항상 다르도록 결합할 수 있습니다.

첫 그림은 행·열의 주변 확률과 각 셀의 결합 확률을 나눠 표시합니다. 음영은 셀의 질량이고 테두리는 조회할 셀입니다. 조회는 표본추출이 아닙니다. 사용자가 확률 0인 셀을 조회해도 그 사건이 실제 발생했다고 표시하지 않습니다.

두 플레이어의 기대 보수를 따로 계산하기

같은 행·열 순서에서 P1의 보수 행렬을 A, P2의 보수 행렬을 B라고 놓습니다. 독립 혼합전략에서는 다음과 같습니다.

$$U_1(x,y)=x^TAy,\qquad U_2(x,y)=x^TBy.$$

P1의 식을 풀어 쓰면 네 공동 행동의 기여를 더하는 것입니다.

$$U_1=pqA_{00}+p(1-q)A_{01}+(1-p)qA_{10}+(1-p)(1-q)A_{11}.$$

P2에게는 A를 다시 쓰거나 자동으로 전치하는 것이 아니라 B를 사용해야 합니다. 같은 공동 사건에 대한 보수이므로 확률은 공유하지만 평가 값은 다를 수 있습니다. 일반적인 결합 법칙에서는 각 셀 확률 P_ab에 해당 플레이어의 보수를 곱해 합산합니다. 곱 분포로 분해될 때만 위의 쌍선형 식을 그대로 쓸 수 있습니다.

기대 보수는 주어진 법칙에 대한 가중 평균입니다. 매번 그 숫자를 받는다는 뜻은 아닙니다. 적절한 가정 아래 반복 표본으로 이를 추정할 수 있지만, 이 실습은 무작위 시뮬레이션 대신 네 사건의 기대값을 직접 계산합니다.

손계산: 독립적인 공정 조정 게임

조정 게임에서 대각 셀 R0C0의 보수는 (2,2), R1C1은 (1,1)이고 다른 두 셀은 (0,0)입니다. p=q=0.5에 독립성을 가정하면 네 셀 확률이 모두 0.25이므로 각 기대 보수는 다음과 같습니다.

$$0.25\cdot2+0.25\cdot0+0.25\cdot0+0.25\cdot1=0.75.$$

한 번 실행해서 얻는 보수는 2,0,1 중 하나입니다. 두 번째 그림에서 셀별 확률에 보수를 곱한 기여를 볼 수 있습니다. 각 행의 위 파란 표식은 P1, 아래 주황 표식은 P2의 기여이며 합도 따로 보여줍니다. 이 예제에서 값이 같다고 두 플레이어의 평가를 언제나 하나로 합치면 안 됩니다.

이제 두 주변 확률을 0.5로 유지하면서 행동을 항상 같게 만듭니다. 대각 두 셀에 0.5씩 질량이 생겨 각 기대 보수는 1.5가 됩니다. 항상 다르게 행동하게 하면 비대각 셀에만 0.5씩 질량이 생겨 두 기대 보수는 모두 0입니다. 주변 확률은 바뀌지 않았고 결합 법칙이 바뀌었습니다.

두 이진 선택의 모든 가능한 결합 유도하기

s=P(R0,C0)라고 놓으면 주변 확률이 나머지 세 칸을 결정합니다.

$$P=\begin{pmatrix}s&p-s\\q-s&1-p-q+s\end{pmatrix}.$$

네 값이 음수가 아니어야 하므로 가능한 구간은 다음과 같습니다.

$$\max(0,p+q-1)\le s\le\min(p,q).$$

반대로 이 구간의 어떤 s를 사용해도 모든 질량이 음수가 아니고 합과 주변 확률이 맞습니다. 비교 슬라이더는 이 구간의 왼쪽에서 오른쪽으로 이동합니다. 상관계수 그 자체를 입력하는 것이 아닙니다. 독립 혼합은 s=pq인 특별한 경우이며 이 값도 항상 가능한 구간 안에 있습니다. 실습의 분해 진단은 정수 조작 격자에서 이 등식을 정확히 비교합니다.

행동 0을 택했는지 나타내는 두 이진 지시변수의 공분산은 s−pq입니다. 공정한 주변 확률에서는 가능한 극값이 −0.25와 0.25입니다. 이 이진 쌍에서는 공분산 0이 s=pq를 정하므로 독립성을 뜻합니다. 일반 확률변수에서는 무상관과 독립을 이렇게 같게 놓을 수 없습니다.

결합 법칙은 조건부 확률도 바꾼다

p가 양수일 때 다음 비율을 계산할 수 있습니다.

$$P(C0\mid R0)=\frac{s}{p}.$$

독립이면 q와 같습니다. 주변 확률이 공정하고 두 행동이 항상 같으면 이 조건부 확률은 1입니다. P2의 주변 확률은 여전히 0.5이지만 P1의 행동을 관측한 뒤에는 정보가 달라집니다.

p=0이면 이 초등적인 조건부 확률 비율의 분모가 0입니다. 화면은 0이 아니라 사용 불가인 —를 표시합니다. 셀의 보수는 다릅니다. 현재 질량이 없는 행동 쌍에도 게임의 효용 함수가 보수를 정할 수 있습니다. 결합 표만으로 확률 0인 조건 사건에서의 조건부 값을 식별할 수는 없습니다.

손계산: 비대칭 보수와 순수전략

사회적 딜레마 행렬의 보수는 R0C0=(3,3), R0C1=(0,5), R1C0=(5,0), R1C1=(1,1)입니다. p=1, q=0이면 R0C1에만 질량이 있으므로 P1의 기대 보수는 0, P2의 기대 보수는 5입니다. 두 사람에게 첫 보수만 재사용하면 잘못된 결과를 얻습니다.

R0C0을 조회해 보세요. 확률은 0이지만 보수 (3,3)는 여전히 게임에 정의되어 있습니다. 조회가 그 사건을 발생시킨 것은 아닙니다. P(C0)=0이므로 P(R0|C0)는 사용 불가입니다. 반대로 P(R0)=1이므로 P(C0|R0)는 정의되어 0입니다. 조건의 방향을 바꾸면 질문과 분모가 모두 달라집니다.

정수 격자 계산과 독립 혼합 기준 곡선

백분율 입력을 P,Q라고 하면 독립 셀 00의 분자는 PQ이고 공통 분모는 10000입니다. 비교 모드에서는 L=max(0,P+Q−100), H=min(P,Q), 결합 비율 r에 대해 분자를 100L+(H−L)r로 정합니다. 다른 분자도 정수 뺄셈으로 계산합니다. 확률 합, 주변 확률, 독립성 진단은 표시용 실수 변환 전에 정확한 정수로 검사할 수 있습니다. 이 실습의 보수도 정수이므로 기대 보수의 분자도 정수입니다.

표시 숫자는 반올림하지만 표와 읽기 영역에 분자를 남깁니다. 마지막 곡선은 P2의 확률을 고정하고 P1의 확률을 바꾸는 독립 혼합의 기준선입니다. 상관된 현재 법칙의 기대값을 독립 곡선의 점인 것처럼 그리지 않습니다. 비교 모드라도 현재 표가 정확히 곱으로 분해되는 경우에는 해당 조회점을 표시합니다.

효용 척도와 이번 모형의 범위

효용은 모형 안의 확률적 결과에 대한 각자의 선호를 표현합니다. 돈일 필요도 없고 서로 다른 플레이어끼리 같은 단위라고 가정하지도 않습니다. 한 사람의 효용을 양의 α와 상수 β로 바꾸면 모든 기대값이 같은 양의 아핀 변환을 받으므로 확률적 결과의 순위가 보존됩니다. 일반적인 증가 비선형 변환은 확정 결과의 순위를 보존해도 복권의 선호 순위를 바꿀 수 있습니다.

여기서는 분포와 기대 보수를 계산합니다. Nash equilibrium, correlated equilibrium, 유인에 맞는 추천 규칙, 학습 알고리즘의 수렴을 인증하지 않습니다. 가능한 상관 결합 표가 자동으로 correlated equilibrium의 유인 제약을 만족하는 것은 아닙니다. 다중 행위자 학습으로 넘어갈 때 이 구분을 유지해야 합니다.

연습 문제와 해설

문제 1: p=0.7, q=0.4일 때 s의 가능한 구간과 독립 결합 표, 독립일 때 P(C0|R0)를 구하세요.

해설: s는 0.1에서 0.4 사이입니다. 독립이면 s=0.28이고 행 우선 셀 순서로 확률은 (0.28,0.42,0.12,0.18)입니다. 조건부 확률은 0.28/0.7=0.4입니다. 결합 구간의 오른쪽 끝에서는 0.4/0.7=4/7이 됩니다. 주변 확률만으로는 조건부 확률이 결정되지 않는 이유를 확인할 수 있습니다.

문제 2: 상반 보수 게임에서 P1은 행동이 같으면 1, 다르면 −1을 받고 P2는 그 음수를 받습니다. 공정 독립, 항상 같은 행동, 항상 다른 행동의 세 결합 법칙을 비교하세요.

해설: 기대 보수 쌍은 각각 (0,0),(1,−1),(−1,1)입니다. 이 특별한 게임에서는 합이 언제나 0입니다. 주변 확률이 같아도 공동 결과나 두 사람의 효용이 같다는 뜻은 아닙니다.

문제 3: 효용 0과 4를 같은 확률로 받는 복권과 확정 효용 1.5를 비교하세요. 모든 효용에 제곱근을 취하면 기대 효용 순위가 보존될까요?

해설: 원래 기대값은 복권 2, 확정 결과 1.5여서 복권이 더 큽니다. 제곱근 변환 뒤 복권의 기대값은 1이고 확정 결과는 sqrt(1.5)>1이어서 순위가 바뀝니다. 증가 함수라는 이유만으로 기대 효용 척도의 무해한 변경이라고 볼 수 없습니다.