다중선형사상과 텐서 계수

한 슬롯씩 보면 선형

쌍선형사상 F:U×V→W는 다른 입력을 고정했을 때 각 슬롯에 대해 선형입니다. 첫 슬롯의 조건은

이고 둘째 슬롯도 같은 조건을 만족합니다. 모든 입력을 한 벡터로 이어 붙인 뒤의 선형사상이라는 뜻은 아닙니다. 곱 uv가 각 변수에 대해 선형이지만 (u,v)를 동시에 두 배로 하면 네 배가 되는 예제가 직관을 줍니다.

기저에서 계수를 저장하기

기저 벡터에 대한 출력 F(eᵢ,fⱼ)의 k번째 성분을 Xᵢⱼₖ로 저장하면 전체 사상을 표현할 수 있습니다.

다중선형성이 각 입력의 기저 전개를 항별로 밖으로 꺼낼 수 있게 합니다. 이 계수 배열이 텐서 표현과 연결됩니다. 고정한 기저와 출력 성분 규약을 바꾸면 계수도 그에 맞춰 바뀝니다.

실습의 Xᵢⱼₖ=1+4i+2j+k에서 u=e₀,v=e₁이면 출력은 X₀₁ₖ=(3,4)입니다. 특정 계수 섬유를 선택하는 과정으로 해석할 수 있습니다.

동시 확대는 joint linearity가 아니다

기준 출력 (3,4)의 두 비교값은 (6,8),(12,16)입니다. 같은 함수에서 한 입력을 0으로 놓으면 선형성에 의해 출력은 0입니다. 0 입력이 들어오면 affine bias가 남는 모델은 그 슬롯에 대해 엄밀한 multilinear map이 아닙니다.

Tensor product의 선형화

쌍선형사상은 텐서곱 공간의 선형사상 F̃와 F(u,v)=F̃(u⊗v)로 연결됩니다. u⊗v의 성분 uᵢvⱼ가 입력 상호작용을 명시적으로 저장합니다. 모든 입력 쌍을 표현하는 텐서곱 공간은 차원이 dim U·dim V라서 연결 벡터의 차원 합과 다릅니다.

이 보편 성질의 일반 증명은 추상대수·텐서곱 심화에서 확장합니다. 이 단원은 기저 성분 전개로 계산을 이해합니다.

그림과 작은 검산

파랑은 F(u,v), 주황은 F(2u,v)의 두 출력 성분입니다. 표는 두 슬롯을 모두 확대했을 때도 보여 줍니다. u=v=(1,1)이면 출력은 (16,20)입니다. 덧셈성 잔차는 별도로 계산한 F(u+v,e₀)와 F(u,e₀)+F(v,e₀)를 비교합니다. 동일한 결과를 양쪽에 복사한 값이 아닙니다.

AI 연결과 확인 문제

쌍선형 pooling, 두 모달리티 상호작용, attention 점수의 곱셈 구조를 이 관점에서 볼 수 있습니다. 하지만 softmax나 nonlinear activation을 추가한 전체 블록이 그대로 multilinear인 것은 아닙니다. 어느 부분 함수가 어떤 입력에 선형인지 구분하세요.

1. 슬롯 세 개인 trilinear map의 모든 입력을 두 배로 하면? 8배입니다.
2. u=0이면 F(u,v)는? 0입니다.
3. 입력을 concatenate하는 것과 u⊗v를 만드는 것은? 차원과 상호작용 의미가 다른 연산입니다.

추가 읽기: Kolda–Bader, Tensor Decompositions and Applications. 본문의 작은 배열·복원·비용 예제는 직접 구성했습니다.