이 단원 목차
값을 몇 개 저장하는지 세기
모든 축의 크기가 n이고 차수가 d이면 밀집 배열의 원소 수는 n의 d제곱입니다. 차수가 하나 늘 때마다 n배가 되므로 차원의 저주를 수치로 볼 수 있습니다. 분해 표현은 큰 배열 대신 인자와 코어를 저장합니다. 먼저 모델 형식과 랭크 예산을 명확하게 고정해야 합니다.
CP 식은 각 성분의 d개 길이 n 벡터와 가중치 하나를 명시적으로 저장합니다. 가중치를 인자에 흡수하는 다른 규약에서는 개수가 달라집니다. 여기서는 같은 규약을 모든 설정에 사용합니다.
Tucker와 TT의 저장 공식
Tucker는 축별 인자 d개와 크기 r의 d차 코어를 저장합니다. TT는 양 끝 코어와 내부 코어를 따로 세어야 합니다.
d=2이면 내부 코어가 없어서 두 번째 항은 0입니다. 이 공식은 모든 내부 bond를 같은 r로 할당한 저장량입니다. 최소 랭크라고 가정하지 않습니다. r이 n보다 큰 중복 표현도 조절기에서는 할당 비용을 보여주기 위해 허용합니다.
숫자로 확인하는 압축과 역전
기준 d=6,n=4,r=2에서는 밀집 4096개, CP 50개, Tucker 112개, TT 80개입니다. 스칼라당 4바이트이면 밀집 16384바이트와 TT 320바이트입니다. 반면 d=2,n=2,r=4이면 밀집은 4개지만 TT는 16개입니다. 분해 형식을 썼다는 이유만으로 메모리가 줄지는 않습니다.
2바이트 모드로 바꾸면 개수는 그대로이고 바이트 수만 절반이 됩니다. 실제 수치 정밀도와 오차는 이 계산기에서 시뮬레이션하지 않습니다. 그래프의 세로축은 원소 수의 log10입니다. 두 배 높이를 두 배 메모리로 해석하지 마세요.
비교의 한계와 실제 실행 비용
CP·Tucker·TT에서 같은 숫자 r은 같은 표현력이나 같은 오차를 뜻하지 않습니다. 저장량 비교는 주어진 형식의 할당 비용만 비교합니다. 어떤 랭크가 작업 정확도를 유지하는지는 데이터로 따로 평가해야 합니다.
여기에는 optimizer 상태, gradient, activation, 중간 복원 버퍼, 정렬·메타데이터가 포함되지 않습니다. 전체 텐서를 매번 복원하면 압축 저장의 이득을 계산 과정에서 잃을 수 있습니다. 실제 시스템에서는 저장된 코어를 직접 수축하는 방식과 실행 시간을 함께 살펴보세요.
확인 문제
- 4바이트에서 2바이트로 바꾸면 원소 수는? 같습니다.
- 같은 r이면 세 형식의 정확도도 같은가요? 그렇지 않습니다.
- d가 커질 때 고정 r의 TT 저장량은? 이 공식에서는 d에 대해 선형으로 증가합니다.
추가 읽기: Kolda–Bader, Tensor Decompositions and Applications. 본문의 작은 배열·복원·비용 예제는 직접 구성했습니다.
설명할 수 있나요?
실험 설정과 무관한 기준 예제를 묻습니다. 답을 고르고 설명을 확인해보세요.
선택한 답과 학습 표시는 이 브라우저에 저장됩니다. 다시 풀거나 표시를 해제할 수 있습니다.