[논문 리뷰] Pruning as a Game: Equilibrium-Driven Sparsification of Neural Networks

TL;DR

본 논문 "Pruning as a Game: Equilibrium-Driven Sparsification of Neural Networks"는 신경망 가지치기(pruning)를 기존의 휴리스틱 기반 중요도 점수나 정규화 방법과는 달리, 모델 구성 요소 간의 전략적 상호 작용의 균형 상태로 재해석합니다. 파라미터 그룹(weights, neurons, filters)을 게임의 플레이어로 모델링하여 각 플레이어가 네트워크 참여 수준을 결정하고, 이 과정에서 기여도와 중복성 및 경쟁 간의 균형을 맞추도록 합니다. 이러한 게임 이론적 접근 방식은 희소성이 외부에서 강제되는 제약 조건이 아니라, 균형 상태에서 자연스럽게 발생하는 결과임을 보여줍니다. 제안된 알고리즘은 명시적인 중요도 점수 없이 네트워크 파라미터와 참여 변수를 공동으로 업데이트하며, 실험 결과 표준 벤치마크에서 경쟁력 있는 희소성-정확도 절충점을 달성했습니다. 본 연구는 가지치기를 균형 현상으로 보는 원리적 틀을 제시하고 실증적으로 검증함으로써, 기존 가지치기 방법에 대한 해석 가능하고 이론적인 대안을 제공합니다.

연구 배경 및 동기

신경망 가지치기는 모델 크기, 계산 비용, 에너지 소비를 줄이는 데 널리 사용되는 기술입니다. 지난 10년간 magnitude-based thresholding, sensitivity and saliency metrics, lottery-ticket style rewinding 등 다양한 가지치기 방법이 제안되었습니다. 하지만 이러한 방법들은 공통적으로 희소성을 외부에서 강제되는 제약 조건으로 취급하고, 휴리스틱한 중요도 점수를 사용하여 파라미터를 평가하고 제거합니다.

기존 접근 방식은 파라미터의 중요도를 개별적으로 평가하고, magnitude, gradients, training dynamics 등을 기반으로 제거 여부를 결정합니다. 이러한 방식은 효과적이지만, 왜 과도하게 파라미터화된(overparameterized) 네트워크에서 희소성이 발생하는지에 대한 근본적인 질문에 대한 통찰력을 제공하지 못합니다. 특히, 기존 접근 방식은 일부 구성 요소가 중복하게 되고 다른 구성 요소는 필수적으로 유지되도록 하는 파라미터 간의 상호 작용을 모델링하지 않습니다.

본 연구는 가지치기를 제한된 표현 리소스를 놓고 경쟁하는 모델 구성 요소 간의 전략적 상호 작용의 결과로 이해하는 것이 더 자연스럽다고 주장합니다. 훈련 중에 파라미터는 독립적으로 기여하지 않고, 공유 gradients, overlapping activations, redundant representations를 통해 상호 작용합니다. 일부 구성 요소는 고유하고 필수적인 기여를 제공하는 반면, 다른 구성 요소는 훈련이 진행됨에 따라 점점 더 중복됩니다. 이러한 관점에서 희소성은 외부에서 강제되는 제약 조건이 아니라, 파라미터 간의 경쟁과 지배의 창발적인 속성입니다.

따라서 본 연구는 게임 이론적 관점에서 신경망 가지치기를 공식화합니다. 파라미터 그룹(weights, neurons, filters)을 게임의 플레이어로 모델링하고, 각 플레이어는 네트워크 참여 수준을 전략으로 결정합니다. 각 플레이어는 훈련 목표에 대한 기여도와 중복성 및 다른 플레이어와의 경쟁으로 인한 비용 간의 균형을 맞추는 payoff를 받습니다. 플레이어의 최적 전략이 균형 상태에서 0으로 수렴하면 가지치기가 자연스럽게 발생하며, 이는 지속적인 참여가 더 이상 유익하지 않음을 나타냅니다.

이 연구는 다음과 같은 연구 질문에 답하고자 합니다.

• 신경망 가지치기를 게임 이론적 관점에서 어떻게 공식화할 수 있는가?
• 희소성은 제안된 게임의 안정적인 균형 상태로 자연스럽게 발생하는가?
• 이론적 프레임워크에 기반한 간단한 균형 기반 가지치기 알고리즘을 도출할 수 있는가?
• 제안된 접근 방식은 기존 가지치기 방법과 비교하여 경쟁력 있는 희소성-정확도 절충점을 달성하는가?

관련 연구

본 논문은 신경망 가지치기 및 게임 이론적 학습과 관련된 다양한 연구를 참고하고 있습니다. 아래 표는 본 논문과 관련된 주요 선행 연구 5개를 분석하고, 본 논문과의 차별점을 정리한 것입니다.

| 선행 연구 | 방법론 | 장점 | 단점 | 본 논문과의 차별점 9 0 | 선행 연구 COMPREHENSIVELY. [1] Y. LeCun, J. S. Denker, S. Solla, R. E. Howard, and L. D. Jackel. Optimal brain damage. In NIPS, 1990. [2] B. Hassibi, D. G. Stork, and G. J. Wolff. Optimal brain surgeon and general network pruning. In IEEE International Conference on Neural Networks, 1993. [3] S. Han, J. Pool, J. Tran, and W. J. Dally. Learning both weights and connections for efficient neural networks. In Conference on Neural Information Processing Systems (NeurIPS), 2015. [4] S. Hanson and L. Pratt. Comparing biases for minimal network construction with back-propagation. In NIPS, vol. 1, 1988. [5] C. Louizos, M. Welling, and D. P. Kingma. Learning sparse neural networks through $L_0$ regularization. arXiv preprint arXiv:1712.01312, 2017.

| 연구 | 방법론