[논문 리뷰] Deep Delta Learning

TL;DR

본 논문 "Deep Delta Learning (DDL)"은 심층 잔차 네트워크(Deep Residual Networks)의 핵심 구성 요소인 항등 숏컷 연결(Identity Shortcut Connection)의 한계를 극복하고자 한다. 기존 잔차 네트워크는 소실 기울기(Vanishing Gradient) 문제를 효과적으로 완화하지만, 특징 변환에 엄격한 가산적 귀납적 편향(Additive Inductive Bias)을 부과하여 복잡한 상태 전이(State Transition)를 모델링하는 데 제약이 있다. DDL은 학습 가능한 데이터 의존적 기하 변환(Geometric Transformation)으로 항등 숏컷을 변조하여 표준 잔차 연결을 일반화하는 새로운 아키텍처를 제시한다. 이러한 변환은 델타 연산자(Delta Operator)로 명명되며, 반사 방향 벡터 $k(X)$와 게이팅 스칼라 $\beta(X)$로 매개변수화된 랭크-1 섭동(Rank-1 Perturbation)을 나타낸다. 논문은 델타 연산자의 스펙트럼 분석을 제공하여, 게이트 $\beta(X)$가 항등 매핑(Identity Mapping), 직교 투영(Orthogonal Projection), 기하 반사(Geometric Reflection) 사이의 동적 보간(Dynamic Interpolation)을 가능하게 함을 보여준다. 또한, 잔차 업데이트를 동기식 랭크-1 주입(Synchronous Rank-1 Injection)으로 재구성하여, 게이트가 이전 정보의 삭제와 새로운 특징의 기록을 제어하는 동적 스텝 크기(Dynamic Step Size)로 작용하도록 한다. 이러한 통합은 네트워크가 계층별 전이 연산자(Layer-wise Transition Operator)의 스펙트럼을 명시적으로 제어하여, 게이트가 있는 잔차 아키텍처의 안정적인 훈련 특성을 유지하면서 복잡하고 비단조적(Non-monotonic)인 역학(Dynamics)을 모델링할 수 있도록 한다.

연구 배경 및 동기

심층 잔차 네트워크(ResNet)는 He et al.(2016)에 의해 도입된 이후, 심층 신경망의 훈련을 안정화시키는 데 획기적인 발전을 이루었다. ResNet의 핵심 아이디어는 각 레이어가 입력 $X$에 대한 잔차 함수 $F(X)$를 학습하도록 레이어를 재구성하는 항등 숏컷 연결을 사용하는 것이다. 표준적인 형태의 잔차 업데이트는 다음과 같이 표현된다.

이는 미분 방정식(ODE) $\dot{X} = F(X)$에 대한 전방 오일러 스텝(Forward Euler Step) (스텝 크기 1)으로 볼 수 있다. 이러한 관점은 심층 네트워크를 동적 시스템(Chen et al., 2018)과 연결한다. 그러나 엄격한 가산적 업데이트는 학습된 역학에 강한 평행이동 편향(Translation Bias)을 부여한다. 숏컷 경로는 항등 연산자와 동일한 고정된 야코비안(Jacobian)을 유지한다.

이러한 경직성은 네트워크가 표현할 수 있는 상태 전이를 제한한다. 최근 연구는 진동(Oscillation) 또는 반대 행동(Oppositional Behavior)과 같은 패턴을 모델링할 때 음의 고유값(Negative Eigenvalues)을 실현하는 것과 같이 더 유연한 전이가 필요함을 지적한다(Grazzi et al., 2024). 기존 ResNet 아키텍처는 이러한 복잡한 역학을 효과적으로 포착하는 데 어려움을 겪는다.

기존 ResNet의 주요 한계점은 다음과 같이 요약할 수 있다.

• 가산적 업데이트의 경직성: ResNet은 입력에 잔차를 단순히 더하는 방식으로 업데이트를 수행하므로, 복잡한 상태 공간에서의 비선형적인 움직임을 표현하는 데 제약이 있다.
• 고정된 야코비안: 숏컷 경로의 야코비안이 항등 연산자로 고정되어 있어, 네트워크가 학습할 수 있는 역학의 종류가 제한된다.
• 음의 고유값 표현의 어려움: 진동이나 반대 행동과 같은 패턴을 모델링하기 위해서는 음의 고유값을 갖는 전이가 필요하지만, ResNet은 이러한 전이를 효과적으로 표현하기 어렵다.

본 연구는 이러한 한계를 극복하기 위해 기하 선형 대수(Geometric Linear Algebra)에 기반한 잔차 연결의 일반화를 제안한다. Deep Delta Learning (DDL)은 학습 가능한 랭크-1 변환을 은닉 상태 행렬 $X \in \mathbb{R}^{d \times d_v}$에 적용하는 새로운 잔차 블록을 특징으로 한다. 이러한 공식화는 네트워크 깊이를 메모리 증강 아키텍처(Memory-Augmented Architectures)와 정렬하여, 은닉 상태를 동적 값 행렬(Dynamic Value Matrix)로 효과적으로 취급한다. 이 블록은 단일 학습 가능한 스칼라 게이트 $\beta(X)$를 활용하여 표준 잔차 연결, 직교 투영 연산자, 완전한 기하 반사 사이를 부드럽게 보간한다.

관련 연구

본 논문은 심층 학습 분야에서 잔차 네트워크, 게이트 메커니즘, 직교 네트워크, 신경 미분 방정식 등 다양한 연구 주제와 관련이 있다. 다음은 본 논문과 관련된 주요 선행 연구 5가지와 본 논문과의 차별점을 표로 정리한 것이다.

| 선행 연구 | 주요 내용 델타 넷(DeltaNet)(Schlag et al., 2021)은 선형 변환기의 가산적 누적을 메모리 업데이트를 위한 델타 규칙으로 대체한다. 본 논문은 딥 델타 러닝이 델타넷 재발생의 깊이 방향 동형사상임을 보여준다. 델타넷에서 은닉 상태(메모리) $S_t$는 시간 $t$에 따라 진화한다. 우리의 깊이 방향 공식과의 표기법을 통합하기 위해, 우리는 메모리 상태가 $S_t \in \mathbb{R}^{d_k \times d_v}$인 왼쪽 곱셈 의미론을 사용하여 델타넷 업데이트를 제시한다.

여기서 연산자는 키 차원 $d_k$에서 작동하며, 이는 DDL의 특징 차원 $d$와 유사하다.

| 논문 | 요약 * 하이웨이 네트워크(Highway Networks): Srivastava et al. (2015)은 잔차 네트워크에 데이터 종속적 게이팅을 도입했지만, 게이트는 변환 자체를 수정하기보다는 항등 경로와 함수 경로 사이를 보간한다.

• 역전 가능한 잔차 네트워크(i-ResNets): Behrmann et al. (2019)은 $F$의 립시츠 상수(Lipschitz Constant)를 제약하여 정규화 흐름과 같은 응용 분야에 유용한 역전 가능성을 보장한다. 우리의 델타 숏컷 연산자는 $\epsilon \rightarrow 0$ 분석에서 $1 - \beta \neq 0$일 때마다 역전 가능하며, $\beta = 2$에서 직교 인볼루션(Householder 반사)이 된다. DDL은 전역적으로 역전 가능성을 강제하지 않고, 네트워크가 거의 역전 가능한 전이가 유용한 시기와 의도적으로 특이한(투영적인) 전이가 제어된 망각에 유용한 시기를 학습할 수 있도록 한다.
• 직교 및 유니터리 네트워크(Orthogonal and Unitary Networks): 상당한 연구가 기울기 안정성을 개선하고 기하 구조를 보존하기 위해 네트워크 가중치를 직교 또는 유니터리로 제약하는 데 초점을 맞추었다(Arjovsky et al., 2016; Jing et al., 2017). Householder 반사는 직교 행렬을 매개변수화하는 고전적인 방법이다. 이러한 방법은 직교성을 엄격한 제약 조건으로 강제한다. 대조적으로, 우리의 델타 잔차 네트워크는 게이트 $\beta(x)$를 통해 항등 및 직교성에서 벗어나도록 학습하여, 순수한 투영 또는 반사로 완화될 수 있는 부드럽고 적응적인 제약 조건을 제공한다.
• 신경 미분 방정식(Neural Ordinary Differential Equations): 신경 ODE(Chen et al., 2018)는 특징의 연속적인 진화를 모델링한다. 표준 ResNet 방정식(1.1)은 간단한 ODE $\dot{X} = F(X)$의 이산화이다. 우리의 제안된 아키텍처는 기본 역학을 $\dot{X} = \beta(X) k(X) (v(X)^\top - k(X)^\top X)$로 변경하여 행렬 상태에 적용되는 상태 종속 투영 항을 도입한다. 이를 통해 여러 값 차원에서 수축 또는 진동 거동을 나타낼 수 있는 훨씬 더 풍부한 학습 가능한 동적 시스템 패밀리가 가능하다.
• 하이웨이 네트워크(Highway Networks): Rupesh Kumar Srivastava, Klaus Greff, and Jürgen Schmidhuber. arXiv preprint arXiv:1505.00387, 2015. 하이웨이 네트워크는 게이팅 메커니즘을 사용하여 정보가 레이어를 통과하는 방식을 제어한다.

| 차별점