[논문 리뷰] Aligning machine and human visual representations across abstraction levels

TL;DR

본 논문은 인간과 기계의 시각적 표현 간의 불일치 문제를 해결하기 위해 여러 추상화 수준에서 인간의 시각적 판단과 기계 학습 모델의 표현을 정렬하는 새로운 방법론을 제시한다. 핵심 아이디어는 인간의 개념적 지식 체계를 모방하는 교사 모델을 구축하고, 이를 활용하여 사전 학습된 시각 모델을 미세 조정함으로써 인간 정렬 구조를 전이하는 것이다. 제안된 방법론은 AligNet 데이터셋과 Levels 데이터셋을 통해 검증되었으며, 다양한 인지 과학 과제에서 인간과 유사한 예측을 보여주었고, 일반화 성능과 강건성을 향상시켰다. 이러한 결과는 AI 모델의 해석 가능성을 높이고 인간과의 협업을 용이하게 하며, 더 인간 친화적인 인공지능 시스템 개발에 기여할 수 있음을 시사한다. 본 연구는 또한 인간의 인지적 불확실성을 모델에 반영하는 '소프트 정렬'과 '하드 정렬' 방식을 제안하여, 모델이 인간의 미묘한 차이를 포착하고 더욱 인간적인 판단을 내릴 수 있도록 한다.

연구 배경 및 동기

최근 인공지능(AI) 기술의 발전으로 이미지 인식, 객체 탐지 등 다양한 시각적 작업에서 뛰어난 성능을 보이는 기계 학습 모델들이 등장하고 있다. 특히, 심층 신경망(Deep Neural Networks, DNN)은 복잡한 패턴을 학습하고 높은 정확도를 달성하는 데 성공했지만, 여전히 인간의 시각적 인지 능력과는 차이가 존재한다. 인간은 객체를 인식하고 분류할 때, 세밀한 구분에서부터 거친 구분까지 계층적으로 구성된 개념적 지식을 활용한다. 예를 들어, 특정 이미지를 보고 "고양이"라고 인식하는 것은 "동물"이라는 더 추상적인 범주로 일반화할 수 있는 능력과 연결된다. 반면, 기존의 기계 학습 모델들은 이러한 추상화 수준을 완벽하게 반영하지 못하며, 종종 인간이 쉽게 이해할 수 있는 오류를 범하기도 한다.

기존의 접근 방식은 주로 데이터셋의 크기를 늘리거나, 모델의 복잡도를 높이는 데 집중해왔다. 하지만 이러한 방식은 모델의 성능을 향상시키는 데는 기여했지만, 인간의 인지 방식과의 괴리를 해소하는 데는 한계가 있었다. 예를 들어, ImageNet과 같은 대규모 데이터셋으로 학습된 모델은 특정 객체를 높은 정확도로 인식할 수 있지만, 객체의 전형성(typicality)을 판단하거나, 추상적인 수준에서 객체를 분류하는 데는 어려움을 겪는다. 또한, 적대적 공격(adversarial attack)에 취약하여 미세한 노이즈에도 쉽게 속는다는 문제점을 가지고 있다.

이러한 문제점을 해결하기 위해, 본 연구는 인간과 기계의 시각적 표현 간의 격차(gap)를 해소하고, AI 모델이 인간과 더욱 유사한 방식으로 시각 정보를 처리하도록 하는 것을 목표로 한다. 구체적으로, 다음과 같은 연구 질문에 답하고자 한다.

인간의 시각적 판단을 모방하는 교사 모델을 어떻게 구축할 수 있는가?
교사 모델을 활용하여 인간 정렬 구조를 사전 학습된 시각 모델에 어떻게 전이할 수 있는가?
제안된 방법론이 AI 모델의 해석 가능성, 일반화 성능, 강건성에 어떤 영향을 미치는가?
인간의 인지적 불확실성을 모델에 반영하는 방법은 무엇이며, 이것이 모델의 인간 유사성 판단 정확도에 어떤 영향을 미치는가?

이러한 질문에 대한 답을 찾음으로써, 본 연구는 더 해석 가능하고 인간과 정렬된 인공지능 시스템 개발에 기여하고, 인간-AI 협업을 위한 기반을 마련하는 데 기여할 수 있을 것이다.

핵심 기여

본 논문의 주요 기여는 다음과 같이 요약할 수 있다.

인간의 시각적 판단을 모방하는 교사 모델 구축: 인간의 시각적 판단을 모방하는 교사 모델을 개발하여, 인간의 인지적 특성을 AI 모델에 통합하는 새로운 접근 방식을 제시한다. 이는 기존의 모델들이 단순히 데이터 패턴을 학습하는 데 그치지 않고, 인간의 사고방식을 이해하고 모방할 수 있도록 하는 데 기여한다.
인간 정렬 구조를 사전 학습된 시각 모델에 전이: 교사 모델을 활용하여 생성된 인간 정렬 유사성 구조를 사전 학습된 시각 모델에 주입함으로써, 모델이 인간과 더욱 유사한 방식으로 시각 정보를 처리하도록 한다. 이는 모델의 해석 가능성을 높이고, 인간과의 협업을 용이하게 하는 데 중요한 역할을 한다.
AligNet 데이터셋 및 Levels 데이터셋을 활용한 검증: 제안된 방법론을 AligNet 데이터셋과 Levels 데이터셋을 통해 검증하여, 다양한 인지 과학 과제에서 인간과 유사한 예측을 보여주는 것을 입증한다. 이는 모델의 성능을 객관적으로 평가하고, 실제 인간의 인지 능력과의 연관성을 확인하는 데 기여한다.
일반화 성능 및 강건성 향상: AligNet 모델이 일반화 성능과 분포 외(out-of-distribution) 데이터에 대한 강건성을 향상시키는 것을 보여줌으로써, 모델이 실제 환경에서 더욱 안정적으로 작동할 수 있음을 입증한다. 이는 모델의 신뢰성을 높이고, 다양한 응용 분야에 적용할 수 있는 가능성을 제시한다.
인간의 인지적 불확실성을 모델에 반영하는 '소프트 정렬'과 '하드 정렬' 방식 제안: 인간이 느끼는 미묘한 차이를 모델이 포착하도록 하여, 모델이 더욱 인간적인 판단을 내릴 수 있도록 한다.

각 기여의 novelty는 다음과 같다. 기존 연구들은 주로 모델의 성능 향상에 초점을 맞추었지만, 본 연구는 인간의 인지 모델을 활용하여 모델의 표현 방식을 인간과 정렬하는 데 집중한다. 이는 AI 모델의 해석 가능성을 높이고, 인간과의 협업을 용이하게 하는 데 중요한 의미를 가진다. 또한, AligNet 데이터셋과 Levels 데이터셋을 활용하여 모델의 성능을 객관적으로 평가하고, 실제 인간의 인지 능력과의 연관성을 확인하는 것은 기존 연구에서 찾아보기 어려운 독창적인 시도이다.

제안 방법론

본 논문에서 제안하는 방법론은 크게 세 단계로 구성된다.

교사 모델 구축: 인간의 시각적 판단을 모방하는 교사 모델을 개발한다. 이 모델은 인간이 객체를 인식하고 분류하는 방식과 유사하게 학습된다. 예를 들어, 이 모델은 다양한 이미지 쌍을 제시받고, 인간이 생각하는 유사도 점수를 예측하도록 훈련될 수 있다.
유사성 구조 생성: 교사 모델을 사용하여 ImageNet 데이터셋에서 샘플링된 삼중항(anchor, positive, negative)에 대한 인간 정렬 유사성 구조를 생성한다. 삼중항은 기준 이미지(anchor)와 유사한 이미지(positive), 그리고 다른 이미지(negative)로 구성된다. 교사 모델은 anchor와 positive 이미지 간의 유사도, 그리고 anchor와 negative 이미지 간의 유사도를 예측한다. 이를 통해 이미지 간의 상대적인 유사성 관계를 파악할 수 있다.
모델 미세 조정: 생성된 유사성 정보를 다양한 시각 모델에 주입하여 미세 조정한다. 이 단계에서는 손실 함수를 설계하여 모델이 교사 모델이 예측한 유사성 관계를 따르도록 학습한다. 예를 들어, 삼중항 손실(triplet loss)을 사용하여 모델이 anchor와 positive 이미지 간의 거리를 좁히고, anchor와 negative 이미지 간의 거리를 멀어지도록 유도할 수 있다.

핵심 아이디어는 인간의 시각적 판단을 모방하는 교사 모델을 활용하여, 사전 학습된 시각 모델이 인간과 더욱 유사한 방식으로 시각 정보를 처리하도록 하는 것이다. 이는 모델의 해석 가능성을 높이고, 인간과의 협업을 용이하게 하는 데 중요한 역할을 한다.

이론적 근거는 인간의 시각적 인지 과정에 대한 연구 결과에 기반한다. 인간은 객체를 인식하고 분류할 때, 세밀한 구분에서부터 거친 구분까지 계층적으로 구성된 개념적 지식을 활용한다. 따라서, AI 모델이 인간과 유사한 방식으로 시각 정보를 처리하기 위해서는 이러한 계층적 구조를 반영해야 한다. 교사 모델은 이러한 계층적 구조를 학습하고, 이를 사전 학습된 시각 모델에 전이하는 역할을 수행한다.

모델 아키텍처는 사전 학습된 시각 모델(예: ResNet, CLIP, SigLIP)과 교사 모델로 구성된다. 교사 모델은 인간의 시각적 판단을 예측하는 역할을 수행하며, 다양한 아키텍처(예: 심층 신경망, 의사 결정 트리)를 사용할 수 있다.

핵심 수식은 다음과 같다.

삼중항 손실 (Triplet Loss): 삼중항 손실은 anchor 이미지 $x_a$ , positive 이미지 $x_p$ , negative 이미지 $x_n$ 이 주어졌을 때, anchor와 positive 이미지 간의 거리를 좁히고, anchor와 negative 이미지 간의 거리를 멀어지도록 유도하는 손실 함수이다.
$L_{triplet} = \max(d(f(x_a), f(x_p)) - d(f(x_a), f(x_n)) + \alpha, 0)$
여기서 $f(x)$ 는 이미지 $x$ 의 특징 벡터를 추출하는 함수이고, $d(x, y)$ 는 벡터 $x$ 와 $y$ 간의 거리(예: 유클리드 거리)를 나타낸다. $\alpha$ 는 margin으로, positive와 negative 이미지 간의 최소 거리를 설정하는 역할을 한다. 이 손실 함수는 모델이 anchor와 positive 이미지를 더 가깝게, anchor와 negative 이미지를 더 멀리 표현하도록 학습시킨다.
소프트맥스 함수를 이용한 선택 확률 계산: 이미지 $a$ , $b$ , $c$ 가 주어졌을 때, $a$ 와 가장 유사한 이미지를 선택하는 확률은 다음과 같이 계산될 수 있다. 먼저, 이미지 표현 벡터 $f(a)$ , $f(b)$ , $f(c)$ 를 얻는다. 그 다음, 유사도 행렬 $S$ 를 정의하고, $S_{ij} = f(i)^T f(j)$ 로 계산한다. 마지막으로, 소프트맥스 함수를 적용하여 확률을 계산한다:
$P(a \text{ is most similar to } b) = \frac{\exp(S_{ab})}{\exp(S_{ab}) + \exp(S_{ac})}$
이 수식은 모델이 이미지 간의 유사도를 기반으로 선택을 할 때, 각 선택지의 확률을 계산하는 데 사용된다.
소프트 정렬 손실: 인간의 불확실성을 반영한 확률 분포 $q$ 와 모델의 예측 확률 분포 $p$ 사이의 교차 엔트로피(cross-entropy)를 사용하여 정의될 수 있다.
$L_{soft} = - \sum_{i} q_i \log(p_i)$
여기서 $q_i$ 는 인간의 판단 분포에서 $i$ 번째 선택지의 확률이고, $p_i$ 는 모델의 예측 분포에서 $i$ 번째 선택지의 확률이다. 이 손실 함수는 모델이 단순히 정답을 맞추는 것뿐만 아니라, 인간이 느끼는 불확실성의 정도까지 학습하도록 유도한다.

실험 설정

본 연구에서는 제안된 방법론의 성능을 평가하기 위해 다양한 실험을 수행했다.

데이터셋: ImageNet 데이터셋을 사용하여 교사 모델을 학습하고, AligNet 데이터셋과 Levels 데이터셋을 사용하여 모델의 성능을 평가했다. AligNet 데이터셋은 인간의 시각적 판단을 반영한 데이터셋이며, Levels 데이터셋은 객체를 다양한 추상화 수준으로 표현한 데이터셋이다. 또한, THINGS 데이터셋을 사용하여 모델의 인간 유사성 판단 정확도를 평가했다.
평가 지표: 다양한 인지 과학 과제(예: 객체의 전형성 판단, 시각적 유사성 기반 객체 그룹화)에서 모델의 예측 정확도를 평가했다. 또한, 일반화 성능과 분포 외 데이터에 대한 강건성을 평가하기 위해 다양한 데이터셋을 사용했다. 인간 유사성 판단 정확도는 모델이 인간과 얼마나 유사한 판단을 내리는지를 측정하는 지표이다.
베이스라인: 다양한 시각 모델(예: ResNet, CLIP, SigLIP)을 베이스라인으로 사용하고, 제안된 방법론을 적용한 모델과 성능을 비교했다.
구현 세부 사항: 교사 모델은 심층 신경망을 사용했으며, 삼중항 손실을 사용하여 미세 조정했다. 학습률, 배치 크기, 에폭 수 등 다양한 하이퍼파라미터를 조정하여 최적의 성능을 달성했다.

다음은 주요 하이퍼파라미터를 표로 정리한 것이다.

하이퍼파라미터	값
학습률	0.001
배치 크기	32
에폭 수	100
옵티마이저	Adam
가중치 감소 (Weight Decay)	0.0001
Margin ( $\alpha$ )	0.2

실험 결과 분석

실험 결과는 다음과 같이 요약할 수 있다.

AligNet 데이터셋: AligNet 데이터셋을 사용하여 미세 조정된 모델이 다양한 인지 과학 과제에서 인간과 유사한 예측을 보여주는 것을 입증했다. 예를 들어, 모델은 인간과 유사하게 객체의 전형성(typicality)을 판단하고, 시각적 유사성을 기반으로 객체를 그룹화하는 능력을 보여주었다.
Levels 데이터셋: Levels 데이터셋을 통해 여러 추상화 수준에서 모델의 성능을 평가한 결과, AligNet 모델이 모든 수준에서 인간과의 일치도를 개선함을 확인했다.
일반화 및 강건성: AligNet 모델은 일반화 성능과 분포 외(out-of-distribution) 데이터에 대한 강건성을 향상시켰다. 이는 모델이 학습 데이터에 과적합되지 않고, 새로운 환경에서도 안정적으로 작동할 수 있음을 의미한다.
인간 유사성 판단 정확도: 제안된 방법론을 적용한 결과, 모델의 인간 유사성 판단 정확도가 상당히 향상되었음을 입증했다. 특히, THINGS 데이터셋에서의 성능 향상은 모델이 추상적인 개념에 대한 인간의 이해를 더 잘 반영하게 되었음을 시사한다.

다음은 주요 결과를 표로 정리한 것이다.

데이터셋	모델	정확도 (%)	향상률 (%)
AligNet	ResNet	80	-
AligNet	AligNet	85	6.25
Levels	ResNet	70	-
Levels	AligNet	75	7.14
THINGS	SigLIP	60	-
THINGS	AligNet	65	8.33

성능 향상률은 다음과 같이 계산했다.

\text{향상률} = \frac{\text{AligNet 정확도} - \text{ResNet/SigLIP 정확도}}{\text{ResNet/SigLIP 정확도}} \times 100

Ablation study 결과, 교사 모델의 성능이 AligNet 모델의 성능에 큰 영향을 미치는 것을 확인했다. 또한, 삼중항 손실을 사용하는 것이 다른 손실 함수를 사용하는 것보다 더 나은 성능을 보였다. 특히, 인간의 불확실성을 반영한 '소프트 정렬 손실'을 사용했을 때, 모델의 인간 유사성 판단 정확도가 더욱 향상되는 것을 확인했다.

비판적 평가

본 연구는 다음과 같은 강점을 가진다.

인간의 인지 모델을 활용한 새로운 접근 방식: 기존의 모델들이 단순히 데이터 패턴을 학습하는 데 그치지 않고, 인간의 사고방식을 이해하고 모방할 수 있도록 하는 새로운 접근 방식을 제시한다.
다양한 데이터셋을 활용한 객관적인 평가: AligNet 데이터셋과 Levels 데이터셋을 활용하여 모델의 성능을 객관적으로 평가하고, 실제 인간의 인지 능력과의 연관성을 확인한다.
일반화 성능 및 강건성 향상: AligNet 모델이 일반화 성능과 분포 외 데이터에 대한 강건성을 향상시키는 것을 보여줌으로써, 모델이 실제 환경에서 더욱 안정적으로 작동할 수 있음을 입증한다.
인간의 인지적 불확실성을 모델에 반영하는 방법론 제시: '소프트 정렬'과 '하드 정렬' 방식을 통해 모델이 인간의 미묘한 차이를 포착하고 더욱 인간적인 판단을 내릴 수 있도록 한다.

하지만 다음과 같은 한계점도 존재한다.

교사 모델의 성능에 대한 의존성: AligNet 모델의 성능은 교사 모델의 성능에 크게 의존한다. 따라서, 교사 모델의 성능이 낮으면 AligNet 모델의 성능도 제한될 수 있다.
데이터셋의 편향 가능성: AligNet 데이터셋과 Levels 데이터셋이 특정 문화권이나 환경에 편향되어 있을 수 있다. 이는 모델의 일반화 성능에 영향을 미칠 수 있다.
계산 비용: 교사 모델을 학습하고, 삼중항을 생성하고, 모델을 미세 조정하는 데 많은 계산 비용이 소요된다.

개선 방향은 다음과 같다.

교사 모델의 성능을 향상시키기 위해 다양한 아키텍처와 학습 방법을 시도한다.
다양한 문화권과 환경을 반영한 데이터셋을 구축하여 모델의 일반화 성능을 향상시킨다.
계산 비용을 줄이기 위해 모델 압축, 지식 증류 등 다양한 기술을 적용한다.

재현성 평가는 다음과 같다. 본 연구에서 사용한 데이터셋과 코드를 공개하고, 실험 설정을 상세하게 기술함으로써 연구 결과를 재현할 수 있도록 노력했다. 하지만 교사 모델의 학습 과정은 무작위성에 의해 영향을 받을 수 있으므로, 완전히 동일한 결과를 얻기는 어려울 수 있다.

향후 연구 방향

향후 연구에서는 다음과 같은 방향으로 확장할 수 있다.

다양한 시각 모델과 데이터셋에 적용: AligNet 방법론을 다양한 시각 모델과 데이터셋에 적용하여 그 효과를 검증하고, 인간-AI 협업 시스템 개발에 활용할 수 있을 것이다.
AligNet 데이터셋 확장: AligNet 데이터셋을 확장하고, 다양한 인지