[논문 리뷰] Dynamic Multimodal Activation Steering for Hallucination Mitigation in Large Vision-Language Models

TL;DR

대규모 비전-언어 모델(Large Vision-Language Models, LVLMs)은 이미지와 언어를 결합한 작업에서 뛰어난 성능을 보이지만, 이미지에 없는 내용을 언급하는 '환각(hallucination)' 문제를 겪습니다. 본 논문은 이러한 환각을 완화하기 위해 **동적 멀티모달 활성화 조향(Dynamic Multimodal Activation Steering, DMAS)**이라는 훈련이 필요 없는(training-free) 접근법을 제안합니다. DMAS는 모델의 추론 과정 중 내부 활성화 값에 직접 개입하여, 입력의 의미적 맥락에 따라 '진실성(truthfulness)'과 '시각적 인식(visual perception)'을 강화하는 방향으로 응답 생성을 유도합니다. 실험 결과, 이 방법은 기존 최신 기술(SOTA)보다 우수한 성능을 보였으며, 다양한 모델과 벤치마크에서 환각을 효과적으로 줄였습니다.

연구 배경 및 동기

비전-언어 모델은 이미지 캡셔닝, 시각적 질의응답(VQA) 등에서 인간과 유사한 수준의 성능을 보이며 빠르게 발전하고 있습니다. 하지만 이러한 모델은 종종 이미지에 존재하지 않는 객체를 언급하거나 사실 관계를 왜곡하는 환각 문제를 일으킵니다. 이는 모델의 신뢰도를 심각하게 저해하며, 의료나 자율주행과 같이 정확성이 중요한 분야에서의 응용을 가로막는 핵심적인 장애물입니다.

기존의 환각 완화 연구들은 주로 추가 데이터를 이용한 파인튜닝이나 모델 구조 변경에 의존했습니다. 이러한 접근법은 막대한 계산 자원과 시간이 소요될 뿐만 아니라, 특정 데이터셋에 과적합되어 일반화 성능이 떨어지는 경향이 있습니다.

본 연구는 이러한 한계를 극복하고자, 훈련 없이 모델의 행동을 제어하는 활성화 조향(Activation Steering) 기법에 주목합니다. 모델의 '생각' 과정에 해당하는 내부 활성화 값을 직접 수정하여 원하는 방향으로 출력을 유도하는 것입니다. DMAS는 여기서 한 걸음 더 나아가, 질문의 의도에 따라 '진실성'과 '시각적 인식'을 담당하는 조향 벡터를 동적으로 조합하여 적용함으로써, 보다 정교하고 효과적으로 환각을 제어하는 새로운 방법을 제시합니다.

연구 접근법	기존 연구	본 논문 (DMAS)
훈련 필요 여부	훈련/파인튜닝 필요	훈련 불필요
모델 구조 변경	필요할 수 있음	변경 없음
일반화 성능	특정 데이터셋에 특화되기 쉬움	다양한 모델 및 데이터셋에 적용 가능
비용	고비용 (데이터, 컴퓨팅)	저비용

핵심 기여

훈련 없는 동적 환각 완화 방법론 제안: DMAS는 모델 재학습 없이 내부 활성화 값에 직접 개입하여 환각을 완화합니다. 이는 다양한 LVLM에 쉽게 적용할 수 있는 플러그 앤 플레이(plug-and-play) 방식의 솔루션입니다.
어텐션 헤드의 역할 분리 및 분석: 모델 내 어텐션 헤드들이 각각 다른 역할을 수행한다는 점에 착안, '진실성'과 '시각적 인식'에 더 큰 영향을 미치는 헤드를 식별하고 선택적으로 개입하여 제어의 정밀도를 높였습니다.
동적 벡터 조정 메커니즘 개발: 입력 질문의 의미적 맥락을 파악하여, 미리 구축된 여러 '진실성 조향 벡터' 중 가장 적합한 벡터를 동적으로 선택합니다. 이를 통해 "색깔이 무엇인가?"와 "개체가 있는가?" 같은 다른 유형의 질문에 맞춤형으로 대응할 수 있습니다.
광범위한 실험을 통한 성능 검증: LLaVA, Qwen-VL 등 여러 최신 LVLM과 MME, POPE, CHAIR 등 표준 환각 벤치마크에서 기존 방법들을 능가하는 성능을 입증했습니다.

제안 방법론

DMAS의 핵심 아이디어는 모델의 추론 과정에서 특정 개념과 관련된 신경 활성화 패턴을 강화하거나 약화시키는 것입니다. 이는 마치 강의실에서 특정 주제에 대한 학생들의 집중도를 높이는 것과 유사합니다. DMAS는 이 과정을 세 단계로 나누어 수행합니다.

1단계: 진실성 조향 벡터 데이터베이스 구축

먼저, 다양한 질문 유형에 대응하기 위해 '진실성 조향 벡터' 데이터베이스를 만듭니다.

데이터 클러스터링: 질문-답변 데이터를 의미적 유사성에 따라 여러 클러스터(예: 객체 존재 여부, 색상, 개수 등)로 나눕니다.
긍정/부정 쌍 생성: 각 클러스터 내에서, 사실에 기반한 답변(positive)과 환각이 포함된 답변(negative) 쌍을 생성합니다.
활성화 차이 계산: 동일한 입력에 대해 긍정 답변과 부정 답변을 생성할 때의 모델 내부 어텐션 헤드의 활성화 값 차이를 계산합니다. 이 차이 벡터가 바로 해당 클러스터의 **진실성 조향 벡터( $D_f$ )**가 됩니다.
Key-Value 저장소 구축: 각 클러스터의 평균 임베딩을 Key로, 계산된 조향 벡터를 Value로 하는 Key-Value 데이터베이스를 구축합니다.

2단계: 시각적 인식 조향 벡터 계산

다음으로, 모델이 텍스트보다 이미지 정보에 더 집중하도록 유도하는 **시각적 인식 조향 벡터( $D_v$ )**를 계산합니다.

이미지 왜곡: 원본 이미지에 노이즈를 추가하거나 흐리게 만들어 왜곡된 이미지를 생성합니다.
활성화 차이 계산: 원본 이미지를 입력했을 때와 왜곡된 이미지를 입력했을 때의 어텐션 활성화 값 차이를 계산합니다. 이 벡터는 모델이 시각적 디테일에 더 민감하게 반응하도록 만드는 역할을 합니다.

3단계: 추론 시 동적 개입

실제 추론 시에는 다음 과정을 통해 환각을 억제합니다.

동적 벡터 선택: 새로운 질문이 들어오면, 해당 질문의 텍스트 임베딩과 데이터베이스의 Key(클러스터 임베딩) 간의 유사도를 계산합니다. 가장 유사도가 높은 클러스터의 진실성 조향 벡터( $D_f$ )를 선택합니다.
활성화 조향: 모델이 답변을 생성하는 각 단계에서, 어텐션 계산이 끝난 후 미리 식별된 상위 K개의 중요 헤드에 선택된 진실성 조향 벡터( $D_f$ )와 시각적 인식 조향 벡터( $D_v$ )를 더해줍니다.

구체적인 예시

이미지: 공원에서 뛰노는 강아지 사진
질문: "사진 속 벤치에 고양이가 있나요?"

벡터 선택: 이 질문은 '객체 존재 여부' 클러스터와 가장 유사하므로, 해당 클러스터의 진실성 조향 벡터( $D_f$ )가 선택됩니다.
개입: 모델이 답변을 생성할 때, 선택된 $D_f$ 와 시각적 인식 벡터 $D_v$ 가 어텐션 활성화 값에 더해집니다.
결과: 이 개입은 모델이 텍스트("고양이")에만 의존하지 않고, 이미지에 실제로 '고양이'가 없는 시각적 증거에 더 집중하도록 유도합니다. 결과적으로 "아니요, 사진에 고양이는 없습니다."와 같이 사실에 기반한 답변을 생성할 확률이 높아집니다.

핵심 수식

진실성 조향 벡터 (클러스터 $C_i$ ): $D_f^{(i)} = \mathbb{E}_{j \in C_i} [H(x_j, y_j^{pos}) - H(x_j, y_j^{neg})]$ 여기서 $H$ 는 어텐션 헤드의 활성화 값, $x_j$ 는 입력, $y^{pos}$ 와 $y^{neg}$ 는 각각 긍정/부정 답변입니다.
시각적 인식 조향 벡터: $D_v = \mathbb{E} [H(I_{orig}, T) - H(I_{pert}, T)]$ $I_{orig}$ 는 원본 이미지, $I_{pert}$ 는 왜곡된 이미지, $T$ 는 텍스트 프롬프트입니다.
추론 시 개입: 어텐션 헤드의 원래 출력 $O^{(l,h)}$ 에 조향 벡터를 더하여 수정된 출력 $O'^{(l,h)}$ 을 만듭니다. $O'^{(l,h)} = O^{(l,h)} + \alpha \cdot M_f^{(l,h)} \cdot D_f^{(l,h)} + \beta \cdot M_v^{(l,h)} \cdot D_v^{(l,h)}$ 여기서 $\alpha, \beta$ 는 개입 강도를 조절하는 하이퍼파라미터이며, $M$ 은 상위 K개 헤드에만 개입을 적용하기 위한 마스크입니다.

실험 설정

모델: LLaVA-v1.5 (7B), Qwen-VL (7B) 등 널리 사용되는 오픈소스 LVLM
데이터셋:
- MME: LVLM의 인식 및 인지 능력을 종합적으로 평가하는 벤치마크
- POPE: 객체 존재 여부에 대한 질문을 통해 환각을 정량적으로 측정하는 벤치마크
- CHAIR: 이미지 캡션에서 환각으로 생성된 객체의 비율(CHAIR_s, CHAIR_i)을 측정
하이퍼파라미터:
- 개입할 상위 헤드 개수(K): 5
- 진실성 벡터 강도( $\alpha$ ): 0.8
- 시각적 인식 벡터 강도( $\beta$ ): 0.5
- 진실성 벡터 클러스터 개수: 4

실험 결과 분석

DMAS는 모든 벤치마크에서 일관되게 환각을 줄이고 모델 성능을 향상시켰습니다.

모델	데이터셋	메트릭	기존 SOTA	DMAS	성능 향상
LLaVA-v1.5 (7B)	MME	Score	1481.4	1560.0	+78.6
LLaVA-v1.5 (7B)	POPE	F1-Score	85.3	86.1	+0.8%
Qwen-VL (7B)	CHAIR	CHAIR_i	13.0	8.6	-33.8%

MME 벤치마크에서 DMAS는 환각 점수를 94.66점까지 끌어올려 종합 점수를 크게 향상시켰습니다.
CHAIR 벤치마크에서는 환각 객체 비율(CHAIR_i)을 33.8%나 감소시켜, 생성된 설명의 신뢰도를 크게 높였습니다.
Ablation Study (요소 제거 분석) 결과, 진실성 조향 벡터( $D_f$ )와 시각적 인식 조향 벡터( $D_v$ )를 함께 사용할 때 가장 좋은 성능을 보였습니다. 이는 두 요소가 상호 보완적으로 작용함을 의미합니다. 또한, 질문의 의미에 따라 벡터를 동적으로 선택하는 방식이 모든 질문에 고정된 단일 벡터를 사용하는 것보다 훨씬 효과적임을 입증했습니다.

비판적 평가

강점:

높은 효율성과 범용성: 훈련이 필요 없어 다양한 사전 학습 모델에 쉽게 적용할 수 있습니다.
정교한 제어: 질문의 의미에 따라 개입 방식을 동적으로 조절하여 상황에 맞는 환각 억제가 가능합니다.
해석 가능성: 어떤 유형의 질문에 어떤 신경망 활성화가 중요한지 분석할 단서를 제공하여 모델의 내부 작동 방식을 이해하는 데 기여할 수 있습니다.

한계점:

하이퍼파라미터 의존성: 개입 강도( $\alpha, \beta$ )나 클러스터 개수 등 하이퍼파라미터 설정이 성능에 민감한 영향을 미칠 수 있습니다.
조향 벡터의 품질: 조향 벡터를 생성하는 데 사용되는 긍정/부정 데이터 쌍의 품질이 전체 성능을 좌우할 수 있습니다. 이 데이터 생성 과정이 편향되면 의도치 않은 방향으로 모델이 조향될 위험이 있습니다.
계산 오버헤드: 추론 시마다 유사도 계산 및 벡터 검색 과정이 추가되므로, 미미하지만 응답 속도에 영향을 줄 수 있습니다.

향후 연구 방향

자동화된 하이퍼파라미터 튜닝: 성능에 민감한 하이퍼파라미터를 자동으로 최적화하는 연구가 필요합니다.
더 정교한 동적 선택 메커니즘: 단순 코사인 유사도를 넘어, 작은 라우터 네트워크를 학습시켜 더 문맥에 맞는 조향 벡터 조합을 선택하는 방식을 탐구할 수 있습니다.
다른 모달리티로의 확장: 텍스트-오디오, 텍스트-비디오 모델 등 다른 멀티모달 모델의 환각 문제에도 DMAS의 개념을 확장 적용할 수 있을 것입니다.

실무 적용 가이드

DMAS를 실제 서비스에 적용하고자 할 때 다음 사항을 고려할 수 있습니다.

도메인 특화 조향 벡터 구축: 의료 이미지 분석이나 상품 설명 생성과 같이 특정 도메인에 LVLM을 사용하는 경우, 해당 도메인의 데이터로 긍정/부정 쌍을 만들어 조향 벡터 데이터베이스를 구축하면 성능을 극대화할 수 있습니다.
점진적 적용: 처음에는 개입 강도( $\alpha, \beta$ )를 낮게 설정하여 부작용이 없는지 테스트하고, 점진적으로 값을 높여가며 최적의 균형점을 찾는 것이 안전합니다.
오프라인 평가: 실제 서비스에 배포하기 전에, 구축된 환각 평가 벤치마크를 사용하여 DMAS 적용 전후의 성능을 정량적으로 비교하고 검증하는 과정이 필수적입니다.

결론

본 논문은 훈련 없이 LVLM의 환각을 효과적으로 완화하는 DMAS를 제안했습니다. 모델의 내부 활성화에 직접 개입하되, 질문의 의미에 따라 '진실성'과 '시각적 인식'을 강화하는 벡터를 동적으로 선택하여 적용하는 접근법은 매우 혁신적입니다. DMAS는 다양한 모델과 벤치마크에서 그 우수성을 입증했으며, 이는 더 신뢰할 수 있고 안전한 LVLM을 구축하는 데 중요한 기여를 할 것으로 기대됩니다.

참고 자료

논문 원문: Dynamic Multimodal Activation Steering for Hallucination Mitigation (arxiv.org)
코드 저장소: (논문에 명시된 경우 추가)
관련 자료: (관련 블로그, 발표 영상 등)