[논문 리뷰] LLMs Improving LLMs: Agentic Discovery for Test-Time Scaling

TL;DR

대규모 언어 모델(LLM)의 성능을 향상시키기 위해, 추론 시점에 더 많은 계산을 사용하는 테스트 시점 스케일링(TTS) 전략이 효과적입니다. 하지만 기존 TTS 전략은 사람이 직접 설계하여 비효율적이고 최적화가 어렵습니다. 이 논문은 AutoTTS라는 에이전트 기반 프레임워크를 제안하여, LLM 추론 과정을 하나의 '환경'으로 만들고 에이전트가 최적의 TTS 전략을 '자동으로' 발견하게 합니다. AutoTTS는 사전에 수집된 데이터로 만든 오프라인 재생 환경에서 비용 효율적으로 학습하며, 복잡한 하이퍼파라미터를 **단일 스칼라($\beta$)**로 단순화하여 탐색 효율을 높입니다. 실험 결과, AutoTTS가 발견한 전략은 사람이 설계한 기존 전략들보다 훨씬 뛰어난 **정확도-비용 효율 곡선(Pareto frontier)**을 보여주었으며, 다른 모델과 데이터셋에도 잘 일반화되었습니다. 이는 LLM 추론 최적화의 패러다임을 '휴리스틱 설계'에서 '환경 설계'로 전환하는 중요한 연구입니다.

1. 연구 배경 및 동기

대규모 언어 모델(LLM)의 성능을 극대화하는 방법 중 하나로 **테스트 시점 스케일링(Test-Time Scaling, TTS)**이 주목받고 있습니다. TTS는 이미 학습이 완료되어 가중치가 고정된 모델을 대상으로, 추론(테스트) 시점에 추가적인 계산 자원(예: 더 많은 샘플링, 복잡한 추론 경로 탐색)을 투입하여 성능을 끌어올리는 기법입니다.

하지만 기존의 TTS 전략들, 예를 들어 여러 답변을 생성해 다수결로 정하는 Self-Consistency나 생각의 단계를 트리 구조로 탐색하는 Tree-of-Thoughts(ToT) 등은 대부분 연구자의 직관과 수작업에 의존해 만들어졌습니다. 이는 다음과 같은 한계를 가집니다.

• 비효율성: 특정 문제나 모델에만 과적합될 수 있으며, 모든 상황에 최적인 전략을 찾기 어렵습니다.
• 탐색의 한계: 수많은 하이퍼파라미터(온도, 샘플 개수, 탐색 너비 등) 조합으로 이루어진 방대한 탐색 공간을 사람이 모두 탐색하는 것은 불가능합니다.

이러한 문제를 해결하기 위해, 본 연구는 TTS 전략 자체를 설계하는 대신, 최적의 전략을 자동으로 발견하는 환경을 설계하는 새로운 접근법, AutoTTS를 제안합니다. LLM의 문제 해결 과정을 하나의 환경으로 정의하고, 에이전트가 이 환경 내에서 탐색하며 가장 효율적인 문제 해결 정책(policy)을 학습하도록 하는 것입니다. 이는 LLM 추론 최적화의 패러다임을 근본적으로 바꾸는 시도입니다.

2. 관련 연구

기존의 대표적인 TTS 전략들은 다음과 같습니다.

• Self-Consistency: 동일한 프롬프트로 여러 개의 답변을 생성한 후, 투표(majority vote)를 통해 가장 일관된 답변을 최종 결과로 선택합니다. 간단하지만 얼마나 많은 샘플을 생성할지가 비용과 성능을 좌우하는 핵심 파라미터입니다.
• Tree-of-Thoughts (ToT): 문제 해결 과정을 여러 단계의 '생각'으로 나누고, 각 단계에서 여러 가능한 경로를 트리 형태로 탐색합니다. 너비 우선 탐색(BFS)이나 깊이 우선 탐색(DFS) 등 탐색 방식을 수동으로 정해야 합니다.

이러한 기법들은 분명 효과적이지만, 세부적인 작동 방식과 하이퍼파라미터를 사람이 직접 설정해야 합니다. 반면, AutoTTS는 이러한 전략들을 포함할 수 있는 더 큰 탐색 공간을 정의하고, 그 안에서 최적의 전략을 자동으로 학습한다는 점에서 근본적인 차이가 있습니다. 즉, 특정 TTS 전략을 제안하는 것이 아니라, 최적의 TTS 전략을 찾는 방법론을 제안하는 것입니다.

3. 핵심 기여

1. 환경 기반 자동화 프레임워크: LLM 추론 최적화를 '휴리스틱 설계' 문제에서 '환경 설계' 문제로 전환하는 새로운 패러다임을 제시했습니다.
2. 뛰어난 정확도-비용 효율: AutoTTS가 발견한 전략은 수작업으로 설계된 강력한 기준선들보다 동일 비용 대비 더 높은 정확도를 달성하며, 압도적인 정확도-비용 효율 곡선(Pareto frontier)을 형성했습니다.
3. 높은 일반화 성능: 특정 모델(예: GPT-4-Turbo)에서 발견한 전략이 다른 모델(예: CodeLlama-70B)이나 다른 벤치마크에도 추가 학습 없이 효과적으로 적용됨을 보였습니다.
4. 실용적인 발견 비용: 전체 전략 발견 과정을 단 160분과 약 $39.9의 비용(GPT-4-Turbo 기준)으로 완료할 수 있어, 학계를 넘어 산업 현장에서도 충분히 적용 가능한 실용성을 입증했습니다.

4. 제안 방법론: AutoTTS

AutoTTS의 핵심은 LLM의 추론 과정을 강화학습 에이전트가 학습할 수 있는 환경으로 모델링하는 것입니다.

4.1. 환경 구축 (Environment Formulation)

LLM의 추론 과정은 다음과 같은 MDP(Markov Decision Process) 요소로 구성된 환경으로 정의됩니다.

• 상태 (State): 문제 해결의 현재 상황을 나타냅니다. 지금까지 생성된 생각의 단계, 각 단계의 평가 점수, 남은 예산 등의 정보를 포함합니다.
• 행동 (Action): 에이전트가 상태에 따라 취할 수 있는 행동입니다.
  • Probe(t, n): 특정 노드에서 온도 t로 n개의 새로운 생각을 샘플링합니다.
  • Continue(path): 가장 유망한 경로를 한 단계 더 확장합니다.
  • Prune(path): 가능성이 낮은 경로는 탐색을 중단하여 비용을 절약합니다.
  • Stop: 탐색을 종료하고 현재까지의 최상의 답을 반환합니다.
• 피드백 (Feedback): 행동의 결과로 주어지는 보상 또는 정보입니다. 최종 정답 여부뿐만 아니라, 과정에서 발생한 구체적인 오류 정보도 포함됩니다.
• 목표 (Goal): 최소한의 계산 비용으로 가장 높은 정확도를 달성하는 정책($\pi(Action|State)$)을 찾는 것입니다.

4.2. 비용 효율적인 학습: 오프라인 재생 환경

에이전트가 학습할 때마다 실제 LLM을 호출하면 막대한 시간과 비용이 소요됩니다. 이를 해결하기 위해 **오프라인 재생 환경(Offline Replay Environment)**을 도입했습니다.

1. 데이터 수집: 다양한 TTS 전략(예: 너비 우선, 깊이 우선 등)을 사용하여 사전에 방대한 양의 추론 경로와 그 결과를 미리 생성하고 데이터베이스에 저장합니다.
2. 시뮬레이션: 에이전트는 학습 시 실제 LLM을 호출하는 대신, 이 데이터베이스를 조회하여 행동의 결과를 시뮬레이션합니다.
3. 장점: LLM API 호출 없이 거의 '공짜로' 수많은 에피소드를 실행하며 정책을 빠르게 평가하고 개선할 수 있습니다.

# 오프라인 재생 환경의 개념적 흐름

# 1. 데이터 수집 (사전 작업, 1회 수행)
database = {}
for problem in dataset:
    # 다양한 전략으로 추론 경로를 최대한 많이 생성
    traces = generate_all_possible_traces(problem, model)
    database[problem] = traces

# 2. 에이전트 학습 (LLM 호출 없음)
agent = initialize_agent()
for episode in range(num_episodes):
    state = get_initial_state()
    while not is_done(state):
        action = agent.get_action(state)
        # 실제 LLM 호출 대신, 데이터베이스에서 결과 조회
        next_state, reward = database.lookup(state, action)
        agent.update(state, action, reward, next_state)

4.3. 단순화의 미학: 베타($\beta$) 매개변수화

TTS 전략의 하이퍼파라미터 공간은 매우 넓고 복잡합니다. AutoTTS는 이를 **베타($\beta$)**라는 단일 스칼라 값($\beta \in [0, 1]$)으로 매개변수화하여 탐색 공간을 획기적으로 줄였습니다.

• 낮은 $\beta$ (탐험적 모드): 에이전트는 더 넓게 탐색하고 더 많은 샘플(Probe)을 생성합니다. 비용은 높지만 최적해를 찾을 확률이 증가합니다.
• 높은 $\beta$ (활용적 모드): 에이전트는 가장 유망해 보이는 경로에 집중하고 빠르게 결론을 내립니다. 비용은 낮지만 지역 최적해에 빠질 위험이 있습니다.

에이전트는 이제 복잡한 하이퍼파라미터 조합 대신, 현재 상태에 가장 적절한 $\beta$ 값을 선택하는 것만 학습하면 되므로 학습이 훨씬 효율적입니다.

4.4. 실패로부터 배우기: 실행 추적 피드백

기존의 피드백은 최종 결과가 '맞았는지/틀렸는지'만 알려주는 희소한(sparse) 신호였습니다. AutoTTS는 **실행 추적 피드백(Execution Trace Feedback)**을 통해 에이전트에게 훨씬 풍부하고 구체적인 정보를 제공합니다.

• 기존 피드백: Final Answer: Incorrect. Reward: -1
• 실행 추적 피드백: Error Type: Arithmetic Error. Step 3: Divided by zero. Reward: -1

이처럼 구체적인 실패 원인을 알려주면, 에이전트는 어떤 상황에서 어떤 행동이 왜 실패로 이어졌는지 학습하여 더 정교하게 정책을 개선할 수 있습니다.

5. 실험 결과 분석

AutoTTS의 성능은 수학 추론 벤치마크(GSM8K, MATH)에서 수작업으로 설계된 강력한 TTS 전략들과 비교되었습니다.

핵심 결과: 정확도-비용 효율 곡선

실험 결과, AutoTTS는 모든 비용 구간에서 기존의 수동 설계 전략들을 압도하는 성능을 보였습니다. 이는 AutoTTS가 더 우월한 정확도-비용 트레이드오프를 달성했음을 의미합니다.

(설명: 위 그래프는 AutoTTS가 어떻게 기존 방법들(Baseline A, B)보다 더 나은 효율 곡선(Pareto Frontier)을 형성하는지 보여주는 개념도입니다. 동일 비용에서 더 높은 정확도를, 동일 정확도에서 더 낮은 비용을 달성합니다.)

위 표는 GSM8K 벤치마크의 일부 결과로, AutoTTS가 기준선인 ToT보다 더 적은 비용으로 더 높은 정확도를 달성했음을 보여줍니다. 사용자는 $\beta$ 값을 조절하여 원하는 비용-성능 지점을 선택할 수 있습니다.

일반화 성능

더욱 인상적인 점은 일반화 성능입니다. GPT-4-Turbo와 GSM8K 데이터셋으로 학습한 AutoTTS 정책을 전혀 다른 모델인 CodeLlama-70B나 다른 데이터셋인 MATH에 추가 학습 없이 적용했을 때도 일관된 성능 향상을 보였습니다. 이는 AutoTTS가 발견한 전략이 특정 모델이나 데이터에 종속되지 않는, 범용적인 추론 원칙임을 시사합니다.

6. 비판적 평가

강점:

1. 패러다임 전환: LLM 최적화를 위한 자동화된 에이전트 접근법을 성공적으로 제시하여 새로운 연구 방향을 열었습니다.
2. 압도적인 성능: 실험적으로 기존 SOTA(State-of-the-art) TTS 전략들을 비용-효율성 측면에서 크게 능가함을 입증했습니다.
3. 실용성 및 확장성: 저렴한 발견 비용과 뛰어난 일반화 성능 덕분에 실제 산업 현장에서의 적용 가능성이 매우 높습니다.

한계점 및 고려사항:

1. 환경 설계의 중요성: AutoTTS의 성능은 전적으로 '환경'의 설계에 의존합니다. 상태, 행동, 피드백을 어떻게 정의하느냐에 따라 에이전트가 학습하는 정책의 질이 달라질 수 있습니다. 따라서 효과적인 환경 설계에 대한 깊은 고민과 가이드라인이 필요합니다.
2. 오프라인 데이터의 한계: 오프라인 재생 환경은 사전에 수집된 데이터 내에서만 탐색이 가능합니다. 만약 수집 데이터에 포함되지 않은 새로운 추론 경로가 더 효율적일 수 있다면, 에이전트는 이를 발견할 수 없습니다.

7. 실무 적용 가이드

AutoTTS를 실무에 적용할 때 다음 사항을 고려할 수 있습니다.

• 문제 정의: 먼저 해결하고자 하는 문제를 AutoTTS의 환경(상태, 행동, 피드백)으로 명확히 정의해야 합니다. 예를 들어, 코드 생성 문제라면 '상태'는 현재까지 생성된 코드와 테스트 결과, '행동'은 코드 수정, 디버깅 정보 요청, 유닛 테스트 실행 등이 될 수 있습니다.
• 오프라인 데이터셋 구축: 해결하려는 도메인에 맞는 고품질 추론 데이터베이스를 구축하는 것이 가장 중요하고 비용이 많이 드는 단계입니다. 다양한 프롬프트와 전략을 사용하여 최대한 풍부한 추론 경로를 확보해야 합니다.
• $\beta$ 값 선택: 서비스의 요구사항(응답 속도 vs. 정확도)에 맞춰 $\beta$ 값을 선택해야 합니다. 높은 정확도가 최우선이라면 낮은 $\beta$를, 빠른 응답과 비용 절감이 중요하다면 높은 $\beta$를 선택하여 API를 배포할 수 있습니다.

8. 결론

AutoTTS는 LLM 추론 전략 설계를 '사람의 직관에 의존한 휴리스틱 설계'에서 '데이터 기반의 자동화된 환경 설계'로 전환하는 혁신적인 프레임워크입니다. 에이전트가 스스로 최적의 정책을 발견하게 함으로써, 인간 설계의 한계를 뛰어넘는 성능과 효율성을 달성했습니다. 이 연구는 단순히 LLM의 성능을 높이는 것을 넘어, 복잡한 문제 해결을 위한 AI 에이전트 설계에 중요한 영감과 실용적인 방법론을 제시하며 앞으로의 발전을 기대하게 합니다.

참고 자료

• 논문 원문: LLMs Improving LLMs: Agentic Discovery of Strategies for Test-Time Scaling
• 공식 코드: https://github.com/zhengkid/AutoTTS