[논문 리뷰] Code as Agent Harness

TL;DR

이 논문은 최근 급부상하는 대규모 언어 모델(LLM) 기반 AI 에이전트가 단발성 코드 생성기를 넘어, 복잡하고 장기적인 작업을 안정적으로 수행하는 시스템으로 발전하기 위한 새로운 패러다임 **"Code as Agent Harness (에이전트 하네스로서의 코드)"**를 제안합니다. 기존 에이전트 시스템은 LLM의 출력을 직접 사용하거나 일회성 스크립트로 취급하여 신뢰성, 검증, 상태 관리에 한계를 보였습니다. 본 연구는 **코드를 에이전트의 추론, 행동, 환경 모델링, 검증을 위한 핵심 인프라(Harness)**로 삼는 통합된 관점을 제시합니다. 이 프레임워크는 하네스 인터페이스, 하네스 메커니즘, 다중 에이전트로의 확장이라는 세 가지 계층으로 구성되어, 에이전트 시스템을 실행 가능하고(executable), 검증 가능하며(verifiable), 상태를 유지하는(stateful) 신뢰성 높은 시스템으로 구축할 수 있는 체계적인 로드맵을 제공합니다. 이는 AI 에이전트 개발의 초점을 모델 자체에서 에이전트를 둘러싼 엔지니어링 환경으로 전환시키는 중요한 기여입니다.

연구 배경 및 동기

최근 GPT-4, Llama, Claude와 같은 대규모 언어 모델(LLM)은 놀라운 코드 이해 및 생성 능력을 보여주며, 경쟁 프로그래밍 문제 해결부터 실제 GitHub 이슈를 수정하는 수준까지 발전했습니다. 이러한 성공에 힘입어 LLM을 핵심 두뇌로 사용하는 자율 AI 에이전트(Autonomous AI Agent) 연구가 폭발적으로 증가했습니다. AutoGPT, BabyAGI와 같은 초기 에이전트들은 LLM에게 목표를 부여하고 스스로 계획을 세워 작업을 수행하는 가능성을 보여주며 대중의 상상력을 자극했습니다.

하지만 이러한 초기 접근법은 여러 근본적인 한계에 부딪혔습니다.

1. 신뢰성 및 검증의 부재: 많은 에이전트는 LLM이 생성한 자연어 계획이나 코드를 '그대로 믿고' 실행합니다. 이 과정에서 발생하는 오류나 환각(Hallucination) 현상을 체계적으로 검증하거나 제어할 장치가 부족합니다. 작업이 실패했을 때, 원인이 모델의 잘못된 추론 때문인지, 실행 환경의 문제인지, 아니면 도구의 버그 때문인지 파악하기 어렵습니다.
2. 상태 관리의 어려움: 에이전트가 여러 단계에 걸쳐 장기적인 작업을 수행하려면 이전 단계의 결과와 현재 상태를 지속적으로 기억하고 관리해야 합니다. 기존 시스템들은 대화 기록을 단순히 컨텍스트 창에 누적하는 방식을 사용하는데, 이는 컨텍스트 길이 제약에 취약하고, 정보의 중요도나 유형을 구분하지 못해 비효율적입니다.
3. 취약한 상호작용: 에이전트가 외부 세계(파일 시스템, 웹 브라우저, API)와 상호작용하는 방식이 종종 미리 정의된 JSON 형식의 API 호출에 의존합니다. 이는 유연성이 떨어지고, 새로운 도구나 환경 변화에 적응하기 어렵게 만듭니다. 예를 들어, 웹사이트의 UI가 약간만 변경되어도 기존의 selector 기반 자동화 스크립트는 쉽게 깨져버립니다.

이러한 문제들은 에이전트를 단순한 '데모' 수준을 넘어, 실제 프로덕션 환경에서 신뢰할 수 있는 '동료'로 만드는 데 가장 큰 걸림돌이었습니다. 이 논문은 이 문제를 해결하기 위해 다음과 같은 연구 질문을 던집니다: "어떻게 하면 에이전트 시스템을 예측 불가능한 블랙박스가 아닌, 디버깅 가능하고, 상태를 가지며, 검증할 수 있는 신뢰성 높은 소프트웨어 시스템으로 설계할 수 있을까?"

이에 대한 해답으로, 본 연구는 코드를 에이전트의 모든 활동을 담는 그릇이자 뼈대, 즉 '하네스(Harness)'로 사용하자는 아이디어를 제안합니다. 코드는 그 자체로 구조적이고, 실행 가능하며, 상태를 저장하고, 테스트를 통해 검증할 수 있는 강력한 특성을 지닙니다. 이 특성을 에이전트 시스템의 근간으로 삼음으로써, 우리는 더 견고하고 투명하며 확장 가능한 AI 에이전트를 구축할 수 있습니다.

관련 연구

"Code as Agent Harness"는 단일 기술이 아닌, 기존의 다양한 연구 흐름을 통합하고 체계화하는 프레임워크입니다. 본 논문의 아이디어와 관련된 주요 선행 연구는 다음과 같습니다.

1. SayCan (Ahn et al., 2022): 로봇 에이전트가 행동을 결정할 때, 언어 모델이 제안하는 행동(Say)과 실제 환경에서 물리적으로 가능한 행동(Can)을 결합하는 방법을 제안했습니다. 이는 에이전트의 행동을 현실 세계에 '접지(grounding)'시키는 중요성을 강조한 선구적인 연구입니다.
2. SWE-agent (Yang et al., 2024): 실제 GitHub 저장소의 이슈를 해결하는 소프트웨어 엔지니어링 에이전트입니다. 에이전트가 파일 시스템을 탐색하고, 코드를 편집하며, 테스트를 실행하는 등 터미널 환경과 상호작용하는 방식을 체계화했습니다. 이는 코드를 중심으로 한 환경 상호작용의 구체적인 사례를 보여줍니다.
3. ChatDev (Qian et al., 2023): 여러 AI 에이전트(CEO, 프로그래머, 테스터 등)가 역할을 분담하여 소프트웨어를 개발하는 다중 에이전트 협업 프레임워크입니다. 이는 에이전트 간의 상호작용과 코드 리뷰를 통해 시스템 전체의 품질을 높이는 접근법을 제시했습니다.
4. MemGPT (Packer et al., 2023): LLM의 제한된 컨텍스트 창 문제를 해결하기 위해, 운영체제의 가상 메모리 관리 기법을 도입했습니다. 이를 통해 에이전트가 장기적인 대화나 문서를 효과적으로 처리할 수 있는 메모리 시스템의 중요성을 부각했습니다.
5. Toolformer (Schick et al., 2023): LLM이 스스로 계산기, 검색 엔진 등 외부 도구를 언제 어떻게 호출할지 학습하도록 하는 연구입니다. 이는 LLM의 능력을 외부 API와 결합하여 확장하는 '도구 사용(Tool Use)' 패러다임을 정립했습니다.

이처럼 "Code as Agent Harness"는 기존 연구들의 개별적인 아이디어(행동 접지, 환경 상호작용, 협업, 메모리, 도구 사용)를 '코드'라는 통합된 렌즈를 통해 재해석하고, 이들을 유기적으로 연결하는 시스템적인 프레임워크를 제공한다는 점에서 차별성을 가집니다.

핵심 기여

본 논문의 핵심 기여는 다음과 같이 정리할 수 있습니다.

1. 통합 프레임워크 "Code as Agent Harness" 제시: 에이전트의 추론, 행동, 환경 모델링, 검증 등 모든 활동을 '실행 가능한 코드'라는 단일 매개체로 통합하는 새로운 패러다임을 제안했습니다. 이는 에이전트 시스템을 보다 투명하고, 디버깅 가능하며, 신뢰성 높은 시스템으로 설계할 수 있는 이론적 기반을 제공합니다.
2. 에이전트 하네스의 체계적 구조화: 에이전트 하네스를 **인터페이스(Interface), 메커니즘(Mechanisms), 확장(Scaling)**이라는 세 가지 상호 연결된 계층으로 체계적으로 조직했습니다. 이 구조는 복잡한 에이전트 시스템을 설계하고 분석하기 위한 명확한 청사진을 제공하며, 각 구성 요소의 역할과 관계를 명확히 합니다.
3. 에이전틱 하네스 엔지니어링(AHE) 개념 도입: 에이전트가 동작하는 환경, 즉 하네스 자체를 데이터 기반으로 설계하고 개선하는 '에이전틱 하네스 엔지니어링(Agentic Harness Engineering)'이라는 공학적 접근법을 제시했습니다. 딥 텔레메트리(Deep Telemetry)와 진화 에이전트(Evolution Agent)를 통해 하네스를 지속적으로 최적화하는 방법을 제안함으로써, 에이전트 시스템의 자가 개선 가능성을 열었습니다.
4. 미래 연구를 위한 로드맵 제공: 단일 에이전트부터 다중 에이전트 시스템, 그리고 GUI 자동화, 과학적 발견, DevOps 등 다양한 응용 분야에 걸쳐 코드 하네스의 적용 사례를 종합했습니다. 또한, 평가, 검증, 안전성, 다중모드 확장 등 미래 연구가 해결해야 할 핵심적인 도전 과제들을 명확히 제시하여 해당 분야의 연구 방향을 이끌고 있습니다.

제안 방법론

본 논문은 특정 모델이나 알고리즘을 제안하기보다, 신뢰할 수 있는 AI 에이전트를 구축하기 위한 개념적 프레임워크를 제시합니다. 이 프레임워크는 크게 하네스 인터페이스, 하네스 메커니즘, 하네스 확장이라는 세 가지 계층으로 구성됩니다.

1. 하네스 인터페이스: 에이전트와 세계를 잇는 다리

코드는 에이전트의 내부 추론과 외부 세계(환경, 도구)를 연결하는 강력한 인터페이스 역할을 합니다.

• 실행 가능한 추론 (Executable Reasoning): LLM이 생성한 "파일을 찾고 요약한다"와 같은 추상적인 계획은 그 자체로는 검증할 수 없습니다. 코드 하네스는 이를 search_files(keyword)와 summarize_file(path) 같은 구체적인 함수 호출의 연속, 즉 실행 가능한 코드로 변환합니다. 이를 통해 계획의 각 단계를 즉시 실행하고, 성공/실패 여부를 명확히 확인할 수 있습니다.
• 프로그래밍 가능한 행동 (Programmable Action): 에이전트의 모든 행동은 API 호출, 라이브러리 사용 등 잘 정의된 함수로 모듈화됩니다. 이는 행동의 재사용성과 확장성을 높이며, try-except 구문 등을 통해 행동의 실패를 우아하게 처리할 수 있게 합니다.
• 검사 가능한 상태 (Inspectable State): 파일 시스템, 데이터베이스, 웹 DOM과 같은 외부 환경의 상태를 코드를 통해 읽어옵니다. 그리고 이를 JSON, 클래스 객체 등 구조화된 데이터로 표현하여 에이전트가 현재 상황을 명확하게 인식하고 다음 행동을 결정하도록 돕습니다.

2. 하네스 메커니즘: 신뢰성과 적응성을 높이는 장치

코드는 에이전트가 장기적인 작업을 안정적으로 수행하도록 돕는 다양한 내재적 메커니즘을 제공합니다.

• 계획 (Planning) 및 제어 루프: 작업 계획을 코드(함수 목록, 스크립트)로 명시적으로 작성합니다. 이를 계획-실행-검증(Plan-Execute-Verify, PEV) 루프에 따라 실행하여 작업의 신뢰성을 확보합니다.
  1. Plan: 목표, 변경할 파일, 검증 기준을 명시한 '계약'을 코드로 생성.
  2. Execute: 계획을 격리된 샌드박스 환경에서 안전하게 실행.
  3. Verify: 테스트, 린터 등 결정론적인 센서로 결과를 평가하고 피드백을 받아 계획을 수정.
• 메모리 (Memory): 코드의 상태 저장 기능을 활용하여 작업 기록과 중간 결과를 체계적으로 관리합니다. 이는 단순한 대화 기록을 넘어, 작업 기억(Working Memory), 의미 기억(Semantic Memory), 경험 기억(Experiential Memory) 등 기능적으로 분리된 메모리 시스템으로 구축됩니다.
• 도구 사용 (Tool Use): 외부 라이브러리나 API를 import하고 함수로 호출하는 것은 코드의 가장 기본적인 기능입니다. 이를 통해 에이전트의 능력을 무한히 확장할 수 있습니다.
• 피드백 및 접지 (Feedback & Grounding): 에이전트의 행동 선택은 언어적 그럴듯함과 환경적 실행 가능성을 모두 고려해야 합니다. SayCan 연구에서 제안된 행동 선택 점수 계산은 이러한 아이디어를 잘 보여줍니다.

여기서 $P_{\text{LM}}$은 언어 모델이 계산한 언어적 관련성 확률이고, $P_{\text{affordance}}$는 해당 행동이 현재 환경 상태에서 실행 가능할 확률입니다. 코드 하네스는 P_affordance를 API의 존재 여부, 사전 조건 체크 등을 통해 명시적으로 계산하여 에이전트의 행동을 현실에 접지시킵니다.

3. 하네스 확장: 단일 에이전트에서 다중 에이전트로

코드 중심 접근법은 여러 에이전트가 협업하는 시스템으로 자연스럽게 확장됩니다.

• 저장소 기반 표현 (Repository-based): Git과 같은 버전 관리 시스템을 공유 환경으로 사용합니다. 에이전트들은 commit, branch, pull request와 같은 명시적인 행동을 통해 상호작용하며, 이는 인간 개발자의 협업 방식과 매우 유사합니다.
• 블랙보드 기반 표현 (Blackboard-based): 모든 에이전트가 자유롭게 읽고 쓸 수 있는 중앙 집중화된 데이터 구조(블랙보드)를 통해 작업 계획, 코드 아티팩트, 이슈 등을 공유하여 복잡한 조정을 수행합니다.
• 역할 분담 및 상호 검토: 개발자 에이전트, 테스터 에이전트, 리뷰어 에이전트가 각자의 역할을 수행하며 코드를 생성하고, 테스트하며, 검토하는 워크플로우를 구성할 수 있습니다.

4. 에이전틱 하네스 엔지니어링 (AHE)

궁극적으로, 하네스 자체도 정적인 것이 아니라 진화해야 합니다. AHE는 하니스를 데이터 기반으로 개선하는 메타(meta) 레벨의 접근법입니다.

• 딥 텔레메트리 (Deep Telemetry): 에이전트의 모든 활동(모델의 결정, 하니스의 액션, 환경의 상태 변화)을 구조화된 데이터로 기록합니다.
• 진화 에이전트 (Evolution Agent): 텔레메트리 데이터를 분석하여 실패 패턴을 식별하고, 프롬프트, 도구 스키마, 메모리 정책 등 하니스 구성 요소를 개선하는 가설을 생성하고 검증합니다.

이 과정은 하니스 설계를 최적화 문제로 정의할 수 있습니다. 에이전트의 성능 $P$가 모델 $M$과 하니스 구성 $H$의 함수일 때, 목표는 최적의 하니스 구성 $H^*$를 찾는 것입니다.

여기서 $H$는 프롬프트 템플릿, 도구 집합, 메모리 관리 정책 등 하니스를 구성하는 모든 요소의 조합을 의미합니다.

실험 설정

본 논문은 새로운 실험 결과를 제시하는 경험적 연구라기보다는, 기존 연구들을 통합하고 미래 방향을 제시하는 서베이 및 개념적 프레임워크 논문입니다. 따라서 자체적인 실험 설정과 정량적 결과는 제시하지 않습니다. 대신, 제안된 "Code as Agent Harness" 프레임워크가 어떻게 실제 에이전트 시스템에 적용되고 평가될 수 있는지를 다양한 벤치마크와 데이터셋을 통해 설명합니다.

• 데이터셋 및 벤치마크: 프레임워크의 유효성을 검증할 수 있는 대표적인 환경들은 다음과 같습니다.
  • SWE-bench: 실제 GitHub 저장소의 이슈와 풀 리퀘스트를 기반으로 구축된 벤치마크로, 소프트웨어 엔지니어링 에이전트의 실용적인 문제 해결 능력을 평가합니다.
  • AgentBench: 다양한 도메인(OS, 데이터베이스, 웹 등)에서의 에이전트의 범용적인 능력을 평가하기 위한 종합 벤치마크입니다.
  • OSWorld: 운영체제(OS) 환경에서 파일 관리, 프로그램 설치, 환경 설정 등 복잡한 작업을 수행하는 능력을 평가합니다.
  • ScienceAgentBench: 과학 연구와 관련된 문헌 검색, 데이터 분석, 코드 실행 능력을 평가하는 벤치마크입니다.
• 평가 지표: 에이전트의 성능은 주로 **작업 성공률(Success Rate)**로 평가됩니다. 이는 최종 목표를 달성했는지 여부를 기준으로 측정되며, 종종 단위 테스트 통과 여부나 정답과의 일치 여부로 결정됩니다. 그 외에도 비용(Cost, API 호출 수), 효율성(Efficiency, 소요 시간), 코드 품질(Code Quality) 등이 보조 지표로 사용될 수 있습니다.
• 베이스라인: 이 프레임워크의 효과를 평가하기 위한 베이스라인은 다음과 같이 설정될 수 있습니다.
  • LLM (Zero-shot/Few-shot): 별도의 하네스 없이 LLM에 직접 프롬프트를 입력하여 문제를 해결하는 방식.
  • ReAct (Yao et al., 2022): 생각(Thought)과 행동(Action)을 번갈아 생성하는 간단한 에이전트 루프.
  • 기존 에이전트 시스템: AutoGPT, SWE-agent 등 특정 목적을 위해 설계된 기존 에이전트 시스템.

실험 결과 분석

본 논문은 자체 실험 결과를 제시하지 않으므로, 기존 연구들을 "Code as Agent Harness" 프레임워크의 관점에서 질적으로 분석합니다. 이 프레임워크를 적용하면 기존 에이전트들의 성공과 실패 요인을 더 체계적으로 이해할 수 있습니다.

예를 들어, SWE-bench에서 높은 성능을 보이는 SWE-agent의 성공 요인은 "Code as Agent Harness" 관점에서 다음과 같이 분석할 수 있습니다.

• 인터페이스: 파일 시스템을 읽고 쓰는 (ls, cat, edit) 명확한 행동 인터페이스를 정의했습니다.
• 메커니즘: 작업 계획을 스크립트 파일로 명시적으로 관리하고, pytest를 검증 도구로 사용하여 강력한 PEV 루프를 구현했습니다.
• 확장성: 단일 에이전트 모델이지만, Git과 같은 저장소 기반 환경(레벨 2)에서 작동하여 상태 변화를 추적합니다.

반면, 초기 에이전트인 AutoGPT가 복잡한 작업에서 실패하는 이유는 프레임워크 관점에서 명확해집니다.

• 메커니즘 부재: 명시적인 검증 단계가 부족하여 LLM의 환각에 취약합니다.
• 비효율적 메모리: 장기 메모리를 단순한 텍스트 파일에 누적하여 컨텍스트 관리에 실패하는 경우가 많습니다.

다중 에이전트 시스템의 성공 여부는 **수렴 패턴(Convergence Patterns)**의 설계에 따라 결정됩니다. 작업의 완료 조건을 어떻게 정의하는지가 시스템의 효율성과 결과물의 품질을 좌우합니다. 예를 들어, 테스트 기반 수렴은 코드의 정확성을 보장하지만, 새로운 기능 개발에는 적용하기 어렵습니다. 이때는 합의 기반 수렴이나 점수 기반 수렴이 더 효과적일 수 있습니다. 수렴 조건 $C$는 다양한 품질 신호의 가중 합으로 모델링할 수 있습니다.

여기서 $S_{\text{test}}$는 테스트 통과율, $S_{\text{quality}}$는 정적 분석 점수, $S_{\text{perf}}$는 성능 벤치마크 점수를 나타내며, 각 가중치 $w$는 작업의 특성에 따라 조절됩니다. 이처럼 코드 하네스는 에이전트의 성공을 정량적으로 측정하고 제어하는 기준을 제공합니다.

비판적 평가

강점

1. 통합적이고 체계적인 관점: 개별 기술로 흩어져 있던 에이전트 연구들을 '코드'라는 일관된 키워드로 묶어 체계적인 프레임워크를 제시했습니다. 이는 복잡한 에이전트 시스템을 설계하고 분석하는 데 매우 유용한 지적 도구를 제공합니다.
2. 엔지니어링 중심의 접근법: '더 좋은 모델'만을 기다리는 수동적인 자세에서 벗어나, 모델을 둘러싼 환경, 즉 '하네스'를 적극적으로 설계하고 개선해야 한다는 공학적 관점을 제시한 것이 매우 중요합니다. 이는 AI 연구를 실제 산업에 적용하는 데 필수적인 관점의 전환입니다.
3. 신뢰성과 검증 강조: PEV 루프, 실행 기반 피드백, 단위 테스트와 같은 개념을 도입하여 에이전트의 행동을 검증하고 신뢰성을 높이는 구체적인 방법론을 제시했습니다. 이는 에이전트를 '장난감'에서 '신뢰할 수 있는 도구'로 발전시키는 핵심 요소입니다.
4. 확장성: 단일 에이전트에서 다중 에이전트 시스템으로 자연스럽게 확장되는 구조를 제시하고, Git이나 블랙보드와 같은 실제 협업 도구와 연결하여 현실적인 구현 가능성을 높였습니다.

한계점과 개선 방향

1. 구현의 복잡성: 제안된 프레임워크는 포괄적이지만, 이를 실제로 구현하는 것은 상당한 엔지니어링 노력을 요구합니다. 특히 딥 텔레메트리나 진화 에이전트와 같은 AHE 구성 요소를 구축하는 것은 매우 복잡한 작업입니다.
2. 보안 및 안전 문제: 에이전트에게 코드 실행 권한을 부여하는 것은 본질적인 보안 위험을 내포합니다. 논문에서 샌드박스의 중요성을 언급하지만, 파일 시스템 접근, 네트워크 호출, 시스템 명령어 실행 등에서 발생할 수 있는 잠재적인 악용을 막기 위한 구체적이고 강력한 안전장치에 대한 논의가 더 필요합니다.
3. 평가의 어려움: 에이전트가 생성한 복잡한 코드나 장기적인 작업 결과물의 품질을 최종 성공 여부만으로 평가하기는 어렵습니다. 코드의 효율성, 유지보수성, 스타일 등 다양한 측면을 자동으로 평가하는 새로운 지표와 방법론 개발이 필요합니다.

재현성 평가

본 논문은 개념적 프레임워크를 제안하는 서베이 논문이므로, 특정 실험 결과의 재현성을 평가하는 것은 적절하지 않습니다. 하지만 논문에서 제시한 아이디어들은 SWE-agent, ChatDev 등 오픈소스로 공개된 여러 프로젝트를 기반으로 하고 있어, 독자들이 제안된 개념을 실제 코드를 통해 확인하고 자신만의 하네스를 구축해 볼 수 있는 기반은 충분히 마련되어 있습니다.

향후 연구 방향

본 논문은 '하네스 공학(Harness Engineering)'이라는 새로운 연구 분야의 문을 열었으며, 다음과 같은 흥미로운 향후 연구 방향을 제시합니다.

1. 자기 진화 하네스 (Self-Evolving Harnesses): 현재의 하네스는 대부분 정적으로 설계됩니다. 앞으로는 런타임 피드백(비용, 실패 사례, 성능)을 통해 스스로의 구성 요소(메모리 형식, 도구 집합, 검증 정책)를 수정하고 개선하는 적응형 하네스에 대한 연구가 필요합니다.
2. 의미론적 충돌 해결 (Semantic Conflict Resolution): 다중 에이전트 환경에서 단순한 코드 충돌(conflict)을 넘어, 에이전트 간의 가정이나 계획이 충돌하는 '의미론적 충돌'을 감지하고 해결하는 기술이 중요해질 것입니다. 데이터베이스의 트랜잭션과 같은 개념을 도입하여 에이전트의 행동을 원자적으로 관리하는 연구가 필요합니다.
3. 인간 참여형 안전 및 책임성 (Human-in-the-Loop Safety): 금융, 의료 등 고위험 분야에서는 에이전트의 완전 자율성을 허용하기 어렵습니다. 시스템 배포나 민감 데이터 접근과 같은 중요한 결정에 인간의 승인을 요구하고, 그 결정이 하네스의 정책을 영구적으로 업데이트하는 '실행 가능한 책임성(Executable Accountability)' 메커니즘에 대한 연구가 필요합니다.
4. 다중모드 하네스 (Multimodal Harnesses): 현재의 하네스는 주로 텍스트와 코드를 다룹니다. GUI 스크린샷, 로봇 센서 데이터 등 시각적, 물리적 정보를 상태로 관리하고 검증하는 다중모드 하네스로 확장되어야 합니다. 이는 GUI 자동화나 로보틱스 분야에서 에이전트의 능력을 획기적으로 향상시킬 것입니다.

실무 적용 가이드

"Code as Agent Harness"의 개념을 실제 프로젝트에 적용하고자 할 때, 다음 사항들을 고려할 수 있습니다.

1. 작고 명확한 도구로 시작하기: 처음부터 복잡한 하네스를 구축하려 하지 말고, 프로젝트에 필요한 핵심 기능(e.g., 파일 읽기, 특정 API 호출, 단위 테스트 실행)을 명확한 함수 시그니처를 가진 도구로 정의하는 것부터 시작하세요.
2. 실행과 검증 분리하기: 에이전트가 생성한 코드를 바로 프로덕션 환경에서 실행하지 마세요. Docker와 같은 컨테이너 기술을 활용하여 안전한 샌드박스 환경을 구축하고, 코드 실행 후에는 반드시 명시적인 검증 스크립트(단위 테스트, 통합 테스트 등)를 실행하여 결과를 확인하는 PEV 루프를 구현하는 것이 중요합니다.
3. 모든 것을 로깅하기 (딥 텔레메트리): 에이전트의 모든 입력, 생성한 코드, 실행 결과, 검증 피드백을 구조화된 형식(e.g., JSONL)으로 로깅하세요. 이 로그는 시스템이 실패했을 때 디버깅할 수 있는 가장 귀중한 자산이며, 향후 하네스를 개선하기 위한 데이터 기반이 됩니다.
4. Git을 공유 상태로 활용하기: 다중 에이전트나 인간과의 협업을 고려한다면, 파일 시스템을 직접 조작하기보다 Git을 통해 상호작용하는 것이 좋습니다. 각 에이전트가 자신의 작업을 별도의 브랜치에서 수행하고 풀 리퀘스트를 통해 변경 사항을 제안하게 하면, 작업 이력을 추적하고 충돌을 관리하기 용이합니다.

결론

"Code as Agent Harness"는 AI 에이전트 개발의 패러다임을 '모델 중심'에서 '시스템 중심'으로 전환하는 중요한 이정표를 제시합니다. 이 논문은 코드를 단순히 에이전트가 생성하는 결과물이 아니라, 에이전트의 생각과 행동, 그리고 환경을 잇는 보편적인 언어(Lingua Franca)이자 핵심 인프라로 재정의했습니다. 인터페이스, 메커니즘, 확장이라는 체계적인 프레임워크를 통해, 우리는 예측 불가능하고 디버깅하기 어려웠던 에이전트를 실행 가능하고, 검증 가능하며, 상태를 유지하는 신뢰성 높은 소프트웨어 시스템으로 만들어나갈 수 있습니다. 앞으로 AI 에이전트가 더욱 복잡하고 중요한 과업을 수행하게 됨에 따라, 이 논문이 제시한 '하네스 공학'의 중요성은 더욱 커질 것이며, 이는 AI를 단순한 도구를 넘어 진정한 협력적 동반자로 만드는 핵심 열쇠가 될 것입니다.

참고 자료

• 논문 원문 (arXiv): Code as Agent Harness
• 관련 코드 및 프로젝트: 논문에서 언급된 SWE-agent, ChatDev 등은 GitHub에서 찾아볼 수 있습니다.
  • SWE-agent
  • ChatDev