에이전트 하네스 평가, 벤치마크 점수 대신 행동을 검사하라

에이전트 하네스(시스템 프롬프트, 도구 정의, 실행 루프, 권한 경계를 합친 것)를 손보고 나면 반드시 받는 질문이 있습니다. “그래서 좋아졌나요?” 대개 Terminal-Bench나 SWE-bench 같은 종합 벤치마크를 다시 돌려 답하려 하지만, 점수가 2%p 오르거나 내려도 이유는 알 수 없습니다. 2026년 9월 9일 Google Developers Blog에 실린 Taylor Mullen과 Christian Gunderman의 글은 이 문제에 ‘행동 평가(behavioral evaluation)’라는 답을 내놓았습니다. 하네스를 일반 소프트웨어처럼 테스트하자는 제안입니다.

저는 이 제안에 대체로 동의합니다. 다만 원문은 ‘무엇을’에 집중하고 ‘얼마나 돌려야 믿을 수 있는가’는 거의 다루지 않습니다. 이 글은 행동 평가의 개념을 짧게 정리한 뒤, 실제로 사내 하네스에 붙일 때 필요한 테스트 작성법, 통과율의 통계적 해석, CI 운영 방식을 제 관점에서 보탭니다.

종합 점수가 하네스 변경을 설명하지 못하는 이유

E2E 벤치마크는 ‘과제를 해결했는가’만 봅니다. 그런데 하네스 변경은 대개 특정 행동 하나를 고치려는 것입니다. 예를 들어 “테스트를 돌리지 않고 완료를 선언하는 버릇”을 고치려고 프롬프트 한 줄을 넣었다고 합시다. 종합 점수에는 그 행동 말고도 모델 샘플링의 운, 과제 구성, 실행 환경의 차이가 섞여 있습니다. 점수가 1%p 올랐을 때 그것이 내가 넣은 한 줄 덕분인지, 단지 이번 실행의 운인지 구분할 방법이 없습니다.

벤치마크 숫자 자체도 조심해서 읽어야 합니다. 9월 말 GitHub에 올라온 한 자동 하네스 비교 리포트는 벤치마크당 과제가 5개뿐이었고, 특정 하네스가 받은 0점은 성능 문제가 아니라 API 키 설정 문제로 보였습니다. 과제 5개면 한 과제가 20%p입니다. 순위표는 쉽게 만들어지지만 설명력은 낮다는 점을 보여 주는 사례입니다.

행동 평가: 최종 답이 아니라 중간 행동을 assert한다

행동 평가는 최종 출력 대신 실행 기록(trace)의 중간 단계를 검사합니다. “이 요청을 받으면 먼저 테스트 파일을 읽는다”, “삭제 명령 전에는 사용자 확인을 요청한다”, “이 오류가 나면 특정 도구를 다시 호출한다” 같은 기대를 assert로 씁니다. 원문 저자들은 이를 하네스용 통합 테스트에 비유했습니다.

구분 E2E 벤치마크 행동 평가
검사 대상 최종 결과(해결 여부) 도구 호출, 파일 수정 등 중간 행동
실패 원인 파악 어렵다 어떤 행동이 틀렸는지 바로 드러난다
실행 시간 수십 분~수 시간 Google 예제는 로컬 스위트 5초 미만
적합한 용도 모델·하네스 간 수준 비교 하네스 변경의 회귀 방지

벤치마크가 ‘얼마나’를 말한다면 행동 평가는 ‘왜’를 말합니다. 둘은 대체 관계가 아니라 층이 다른 테스트입니다. 소프트웨어 테스트 피라미드에 빗대면, 행동 평가는 단위 테스트와 E2E 사이의 통합 테스트 층을 채웁니다.

테스트 하나를 실제로 써 보면

좋은 행동 테스트는 짧고 구체적입니다. “좋은 코드를 작성한다”는 테스트가 될 수 없지만 “테스트 파일이 있는 저장소에서 수정 요청을 받으면, 수정 후 테스트 명령을 실행한 다음에만 완료를 선언한다”는 테스트가 됩니다. 아래는 실행 기록을 이벤트 목록으로 받는다고 가정한 파이썬 예시입니다. 특정 프레임워크의 API가 아니라 구조를 보이기 위한 의사 코드입니다.

def test_runs_tests_before_declaring_done(run_agent):
    # 2026-09-21 관찰: 테스트 미실행 상태로 '완료' 선언
    trace = run_agent(
        repo="fixtures/calc_with_tests",
        prompt="add() 함수가 음수에서 틀립니다. 고쳐 주세요.",
    )
    edits = trace.index_of(kind="file_edit", path="calc.py")
    tests = trace.index_of(kind="shell", cmd_contains="pytest")
    done  = trace.index_of(kind="final_message")

    assert edits is not None, "수정 자체를 하지 않음"
    assert tests is not None, "테스트를 실행하지 않음"
    assert edits < tests < done, "수정→테스트→완료 순서가 아님"
    assert not trace.any(kind="shell", cmd_contains="rm -rf")

세 가지를 눈여겨볼 만합니다. 첫째, 테스트 이름과 주석에 실패가 처음 관찰된 날짜와 상황을 남깁니다. 둘째, 결과 문자열이 아니라 순서를 검사합니다. 셋째, 기대 행동과 함께 금지 행동도 같이 검사합니다. 이렇게 쓰면 테스트가 실패했을 때 어떤 단계에서 무엇이 틀렸는지가 메시지 하나로 드러납니다.

복잡한 과제는 엄격한 순서 검사가 오히려 정상 행동을 실패로 처리합니다. 원문도 과제 복잡도에 따라 단순 과제는 단일 턴의 엄격한 검사로, 복잡 과제는 LLM-as-a-judge 같은 결과 기반 검사로 나누라고 권합니다. 제 기준은 “사람이 정답 행동을 한 줄로 쓸 수 있는가”입니다. 한 줄로 쓸 수 있으면 assert, 쓸 수 없으면 판정 모델에 기준표(rubric)를 줍니다.

몇 번 돌려야 믿을 수 있는가

에이전트는 비결정적이므로 원문은 단일 실행이 아니라 배치 통과율의 추세를 보라고 합니다. 맞는 말이지만, 실무에서는 “몇 번”이 바로 다음 질문입니다. 통과율은 이항 비율이므로 신뢰구간으로 생각하면 감이 옵니다. 표본 수 n, 관측 통과율 p일 때 95% 신뢰구간의 대략적인 반폭은 다음과 같습니다.

반폭 ≈ 1.96 × √( p(1−p) / n )
실행 횟수 n p = 0.8일 때 반폭 의미
5 약 ±35%p 사실상 아무것도 판단할 수 없음
20 약 ±18%p 큰 회귀(80%→50%)만 감지
50 약 ±11%p 중간 크기 변화 감지 가능
100 약 ±8%p 하네스 미세 조정 판단에 쓸 만함

표본이 작거나 통과율이 0이나 1에 가까울 때는 위 정규 근사보다 Wilson 구간이 더 정확합니다. 요점은 단순합니다. 테스트 하나를 다섯 번 돌려 4/5가 나왔다는 것은 거의 정보가 없다는 것입니다. 그래서 저는 행동 스위트를 두 층으로 나눕니다. 매 PR마다는 테스트당 10회 정도로 큰 회귀만 막고, 야간 배치에서 테스트당 50~100회를 돌려 추세 대시보드를 갱신합니다. PR 차단 기준은 “이전 야간 통과율의 신뢰구간 하한보다 유의하게 낮을 때”로 두면 우연한 실패로 PR이 막히는 일이 크게 줄어듭니다.

개선 루프의 일부는 다시 모델에게

원문에서 인상적인 부분은 수정 루프 자체를 LLM에게 맡긴다는 점입니다. 실패한 행동 테스트를 주고 시스템 프롬프트를 고치게 한 뒤, 나머지 스위트로 회귀가 없는지 확인합니다. 사람은 어떤 행동을 기대하는지를 정의하고, 수정 반복은 기계가 합니다. 이 구조에서 사람의 역할은 테스트 작성자이자 최종 승인자입니다.

주의할 점이 하나 있습니다. 모델이 프롬프트를 고칠 때 테스트에 ‘맞추는’ 방향, 즉 특정 fixture 이름이나 문구에 반응하는 지시를 넣을 수 있습니다. 머신러닝의 과적합과 같은 현상입니다. 그래서 자동 수정 루프에는 수정에 쓰지 않은 별도 검증 스위트(hold-out)를 반드시 둡니다.

평가와 짝을 이루는 세 계층

Augment Code의 하네스 가이드는 평가와 짝을 이루는 구조를 세 계층으로 설명합니다. 저는 이것을 보안 통제의 예방·탐지·교정 분류와 겹쳐 읽습니다.

계층 역할 예시 보안 통제와의 대응
제약(feedforward) 잘못된 행동을 미리 막음 AGENTS.md 규칙, 허용 명령 목록, Always/Ask First/Never 경계 예방 통제
피드백 루프(corrective) 실행 중 스스로 고치게 함 린트 오류를 수정 지침으로 제공, Plan-Execute-Verify 교정 통제
품질 게이트(enforcement) 통과 못 하면 병합 불가 테스트, 복잡도 한도, 규칙 무력화 금지 탐지·차단 통제

가이드는 제약을 과하게 걸어 에이전트가 아무것도 못 하는 것도 실패 모드라고 경고합니다. 행동 평가는 바로 이 균형을 판단하는 근거가 됩니다. 어떤 지시문에 대응하는 테스트가 몇 달째 100% 통과한다면 모델이 이미 그 행동을 스스로 하게 된 것이므로, 그 지시문을 걷어내도 되는지 실험할 근거가 생깁니다. 행동 평가는 하네스를 지키는 장치이면서 하네스를 가볍게 만드는 근거 자료이기도 합니다.

사내에 도입할 때의 순서

  1. 실수 수집. 지난 한 달간 에이전트가 저지른 실수를 모아 ‘행동’ 단위로 분류합니다. 결과물 품질 불만은 행동으로 쪼개질 때까지 다시 묻습니다.
  2. 상위 3개를 테스트로. 가장 자주 나온 실수 3개만 먼저 테스트로 만듭니다. 처음부터 수십 개를 쓰면 유지보수에 지칩니다.
  3. 두 층 운영. PR마다 소량 반복, 야간에 대량 반복. 통과율과 신뢰구간을 대시보드에 올립니다.
  4. 함께 볼 지표. 과제 해결률 외에 2주 안에 다시 고쳐지는 코드 비율, 사람이 검증에 쓰는 시간, 결함 유출률을 같이 봅니다.
  5. 분기 점검. 분기마다 E2E 벤치마크로 전체 수준을 확인하고, 계속 통과하는 테스트와 지시문은 정리 후보로 올립니다.

원문 저자들은 초기에는 개발자 직관과 직접 사용(dogfooding)으로 시작하고, 행동 평가는 기능이 어느 정도 자리 잡아 회귀를 막아야 하는 시점에 도입하라고 권합니다. 저도 같은 생각입니다. 아직 무엇이 정상 행동인지 합의가 없는 단계에서 테스트를 먼저 쓰면 테스트가 설계를 굳혀 버립니다.

맺으며

하네스는 이제 프롬프트 공예가 아니라 테스트 가능한 소프트웨어로 다뤄야 할 대상입니다. 종합 점수는 큰 흐름을, 행동 평가는 원인을 보여 주고, 통계는 그 둘을 얼마나 믿어도 되는지를 알려 줍니다. “좋아졌나요?”라는 질문에 “이 행동의 통과율이 62%에서 88%로 올랐고, 100회 기준 신뢰구간이 겹치지 않습니다”라고 답할 수 있다면 하네스 개선은 감이 아니라 공학이 됩니다.

참고 자료

댓글 남기기