Ø NEWS

고객의 745달러짜리 주방 가전은 내슈빌 물류센터에서 배송업체 "예외" 상태로 15일째 멈춰 있었다. 예상 배송일을 보름 넘게 지난 뒤였다. AI 에이전트는 아홉 번의 도구 호출로 꼼꼼하게 움직였다. 주문을 불러오고, 배송 추적을 확인하고, 고객 프로필을 조회하고, 환불 정책을 두 번 검색하고, 기존 티켓이 없다는 걸 확인한 뒤 새 티켓을 열어 경위를 기록했다. 정책도 정확히 읽었다 — 이 고객의 등급은 배송 지연 보상 대상이 아니었다.

문제는 그다음에 났다. 에이전트는 티켓을 "해결됨"으로 닫고 "질문이 해결되었으니 다른 도움이 필요하신가요"라고 답했다. 하지만 배송업체 쪽 예외 상태는 여전히 열려 있었고, 이 티켓이 끝나야 할 상태는 "해결"이 아니라 "보류"였다. 고객은 애초에 물었던 것에 대한 답을 받지 못한 채였다.

도구 호출만 채점하는 심사자라면 아홉 번 모두 정상으로 본다. 에이전트가 데이터베이스에 실제로 써넣은 값을 보면 얘기가 달라진다.

기록이 증거다

마이크로소프트와 허깅페이스가 함께 올린 블로그는 이 사례를 근거로 평가 체계 ThinkingBox를 소개한다. 허깅페이스를 통해 공개된 이 벤치마크는 에이전트가 쓴 문장이나 성공한 도구 호출이 아니라, 작업이 끝난 뒤 백엔드에 남은 상태와 부작용으로 채점한다. 위 사례는 벤치마크 과제 파일 sandbox_external_retail_group1.py의 테스트 케이스 ST003_006에서 가져왔고, 여기서 성패를 가른 건 필드 하나다 — 티켓 상태가 "해결"로 적혀 있지만 요구되는 값은 "보류"였다.

실패처럼 안 보이는 실패

12개 모델에 걸친 121,680건의 유효 시도 가운데 79,853건이 이 상태 점검에서 걸렸다. 그런데 이 중 67.24%는 도구 호출 에러 하나 없이 깨끗하게 끝났고, 상태를 바꾸는 도구도 정상적으로 불렸다. 표면적으로는 전부 성공이었던 셈이다.

실패 79,853건을 실제 기록된 값으로 다시 나눠 보면 세 갈래로 갈린다. 세 수치는 서로 겹칠 수 있다.

스무 번을 돌려야 보이는 숫자

반복이야말로 신뢰를 재는 시험이다. ThinkingBox는 과제 하나를 스무 번씩 독립적으로, 매번 깨끗한 백엔드에서 다시 돌린다. 유통(98개), 자동차보험(100개), 여행(104개), 네오뱅크(104개), 컨설팅(101개) 다섯 영역에 걸쳐 507개 업무 워크플로가 대상이다. 숫자는 세 가지로 나눠 본다 — pass@1은 한 번 맡겼을 때 보통 얼마나 잘하는지를, pass@20은 스무 번 중 한 번이라도 해내는지를, observed 20/20은 스무 번 전부를 맞힌 과제가 몇 개인지를 가리킨다. 세 번째 숫자에는 추정이나 보정이 없다 — 507개 중 실제로 20번 모두 통과한 개수 그대로다.

pass@1 기준으로는 Claude Opus 5.5가 전체 67.16%로 1위고, Claude Opus 5(66.50%)를 0.66포인트 차로 눌렀다. 오픈웨이트 모델 중에서는 Kimi-K3(57.37%)가 가장 앞섰고, GPT-6 Astra(58.31%)와는 1포인트 차이였다.