구글 리서치가 자율 연구 AI 논문의 가짜 인용과 코드-서술 불일치를 걸러내는 Chain-of-Evidence 프레임워크와 그 프로토타입 Science One Framework를 공개했다. 기존 시스템이 인용의 최대 21%를 지어내는 동안, 이 프레임워크는 그 비율을 0%로 낮췄다.
AI가 혼자서 쓴 논문에서, 인용한 참고문헌 중 최대 21%가 애초에 존재하지 않았다. 논문에 적힌 방법 설명과 실제로 돌린 코드가 서로 어긋나고, 보고된 실험 점수도 그 코드로는 재현되지 않는 경우가 나왔다.
Sakana의 AI-Scientist, AutoResearchClaw, DeepScientist, AI-Researcher 같은 시스템은 이제 코딩 보조를 넘어, 문헌을 검토하고 가설을 세우고 실험을 돌린 뒤 사람이 쓴 논문과 비슷한 수준의 완성된 원고까지 낸다. 구글 리서치는 이 결과물의 겉모습이 좋아질수록 검증 문제가 오히려 커진다고 짚는다. 텍스트를 단계별로 이어 생성하는 구조상, 한 단계에서 생긴 오류가 다음 단계로 그대로 증폭되기 때문이다.
증거 사슬이라는 원칙
구글 리서치가 7월 30일 공개한 논문은 이 문제를 Chain-of-Evidence(CoE)라는 검증 프레임워크로 정리한다. 데이터베이스 트랜잭션이 지켜야 할 성질을 ACID가 정의하듯, CoE는 AI가 만든 연구 결과물이 신뢰받기 위해 갖춰야 할 성질을 정의한다. 원칙은 하나, 두 갈래로 나뉜다. 논문 속 모든 주장은 근거가 되는 증거 사슬을 남겨야 하고(완전성), 그 사슬은 실제로 그 주장을 뒷받침해야 한다(정확성). 참고문헌, 보고된 수치, 방법 설명, 결론 하나하나가 동료 심사 논문이나 실험 로그, 코드 같은 실제 증거로 되짚어져야 한다는 뜻이다.
Science One Framework와 CoE Audit
이 원칙을 구현한 프로토타입이 Science One Framework다. 연구를 진행하는 동안 증거 사슬을 처음부터 함께 만들고 유지한다. 여기에 CoE Audit이라는 자동 평가 프로토콜을 더해, AI가 쓴 논문이 실제 코드·증거와 얼마나 어긋나는지를 자동으로 측정한다.
검증 가능성을 더했다고 성능이 떨어지지도 않았다. MLE-Bench, Parameter-Golf 같은 프런티어 벤치마크에서 Science One Framework는 최고 수준 성능을 그대로 유지했다.