허깅페이스에 공개된 새 테스트에서, 널리 쓰이는 오픈소스 음성인식 모델 11개 중 6개가 실제 오디오가 아니라 벤치마크 정답지의 오류를 그대로 재현한 것으로 나타났다.
오픈소스 음성인식(ASR) 모델 11개를 같은 조건에서 시험했더니, 여섯 개가 실제 오디오가 아니라 벤치마크 정답지의 오류를 그대로 받아썼다. EU 의회 연설 클립에는 분명히 "Thank you, Mr. President"라는 말이 담겨 있는데, 정답지에는 앞의 "Thank you"가 빠져 있었다. 여섯 모델은 이 빠진 부분까지 정답지 그대로 베꼈다.
정답을 맞힌 게 아니라 외운 것
Hume AI 연구팀이 8월 21일 허깅페이스 블로그에 공개한 연구는, 공개 음성인식 벤치마크 점수가 실제 성능이 아니라 벤치마크 자체에 최적화된 결과일 수 있다는 문제 — 흔히 "benchmaxxing"이라 부르는 현상 — 를 음성인식 분야에서 처음으로 정량화했다. 연구팀은 널리 쓰이는 오픈소스 ASR 모델 11개를 VoxPopuli(영어)와 LibriSpeech 데이터셋으로 시험했다.
방법은 이렇다. 음소 오류율(phoneme error rate, 받아쓴 글자가 오디오의 소리와 얼마나 가까운지 재는 지표)이 낮은 모델들을 모아 앙상블을 만들고, 이 앙상블이 만장일치로 벤치마크의 정답 텍스트에 동의하지 않는 구간을 찾아냈다. VoxPopuli는 정답 텍스트에 오탈자가 많기로 알려진 데이터셋이라(Artificial Analysis가 따로 정제판을 낼 정도다), 이런 구간이 실제로 존재한다. 찾아낸 구간은 사람이 다시 검수해 정답 여부를 확인했다.
그중 하나가 "Thank you, Mr. President"로 시작하는 클립이다. 오디오에는 분명히 들리는데 정답지에는 없다. CohereLabs의 cohere-transcribe-03-2026, nvidia의 canary-qwen-2.5b·parakeet-tdt-0.6b-v2, ibm-granite의 granite-speech-4.1-2b, microsoft의 Phi-4-multimodal-instruct, bosonai의 higgs-audio-v3-8b-stt-v2까지 여섯 개 모델이 "Thank you" 없이 받아썼다 — 정답지와 똑같이. 심지어 이 여섯 모델은 "Mr."의 마침표 유무까지 정답지 표기를 따라갔다.
목소리를 바꾸자 대부분 돌아왔다
연구팀은 같은 문장을 새 목소리로 다시 합성해 들려줬다. 하나는 같은 화자의 음성 클론, 다른 하나는 모델 학습 마감 이후에 녹음된 다른 의회 연설자의 목소리 클론("ep-fresh")이다. 원본 클립에서 정답지를 그대로 베꼈던 모델 대부분이 학습 마감 이후 목소리로 바뀌자 "Thank you"를 다시 들리는 대로 받아썼다. 11개 중 10개가 이 fresh 클론에서는 오디오에 맞게 정정했다. 유일하게 microsoft의 Phi-4-multimodal-instruct만 세 버전 모두에서 "Thank you"를 빼먹었다.
연구팀은 이를 두고, 몇몇 모델이 소리 자체가 아니라 "이 벤치마크에서 나온 오디오"라는 미묘한 음향적 신호에 반응해 정답지를 재현했을 가능성이 있다고 본다.
공개 벤치마크 점수만으로는 모델이 실제로 얼마나 잘 알아듣는지 확인하기 어렵다는 뜻이다. Hume AI가 최근 Real World VoiceEQ, Open-ASR Leaderboard, Far-field ASR Leaderboard에 별도의 held-out(비공개) 세트를 넣은 것도 같은 이유에서다. 다만 이번 연구가 보여주듯, 측정 범위를 넓히는 것만으로는 부족하고 벤치마크 오염 자체를 재는 도구가 따로 필요하다.