후보마다 점수를 매겨 위에서부터 잘라 왔다. 그 점수가 실제로 순서를 가르는지는 한 번도 재본 적이 없었다.
점수가 갈리지 않았다
점수는 출처가 얼마나 공식적인가로 거의 정해졌다. 그런데 하루치 후보에서 가장 공식적인 문서는 늘 체인지로그다.
tech 갈래 하루치 후보 247건을 놓고 세어봤다. 76건이 정확히 같은 만점이었다. 상위 31%에는 순위가 없었다는 뜻이다. 그 안에서 무엇이 1등이 되는지는 arXiv 피드에 무엇이 먼저 올라왔는지가 정하고 있었다.
엔진은 매번 똑같이 돈다. 같은 입력을 넣으면 같은 글이 나온다. 그렇다고 결과가 재현되는 건 아니었다. 동점이 31%면 승자를 고르는 건 점수가 아니라 정렬 전의 배열 순서다.
등급도 같이 재봤다. 엔진이 매긴 등급과 나중에 사람이 매긴 평가 점수는 상관이 0.1이었다. 등급별 평균은 아예 뒤집혀 있기까지 했다. 제일 높은 등급이 2.38, 중간이 2.56, 제일 낮은 등급이 2.59였다. 공식적인 출처일수록 위로 올라갔으니, 등급이 잰 건 소식의 값어치가 아니라 출처가 얼마나 공식적인가였다.
항목 넷을 다시 짰다
평가 항목 넷이 저마다 바꾸는 데가 하나씩 있다고 Part 7에 썼다. 그 약속도 재봤다.
쓸모와 흥미의 상관이 0.86이었다. 두 가지를 물은 게 아니라 한 가지를 두 번 물은 셈이다. 다양성은 점수가 좁게만 나와 갈리지 않았다. 애초에 한 편이 아니라 모아놓은 글 전체의 성질이라, 기사 하나를 놓고 물을 항목이 아니었다.
그래서 넷을 다시 짰다. 맞는 주제인지, 중요한 소식인지, 충분히 파고들었는지, 읽히는 문장인지. 이번엔 항목마다 손댈 자리를 먼저 정하고 질문을 붙였다. 손댈 자리는 차례로 관심사 목록, 소스 넓이, 인용 문턱, 어투 지침이다.
순위만 읽기로 옮겼다
거절하는 일은 전부 코드에 남겼다. 신선도와 중복, 도메인과 스키마, 출처와 어투까지 전부 코드가 판정하고, 애매하면 막는 쪽으로 끝난다. 순위를 정하는 일만 읽기로 넘겼다.
모델이 그날 후보를 읽고 여덟 개까지 고른다. 고른 이유와 등급을 함께 적는다.
{
"id": 35,
"why": "Anthropic CEO가 안전을 이유로 업계의 개발 속도 자체를 늦추자고 주장하는 근거를 직접 편다.",
"tier": "must-read"
}
출처 등급은 순위에서 빼고, 인용해도 되는지를 보는 게이트에만 남겼다. 인용해도 되는가와 읽을 만한가는 처음부터 다른 질문인데, 한 숫자가 둘을 같이 맡고 있었다.
취향을 통계로 캐는 것도 그만뒀다. 스물여덟 편으로 무엇을 좋아하는지 배우려던 게 무리였다. 물어보면 바로 답이 나오는 걸 표본에서 찾으려 한 것이다. 지금은 읽고 싶은 것과 아닌 것을 목록에 적어두고, 고르는 쪽이 그 목록을 읽는다.
재보기 전에는 셋 다 멀쩡해 보였다.