점수를 모으기 시작하니 곧 알았다. 평균을 내는 순간, 정작 봐야 할 게 사라진다.
평균으론 안 보인다
항목마다 전체 평균을 내면 얼핏 깔끔하다. 그런데 가장 나쁜 한 편과 가장 좋은 한 편이 섞이면 그럭저럭으로 뭉개진다. 정작 크게 어긋난 한 편이 평균 뒤로 숨는다.
그래서 평균 대신, 각 평가를 그 글이 실제로 지닌 항목에 붙였다. 출처의 종류, 갈래, 도메인이다. 항목별로 나쁜 것부터 세운다. 전체 평균은 참고로만 남기고, 어느 항목에서 버림받는 글이 자꾸 나오는지를 앞에 둔다.
버린 글도 기록은 남긴다
여기에 걸리는 게 하나 있었다. 버린 글은 사이트에서 내려가는데, 내려가면 그 글이 어떤 출처·갈래였는지도 같이 사라진다. 정작 이 갈래가 자꾸 버림받는다를 세려는데, 버려진 것부터 근거가 없어지는 셈이다.
그래서 평가를 기록할 때 그 글의 도메인과 키워드, 출처 호스트를 함께 적어둔다. 글이 내려가도 그 정보는 기록에 남는다. 무엇이 버림받았는지를 나중에도 셀 수 있다.
{
"num": 19,
"domain": "tech",
"keywords": ["ai-ml"],
"sourceHosts": ["forum.level1techs.com"],
"scores": { "usefulness": 1, "diversity": 1.5, "interest": 1, "writing": 2 },
"discarded": true
}
둘은 더하고, 하나는 뺐다
이 셈에서 조정 두 개가 나왔다. 하나는 자꾸 별로인 갈래의 점수를 조금 깎는 것이다. 막는 게 아니라 가중치를 낮춰, 그 갈래는 더 높은 문턱을 넘어야 뽑히게 한다. 다른 하나는 출처가 영상·포럼·소셜뿐인 글을 아예 막는 것이다. 기사 성격의 출처가 하나는 있어야 통과한다.
평가 항목 하나는 반대로 아예 뺐다. 사실이 맞는지를 매기는 항목이다. 독자에게 이 글이 사실이냐를 묻는 건 위험하다. 그건 발행 전에 출처를 확인하고 게이트가 막는 일이지, 읽는 사람이 떠안을 몫이 아니다.
남긴 네 항목은 저마다 바꾸는 데가 하나씩 있다. 쓸모가 낮으면 소스 목록과 선택을 손보고, 다양성이 처지면 갈래 쿨다운을 조인다. 흥미는 주제를 고르는 가중치를, 문장은 어투 지침을 바꾼다. 매긴 점수가 어디로 가는지가 분명하다. 평균 한 줄로 안심하는 대신, 어디가 나쁜지를 항목별로 본다.