Spotify는 늘어난 코드 변경을 감당하기 위해 모니터링과 자동 변경의 안전장치, 롤백 역량을 보강하고 있다.
Spotify에서 자동으로 적용한 의존성 업데이트가 기존 검사를 통과한 뒤 실제 서비스에서 실패했다. InfoQ 보도에 따르면, Spotify는 AI 활용으로 코드 변경이 늘어난 상황에 맞춰 배포 안전장치와 롤백 역량을 보강하고 있다.
Spotify는 표준화된 유지보수 작업에 Fleet Management를, 복잡한 코드 수정에 백그라운드 코딩 에이전트 Honk를 사용한다. Fleetshift는 변경 대상 선정과 작업 일정, 진행 상황을 관리한다. Honk는 코드를 수정하고 CI, 즉 코드 변경을 자동으로 빌드하고 검사하는 과정에서 빌드를 실행할 수 있다. 의존성 업데이트의 운영 장애는 이런 검사를 통과한 변경에서도 발생했다.
검사 이후의 운영 조건까지 보강
Spotify는 자동 변경의 안전장치를 강화하고, 문제가 생겼을 때 이전 상태로 되돌릴 수 있는 역량을 확대하고 있다. 자동 변경 일정도 담당 팀의 근무 시간에 맞추고 있다.
콘텐츠 처리 지연에 대한 대응에는 처리 과정 전체를 추적하는 모니터링이 포함됐다. 예약된 일괄 작업이 새 에피소드 처리와 자원을 놓고 경쟁했고, 처리 요구량 증가와 스케줄러 오류가 겹쳤다. Spotify는 스케줄러를 수정하고 일괄 작업의 우선순위를 낮췄으며, 작업 우선순위 체계를 재정비하고 처리 용량을 늘렸다.
InfoQ가 전한 Spotify의 사고 검토에서는 AI가 작성한 코드의 직접적인 기여가 중대한 원인으로 확인되지 않았다. 늘어난 변경량은 일부 검증 통제의 처리 역량을 앞질렀다. Spotify는 재작업이 함께 증가하지는 않았다고 보고했으며, 코드 변경을 검토하는 단위인 풀 리퀘스트의 크기와 코드 복잡성은 커지고 있다고 밝혔다.