엣지 기기에서 추론과 학습을 함께 돌리는 연합학습 프레임워크 DART-FL은, 그 순간 요청이 몰린 작업에 학습 자원과 손실 가중치를 더 얹어 그 작업의 정확도부터 앞당겨 올린다.
스마트폰이나 카메라 같은 엣지 기기에 올라간 모델은 두 가지 일을 동시에 떠맡는다. 들어오는 요청에 실시간으로 답하는 추론, 그리고 다음 라운드를 위해 계속 갱신되는 학습이다. 여러 작업을 한 기기가 나눠 맡으면 문제가 커진다. 어떤 작업은 갑자기 요청이 몰리고 어떤 작업은 한산한 시점이 계속 뒤바뀌기 때문이다. 컴퓨팅 자원을 고정된 비율로만 나누면, 요청이 몰린 작업은 응답이 밀리거나, 정작 개선이 급한 순간에 그 작업의 학습이 뒤처진다.
Yiming Xie, Pinrui Yu, Geng Yuan, Xue Lin, Ningfang Mi 다섯 연구자가 이 문제를 겨냥해 DART-FL을 내놓았다. 추론 서비스 수준 목표(SLO)를 지키는 데 필요한 자원을 먼저 떼어주고, 남는 학습 자원은 그 순간 수요가 몰린 작업에 더 많이 돌리는 연합학습(federated learning) 프레임워크다.
추론 먼저, 남는 자원은 수요대로
DART-FL은 정해진 스케줄링 주기마다 두 단계로 자원을 나눈다. 먼저 각 작업의 추론 대기열(backlog)과 실측 처리 능력을 보고, SLO를 지키는 데 필요한 최소 자원을 추론에 배정한다. 남은 학습 자원은 큐를 인지하는 DPP(행렬식 점과정) 기반 스케줄러가 작업별로 나누고, 이 배분량은 다시 작업별 손실 가중치로 바뀐다. 그 결과 그 순간 추론 요청이 몰린 작업일수록 해당 라운드에서 더 크게 학습된다. 기기들은 백본(공통 신경망 몸통)은 공유하고 작업별 헤드(출력 층)만 따로 둔 멀티태스크 모델을 학습하며, FedAvg(연합 평균 알고리즘)로 이를 취합한다.
Stanford Cars·Oxford Flowers로 검증
검증은 이미지 분류 데이터셋인 Stanford Cars와 Oxford Flowers 102에, 가상으로 만든 워크로드와 알리바바의 실제 트레이스에서 뽑아낸 워크로드를 함께 얹어 진행했다. DART-FL은 시간에 따라 바뀌는 추론 수요에 맞춰 추론·학습 자원 배분을 실제로 조정했고, 요청이 몰리는 구간(버스트) 쪽으로 해당 작업의 학습 진행을 앞당겼다. 그 결과 자주 요청되는 작업의 정확도는 올라갔고, 장기적인 멀티태스크 전체 성능은 기존과 비슷한 수준으로 유지됐다.
엣지 기기 한 대가 학습과 추론을 함께 감당해야 하는 배치는 점점 늘고 있다. DART-FL은 그런 상황에서 "지금 어느 작업이 더 급한가"를 자원 배분 자체에 반영하는 방법 하나를 보여준 사례다.