핵심 요약
토스가 Training-Serving Skew를 줄이기 위해 PIT 조인과 파티션 기반 재현 전략, 블루/그린 전환을 도입했습니다. 학습/서빙 피처 차이를 감소시켰으며, 온라인 실험에서 CTR은 0.86% 감소, CVR은 0.91% 증가했습니다.
구현 방법
- 학습/서빙의 파티션 차이를 해결하기 위해 서빙에 사용한 피처 파티션 정보를 기록하고, 학습 데이터 생성 시 해당 파티션에서 피처를 조회하도록 구성
- 피처 값 전체를 로그로 남기지 않고, 파티션 정보만 기록하는 방식으로 비용과 로그 규모를 관리
- 문제 2에 해당하는 갱신 시점 차이를 줄이기 위해 블루/그린으로 데이터와 파티션 정보를 함께 전환
- 문제 3의 집계 대상 누락 데이터 문제를 제거하기 위해 새 데이터와 삭제 데이터를 함께 반영하는 방식 도입
주요 결과
- 학습 데이터에서 파티션 연결 비율: 사용자 약 89%, 상품 약 94%
- Cross Feature 재현 비율 약 75%
- 온라인 실험: CTR 0.86% 감소, CVR 0.91% 증가(통계적으로 유의), 매출 관련 지표에는 유의한 변화 없음


