핵심 요약
토스가 푸시 생태계의 문제 정의-가설-EDA-실험-확장을 거쳐 ABC 테스트로 CTR을 약 4%p 개선하고 발송량을 크게 감소시켰으며, 2개월 간의 확장 관찰에서도 악영향 없이 전사 배포에 이르렀습니다.
구현 방법
- EDA를 통해 서비스군·템플릿·메시지 목적을 장단기로 분해 분석
- 유저 세그먼트 반응 분석: 관심도, 최근 행동, 과거 반응 이력을 바탕으로 CTR 분포 재구성
- 피처 분석: SHAP으로 빈도, 최근 클릭, 카테고리 적합도, 수신 시각대 등 주요 피처 식별
- 디타게팅 규칙: 최근 N일간 동일/유사 푸시에 N회 반응 없으면 해당 카테고리 푸시 제외(쿨다운)
- 실험 설계: 2개월, 6% 샘플, Control vs Variant A(보수) vs Variant B(진보); 주 지표는 CTR, 보호 지표
- 합의 및 확장: 목적과 가설, 리스크 관리 공유로 전사 동의 확보하고 30% 확대 관찰
주요 결과
- CTR: 두 변이 약 +4%p, Variant B가 추가로 +0.5%p 개선
- 발송량은 의미 있게 감소
- 클릭 총량은 유지, 앱 오픈 AU, 서비스 AU, 매출에서 악화 없음
- 실험군 30% 확장에서도 동일한 결과
- 최종 배포는 보수안 A로 결정
