핵심 요약
번개장터가 광고 클릭 예측(CTR) 모델 개발 및 데이터 파이프라인 구축으로 광고 효율 향상과 비용 관리 체계를 확립했습니다.
구현 방법
- 데이터 파이프라인: Data warehouse → Preprocessor → AWS Redis ElastiCache 기반 Feature Store → S3
- 모델 후보/최종: 로지스틱 회귀, FM/DeepFM, LightGBM 중 최적 후보를 검토하고 학습은 LightGBM으로 수행
- 시스템 구성: Sagemaker로 학습, Serving API는 FastAPI, 배치 파이프라인은 Airflow, Kotlin과 Python으로 대부분 구현
주요 결과
- 학습 속도와 비용 효율이 우수하며 대용량 데이터에서도 비용이 크게 절감
- 모델 비교에서 LightGBM이 우수한 성능과 속도 균형 제시
- 평가 지표로 AUC/RIG를 사용하고, 3~4%의 CTR 데이터 불균형 문제 관리에 기여
