핵심 요약
메타가 GEM(Generative Ads Recommendation Model)을 통해 광고 추천 시스템의 정확도와 ROI를 높였습니다. 수천 GPUs로 학습하는 LLM‑스케일 FM으로, 다운스트림 모델의 예측을 강화합니다. IG에서 5%, FB Feed에서 3%의 광고 전환 증가를 확인했습니다.
구현 방법
- 대규모 아키텍처와 다차원 병렬성, 커스텀 GPU 커널, 메모리 최적화로 4× 효율 향상
- 직접/계층적 지식 전이, 표현 학습, 파라미터 공유로 지식 전달 강화
- Wukong+InterFormer 기반 다도메인 학습 및 Cross‑Feature Learning
주요 결과
- IG 전환 +5%, FB+3% 증가
- Q3 데이터/계산 증가로 성능 이득 2×
- 23× 학습 FLOPs 증가, MFU 1.43×, 16× GPU로 학습 효율 향상
