핵심 요약
구글이 64 Cloud TPU v5p 칩에서 on-policy LLM 강화학습의 부동소수점 train–inference 로그확률 드리프트를 제거하기 위해 Bitwise-Zero Train–Inference Mismatch를 해결하는 일반화 가능한 4-part JAX와 Pallas 레시피를 Tunix로 구현했습니다.
구현 방법
- Bitwise-Zero 개념을 적용한 드리프트 억제 아키텍처를 설계하고 4-part 레시피를 JAX/Pallas로 구현
- Tunix를 이용해 64 Cloud TPU v5p 칩에서 분산 학습 및 런타임 일관성을 확보
- 온-폴리시 RL에서 LLM 트레이닝-인퍼런스 간 정합성 보장을 위한 파이프라인 구성
주요 결과
- 부동소수점 train–inference 로그확률 드리프트 제거를 달성
- 대규모 TPU 환경에서의 안정성 및 일반화 가능한 접근법 제시
- 추가 시스템 구성에 적용 가능한 레시피로 확산 가능성



