핵심 요약
구글이 분산 TPU 슬라이스에서 대형 언어 모델 학습을 위해 DiLoCo를 MaxText로 스트리밍하는 방식을 도입하여 교차 슬라이스 통신량을 60배 이상 줄이고 네트워크 스톨 없이 다데이터센터 확장을 가능하게 한 방법을 제시했습니다.
구현 방법
- DiLoCo 스트리밍 기반 학습 아키텍처 설계 및 MaxText 적용
- 전체 모델 동기화 대신 파라미터 조각 스트리밍으로 업데이트 전달
- 다수 데이터센터 간 TPU 슬라이스 간 통신 최적화 및 확장성 확보
주요 결과
- 교차 슬라이스 통신량 60배 이상 감소
- 네트워크 스톨 제거로 다센터 학습의 원활한 진행
- 수렴도나 품질 저하 없이 다데이터센터 확장 가능



