Moait
홈인기 피드모든 블로그모든 태그
홈인기 피드모든 블로그모든 태그
Distributed LLM Training Across Metros: Streaming DiLoCo in MaxText 섬네일

Distributed LLM Training Across Metros: Streaming DiLoCo in MaxText

구글 favicon구글·AI/ML·
TPUDistributed TrainingStreamingLLM TrainingMulti Datacenter
2026년 11월 19일0

AI 요약

이 글은 AI가 요약했어요. 정확한 내용은 꼭 원문을 확인해 주세요!

핵심 요약

구글이 분산 TPU 슬라이스에서 대형 언어 모델 학습을 위해 DiLoCo를 MaxText로 스트리밍하는 방식을 도입하여 교차 슬라이스 통신량을 60배 이상 줄이고 네트워크 스톨 없이 다데이터센터 확장을 가능하게 한 방법을 제시했습니다.

구현 방법

  • DiLoCo 스트리밍 기반 학습 아키텍처 설계 및 MaxText 적용
  • 전체 모델 동기화 대신 파라미터 조각 스트리밍으로 업데이트 전달
  • 다수 데이터센터 간 TPU 슬라이스 간 통신 최적화 및 확장성 확보

주요 결과

  • 교차 슬라이스 통신량 60배 이상 감소
  • 네트워크 스톨 제거로 다센터 학습의 원활한 진행
  • 수렴도나 품질 저하 없이 다데이터센터 확장 가능

연관 피드

%가 높을수록 이 글과 비슷할 가능성이 높아요!
Announcing Long-Context Training on TPUs with MaxText Context Parallelism 섬네일
78%

Announcing Long-Context Training on TPUs with MaxText Context Parallelism

구글 favicon구글·2026년 11월 09일
MaxText Expands Post-Training Capabilities: Introducing SFT and RL on Single-Host TPUs 섬네일
75%

MaxText Expands Post-Training Capabilities: Introducing SFT and RL on Single-Host TPUs

구글 favicon구글·2026년 04월 16일
Reproducing OLMo 3 7B Pre-training in MaxText: case study of large scale training on TPUs 섬네일
73%

Reproducing OLMo 3 7B Pre-training in MaxText: case study of large scale training on TPUs

구글 favicon구글·2026년 09월 24일