Moait
홈인기 피드모든 블로그모든 태그
홈인기 피드모든 블로그모든 태그
Announcing Long-Context Training on TPUs with MaxText Context Parallelism 섬네일

Announcing Long-Context Training on TPUs with MaxText Context Parallelism

구글 favicon구글·AI/ML·
Context ParallelismSplash AttentionMaxTextCloud TPUsLong Context Training
2026년 11월 09일0

AI 요약

이 글은 AI가 요약했어요. 정확한 내용은 꼭 원문을 확인해 주세요!

핵심 요약

구글은 Google Cloud의 MaxText 프레임워크로 TPUs에서 14백만 토큰의 롱 컨텍스트 학습을 가능하게 하고, All-gather, A2A, P2P, USP의 네 가지 컨텍스트 병렬 전략과 Tokamax Splash Attention 커널로 주의 계산과 메모리 병목을 물리화 없이 관리해 대규모 모델 학습의 MFU를 높였습니다.

구현 방법

  • MaxText v0.2.4 도입으로 대규모 학습 워크플로우 지원
  • 4가지 컨텍스트 병렬 전략(All-gather, A2A, P2P, USP)과 Tokamax Splash Attention 커널 활용
  • 고대역 메모리에서 전체 키-값 시퀀스 물리화 없이 주의 계산/메모리 병목 관리

주요 결과

  • 14백만 토큰 롱 컨텍스트 학습 지원
  • 대규모 모델 학습에서 MFU 향상
  • MaxText v0.2.4를 통한 구현 가능성 확장

연관 피드

%가 높을수록 이 글과 비슷할 가능성이 높아요!
MaxText Expands Post-Training Capabilities: Introducing SFT and RL on Single-Host TPUs 섬네일
79%

MaxText Expands Post-Training Capabilities: Introducing SFT and RL on Single-Host TPUs

구글 favicon구글·2026년 04월 16일
We terminated a TPU mid-training and it recovered in seconds: Introduction to elastic training with MaxText 섬네일
79%

We terminated a TPU mid-training and it recovered in seconds: Introduction to elastic training with MaxText

구글 favicon구글·2026년 07월 06일
Enterprise-Grade Precision for Long-Context Multimodal Embedding Inference on Cloud TPU 섬네일
77%

Enterprise-Grade Precision for Long-Context Multimodal Embedding Inference on Cloud TPU

구글 favicon구글·2026년 08월 26일