Moait
홈인기 피드모든 블로그모든 태그
홈인기 피드모든 블로그모든 태그
Systems Engineering Playbook: Optimizing Qwen 3.5-397B MoE on Ironwood (TPU7x) 섬네일

Systems Engineering Playbook: Optimizing Qwen 3.5-397B MoE on Ironwood (TPU7x)

구글 favicon구글·AI/ML·
MoEJAXExpert ParallelismQwenData Parallelism
2026년 07월 14일0

AI 요약

이 글은 AI가 요약했어요. 정확한 내용은 꼭 원문을 확인해 주세요!

핵심 요약

구글이 Qwen 3.5 MoE 397B를 Ironwood TPU7x에서 운영하기 위해 모듈식 JAX/Pallas 최적화 스택을 적용해 최대 4.7× 추론 속도향상을 이끌었습니다.

구현 방법

  • DP+EP 하이브리드 토폴로지 도입으로 데이터 병렬과 전문가 병렬의 효율적 결합 및 하드웨어 샤딩 제약 완화
  • 계층적 reduce-scatter 등 커스텀 저수준 커뮤니케이션 융합으로 cross-device 토큰 라우팅 최적화
  • Batched Ragged Page Attention 및 완전히 융합된 Gated DeltaNet(GDN) 블록과 같은 하드웨어-aware 커널 도입으로 HBM 대역폭과 TensorCore MXU 활용 극대화

주요 결과

  • 최대 4.7× 인퍼런스 속도향상 달성
  • 하드웨어 샤딩 제약 우회를 통한 시스템 처리량 이론적 한계 근접 달성
  • 전반적 구성으로 고성능 데이터 흐름 및 토큰 라우팅 효율성 강화

연관 피드

%가 높을수록 이 글과 비슷할 가능성이 높아요!
No Image
69%

Scaling LLM Inference: Innovations in Tensor Parallelism, Context Parallelism, and Expert Parallelism

메타 (Engineering) favicon메타 (Engineering)·2025년 10월 17일
TorchTPU: Running PyTorch Natively on TPUs at Google Scale 섬네일
69%

TorchTPU: Running PyTorch Natively on TPUs at Google Scale

구글 favicon구글·2026년 04월 07일
Supercharging LLM inference on Google TPUs: Achieving 3X speedups with diffusion-style speculative decoding 섬네일
69%

Supercharging LLM inference on Google TPUs: Achieving 3X speedups with diffusion-style speculative decoding

구글 favicon구글·2026년 05월 04일