핵심 요약
구글이 Qwen 3.5 MoE 397B를 Ironwood TPU7x에서 운영하기 위해 모듈식 JAX/Pallas 최적화 스택을 적용해 최대 4.7× 추론 속도향상을 이끌었습니다.
구현 방법
- DP+EP 하이브리드 토폴로지 도입으로 데이터 병렬과 전문가 병렬의 효율적 결합 및 하드웨어 샤딩 제약 완화
- 계층적 reduce-scatter 등 커스텀 저수준 커뮤니케이션 융합으로 cross-device 토큰 라우팅 최적화
- Batched Ragged Page Attention 및 완전히 융합된 Gated DeltaNet(GDN) 블록과 같은 하드웨어-aware 커널 도입으로 HBM 대역폭과 TensorCore MXU 활용 극대화
주요 결과
- 최대 4.7× 인퍼런스 속도향상 달성
- 하드웨어 샤딩 제약 우회를 통한 시스템 처리량 이론적 한계 근접 달성
- 전반적 구성으로 고성능 데이터 흐름 및 토큰 라우팅 효율성 강화
