핵심 요약
구글이 TPU를 활용한 LLM 및 MoE 워크로드의 성능 최적화를 목표로 하는 하드웨어 기반 설계 규칙을 제시하는 TPU 모델 설계 고려사항 및 최적화 가이드를 공개했습니다.
구현 방법
- Systolic 배열에서 reduction 및 출력 차원을 256으로 정렬
- LatentMoE 도입으로 라우팅 토큰 트래픽 압축
- 병렬 축을 물리적 링크에 직접 매핑
주요 결과
- 구체적 수치는 제시되지 않았으나, 하드웨어 설계 규칙을 통해 TPU 기반 성능 최적화 방향을 제시합니다.



