핵심 요약
구글이 TPUs에서 비디오 디퓨전에 대한 스파스 주의로 연산 부담을 줄이고, SVG와 하드웨어 친화적 최적화를 통해 1440p 비디오 생성의 엔드투엔드 추론 속도를 최대 1.69배 향상시켰다.
구현 방법
- Sparse VideoGen(SVG)를 도입해 주의 헤드를 공간/시간 희소 마스크로 동적으로 라우팅
- Splash Attention 커널에서 빈 메모리 타일을 우회해 불필요한 연산 감소
- 경계 타일에 한정된 좌표 마스킹과 Temporal-major 레이아웃으로 연속 접근 최적화
- 희소 마스크를 실제 하드웨어 타일 실행에 맞춰 정렬해 낭비를 최소화
주요 결과
- 1440p 비디오 생성에서 엔드투엔드 추론 속도 최대 1.69배 향상
