핵심 요약
구글은 Arm SME2와 Google AI Edge 스택을 활용해 CPU를 고성능 행렬 계산 가속기로 전환하고, Stability AI의 stable-audio-open-small 모델을 사례로 Convert, Optimize, Deploy 파이프라인으로 온디바이스 생성형 AI의 성능을 크게 향상시켰습니다.
구현 방법
- Arm SME2와 Google AI Edge 기반 아키텍처 설계
- LiteRT, XNNPACK, KleidiAI를 활용한 자동 하드웨어 가속 파이프라인 구현
- Convert, Optimize, Deploy 파이프라인으로 모델 최적화 및 디바이스 배포 자동화
주요 결과
- 음성 생성 속도 2배 이상 향상
- 메모리 사용량 4배 감소
- Arm 기반 모바일 디바이스 및 노트북에서 음질 유지
