핵심 요약
Microsoft Developer의 Foundry Local은 Android에서 AI를 기기 내 실행하는 SDK로, 클라우드 왕복 없이 속도와 프라이버시를 강화합니다.
주요 특징
- 실행 파일 없이 자체 패키징해 경량화된 모델 서빙 구조를 제공합니다
- Foundry Catalog에서 모델을 다운로드하고 메모리에 로드하며 Whisper 기반 음성 인식을 제공합니다
- 채팅/음성 전사 API 및 OpenAI 호환 웹 서버 옵션으로 다양한 도구 연동이 가능합니다
- Windows ML 연동과 Arc-enabled Kubernetes를 통한 엣지/온-프렘 배포를 지원합니다
적용 고려사항
- 디바이스 하드웨어에 따라 최적의 모델을 자동 선택하고 런타임 및 드라이버가 설치되어 있는지 확인합니다
- Arc-enabled Kubernetes 환경에서 엣지/온프렘 배포 시 네트워크 제약과 구성 요구사항을 고려해야 합니다
- 게이트 프리뷰로 제공되므로 도입 초기 단계에서 샘플링 및 검토가 필요합니다
