핵심 요약
AWS가 NVIDIA와 협력해 AV 3.0의 End-to-End 물리 AI 파이프라인을 구축하고, 원시 센서 데이터 수집부터 3D 장면 복원과 폐쇄 루프 시뮬레이션까지 AWS 관리형 인프라에서 운영합니다.
구현 방법
- Ingest to Cloud: 차량 센서 데이터를 ROS Bags/MCAP/MF4로 표준화해 S3 저장
- 품질 검증: AWS Batch로 누락/타임스탬프 비동기화 등 병렬 검증
- 데이터 큐레이션: Cosmos Curator가 디코딩/트랜스코딩/캡셔닝/임베딩을 오케스트레이션
- 검색/인덱싱: OpenSearch 기반 커스텀 경로 또는 CDS로 벡터 검색
- 데이터 증강: Cosmos Transfer로 날씨/시간대 변환 등 사실적 증강(대규모 변환은 G7e 필요)
- 3D 복원: NuRec로 NCore에서 3D 장면 재구성
- 모델 학습: Alpamayo로 Fine-tuning, 강화학습, 양자화
- 시뮬레이션: AlpaSim으로 SIL 테스트, AWS Batch 멀티컨테이너로 확장
주요 결과
- 골드 데이터셋이 S3에 저장되어 학습/검증에 활용
- Cosmos Transfer 변환은 93초/프레임( distillation은 24초)으로 대규모 클립 처리 가능
- cuVS/ CDS를 통한 대규모 벡터 검색 및 시나리오 마이닝 가능
- 데이터 기반 반복 루프로 개발 속도와 데이터 품질 향상
