핵심 요약
AWS가 실리콘투의 사내 지식 MCP 게이트웨이 구축 사례를 통해 온프렘 임베디드 기반으로 시작해 AWS 관리형으로 확장하고, 권한·감사 체계를 확립한 아키텍처와 운영 방식을 공유합니다. Slack 챗봇 연동으로 임직원 접근성을 높였습니다.
구현 방법
- 온프렘 임베디드 인덱싱: SQLite FTS5 기반 저장소와 1024차원 벡터(BGE-M3)로 egress 0 유지
- 3중 게이트와 RBAC: 도구 호출 인가, 검색 전 문서 필터링, 필드 마스킹(Cedar)
- 하이브리드 검색: BM25 키워드 + 벡터 + 재정렬(RRF)로 정확도 향상
- AWS 관리형으로 이전: RDS PostgreSQL 16 + pgvector, Secrets Manager, pgaudit, ECS Fargate; Slack 챗봇 연동
주요 결과
- 콜드 지연: 약 28초 → 평균 8.4초로 대폭 감소
- 품질 지표: recall@10 0.70에서 0.98로 상승, MRR 0.74에서 0.81로 개선
- 확장성: 중앙 벡터 저장소로 수평 확장 및 관리성 향상, Bedrock 연계 가능성 남김
