핵심 요약
AWS의 Deep Insight Inner Loop 챗봇은 DuckDB 샌드박싱, 세션 기반 OLAP, SQL 투명성, 멀티턴 비용 관리의 4대 설계로 데이터 보호와 속도, 신뢰성, 비용을 균형 있게 달성했습니다.
구현 방법
- 결정 1: DuckDB 샌드박싱과 Text2SQL로 LLM은 SQL만 생성하고 실행은 DuckDB에서 처리하며 외부 접근 차단 및 디스크 즉시 삭제로 보안 강화
- 결정 2: 세션당 DuckDB 메모리 상주로 분석 쿼리 속도 확보, 업로드별 1개 세션, LRU eviction 적용
- 결정 3: SQL 노출 및 인라인 에디터 도입으로 분석가가 SQL을 직접 수정·재실행 가능
- 결정 4: Bedrock Prompt Caching으로 멀티턴 입력의 약 90%를 캐시로 처리, 웰컴 화면 0원, 후속 질문 자동 삽입으로 불필요 호출 감소
주요 결과
- 응답 시간은 DuckDB 쿼리 + HTML 직렬화로 끝나며, /sql/execute는 LLM 호출이 필요 없음
- 한 사이클에서 LLM 호출 수가 2회로 대폭 감소, 5턴 기준 캐시로 약 90% 입력 토큰 비용 절감(5분 TTL)
- 데이터 격리와 보안 강화
