핵심 요약
AWS가 LangGraph 워크플로우를 Amazon Bedrock AgentCore Runtime으로 이관하고, 세션 단위 격리 및 실행 환경 분리를 도입해 TTFT p95를 기존 ECS 단일 구성 대비 약 5.5초 감소시켰습니다.
구현 방법
- 기존 LangGraph 워크플로우를 AgentCore Runtime으로 재작성 없이 이관
- AgentCore Runtime의 HTTP 프로토콜에 맞춘 어댑터 수준 수정: /invocations(POST), /ping(GET) 인터페이스 사용
- runtimeSessionId를 세션 라우팅 키로 사용해 동일 세션의 요청을 같은 실행 환경으로 연결하고 재개 가능하게 함
- VPC 모드 도입으로 프라이빗 서브넷/보안 그룹을 통한 데이터 계층 접속 및 에이전트별 IAM 역할 분리
- 관측 체계 강화: Langfuse 트레이싱과 CloudWatch 구조화 로그로 요청 흐름, 초기화 시간, 오류를 연결 추적
주요 결과
- 동시성 16에서 TTFT p95: ECS single 5.719초, ECS scaleout 3.612초, AgentCore Warm 3.702초, 신규 세션 3.947초로 대등한 성능 달성
- 최적화 후 TTFT p95: 신규 세션 3.947초→1.111초, Warm 세션 3.702초→0.174초로 대폭 감소
- 콜드 스타트 완화 및 실행 환경의 사전 준비를 통해 신규 세션 시작 지연을 줄이고, 실행 환경의 격리를 통해 에이전트 확장성 확보
