핵심 요약
AWS의 Arize Phoenix를 활용해 Bedrock Agents의 멀티 에이전트 협업 워크플로를 OpenTelemetry 기반으로 추적하고, 엔드 투 엔드 흐름의 지연시간, 토큰 사용량, 런타임 예외, 도구 호출을 한 화면에서 모니터링합니다.
구현 방법
- Bedrock invoke_agent 호출에서 enableTrace=True로 Trace Part 생성
- openinference-instrumentation-bedrock+OTLP로 Root Span→orchestrationTrace→agent_collaborator→LLM/Knowledge Base/Action Group 트리 변환
- Phoenix Collector가 OTLP로 수집해 실시간 UI에 시각화
- MCP 서버 연동 및 프롬프트 관리/실험 관리에 활용
주요 결과
- 지연시간, 토큰 사용량, 런타임 예외, 도구 호출 등 엔드-투-엔드 흐름 가시화로 이슈 위치 식별 가속
- 토큰당 비용 추적 및 모델 설정 기반 비용 관리로 운영 효율성 향상
