핵심 요약
토스가 GenAI Gateway, MCP Gateway, Langfuse를 활용한 공통 운영 프레임워크를 구축해 서비스 거버넌스와 데이터 처리 규정을 연결하고, 데이터 등급에 따른 보안·비용 관리 체계를 정비했습니다.
주요 경험
- 서비스 목적에 맞춘 모델·권한·비용의 프로젝트 단위 일원화
- 호출 흐름과 감사 로그를 Portal/Gateway로 표준화
- L1-L4 데이터 등급 적용 및 가드레일/로그 마스킹으로 보안 강화
- PAYG/PTU 기반 용량 관리 및 SLA 정책 정비
얻은 인사이트
- 공급자 증가 시 어댑터와 공통 로직으로 확장성 확보
- 로그 가시성과 문제 추적성 향상으로 운영 신뢰성 강화
- Langfuse 트레이스 연계로 서비스 흐름 가시성 향상
