핵심 요약
토스증권은 LLM 기반 투자정보 생성을 3관문으로 제어하는 설계를 공유합니다.
주요 경험
- 원천 데이터에 메타데이터 분류(BERT)와 임베딩을 붙여 후보를 줄이고, Hybrid Retriever로 중복 제거를 수행했습니다.
- 태스크 그래프를 통해 후보 검색 → 관련성 판단 → 근거 구성의 흐름을 고정하고, 재사용 가능한 절차형 단위를 제공합니다.
얻은 인사이트
- 근거의 품질이 전체 성능과 신뢰성의 핵심이며, 실패 유형의 체계적 분류가 개선의 기반입니다.
- 운영 피드백과 퓨샷 리트리빙으로 False Positive를 낮추고 평가 가능성을 높였습니다.
