핵심 요약
현대자동차가 오픈 소스 LLM의 한계를 보완하는 RAG를 LangChain으로 구현하는 흐름을 소개했습니다.
구현 방법
- LangChain 라이브러리로 RAG의 최소 구현 구조를 구성
- Ollama로 LLM 실행과 OllamaEmbedding으로 벡터 임베딩 수행
- FAISS 벡터 스토어 생성 및 Retriever로 유사도 검색
- Retrieved Context를 바탕으로 LLM 응답을 생성
주요 결과
- 벡터 임베딩과 검색으로 문맥 품질이 향상되며 고품질 출력 가능
- RTX 3060 환경에서 LLM 응답 시간이 10초 미만으로 소요되는 사례가 확인되었습니다