핵심 요약
교보DTS는 LLM의 응답 속도 개선을 목표로, 토큰 단위 응답의 필요성 여부를 검토하고 확산형 언어모델(dLLM)의 병렬 토큰 예측과 반복적 정제 방식을 통해 성능 향상의 가능성을 탐색했습니다.
구현 방법
- 확산형 언어모델(dLLM) 구조의 병렬 토큰 예측 채택
- 여러 단계의 정제 프로세스 도입으로 품질과 속도 간 균형 시도
- 모델 크기와 서버 외에도 텍스트 생성 방식의 최적화 포인트를 탐색
주요 결과
- 이론적으로 응답 시간 절감 가능성 제시
- 텍스트 생성 전략에 따라 대기 시간 감소 가능성 언급
