핵심 요약
현대자동차의 기술 블로그가 GPT-2와 GPT-4 토크나이저의 차이와 토큰화 원리를 비교 분석하고, tiktoken 활용법과 토큰 단위 차이가 LLM 동작에 미치는 영향을 설명합니다.
구현 방법
- BPE 기반 vocab/merges의 구성 원리와 GPT-2 vs GPT-4의 차이점 비교
- tiktoken 라이브러리(cl100k_base) 활용 및 encode/decode 예시 확인
- 공백 처리와 숫자 인식 차이가 토큰화에 미치는 영향 설명
주요 결과
- GPT-2 토큰 수 약 107개, GPT-4 약 71개로 차이 존재
- 공백 처리 차이로 GPT-2는 다수 공백을 토큰으로 인식, GPT-4는 하나의 토큰으로 인식
- 숫자 인식 방식 차이로 예시에서 차이가 나타남
- 토큰화 차이가 모델 해석 및 속도에 영향을 줄 수 있음에 대한 설명
