핵심 요약
AWS가 Amazon OpenSearch Service에서 자체 빌드 Nori 분석기를 통해 사용자 사전을 미세 조정한 구현 사례를 소개합니다.
구현 방법
- MeCab-Ko 엔진 빌드 및 사전 구성, 품사/단어 비용 조정 방식 도입
- Nori 플러그인에 커스텀 사전 연결 및 도메인 B에서 입력 분석 비교 수행
- 분해 규칙과 복합명사 분해 정보 설정, decompound_mode 및 품사 매핑 적용
주요 결과
- 기본 Nori와 커스텀 Nori 간 토큰화 차이 확인: 기본은 노을빛/무선/청소기, 커스텀은 노을빛무선청소기로 하나의 토큰 출력
- 분해 모드와 품사 정보 조합으로 특정 상품명에 대한 더 정밀한 표현이 가능해짐
