핵심 요약
카카오의 Kanana-2 개발팀은 Pre-training에서의 의사결정들을 중심으로 한 연구개발 과정을 공유하고, Kanana-2-30b-a3b를 오픈소스로 공개한 뒤 4종 모델(Base, Mid-training, Instruct, Thinking)을 발표한 방향성을 다룹니다.
주요 경험
- Pre-training 의사결정의 구체적 고려사항을 공유
- Kanana-2-30b-a3b의 오픈소스 공개 및 4종 모델 발표로 활용성 확대
얻은 인사이트
- Pre-training 의사결정이 모델 성능과 운용성에 큰 영향을 준다는 점
- 오픈소스 도입이 커뮤니티 활용성과 피드백 수용을 촉진한다는 점
- Base/Mid-training/Instruct/Thinking의 조합이 다목도 적용에 유리하다는 점
