핵심 요약
인프랩은 영상 화면 속 글자를 OCR로 추출하고, VLM으로 번역 여부를 판단한 뒤 XY Cut으로 문단을 묶어 프레임 단위 오버레이로 번역 텍스트를 표시하는 화면 번역 설계를 다룬다.
구현 방법
- 글자 앞뒤에 배경 박스를 깔고 같은 위치에 번역 텍스트를 오버레이
- 프레임 단위 대신 이벤트 블록 단위로 텍스트를 관리하고, 이전 프레임 결과를 재사용해 깜빡임을 줄임
- 색상 추출은 k-means로 배경/글자 구분, 번역은 텍스트를 한꺼번에 LLM에 요청
- 문단은 XY Cut으로 블록을 분리하고 VLM으로 묶어 자연스러운 흐름 확보
주요 결과
- 원본 영상 재인코딩 없이 다국어 화면 표시가 가능
- 프레임 재사용으로 처리 비용과 지연 감소
- 텍스트 데이터만 보내 네트워크 부담 감소
- 현재 한계: 일부 UI/코드 텍스트, 애니메이션 글자는 품질 이슈
![[비전 AI②] ‘문서 데이터’ 깨우는 AI 등장 ··· 정밀도 경쟁 본격화 섬네일](https://blog-ko.superb-ai.com/content/images/size/w1200/2025/10/-------------------------------------------------------------------------------------------------------------------------------------2.png)
