제목

학습 기반 알고리즘을 이용한 만화 식자 작업 자동화

요약

  만화는 매우 보편적인(popular) 매체로, 다양한 언어로 번역되어 출간되고 있다. 만화의 번역 과정은 일반 도서류와 달리 각 나라말로 기록된 비정형적인 스크립트를 자국 언어로 번역하는 “텍스트 번역 작업”과 외국 만화의 텍스트를 지우고 번역된 텍스트를 자연스럽게 삽입하는 “식자 작업”으로 나누어진다. 이 과정에서 식자 작업은 번역된 만화의 품질과 번역의 비용을 결정하는 가장 중요한 과정이다. 그러나 만화 이미지의 복잡성으로 인해 식자 작업은 수작업으로 진행되고 있으며 많은 노동력과 시간이 투여되고 있다. 이 논문은 컴퓨터 시스템을 이용하여 만화 식자 작업의 비용을 줄이는 방법에 대해 설명한다.

  식자 작업은 크게 “원본 텍스트 제거 과정”과 “번역 텍스트 삽입 과정”으로 나누어진다. 텍스트 제거 과정 자동화를 달성하기 위하여 두 단계의 접근 방법을 제시하였다. 먼저 이미지 분할(image segmentation) 기술을 적용하여 만화 이미지에서 글자 영역을 분할한다. 분할된 영역의 글자를 제거한 뒤, 이미지 복원(image inpainting) 기술을 통해 지워진 영역을 자연스럽게 복원한다. 두 과정을 위해 만화에서 데이터 셋을 구성하였으며 충분한 성능을 이끌어내기 위해 심층 학습 모델을 적용하였다. 실험 결과를 통해 어떤 데이터와 모델이 만화 텍스트 제거 작업에 가장 효율적인지 보였다.

  번역 텍스트 삽입 과정은 텍스트를 지운 만화 이미지에 번역된 텍스트를 삽입하는 과정이다. 삽입되는 텍스트는 원본 만화의 텍스트와 스타일(크기, 방향, 색, 효과)이 비슷하고 일관성이 있어야 한다. 일관된 텍스트 스타일은 만화 번역의 품질을 좌우하는 중요한 특징임에도 불구하고, 일반적으로 식자 작업자의 심미안과 직관에 의존하여 결정되었다. 또한 텍스트를 다양한 스타일로 삽입하는 과정은 지루한 반복 작업을 필요로 한다. 이를 완화하기 위해 원본 이미지의 텍스트와 이미지 분할 과정에서 생성된 텍스트 마스크를 분석하여 번역 텍스트의 스타일을 추천하는 과정을 제시한다. 추천 결과의 성능 평가를 위해 만화 이미지로부터 데이터셋을 구성했으며 다양한 알고리즘을 적용하고 비교해 보았다.

  끝으로 본 논문에서 제시한 만화 텍스트 분할, 이미지 복원 연구 결과를 이용하는 새로운 응용 분야를 제시한다. 핵심적인 응용인 만화 식자 작업 자동화 뿐 아니라 정적 만화의 세미(semi) 애니메이션, 만화 텍스트 추출 시스템에 대해 추가 설명한다.