Hanyong Jang
Hanyong Jang

Categories

  • Research

Tags

  • Facial Animation

음성에 대응하는 사실적인 얼굴 애니메이션을 자동으로 생성해주는 기술(LipSync)을 연구 중입니다.

기존에는 고품질의 애니메이션을 위해서는 모션 캡쳐와 많은 후보정이 필요하였습니다. 반면에 음성에 기반하는 방식은 모션 캡쳐와 후보정의 부담은 줄어들었지만, 애니메이션의 품질이 충분하지 않았습니다. 저희는 최근에 연구되고 있는 Deep Learning을 사용한 LipSync 기술을 사용하여 효율성과 품질 전부를 향상시키려고 하고 있습니다.

데모 영상

2019

2020


기존의 음성 기반 LipSync

FaceFx 2010
Deep Learning 기반 LipSync