👾[Paper-8] Lumiere: A Space-Time Diffusion Model for Video Generation

[JinukHong]

Lumiere: 텍스트-비디오 디퓨전 모델

Lumiere(https://arxiv.org/abs/2401.12945) 는 사전 학습된 텍스트-이미지(T2I) 모델을 기반으로 한 새로운 텍스트-비디오 생성 프레임워크입니다.
기존 T2I 아키텍처에 시간적 요소를 추가하여, 텍스트 입력에 기반한 비디오를 글로벌 일관성(Global Coherence) 있게 생성하는 것이 특징입니다.

홈페이지: https://lumiere-video.github.io/

주요 특징

1. 스페이스-타임 유넷(STUNet)

   • Lumiere는 기존 T2I 유넷 아키텍처를 확장하여 시간적 다운샘플링 및 업샘플링을 추가한 STUNet 구조를 사용합니다.
   • 이를 통해 모든 프레임을 저해상도로 한 번에 생성한 후, 후처리 과정으로 고해상도로 복원하며 프레임 간 일관성을 보장합니다.

2. 글로벌 일관성 학습

   • 기존 키프레임 기반 접근 방식과 달리, Lumiere는 전체 비디오 프레임을 동시에 생성하여 부드러운 모션과 일관된 전환을 제공합니다.
   • 멀티 디퓨전(Multi-Diffusion) 방식을 활용해 경계 부분의 불연속성을 최소화합니다.

3. 다양한 응용 가능성

   • Stylized Video Generation: 텍스트-이미지 모델의 가중치를 보존하며, 특정 스타일로 비디오를 생성할 수 있습니다.
   • Conditional Video Generation: 텍스트와 이미지 조건을 결합하여 다양한 비디오 콘텐츠를 생성할 수 있습니다.
   • Video-to-Video 변환: 기존 비디오를 새로운 스타일로 변환하거나 수정할 수 있는 기능을 제공합니다.

4. 실험적 성과

   • UCF101 데이터셋에서 FVD(332.49) 및 IS(37.54)로 높은 성능을 기록하며, 사용자 선호도 조사에서도 기존 모델보다 더 나은 평가를 받았습니다.