구글 동영상 생성 AI - 루미에르 (LUMIERE), 글과 이미지로 5초 영상 만들기

루미에르(LUMIERE) : text to video

구글에서 동영상을 생성할 수 있는 AI를 개발하고 있다는 소식을 들었습니다.

그래서, 어떤 것인지 한번 찾아 보았습니다.

Text - to - Video AI Service 
Image - to - Video AI Service

텍스트를 치면 비디오(Text to Video)를 생성해주는 인공지능 서비스입니다.
한 장의 사진을 제공하면 비디오로(Image to Video) 생성해주는 AI 서비스입니다.  

 

루미에르 홈페이지 첫 화면

루미에르란?

이 웹페이지는 Lumiere라는 텍스트-비디오 확산 모델을 소개하는 페이지입니다.

이 모델은 실제적이고 다양하며 일관된 동작을 보여주는 비디오를 합성하는 것을 목표로 합니다.

이를 위해, Space-Time U-Net 아키텍처를 소개합니다(이 아키텍처는 모델 내에서 한 번에 전체 시간 간격의 비디오를 생성한다고 합니다. 이 부분에 대해 자세히 알고 싶으면 홈페이지에 있는 논문-paper를 한 번 읽어보세요. 저는 패스입니다.)

 

루미에르 특징

루미에르로 만들수 있는 영상들 - 루미에르의 특징

1. Lumiere는 사용자가 제공한 정적 이미지를 기반으로 비디오를 생성할 수 있습니다. 

    예를 들어, 이미지 내의 물체나 장면을 동적으로 만들어 비디오에서 이동하거나 변화시킬 수 있습니다

2. Lumiere는 비디오의 특정 영역에서 내용을 추가하거나 교체할 수 있습니다.

    예를 들어, 비디오에서 특정 물체를 제거하거나 새 요소를 추가할 수 있습니다

3. Lumiere는 사용자가 지정한 예술 스타일(예: 유화, 만화, 선화 등)을 가진 비디오를 생성할 수 있습니다.

    이러한 스타일은 사용자가 제공한 스타일 참조 이미지를 통해 지정할 수 있습니다

4. Lumiere로 생성된 비디오는 기존 비디오 편집 도구와 결합하여 스타일을 조정하거나 특수 효과를 추가할 수 있습니다

 

루미에르 홈페이지에서 보여주는 Image to Video 샘플 동영상을 캡쳐한 것입니다. 이미지 위에 보이는 글들은 이미지로 어떤 영상을 만들어 줄것을 요청한 프롬프트입니다.

요약

요약하자면, Lumiere는 텍스트-비디오 확산 모델로, 실제적이고 다양하며 일관된 동작을 보여주는 비디오를 합성하는 것을 목표로 합니다. 이를 위해, Space-Time U-Net 아키텍처를 사용합니다. Lumiere는 사용자가 제공한 정적 이미지를 기반으로 비디오를 생성할 수 있으며, 비디오의 특정 영역에서 내용을 추가하거나 교체할 수 있습니다. 또한, Lumiere는 사용자가 지정한 예술 스타일을 가진 비디오를 생성할 수 있습니다. 마지막으로, Lumiere로 생성된 비디오는 기존 비디오 편집 도구와 결합하여 스타일을 조정하거나 특수 효과를 추가할 수 있습니다.

 

결론

자료를 찾아보면 만들 수 있는 동영상 길이는 5초로 제한적이라고 합니다. 하지만 10초~30초 짜리 광고를 생각해보면 루미에르로 영상 2~6개 정도 만들어 연결하면 충분히 광고도 만들수 있을 것 같습니다.

 

안타까운 것은 일반인에게 아직 공개하지 않는다는 것입니다.

다음에는 위의 특징을 하나씩 좀 더 살펴보면 좋을 것 같습니다.

자세한 내용이 궁금하다면 홈페이지에 나와 있는 논문을 읽어보는 것도 의미 있는 일이 될 것 같습니다.

 

루미에르 홈페이지 URL 주소 

다음은 루미에르 홈페이지 주소입니다.

https://lumiere-video.github.io/