스테이블 디퓨전(stable diffusion)이미지를 영상으로, with MyHeritage

스테이블 디퓨전의 모델 사용이 참 흥미롭다는 생각을 하게 됩니다.

오늘은 civitai에서 아날로그 느낌의 사진을 연출한 작품(?)을 보고 방법을 배워볼까 합니다.

먼저, civitai에 올라온 원본을 살펴보겠습니다.

 

https://civitai.com/models/52652/instant-photo-polaroid-loha-and-lora

Instant photo 拍立得/Polaroid LoHA & LoRA - InsPX LoRA | Stable Diffusion LoRA | Civitai

위의 링크에 올라온 아래의 사진을 제가 실행해서 만들어 보겠습니다.

너무 실사같은 느낌이지요?

먼저, 스테이블 디퓨전을 실행합니다.

저는 구글 코랩에 설치해 둔 스테이블 디퓨전을 실행하겠습니다.

보통 처음 드라이브를 실행하면, 최근 사용한 파일이 올라와 있는데, 코랩파일을 사용하면 되겠습니다.

실행 중입니다.

실행이 되는 동안, 모델을 다운로드하여 보겠습니다.

상단에 올려둔 링크에 접속하여 download를 클릭하여 파일을 다운로드합니다.

그리고, 코랩이 설치된 구글 드라이브에 접속하여, webui> lora 폴더에 다운로드한 파일을 업로드합니다.

 

그리고 프롬프트를 입력해 보겠습니다.

polaroid photo,, 1girl, stylish outfit, fitted jeans, oversized jacket, 
fashionable accessories, (realistic detailed eyes, natural skin texture, confident expression),
cityscape backdrop, rooftop or high-rise balcony, dynamic composition, engaging pose, 
soft yet striking lighting, shallow depth of field, bokeh from city lights, sharp details, 
highly detailed, hyper-realistic, 50mm lens, naturally blurred background. 
<lora:FilmVelvia2:0.3> <lora:InstantPhotoX2:1>

그리고 네거티브 프롬프트를 입력해 봤습니다.

cartoon, anime, sketches,(worst quality, low quality), (deformed, distorted, disfigured),
(bad eyes, wrong lips, weird mouth, bad teeth, mutated hands and fingers:1.2),
bad anatomy, wrong anatomy, amputation, extra limb, missing limb, floating limbs,
disconnected limbs, mutation, ugly, disgusting, (bad_pictures, negative_hand-neg:1.2)

그리고 generate하단의 화투패 모양을 클릭해 보겠습니다.

하단에 나오는 창 중에서 lora를 선택하고, instantPhoto를 선택합니다.

이외의 조건은 동일하게 했습니다.

그리고 생성을 해 볼까요?

Seed:54135516

약간 이목구비가 이상하고 부분적으로 어색함이 있지만, 필름카메라로 촬영한 느낌이 조금은 나오네요.

Seed: 3382502942

조금 더 귀신같은 느낌도 느껴집니다.

Seed: 795019797

인스타 느낌은 좋은데, 어딘가 조금씩 어색한 느낌도 있습니다.

 

그럼, 이렇게 다운로드한 이미지를 영상으로 만들어 보겠습니다.

https://www.myheritage.co.kr/deep-nostalgia

MyHeritage Deep Nostalgia™, deep learning technology to animate the faces in still family photos - MyHeritage

바로 myHeritage라는 사이트입니다.

사이트에 대한 소개는 따로 포스팅하겠습니다.

오늘은 간략하게 영상으로 만드는 방법과 결과물을 보여드리도록 하겠습니다.

 

위의 링크에 접속하고, 구글로 회원가입을 합니다. (무료로 가능하네요.)

회원가입 이후에, 첫 화면에서 Upload photo를 클릭하여 표정을 넣은 이미지를 업로드합니다.

저는 바로 위에 있는 Seed: 795019797를 활용하도록 하겠습니다.

 

업로드 이후에 자동으로 전환이 됩니다. 

위의 이미지와 같이 결과물이 나오는데, 왼쪽의 Download Video를 클릭하면 영상을 다운로드할 수 있습니다.

조금 이미지가 어색한 느낌은 있으나, 그래도 나쁘지 않은 듯합니다.

영상 관련 프로그램을 조금 다룰 수 있다면, 이미지 위에 표정이 바뀌는 영상을 상위 트랙으로 만들어서 구현한다면 그럴듯한 결과물이 나올 것 같습니다.

결과물 공유를 위해서 다운로드한 파일 업로드와 MyHeritage에서 제공하는 결과물 공유 링크를 함께 첨부하겠습니다.

MyHeritage Deep Nostalgia™

기술이 많이 좋아지고 있습니다.

 

언젠가 개인적으로 강의 기회가 있어서 미술을 전공하는 학생들에게 짧은 특강을 했었습니다.

당시 아이들은 미술이라는 본질적인 능력과 기술의 발전 그리고 학업에 대하여 고민을 많이 하고 있었는데, 그때 아이들에게 플랫폼의 본질은 결국 사람을 모으는 것이고 때문에 기술의 발전과 함께 그 기술을 쉽게 이용할 수 있는 플랫폼은 계속 발전할 것이기 때문에 결국은 미술이라는 본질적인 능력과 안목을 형성할 필요가 있다고 말했던 기억이 납니다.

 

예전의 기술로 사진이라는 이미지가 움직이는 기술을 구현하려면 얼마나 많은 프레임을 만들고, 그것을 연결했어야 할까요?

 

그럼에도 지금은 단순히 클릭 몇 번으로 충분히 가능한 시대가 되었습니다.

 

지금 이미지를 만들고 활용하는 기술이 얼마나 중요하다고 이야기할 수는 없으나, 그래도 변화의 흐름을 배우자는 생각으로 노력하고 있습니다.

 

부족한 포스팅 읽어주셔서 감사합니다.

MyHeritage에 관련한 포스팅은 이후에 또 하도록 하겠습니다.