스테이블 디퓨전(Stable Diffusion)으로 만든 컬러링 이미지

 

도입

스테이블 디퓨전으로 할 수 있는 부분과 가능성에 대하여 많은 생각을 하게 됩니다.

아직은 google colab의 도움으로 스테이블 디퓨전을 사용하고 있는데, 아무래도 곧 PC에 설치해서 사용하게 되지 않을까 생각해 봅니다. (설치를 하게 되면 방법에 대하여 정리해서 다시 포스팅을 하겠습니다.)

 

최근 주변에서 컬러링북으로 마음의 안정을 찾는 사람들을 봤습니다.

처음에는 왜 시간을 때우기 위해서 그렇게 하는가 생각했었는데, 어느 날 저도 모르게 선으로 표현된 그림의 빈 공간에 제가 상상하는 색을 넣어가며 색칠하고 있는 제 모습을 발견하게 되더라고요.

 

그러다가 문득, 스테이블 디퓨전을 이용해서 컬러링이 가능한 이미지를 만드는 방법이 없을까에 대하여 생각하게 되었습니다.

 

성공, 실패 여부는 글을 보면서 확인해 주세요.

 

준비

 

 

1. 스테이블 디퓨전 설치

GitHub - ninjaneural/webui

먼저 깃허브에 접속합니다.

내가 설치한 스테이블 디퓨저에 모델을 다운받아 설정하는 방법도 있지만, 저는 원클릭으로 가능하고 오류가 적은 위의 깃허브를 주로 사용합니다.

사이트에 접속하면 위와 같이 여러 모델이 적용된 설치 파일이 있습니다.

저는 이중에서 meinamix가 적용된 파일을 설치해 보겠습니다.

캡처 이미지에서 가장 왼쪽에 위치한 파란 아이콘을 클릭하시면 코랩이 실행되고, 내 구글 드라이브에 복사해서 실행하시면 되겠습니다. (앞에서 포스팅했던 게 있어서 생략하겠습니다. 혹시 모르신다면 아래의 링크를 참고해 주세요.)

 

스테이블 디퓨전(stable diffusion) 누구보다 쉽게 모델 적용하기!(이 방법으로 구글 오류 해결!)

위의 링크를 참고하셔서 스테이블 디퓨전 웹버전을 내 구글 드라이브에 설치하시면 됩니다.

 

 

2. 로라 다운

 

Anime Lineart / Manga-like (线稿/線画/マンガ風/漫画风) Style - v3.0 manga-like | Stable Diffusion LoRA | Civitai

위의 링크로 접속합니다.

그러면 위의 캡쳐 화면처럼 다운로드 파일이 있습니다.

클릭하시고, 다운 받은 후에 내 구글 드라이브에 다운로드 파일을 업로드합니다.

위의 이미지와 같이 webui>loar폴더에 파일을 업로드하시면 됩니다. 만약 폴더가 보이지 않는다면 스테이블 디퓨전 설치 및 실행이 모두 완료되고 다시 폴더를 찾아보세요.

 

파일 다운로드 및 폴더에 업로드가 완료되면 실행된 스테이블 디퓨전으로 넘어갑시다.

 

3. 로라 적용

실행된 스테이블 디퓨전에서 위의 이미지를 기준으로 주황색의 generate버튼 바로 아래에 화투모양의 아이콘이 있습니다.

그곳을 클릭하면 그 아래에 새로운 변화가 생기는데 그중에서 중간 즈음에 lora라는 버튼을 클릭하면 결과적으로 위의 화면과 같이 볼 수 있습니다.

 

아까 우리가 lora폴더에 업로드한 animeoutline이라는 폴더가 보이지 않지요?

Lora의 오른쪽에 search옆에 Refresh버튼을 클릭합니다.

그러면 위와 같이 animeoutline이 적용된 것을 볼 수 있습니다.

이제, 이미지를 생성해 보겠습니다.

 

4. 이미지 생성

제가 오늘 배워볼 이미지는 다음 그림입니다.

어딘가 느낌이 있지요??

 

먼저, 프롬프트를 입력해 보겠습니다.

best masterpiece,1girl,solo,incredibly absurdres,
hoodie,headphones, street,outdoors,rain,neon lights, light smile, hood up, hands in pockets, 
looking away, from side, lineart, monochrome, <lora:animeoutlineV4_16:1>

그리고 네거티브 프롬프트입니다.

EasyNegative, badhandv4

Sampling method는 DPM++2M Karras를 사용했습니다.

그리고, 좋은 퀄리티를 만들고 싶어서 이미지의 크기를 변형해 봤었는데, 이미지를 크게 잡으면 생성 속도가 느리고 AI특유의 기괴한 그림들이 가끔 나오더라고요. 그래서, 720*480 이미지를 중심으로 만들어 봤습니다.

 

생성하니 다음의 이미지가 나왔습니다.

생각보다는 나쁘지 않지만, 컬러링 가능한 이미지를 만들겠다는 기존의 계획은 조금 건너가게 됩니다.

그렇지만, 이미지가 나쁘지 않아서 색연필로 색칠만 해도 참 느낌 있는 이미지가 나오겠다는 생각을 문득 하게 됩니다.

이전 포스팅에서 seed를 -1로 하면 랜덤이라고 이야기했었지요?

이번에도 -1로 하고 임의 생성을 했습니다.

옷의 컬러와 배경의 변화가 눈에 들어옵니다.

720*480 이미지를 480*720 이미지로 바꿔서 실행해 봤습니다.

만들어서 붙이다 보니 어딘가 느낌 있는 이미지가 만들어졌습니다.

생각보다 만족도가 있습니다.

 

그럼, 오늘의 스테이블 디퓨전 연습은 여기까지 하도록 하겠습니다.