Wookang makes AI

outpainting 에는 여러 방법이 있었다.

1. 처음시도한 방법은 https://github.com/lkwq007/stablediffusion-infinity.git

설치는 간단하다. 깃헙페이지로 가서 윈도우 설치부분을 그대로 따라하면 된다. 다만 설치하는데 시간이 많이 걸린다.

나는 conda로 outpaint라는 가상환경을 만들고 여기에 설치했다.

git clone --recurse-submodules https://github.com/lkwq007/stablediffusion-infinity
cd stablediffusion-infinity
conda create -n outpaint python=3.10
conda activate outpaint
conda install pytorch torchvision torchaudio pytorch-cuda=11.6 -c pytorch -c nvidia
conda install scipy scikit-image
conda install -c conda-forge diffusers transformers ftfy accelerate
pip install opencv-python
pip install -U gradio
pip install pytorch-lightning==1.7.7 einops==0.4.1 omegaconf==2.2.3
pip install timm

infinity를 사용해 아래의 원본 이미지를 그 아래의 이미처럼 확장시킬수 있다. 엄청나다. 

사용법은 혼자 그냥 만지며 익혔다. 나중에 유튜브를 찾아보니 나와 다를바 없었다. 

만들때 꼭 처음 저 이미지를 생성할때의 프롬프트도 같이 넣어야 어색하게 안나온다.
그리고 기존 이미지 정보도 함께 많이 포함해줘야(선택해줘야) 자연스러워진다.

하지만 시간이 아주 오래 걸린다. 마음에 들지 않는 그림이 나올때도 많다. 그래서 다른 방법을 찾아봤다.

2. 기존 이미지의 canvas를 늘리고 그 부분을 색칠한 다음 이 부분만 img2img에서 다시 생성하는 방법이다.

이제 제일 좋을 거라 생각했는데 더 좋은 방법을 찾아냈다.

3. 추가 설치할 것도 없다. 바로 stable diffusion > img2img 에서 사용할 수 있다.

환상적이다. 속도도 빠르다.

img2img를 가면 맨 아래에 Script를 선택하는 부분이 있다.

여기서 Outpaing mk2로 선택한다. 아래와 같은 선택창이 뜨는데 바꾸 않는게 가장 좋더라.
단 방향은 한 방향씩 늘려가면서 테스트하는게 좋다. 아래처럼 left 먼저하고 다음 right 돌려보는 방식이다.

다 된거다. 그냥 생성하면 된다. 왼쪽으로 더 늘리고 싶다면 결과창에서 다시한번 send to img2img 버튼을 눌러 보낸후 거기서 다시 생성하면 된다.
가장 좋은 점은 기존과 완전히 똑같은 프롬프트와 체크포인트, 로라 및 각종 설정을 사용하여 기존 이미의 느낌을 살리기 쉽다는 거다.
그리고 infinity보다 속도가 월등히 빠르다. 계속 만들며 실험하면 된다.

영상대로 하면 된다. 단 교육시간이 꽤 길고 내 눈으로 보기에 퀄이 별로다.

이것보단 차라리 Dreambooth가 나았다. 영상에서도 마지막에 드림부스가 낫다고 평가하고 있다;;

아래 4대 훈련법 중 Textual Inversion을 제외하고 모두 돌려봤는데 이제 더 이상 고민하지 않겠다.

그냥 로라를 쓰자.

Extensions > Available > Load from > Dreambooth 검색

https://www.youtube.com/watch?v=tuSlUqmlZuc 

플러그인 다운받은 후 프로그램 재시작하고 위 링크대로 따라하면 된다.

연예인 모델을 훈련시켜봤는데 꽤 잘나왔지만 300메가가 넘었고 시간은 30분 조금 넘게 걸렸다.

사용법은 간단하지만 시간이 좀 걸리고 용량이 작지 않다. 또한 결과가 로라가 아닌 checkpoint 파일로 나온다.

* 결론 : 아래 4개의 이미지 훈련법 중에서 dreambooth는 탈락

1. webui-user.bat 파일을 열고 --listen 추가. 

set COMMANDLINE_ARGS=--listen

이와 같이 설정하고 실행하면 아래처럼 7860 포트가 기본으로 열린다. 만약 포트를 8001번으로 바꾸고 싶다면

--listen --port 8001 처럼 넣으면 된다.

2. 윈도우 방화벽 열기
방화벽 설정 검색 > 고급설정

인바운드 > 새규칙

포트 : 7860 > 계속 다음 클릭. 이름 정도만 넣어주자.

3. iptime에서 포트 열기

4. 완성. 이제 외부에서 붙어보자.

http://121.140.201.222:7860/

http://내아이피:포트번호

5. 이제 스마트폰이나 외부PC에서도 접속할 수 있다.

* 만약 wsl 환경이라면 추가적인 연결 작업이 필요하다. 즉 wsl의 포트와 윈도우에서 오픈한 포트를 연결해줘야 한다.
- 관리자 모드로 파워쉘을 연후,

netsh interface portproxy add v4tov4 listenport=wsl에서 오픈한 포트 listenaddress=0.0.0.0 connectport=외부연결포트 connectaddress=wsl ip주소

실제 예시)

netsh interface portproxy add v4tov4 listenport=8001 listenaddress=0.0.0.0 connectport=8001 connectaddress=172.28.51.232

- wsl에서 외부로 열린 포트 확인

netsh interface portproxy show v4tov4

- 만약 위에서 오픈한 포트를 다시 닫고 싶다면

netsh interface portproxy delete v4tov4 listenaddress=0.0.0.0 listenport=8001

이미지를 뽑다보면 이렇게 보라색 점이 생길때가 있다

이때 오토 인코더 vae 파일로 후보정이 필요하단다.

Settings 탭선택 > 왼쪽의 Stable Diffusion > SE VAE 선택창에서 선택

만약 파일이 없다면 https://huggingface.co/stabilityai/sd-vae-ft-mse-original/resolve/main/vae-ft-mse-840000-ema-pruned.safetensors <- 클릭하면 저장. 

저장한 파일을 stable-diffusion-webui\models\VAE 폴더안에 넣고 상단의 Apply settings 버튼 클릭

후보정을 위한 vae 종류도 여러가지가 있는 것 같다. 

나중에 필요해지면 그때나 알아보자