Wookang makes AI

아래의 이미지를 영상으로 바꿔보고 싶었다.

1. svd로 여러 설정을 바꿔가며 영상을 만들어봤지만 하나같이 움직임이 없었다.

2. 단순히 확대만 하거나 왼쪽에서 오른쪽으로만 움직였다. 이미지는 그대로였다.

3. 아무래도 낯선 괴물이다보니 fragment로 쪼개지를 못하는 거 같았다. 그런데 파도도 움직이지 못하는건 좀 서운했다.

혹시나 해서 런웨이(https://app.runwayml.com/video-tools/teams/virlitinc/dashboard)로 영상을 만들어봤다. 그래서 나온게 아래 영상이다.

이 역동성이 대단하지 않은가?

영상 생성분야는 각 fragment를 인식하고 그 요소가 어떻게 움직이는지 학습이 되어 있어야 위와 같은 움직임을 만들어낼수 있다. svd에 촉수를 가진 바다괴물의 움직임이 선학습되었기를 기대하는건 무리가 있겠지만 이미 gen-2는 그것을 보여주고 있다. gen-3는 더욱 대단하지 않을까.

(여러 괴물이미지로 다른 영상들도 만들어봤는데 사실 runway도 다른 괴물들은 잘 인식하지 못했다. 아래와 비슷하게 나온다)

fragment인식의 차이는 아닌것으로 보인다. 어떤 것을 어떻게 얼마만큼 움직여야 하는지의 학습의 차이로 보인다. 확실히 이 분야는 '돈'싸움이 될 것같다. svd의 한계가 너무 명확해 보여 '매우' 아쉽다.

* 동기

forge가 뭔지도 몰랐는데  아래 영상 덕분에 알게 되었다. 말그대로 webUI의 강화버전으로 보였다.

특히 SVD를 webUI에서 사용할 수 있다는 것이 마음에 들었다. 

* 설치하기

- 나처럼 개발좀 안다고 기존 webUI에 git branch를 바꿔서 설치하지 마라. 그 동안 내가 커스터 마이징해왔던 파일들 때문에 merge가 곤란해진다. 설령 백업후 discard한다해도 requirements 라이브러리가 달라 계속 꼬인다. 그냥 새로 설치하자.

1. webUI 설치와 동일하게 하면 된다.
git clone https://github.com/lllyasviel/stable-diffusion-webui-forge.git sd-forge
cd sd-forge

실행하기 전에 기존 webUI의 모듈을 가져다 쓰기 위해 설정을 먼저 해준다
2. webui-user.bat 파일을 연후 아래와 같이 편집하자. 

@echo off
set COMMANDLINE_ARGS=
@REM Uncomment following code to reference an existing A1111 checkout.
set A1111_HOME=E:/Libraries/stable-diffusion-sdxl

@REM set VENV_DIR=%A1111_HOME%/venv
set COMMANDLINE_ARGS=%COMMANDLINE_ARGS% ^
 --ckpt-dir %A1111_HOME%/models/Stable-diffusion ^
 --hypernetwork-dir %A1111_HOME%/models/hypernetworks ^
 --embeddings-dir %A1111_HOME%/embeddings ^
 --lora-dir %A1111_HOME%/models/Lora ^
 --vae-dir %A1111_HOME%/models/VAE

call webui.bat

3. A1111_HOME= 에 webUI의 폴더위치를 넣고 - 다만 꼭 \ 를 / 로 모두 바꿔줘야한다. 그래야만 인식한다.

4.  나머지는 기존 주석을 풀어만 주면된다(@Rem을 모두 지워주면 주석이 풀린다)
5. 실행시 추가하고픈 사항이 있다면 상단의 COMMANDLINE_ARGS=에 넣어주면된다.

- venv는 계속 주석을 유지한다. 주석을 풀어보니 webUI에서 사용하는 라이브러리들과 forge에서 사용하는 라이브러리가 달라 에러가 발생하기 때문이다. 그냥 forge용 라이브러리를 추가로 설치하자.
- 위 유튜브와 설명이 다를꺼다. webui-user.bat 설정하는 부분은 내 방식을 따르는게 편하고 빠르다.

6. 루트폴더 있는 style.csv 파일을 복사해서 같은 위치에 넣어주자. 이 파일안에는 내가 설정해 놓은 프롬프트들이 설정들이 모두 들어가 있다.

7. 이제 webui-user.bat를 실행해보자.

잘된다. svd와 z123탭이 추가된 것을 확인할수 있다. 이외 설치사항은 위 유튜브를 참고하자.

출력도 좋다

* 동기

이미지를 움직여보고 싶었다. 최근 유튜브 준비를 하고 있는데 내가 뭐 멋진 영상을 찍고 끝내주는 편집을 하고 그러지 못하기에 sd로 뽑은 멋진 이미지들을 움직여 조금이라도 영상에 적합한 소스를 만들어보고 싶었다.

Runway가 가장 유명해서 사용해봤는데 확실히 쉽고 빨랐다. (아래 영상)

- 하지만 무료버전은 이미지 해상도가 뭉개지고 오른쪽 하단에 워터마크가 크게 나온다. 저 3개의 원은 계속 움직이며 시선을 끈다.

- 유료버전의 credit도 어떤 방식으로 소비되는지 복잡하게 되어있다. 월 12달러에 625크레딧을 주는데 이게 무슨 의미인지 이걸로 몇개의 영상을 만들 수 있는지 감이 오지 않았다.

- 뭔가 새로운 움직임에 대한 기대감이 적었다. 움직이고자 하는 objects를 선택할수 있는건 좋았지만 그게 체감되진 않았다.

- comfyUI를 새로 익혀야 한다는 부담감이 있었지만 그럼에도 역시, 직접 만드는게 좋아보였다.

* 설치

1. 먼저 comfyUI를 설치해야한다. stable diffusion webui와 똑같지만 ui가 다르다. 언리얼처럼 노드를 연결해 사용하는 툴이다.

• https://github.com/comfyanonymous/ComfyUI?tab=readme-ov-file#installing
• 압축파일을 다운로드 받아서 압축을 풀면 된다. 추가 설치가 없었다. 아주 빠르게 실행된다.

2. 기존 스테이블디퓨전의 모델들을 함께 사용하기 위해서는 설정이 필요하다. 폴더 안으로 들어가서 extra_model_paths.yaml.example 파일을 연다. 

• 먼저 파일명 끝에 .example을 제거한다.

a111:

    base_path: E:\Libraries\stable-diff-sdxl

    checkpoints: checkpoints: models/svd

    controlnet: extensions\sd-webui-controlnet\models

• base_path에 기존 stable diffusion 폴더로 넣는다. 이렇게 하면 기존의 stable diffusion의 모든 모델과 vae, lora등을 함께 쓸 수 있다.
• controlnet의 경우 경로가 잘못되어 있다. 위와같이 바꿔주자
• run_nvidia_gpu.bat 를 실행시시면 8188포트로 창이 열린다.

3. 매니저도 꼭 설치해야한단다. 설치하면 아래 스샷처럼 manager버튼이 나타난다.

• ComfyUI\custom_nodes 안으로 이동한다.

E:\Libraries\ComfyUI_windows_portable\ComfyUI\custom_nodes 

• git clone https://github.com/ltdrdata/ComfyUI-Manager.git
• 설치후 ComfyUI를 재시작한다. 아래와 같이 Manager탭이 추가된다.

4. 허깅스페이스에서 모델들을 다운받는다. 일반 모델 2개와 xt 모델 2개를 받는다. 나처럼 xt만 쓸사람은 xt만 2개 받아도 된다.

• https://huggingface.co/stabilityai/stable-video-diffusion-img2vid/tree/main
• https://huggingface.co/stabilityai/stable-video-diffusion-img2vid-xt/tree/main

• 이걸 sd의 체크포인트를 넣는곳에 E:\Libraries\stable-diff-sdxl\models\svd 붙여넣는다. 

5. 워크플로우 가져오기

• https://comfyanonymous.github.io/ComfyUI_examples/video/
• 위 사이트로 들어가서 아래 이미지를 드래그하여 화면위에 드랍하면 워크플로우가 가져와진다. 이건 좀 신기하다.

• 저기서 맨 끝의 SaveAnimateWEBP는 지운다. 그리고 다음 6번을 따라가자

6. Manager버튼을 클릭한후

• 맨위의 Custom Nodes Manager 버튼을 클릭

• 그리고 vhs를 검색하여 나온 ComfyUI-VideoHelperSuite를 install 한다

• 또 ComfyUI Frame Interpolation 를 검색해서 설치한다

• 다시 재시작
• 바탕 더블클릭하여 vfi를 검색한 후 RIFE를 추가 - 이건 프레임마다 중간 보간을 해주는 역할을 한다

• 다시 vhs 검색한 후 추가해준다

7. 이제 모두 연결해준다

* 실행

• 사이즈는 16:9가 기본이라고 한다. 하지만 업로드 이미지 크기를 맞춰주는게 좋았다.
• svd_xt는 frame을 25로 할수 있다. 기본은 10이다
• 변화량을 결정하는 건 motion_bucket_id와 augmentation_level 이라고 한다.
• 해보니 augmentation은 바꾸지 않는게 나은거 같다. 올리면 노이즈가 많이 생긴다. 약간만 올려도 변화가 크다. 0.05가 좋았다. 0.1만 돼도 노이즈가 커진다.
• motion_bucket_id는 전체적인 이미지 변화량이다. 1로 하면 카메라도 거의 변하지 않는다. 127이 기본값이다. 200까지는 해볼만한거 같다.
• fps는 30으로 맞춰줬다. 
• step 30 정도로 품질을 올려준다. cfg는 2.5가 기본이다. 낮추면 매우 이상한 이미지들이 나온다. 

• sampler는 이미지에 맞춰 선택하는게 좋다. euler로 만든 이미지라면 euler을 선택하는게 가장 자연스럽다. 선명하게 뽑고 싶다면 dpmpp_3m_sde_gpu가 가장 좋고 그나마 변화가 있다. 2m은 이미지 변화 없이 안정적으로 카메라 연출만 들어가는 거 같다. 
• scheduler는 normal일 경우 필터 효가가 거의 없이 이미지 그대로 들어가고 ddm_uniform으로 할경우 파란색 필터가 들어간다. 이 정도 변화가 좋아서 현재는 ddm_uniform을 쓰고 있다.

• Video Combine 탭에서 이미지를 출력한다.
• frame_rate는 영상의 길이를 결정한다. 6으로 하면 5~7초 정도가 출력되고 이걸 30으로 하면 1초만 출력된다. 
• 여기서 출력 포맷도 gif등으로 바꿔 출력할수있다.

* 결론

위 이미지를 돌려서 아래의 영상을 만들었다.

• 크기를 키우면 속도가 느려지긴 하지만 충분히 빠르다. 4090에서 5초 영상 만드는데 2분 10초가 걸렸다. 보통은 2분이내 이고 512x512처럼 작은 사이즈는 15초정도 걸린다. 매우 마음에 든다.
• 카메라 컨트롤을 해보려고 하는데 아직 방법을 못찾고 있다. - 여기저기 알아보며 며칠간 더 만져봤는데 컨트롤이 불가능한거 같다.
• 어쩔때는 전혀 생각지 못한 사진 너머의 모습을 보여준다. 여행을 떠나는 기분이었다.
• 아주 만족스럽다.

* 서비스를 사용할지 결정하기

1. '말하는 AI 아바타'를 내 PC에서 직접 만드는 방법은 현재(24.07.01)까지 stable diffusion webui에서 sadtalker를 이용하는 것 외에 찾아내지 못했다.

2. sadtalker(https://github.com/OpenTalker/SadTalker)는 마지막 업데이트가 9개월 전이고 이제 더이상 업데이트를 기대할수 없는 dead 상태이다. 상업화된 서비스는 많은데 오픈된 서비스가 없다는 건 그만큼 시장성이 없다는 뜻일지 모르겠다.

3. 그럼에도 sadtalker의 품질은 괜찮아 보인다. coqui tts와 함께 쓰면 나쁘지 않을 거 같다.

* 설치 상황

1. 윈도우 버전을 설치한다.

2. stable diffusion webui 1.7이하 버전에서만 정상적으로 돌아간다. 현재 최신버전인 1.94에서는 설치에러가 난다.

3. https://github.com/OpenTalker/SadTalker/issues/822#issuecomment-2053857698 에 여러 방법들이 나와있는데 모두 해보았지만 not working이었다.

4. 그렇다고 최신버전을 1.7로 낮추면 안된다. 1.8부터 바뀐사항이 많아 기본 이미지 생성부터 에러가 난다.

5. 최종 결정. sadtalker만을 위한 새로운 1.7버전을 만든다. 즉 최신버전 sd와 1.7버전 sd로 이원화 한다.

- sadtalker는 생각보다 가볍고 다른 체크포인트나 로라같은 걸 공통 사용하지 않기 때문에 부담이 없다. 1.8이상부터 이전 버전과 호환되지 않는 것들이 꽤 많은데 이런것들은 모두 여기서 돌린다.

* 설치하기

1. stable diffusion webui 새로 설치하기

git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git

2. sd 폴더 안에 들어간 후 아래의 git명령으로 1.7버전으로 돌린다.

git reset --hard cf2772f 

3. webui-user.bat 로 설치를 시작한다.

4. 설치 후 sd를 실행하고 

Extentions 탭 > Available > Load from클릭 > sad로 검색해서 설치
https://github.com/OpenTalker/SadTalker.git 

5.ffmpeg 설치 후 환경변수 설정
아래 링크에서 윈도우용 다운로드 받고 
https://www.ffmpeg.org/download.html#build-windows

파일이 압축되어 있다. 압축을 푼 후 bin폴더 안에 아래 3개 파일 모두를 path설정을 원하는 곳에 이동시킨후

아래처럼 설정해준다. 나는 c:\Program files안에 새로 폴더를 만들어 붙여넣었다.

이렇게 어디서든 저 3파일을 실행시킬 수 있게 path설정을 해줘야한다. 안하면 에러난다.

6. 체크포인트 다운로드
https://github.com/OpenTalker/SadTalker/releases/tag/v0.0.2-rc

안에 들어가서 하단의 4개 파일을 다운로드 받는다.

이 4개의 파일 모두, stable diffusion폴더 > extensions > checkpoints(폴더 새로 생성) 후 이 아래에 붙여넣는다.

7. 실행

- webui-user.bat를 더블클릭해서 실행. 사용법이 간단해서 좋다.

- 아래 순서대로 하면된다.

- 생성 버튼 위에 있는 GFPGAN as Face enhancer는 보간법을 이용해 얼굴의 품질을 올려주는 옵션인데 시간이 너무 많이 걸려 - 체크 하지 않을때와 비교해 10배가 넘게 걸리는 거 같다 - 테스트를 많이 못했다. 좋은 품질이 더욱 중요하다면 체크하는 것도 좋을것이다.

8. 결론

- 여러 테스트를 해봤는데 사람얼굴은 인식을 잘하지만 조금만 사람같지 않아도? 인식을 못하고 에러가 난다. 이게 좀 아쉽다.

- 생성시간이 매우 짧다. 4090에서는 한클립에 5,6초 걸리는거 같다. 이 정도면 실제로 사용가능한 수준이다.

- 음성쪽은 llm에 비해 오픈소스 기반이 많이 약하다. 나부터도 이쪽은 잘 모른다. 하지만 실제의 쓰임은 글자보다 오히려 음성이 더 클것이다. 좀 더 팔로우할 생각이다.

오랜만에 stable diffusion webui에 접속했더니, 아예 돌아가지가 않았다.

체크포인트를 추가하고 프롬프트를 넣고 생성버튼을 클릭해도 이미지 자체가 생성되지 않았다.

* xformers에서 지원하는 토치 버전 문제

xformer는 이미지 생성 가속화 라이브러리다. 업데이트 되면서 torch 2.1.2버전을 요구했다. 하지만 내 torch버전은 2.0.1이었다. 업그레이드 방법은 간단하다.

1. webui-user.bat 파일을 연다. 

set COMMANDLINE_ARGS=--reinstall-xformers --medvram --xformers --reinstall-torch

2. 위처럼 --reinstall-torch 인자를 추가한후 저장하고 다시 webui-user.bat을 다시 시작한다.

3. 그러면 알아서 버전을 torch버전을 업그레이드한다.

4. 설치가 완료되면 위  --reinstall-torch 는 제거하고 원래대로 인자들을 되돌린다.

5. 해결

이제 이미지는 생성이 되는데 controlnet 이 말썽이었다. 

Error running process:  E:\Libraries\stable-diff-sdxl\models\Stable-diffusion\extensions\sd-webui-controlnet\scripts\controlnet.py

Traceback (most recent call last):

* controlnet 을 다시 설치하면 된다

https://www.reddit.com/r/StableDiffusion/comments/11dba9p/controlnet_error_after_update/

레딧에 나온 방법대로 하니 해결이 된다.

1. 먼저 extensions\sd-webui-controlnet\models 안에 있는 기존 모델 파일들을 다른 곳으로 이동시켜놓는다.

2. 다음 extensions\sd-webui-controlnet\ 를 삭제한다.

3. 다음 Extensions > Installed에 들어가 controlnet 의 체크를 풀고 Apply and restart UI를 클릭한다.

4. cmd 창을 닫고 다시 시작한다. (꼭 해야하나 싶긴한데 나는 했다)

5. Install from URL탭으로 이동해 다시 controlnet을 추가한다. 

https://github.com/Mikubill/sd-webui-controlnet

6. restart UI하니 에러없이 컨트롤 넷이 잘 돌아간다. 

7. 확장탭에 들어온 김에 Check for updates 후 다시 restart UI를 해서 모든 모듈들을 최신으로 업데이트 했다.

8. 해결

그럼에도 오류들이 쏟아졌다. 하나씩 해결해본다.

* Error loading script: m2m_ui.py 오류

- https://github.com/Scholar01/sd-webui-mov2mov/issues/146

1. 위 깃헙 이슈를 통해 해결했다. 먼저 modules/ui.py 파일을 연다. 

2. 아래 함수를 추가하고 저장한다.

def create_sampler_and_steps_selection(choices, tabname):
    return scripts.scripts_txt2img.script('Sampler').steps, scripts.scripts_txt2img.script('Sampler').sampler_name

3. 다시 실행하면 해당 에러 메시지가 사라진다. 업데이트 중 함수 누락이 있었나보다.

4. 해결

하지만 그럼에도 에러가 아직 남아있다.

* activating extra network lora: TypeError 오류

- https://github.com/AUTOMATIC1111/stable-diffusion-webui/issues/13561

1. 위 깃헙 이슈에서 해결했다.

2. 세상에, 가장 별거 아닌 오류였다.

3. 아래처럼 Add network to prompt를 none으로 하고 재시작하니 사라졌다.

* No module named 'basicsr' 오류

*** Error loading script: main.py
    Traceback (most recent call last):
      File "E:\AI\stable-diffusion-webui-master\modules\scripts.py", line 527, in load_scripts
        script_module = script_loading.load_module(scriptfile.path)
      File "E:\AI\stable-diffusion-webui-master\modules\script_loading.py", line 10, in load_module
        module_spec.loader.exec_module(module)
      File "<frozen importlib._bootstrap_external>", line 883, in exec_module
      File "<frozen importlib._bootstrap>", line 241, in _call_with_frames_removed
      File "E:\AI\stable-diffusion-webui-master\extensions\openpose-editor\scripts\main.py", line 14, in <module>
        from basicsr.utils.download_util import load_file_from_url
    ModuleNotFoundError: No module named 'basicsr'

- open pose를 아무리 다시 깔아도 해결이 안되었다
- https://github.com/AUTOMATIC1111/stable-diffusion-webui/issues/15094 이 이슈에서 해결했다.

1. 먼저 sd 기본 루트 폴더에서 아래 순서대로 하나씩 터미널에 실행하면 된다.

- 파이썬 가상로컬환경으로 가서 basicsr를 설치하고 다시 로컬환경을 나오는 스크립트다.

venv\scripts\activate.bat
pip install basicsr
venv\scripts\deactivate.bat

* 모두 해결

에러 메시지 없이 아름답게 로딩된다. 

sd3가 나락으로 가고 stable diffusion 생태계가 오픈소스에 집중하며 자체 성장하다보니 정신없는 방향으로 발전하는거 같다. text generation webui도 그렇고 이쪽은 한달만 지나도 돌리면 에러가 '탄생'한다.

그래서 너무 좋다. 에러가 난다는건 무언가 하고 있다는 뜻이니 말이다.

디자이너가 아닌 사람에게 bi나 ci를 만드는 일은 언제나 곤욕이다.

어쩌면 디자이너에게도 쉬운일은 아닐것이다.

가장 큰 문제는 나조차 내가 원하는게 무엇인지 모른다는 것인데 이 문제는 스테이블 디퓨전으로 깔끔하게 해결된다. 컨셉을 주고 체크포인트와 프롬프트를 바꿔가며 300개 정도 뽑아보니 마음에 드는 것만 수십개가 나온다.

lora 는 코랩으로 만들어도 좋고 나처럼 kohya_gui로 만들어도 좋다.

https://github.com/bmaltais/kohya_ss

1. kohya를 설치한 후

2. https://blog.himion.com/175 나 https://blog.himion.com/176 의 스크립트를 이용해 네이버와 구글에서 bi 이미지들을 수집한다. 

3. 그 중 퀄러티가 괜찮은 것들만 추린다. 나는 100개 정도만 사용했다.

4. kohya의 Utilies > Captioning > BLIP Captioning - 구글의 비전을 사용한다. 이미지에 캡션을 모두 달고 kohya 내부에 폴더를 하나 만들어 넣는다.

5. kohya의 Dreambooth LoRA를 이용해 로라를 만든다. 나는 4090 덕분에 batch size를 8로 키우고 Epoch을 1로 줄여도 퀄리 좋게 나왔다. 약 100장으로 bi 로라를 만드는데 1시간 15분이 걸렸다.

6. 프롬프트를 아래와 같이 만든 후 300백장 정도 뽑았다.

Model: 2dn_1, Version: v1.2.1
positive
<lora:brand_identity:1>, logo, bi, ci, brand, text, "Wendy", beyond the world, dimly ufo of ghost, (moon:0.3), sky, <lora:weird:0.4>
Negative prompt: easynegative, ng_deepnegative_v1_75t, ((worst quality)), ((low quality)), easynegative,
Steps: 20, Sampler: Euler a, CFG scale: 4.5, Seed: 366227024, Size: 512x512, 

> 결론

1. 내가 상상도 못했던 다양한 분위기의 bi들이 뽑인다.

2. 체크포인트에 따라 분위기가 더욱 다양해진다.

3. Sampler는 처리가 단순한게 좋다. 실사 이미지를 뽑는게 아니니까.

4. 텍스트는 정확한 삽입이 어렵다. 텍스트 중심 로고는 좀 더 고민해야 할 것 같다.

5. 기본적인 포토샵, 일러가 가능한 사람은 찍어내듯 만들어낼수도 있겠다. 환상적이다.

ddetailer나 그걸 수정한 버전까지 여러가지 버전을 설치하고 실행해 보았으나 결국 에러가 났다.

그러다 발견한 것이 Adetailer다. 설치도 아주 간단하다.

https://github.com/Bing-su/adetailer

1. Extensions 탭을 이동

2. Install from URL 안에 https://github.com/Bing-su/adetailer.git 를 넣고 install 버튼 클릭

3. 인스톨 완료 후 Apply and restart UI

4. 터미널을 재실행

5. 실행 중 모듈이 없다고 에러가 뜨는 경우가 있다. 그 이름을 찾아서 인스톨 해주면된다.

pip install 모듈이름

6. 이제 스테이블 디퓨전을 실행해보자.

txt2img 탭에 기본으로 ADetailer가 선택되어 있다. 클릭하면 상세창이 뜬다. 

Enable ADetailer를 on 시키고

아래와 같은 기준으로 모델을 선택한다. 개인적으로는 차이는 잘 모르겠고 뭘해도 잘나오더라.

이제 generate하면 된다. 확실히 얼굴이 잘나온다. 

outpainting 에는 여러 방법이 있었다.

1. 처음시도한 방법은 https://github.com/lkwq007/stablediffusion-infinity.git

설치는 간단하다. 깃헙페이지로 가서 윈도우 설치부분을 그대로 따라하면 된다. 다만 설치하는데 시간이 많이 걸린다.

나는 conda로 outpaint라는 가상환경을 만들고 여기에 설치했다.

git clone --recurse-submodules https://github.com/lkwq007/stablediffusion-infinity
cd stablediffusion-infinity
conda create -n outpaint python=3.10
conda activate outpaint
conda install pytorch torchvision torchaudio pytorch-cuda=11.6 -c pytorch -c nvidia
conda install scipy scikit-image
conda install -c conda-forge diffusers transformers ftfy accelerate
pip install opencv-python
pip install -U gradio
pip install pytorch-lightning==1.7.7 einops==0.4.1 omegaconf==2.2.3
pip install timm

infinity를 사용해 아래의 원본 이미지를 그 아래의 이미처럼 확장시킬수 있다. 엄청나다. 

사용법은 혼자 그냥 만지며 익혔다. 나중에 유튜브를 찾아보니 나와 다를바 없었다. 

만들때 꼭 처음 저 이미지를 생성할때의 프롬프트도 같이 넣어야 어색하게 안나온다.
그리고 기존 이미지 정보도 함께 많이 포함해줘야(선택해줘야) 자연스러워진다.

하지만 시간이 아주 오래 걸린다. 마음에 들지 않는 그림이 나올때도 많다. 그래서 다른 방법을 찾아봤다.

2. 기존 이미지의 canvas를 늘리고 그 부분을 색칠한 다음 이 부분만 img2img에서 다시 생성하는 방법이다.

이제 제일 좋을 거라 생각했는데 더 좋은 방법을 찾아냈다.

3. 추가 설치할 것도 없다. 바로 stable diffusion > img2img 에서 사용할 수 있다.

환상적이다. 속도도 빠르다.

img2img를 가면 맨 아래에 Script를 선택하는 부분이 있다.

여기서 Outpaing mk2로 선택한다. 아래와 같은 선택창이 뜨는데 바꾸 않는게 가장 좋더라.
단 방향은 한 방향씩 늘려가면서 테스트하는게 좋다. 아래처럼 left 먼저하고 다음 right 돌려보는 방식이다.

다 된거다. 그냥 생성하면 된다. 왼쪽으로 더 늘리고 싶다면 결과창에서 다시한번 send to img2img 버튼을 눌러 보낸후 거기서 다시 생성하면 된다.
가장 좋은 점은 기존과 완전히 똑같은 프롬프트와 체크포인트, 로라 및 각종 설정을 사용하여 기존 이미의 느낌을 살리기 쉽다는 거다.
그리고 infinity보다 속도가 월등히 빠르다. 계속 만들며 실험하면 된다.

영상대로 하면 된다. 단 교육시간이 꽤 길고 내 눈으로 보기에 퀄이 별로다.

이것보단 차라리 Dreambooth가 나았다. 영상에서도 마지막에 드림부스가 낫다고 평가하고 있다;;

아래 4대 훈련법 중 Textual Inversion을 제외하고 모두 돌려봤는데 이제 더 이상 고민하지 않겠다.

그냥 로라를 쓰자.

Extensions > Available > Load from > Dreambooth 검색

https://www.youtube.com/watch?v=tuSlUqmlZuc 

플러그인 다운받은 후 프로그램 재시작하고 위 링크대로 따라하면 된다.

연예인 모델을 훈련시켜봤는데 꽤 잘나왔지만 300메가가 넘었고 시간은 30분 조금 넘게 걸렸다.

사용법은 간단하지만 시간이 좀 걸리고 용량이 작지 않다. 또한 결과가 로라가 아닌 checkpoint 파일로 나온다.

* 결론 : 아래 4개의 이미지 훈련법 중에서 dreambooth는 탈락