Wookang makes AI

아래의 이미지를 영상으로 바꿔보고 싶었다.

1. svd로 여러 설정을 바꿔가며 영상을 만들어봤지만 하나같이 움직임이 없었다.

2. 단순히 확대만 하거나 왼쪽에서 오른쪽으로만 움직였다. 이미지는 그대로였다.

3. 아무래도 낯선 괴물이다보니 fragment로 쪼개지를 못하는 거 같았다. 그런데 파도도 움직이지 못하는건 좀 서운했다.

혹시나 해서 런웨이(https://app.runwayml.com/video-tools/teams/virlitinc/dashboard)로 영상을 만들어봤다. 그래서 나온게 아래 영상이다.

이 역동성이 대단하지 않은가?

영상 생성분야는 각 fragment를 인식하고 그 요소가 어떻게 움직이는지 학습이 되어 있어야 위와 같은 움직임을 만들어낼수 있다. svd에 촉수를 가진 바다괴물의 움직임이 선학습되었기를 기대하는건 무리가 있겠지만 이미 gen-2는 그것을 보여주고 있다. gen-3는 더욱 대단하지 않을까.

(여러 괴물이미지로 다른 영상들도 만들어봤는데 사실 runway도 다른 괴물들은 잘 인식하지 못했다. 아래와 비슷하게 나온다)

fragment인식의 차이는 아닌것으로 보인다. 어떤 것을 어떻게 얼마만큼 움직여야 하는지의 학습의 차이로 보인다. 확실히 이 분야는 '돈'싸움이 될 것같다. svd의 한계가 너무 명확해 보여 '매우' 아쉽다.

* 동기

forge가 뭔지도 몰랐는데  아래 영상 덕분에 알게 되었다. 말그대로 webUI의 강화버전으로 보였다.

특히 SVD를 webUI에서 사용할 수 있다는 것이 마음에 들었다. 

* 설치하기

- 나처럼 개발좀 안다고 기존 webUI에 git branch를 바꿔서 설치하지 마라. 그 동안 내가 커스터 마이징해왔던 파일들 때문에 merge가 곤란해진다. 설령 백업후 discard한다해도 requirements 라이브러리가 달라 계속 꼬인다. 그냥 새로 설치하자.

1. webUI 설치와 동일하게 하면 된다.
git clone https://github.com/lllyasviel/stable-diffusion-webui-forge.git sd-forge
cd sd-forge

실행하기 전에 기존 webUI의 모듈을 가져다 쓰기 위해 설정을 먼저 해준다
2. webui-user.bat 파일을 연후 아래와 같이 편집하자. 

@echo off
set COMMANDLINE_ARGS=
@REM Uncomment following code to reference an existing A1111 checkout.
set A1111_HOME=E:/Libraries/stable-diffusion-sdxl

@REM set VENV_DIR=%A1111_HOME%/venv
set COMMANDLINE_ARGS=%COMMANDLINE_ARGS% ^
 --ckpt-dir %A1111_HOME%/models/Stable-diffusion ^
 --hypernetwork-dir %A1111_HOME%/models/hypernetworks ^
 --embeddings-dir %A1111_HOME%/embeddings ^
 --lora-dir %A1111_HOME%/models/Lora ^
 --vae-dir %A1111_HOME%/models/VAE

call webui.bat

3. A1111_HOME= 에 webUI의 폴더위치를 넣고 - 다만 꼭 \ 를 / 로 모두 바꿔줘야한다. 그래야만 인식한다.

4.  나머지는 기존 주석을 풀어만 주면된다(@Rem을 모두 지워주면 주석이 풀린다)
5. 실행시 추가하고픈 사항이 있다면 상단의 COMMANDLINE_ARGS=에 넣어주면된다.

- venv는 계속 주석을 유지한다. 주석을 풀어보니 webUI에서 사용하는 라이브러리들과 forge에서 사용하는 라이브러리가 달라 에러가 발생하기 때문이다. 그냥 forge용 라이브러리를 추가로 설치하자.
- 위 유튜브와 설명이 다를꺼다. webui-user.bat 설정하는 부분은 내 방식을 따르는게 편하고 빠르다.

6. 루트폴더 있는 style.csv 파일을 복사해서 같은 위치에 넣어주자. 이 파일안에는 내가 설정해 놓은 프롬프트들이 설정들이 모두 들어가 있다.

7. 이제 webui-user.bat를 실행해보자.

잘된다. svd와 z123탭이 추가된 것을 확인할수 있다. 이외 설치사항은 위 유튜브를 참고하자.

출력도 좋다

* 동기

이미지를 움직여보고 싶었다. 최근 유튜브 준비를 하고 있는데 내가 뭐 멋진 영상을 찍고 끝내주는 편집을 하고 그러지 못하기에 sd로 뽑은 멋진 이미지들을 움직여 조금이라도 영상에 적합한 소스를 만들어보고 싶었다.

Runway가 가장 유명해서 사용해봤는데 확실히 쉽고 빨랐다. (아래 영상)

- 하지만 무료버전은 이미지 해상도가 뭉개지고 오른쪽 하단에 워터마크가 크게 나온다. 저 3개의 원은 계속 움직이며 시선을 끈다.

- 유료버전의 credit도 어떤 방식으로 소비되는지 복잡하게 되어있다. 월 12달러에 625크레딧을 주는데 이게 무슨 의미인지 이걸로 몇개의 영상을 만들 수 있는지 감이 오지 않았다.

- 뭔가 새로운 움직임에 대한 기대감이 적었다. 움직이고자 하는 objects를 선택할수 있는건 좋았지만 그게 체감되진 않았다.

- comfyUI를 새로 익혀야 한다는 부담감이 있었지만 그럼에도 역시, 직접 만드는게 좋아보였다.

* 설치

1. 먼저 comfyUI를 설치해야한다. stable diffusion webui와 똑같지만 ui가 다르다. 언리얼처럼 노드를 연결해 사용하는 툴이다.

• https://github.com/comfyanonymous/ComfyUI?tab=readme-ov-file#installing
• 압축파일을 다운로드 받아서 압축을 풀면 된다. 추가 설치가 없었다. 아주 빠르게 실행된다.

2. 기존 스테이블디퓨전의 모델들을 함께 사용하기 위해서는 설정이 필요하다. 폴더 안으로 들어가서 extra_model_paths.yaml.example 파일을 연다. 

• 먼저 파일명 끝에 .example을 제거한다.

a111:

    base_path: E:\Libraries\stable-diff-sdxl

    checkpoints: checkpoints: models/svd

    controlnet: extensions\sd-webui-controlnet\models

• base_path에 기존 stable diffusion 폴더로 넣는다. 이렇게 하면 기존의 stable diffusion의 모든 모델과 vae, lora등을 함께 쓸 수 있다.
• controlnet의 경우 경로가 잘못되어 있다. 위와같이 바꿔주자
• run_nvidia_gpu.bat 를 실행시시면 8188포트로 창이 열린다.

3. 매니저도 꼭 설치해야한단다. 설치하면 아래 스샷처럼 manager버튼이 나타난다.

• ComfyUI\custom_nodes 안으로 이동한다.

E:\Libraries\ComfyUI_windows_portable\ComfyUI\custom_nodes 

• git clone https://github.com/ltdrdata/ComfyUI-Manager.git
• 설치후 ComfyUI를 재시작한다. 아래와 같이 Manager탭이 추가된다.

4. 허깅스페이스에서 모델들을 다운받는다. 일반 모델 2개와 xt 모델 2개를 받는다. 나처럼 xt만 쓸사람은 xt만 2개 받아도 된다.

• https://huggingface.co/stabilityai/stable-video-diffusion-img2vid/tree/main
• https://huggingface.co/stabilityai/stable-video-diffusion-img2vid-xt/tree/main

• 이걸 sd의 체크포인트를 넣는곳에 E:\Libraries\stable-diff-sdxl\models\svd 붙여넣는다. 

5. 워크플로우 가져오기

• https://comfyanonymous.github.io/ComfyUI_examples/video/
• 위 사이트로 들어가서 아래 이미지를 드래그하여 화면위에 드랍하면 워크플로우가 가져와진다. 이건 좀 신기하다.

• 저기서 맨 끝의 SaveAnimateWEBP는 지운다. 그리고 다음 6번을 따라가자

6. Manager버튼을 클릭한후

• 맨위의 Custom Nodes Manager 버튼을 클릭

• 그리고 vhs를 검색하여 나온 ComfyUI-VideoHelperSuite를 install 한다

• 또 ComfyUI Frame Interpolation 를 검색해서 설치한다

• 다시 재시작
• 바탕 더블클릭하여 vfi를 검색한 후 RIFE를 추가 - 이건 프레임마다 중간 보간을 해주는 역할을 한다

• 다시 vhs 검색한 후 추가해준다

7. 이제 모두 연결해준다

* 실행

• 사이즈는 16:9가 기본이라고 한다. 하지만 업로드 이미지 크기를 맞춰주는게 좋았다.
• svd_xt는 frame을 25로 할수 있다. 기본은 10이다
• 변화량을 결정하는 건 motion_bucket_id와 augmentation_level 이라고 한다.
• 해보니 augmentation은 바꾸지 않는게 나은거 같다. 올리면 노이즈가 많이 생긴다. 약간만 올려도 변화가 크다. 0.05가 좋았다. 0.1만 돼도 노이즈가 커진다.
• motion_bucket_id는 전체적인 이미지 변화량이다. 1로 하면 카메라도 거의 변하지 않는다. 127이 기본값이다. 200까지는 해볼만한거 같다.
• fps는 30으로 맞춰줬다. 
• step 30 정도로 품질을 올려준다. cfg는 2.5가 기본이다. 낮추면 매우 이상한 이미지들이 나온다. 

• sampler는 이미지에 맞춰 선택하는게 좋다. euler로 만든 이미지라면 euler을 선택하는게 가장 자연스럽다. 선명하게 뽑고 싶다면 dpmpp_3m_sde_gpu가 가장 좋고 그나마 변화가 있다. 2m은 이미지 변화 없이 안정적으로 카메라 연출만 들어가는 거 같다. 
• scheduler는 normal일 경우 필터 효가가 거의 없이 이미지 그대로 들어가고 ddm_uniform으로 할경우 파란색 필터가 들어간다. 이 정도 변화가 좋아서 현재는 ddm_uniform을 쓰고 있다.

• Video Combine 탭에서 이미지를 출력한다.
• frame_rate는 영상의 길이를 결정한다. 6으로 하면 5~7초 정도가 출력되고 이걸 30으로 하면 1초만 출력된다. 
• 여기서 출력 포맷도 gif등으로 바꿔 출력할수있다.

* 결론

위 이미지를 돌려서 아래의 영상을 만들었다.

• 크기를 키우면 속도가 느려지긴 하지만 충분히 빠르다. 4090에서 5초 영상 만드는데 2분 10초가 걸렸다. 보통은 2분이내 이고 512x512처럼 작은 사이즈는 15초정도 걸린다. 매우 마음에 든다.
• 카메라 컨트롤을 해보려고 하는데 아직 방법을 못찾고 있다. - 여기저기 알아보며 며칠간 더 만져봤는데 컨트롤이 불가능한거 같다.
• 어쩔때는 전혀 생각지 못한 사진 너머의 모습을 보여준다. 여행을 떠나는 기분이었다.
• 아주 만족스럽다.

* 서비스를 사용할지 결정하기

1. '말하는 AI 아바타'를 내 PC에서 직접 만드는 방법은 현재(24.07.01)까지 stable diffusion webui에서 sadtalker를 이용하는 것 외에 찾아내지 못했다.

2. sadtalker(https://github.com/OpenTalker/SadTalker)는 마지막 업데이트가 9개월 전이고 이제 더이상 업데이트를 기대할수 없는 dead 상태이다. 상업화된 서비스는 많은데 오픈된 서비스가 없다는 건 그만큼 시장성이 없다는 뜻일지 모르겠다.

3. 그럼에도 sadtalker의 품질은 괜찮아 보인다. coqui tts와 함께 쓰면 나쁘지 않을 거 같다.

* 설치 상황

1. 윈도우 버전을 설치한다.

2. stable diffusion webui 1.7이하 버전에서만 정상적으로 돌아간다. 현재 최신버전인 1.94에서는 설치에러가 난다.

3. https://github.com/OpenTalker/SadTalker/issues/822#issuecomment-2053857698 에 여러 방법들이 나와있는데 모두 해보았지만 not working이었다.

4. 그렇다고 최신버전을 1.7로 낮추면 안된다. 1.8부터 바뀐사항이 많아 기본 이미지 생성부터 에러가 난다.

5. 최종 결정. sadtalker만을 위한 새로운 1.7버전을 만든다. 즉 최신버전 sd와 1.7버전 sd로 이원화 한다.

- sadtalker는 생각보다 가볍고 다른 체크포인트나 로라같은 걸 공통 사용하지 않기 때문에 부담이 없다. 1.8이상부터 이전 버전과 호환되지 않는 것들이 꽤 많은데 이런것들은 모두 여기서 돌린다.

* 설치하기

1. stable diffusion webui 새로 설치하기

git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git

2. sd 폴더 안에 들어간 후 아래의 git명령으로 1.7버전으로 돌린다.

git reset --hard cf2772f 

3. webui-user.bat 로 설치를 시작한다.

4. 설치 후 sd를 실행하고 

Extentions 탭 > Available > Load from클릭 > sad로 검색해서 설치
https://github.com/OpenTalker/SadTalker.git 

5.ffmpeg 설치 후 환경변수 설정
아래 링크에서 윈도우용 다운로드 받고 
https://www.ffmpeg.org/download.html#build-windows

파일이 압축되어 있다. 압축을 푼 후 bin폴더 안에 아래 3개 파일 모두를 path설정을 원하는 곳에 이동시킨후

아래처럼 설정해준다. 나는 c:\Program files안에 새로 폴더를 만들어 붙여넣었다.

이렇게 어디서든 저 3파일을 실행시킬 수 있게 path설정을 해줘야한다. 안하면 에러난다.

6. 체크포인트 다운로드
https://github.com/OpenTalker/SadTalker/releases/tag/v0.0.2-rc

안에 들어가서 하단의 4개 파일을 다운로드 받는다.

이 4개의 파일 모두, stable diffusion폴더 > extensions > checkpoints(폴더 새로 생성) 후 이 아래에 붙여넣는다.

7. 실행

- webui-user.bat를 더블클릭해서 실행. 사용법이 간단해서 좋다.

- 아래 순서대로 하면된다.

- 생성 버튼 위에 있는 GFPGAN as Face enhancer는 보간법을 이용해 얼굴의 품질을 올려주는 옵션인데 시간이 너무 많이 걸려 - 체크 하지 않을때와 비교해 10배가 넘게 걸리는 거 같다 - 테스트를 많이 못했다. 좋은 품질이 더욱 중요하다면 체크하는 것도 좋을것이다.

8. 결론

- 여러 테스트를 해봤는데 사람얼굴은 인식을 잘하지만 조금만 사람같지 않아도? 인식을 못하고 에러가 난다. 이게 좀 아쉽다.

- 생성시간이 매우 짧다. 4090에서는 한클립에 5,6초 걸리는거 같다. 이 정도면 실제로 사용가능한 수준이다.

- 음성쪽은 llm에 비해 오픈소스 기반이 많이 약하다. 나부터도 이쪽은 잘 모른다. 하지만 실제의 쓰임은 글자보다 오히려 음성이 더 클것이다. 좀 더 팔로우할 생각이다.

xtts-webui는 자연스러운 음성생성 xtts를 사용하기 쉽게 만든 라이브러리다.

https://github.com/daswer123/xtts-webui.git

*  윈도우에 설치 하기

- 깃헙에 설명된대로 아주 간단하게 설치된다. 개발자가 배치파일을 잘 만들었다.

1. git clone https://github.com/daswer123/xtts-webui.git xtts
2. cd xtts
3. 'install.bat' 실행
- 한참을 설치한다.
4. 'start_xtts_webui.bat' 실행
마찬가지로 한참을 설치한다.
5. 부드럽게 실행된다. 웹페이지가 뜬다.

사용법은 다음 포스팅에 정리한다.