SVD - stable video diffusion 설치 및 실행하기

* 동기

이미지를 움직여보고 싶었다. 최근 유튜브 준비를 하고 있는데 내가 뭐 멋진 영상을 찍고 끝내주는 편집을 하고 그러지 못하기에 sd로 뽑은 멋진 이미지들을 움직여 조금이라도 영상에 적합한 소스를 만들어보고 싶었다.

 

Runway가 가장 유명해서 사용해봤는데 확실히 쉽고 빨랐다. (아래 영상)

- 하지만 무료버전은 이미지 해상도가 뭉개지고 오른쪽 하단에 워터마크가 크게 나온다. 저 3개의 원은 계속 움직이며 시선을 끈다.

- 유료버전의 credit도 어떤 방식으로 소비되는지 복잡하게 되어있다. 월 12달러에 625크레딧을 주는데 이게 무슨 의미인지 이걸로 몇개의 영상을 만들 수 있는지 감이 오지 않았다.

- 뭔가 새로운 움직임에 대한 기대감이 적었다. 움직이고자 하는 objects를 선택할수 있는건 좋았지만 그게 체감되진 않았다.

- comfyUI를 새로 익혀야 한다는 부담감이 있었지만 그럼에도 역시, 직접 만드는게 좋아보였다.

 

* 설치

1. 먼저 comfyUI를 설치해야한다. stable diffusion webui와 똑같지만 ui가 다르다. 언리얼처럼 노드를 연결해 사용하는 툴이다.

• https://github.com/comfyanonymous/ComfyUI?tab=readme-ov-file#installing
• 압축파일을 다운로드 받아서 압축을 풀면 된다. 추가 설치가 없었다. 아주 빠르게 실행된다.

 

2. 기존 스테이블디퓨전의 모델들을 함께 사용하기 위해서는 설정이 필요하다. 폴더 안으로 들어가서 extra_model_paths.yaml.example 파일을 연다. 

• 먼저 파일명 끝에 .example을 제거한다.

a111:

    base_path: E:\Libraries\stable-diff-sdxl

    checkpoints: checkpoints: models/svd

    controlnet: extensions\sd-webui-controlnet\models

 

• base_path에 기존 stable diffusion 폴더로 넣는다. 이렇게 하면 기존의 stable diffusion의 모든 모델과 vae, lora등을 함께 쓸 수 있다.
• controlnet의 경우 경로가 잘못되어 있다. 위와같이 바꿔주자
• run_nvidia_gpu.bat 를 실행시시면 8188포트로 창이 열린다.

 

3. 매니저도 꼭 설치해야한단다. 설치하면 아래 스샷처럼 manager버튼이 나타난다.

• ComfyUI\custom_nodes 안으로 이동한다.

E:\Libraries\ComfyUI_windows_portable\ComfyUI\custom_nodes 

• git clone https://github.com/ltdrdata/ComfyUI-Manager.git
• 설치후 ComfyUI를 재시작한다. 아래와 같이 Manager탭이 추가된다.

 

4. 허깅스페이스에서 모델들을 다운받는다. 일반 모델 2개와 xt 모델 2개를 받는다. 나처럼 xt만 쓸사람은 xt만 2개 받아도 된다.

• https://huggingface.co/stabilityai/stable-video-diffusion-img2vid/tree/main
• https://huggingface.co/stabilityai/stable-video-diffusion-img2vid-xt/tree/main

• 이걸 sd의 체크포인트를 넣는곳에 E:\Libraries\stable-diff-sdxl\models\svd 붙여넣는다. 

 

5. 워크플로우 가져오기

• https://comfyanonymous.github.io/ComfyUI_examples/video/
• 위 사이트로 들어가서 아래 이미지를 드래그하여 화면위에 드랍하면 워크플로우가 가져와진다. 이건 좀 신기하다.

• 저기서 맨 끝의 SaveAnimateWEBP는 지운다. 그리고 다음 6번을 따라가자

6. Manager버튼을 클릭한후

• 맨위의 Custom Nodes Manager 버튼을 클릭

• 그리고 vhs를 검색하여 나온 ComfyUI-VideoHelperSuite를 install 한다

 

• 또 ComfyUI Frame Interpolation 를 검색해서 설치한다

 

• 다시 재시작
• 바탕 더블클릭하여 vfi를 검색한 후 RIFE를 추가 - 이건 프레임마다 중간 보간을 해주는 역할을 한다

 

• 다시 vhs 검색한 후 추가해준다

 

7. 이제 모두 연결해준다

 

 

* 실행

• 사이즈는 16:9가 기본이라고 한다. 하지만 업로드 이미지 크기를 맞춰주는게 좋았다.
• svd_xt는 frame을 25로 할수 있다. 기본은 10이다
• 변화량을 결정하는 건 motion_bucket_id와 augmentation_level 이라고 한다.
• 해보니 augmentation은 바꾸지 않는게 나은거 같다. 올리면 노이즈가 많이 생긴다. 약간만 올려도 변화가 크다. 0.05가 좋았다. 0.1만 돼도 노이즈가 커진다.
• motion_bucket_id는 전체적인 이미지 변화량이다. 1로 하면 카메라도 거의 변하지 않는다. 127이 기본값이다. 200까지는 해볼만한거 같다.
• fps는 30으로 맞춰줬다. 
• step 30 정도로 품질을 올려준다. cfg는 2.5가 기본이다. 낮추면 매우 이상한 이미지들이 나온다. 

• sampler는 이미지에 맞춰 선택하는게 좋다. euler로 만든 이미지라면 euler을 선택하는게 가장 자연스럽다. 선명하게 뽑고 싶다면 dpmpp_3m_sde_gpu가 가장 좋고 그나마 변화가 있다. 2m은 이미지 변화 없이 안정적으로 카메라 연출만 들어가는 거 같다. 
• scheduler는 normal일 경우 필터 효가가 거의 없이 이미지 그대로 들어가고 ddm_uniform으로 할경우 파란색 필터가 들어간다. 이 정도 변화가 좋아서 현재는 ddm_uniform을 쓰고 있다.

• Video Combine 탭에서 이미지를 출력한다.
• frame_rate는 영상의 길이를 결정한다. 6으로 하면 5~7초 정도가 출력되고 이걸 30으로 하면 1초만 출력된다. 
• 여기서 출력 포맷도 gif등으로 바꿔 출력할수있다.

 

* 결론

위 이미지를 돌려서 아래의 영상을 만들었다.

• 크기를 키우면 속도가 느려지긴 하지만 충분히 빠르다. 4090에서 5초 영상 만드는데 2분 10초가 걸렸다. 보통은 2분이내 이고 512x512처럼 작은 사이즈는 15초정도 걸린다. 매우 마음에 든다.
• 카메라 컨트롤을 해보려고 하는데 아직 방법을 못찾고 있다. - 여기저기 알아보며 며칠간 더 만져봤는데 컨트롤이 불가능한거 같다.
• 어쩔때는 전혀 생각지 못한 사진 너머의 모습을 보여준다. 여행을 떠나는 기분이었다.
• 아주 만족스럽다.