sadtalker with stable diffusion - 말하는 AI 아바타 만들기

 

* 서비스를 사용할지 결정하기

1. '말하는 AI 아바타'를 내 PC에서 직접 만드는 방법은 현재(24.07.01)까지 stable diffusion webui에서 sadtalker를 이용하는 것 외에 찾아내지 못했다.

2. sadtalker(https://github.com/OpenTalker/SadTalker)는 마지막 업데이트가 9개월 전이고 이제 더이상 업데이트를 기대할수 없는 dead 상태이다. 상업화된 서비스는 많은데 오픈된 서비스가 없다는 건 그만큼 시장성이 없다는 뜻일지 모르겠다.

3. 그럼에도 sadtalker의 품질은 괜찮아 보인다. coqui tts와 함께 쓰면 나쁘지 않을 거 같다.

 

* 설치 상황

1. 윈도우 버전을 설치한다.

2. stable diffusion webui 1.7이하 버전에서만 정상적으로 돌아간다. 현재 최신버전인 1.94에서는 설치에러가 난다.

3. https://github.com/OpenTalker/SadTalker/issues/822#issuecomment-2053857698 에 여러 방법들이 나와있는데 모두 해보았지만 not working이었다.

4. 그렇다고 최신버전을 1.7로 낮추면 안된다. 1.8부터 바뀐사항이 많아 기본 이미지 생성부터 에러가 난다.

5. 최종 결정. sadtalker만을 위한 새로운 1.7버전을 만든다. 즉 최신버전 sd와 1.7버전 sd로 이원화 한다.

- sadtalker는 생각보다 가볍고 다른 체크포인트나 로라같은 걸 공통 사용하지 않기 때문에 부담이 없다. 1.8이상부터 이전 버전과 호환되지 않는 것들이 꽤 많은데 이런것들은 모두 여기서 돌린다.

 

* 설치하기

1. stable diffusion webui 새로 설치하기

git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git

2. sd 폴더 안에 들어간 후 아래의 git명령으로 1.7버전으로 돌린다.

git reset --hard cf2772f 

3. webui-user.bat 로 설치를 시작한다.

4. 설치 후 sd를 실행하고 

Extentions 탭 > Available > Load from클릭 > sad로 검색해서 설치
https://github.com/OpenTalker/SadTalker.git 

5.ffmpeg 설치 후 환경변수 설정
아래 링크에서 윈도우용 다운로드 받고 
https://www.ffmpeg.org/download.html#build-windows

파일이 압축되어 있다. 압축을 푼 후 bin폴더 안에 아래 3개 파일 모두를 path설정을 원하는 곳에 이동시킨후

아래처럼 설정해준다. 나는 c:\Program files안에 새로 폴더를 만들어 붙여넣었다.

 

이렇게 어디서든 저 3파일을 실행시킬 수 있게 path설정을 해줘야한다. 안하면 에러난다.

 

6. 체크포인트 다운로드
https://github.com/OpenTalker/SadTalker/releases/tag/v0.0.2-rc

안에 들어가서 하단의 4개 파일을 다운로드 받는다.

이 4개의 파일 모두, stable diffusion폴더 > extensions > checkpoints(폴더 새로 생성) 후 이 아래에 붙여넣는다.

7. 실행

- webui-user.bat를 더블클릭해서 실행. 사용법이 간단해서 좋다.

- 아래 순서대로 하면된다.

- 생성 버튼 위에 있는 GFPGAN as Face enhancer는 보간법을 이용해 얼굴의 품질을 올려주는 옵션인데 시간이 너무 많이 걸려 - 체크 하지 않을때와 비교해 10배가 넘게 걸리는 거 같다 - 테스트를 많이 못했다. 좋은 품질이 더욱 중요하다면 체크하는 것도 좋을것이다.

 

8. 결론

- 여러 테스트를 해봤는데 사람얼굴은 인식을 잘하지만 조금만 사람같지 않아도? 인식을 못하고 에러가 난다. 이게 좀 아쉽다.

- 생성시간이 매우 짧다. 4090에서는 한클립에 5,6초 걸리는거 같다. 이 정도면 실제로 사용가능한 수준이다.

- 음성쪽은 llm에 비해 오픈소스 기반이 많이 약하다. 나부터도 이쪽은 잘 모른다. 하지만 실제의 쓰임은 글자보다 오히려 음성이 더 클것이다. 좀 더 팔로우할 생각이다.