Wookang makes AI

* 과정

1. 지지난주 16km 도 제대로 완주못하고 14km부터 걸어서 돌아왔다. 처음 12km까진 신나게 달렸지만 그 이후에 완전 방전돼 버렸던 부끄러운 기억이 있다.

2. 그래서 이번에도 완주나 할수 있을까 약간의 걱정을 가지고 뛰었다.

3. 그래서 천천히 조심스럽게 뛰었다. 15km즈음부터 항상 발생하는 발바닥 통증도 무서웠다.

4. https://youtu.be/Kk2KC4jEcBk?si=7Xpl3L4Xcg52nhMx

5. 그래서 마라톤 레전드의 추천을 따라 (의도적으로) 리어풋으로 달려봤다. 내가 생각해도 미드풋은 발바닥에 모든 충격을 그대로 전가하는 거 같았다.

* 복기

1. 내게는 충격적인 결과다. 처음으로 15km에서 발바닥이 아프지 않았다. 발바닥이 아파온건 19km즈음이었고 이때도 아프긴하지만 걷거나 쉬지않고 계속 달릴수는 있는 수준이었다.

2. 달리며 행복했다. 리어풋이 익숙하지 않아 자꾸 미드풋으로 돌아갔지만 그럼에도 이전보다 발바닥 충격이 훨씬 적었다.

3. 한강변에는 역마다 사람들이 많고 달리기 좋은 러닝트랙도 많아서 짧은 구간을 빠르게 뛰는 사람들이 많다. 그들이 가끔 씩씩대며 나를 추월하려고 할때가 (당연히) 있다. 처음 12km까지는 이전 버릇이 나도 모르게 나와 속도를 높여 멀리 따돌려버렸다. 하지만 돌아오는 길에서는 계속 추월당했다. 이건 언제나 기분이 좋지 않다 ㅋ

4.. 해피 달리기였기에 중간에 화장실을 다녀오거나 12km에서 에너지젤을 먹을때도 타이머를 멈추지 않았는데 최종 기록은 작년에 pause 버튼을 누르며 달렸을 때보다 약간이지만 더 빨랐다.

5. 처음으로 호흡이 문제되지 않던 달리기였다. 심장의 힘은 남아돌았다. 하지만 19km부터 몸이 따라주지 않았다. 여기저기서 아프다는 신호를 보냈다. 스쾃과 데드리프트로는 보충할 수 없는 근육으로 느껴졌다. 이 부분은 좀더 알아봐야 한다.

6. 가장 놀라웠던건 완주 후에도 몸이 녹초가 되지 않았다는 거다. 신체 기능이 거의 바로 돌아왔다.
7. 몸무게가 2kg빠졌다. 나는 10km에 1kg이 빠지는거 같다.

* 결론

앞으로도 계속 천천히 달리며 리어풋 자세를 익히려고 한다.

장거리 달리기 근육을 보강하는 부분도 알아보려고 한다.

그리고 한번도 해보지 않은 42.195km를 달려보려고 한다. 이번에는 왕복 루틴이 아닌 쭉 달렸다가 대중교통으로 돌아오는 방법을 해보려 한다. 대회가 아니기 때문에 달리다 목마르면 편의점에 들려 물마시고 아이스크림 먹으며 달리려고 한다.

어차피 내게 달리기는 경쟁이 아닌 '명상'이다.

명상의 측면에서도 이번 달리기는 정말 좋았다.

* 보충

1. 위가 아닌 앞으로 이동해야한다. 위로는 최대한 적게 이동해야 무릎에 부하가 적어진다.

2. 무릎을 굽혀 뒷다리가 위가 아닌 앞으로 향하게 한다.

3. 다리만 쓰지 말고 몸통을 움직여 골반, 코어와 함께 달린다. 전신을 이용해 달리는 것이다. 엉덩이로 지면을 누르면서 뛴다고 생각하면서 뛰자.

4. 마지막 땅을 미는 순간에 무릎을 펴는 힘을 더욱 강하게 한다.

https://www.youtube.com/watch?v=hVIUKly9xGI

테무에서 산 가장 비싼 제품 중 하나. 가격이 23,000이 넘는다 - 링크

10일만에 도착. 유튜브에서 50만원짜리 갤럭시 링 리뷰를 보고 혹시 테무 버전이 없을까 찾아보니 바로 나왔다ㅋ

배터리는 대략 3~5일 유지된다고 한다. 이건 실제 테스트 해봐야 알겠다.

수면 측정, 심박수, 혈중 산소등이 측정된다. 

그런데 아래처럼 9# 작은 사이즈를 구입했음에도 내 손가락에는 좀 컸다. 그래서 검지에 착용 ㅠ 

리뷰를 보면 11#이 제일 많다. 그냥 내 손가락이 얇은 거 같다. 

평생 반지를 착용해 본적이 없어 많이 어색할 줄 알았는데 전혀 그렇지 않다. 착용감은 아주 좋다.

운동할때 빼곤 항상 착용할수 있을 거 같다.

가민 시계가 너무 무겁고 커서 운동할때를 제외하곤 착용이 불편하다. 그래서 아주 옛날.. 그러니까 삼성에서 롤러블 스마트폰이 나온다 안나온다 루머가 돌 정도로 오래된 옛날에 중국에서 이런 스마트 링을 만든다고 이미지가 돌았던 적이 있는데 당시에 굉장히 놀랐던 기억이다.

진짜 저게 나오면 세상을 바꿀 거 같다. 그런 기억이었다. 당시에는 스마트 와치는 없고 fitbit과 sunnto, 미밴드 정도가 아주 기초적인 측정기능만 가졌을 때였다. 반지를 낀 사람끼리 악수를 하면 nfc로 연락처가 교환되는 그런 아이디어도 있었다.

어쨌든, 드디어 비슷한 Ring이 세상에 나온거 같다.

기능으로만 보면 이거나 갤럭시 링이나 큰 차이가 없어 보인다. 앱을 받아 측정해보니 현재까지는 모든 측정이 잘된다.

경험용으로 구입한 건데 마음에 든다.

테무는 첫 구매때만 실패하고 그 이후부터는 계속 성공?하는거 같다.

지금은 새벽 1시가 넘은 시간. 못해도 2시간은 더 있다가 잠들텐데,

배가 고프다.

도무지 일이 손에 잡히지 않는다. 고양이 똥을 치우고 모래를 청소하고 이불을 펼치면서 계속 배가 고프다 소리를 내뱉고 있다.

하지만 이 배고픔은 거짓이다.

나는 지난 이틀간 평소보다 1kg가 더 찐 상태로 있었다. 정말 내 몸이 음식을 원한다면 그 1kg를 사용하면 될 것이다.

오늘 배고픔을 참아내지 못하면 내일은 더 힘들어질 것이다.

...

그럼에도 끝내 견디지 못하고 고구마라떼를 한봉 탔다.

나처럼 표준 체중에 근육이 많고 식욕이 약한사람도 배고픔을 견뎌내는건 힘들일이다.

그러니 일반적인 식욕의 다른 사람들은 얼마나 힘들까.

최대한 빨리 1kg만 빼자.

그러면 전처럼 마음놓고 먹어도 된다.

고무마라떼 한봉을 먹고 나니 다시 마음이 여유로워졌다.

참으로 신기하다. 

eeve 파인튜닝은 잘되고 있다. 내일 오후쯤에는 결과를 확인해볼수 있지 않을까.

오늘의 복기 24.07.22

당시 10킬로를 달려 0.8kg를 뺐었으나 술을 먹자마자 1.5kg가 쪄서 오히려 더 엉망이 되었다. 밥을 먹어도 최대 0.5kg이상 쪄본적이 없었는데 1.5kg은 정말이지 충격이었다.

전기자전거를 모터없이 허벅기엔진으로 30km를 타보았지만 역시나 별 효과가 없었다.

어제 저녁 10시, 다행이 비가 오지 않기에 다시 달리기를 했다.

러닝머신이 아닌 도로주행?은 실로 오랜만이라 살살달렸는데도 근육컨트롤이 잘 안되었다.

사무실에 도착하자마자 몸무게를 쟤보니 1.2kg 삭제. 간단히 식사를 하고 뛰었기에 포만감도 여전한 상태여서 이대로 수면에 들어갈수가 있었다.

최종, 2kg감량. 자면서 0.8kg이 더 빠졌다. 원래의 루틴으로 돌아온거다.

방금 점심을 먹었는데도 겨우 0.3kg만 늘었다. 지금 이 구간이 살이찌면 얼굴만 찌는 구간인지라 얼굴이 다시 날렵하게 돌아왔다.

이제 한동안 몸무게 걱정없이 살수있다.

* 결론

1. 술을 마시면 엄청나게 찐다. 그러니 일주일에 한번 이상은 안된다.

2. 달리기를 하면 엄청나게 뺄수있다. 다만 저번주처럼 40km 씩 뛰는 건 발바닥에 부담이 간다. 20km 내외만 뛰어도 몸무게가 유지될수 있는 생활습관을 유지하자. 남들이 보면 우습게 생각하겠지만 개인적으로 이번의 다이어트가 가장 힘들었다. 

파인튜닝 데이터를 만들던 중 아래처럼 영단어와 뜻으로 구성된 json파일이 필요했다. 대략 500개정도 있으면 충분할 거 같았다.

{
    "plain": "솔직한",
    "parallel": "평행한",
    "crack": "금이 가다",
    "Red": "빨간색",
    "deal": "거래",
    "size": "크기",
}

혹시나해서 chatgpt에게 물어보니 바로 만들어줬다. 그런데 단지 결과만 알려준게 아니라 파이썬 코드도 함께 알려줬다.

나는 코드를 요구한적도 없었는데 말이다. (아마도 이전 대화기록을 바탕으로 추론했을것이다)

더구나 나는 코드로 이런걸 만들어내는수가 있을거라 생각한적도 없었다.

코드를 보니 ntlk라는 라이브러리 안에 영어사전이 있고 이것을 가져와 구글 번역 api로 번역을 하는 것 같다.

막상 코드를 돌려보니 사람들이 거의 사용하지 않는 단어들을 무작위로 500개 가져오기에

한번 더 chatgpt의 힘을 빌려 코드를 보강했다.

기능은 아래와 같다.

1. 생성하고자 하는 영단어 수를 입력하면(아래 주석부분을 수정)
2. 상위빈도 5000개의 단어를 먼저 가져와(물론 이것도 아래 코드에서 5000을 원하는 값으로 수정하면된다)
3. 그 중 명사와 동사만 추려낸 후
4. 랜덤하게 500개만 json형식으로 파일로 저장하는 것이다.

* 이제 돌려보자

1. 먼저 설치할게 하나있다

pip install nltk googletrans==4.0.0-rc1

2. 다음 아래 코드를 그냥 붙여넣기하고 돌리면 된다.

- 처음에는 사전을 다운로드 하는데 시간이 좀 걸린다

import random, time
import nltk
from nltk.corpus import words, brown
from collections import Counter
from googletrans import Translator
import json

# NLTK 데이터 다운로드 (한번만 실행하면 됩니다)
nltk.download('words')
nltk.download('brown')
nltk.download('averaged_perceptron_tagger')

# 생성하고자 하는 영단어 개수를 입력
word_count = 500

# 모든 영어 단어 목록
word_list = words.words()

# Brown 코퍼스의 단어 목록과 빈도 계산
brown_words = brown.words()
word_freq = Counter(brown_words)

# 빈도가 높은 상위 단어 5000개 선택
common_words = {word for word, freq in word_freq.most_common(5000)}

# word_list에서 상위 빈도 단어만 선택
filtered_word_list = [word for word in word_list if word.lower() in common_words]

# 품사 태깅하여 명사와 동사만 필터링
tagged_words = nltk.pos_tag(filtered_word_list)

# 명사와 동사 품사 태그 목록
noun_tags = {'NN', 'NNS', 'NNP', 'NNPS'}
verb_tags = {'VB', 'VBD', 'VBG', 'VBN', 'VBP', 'VBZ'}

# 명사와 동사만 필터링
filtered_nouns_and_verbs = [word for word, tag in tagged_words if tag in noun_tags or tag in verb_tags]

# 그 중 랜덤하게 500개의 단어를 선택합니다.
random_words = random.sample(filtered_nouns_and_verbs, word_count)
# Google Translate API를 사용하여 번역합니다.
translator = Translator()
translated_dict = {}

def save():
    with open('translated_words.json', 'w', encoding='utf-8') as f:
        json.dump(translated_dict, f, ensure_ascii=False, indent=4)

for idx, word in enumerate(random_words):
    try:
        translated_word = translator.translate(word, src='en', dest='ko').text
        print(idx+1, word, translated_word)
        translated_dict[word] = translated_word
        time.sleep(1)
    except:
        print('중간에 오류발생. 지금까지 작업한 것들 저장함')
        save()
        
    
# JSON 파일로 저장합니다.
save()

print(f"{len(random_words)}개의 단어가 번역되고 JSON 파일로 저장되었습니다.")

위 코드를 돌리면 아래 파일과 같은 결과를 얻을 수 있다.

거의 100% chatgpt가 코딩한 결과이고 나는 편의를 위한 사소한 수정과 코드 조합만 했다.

이쪽 분야에 있으면서도 새삼 놀라운 세상임을 느낀 하루였다.

안양천을 돌다가 갑자기 궁금해져서 올라갔다.

해발고도 481m, 전기자전거 배터리가 한칸밖에 남지 않았는데 왜 이리도 가파르고 험난한건지 허벅지 근육이 터지는거 같았다. 너무 힘들어 중간에 포기하고 어디까지 왔나 스샷을 찍으며 잠깐 쉬었더니 힘이 재충전되어 다시 올라갈수 있었다. 하지만 중간중간 여러번 쉬면서 올라가야 했다. 해발 300m 쯤부터는 올라가는 사람도 내려가는 사람도 아무도 없었다. 회색구름과 짙은 그늘 그리고 나 뿐이었다.

막상 최정상까지 올라가보니 KT중계기가 길을 막고 있었다. 

이렇게 고생하며 올라갔는데 이런 결말이라니..

아래의 이미지를 영상으로 바꿔보고 싶었다.

1. svd로 여러 설정을 바꿔가며 영상을 만들어봤지만 하나같이 움직임이 없었다.

2. 단순히 확대만 하거나 왼쪽에서 오른쪽으로만 움직였다. 이미지는 그대로였다.

3. 아무래도 낯선 괴물이다보니 fragment로 쪼개지를 못하는 거 같았다. 그런데 파도도 움직이지 못하는건 좀 서운했다.

혹시나 해서 런웨이(https://app.runwayml.com/video-tools/teams/virlitinc/dashboard)로 영상을 만들어봤다. 그래서 나온게 아래 영상이다.

이 역동성이 대단하지 않은가?

영상 생성분야는 각 fragment를 인식하고 그 요소가 어떻게 움직이는지 학습이 되어 있어야 위와 같은 움직임을 만들어낼수 있다. svd에 촉수를 가진 바다괴물의 움직임이 선학습되었기를 기대하는건 무리가 있겠지만 이미 gen-2는 그것을 보여주고 있다. gen-3는 더욱 대단하지 않을까.

(여러 괴물이미지로 다른 영상들도 만들어봤는데 사실 runway도 다른 괴물들은 잘 인식하지 못했다. 아래와 비슷하게 나온다)

fragment인식의 차이는 아닌것으로 보인다. 어떤 것을 어떻게 얼마만큼 움직여야 하는지의 학습의 차이로 보인다. 확실히 이 분야는 '돈'싸움이 될 것같다. svd의 한계가 너무 명확해 보여 '매우' 아쉽다.

* 동기

forge가 뭔지도 몰랐는데  아래 영상 덕분에 알게 되었다. 말그대로 webUI의 강화버전으로 보였다.

특히 SVD를 webUI에서 사용할 수 있다는 것이 마음에 들었다. 

* 설치하기

- 나처럼 개발좀 안다고 기존 webUI에 git branch를 바꿔서 설치하지 마라. 그 동안 내가 커스터 마이징해왔던 파일들 때문에 merge가 곤란해진다. 설령 백업후 discard한다해도 requirements 라이브러리가 달라 계속 꼬인다. 그냥 새로 설치하자.

1. webUI 설치와 동일하게 하면 된다.
git clone https://github.com/lllyasviel/stable-diffusion-webui-forge.git sd-forge
cd sd-forge

실행하기 전에 기존 webUI의 모듈을 가져다 쓰기 위해 설정을 먼저 해준다
2. webui-user.bat 파일을 연후 아래와 같이 편집하자. 

@echo off
set COMMANDLINE_ARGS=
@REM Uncomment following code to reference an existing A1111 checkout.
set A1111_HOME=E:/Libraries/stable-diffusion-sdxl

@REM set VENV_DIR=%A1111_HOME%/venv
set COMMANDLINE_ARGS=%COMMANDLINE_ARGS% ^
 --ckpt-dir %A1111_HOME%/models/Stable-diffusion ^
 --hypernetwork-dir %A1111_HOME%/models/hypernetworks ^
 --embeddings-dir %A1111_HOME%/embeddings ^
 --lora-dir %A1111_HOME%/models/Lora ^
 --vae-dir %A1111_HOME%/models/VAE

call webui.bat

3. A1111_HOME= 에 webUI의 폴더위치를 넣고 - 다만 꼭 \ 를 / 로 모두 바꿔줘야한다. 그래야만 인식한다.

4.  나머지는 기존 주석을 풀어만 주면된다(@Rem을 모두 지워주면 주석이 풀린다)
5. 실행시 추가하고픈 사항이 있다면 상단의 COMMANDLINE_ARGS=에 넣어주면된다.

- venv는 계속 주석을 유지한다. 주석을 풀어보니 webUI에서 사용하는 라이브러리들과 forge에서 사용하는 라이브러리가 달라 에러가 발생하기 때문이다. 그냥 forge용 라이브러리를 추가로 설치하자.
- 위 유튜브와 설명이 다를꺼다. webui-user.bat 설정하는 부분은 내 방식을 따르는게 편하고 빠르다.

6. 루트폴더 있는 style.csv 파일을 복사해서 같은 위치에 넣어주자. 이 파일안에는 내가 설정해 놓은 프롬프트들이 설정들이 모두 들어가 있다.

7. 이제 webui-user.bat를 실행해보자.

잘된다. svd와 z123탭이 추가된 것을 확인할수 있다. 이외 설치사항은 위 유튜브를 참고하자.

출력도 좋다

* 동기

이미지를 움직여보고 싶었다. 최근 유튜브 준비를 하고 있는데 내가 뭐 멋진 영상을 찍고 끝내주는 편집을 하고 그러지 못하기에 sd로 뽑은 멋진 이미지들을 움직여 조금이라도 영상에 적합한 소스를 만들어보고 싶었다.

Runway가 가장 유명해서 사용해봤는데 확실히 쉽고 빨랐다. (아래 영상)

- 하지만 무료버전은 이미지 해상도가 뭉개지고 오른쪽 하단에 워터마크가 크게 나온다. 저 3개의 원은 계속 움직이며 시선을 끈다.

- 유료버전의 credit도 어떤 방식으로 소비되는지 복잡하게 되어있다. 월 12달러에 625크레딧을 주는데 이게 무슨 의미인지 이걸로 몇개의 영상을 만들 수 있는지 감이 오지 않았다.

- 뭔가 새로운 움직임에 대한 기대감이 적었다. 움직이고자 하는 objects를 선택할수 있는건 좋았지만 그게 체감되진 않았다.

- comfyUI를 새로 익혀야 한다는 부담감이 있었지만 그럼에도 역시, 직접 만드는게 좋아보였다.

* 설치

1. 먼저 comfyUI를 설치해야한다. stable diffusion webui와 똑같지만 ui가 다르다. 언리얼처럼 노드를 연결해 사용하는 툴이다.

• https://github.com/comfyanonymous/ComfyUI?tab=readme-ov-file#installing
• 압축파일을 다운로드 받아서 압축을 풀면 된다. 추가 설치가 없었다. 아주 빠르게 실행된다.

2. 기존 스테이블디퓨전의 모델들을 함께 사용하기 위해서는 설정이 필요하다. 폴더 안으로 들어가서 extra_model_paths.yaml.example 파일을 연다. 

• 먼저 파일명 끝에 .example을 제거한다.

a111:

    base_path: E:\Libraries\stable-diff-sdxl

    checkpoints: checkpoints: models/svd

    controlnet: extensions\sd-webui-controlnet\models

• base_path에 기존 stable diffusion 폴더로 넣는다. 이렇게 하면 기존의 stable diffusion의 모든 모델과 vae, lora등을 함께 쓸 수 있다.
• controlnet의 경우 경로가 잘못되어 있다. 위와같이 바꿔주자
• run_nvidia_gpu.bat 를 실행시시면 8188포트로 창이 열린다.

3. 매니저도 꼭 설치해야한단다. 설치하면 아래 스샷처럼 manager버튼이 나타난다.

• ComfyUI\custom_nodes 안으로 이동한다.

E:\Libraries\ComfyUI_windows_portable\ComfyUI\custom_nodes 

• git clone https://github.com/ltdrdata/ComfyUI-Manager.git
• 설치후 ComfyUI를 재시작한다. 아래와 같이 Manager탭이 추가된다.

4. 허깅스페이스에서 모델들을 다운받는다. 일반 모델 2개와 xt 모델 2개를 받는다. 나처럼 xt만 쓸사람은 xt만 2개 받아도 된다.

• https://huggingface.co/stabilityai/stable-video-diffusion-img2vid/tree/main
• https://huggingface.co/stabilityai/stable-video-diffusion-img2vid-xt/tree/main

• 이걸 sd의 체크포인트를 넣는곳에 E:\Libraries\stable-diff-sdxl\models\svd 붙여넣는다. 

5. 워크플로우 가져오기

• https://comfyanonymous.github.io/ComfyUI_examples/video/
• 위 사이트로 들어가서 아래 이미지를 드래그하여 화면위에 드랍하면 워크플로우가 가져와진다. 이건 좀 신기하다.

• 저기서 맨 끝의 SaveAnimateWEBP는 지운다. 그리고 다음 6번을 따라가자

6. Manager버튼을 클릭한후

• 맨위의 Custom Nodes Manager 버튼을 클릭

• 그리고 vhs를 검색하여 나온 ComfyUI-VideoHelperSuite를 install 한다

• 또 ComfyUI Frame Interpolation 를 검색해서 설치한다

• 다시 재시작
• 바탕 더블클릭하여 vfi를 검색한 후 RIFE를 추가 - 이건 프레임마다 중간 보간을 해주는 역할을 한다

• 다시 vhs 검색한 후 추가해준다

7. 이제 모두 연결해준다

* 실행

• 사이즈는 16:9가 기본이라고 한다. 하지만 업로드 이미지 크기를 맞춰주는게 좋았다.
• svd_xt는 frame을 25로 할수 있다. 기본은 10이다
• 변화량을 결정하는 건 motion_bucket_id와 augmentation_level 이라고 한다.
• 해보니 augmentation은 바꾸지 않는게 나은거 같다. 올리면 노이즈가 많이 생긴다. 약간만 올려도 변화가 크다. 0.05가 좋았다. 0.1만 돼도 노이즈가 커진다.
• motion_bucket_id는 전체적인 이미지 변화량이다. 1로 하면 카메라도 거의 변하지 않는다. 127이 기본값이다. 200까지는 해볼만한거 같다.
• fps는 30으로 맞춰줬다. 
• step 30 정도로 품질을 올려준다. cfg는 2.5가 기본이다. 낮추면 매우 이상한 이미지들이 나온다. 

• sampler는 이미지에 맞춰 선택하는게 좋다. euler로 만든 이미지라면 euler을 선택하는게 가장 자연스럽다. 선명하게 뽑고 싶다면 dpmpp_3m_sde_gpu가 가장 좋고 그나마 변화가 있다. 2m은 이미지 변화 없이 안정적으로 카메라 연출만 들어가는 거 같다. 
• scheduler는 normal일 경우 필터 효가가 거의 없이 이미지 그대로 들어가고 ddm_uniform으로 할경우 파란색 필터가 들어간다. 이 정도 변화가 좋아서 현재는 ddm_uniform을 쓰고 있다.

• Video Combine 탭에서 이미지를 출력한다.
• frame_rate는 영상의 길이를 결정한다. 6으로 하면 5~7초 정도가 출력되고 이걸 30으로 하면 1초만 출력된다. 
• 여기서 출력 포맷도 gif등으로 바꿔 출력할수있다.

* 결론

위 이미지를 돌려서 아래의 영상을 만들었다.

• 크기를 키우면 속도가 느려지긴 하지만 충분히 빠르다. 4090에서 5초 영상 만드는데 2분 10초가 걸렸다. 보통은 2분이내 이고 512x512처럼 작은 사이즈는 15초정도 걸린다. 매우 마음에 든다.
• 카메라 컨트롤을 해보려고 하는데 아직 방법을 못찾고 있다. - 여기저기 알아보며 며칠간 더 만져봤는데 컨트롤이 불가능한거 같다.
• 어쩔때는 전혀 생각지 못한 사진 너머의 모습을 보여준다. 여행을 떠나는 기분이었다.
• 아주 만족스럽다.

* 서비스를 사용할지 결정하기

1. '말하는 AI 아바타'를 내 PC에서 직접 만드는 방법은 현재(24.07.01)까지 stable diffusion webui에서 sadtalker를 이용하는 것 외에 찾아내지 못했다.

2. sadtalker(https://github.com/OpenTalker/SadTalker)는 마지막 업데이트가 9개월 전이고 이제 더이상 업데이트를 기대할수 없는 dead 상태이다. 상업화된 서비스는 많은데 오픈된 서비스가 없다는 건 그만큼 시장성이 없다는 뜻일지 모르겠다.

3. 그럼에도 sadtalker의 품질은 괜찮아 보인다. coqui tts와 함께 쓰면 나쁘지 않을 거 같다.

* 설치 상황

1. 윈도우 버전을 설치한다.

2. stable diffusion webui 1.7이하 버전에서만 정상적으로 돌아간다. 현재 최신버전인 1.94에서는 설치에러가 난다.

3. https://github.com/OpenTalker/SadTalker/issues/822#issuecomment-2053857698 에 여러 방법들이 나와있는데 모두 해보았지만 not working이었다.

4. 그렇다고 최신버전을 1.7로 낮추면 안된다. 1.8부터 바뀐사항이 많아 기본 이미지 생성부터 에러가 난다.

5. 최종 결정. sadtalker만을 위한 새로운 1.7버전을 만든다. 즉 최신버전 sd와 1.7버전 sd로 이원화 한다.

- sadtalker는 생각보다 가볍고 다른 체크포인트나 로라같은 걸 공통 사용하지 않기 때문에 부담이 없다. 1.8이상부터 이전 버전과 호환되지 않는 것들이 꽤 많은데 이런것들은 모두 여기서 돌린다.

* 설치하기

1. stable diffusion webui 새로 설치하기

git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git

2. sd 폴더 안에 들어간 후 아래의 git명령으로 1.7버전으로 돌린다.

git reset --hard cf2772f 

3. webui-user.bat 로 설치를 시작한다.

4. 설치 후 sd를 실행하고 

Extentions 탭 > Available > Load from클릭 > sad로 검색해서 설치
https://github.com/OpenTalker/SadTalker.git 

5.ffmpeg 설치 후 환경변수 설정
아래 링크에서 윈도우용 다운로드 받고 
https://www.ffmpeg.org/download.html#build-windows

파일이 압축되어 있다. 압축을 푼 후 bin폴더 안에 아래 3개 파일 모두를 path설정을 원하는 곳에 이동시킨후

아래처럼 설정해준다. 나는 c:\Program files안에 새로 폴더를 만들어 붙여넣었다.

이렇게 어디서든 저 3파일을 실행시킬 수 있게 path설정을 해줘야한다. 안하면 에러난다.

6. 체크포인트 다운로드
https://github.com/OpenTalker/SadTalker/releases/tag/v0.0.2-rc

안에 들어가서 하단의 4개 파일을 다운로드 받는다.

이 4개의 파일 모두, stable diffusion폴더 > extensions > checkpoints(폴더 새로 생성) 후 이 아래에 붙여넣는다.

7. 실행

- webui-user.bat를 더블클릭해서 실행. 사용법이 간단해서 좋다.

- 아래 순서대로 하면된다.

- 생성 버튼 위에 있는 GFPGAN as Face enhancer는 보간법을 이용해 얼굴의 품질을 올려주는 옵션인데 시간이 너무 많이 걸려 - 체크 하지 않을때와 비교해 10배가 넘게 걸리는 거 같다 - 테스트를 많이 못했다. 좋은 품질이 더욱 중요하다면 체크하는 것도 좋을것이다.

8. 결론

- 여러 테스트를 해봤는데 사람얼굴은 인식을 잘하지만 조금만 사람같지 않아도? 인식을 못하고 에러가 난다. 이게 좀 아쉽다.

- 생성시간이 매우 짧다. 4090에서는 한클립에 5,6초 걸리는거 같다. 이 정도면 실제로 사용가능한 수준이다.

- 음성쪽은 llm에 비해 오픈소스 기반이 많이 약하다. 나부터도 이쪽은 잘 모른다. 하지만 실제의 쓰임은 글자보다 오히려 음성이 더 클것이다. 좀 더 팔로우할 생각이다.

xtts-webui는 자연스러운 음성생성 xtts를 사용하기 쉽게 만든 라이브러리다.

https://github.com/daswer123/xtts-webui.git

*  윈도우에 설치 하기

- 깃헙에 설명된대로 아주 간단하게 설치된다. 개발자가 배치파일을 잘 만들었다.

1. git clone https://github.com/daswer123/xtts-webui.git xtts
2. cd xtts
3. 'install.bat' 실행
- 한참을 설치한다.
4. 'start_xtts_webui.bat' 실행
마찬가지로 한참을 설치한다.
5. 부드럽게 실행된다. 웹페이지가 뜬다.

사용법은 다음 포스팅에 정리한다.