Wookang makes AI

오랜만에 stable diffusion webui에 접속했더니, 아예 돌아가지가 않았다.

체크포인트를 추가하고 프롬프트를 넣고 생성버튼을 클릭해도 이미지 자체가 생성되지 않았다.

* xformers에서 지원하는 토치 버전 문제

xformer는 이미지 생성 가속화 라이브러리다. 업데이트 되면서 torch 2.1.2버전을 요구했다. 하지만 내 torch버전은 2.0.1이었다. 업그레이드 방법은 간단하다.

1. webui-user.bat 파일을 연다. 

set COMMANDLINE_ARGS=--reinstall-xformers --medvram --xformers --reinstall-torch

2. 위처럼 --reinstall-torch 인자를 추가한후 저장하고 다시 webui-user.bat을 다시 시작한다.

3. 그러면 알아서 버전을 torch버전을 업그레이드한다.

4. 설치가 완료되면 위  --reinstall-torch 는 제거하고 원래대로 인자들을 되돌린다.

5. 해결

이제 이미지는 생성이 되는데 controlnet 이 말썽이었다. 

Error running process:  E:\Libraries\stable-diff-sdxl\models\Stable-diffusion\extensions\sd-webui-controlnet\scripts\controlnet.py

Traceback (most recent call last):

* controlnet 을 다시 설치하면 된다

https://www.reddit.com/r/StableDiffusion/comments/11dba9p/controlnet_error_after_update/

레딧에 나온 방법대로 하니 해결이 된다.

1. 먼저 extensions\sd-webui-controlnet\models 안에 있는 기존 모델 파일들을 다른 곳으로 이동시켜놓는다.

2. 다음 extensions\sd-webui-controlnet\ 를 삭제한다.

3. 다음 Extensions > Installed에 들어가 controlnet 의 체크를 풀고 Apply and restart UI를 클릭한다.

4. cmd 창을 닫고 다시 시작한다. (꼭 해야하나 싶긴한데 나는 했다)

5. Install from URL탭으로 이동해 다시 controlnet을 추가한다. 

https://github.com/Mikubill/sd-webui-controlnet

6. restart UI하니 에러없이 컨트롤 넷이 잘 돌아간다. 

7. 확장탭에 들어온 김에 Check for updates 후 다시 restart UI를 해서 모든 모듈들을 최신으로 업데이트 했다.

8. 해결

그럼에도 오류들이 쏟아졌다. 하나씩 해결해본다.

* Error loading script: m2m_ui.py 오류

- https://github.com/Scholar01/sd-webui-mov2mov/issues/146

1. 위 깃헙 이슈를 통해 해결했다. 먼저 modules/ui.py 파일을 연다. 

2. 아래 함수를 추가하고 저장한다.

def create_sampler_and_steps_selection(choices, tabname):
    return scripts.scripts_txt2img.script('Sampler').steps, scripts.scripts_txt2img.script('Sampler').sampler_name

3. 다시 실행하면 해당 에러 메시지가 사라진다. 업데이트 중 함수 누락이 있었나보다.

4. 해결

하지만 그럼에도 에러가 아직 남아있다.

* activating extra network lora: TypeError 오류

- https://github.com/AUTOMATIC1111/stable-diffusion-webui/issues/13561

1. 위 깃헙 이슈에서 해결했다.

2. 세상에, 가장 별거 아닌 오류였다.

3. 아래처럼 Add network to prompt를 none으로 하고 재시작하니 사라졌다.

* No module named 'basicsr' 오류

*** Error loading script: main.py
    Traceback (most recent call last):
      File "E:\AI\stable-diffusion-webui-master\modules\scripts.py", line 527, in load_scripts
        script_module = script_loading.load_module(scriptfile.path)
      File "E:\AI\stable-diffusion-webui-master\modules\script_loading.py", line 10, in load_module
        module_spec.loader.exec_module(module)
      File "<frozen importlib._bootstrap_external>", line 883, in exec_module
      File "<frozen importlib._bootstrap>", line 241, in _call_with_frames_removed
      File "E:\AI\stable-diffusion-webui-master\extensions\openpose-editor\scripts\main.py", line 14, in <module>
        from basicsr.utils.download_util import load_file_from_url
    ModuleNotFoundError: No module named 'basicsr'

- open pose를 아무리 다시 깔아도 해결이 안되었다
- https://github.com/AUTOMATIC1111/stable-diffusion-webui/issues/15094 이 이슈에서 해결했다.

1. 먼저 sd 기본 루트 폴더에서 아래 순서대로 하나씩 터미널에 실행하면 된다.

- 파이썬 가상로컬환경으로 가서 basicsr를 설치하고 다시 로컬환경을 나오는 스크립트다.

venv\scripts\activate.bat
pip install basicsr
venv\scripts\deactivate.bat

* 모두 해결

에러 메시지 없이 아름답게 로딩된다. 

sd3가 나락으로 가고 stable diffusion 생태계가 오픈소스에 집중하며 자체 성장하다보니 정신없는 방향으로 발전하는거 같다. text generation webui도 그렇고 이쪽은 한달만 지나도 돌리면 에러가 '탄생'한다.

그래서 너무 좋다. 에러가 난다는건 무언가 하고 있다는 뜻이니 말이다.

도다리 고급 번역이 어느정도 안정됨에 따라 코드 공개를 결정했습니다.

1. vram이 23이상일때 야놀자 모델사용 가능
2. 운영체제가 리눅스일 경우 vllm(AI 가속 모듈) 사용 가능
3. 번역 프롬프트 커스터마이징
4. 필터 문구 커스터마이징

현재 코드는 개발자인 저에게만 맞춰져 있어 빈틈이 많습니다.

모두가 쓸수 있게 바꾸는데에는 시간이 좀 걸릴 것 같습니다.

소스코드 전면 공개 후 다시 공지하겠습니다!

현재(24.07.19) eeve(고급번역)모델을 파인튜닝하고 있습니다.

여러방식으로 전처리, 후처리, 프롬프트 엔지니어링을 테스트 해보았지만

번역 출력시 발생하는 환각현상을 제거하기 어려웠기 때문입니다.

오늘 3차 파인튜닝 결과물을 이용해 테스트를 하고 있는데 지금까지는 결과가 희망적으로 보입니다. => 다시 비관적으로 보입니다

gguf모델도 함께 만들고 있습니다. 이 경우 cpu를 이용해 구동시킬수도 있습니다.

보다 많은 분들이 도다리 고급모델을 사용해 보실수 있게 최대한 빨리 작업하겠습니다.

오늘(24.07.21) 테스트에서 만족할만한 결과가 나왔습니다.

그래서 지금 기분이 좋습니다ㅋ 여러가지 테스트를 조금 더 진행한 후 완성된 eeve-dodari모델과 gguf버전의 허깅스페이스 주소를 공유하겠습니다!

지금이 24.07.21 일요일 새벽 3시 30분.

파인튜닝이 성공적으로 된것 같습니다. 

심지어 후처리를 하지 않아도 됩니다. - 그동안 ai의 환각현상 때문에 엄청난 후처리를 해야만 했고 그렇게 했어도 여전히 많은 환각문구들을 해결하지 못하고 있었습니다 - 마치 transformer의 pipeline에서 translation을 사용한 것과 같은 처리가 됩니다.

이렇게 간단한 데이터셋으로 이리도 깔끔하게 해결될줄은 몰랐네요. 

* 허깅스페이스 eeve-dodari 모델 링크

https://huggingface.co/blueflag/eeve-yanolja-dodari

* eeve-dodari-gguf 모델 링크 (8bit양자화)

https://huggingface.co/blueflag/eeve-yanolja-dodari_gguf

* basic template

prompt = f'''
Translate Human sentences into {언어설정. Korean or English} in short. Do not add anything else.\nHuman: {번역할 문구}\nAssistant:\n
'''

* 직접 모델 로딩하여 사용하실 분들에게

위 모델을 다운로드 받으신 후 prompt를 위와 같은 형식으로 번역요청하시면 아주 깔끔한 결과를 보실수 있을 겁니다.

이번 파인튜닝 작업에 밀려 도다리 고급모델 코드 공개가 더욱 늦어졌네요. 하지만 이번 파인튜닝 성과가 좋은 만큼 코드들을 더욱 다듬어 공개하도록 하겠습니다.

* 네이버 스마트 스토어를 통해 도다리를 이용하실수 있습니다.

1. 도다리 텍스트 txt 고급 번역하러 가기
2. 도다리 전자책 epub 고급 번역하러 가기
3. 도라리 70분 자유번역하러 가기

* 동기

1. 기술관련 영상은 자동생성 자막이라도 어찌어찌 해볼만하지만 다큐멘터리나 인터뷰 영상의 경우 도저히 화면을 따라갈수 없었다.

2. 높은 수준이 아니어도 좋으니 내용을 어느 정도는 따라가게 해줄 번역이 필요했다.

* 기능

1. 이에 도다리 에 자막번역(srt파일) 기능을 추가했다.

2. smi 번역도 추가할까해서 알아보니 이건 한국에서만 사용하는 파일형식이라 한다. 그래서 빼버렸다.

3. 사용법은 다른 번역과 완전히 동일하다. srt파일을 드래그 하여 첨부한 후 번역버튼을 누르면 된다.

* 유튜브 영상에 대하여

1. 사실 유튜브 주소만 넣으면 영상과 자막을 자동으로 받고 번역까지 하는걸 이미 개발했다.

2. 그런데 비슷한 기능을 가진 라이브러리 whisper-webui 가 이미 있다.

3. 다른 점이라면 whisper-webui가 ai를 이용해 직접 음성을 듣고 자막파일을 생성한 후 그걸 번역하는 거고

4. 내가 만든건 유튜브에서 자동생성했거나 혹은 이미 제공된 자막 파일을 다운로드 한후 그걸 번역한다는 차이다.

5. 그래서 이건 나만 쓰기로 했다.

* 번역 품질

1. 일반 텍스트 번역에 비해 확실히 떨어진다.

2. 자동생성으로 만들어진 원본 자막의 품질이 좋지 않고

3. 전체 문장이 아닌 문장의 일부분만 번역을 하기 때문이다.

4. 문맥에 맞춘 번역을 위해 텍스트만 쭉 뽑아봤는데 이게 문장 구분이 되지 않아 전체 자막이 하나의 문장으로 인식되어 버렸다. 그래서 번역을 시도조차 할수 없었다. 유튜브 번역이 왜 그렇게 후졌는지 이해되는 순간이었다.

* 알림

도다리 고급번역 스토어를 오픈했다.

전자책 번역,  텍스트 번역,  70분 서버 이용

결론부터 말하자면, coqui tts - xtts는 지난 2024년 1월 3일부로 shutdown 되었다.
https://twitter.com/_josh_meyer_/status/1742522906041635166

* 동기

내가 원하는 목소리로 무제한 생성가능한 무료 tts가 필요하다.

* 과정

1. 여러 테스트 결과, openVoice v2와 coqui-tts(xtts) v2가 가장 훌륭했다.

2. 이 과정에서 일래븐랩스 https://elevenlabs.io/ 의 놀라운 발전 속도에 오픈소스들이 더 이상 따라가지 못함을 알게 되었다.

3. 실제로 돌려보니 그 수준차이가 컸다. 이제 일래븐랩스의 경쟁상대는 오픈소스 진형이 아니라 openAI로 보인다. 심지어 xtts는 이미 1월초에 문을 닫았다.

4. chatGPT 4o와 일래븐랩스의 품질을 보면 이제 오픈소스 진형에 그간의 노력들은 물거품이 될거 같은 느낌이 든다. stable diffusion의 깃헙만 보아도 마지막 commit이 2년전이다. 이제 생태계는 stable diffusion이 아니라 stable diffusion webUI를 중심으로 돌아간다. 하지만 stable diffusion 3는 3달전에 이미 나왔다. 공개가 되지 않았을 뿐이다.

5. 이제 남은건 meta 뿐으로 보인다. (제발 grok이 힘을 내주길)

6. 그럼에도 '무제한'과 '무료'라는 장점은 '사용의 불편함'과 '품질의 떨어짐'이라는 강력한 단점에도 어느 부분 대항가능한 대결인자로 보였다.

* xtts 사용후 느낀 점

장점 - 꽤 자연스러운 tts가 가능하다.

단점 - ko모델의 경우 영어를 전혀 읽지 못한다. g2pk2 모듈을 이용해도 많이 부족하다. 영어부분에서 발음이 완전 뭉개지며 기계음이 나온다. 이것이 너무나 치명적이다. en모델은 오직 영어만 읽을 수 있고 ko모델은 오직 한국어만 읽을 수 있다.

* 최종 결론

다시 open voice v2로 돌아왔다. 자연스럽지는 못해도 안정적으로 긴 글을 읽어준다. 영어와 한글이 섞여 있어도 문제없다. xtts와 달리 계속 업데이트 될 것 같다. 설치 환경 조성이 어렵지만 실행만 된다면 속도가 빠르다. 그래서, open voice v2를 기반으로 음성의 품질을 높이는 (rvc로 후처리하는 등의) 방향을 고민해보려한다.

어떻게든  - 며칠간 연구한 것이 아깝기도하고 - openVoice V2로 좋은 품질의 tts를 뽑아보려 했지만 결국 버렸다. 잘 안되었다.

그러다 만난것이 xtts다. 기본 xtts만으로도 openVoice v2보다 훨씬 좋지만 finetuning을 해보니 더욱 더 비슷해졌다.

발음이 조금 뭉개지긴 하는데 이건 어떻게 맞춰볼수 있을 것 같다.

깃헙주소는

https://github.com/daswer123/xtts-webui

지금은 너무 졸리고 다음 포스트에 설치 및 파인튜닝하는 것을 정리하겠다.

https://github.com/myshell-ai/OpenVoice

OpenVoice에 관심을 가지게 된 이유는, 하나다.

"목소리 복제를 하고 싶다. 내가 좋아하는 목소리로 한글 텍스트를 무제한으로 읽어줬으면 좋겠다"

기존 tts는 길이제한이 있고 사용하기도 복잡했기에 이것을 도다리처럼 아주 간단하게

1. 대용량 텍스트 파일 첨부

2. 목소리 생성 버튼 클릭

3. wav파일 생성

해주는 앱을 만들고 싶었다. 현재까지 r&d 결과로는 부정적이지만, 이 부정적 결론까지 도달한 과정을 기록으로 남기려한다.

일단, V1은 다국어 지원이 안된다.

영어와 중국어만 된다. 만약 한국어 를 읽게 하면 아래와 같이 읽어준다. 네이티브 미국인이 한국어 말하는거 같다.

* 깃헙에서 설치하기

git clone https://github.com/myshell-ai/OpenVoice.git open_voice
cd open_voice

* 환경만들기 - 파이썬 버전이 꼬여서 conda를 이용했다.

conda create -n ov python=3.9
conda activate ov
pip install -r requirements.txt

* conda환경에서 ffmpeg가 없다고 뜬다면 아래처럼 꼭 ffmpeg를 설치해줘야 한다.

conda install ffmpeg

* cpu로 돌리기 - cuda를 사용한다면 pass!

- 현재 open voice에서는 cpu를 사용할수가 없다. 코드가 누락되어있고 이 부분을 수정해주고 있지 않아서 직접 수정해줘야 한다.

먼저 se_extractor.py 파일로 간후 22번째 줄의 아래 코드를

device = "cuda" if torch.cuda.is_available() else "cpu"
model = WhisperModel(model_size, device=device, compute_type="float16")

아래와 같이 바꿔준다. 

device, compute_type = ("cuda","float16") if torch.cuda.is_available() else ("cpu", "int8")
model = WhisperModel(model_size, device=device, compute_type=compute_type)

* 다 됐다. 이제 돌려보자. 한국어를 읽어보게 했다. 영어를 사용하고 싶다면 아래 주석을 풀면된다.

import os
import torch
from openvoice import se_extractor
from openvoice.api import BaseSpeakerTTS, ToneColorConverter

ckpt_base = 'checkpoints/base_speakers/EN'
ckpt_converter = 'checkpoints/converter'
device="cuda:0" if torch.cuda.is_available() else "cpu"
output_dir = 'outputs'

base_speaker_tts = BaseSpeakerTTS(f'{ckpt_base}/config.json', device=device)
base_speaker_tts.load_ckpt(f'{ckpt_base}/checkpoint.pth')

tone_color_converter = ToneColorConverter(f'{ckpt_converter}/config.json', device=device)
tone_color_converter.load_ckpt(f'{ckpt_converter}/checkpoint.pth')

os.makedirs(output_dir, exist_ok=True)

source_se = torch.load(f'{ckpt_base}/en_default_se.pth').to(device)


# reference_speaker = 'resources/example_reference.mp3' # This is the voice you want to clone
reference_speaker = 'resources/lympe.mp3' # This is the voice you want to clone

target_se, audio_name = se_extractor.get_se(reference_speaker, tone_color_converter, target_dir='processed', vad=True)

# inference
save_path = f'{output_dir}/output_en_default.wav'

# Run the base speaker tts
# text = "This audio is generated by OpenVoice."
text = "안녕하세요! 오늘은 날씨가 정말 좋네요."

src_path = f'{output_dir}/tmp.wav'
base_speaker_tts.tts(text, src_path, speaker='default', language='English', speed=1.0)

# Run the tone color converter
encode_message = "@MyShell"
tone_color_converter.convert(
    audio_src_path=src_path, 
    src_se=source_se, 
    tgt_se=target_se, 
    output_path=save_path,
    message=encode_message)
    
source_se = torch.load(f'{ckpt_base}/en_style_se.pth').to(device)
save_path = f'{output_dir}/output_whispering.wav'

# Run the base speaker tts
# text = "This audio is generated by OpenVoice."
text = "안녕하세요! 오늘은 날씨가 정말 좋네요."

src_path = f'{output_dir}/tmp.wav'
base_speaker_tts.tts(text, src_path, speaker='whispering', language='English', speed=0.9)

# Run the tone color converter
encode_message = "@MyShell"
tone_color_converter.convert(
    audio_src_path=src_path, 
    src_se=source_se, 
    tgt_se=target_se, 
    output_path=save_path,
    message=encode_message)


ckpt_base = 'checkpoints/base_speakers/ZH'
base_speaker_tts = BaseSpeakerTTS(f'{ckpt_base}/config.json', device=device)
base_speaker_tts.load_ckpt(f'{ckpt_base}/checkpoint.pth')

source_se = torch.load(f'{ckpt_base}/zh_default_se.pth').to(device)
save_path = f'{output_dir}/output_chinese.wav'

# Run the base speaker tts
# text = "今天天气真好，我们一起出去吃饭吧。"
text = "안녕하세요! 오늘은 날씨가 정말 좋네요."

src_path = f'{output_dir}/tmp.wav'
base_speaker_tts.tts(text, src_path, speaker='default', language='Chinese', speed=1.0)

# Run the tone color converter
encode_message = "@MyShell"
tone_color_converter.convert(
    audio_src_path=src_path, 
    src_se=source_se, 
    tgt_se=target_se, 
    output_path=save_path,
    message=encode_message)

* 결론

V1은 윈도우나 맥, 모두에서 잘 돌아갔다. 영어 성능은 v1도 충분히 좋았다.
다음 포스트에서 정리할 V2는 한국어의 경우 cuda 환경에서만 가능하고 - 영어나 중국어는 여전히 cpu에서 돌아간다 - 여기에 목소리 트레이닝도 가능하다. 물론 성능은 그다지 만족스럽지 않지만 여러 테스트를 해보니 어떤 목소리는 꽤나 잘 복제해냈다.

자세한 사항은 V2에 남기겠다.

주문이 엄청나게 몰렸을 때를 대비한 serving 자동화 시스템을 만들다가 갑자기,

아직 도다리를 한번도 팔지 못했다는 걸 깨달았다. 미친놈, 정신이 나갔다.

중간에 현타가 와서 다시 접었다.

계속 새로운 걸 개발하고픈 욕망에 사로잡힌다. 하지만 안된다. 이번에는 허락하지 않는다. 도다리도 못판다면 또 다른 걸 만들어봤자 뭐 얼마나 상품성이 있을 것이며 얼마나 잘 팔것인가. 이번에는 기필코 팔아야한다. 그게 기업가고 이제 진짜 시작해야한다.

언제까지 개발자 모드로 있으면 안된다. 사업가가 되어야 한다. 아니 장사꾼이 되어야한다.

개발에 이슈가 생기면 바로바로 처리하지만
사업에 이슈가 생기면 일단 미루고 to do list만 늘려가고 있다. 실행에 옮기지 않는다.
이걸 어떻게 사업가라 할수있는가
사업가가 되기 위해 개발을 익혔는데 사업은 하지 않고 자꾸 개발 뒤로 숨고만 있다.
한심하다

https://github.com/vEduardovich/dodari

* 번역 결과

이제 영어로 쓰인 수많은 epub도서들을 한글로 읽을 수 있습니다.