Wookang makes AI

xtts-webui는 자연스러운 음성생성 xtts를 사용하기 쉽게 만든 라이브러리다.

https://github.com/daswer123/xtts-webui.git

*  윈도우에 설치 하기

- 깃헙에 설명된대로 아주 간단하게 설치된다. 개발자가 배치파일을 잘 만들었다.

1. git clone https://github.com/daswer123/xtts-webui.git xtts
2. cd xtts
3. 'install.bat' 실행
- 한참을 설치한다.
4. 'start_xtts_webui.bat' 실행
마찬가지로 한참을 설치한다.
5. 부드럽게 실행된다. 웹페이지가 뜬다.

사용법은 다음 포스팅에 정리한다.

결론부터 말하자면, coqui tts - xtts는 지난 2024년 1월 3일부로 shutdown 되었다.
https://twitter.com/_josh_meyer_/status/1742522906041635166

* 동기

내가 원하는 목소리로 무제한 생성가능한 무료 tts가 필요하다.

* 과정

1. 여러 테스트 결과, openVoice v2와 coqui-tts(xtts) v2가 가장 훌륭했다.

2. 이 과정에서 일래븐랩스 https://elevenlabs.io/ 의 놀라운 발전 속도에 오픈소스들이 더 이상 따라가지 못함을 알게 되었다.

3. 실제로 돌려보니 그 수준차이가 컸다. 이제 일래븐랩스의 경쟁상대는 오픈소스 진형이 아니라 openAI로 보인다. 심지어 xtts는 이미 1월초에 문을 닫았다.

4. chatGPT 4o와 일래븐랩스의 품질을 보면 이제 오픈소스 진형에 그간의 노력들은 물거품이 될거 같은 느낌이 든다. stable diffusion의 깃헙만 보아도 마지막 commit이 2년전이다. 이제 생태계는 stable diffusion이 아니라 stable diffusion webUI를 중심으로 돌아간다. 하지만 stable diffusion 3는 3달전에 이미 나왔다. 공개가 되지 않았을 뿐이다.

5. 이제 남은건 meta 뿐으로 보인다. (제발 grok이 힘을 내주길)

6. 그럼에도 '무제한'과 '무료'라는 장점은 '사용의 불편함'과 '품질의 떨어짐'이라는 강력한 단점에도 어느 부분 대항가능한 대결인자로 보였다.

* xtts 사용후 느낀 점

장점 - 꽤 자연스러운 tts가 가능하다.

단점 - ko모델의 경우 영어를 전혀 읽지 못한다. g2pk2 모듈을 이용해도 많이 부족하다. 영어부분에서 발음이 완전 뭉개지며 기계음이 나온다. 이것이 너무나 치명적이다. en모델은 오직 영어만 읽을 수 있고 ko모델은 오직 한국어만 읽을 수 있다.

* 최종 결론

다시 open voice v2로 돌아왔다. 자연스럽지는 못해도 안정적으로 긴 글을 읽어준다. 영어와 한글이 섞여 있어도 문제없다. xtts와 달리 계속 업데이트 될 것 같다. 설치 환경 조성이 어렵지만 실행만 된다면 속도가 빠르다. 그래서, open voice v2를 기반으로 음성의 품질을 높이는 (rvc로 후처리하는 등의) 방향을 고민해보려한다.

어떻게든  - 며칠간 연구한 것이 아깝기도하고 - openVoice V2로 좋은 품질의 tts를 뽑아보려 했지만 결국 버렸다. 잘 안되었다.

그러다 만난것이 xtts다. 기본 xtts만으로도 openVoice v2보다 훨씬 좋지만 finetuning을 해보니 더욱 더 비슷해졌다.

발음이 조금 뭉개지긴 하는데 이건 어떻게 맞춰볼수 있을 것 같다.

깃헙주소는

https://github.com/daswer123/xtts-webui

지금은 너무 졸리고 다음 포스트에 설치 및 파인튜닝하는 것을 정리하겠다.

https://github.com/myshell-ai/OpenVoice

OpenVoice에 관심을 가지게 된 이유는, 하나다.

"목소리 복제를 하고 싶다. 내가 좋아하는 목소리로 한글 텍스트를 무제한으로 읽어줬으면 좋겠다"

기존 tts는 길이제한이 있고 사용하기도 복잡했기에 이것을 도다리처럼 아주 간단하게

1. 대용량 텍스트 파일 첨부

2. 목소리 생성 버튼 클릭

3. wav파일 생성

해주는 앱을 만들고 싶었다. 현재까지 r&d 결과로는 부정적이지만, 이 부정적 결론까지 도달한 과정을 기록으로 남기려한다.

일단, V1은 다국어 지원이 안된다.

영어와 중국어만 된다. 만약 한국어 를 읽게 하면 아래와 같이 읽어준다. 네이티브 미국인이 한국어 말하는거 같다.

* 깃헙에서 설치하기

git clone https://github.com/myshell-ai/OpenVoice.git open_voice
cd open_voice

* 환경만들기 - 파이썬 버전이 꼬여서 conda를 이용했다.

conda create -n ov python=3.9
conda activate ov
pip install -r requirements.txt

* conda환경에서 ffmpeg가 없다고 뜬다면 아래처럼 꼭 ffmpeg를 설치해줘야 한다.

conda install ffmpeg

* cpu로 돌리기 - cuda를 사용한다면 pass!

- 현재 open voice에서는 cpu를 사용할수가 없다. 코드가 누락되어있고 이 부분을 수정해주고 있지 않아서 직접 수정해줘야 한다.

먼저 se_extractor.py 파일로 간후 22번째 줄의 아래 코드를

device = "cuda" if torch.cuda.is_available() else "cpu"
model = WhisperModel(model_size, device=device, compute_type="float16")

아래와 같이 바꿔준다. 

device, compute_type = ("cuda","float16") if torch.cuda.is_available() else ("cpu", "int8")
model = WhisperModel(model_size, device=device, compute_type=compute_type)

* 다 됐다. 이제 돌려보자. 한국어를 읽어보게 했다. 영어를 사용하고 싶다면 아래 주석을 풀면된다.

import os
import torch
from openvoice import se_extractor
from openvoice.api import BaseSpeakerTTS, ToneColorConverter

ckpt_base = 'checkpoints/base_speakers/EN'
ckpt_converter = 'checkpoints/converter'
device="cuda:0" if torch.cuda.is_available() else "cpu"
output_dir = 'outputs'

base_speaker_tts = BaseSpeakerTTS(f'{ckpt_base}/config.json', device=device)
base_speaker_tts.load_ckpt(f'{ckpt_base}/checkpoint.pth')

tone_color_converter = ToneColorConverter(f'{ckpt_converter}/config.json', device=device)
tone_color_converter.load_ckpt(f'{ckpt_converter}/checkpoint.pth')

os.makedirs(output_dir, exist_ok=True)

source_se = torch.load(f'{ckpt_base}/en_default_se.pth').to(device)


# reference_speaker = 'resources/example_reference.mp3' # This is the voice you want to clone
reference_speaker = 'resources/lympe.mp3' # This is the voice you want to clone

target_se, audio_name = se_extractor.get_se(reference_speaker, tone_color_converter, target_dir='processed', vad=True)

# inference
save_path = f'{output_dir}/output_en_default.wav'

# Run the base speaker tts
# text = "This audio is generated by OpenVoice."
text = "안녕하세요! 오늘은 날씨가 정말 좋네요."

src_path = f'{output_dir}/tmp.wav'
base_speaker_tts.tts(text, src_path, speaker='default', language='English', speed=1.0)

# Run the tone color converter
encode_message = "@MyShell"
tone_color_converter.convert(
    audio_src_path=src_path, 
    src_se=source_se, 
    tgt_se=target_se, 
    output_path=save_path,
    message=encode_message)
    
source_se = torch.load(f'{ckpt_base}/en_style_se.pth').to(device)
save_path = f'{output_dir}/output_whispering.wav'

# Run the base speaker tts
# text = "This audio is generated by OpenVoice."
text = "안녕하세요! 오늘은 날씨가 정말 좋네요."

src_path = f'{output_dir}/tmp.wav'
base_speaker_tts.tts(text, src_path, speaker='whispering', language='English', speed=0.9)

# Run the tone color converter
encode_message = "@MyShell"
tone_color_converter.convert(
    audio_src_path=src_path, 
    src_se=source_se, 
    tgt_se=target_se, 
    output_path=save_path,
    message=encode_message)


ckpt_base = 'checkpoints/base_speakers/ZH'
base_speaker_tts = BaseSpeakerTTS(f'{ckpt_base}/config.json', device=device)
base_speaker_tts.load_ckpt(f'{ckpt_base}/checkpoint.pth')

source_se = torch.load(f'{ckpt_base}/zh_default_se.pth').to(device)
save_path = f'{output_dir}/output_chinese.wav'

# Run the base speaker tts
# text = "今天天气真好，我们一起出去吃饭吧。"
text = "안녕하세요! 오늘은 날씨가 정말 좋네요."

src_path = f'{output_dir}/tmp.wav'
base_speaker_tts.tts(text, src_path, speaker='default', language='Chinese', speed=1.0)

# Run the tone color converter
encode_message = "@MyShell"
tone_color_converter.convert(
    audio_src_path=src_path, 
    src_se=source_se, 
    tgt_se=target_se, 
    output_path=save_path,
    message=encode_message)

* 결론

V1은 윈도우나 맥, 모두에서 잘 돌아갔다. 영어 성능은 v1도 충분히 좋았다.
다음 포스트에서 정리할 V2는 한국어의 경우 cuda 환경에서만 가능하고 - 영어나 중국어는 여전히 cpu에서 돌아간다 - 여기에 목소리 트레이닝도 가능하다. 물론 성능은 그다지 만족스럽지 않지만 여러 테스트를 해보니 어떤 목소리는 꽤나 잘 복제해냈다.

자세한 사항은 V2에 남기겠다.

* Whisper-WebUI 설치 및 실행

- Whisper-webui는 openAI의 whisper(https://github.com/openai/whisper)를 쓰기 쉽도록 webUI로 wrapping한 라이브러리다.

- 굉장히 탁월한 성능을 발휘한다. 자막이 없는 영화나 내용이 궁금했던 일본 야동, 외국 유튜브 영상들의 자막을 영어나 일어로 먼저 생성한 후, 이걸 다시 한국어로 바꾸면 된다 - 바로 한글로 생성도 되지만 몇번해보니 퀄러티가 떨어졌다.

- max_length가 200으로 제한되어 있어서 한번에 장문의 글을 번역하지 못한다. 번역 모델은 facebook/nllb-200이다.

- 한번에 대량의 번역을 하기위해선 따로 스크립트를 만들어 200이내로 문장을 끊어서 전달해야 한다. 이건 다음에 만들어 공유할 계획이다.

1. 코덱 설치

• https://www.gyan.dev/ffmpeg/builds/
• zip파일을 받고 압축 푼다

2. 설치

• git clone https://github.com/jhj0517/Whisper-WebUI.git
• 안에 들어가서 위에서 압축 푼 코덱 폴더 전체를 붙여넣고 해당 경로를 path 걸어준다

3. install.bat실행 - 한참 받는다
4. start-webui.bat 실행

* 실행

1. 먼저 Youtube 탭으로 가서 주소를 붙여넣고 generate해보자

2. 현재(23.06.26) 아래와 같은 에러가 뜬다.

pytube.exceptions.RegexMatchError: get_throttling_function_name: could not find match for multiple

3. 해결을 위해 구글링을 한다.

https://github.com/pytube/pytube/issues/1684

이틀전에 나온 해결책이다. 유튜브 패턴들이 자주 바뀌어서 업데이트가 미쳐 못따라가는 것 같다.

function_patterns = [
    # https://github.com/ytdl-org/youtube-dl/issues/29326#issuecomment-865985377
    # https://github.com/yt-dlp/yt-dlp/commit/48416bc4a8f1d5ff07d5977659cb8ece7640dcd8
    # var Bpa = [iha];
    # ...
    # a.C && (b = a.get("n")) && (b = Bpa[0](b), a.set("n", b),
    # Bpa.length || iha("")) }};
    # In the above case, `iha` is the relevant function name
    r'a\.[a-zA-Z]\s*&&\s*\([a-z]\s*=\s*a\.get\("n"\)\)\s*&&.*?\|\|\s*([a-z]+)',
    r'\([a-z]\s*=\s*([a-zA-Z0-9$]+)(\[\d+\])?\([a-z]\)',
]

아래와 같이 Whisper-WebUI\venv\Lib\site-packages\pytube 폴더로 이동후 cipher.py 파일을 연후

기존에 있던 아래 코드를

r'a\.[a-zA-Z]\s*&&\s*\([a-z]\s*=\s*a\.get\("n"\)\)\s*&&\s*'

새로운 아래 코드로 바꿔 붙여넣기하자.

r'a\.[a-zA-Z]\s*&&\s*\([a-z]\s*=\s*a\.get\("n"\)\)\s*&&.*?\|\|\s*([a-z]+)',

이제 유튜브 주소를 다시 넣고 generate하면 오류없이 잘된다.