Wookang makes AI

올해 초 처음 테무에서 실험삼아 가방과 무선 이어폰을 샀다.

모니터 화면으로는 그럴듯했으나 실제로 받아보니 재질이 이상했다. 부스럭 거리는 비닐같았다. 그리고 너무나 가벼웠다. 그냥 보기에도 싼티 작렬이었다. 실제로도 쌌으니 할말은 없었다.

무선이어폰은 충전단자가 micro usb 옛날 방식이었다. 소리는 나쁘지 않았지만 기능에 문제가 많았다. 이어폰을 귀에서 제거하고 케이스에 넣어도 음악이 계속 흘러나왔다. 휴대폰과 이어폰의 연결이 자동으로 끊어지지 않았다. 휴대폰에서 직접 음악을 멈춰야만 이어폰에서 나오던 소리가 멈췄다. 휴대폰에서 블루투스 접속을 직접 끊어줘야만 했다.

한마디로 쓰레기였다.

당시 테무에서 결제 정보를 빼간다는 소문도 나돌았다. 바로 카드정보를 삭제하고 앱도 지웠다.

내가 다시 테무로 돌아온건 어이없게도 침착맨의 테무깡 영상 때문이었다.

구독하지도 않는 사람의 영상이 추천으로 뜬 이유는 아마도 인기급상승 동영상이었기 때문이겠지만 어쨌든 저 영상을 보고 테무에서서 무엇을 사고 무엇을 사지 말아야할지 감을 잡을 수 있었다.

테무에서 사지 말아야 할것 - 신발이나 가방처럼 기능과 품질이 중요한 제품들, 화학적 작용이 들어가는 모든 제품들

테무에서 사면 괜찮은 것 - 일반 의류나 모자처럼 한번 빨고 입으면 되는 옷들, 한국에서 사기 어려운 디자인의 옷들, 온갖 종류의 케이스나 시계줄, 벨트, 스티커 같은 값싼 악세서리들,

테무에서 사면 아주 좋은 것 - 한국에서 사기 어렵거나 사면 바가지 쓰는 전자제품들, 스펙이 확실히 정해져있는 값싼 전자제품들. 예를들어, sd card adapter, hdmi dummy(이 2개는 한국에서 도저히 살수가 없었다), 입문자용 드론이나 rc car, 스마트 시계(이 3가지는 중국이 월드 넘버원인거 같다), 온도/습도계, dp cable처럼 스펙이 확실한 전자제품들

살때 주의해할 것들 - 재질과 스펙. 개인적으로 면을 좋아하는데 의류 중에 상당수가 아래와 같이 폴리에스테르였다. 디자인만 보고 이뻐서 샀다가 나중에 후회했다. 하지만 리뷰를 보면 이 재질을 좋아하는 사람들도 꽤 있는거 같긴하다.

스펙도 유의해서 봐야한다. 충전방식이 어떤지, 배터리가 얼마나 가는지 등등 디테일한 사항들이 보이지 않는다면 일단 의심을 해야한다. 옛날 규격일수있다.

> 결론

1. 가격을 쿠팡과 비교해도 어떤건 절반이고 상당수는 1/4 가격이다.

2. 품질은 쿠팡과 또이또이하다. 배송기간만 한~참 차이날 뿐이다.

3. 나중에보면 내가 산 제품의 가격이 절반으로 떨어져 있을 때가 있는데 이때는 가격 재조정 신청하면 된다.

- 이게 제일 신기했다. 구입한지 꽤 오랜 시간이 지난 제품도 가격조정이 가능했다.

- 내주문에 들어가면 아래 스샷처럼 '가격조정' 버튼이 보일것이다. 이게 뭔가 싶어 눌러봤더니 내가 구매한 가격과 현재 판매중인 가격과 비교해서 그 차익만큼 바로 크레딧으로 보상해주었다. 다만 한번만 된다ㅋ

- 이건 정말 '신뢰'를 주는 기능이라고 생각한다. 사업적으로나 개발적으로나 도입하기 어려운 기능인데 간단하게 잘 적용되어있다.

4. 혹시나해서 구입 후 바로 환불도 해보고 3일 후 환불도 해봤는데 모두 잘 되었다.

5. 통관에 계속 묶여있기에 as상담도 해보았는데 꽤 확실하게 일처리를 해줬다. 내 물건이 현재 어디에 있고 언제 처리될지도 알려주었다.

6. 테무에서 전세계인들의 리뷰를 읽는것도 꽤 재미있다.

7. 모든 제품이 구겨져서 온다. 구겨지면 안되는 물건은 사지 않는다.

8. 가장 만족스러웠던 물건은 드론과 스마트 워치였다. 둘 합쳐도 3만원 즈음이었는데 성능은 충격적으로 좋았다. 

9. 내 개인정보야 뭐, 이미 대한민국의 대기업들이 전세계에 공유한 정보이니 이에 대해선 마음을 비웠다.

- 지난번 티몬에서 전기자전거 사기를 당한 후 '판매자가 연락이 되지 않아 환불 불가'라는 희대의 핑계를 듣고는 오만정이 떨어졌다. 심지어 소비자보호원 담당자분도 똑같이 이야기했다. 티몬은 항상 이렇게 나오는데 법적으로 어떻게 할수가 없다고. 에휴, 적어도 티몬보단 테무가 훨씬 더 신뢰가 간다.

앞으로도 계속 사용할거다. 모두가 욕해도 나는 테무가 좋다.

● 동기

AI작업을 하다보면 4090의 24GB vram이 간당간당 할때가 있다.

보통 llama2 13b 모델이나 Mixtral의 8x7B 모델은 양자화 시켜 돌릴 수 있지만 max length 조절을 섬세?하게 해야한다.

yanolja-eeve의 경우도 마찬가지다. 메모리 100메가 차이로 가끔씩 out of memory 메시지를 토해낼때가 있다.

이때는 메모리 100, 200메가도 소중한데 이 경우 모니터 출력에 사용하는 메모리만 줄여도 큰 도움이 된다. 내 모니터의 경우 대략 300메가 이상을 먹는다. 

그래서 컴퓨터를 앞에 두고도 직접 접속하지 않고

hdmi 더미 플러그를 이용한 가상의 모니터에 ssh로 원격접속해 vram을 아껴쓰기도 했다.

잠시마나 내장 그래픽을 이용하자는 생각도 했었지만

당시 hp에서 구입한 오멘pc의 내부 모니터 dp단자는 아예 막혀서 출고가 되어 이걸 빼내는 것도 귀찮은 일이어서 미루고 있었다.

하지만 요새 날씨가 더워져 사무실 창문에 노출되어 있는 바깥 파티션은 사용하기 힘들어졌다. 여기는 에어컨 바람도 막혀있다. 선풍기 만으론 4090에서 뿜어내는 열기를 감당할수 없었다. 그래서 대대적으로 사무실 구조를 바꾸며 이번 기회에 미뤄뒀던 작업을 진행하기로 했다.

● 상태

1. 서버PC에서 항상 사용하는 모니터를 4090 데스크탑에서도 보조 모니터로 사용하고 맥북에서도 보조모니터로 사용할 수 있게, 즉 3개의 컴퓨터가 하나의 모니터를 모두 사용할 수 있게 구조를 엮었다. 어차피 서버는 모니터가 거의 필요하지 않고 필요하다 해도 원격으로 붙어 사용하는 경우가 훨씬 더 많기 때문이었다.

2. 4090pc에는 윈도우와 우분투가 함께 깔려 있고 처음 부팅시 grub에서 os를 선택해 실행한다.

3. 4090 PC의 경우. 이제까진 5120x1440 모니터 하나만 썼는데 보조 모니터 하나가 더 생기니 이렇게 편할 수가 없었다.  stable diffusion은 윈도우 기반으로 돌리기 때문에 - 윈도우가 바로 편집할 수 있어 우분투 환경보다 훨씬 낫다 - 그런데 윈도우는 내장 그래픽 카드를 자동으로 인식하지만 우분투는 내장 그래픽 카드를 인식하지 못했다.

4. 대부분의 ai개발이나 llm은 모두 우분투 기반으로 돌리기 때문에 이는 심각한 문제였다.

● 해결

아래 링크를 통해 해결했다.

세상에! 보통 이런 경우 외국사이트를 수도없이 들락날락 거리며 한참 고생해야하는데 위 한국분이 아주 친절하고 상세하게 이미 정리해 놓으셔서 아무 고생도 하지 않았다.

솔직히 우분투에 관한 대부분의 한국 정보는 '잘못된' 경우가 많아 반신반의하면서 작업했는데

너무 나이스하게 working이 되었다. 특별히 더 감사한 마음이 들어 이렇게 글을 정리한다.

드디어 한줌의 vram을 아낄수 있게 되었다.

오랜만에 stable diffusion webui에 접속했더니, 아예 돌아가지가 않았다.

체크포인트를 추가하고 프롬프트를 넣고 생성버튼을 클릭해도 이미지 자체가 생성되지 않았다.

* xformers에서 지원하는 토치 버전 문제

xformer는 이미지 생성 가속화 라이브러리다. 업데이트 되면서 torch 2.1.2버전을 요구했다. 하지만 내 torch버전은 2.0.1이었다. 업그레이드 방법은 간단하다.

1. webui-user.bat 파일을 연다. 

set COMMANDLINE_ARGS=--reinstall-xformers --medvram --xformers --reinstall-torch

2. 위처럼 --reinstall-torch 인자를 추가한후 저장하고 다시 webui-user.bat을 다시 시작한다.

3. 그러면 알아서 버전을 torch버전을 업그레이드한다.

4. 설치가 완료되면 위  --reinstall-torch 는 제거하고 원래대로 인자들을 되돌린다.

5. 해결

이제 이미지는 생성이 되는데 controlnet 이 말썽이었다. 

Error running process:  E:\Libraries\stable-diff-sdxl\models\Stable-diffusion\extensions\sd-webui-controlnet\scripts\controlnet.py

Traceback (most recent call last):

* controlnet 을 다시 설치하면 된다

https://www.reddit.com/r/StableDiffusion/comments/11dba9p/controlnet_error_after_update/

레딧에 나온 방법대로 하니 해결이 된다.

1. 먼저 extensions\sd-webui-controlnet\models 안에 있는 기존 모델 파일들을 다른 곳으로 이동시켜놓는다.

2. 다음 extensions\sd-webui-controlnet\ 를 삭제한다.

3. 다음 Extensions > Installed에 들어가 controlnet 의 체크를 풀고 Apply and restart UI를 클릭한다.

4. cmd 창을 닫고 다시 시작한다. (꼭 해야하나 싶긴한데 나는 했다)

5. Install from URL탭으로 이동해 다시 controlnet을 추가한다. 

https://github.com/Mikubill/sd-webui-controlnet

6. restart UI하니 에러없이 컨트롤 넷이 잘 돌아간다. 

7. 확장탭에 들어온 김에 Check for updates 후 다시 restart UI를 해서 모든 모듈들을 최신으로 업데이트 했다.

8. 해결

그럼에도 오류들이 쏟아졌다. 하나씩 해결해본다.

* Error loading script: m2m_ui.py 오류

- https://github.com/Scholar01/sd-webui-mov2mov/issues/146

1. 위 깃헙 이슈를 통해 해결했다. 먼저 modules/ui.py 파일을 연다. 

2. 아래 함수를 추가하고 저장한다.

def create_sampler_and_steps_selection(choices, tabname):
    return scripts.scripts_txt2img.script('Sampler').steps, scripts.scripts_txt2img.script('Sampler').sampler_name

3. 다시 실행하면 해당 에러 메시지가 사라진다. 업데이트 중 함수 누락이 있었나보다.

4. 해결

하지만 그럼에도 에러가 아직 남아있다.

* activating extra network lora: TypeError 오류

- https://github.com/AUTOMATIC1111/stable-diffusion-webui/issues/13561

1. 위 깃헙 이슈에서 해결했다.

2. 세상에, 가장 별거 아닌 오류였다.

3. 아래처럼 Add network to prompt를 none으로 하고 재시작하니 사라졌다.

* No module named 'basicsr' 오류

*** Error loading script: main.py
    Traceback (most recent call last):
      File "E:\AI\stable-diffusion-webui-master\modules\scripts.py", line 527, in load_scripts
        script_module = script_loading.load_module(scriptfile.path)
      File "E:\AI\stable-diffusion-webui-master\modules\script_loading.py", line 10, in load_module
        module_spec.loader.exec_module(module)
      File "<frozen importlib._bootstrap_external>", line 883, in exec_module
      File "<frozen importlib._bootstrap>", line 241, in _call_with_frames_removed
      File "E:\AI\stable-diffusion-webui-master\extensions\openpose-editor\scripts\main.py", line 14, in <module>
        from basicsr.utils.download_util import load_file_from_url
    ModuleNotFoundError: No module named 'basicsr'

- open pose를 아무리 다시 깔아도 해결이 안되었다
- https://github.com/AUTOMATIC1111/stable-diffusion-webui/issues/15094 이 이슈에서 해결했다.

1. 먼저 sd 기본 루트 폴더에서 아래 순서대로 하나씩 터미널에 실행하면 된다.

- 파이썬 가상로컬환경으로 가서 basicsr를 설치하고 다시 로컬환경을 나오는 스크립트다.

venv\scripts\activate.bat
pip install basicsr
venv\scripts\deactivate.bat

* 모두 해결

에러 메시지 없이 아름답게 로딩된다. 

sd3가 나락으로 가고 stable diffusion 생태계가 오픈소스에 집중하며 자체 성장하다보니 정신없는 방향으로 발전하는거 같다. text generation webui도 그렇고 이쪽은 한달만 지나도 돌리면 에러가 '탄생'한다.

그래서 너무 좋다. 에러가 난다는건 무언가 하고 있다는 뜻이니 말이다.

도다리 고급 번역이 어느정도 안정됨에 따라 코드 공개를 결정했습니다.

1. vram이 23이상일때 야놀자 모델사용 가능
2. 운영체제가 리눅스일 경우 vllm(AI 가속 모듈) 사용 가능
3. 번역 프롬프트 커스터마이징
4. 필터 문구 커스터마이징

현재 코드는 개발자인 저에게만 맞춰져 있어 빈틈이 많습니다.

모두가 쓸수 있게 바꾸는데에는 시간이 좀 걸릴 것 같습니다.

소스코드 전면 공개 후 다시 공지하겠습니다!

현재(24.07.19) eeve(고급번역)모델을 파인튜닝하고 있습니다.

여러방식으로 전처리, 후처리, 프롬프트 엔지니어링을 테스트 해보았지만

번역 출력시 발생하는 환각현상을 제거하기 어려웠기 때문입니다.

오늘 3차 파인튜닝 결과물을 이용해 테스트를 하고 있는데 지금까지는 결과가 희망적으로 보입니다. => 다시 비관적으로 보입니다

gguf모델도 함께 만들고 있습니다. 이 경우 cpu를 이용해 구동시킬수도 있습니다.

보다 많은 분들이 도다리 고급모델을 사용해 보실수 있게 최대한 빨리 작업하겠습니다.

오늘(24.07.21) 테스트에서 만족할만한 결과가 나왔습니다.

그래서 지금 기분이 좋습니다ㅋ 여러가지 테스트를 조금 더 진행한 후 완성된 eeve-dodari모델과 gguf버전의 허깅스페이스 주소를 공유하겠습니다!

지금이 24.07.21 일요일 새벽 3시 30분.

파인튜닝이 성공적으로 된것 같습니다. 

심지어 후처리를 하지 않아도 됩니다. - 그동안 ai의 환각현상 때문에 엄청난 후처리를 해야만 했고 그렇게 했어도 여전히 많은 환각문구들을 해결하지 못하고 있었습니다 - 마치 transformer의 pipeline에서 translation을 사용한 것과 같은 처리가 됩니다.

이렇게 간단한 데이터셋으로 이리도 깔끔하게 해결될줄은 몰랐네요. 

* 허깅스페이스 eeve-dodari 모델 링크

https://huggingface.co/blueflag/eeve-yanolja-dodari

* eeve-dodari-gguf 모델 링크 (8bit양자화)

https://huggingface.co/blueflag/eeve-yanolja-dodari_gguf

* basic template

prompt = f'''
Translate Human sentences into {언어설정. Korean or English} in short. Do not add anything else.\nHuman: {번역할 문구}\nAssistant:\n
'''

* 직접 모델 로딩하여 사용하실 분들에게

위 모델을 다운로드 받으신 후 prompt를 위와 같은 형식으로 번역요청하시면 아주 깔끔한 결과를 보실수 있을 겁니다.

이번 파인튜닝 작업에 밀려 도다리 고급모델 코드 공개가 더욱 늦어졌네요. 하지만 이번 파인튜닝 성과가 좋은 만큼 코드들을 더욱 다듬어 공개하도록 하겠습니다.

* 네이버 스마트 스토어를 통해 도다리를 이용하실수 있습니다.

1. 도다리 텍스트 txt 고급 번역하러 가기
2. 도다리 전자책 epub 고급 번역하러 가기
3. 도라리 70분 자유번역하러 가기

* 동기

1. 기술관련 영상은 자동생성 자막이라도 어찌어찌 해볼만하지만 다큐멘터리나 인터뷰 영상의 경우 도저히 화면을 따라갈수 없었다.

2. 높은 수준이 아니어도 좋으니 내용을 어느 정도는 따라가게 해줄 번역이 필요했다.

* 기능

1. 이에 도다리 에 자막번역(srt파일) 기능을 추가했다.

2. smi 번역도 추가할까해서 알아보니 이건 한국에서만 사용하는 파일형식이라 한다. 그래서 빼버렸다.

3. 사용법은 다른 번역과 완전히 동일하다. srt파일을 드래그 하여 첨부한 후 번역버튼을 누르면 된다.

* 유튜브 영상에 대하여

1. 사실 유튜브 주소만 넣으면 영상과 자막을 자동으로 받고 번역까지 하는걸 이미 개발했다.

2. 그런데 비슷한 기능을 가진 라이브러리 whisper-webui 가 이미 있다.

3. 다른 점이라면 whisper-webui가 ai를 이용해 직접 음성을 듣고 자막파일을 생성한 후 그걸 번역하는 거고

4. 내가 만든건 유튜브에서 자동생성했거나 혹은 이미 제공된 자막 파일을 다운로드 한후 그걸 번역한다는 차이다.

5. 그래서 이건 나만 쓰기로 했다.

* 번역 품질

1. 일반 텍스트 번역에 비해 확실히 떨어진다.

2. 자동생성으로 만들어진 원본 자막의 품질이 좋지 않고

3. 전체 문장이 아닌 문장의 일부분만 번역을 하기 때문이다.

4. 문맥에 맞춘 번역을 위해 텍스트만 쭉 뽑아봤는데 이게 문장 구분이 되지 않아 전체 자막이 하나의 문장으로 인식되어 버렸다. 그래서 번역을 시도조차 할수 없었다. 유튜브 번역이 왜 그렇게 후졌는지 이해되는 순간이었다.

* 알림

도다리 고급번역 스토어를 오픈했다.

전자책 번역,  텍스트 번역,  70분 서버 이용

결론부터 말하자면, coqui tts - xtts는 지난 2024년 1월 3일부로 shutdown 되었다.
https://twitter.com/_josh_meyer_/status/1742522906041635166

* 동기

내가 원하는 목소리로 무제한 생성가능한 무료 tts가 필요하다.

* 과정

1. 여러 테스트 결과, openVoice v2와 coqui-tts(xtts) v2가 가장 훌륭했다.

2. 이 과정에서 일래븐랩스 https://elevenlabs.io/ 의 놀라운 발전 속도에 오픈소스들이 더 이상 따라가지 못함을 알게 되었다.

3. 실제로 돌려보니 그 수준차이가 컸다. 이제 일래븐랩스의 경쟁상대는 오픈소스 진형이 아니라 openAI로 보인다. 심지어 xtts는 이미 1월초에 문을 닫았다.

4. chatGPT 4o와 일래븐랩스의 품질을 보면 이제 오픈소스 진형에 그간의 노력들은 물거품이 될거 같은 느낌이 든다. stable diffusion의 깃헙만 보아도 마지막 commit이 2년전이다. 이제 생태계는 stable diffusion이 아니라 stable diffusion webUI를 중심으로 돌아간다. 하지만 stable diffusion 3는 3달전에 이미 나왔다. 공개가 되지 않았을 뿐이다.

5. 이제 남은건 meta 뿐으로 보인다. (제발 grok이 힘을 내주길)

6. 그럼에도 '무제한'과 '무료'라는 장점은 '사용의 불편함'과 '품질의 떨어짐'이라는 강력한 단점에도 어느 부분 대항가능한 대결인자로 보였다.

* xtts 사용후 느낀 점

장점 - 꽤 자연스러운 tts가 가능하다.

단점 - ko모델의 경우 영어를 전혀 읽지 못한다. g2pk2 모듈을 이용해도 많이 부족하다. 영어부분에서 발음이 완전 뭉개지며 기계음이 나온다. 이것이 너무나 치명적이다. en모델은 오직 영어만 읽을 수 있고 ko모델은 오직 한국어만 읽을 수 있다.

* 최종 결론

다시 open voice v2로 돌아왔다. 자연스럽지는 못해도 안정적으로 긴 글을 읽어준다. 영어와 한글이 섞여 있어도 문제없다. xtts와 달리 계속 업데이트 될 것 같다. 설치 환경 조성이 어렵지만 실행만 된다면 속도가 빠르다. 그래서, open voice v2를 기반으로 음성의 품질을 높이는 (rvc로 후처리하는 등의) 방향을 고민해보려한다.

어떻게든  - 며칠간 연구한 것이 아깝기도하고 - openVoice V2로 좋은 품질의 tts를 뽑아보려 했지만 결국 버렸다. 잘 안되었다.

그러다 만난것이 xtts다. 기본 xtts만으로도 openVoice v2보다 훨씬 좋지만 finetuning을 해보니 더욱 더 비슷해졌다.

발음이 조금 뭉개지긴 하는데 이건 어떻게 맞춰볼수 있을 것 같다.

깃헙주소는

https://github.com/daswer123/xtts-webui

지금은 너무 졸리고 다음 포스트에 설치 및 파인튜닝하는 것을 정리하겠다.

https://github.com/myshell-ai/OpenVoice

OpenVoice에 관심을 가지게 된 이유는, 하나다.

"목소리 복제를 하고 싶다. 내가 좋아하는 목소리로 한글 텍스트를 무제한으로 읽어줬으면 좋겠다"

기존 tts는 길이제한이 있고 사용하기도 복잡했기에 이것을 도다리처럼 아주 간단하게

1. 대용량 텍스트 파일 첨부

2. 목소리 생성 버튼 클릭

3. wav파일 생성

해주는 앱을 만들고 싶었다. 현재까지 r&d 결과로는 부정적이지만, 이 부정적 결론까지 도달한 과정을 기록으로 남기려한다.

일단, V1은 다국어 지원이 안된다.

영어와 중국어만 된다. 만약 한국어 를 읽게 하면 아래와 같이 읽어준다. 네이티브 미국인이 한국어 말하는거 같다.

* 깃헙에서 설치하기

git clone https://github.com/myshell-ai/OpenVoice.git open_voice
cd open_voice

* 환경만들기 - 파이썬 버전이 꼬여서 conda를 이용했다.

conda create -n ov python=3.9
conda activate ov
pip install -r requirements.txt

* conda환경에서 ffmpeg가 없다고 뜬다면 아래처럼 꼭 ffmpeg를 설치해줘야 한다.

conda install ffmpeg

* cpu로 돌리기 - cuda를 사용한다면 pass!

- 현재 open voice에서는 cpu를 사용할수가 없다. 코드가 누락되어있고 이 부분을 수정해주고 있지 않아서 직접 수정해줘야 한다.

먼저 se_extractor.py 파일로 간후 22번째 줄의 아래 코드를

device = "cuda" if torch.cuda.is_available() else "cpu"
model = WhisperModel(model_size, device=device, compute_type="float16")

아래와 같이 바꿔준다. 

device, compute_type = ("cuda","float16") if torch.cuda.is_available() else ("cpu", "int8")
model = WhisperModel(model_size, device=device, compute_type=compute_type)

* 다 됐다. 이제 돌려보자. 한국어를 읽어보게 했다. 영어를 사용하고 싶다면 아래 주석을 풀면된다.

import os
import torch
from openvoice import se_extractor
from openvoice.api import BaseSpeakerTTS, ToneColorConverter

ckpt_base = 'checkpoints/base_speakers/EN'
ckpt_converter = 'checkpoints/converter'
device="cuda:0" if torch.cuda.is_available() else "cpu"
output_dir = 'outputs'

base_speaker_tts = BaseSpeakerTTS(f'{ckpt_base}/config.json', device=device)
base_speaker_tts.load_ckpt(f'{ckpt_base}/checkpoint.pth')

tone_color_converter = ToneColorConverter(f'{ckpt_converter}/config.json', device=device)
tone_color_converter.load_ckpt(f'{ckpt_converter}/checkpoint.pth')

os.makedirs(output_dir, exist_ok=True)

source_se = torch.load(f'{ckpt_base}/en_default_se.pth').to(device)


# reference_speaker = 'resources/example_reference.mp3' # This is the voice you want to clone
reference_speaker = 'resources/lympe.mp3' # This is the voice you want to clone

target_se, audio_name = se_extractor.get_se(reference_speaker, tone_color_converter, target_dir='processed', vad=True)

# inference
save_path = f'{output_dir}/output_en_default.wav'

# Run the base speaker tts
# text = "This audio is generated by OpenVoice."
text = "안녕하세요! 오늘은 날씨가 정말 좋네요."

src_path = f'{output_dir}/tmp.wav'
base_speaker_tts.tts(text, src_path, speaker='default', language='English', speed=1.0)

# Run the tone color converter
encode_message = "@MyShell"
tone_color_converter.convert(
    audio_src_path=src_path, 
    src_se=source_se, 
    tgt_se=target_se, 
    output_path=save_path,
    message=encode_message)
    
source_se = torch.load(f'{ckpt_base}/en_style_se.pth').to(device)
save_path = f'{output_dir}/output_whispering.wav'

# Run the base speaker tts
# text = "This audio is generated by OpenVoice."
text = "안녕하세요! 오늘은 날씨가 정말 좋네요."

src_path = f'{output_dir}/tmp.wav'
base_speaker_tts.tts(text, src_path, speaker='whispering', language='English', speed=0.9)

# Run the tone color converter
encode_message = "@MyShell"
tone_color_converter.convert(
    audio_src_path=src_path, 
    src_se=source_se, 
    tgt_se=target_se, 
    output_path=save_path,
    message=encode_message)


ckpt_base = 'checkpoints/base_speakers/ZH'
base_speaker_tts = BaseSpeakerTTS(f'{ckpt_base}/config.json', device=device)
base_speaker_tts.load_ckpt(f'{ckpt_base}/checkpoint.pth')

source_se = torch.load(f'{ckpt_base}/zh_default_se.pth').to(device)
save_path = f'{output_dir}/output_chinese.wav'

# Run the base speaker tts
# text = "今天天气真好，我们一起出去吃饭吧。"
text = "안녕하세요! 오늘은 날씨가 정말 좋네요."

src_path = f'{output_dir}/tmp.wav'
base_speaker_tts.tts(text, src_path, speaker='default', language='Chinese', speed=1.0)

# Run the tone color converter
encode_message = "@MyShell"
tone_color_converter.convert(
    audio_src_path=src_path, 
    src_se=source_se, 
    tgt_se=target_se, 
    output_path=save_path,
    message=encode_message)

* 결론

V1은 윈도우나 맥, 모두에서 잘 돌아갔다. 영어 성능은 v1도 충분히 좋았다.
다음 포스트에서 정리할 V2는 한국어의 경우 cuda 환경에서만 가능하고 - 영어나 중국어는 여전히 cpu에서 돌아간다 - 여기에 목소리 트레이닝도 가능하다. 물론 성능은 그다지 만족스럽지 않지만 여러 테스트를 해보니 어떤 목소리는 꽤나 잘 복제해냈다.

자세한 사항은 V2에 남기겠다.

주문이 엄청나게 몰렸을 때를 대비한 serving 자동화 시스템을 만들다가 갑자기,

아직 도다리를 한번도 팔지 못했다는 걸 깨달았다. 미친놈, 정신이 나갔다.

중간에 현타가 와서 다시 접었다.

계속 새로운 걸 개발하고픈 욕망에 사로잡힌다. 하지만 안된다. 이번에는 허락하지 않는다. 도다리도 못판다면 또 다른 걸 만들어봤자 뭐 얼마나 상품성이 있을 것이며 얼마나 잘 팔것인가. 이번에는 기필코 팔아야한다. 그게 기업가고 이제 진짜 시작해야한다.

언제까지 개발자 모드로 있으면 안된다. 사업가가 되어야 한다. 아니 장사꾼이 되어야한다.