Wookang makes AI

결론부터 말하자면, coqui tts - xtts는 지난 2024년 1월 3일부로 shutdown 되었다.
https://twitter.com/_josh_meyer_/status/1742522906041635166

* 동기

내가 원하는 목소리로 무제한 생성가능한 무료 tts가 필요하다.

* 과정

1. 여러 테스트 결과, openVoice v2와 coqui-tts(xtts) v2가 가장 훌륭했다.

2. 이 과정에서 일래븐랩스 https://elevenlabs.io/ 의 놀라운 발전 속도에 오픈소스들이 더 이상 따라가지 못함을 알게 되었다.

3. 실제로 돌려보니 그 수준차이가 컸다. 이제 일래븐랩스의 경쟁상대는 오픈소스 진형이 아니라 openAI로 보인다. 심지어 xtts는 이미 1월초에 문을 닫았다.

4. chatGPT 4o와 일래븐랩스의 품질을 보면 이제 오픈소스 진형에 그간의 노력들은 물거품이 될거 같은 느낌이 든다. stable diffusion의 깃헙만 보아도 마지막 commit이 2년전이다. 이제 생태계는 stable diffusion이 아니라 stable diffusion webUI를 중심으로 돌아간다. 하지만 stable diffusion 3는 3달전에 이미 나왔다. 공개가 되지 않았을 뿐이다.

5. 이제 남은건 meta 뿐으로 보인다. (제발 grok이 힘을 내주길)

6. 그럼에도 '무제한'과 '무료'라는 장점은 '사용의 불편함'과 '품질의 떨어짐'이라는 강력한 단점에도 어느 부분 대항가능한 대결인자로 보였다.

* xtts 사용후 느낀 점

장점 - 꽤 자연스러운 tts가 가능하다.

단점 - ko모델의 경우 영어를 전혀 읽지 못한다. g2pk2 모듈을 이용해도 많이 부족하다. 영어부분에서 발음이 완전 뭉개지며 기계음이 나온다. 이것이 너무나 치명적이다. en모델은 오직 영어만 읽을 수 있고 ko모델은 오직 한국어만 읽을 수 있다.

* 최종 결론

다시 open voice v2로 돌아왔다. 자연스럽지는 못해도 안정적으로 긴 글을 읽어준다. 영어와 한글이 섞여 있어도 문제없다. xtts와 달리 계속 업데이트 될 것 같다. 설치 환경 조성이 어렵지만 실행만 된다면 속도가 빠르다. 그래서, open voice v2를 기반으로 음성의 품질을 높이는 (rvc로 후처리하는 등의) 방향을 고민해보려한다.