[Whisper-WebUI] 자동 자막 생성 및 추출 & 번역까지 한번에

* Whisper-WebUI 설치 및 실행

- Whisper-webui는 openAI의 whisper(https://github.com/openai/whisper)를 쓰기 쉽도록 webUI로 wrapping한 라이브러리다.

- 굉장히 탁월한 성능을 발휘한다. 자막이 없는 영화나 내용이 궁금했던 일본 야동, 외국 유튜브 영상들의 자막을 영어나 일어로 먼저 생성한 후, 이걸 다시 한국어로 바꾸면 된다 - 바로 한글로 생성도 되지만 몇번해보니 퀄러티가 떨어졌다.

- max_length가 200으로 제한되어 있어서 한번에 장문의 글을 번역하지 못한다. 번역 모델은 facebook/nllb-200이다.

- 한번에 대량의 번역을 하기위해선 따로 스크립트를 만들어 200이내로 문장을 끊어서 전달해야 한다. 이건 다음에 만들어 공유할 계획이다.

 

1. 코덱 설치

• https://www.gyan.dev/ffmpeg/builds/
• zip파일을 받고 압축 푼다

2. 설치

• git clone https://github.com/jhj0517/Whisper-WebUI.git
• 안에 들어가서 위에서 압축 푼 코덱 폴더 전체를 붙여넣고 해당 경로를 path 걸어준다

3. install.bat실행 - 한참 받는다
4. start-webui.bat 실행

 

* 실행

1. 먼저 Youtube 탭으로 가서 주소를 붙여넣고 generate해보자

2. 현재(23.06.26) 아래와 같은 에러가 뜬다.

pytube.exceptions.RegexMatchError: get_throttling_function_name: could not find match for multiple

3. 해결을 위해 구글링을 한다.

https://github.com/pytube/pytube/issues/1684

[BUG] FIX · Issue #1684 · pytube/pytube

이틀전에 나온 해결책이다. 유튜브 패턴들이 자주 바뀌어서 업데이트가 미쳐 못따라가는 것 같다.

function_patterns = [
    # https://github.com/ytdl-org/youtube-dl/issues/29326#issuecomment-865985377
    # https://github.com/yt-dlp/yt-dlp/commit/48416bc4a8f1d5ff07d5977659cb8ece7640dcd8
    # var Bpa = [iha];
    # ...
    # a.C && (b = a.get("n")) && (b = Bpa[0](b), a.set("n", b),
    # Bpa.length || iha("")) }};
    # In the above case, `iha` is the relevant function name
    r'a\.[a-zA-Z]\s*&&\s*\([a-z]\s*=\s*a\.get\("n"\)\)\s*&&.*?\|\|\s*([a-z]+)',
    r'\([a-z]\s*=\s*([a-zA-Z0-9$]+)(\[\d+\])?\([a-z]\)',
]

아래와 같이 Whisper-WebUI\venv\Lib\site-packages\pytube 폴더로 이동후 cipher.py 파일을 연후

기존에 있던 아래 코드를

r'a\.[a-zA-Z]\s*&&\s*\([a-z]\s*=\s*a\.get\("n"\)\)\s*&&\s*'

새로운 아래 코드로 바꿔 붙여넣기하자.

r'a\.[a-zA-Z]\s*&&\s*\([a-z]\s*=\s*a\.get\("n"\)\)\s*&&.*?\|\|\s*([a-z]+)',

이제 유튜브 주소를 다시 넣고 generate하면 오류없이 잘된다.