Wookang makes AI

도다리 고급 번역이 어느정도 안정됨에 따라 코드 공개를 결정했습니다.

1. vram이 23이상일때 야놀자 모델사용 가능
2. 운영체제가 리눅스일 경우 vllm(AI 가속 모듈) 사용 가능
3. 번역 프롬프트 커스터마이징
4. 필터 문구 커스터마이징

현재 코드는 개발자인 저에게만 맞춰져 있어 빈틈이 많습니다.

모두가 쓸수 있게 바꾸는데에는 시간이 좀 걸릴 것 같습니다.

소스코드 전면 공개 후 다시 공지하겠습니다!

현재(24.07.19) eeve(고급번역)모델을 파인튜닝하고 있습니다.

여러방식으로 전처리, 후처리, 프롬프트 엔지니어링을 테스트 해보았지만

번역 출력시 발생하는 환각현상을 제거하기 어려웠기 때문입니다.

오늘 3차 파인튜닝 결과물을 이용해 테스트를 하고 있는데 지금까지는 결과가 희망적으로 보입니다. => 다시 비관적으로 보입니다

gguf모델도 함께 만들고 있습니다. 이 경우 cpu를 이용해 구동시킬수도 있습니다.

보다 많은 분들이 도다리 고급모델을 사용해 보실수 있게 최대한 빨리 작업하겠습니다.

오늘(24.07.21) 테스트에서 만족할만한 결과가 나왔습니다.

그래서 지금 기분이 좋습니다ㅋ 여러가지 테스트를 조금 더 진행한 후 완성된 eeve-dodari모델과 gguf버전의 허깅스페이스 주소를 공유하겠습니다!

지금이 24.07.21 일요일 새벽 3시 30분.

파인튜닝이 성공적으로 된것 같습니다. 

심지어 후처리를 하지 않아도 됩니다. - 그동안 ai의 환각현상 때문에 엄청난 후처리를 해야만 했고 그렇게 했어도 여전히 많은 환각문구들을 해결하지 못하고 있었습니다 - 마치 transformer의 pipeline에서 translation을 사용한 것과 같은 처리가 됩니다.

이렇게 간단한 데이터셋으로 이리도 깔끔하게 해결될줄은 몰랐네요. 

* 허깅스페이스 eeve-dodari 모델 링크

https://huggingface.co/blueflag/eeve-yanolja-dodari

* eeve-dodari-gguf 모델 링크 (8bit양자화)

https://huggingface.co/blueflag/eeve-yanolja-dodari_gguf

* basic template

prompt = f'''
Translate Human sentences into {언어설정. Korean or English} in short. Do not add anything else.\nHuman: {번역할 문구}\nAssistant:\n
'''

* 직접 모델 로딩하여 사용하실 분들에게

위 모델을 다운로드 받으신 후 prompt를 위와 같은 형식으로 번역요청하시면 아주 깔끔한 결과를 보실수 있을 겁니다.

이번 파인튜닝 작업에 밀려 도다리 고급모델 코드 공개가 더욱 늦어졌네요. 하지만 이번 파인튜닝 성과가 좋은 만큼 코드들을 더욱 다듬어 공개하도록 하겠습니다.

* 네이버 스마트 스토어를 통해 도다리를 이용하실수 있습니다.

1. 도다리 텍스트 txt 고급 번역하러 가기
2. 도다리 전자책 epub 고급 번역하러 가기
3. 도라리 70분 자유번역하러 가기

* 동기

1. 기술관련 영상은 자동생성 자막이라도 어찌어찌 해볼만하지만 다큐멘터리나 인터뷰 영상의 경우 도저히 화면을 따라갈수 없었다.

2. 높은 수준이 아니어도 좋으니 내용을 어느 정도는 따라가게 해줄 번역이 필요했다.

* 기능

1. 이에 도다리 에 자막번역(srt파일) 기능을 추가했다.

2. smi 번역도 추가할까해서 알아보니 이건 한국에서만 사용하는 파일형식이라 한다. 그래서 빼버렸다.

3. 사용법은 다른 번역과 완전히 동일하다. srt파일을 드래그 하여 첨부한 후 번역버튼을 누르면 된다.

* 유튜브 영상에 대하여

1. 사실 유튜브 주소만 넣으면 영상과 자막을 자동으로 받고 번역까지 하는걸 이미 개발했다.

2. 그런데 비슷한 기능을 가진 라이브러리 whisper-webui 가 이미 있다.

3. 다른 점이라면 whisper-webui가 ai를 이용해 직접 음성을 듣고 자막파일을 생성한 후 그걸 번역하는 거고

4. 내가 만든건 유튜브에서 자동생성했거나 혹은 이미 제공된 자막 파일을 다운로드 한후 그걸 번역한다는 차이다.

5. 그래서 이건 나만 쓰기로 했다.

* 번역 품질

1. 일반 텍스트 번역에 비해 확실히 떨어진다.

2. 자동생성으로 만들어진 원본 자막의 품질이 좋지 않고

3. 전체 문장이 아닌 문장의 일부분만 번역을 하기 때문이다.

4. 문맥에 맞춘 번역을 위해 텍스트만 쭉 뽑아봤는데 이게 문장 구분이 되지 않아 전체 자막이 하나의 문장으로 인식되어 버렸다. 그래서 번역을 시도조차 할수 없었다. 유튜브 번역이 왜 그렇게 후졌는지 이해되는 순간이었다.

* 알림

도다리 고급번역 스토어를 오픈했다.

전자책 번역,  텍스트 번역,  70분 서버 이용

1. 콘다로 새로운 가상환경 만들어준다

• conda create -n textgen python=3.10
• 이 환경 아래에 설치한 후 활성화하기
• conda activate textgen

1. 라이브러리들을 설치한다

• conda install cuda pytorch torchvision torchaudio pytorch-cuda=11.7 -c pytorch -c nvidia/label/cuda-11.7.0

1. 이제 깃헙에서 받아오자

• git clone https://github.com/oobabooga/text-generation-webui.git
• pip install ninja
• cd text-generation-webui
• pip install -r requirements.txt

• 위와 같은 에러가 뜬다. 한번 잡아보자.
• https://github.com/oobabooga/one-click-installers/issues/30#issuecomment-1518040167
• 한시간이 넘게 고생하면 알아본 결과 C complier가 없어서 발생한 문제였다. 어디에도 정리된 문서를 찾을 수 없었다
• sudo apt install build-essential
• 이걸로 c컴파일러를 깔고 다시 시도해보자
• pip install -r requirements.txt
• 잘된다.
• python server.py
• http://127.0.0.1:7860 에 접속하면 윈도우에서 창이 열린다. 우분투와 리눅스가 이렇게 연결된다니 신비로운 기분이다.
• 성공
• 이제 모델들을 모두 테스트해보자.
• 안된다. 모델을 로드하면 ModuleNotFoundError: No module named 'llama_inference_offload' 이런 에러가 뜬다
• https://github.com/qwopqwop200/GPTQ-for-LLaMa/issues/161

• 위와 같은 GPTQ를 돌리기 위해서는 추가 작업이 필요하다
• 알아보니 이건 아래에 윈도우 설치할때와 같은 작업이 필요하다.
• git clone https://github.com/oobabooga/GPTQ-for-LLaMa.git -b cuda
• cd GPTQ-for-LLaMa && python setup_cuda.py install

• 마지막으로 GPTQ-for-LLaMa 폴더안의 모든 파일을 통채로 잘라내기 한후
• text-generation-webui 폴더 안으로 이동하고 
• 여기에 통채로 붙여넣기한다. 덮어쓰기는 하지 않는다. explore.exe를 이용해 안전하게 이동시키자
• python server.py --listen --listen-port 8001 --chat --auto-devices
• 모델들을 로딩해본다. 세팅만 맞으면 GPTQ 모델들도 로딩이 잘된다.

1. 외부에서 wsl로 붙기위해 포트 연결하기

• 관리자 파워쉘에서 
• netsh interface portproxy add v4tov4 listenport=8001 listenaddress=0.0.0.0 connectport=8001 connectaddress=172.28.51.232
• 0.0.0.0은 외부에서 붙을 수 있게 열어준다는 뜻이고 8001포트는 외부에 열린 포트이다. 172.23.81.58은 wsl2 포트이다
• 핵심은 connectaddress 에 현재 우분투의 ip를 적어주는 것이다. 여기에 localhost가 들어가 있으니 접속이 계속 안되었던 거다.
• 만약에 위 내부 포트가 바뀔때를 대비해 스케쥴러를 이용하는데 이건
• https://velog.io/@popcorn_kim93/WSL2%EC%97%90-ssh-%EC%84%9C%EB%B2%84%EC%99%80-%EC%99%B8%EB%B6%80%EC%97%B0%EA%B2%B0-%ED%99%98%EA%B2%BD-%EA%B5%AC%EC%B6%95
• 를 보자. 여러번 재부팅해봤는데 아직은 별 문제가 없다

• 문제 발생시 아래는 해당 포트를 삭제하기
• netsh interface portproxy delete v4tov4 listenaddress=0.0.0.0 listenport=8001

• wsl에서 외부로 열린 포트 확인. 아래의 파워쉘 포트와 다르다
• netsh interface portproxy show v4tov4