Wookang makes AI

도다리 고급 번역이 어느정도 안정됨에 따라 코드 공개를 결정했습니다.

1. vram이 23이상일때 야놀자 모델사용 가능
2. 운영체제가 리눅스일 경우 vllm(AI 가속 모듈) 사용 가능
3. 번역 프롬프트 커스터마이징
4. 필터 문구 커스터마이징

현재 코드는 개발자인 저에게만 맞춰져 있어 빈틈이 많습니다.

모두가 쓸수 있게 바꾸는데에는 시간이 좀 걸릴 것 같습니다.

소스코드 전면 공개 후 다시 공지하겠습니다!

현재(24.07.19) eeve(고급번역)모델을 파인튜닝하고 있습니다.

여러방식으로 전처리, 후처리, 프롬프트 엔지니어링을 테스트 해보았지만

번역 출력시 발생하는 환각현상을 제거하기 어려웠기 때문입니다.

오늘 3차 파인튜닝 결과물을 이용해 테스트를 하고 있는데 지금까지는 결과가 희망적으로 보입니다. => 다시 비관적으로 보입니다

gguf모델도 함께 만들고 있습니다. 이 경우 cpu를 이용해 구동시킬수도 있습니다.

보다 많은 분들이 도다리 고급모델을 사용해 보실수 있게 최대한 빨리 작업하겠습니다.

오늘(24.07.21) 테스트에서 만족할만한 결과가 나왔습니다.

그래서 지금 기분이 좋습니다ㅋ 여러가지 테스트를 조금 더 진행한 후 완성된 eeve-dodari모델과 gguf버전의 허깅스페이스 주소를 공유하겠습니다!

지금이 24.07.21 일요일 새벽 3시 30분.

파인튜닝이 성공적으로 된것 같습니다. 

심지어 후처리를 하지 않아도 됩니다. - 그동안 ai의 환각현상 때문에 엄청난 후처리를 해야만 했고 그렇게 했어도 여전히 많은 환각문구들을 해결하지 못하고 있었습니다 - 마치 transformer의 pipeline에서 translation을 사용한 것과 같은 처리가 됩니다.

이렇게 간단한 데이터셋으로 이리도 깔끔하게 해결될줄은 몰랐네요. 

* 허깅스페이스 eeve-dodari 모델 링크

https://huggingface.co/blueflag/eeve-yanolja-dodari

* eeve-dodari-gguf 모델 링크 (8bit양자화)

https://huggingface.co/blueflag/eeve-yanolja-dodari_gguf

* basic template

prompt = f'''
Translate Human sentences into {언어설정. Korean or English} in short. Do not add anything else.\nHuman: {번역할 문구}\nAssistant:\n
'''

* 직접 모델 로딩하여 사용하실 분들에게

위 모델을 다운로드 받으신 후 prompt를 위와 같은 형식으로 번역요청하시면 아주 깔끔한 결과를 보실수 있을 겁니다.

이번 파인튜닝 작업에 밀려 도다리 고급모델 코드 공개가 더욱 늦어졌네요. 하지만 이번 파인튜닝 성과가 좋은 만큼 코드들을 더욱 다듬어 공개하도록 하겠습니다.