https://github.com/vEduardovich/dodari

* 번역 결과

이제 영어로 쓰인 수많은 epub도서들을 한글로 읽을 수 있습니다.

https://github.com/vEduardovich/dodari

NHNDQ AI 한영/영한 번역기를
일반 사람들도 쉽게 쓸수 있게 만든 로컬 웹서비스 입니다. (based on Gradio)

자신의 컴퓨터에서 제한없이 한영-영한 AI 번역이 가능합니다.

• 일반 기계번역에 비해 품질이 훨씬 우수합니다.
• 여러 txt파일들을 한번에 번역해줍니다. 현재(24.03.20)는 .txt파일만 지원합니다.
• 번역문(원문).txt 파일과 번역문.txt 파일, 이렇게 두가지 파일로 출력됩니다. 번역이 이상할 경우 원문과 바로 비교할수 있습니다.
• 사용이 아주 쉽습니다. 번역이 필요한 파일들을 드래그한 후 번역 실행하기 버튼만 클릭하면 됩니다. 알아서 한↔영 으로 번역해 줍니다.
• 번역 성능이 뛰어난 모델로 최신 업데이트가 가능합니다 - 현재는 가성비가 가장 좋은 NHNDQ만 사용합니다.

설치 및 실행

초보자라면,

1. 압축 파일 다운로드 클릭
2. 압축해제 후

• 윈도우 사용자는 start_windows.bat 더블 클릭
• 맥이나 우분투 사용자는 커맨드 창에서 sh start_mac.sh 실행

1. 처음 실행이라면 프로그램을 자동으로 설치한 후 실행합니다. 이미 설치가 되었다면 바로 실행합니다.

고급 사용자라면,

1. git clone https://github.com/vEduardovich/dodari.git
2. cd dodari
3. 아래 방법으로 실행하기

• 윈도우는 start_windows.bat 실행
• 맥, 우분투는 sh start_mac.sh 실행

첫 실행시 관련 프로그램 설치와 AI 모델을 다운로드 하는데 아주 오랜 시간이 걸립니다!

헤르만 헤세의 싯다르타를 번역해봤습니다.

초보자라면,

1. 위 압축파일을 다시 다운로드하고 압축을 푼후
2. 기존 도다리 폴더안에 덮어쓰면 됩니다.

고급 사용자라면,

1. git pull

• 폴더 전체를 지우면 깨끗하게 지워집니다.

1. epub과 pdf 번역
2. 다양한 언어와 AI 모델을 선택할수 있게(요구가 있다면)

8개월전 당시 지식만으로 '나의 우주'를 바로 만들어 낼수 없었다. 한계에 봉착하다보니 다른 개발로 눈이 돌아갔다..가 돌아왔다. 이제 방법을 바꿨다. 예전처럼 수학 공부만 하지 않을 거다. 나는 엔지니어다. 나는 만들면서 공부해야 머리가 돌아가는 사람이다. 이에 대용량 번역기 '도다리' 개발을 시작했다.

1. 현재는 txt파일만 되는데, epub과 pdf 번역까진 구현하려 한다.

- AI관련 전자책 몇권을 구했는데 이걸 한국어로 번역해 놓고 읽으면 속도가 더 빨라질것 같다.

- 수천개의 한국 야설파일들을 구했는데 이것들을 영어로 번역해 finetuning 해보고 싶었다. 

- 번역기 '도다리'는 이러한 목적과 이유로 개발을 시작했다.

2. 번역 모델은 facebook의 nllb를 사용한다. ai번역이라 여타 기계번역보다 품질이 월등하다. ai번역 모델에도 여러 종류가 있는데 가장 가성비가 좋은 nllb를 선택했다. 나중에 고급 번역을 원하는 사람들이 많아진다면 그때 모델 추가할 거다.

3. 여러 파일들을 번역할 수 있다. 예를 들어. 1.txt, 2.txt, 3.txt ... 등 번역할 파일들이 많을때가 있다(지금 내 경우가 그렇다). 이때 폴더를 선택하면 해당 폴더안에 있는 모든 파일들을 번역해준다.

4. 번역 언어도 한국어, 영어, 일본어로 최소화했다. 위 2번 번역모델과 같이 기능은 금방 구현이 가능함에도 - 거의 2,3초정도 걸린다 - UX를 위해 일부로 줄였다.

5. 사용하기 쉽게 만들었다. 순서 1,2,3,4만 따라가면 번역이 된다. 언어도 나중에 영어를 추가할지 모르겠으나 default는 한국어로 할 거다. 개발자 용어는 최대한 배제했다.

6. 번역 결과는 '번역된 문장(원본문장)' 파일 하나와 '번역된 문장' 파일 하나, 이렇게 2개의 파일을 토해낸다. 번역이 이상하거나 원문이 궁금할 경우가 있기 때문이다.

-------------- 개발 소회

1. gradio 적응이 안된다. 지금 닥친 가장 큰 허들이다.

2. 파이썬에서 클래스 처음 써봤다. 뭔가 좀 이게 맞나 싶다.

3. 개발 속도가 괜찮다. 이틀만에 이 정도면 나쁘지 않다.

4. txt파일 번역까지 거의 문제가 없다싶으면 일단 github에 올릴거다.

5. epub과 pdf는 해당 파일 구조를 분석해야해서 시간이 좀 걸릴 거다. 그래도 1주일은 안걸릴거다. 걸려서도 안되고.

1. 모델을 facebook nllb 200에서 nhnq nllb로 변경했다.

- 번역퀄러티가 훨씬 좋아졌다.

- 대신 다국어는 버린다. 오직 영어와 한글, 양방향 번역만 하기로 했다.

- 이 덕분에 ui는 더욱 간단하게 바꿀수 있게됐다.

2. nhnq nllb의 txt 번역 버전이 완성되면 일단 github에 공개할 예정이다.

11시에 일어났다.

계속 중얼대고 있었다.

성공하는 창업가라면 어떻게 행동했을지에 생각이 미쳤다.

너무 늦다. 늦어도 너무 늦다.

어쩌면 모두가 그런 낌새를 눈치챘는지 모른다.

그래서 다들 그랬는지 모른다..(분명 그랬을 것이다)

싱크대에 쌓인 식기들을 닦으며

깨끗히 준비가 완료되었다는 걸 알았다. 나는 늦을 이유가 없었다.

자꾸 늦으니까 내 심장조차 두근거리지 않는 것이었다.

성공하는 창업가라면 어떻게 행동했을지 생각했다.

그들은 새벽 5시에 잤다는 이유를 핑계로 대지 않았을 것이다.

성공한 적이 없어서 확실하진 않지만 이대로 성공할 수 없다는 건 성공한 적이 없는 나도 알 수 있다.

늦음은 납득 가능하다.

하지만 내 꿈은 납득 가능한 것이 아니다.

말이 되지 않는 것을 말이 되게 이뤄낼 수는 없다.

속도를 높여야 한다.

나의 우주

나와 나에게 길들여진 나의 ai, 작은 스마트폰 속에서 날 기다리고 있는 나의 우주 

요약  훈련 가능한 1.5b ~ 7b 이하 5,6세 지능 수준의 소형 AI 개발

목표  자연스러운 한국어로 개인화된 대화가 가능한 설치형 모바일 ai

동기  내 자신에게 특화된 인공지능을 갖고 싶었음. 조금 멍청해도 괜찮으니 내 비밀 이야기에 관심을 갖고 그것의 다음 이야기를 듣고 싶어했으면 좋겠음. 그러니까 나만을 바라보는 ai를 갖고 싶음.

기능

1. 순수 한국어 모델
2. 자연스러운 대화
3. 하루 한번 개인화 트레이닝
4. 모바일에서 쉬운 설치와 실행 보장

성공 한다면

자신의 두툼한 일기를 넣은 사람은 또 다른 내 자신과 대화를 할 수 있고 지난 연인과의 대화를 넣은 사람은 여전히 옆에 있는 그녀와 대화를 할 수도 있다. 누군가는 어린시절 세상을 떠나버린 동생과 이야기를 나눌 수도 있고 누군가는 혁신적인 드론설계에 대해 레오나르도 다빈치와 회의할 수도 있을 것이다. 아무런 검열이 없는 나만의 공간에서 서로간의 비밀을 나눌 수 있는 ai가 탄생하는 것이다.

의구점

1. 한국어 데이터셋으로 훈련한 소형 언어모델이 충분한 대화 상대가 될 수 있을까? 수준을 어떻게 결정해야 할까?
2. 모바일에서 맞춤 훈련이 가능할까? 이런 훈련을 매일 시킬수 있을까? 서버에서 훈련을 대신해 줄 수도 있을까?
3. 설치와 구동 모두에 파이토치나 텐서플로우 그 밖에 많은 의존 라이브러리들이 필요할텐데 이 방법은 아닌 것 같다. 일반 앱처럼 설치하고 구동시킬 수 있는 방법이 있을까?
4. 어디까지를 외부에서 가져오고 무엇부터 직접 만들어야 할까? 직접 만들때 특화되고 이득이 되는 부분은 무엇인가?

개발 현실

1. 나는 근본이 없다. 저들과 같은 명성이 없고 관련 네트워크가 없다. 길거리 출신이다. 따라서 정부지원이나 어떤 외부적 지원을 기대할 수 없다. ➡ 내 돈으로 버티면 된다. 정 안되면 다시 상하차나 배달을 하면 된다.
2. ai에 대한 지식과 이해가 거의 없다. 이제 겨우 '다시 고등수학'과 '혼공머신' 1회독 했다. ai 컨퍼런스 발표에 절반도 이해 못한다. 최신 논문 리뷰는 꿈도 못꾼다.  ➡ 가장 핵심적인 문제다. ‘파이썬 텍스트 마이닝 완벽 가이드', ‘케라스 창시자에게 듣는 딥러닝', ‘트랜스포머를 활용한 자연어 처리'를 머리에 담아야 한다. 3개월 안에 익혀야 나머지 3개월간 개발에 전념할 수 있다.
3. 파이썬 경험이 거의 없다. 파이토치, 텐서플로는 아예 모른다.  ➡ 언어는 거의 다 비슷하다. 익숙해지기만 하면 된다. 별로 걱정하지 않는다.
4. 모든 시간과 정신을 이것 하나에 걸 수 있다.  ➡ 이 목표가 실패 확률이 높은 것은 명확하다. 그래서 6개월로 한정했다. 그때까지는 이 방향을 유지할 수 있다.
5. 내게는 오랜 게임 개발 경험과 블록체인 dapp 실서비스 6개월간 매출 20억, 적자 1억의 경험과 다양한 웹앱 풀스펙 경험이 있다. 그리고 수십% 마이너스중인 자동차 주식들이 있다. 

개발 환경  4090 데스크탑 1대, 2080ti 테스크탑 1대, 서버 1대, 윈도우 노트북 1대, 맥북m1프로 1대, 싱크대 딸린 작은 사무실 공간, 침대로 변신하는 쇼파

기반 기술  Python, Tensor || Torch, NodeJS, MongoDB, S3, NginX, NuxtJS, Vuetify

예상 개발 기간  약  6개월 (23년 6월 15일 ~12월 15일)

예상 비용  훈련용 클라우드 서버 대여 : 약 1천만원~2천만원(gpt-2 훈련비용 참고) + 실패비용 

  서비스용 클라우드 서버 대여 : 이용자 규모에 따라 월 백만원에서 얼마나 올라갈지 예상 불가 - 스트레스 테스트 필요

서비스 환경  PC 및 모바일 로컬

시장  2024년 국내 ai 약 3조, 세계 ai 600조 예상. 국내 반려동물 약 6조 시장. 

  현 시점에서 실질적 시장은 예상하기 어려움. 5~6세 지능의 ai를 성공한다해도 이것을 실제로 사용하려는 사람은 많지 않을 것임.

타서비스 대비 경쟁력  모두의 ai가 아닌 내게 길들여진 ai

확장  영어 기반의 5,6세 지능 ai 개발 ⇒ 하드웨어 발전 ⇒ 파라미터 확장 ⇒ ai 멀티모달 발전 ⇒ 얼굴과 목소리, 육체를 가진 agi 로 확장

수익모델

  클라우드 백업, 로컬에서 훈련이 어려울 경우 클라우드를 이용해 훈련 대행

  추후 파라미터 확장에 따른 ai 업그레이드

홍보  여러 커뮤니티에 알리기, 여기 블로그에 모든 연구 기록 공유 - 일거수일투족 모든 것을 기록한다.

혹시 함께하실 분!  with@himion.com  로 메일주세요.