๊ฐœ๋ฐœ์— ์ด์Šˆ๊ฐ€ ์ƒ๊ธฐ๋ฉด ๋ฐ”๋กœ๋ฐ”๋กœ ์ฒ˜๋ฆฌํ•˜์ง€๋งŒ
์‚ฌ์—…์— ์ด์Šˆ๊ฐ€ ์ƒ๊ธฐ๋ฉด ์ผ๋‹จ ๋ฏธ๋ฃจ๊ณ  to do list๋งŒ ๋Š˜๋ ค๊ฐ€๊ณ  ์žˆ๋‹ค. ์‹คํ–‰์— ์˜ฎ๊ธฐ์ง€ ์•Š๋Š”๋‹ค.
์ด๊ฑธ ์–ด๋–ป๊ฒŒ ์‚ฌ์—…๊ฐ€๋ผ ํ• ์ˆ˜์žˆ๋Š”๊ฐ€
์‚ฌ์—…๊ฐ€๊ฐ€ ๋˜๊ธฐ ์œ„ํ•ด ๊ฐœ๋ฐœ์„ ์ตํ˜”๋Š”๋ฐ ์‚ฌ์—…์€ ํ•˜์ง€ ์•Š๊ณ  ์ž๊พธ ๊ฐœ๋ฐœ ๋’ค๋กœ ์ˆจ๊ณ ๋งŒ ์žˆ๋‹ค.
ํ•œ์‹ฌํ•˜๋‹ค

https://github.com/vEduardovich/dodari

 

GitHub - vEduardovich/dodari: AI ์˜ํ•œ-ํ•œ์˜ ๋ฒˆ์—ญ๊ธฐ, ๋„๋‹ค๋ฆฌ en-ko/ ko-en AI translator

AI ์˜ํ•œ-ํ•œ์˜ ๋ฒˆ์—ญ๊ธฐ, ๋„๋‹ค๋ฆฌ en-ko/ ko-en AI translator. Contribute to vEduardovich/dodari development by creating an account on GitHub.

github.com

 

* ๋ฒˆ์—ญ ๊ฒฐ๊ณผ

 

 

 

์ด์ œ ์˜์–ด๋กœ ์“ฐ์ธ ์ˆ˜๋งŽ์€ epub๋„์„œ๋“ค์„ ํ•œ๊ธ€๋กœ ์ฝ์„ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

https://github.com/vEduardovich/dodari

 

GitHub - vEduardovich/dodari: AI ์˜ํ•œ-ํ•œ์˜ ๋ฒˆ์—ญ๊ธฐ, ๋„๋‹ค๋ฆฌ en-ko/ ko-en AI translator

AI ์˜ํ•œ-ํ•œ์˜ ๋ฒˆ์—ญ๊ธฐ, ๋„๋‹ค๋ฆฌ en-ko/ ko-en AI translator. Contribute to vEduardovich/dodari development by creating an account on GitHub.

github.com

 

๋„๋‹ค๋ฆฌ Dodari

NHNDQ AI ํ•œ์˜/์˜ํ•œ ๋ฒˆ์—ญ๊ธฐ๋ฅผ
์ผ๋ฐ˜ ์‚ฌ๋žŒ๋“ค๋„ ์‰ฝ๊ฒŒ ์“ธ์ˆ˜ ์žˆ๊ฒŒ ๋งŒ๋“  ๋กœ์ปฌ ์›น์„œ๋น„์Šค ์ž…๋‹ˆ๋‹ค. (based on Gradio)

ํŠน์ง•

์ž์‹ ์˜ ์ปดํ“จํ„ฐ์—์„œ ์ œํ•œ์—†์ด ํ•œ์˜-์˜ํ•œ AI ๋ฒˆ์—ญ์ด ๊ฐ€๋Šฅํ•ฉ๋‹ˆ๋‹ค.

  • ์ผ๋ฐ˜ ๊ธฐ๊ณ„๋ฒˆ์—ญ์— ๋น„ํ•ด ํ’ˆ์งˆ์ด ํ›จ์”ฌ ์šฐ์ˆ˜ํ•ฉ๋‹ˆ๋‹ค.
  • ์—ฌ๋Ÿฌ txtํŒŒ์ผ๋“ค์„ ํ•œ๋ฒˆ์— ๋ฒˆ์—ญํ•ด์ค๋‹ˆ๋‹ค. ํ˜„์žฌ(24.03.20)๋Š” .txtํŒŒ์ผ๋งŒ ์ง€์›ํ•ฉ๋‹ˆ๋‹ค.
  • ๋ฒˆ์—ญ๋ฌธ(์›๋ฌธ).txt ํŒŒ์ผ๊ณผ ๋ฒˆ์—ญ๋ฌธ.txt ํŒŒ์ผ, ์ด๋ ‡๊ฒŒ ๋‘๊ฐ€์ง€ ํŒŒ์ผ๋กœ ์ถœ๋ ฅ๋ฉ๋‹ˆ๋‹ค. ๋ฒˆ์—ญ์ด ์ด์ƒํ•  ๊ฒฝ์šฐ ์›๋ฌธ๊ณผ ๋ฐ”๋กœ ๋น„๊ตํ• ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
  • ์‚ฌ์šฉ์ด ์•„์ฃผ ์‰ฝ์Šต๋‹ˆ๋‹ค. ๋ฒˆ์—ญ์ด ํ•„์š”ํ•œ ํŒŒ์ผ๋“ค์„ ๋“œ๋ž˜๊ทธํ•œ ํ›„ ๋ฒˆ์—ญ ์‹คํ–‰ํ•˜๊ธฐ ๋ฒ„ํŠผ๋งŒ ํด๋ฆญํ•˜๋ฉด ๋ฉ๋‹ˆ๋‹ค. ์•Œ์•„์„œ ํ•œ↔์˜ ์œผ๋กœ ๋ฒˆ์—ญํ•ด ์ค๋‹ˆ๋‹ค.
  • ๋ฒˆ์—ญ ์„ฑ๋Šฅ์ด ๋›ฐ์–ด๋‚œ ๋ชจ๋ธ๋กœ ์ตœ์‹  ์—…๋ฐ์ดํŠธ๊ฐ€ ๊ฐ€๋Šฅํ•ฉ๋‹ˆ๋‹ค - ํ˜„์žฌ๋Š” ๊ฐ€์„ฑ๋น„๊ฐ€ ๊ฐ€์žฅ ์ข‹์€ NHNDQ๋งŒ ์‚ฌ์šฉํ•ฉ๋‹ˆ๋‹ค.

์„ค์น˜ ๋ฐ ์‹คํ–‰

 

์ดˆ๋ณด์ž๋ผ๋ฉด,

  1. ์••์ถ• ํŒŒ์ผ ๋‹ค์šด๋กœ๋“œ ํด๋ฆญ
  2. ์••์ถ•ํ•ด์ œ ํ›„
  • ์œˆ๋„์šฐ ์‚ฌ์šฉ์ž๋Š” start_windows.bat ๋”๋ธ” ํด๋ฆญ
  • ๋งฅ์ด๋‚˜ ์šฐ๋ถ„ํˆฌ ์‚ฌ์šฉ์ž๋Š” ์ปค๋งจ๋“œ ์ฐฝ์—์„œ sh start_mac.sh ์‹คํ–‰
  1. ์ฒ˜์Œ ์‹คํ–‰์ด๋ผ๋ฉด ํ”„๋กœ๊ทธ๋žจ์„ ์ž๋™์œผ๋กœ ์„ค์น˜ํ•œ ํ›„ ์‹คํ–‰ํ•ฉ๋‹ˆ๋‹ค. ์ด๋ฏธ ์„ค์น˜๊ฐ€ ๋˜์—ˆ๋‹ค๋ฉด ๋ฐ”๋กœ ์‹คํ–‰ํ•ฉ๋‹ˆ๋‹ค.

 

๊ณ ๊ธ‰ ์‚ฌ์šฉ์ž๋ผ๋ฉด,

  1. git clone https://github.com/vEduardovich/dodari.git
  2. cd dodari
  3. ์•„๋ž˜ ๋ฐฉ๋ฒ•์œผ๋กœ ์‹คํ–‰ํ•˜๊ธฐ
  • ์œˆ๋„์šฐ๋Š” start_windows.bat ์‹คํ–‰
  • ๋งฅ, ์šฐ๋ถ„ํˆฌ๋Š” sh start_mac.sh ์‹คํ–‰

์ฒซ ์‹คํ–‰์‹œ ๊ด€๋ จ ํ”„๋กœ๊ทธ๋žจ ์„ค์น˜์™€ AI ๋ชจ๋ธ์„ ๋‹ค์šด๋กœ๋“œ ํ•˜๋Š”๋ฐ ์•„์ฃผ ์˜ค๋žœ ์‹œ๊ฐ„์ด ๊ฑธ๋ฆฝ๋‹ˆ๋‹ค!

๋ฒˆ์—ญ ์†๋„ ๋น„๊ต

ํ—ค๋ฅด๋งŒ ํ—ค์„ธ์˜ ์‹ฏ๋‹ค๋ฅดํƒ€๋ฅผ ๋ฒˆ์—ญํ•ด๋ดค์Šต๋‹ˆ๋‹ค.

 

์‚ฌ์–‘ ์šด์˜์ฒด์ œ CPU GPU ๋ฌธ์žฅ์ˆ˜ ๊ฑธ๋ฆฐ์‹œ๊ฐ„
LG์ „์ž 2020 ๊ทธ๋žจ 17 ์œˆ๋„์šฐ10 i7 (1.3GHz) ๋‚ด์žฅ๊ทธ๋ž˜ํ”ฝ 378KB
2577๊ฐœ
2์‹œ๊ฐ„ 55๋ถ„ 24์ดˆ
Mac Pro M1 iOS 10์ฝ”์–ด 16์ฝ”์–ด 1์‹œ๊ฐ„ 19๋ถ„ 51์ดˆ
๋ฐ์Šคํฌํƒ‘ Ubuntu22.04 i9-13900k RTX4090 24GB 5๋ถ„ 25์ดˆ

์ตœ์‹  ๋ฒ„์ „์œผ๋กœ ์—…๋ฐ์ดํŠธ ํ•˜๊ธฐ

์ดˆ๋ณด์ž๋ผ๋ฉด,

  1. ์œ„ ์••์ถ•ํŒŒ์ผ์„ ๋‹ค์‹œ ๋‹ค์šด๋กœ๋“œํ•˜๊ณ  ์••์ถ•์„ ํ‘ผํ›„
  2. ๊ธฐ์กด ๋„๋‹ค๋ฆฌ ํด๋”์•ˆ์— ๋ฎ์–ด์“ฐ๋ฉด ๋ฉ๋‹ˆ๋‹ค.

๊ณ ๊ธ‰ ์‚ฌ์šฉ์ž๋ผ๋ฉด,

  1. git pull

์‚ญ์ œํ•˜๊ธฐ

  • ํด๋” ์ „์ฒด๋ฅผ ์ง€์šฐ๋ฉด ๊นจ๋—ํ•˜๊ฒŒ ์ง€์›Œ์ง‘๋‹ˆ๋‹ค.

์ถ”ํ›„ ๊ณ„ํš

  1. epub๊ณผ pdf ๋ฒˆ์—ญ
  2. ๋‹ค์–‘ํ•œ ์–ธ์–ด์™€ AI ๋ชจ๋ธ์„ ์„ ํƒํ• ์ˆ˜ ์žˆ๊ฒŒ(์š”๊ตฌ๊ฐ€ ์žˆ๋‹ค๋ฉด)

8๊ฐœ์›”์ „ ๋‹น์‹œ ์ง€์‹๋งŒ์œผ๋กœ '๋‚˜์˜ ์šฐ์ฃผ'๋ฅผ ๋ฐ”๋กœ ๋งŒ๋“ค์–ด ๋‚ผ์ˆ˜ ์—†์—ˆ๋‹ค. ํ•œ๊ณ„์— ๋ด‰์ฐฉํ•˜๋‹ค๋ณด๋‹ˆ ๋‹ค๋ฅธ ๊ฐœ๋ฐœ๋กœ ๋ˆˆ์ด ๋Œ์•„๊ฐ”๋‹ค..๊ฐ€ ๋Œ์•„์™”๋‹ค. ์ด์ œ ๋ฐฉ๋ฒ•์„ ๋ฐ”๊ฟจ๋‹ค. ์˜ˆ์ „์ฒ˜๋Ÿผ ์ˆ˜ํ•™ ๊ณต๋ถ€๋งŒ ํ•˜์ง€ ์•Š์„ ๊ฑฐ๋‹ค. ๋‚˜๋Š” ์—”์ง€๋‹ˆ์–ด๋‹ค. ๋‚˜๋Š” ๋งŒ๋“ค๋ฉด์„œ ๊ณต๋ถ€ํ•ด์•ผ ๋จธ๋ฆฌ๊ฐ€ ๋Œ์•„๊ฐ€๋Š” ์‚ฌ๋žŒ์ด๋‹ค. ์ด์— ๋Œ€์šฉ๋Ÿ‰ ๋ฒˆ์—ญ๊ธฐ '๋„๋‹ค๋ฆฌ' ๊ฐœ๋ฐœ์„ ์‹œ์ž‘ํ–ˆ๋‹ค.

 

1. ํ˜„์žฌ๋Š” txtํŒŒ์ผ๋งŒ ๋˜๋Š”๋ฐ, epub๊ณผ pdf ๋ฒˆ์—ญ๊นŒ์ง„ ๊ตฌํ˜„ํ•˜๋ ค ํ•œ๋‹ค.

- AI๊ด€๋ จ ์ „์ž์ฑ… ๋ช‡๊ถŒ์„ ๊ตฌํ–ˆ๋Š”๋ฐ ์ด๊ฑธ ํ•œ๊ตญ์–ด๋กœ ๋ฒˆ์—ญํ•ด ๋†“๊ณ  ์ฝ์œผ๋ฉด ์†๋„๊ฐ€ ๋” ๋นจ๋ผ์งˆ๊ฒƒ ๊ฐ™๋‹ค.

- ์ˆ˜์ฒœ๊ฐœ์˜ ํ•œ๊ตญ ์•ผ์„คํŒŒ์ผ๋“ค์„ ๊ตฌํ–ˆ๋Š”๋ฐ ์ด๊ฒƒ๋“ค์„ ์˜์–ด๋กœ ๋ฒˆ์—ญํ•ด finetuning ํ•ด๋ณด๊ณ  ์‹ถ์—ˆ๋‹ค. 

- ๋ฒˆ์—ญ๊ธฐ '๋„๋‹ค๋ฆฌ'๋Š” ์ด๋Ÿฌํ•œ ๋ชฉ์ ๊ณผ ์ด์œ ๋กœ ๊ฐœ๋ฐœ์„ ์‹œ์ž‘ํ–ˆ๋‹ค.

 

2. ๋ฒˆ์—ญ ๋ชจ๋ธ์€ facebook์˜ nllb๋ฅผ ์‚ฌ์šฉํ•œ๋‹ค. ai๋ฒˆ์—ญ์ด๋ผ ์—ฌํƒ€ ๊ธฐ๊ณ„๋ฒˆ์—ญ๋ณด๋‹ค ํ’ˆ์งˆ์ด ์›”๋“ฑํ•˜๋‹ค. ai๋ฒˆ์—ญ ๋ชจ๋ธ์—๋„ ์—ฌ๋Ÿฌ ์ข…๋ฅ˜๊ฐ€ ์žˆ๋Š”๋ฐ ๊ฐ€์žฅ ๊ฐ€์„ฑ๋น„๊ฐ€ ์ข‹์€ nllb๋ฅผ ์„ ํƒํ–ˆ๋‹ค. ๋‚˜์ค‘์— ๊ณ ๊ธ‰ ๋ฒˆ์—ญ์„ ์›ํ•˜๋Š” ์‚ฌ๋žŒ๋“ค์ด ๋งŽ์•„์ง„๋‹ค๋ฉด ๊ทธ๋•Œ ๋ชจ๋ธ ์ถ”๊ฐ€ํ•  ๊ฑฐ๋‹ค.

3. ์—ฌ๋Ÿฌ ํŒŒ์ผ๋“ค์„ ๋ฒˆ์—ญํ•  ์ˆ˜ ์žˆ๋‹ค. ์˜ˆ๋ฅผ ๋“ค์–ด. 1.txt, 2.txt, 3.txt ... ๋“ฑ ๋ฒˆ์—ญํ•  ํŒŒ์ผ๋“ค์ด ๋งŽ์„๋•Œ๊ฐ€ ์žˆ๋‹ค(์ง€๊ธˆ ๋‚ด ๊ฒฝ์šฐ๊ฐ€ ๊ทธ๋ ‡๋‹ค). ์ด๋•Œ ํด๋”๋ฅผ ์„ ํƒํ•˜๋ฉด ํ•ด๋‹น ํด๋”์•ˆ์— ์žˆ๋Š” ๋ชจ๋“  ํŒŒ์ผ๋“ค์„ ๋ฒˆ์—ญํ•ด์ค€๋‹ค.

 

4. ๋ฒˆ์—ญ ์–ธ์–ด๋„ ํ•œ๊ตญ์–ด, ์˜์–ด, ์ผ๋ณธ์–ด๋กœ ์ตœ์†Œํ™”ํ–ˆ๋‹ค. ์œ„ 2๋ฒˆ ๋ฒˆ์—ญ๋ชจ๋ธ๊ณผ ๊ฐ™์ด ๊ธฐ๋Šฅ์€ ๊ธˆ๋ฐฉ ๊ตฌํ˜„์ด ๊ฐ€๋Šฅํ•จ์—๋„ - ๊ฑฐ์˜ 2,3์ดˆ์ •๋„ ๊ฑธ๋ฆฐ๋‹ค - UX๋ฅผ ์œ„ํ•ด ์ผ๋ถ€๋กœ ์ค„์˜€๋‹ค.

 

5. ์‚ฌ์šฉํ•˜๊ธฐ ์‰ฝ๊ฒŒ ๋งŒ๋“ค์—ˆ๋‹ค. ์ˆœ์„œ 1,2,3,4๋งŒ ๋”ฐ๋ผ๊ฐ€๋ฉด ๋ฒˆ์—ญ์ด ๋œ๋‹ค. ์–ธ์–ด๋„ ๋‚˜์ค‘์— ์˜์–ด๋ฅผ ์ถ”๊ฐ€ํ• ์ง€ ๋ชจ๋ฅด๊ฒ ์œผ๋‚˜ default๋Š” ํ•œ๊ตญ์–ด๋กœ ํ•  ๊ฑฐ๋‹ค. ๊ฐœ๋ฐœ์ž ์šฉ์–ด๋Š” ์ตœ๋Œ€ํ•œ ๋ฐฐ์ œํ–ˆ๋‹ค.

 

6. ๋ฒˆ์—ญ ๊ฒฐ๊ณผ๋Š” '๋ฒˆ์—ญ๋œ ๋ฌธ์žฅ(์›๋ณธ๋ฌธ์žฅ)' ํŒŒ์ผ ํ•˜๋‚˜์™€ '๋ฒˆ์—ญ๋œ ๋ฌธ์žฅ' ํŒŒ์ผ ํ•˜๋‚˜, ์ด๋ ‡๊ฒŒ 2๊ฐœ์˜ ํŒŒ์ผ์„ ํ† ํ•ด๋‚ธ๋‹ค. ๋ฒˆ์—ญ์ด ์ด์ƒํ•˜๊ฑฐ๋‚˜ ์›๋ฌธ์ด ๊ถ๊ธˆํ•  ๊ฒฝ์šฐ๊ฐ€ ์žˆ๊ธฐ ๋•Œ๋ฌธ์ด๋‹ค.

 

 

-------------- ๊ฐœ๋ฐœ ์†ŒํšŒ

1. gradio ์ ์‘์ด ์•ˆ๋œ๋‹ค. ์ง€๊ธˆ ๋‹ฅ์นœ ๊ฐ€์žฅ ํฐ ํ—ˆ๋“ค์ด๋‹ค.

2. ํŒŒ์ด์ฌ์—์„œ ํด๋ž˜์Šค ์ฒ˜์Œ ์จ๋ดค๋‹ค. ๋ญ”๊ฐ€ ์ข€ ์ด๊ฒŒ ๋งž๋‚˜ ์‹ถ๋‹ค.

3. ๊ฐœ๋ฐœ ์†๋„๊ฐ€ ๊ดœ์ฐฎ๋‹ค. ์ดํ‹€๋งŒ์— ์ด ์ •๋„๋ฉด ๋‚˜์˜์ง€ ์•Š๋‹ค.

4. txtํŒŒ์ผ ๋ฒˆ์—ญ๊นŒ์ง€ ๊ฑฐ์˜ ๋ฌธ์ œ๊ฐ€ ์—†๋‹ค์‹ถ์œผ๋ฉด ์ผ๋‹จ github์— ์˜ฌ๋ฆด๊ฑฐ๋‹ค.

5. epub๊ณผ pdf๋Š” ํ•ด๋‹น ํŒŒ์ผ ๊ตฌ์กฐ๋ฅผ ๋ถ„์„ํ•ด์•ผํ•ด์„œ ์‹œ๊ฐ„์ด ์ข€ ๊ฑธ๋ฆด ๊ฑฐ๋‹ค. ๊ทธ๋ž˜๋„ 1์ฃผ์ผ์€ ์•ˆ๊ฑธ๋ฆด๊ฑฐ๋‹ค. ๊ฑธ๋ ค์„œ๋„ ์•ˆ๋˜๊ณ .


1. ๋ชจ๋ธ์„ facebook nllb 200์—์„œ nhnq nllb๋กœ ๋ณ€๊ฒฝํ–ˆ๋‹ค.

- ๋ฒˆ์—ญํ€„๋Ÿฌํ‹ฐ๊ฐ€ ํ›จ์”ฌ ์ข‹์•„์กŒ๋‹ค.

- ๋Œ€์‹  ๋‹ค๊ตญ์–ด๋Š” ๋ฒ„๋ฆฐ๋‹ค. ์˜ค์ง ์˜์–ด์™€ ํ•œ๊ธ€, ์–‘๋ฐฉํ–ฅ ๋ฒˆ์—ญ๋งŒ ํ•˜๊ธฐ๋กœ ํ–ˆ๋‹ค.

- ์ด ๋•๋ถ„์— ui๋Š” ๋”์šฑ ๊ฐ„๋‹จํ•˜๊ฒŒ ๋ฐ”๊ฟ€์ˆ˜ ์žˆ๊ฒŒ๋๋‹ค.

2. nhnq nllb์˜ txt ๋ฒˆ์—ญ ๋ฒ„์ „์ด ์™„์„ฑ๋˜๋ฉด ์ผ๋‹จ github์— ๊ณต๊ฐœํ•  ์˜ˆ์ •์ด๋‹ค.

 

๊ทธ๋ž˜์„œ ๊ทธ๋Š” ์ฒญ๋…„์˜ ์‹œ๋ จ์„ ํฅ๋ฏธ๋กญ๊ฒŒ ๋ฐ”๋ผ๋ณธ๋‹ค๊ณ  ํ–ˆ๋‹ค.

๊ทธ๋•Œ์˜ ํƒœ๋„๊ฐ€ ์•ž์œผ๋กœ์˜ ๊ทธ๋ฅผ ๊ฒฐ์ •ํ•œ๋‹ค๊ณ  ํ–ˆ๋‹ค.

 

์–ด๋Š ์ฑ…์—์„œ ์ฝ์—ˆ๋Š”์ง€ ๊ธฐ์–ต์ด ๋‚˜์ง€ ์•Š๋Š”๋‹ค.

๋„ˆ๋ฌด๋‚˜ ์˜ค๋ž˜๋œ ์ด์•ผ๊ธฐ๋‹ค.

 

ํ•œ ์‚ฌ๋žŒ์˜ ๊ทธ๋ฆ‡์€ ๊ทธ๊ฐ€ ๊ทธ ์‹œ๋ จ์„ ์–ด๋–ป๊ฒŒ ๊ฒฌ๋ŽŒ๋‚ด๋Š”๊ฐ€๋กœ ๊ฒฐ์ •๋œ๋‹ค๊ณ  ํ•œ๋‹ค.

์—ฌ๊ธฐ๊ฐ€ ๋‚ด ๊ทธ๋ฆ‡์„ ๋ณด์—ฌ์ค„ ์ˆ˜ ์žˆ๋Š” ์ˆœ๊ฐ„์ด๋‹ค.

๋‚˜์˜ ํฌ๊ธฐ๋ฅผ ๋ณด์•„๋ผ.

+ Recent posts