๋„๋‹ค๋ฆฌ ๊ณ ๊ธ‰ ๋ฒˆ์—ญ์ด ์–ด๋Š์ •๋„ ์•ˆ์ •๋จ์— ๋”ฐ๋ผ ์ฝ”๋“œ ๊ณต๊ฐœ๋ฅผ ๊ฒฐ์ •ํ–ˆ์Šต๋‹ˆ๋‹ค.

  1. vram์ด 23์ด์ƒ์ผ๋•Œ ์•ผ๋†€์ž ๋ชจ๋ธ์‚ฌ์šฉ ๊ฐ€๋Šฅ
  2. ์šด์˜์ฒด์ œ๊ฐ€ ๋ฆฌ๋ˆ…์Šค์ผ ๊ฒฝ์šฐ vllm(AI ๊ฐ€์† ๋ชจ๋“ˆ) ์‚ฌ์šฉ ๊ฐ€๋Šฅ
  3. ๋ฒˆ์—ญ ํ”„๋กฌํ”„ํŠธ ์ปค์Šคํ„ฐ๋งˆ์ด์ง•
  4. ํ•„ํ„ฐ ๋ฌธ๊ตฌ ์ปค์Šคํ„ฐ๋งˆ์ด์ง•

ํ˜„์žฌ ์ฝ”๋“œ๋Š” ๊ฐœ๋ฐœ์ž์ธ ์ €์—๊ฒŒ๋งŒ ๋งž์ถฐ์ ธ ์žˆ์–ด ๋นˆํ‹ˆ์ด ๋งŽ์Šต๋‹ˆ๋‹ค.

๋ชจ๋‘๊ฐ€ ์“ธ์ˆ˜ ์žˆ๊ฒŒ ๋ฐ”๊พธ๋Š”๋ฐ์—๋Š” ์‹œ๊ฐ„์ด ์ข€ ๊ฑธ๋ฆด ๊ฒƒ ๊ฐ™์Šต๋‹ˆ๋‹ค.

 

์†Œ์Šค์ฝ”๋“œ ์ „๋ฉด ๊ณต๊ฐœ ํ›„ ๋‹ค์‹œ ๊ณต์ง€ํ•˜๊ฒ ์Šต๋‹ˆ๋‹ค!


ํ˜„์žฌ(24.07.19) eeve(๊ณ ๊ธ‰๋ฒˆ์—ญ)๋ชจ๋ธ์„ ํŒŒ์ธํŠœ๋‹ํ•˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค.

์—ฌ๋Ÿฌ๋ฐฉ์‹์œผ๋กœ ์ „์ฒ˜๋ฆฌ, ํ›„์ฒ˜๋ฆฌ, ํ”„๋กฌํ”„ํŠธ ์—”์ง€๋‹ˆ์–ด๋ง์„ ํ…Œ์ŠคํŠธ ํ•ด๋ณด์•˜์ง€๋งŒ

๋ฒˆ์—ญ ์ถœ๋ ฅ์‹œ ๋ฐœ์ƒํ•˜๋Š” ํ™˜๊ฐํ˜„์ƒ์„ ์ œ๊ฑฐํ•˜๊ธฐ ์–ด๋ ค์› ๊ธฐ ๋•Œ๋ฌธ์ž…๋‹ˆ๋‹ค.

 

์˜ค๋Š˜ 3์ฐจ ํŒŒ์ธํŠœ๋‹ ๊ฒฐ๊ณผ๋ฌผ์„ ์ด์šฉํ•ด ํ…Œ์ŠคํŠธ๋ฅผ ํ•˜๊ณ  ์žˆ๋Š”๋ฐ ์ง€๊ธˆ๊นŒ์ง€๋Š” ๊ฒฐ๊ณผ๊ฐ€ ํฌ๋ง์ ์œผ๋กœ ๋ณด์ž…๋‹ˆ๋‹ค. => ๋‹ค์‹œ ๋น„๊ด€์ ์œผ๋กœ ๋ณด์ž…๋‹ˆ๋‹ค

gguf๋ชจ๋ธ๋„ ํ•จ๊ป˜ ๋งŒ๋“ค๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. ์ด ๊ฒฝ์šฐ cpu๋ฅผ ์ด์šฉํ•ด ๊ตฌ๋™์‹œํ‚ฌ์ˆ˜๋„ ์žˆ์Šต๋‹ˆ๋‹ค.

 

๋ณด๋‹ค ๋งŽ์€ ๋ถ„๋“ค์ด ๋„๋‹ค๋ฆฌ ๊ณ ๊ธ‰๋ชจ๋ธ์„ ์‚ฌ์šฉํ•ด ๋ณด์‹ค์ˆ˜ ์žˆ๊ฒŒ ์ตœ๋Œ€ํ•œ ๋นจ๋ฆฌ ์ž‘์—…ํ•˜๊ฒ ์Šต๋‹ˆ๋‹ค.


์˜ค๋Š˜(24.07.21) ํ…Œ์ŠคํŠธ์—์„œ ๋งŒ์กฑํ• ๋งŒํ•œ ๊ฒฐ๊ณผ๊ฐ€ ๋‚˜์™”์Šต๋‹ˆ๋‹ค.

๊ทธ๋ž˜์„œ ์ง€๊ธˆ ๊ธฐ๋ถ„์ด ์ข‹์Šต๋‹ˆ๋‹คใ…‹ ์—ฌ๋Ÿฌ๊ฐ€์ง€ ํ…Œ์ŠคํŠธ๋ฅผ ์กฐ๊ธˆ ๋” ์ง„ํ–‰ํ•œ ํ›„ ์™„์„ฑ๋œ eeve-dodari๋ชจ๋ธ๊ณผ gguf๋ฒ„์ „์˜ ํ—ˆ๊น…์ŠคํŽ˜์ด์Šค ์ฃผ์†Œ๋ฅผ ๊ณต์œ ํ•˜๊ฒ ์Šต๋‹ˆ๋‹ค!


์ง€๊ธˆ์ด 24.07.21 ์ผ์š”์ผ ์ƒˆ๋ฒฝ 3์‹œ 30๋ถ„.

ํŒŒ์ธํŠœ๋‹์ด ์„ฑ๊ณต์ ์œผ๋กœ ๋œ๊ฒƒ ๊ฐ™์Šต๋‹ˆ๋‹ค. 

์‹ฌ์ง€์–ด ํ›„์ฒ˜๋ฆฌ๋ฅผ ํ•˜์ง€ ์•Š์•„๋„ ๋ฉ๋‹ˆ๋‹ค. - ๊ทธ๋™์•ˆ ai์˜ ํ™˜๊ฐํ˜„์ƒ ๋•Œ๋ฌธ์— ์—„์ฒญ๋‚œ ํ›„์ฒ˜๋ฆฌ๋ฅผ ํ•ด์•ผ๋งŒ ํ–ˆ๊ณ  ๊ทธ๋ ‡๊ฒŒ ํ–ˆ์–ด๋„ ์—ฌ์ „ํžˆ ๋งŽ์€ ํ™˜๊ฐ๋ฌธ๊ตฌ๋“ค์„ ํ•ด๊ฒฐํ•˜์ง€ ๋ชปํ•˜๊ณ  ์žˆ์—ˆ์Šต๋‹ˆ๋‹ค - ๋งˆ์น˜ transformer์˜ pipeline์—์„œ translation์„ ์‚ฌ์šฉํ•œ ๊ฒƒ๊ณผ ๊ฐ™์€ ์ฒ˜๋ฆฌ๊ฐ€ ๋ฉ๋‹ˆ๋‹ค.

์ด๋ ‡๊ฒŒ ๊ฐ„๋‹จํ•œ ๋ฐ์ดํ„ฐ์…‹์œผ๋กœ ์ด๋ฆฌ๋„ ๊น”๋”ํ•˜๊ฒŒ ํ•ด๊ฒฐ๋ ์ค„์€ ๋ชฐ๋ž๋„ค์š”. 

 

 

* ํ—ˆ๊น…์ŠคํŽ˜์ด์Šค eeve-dodari ๋ชจ๋ธ ๋งํฌ

https://huggingface.co/blueflag/eeve-yanolja-dodari

 

* eeve-dodari-gguf ๋ชจ๋ธ ๋งํฌ (8bit์–‘์žํ™”)

https://huggingface.co/blueflag/eeve-yanolja-dodari_gguf

 

* basic template

prompt = f'''
Translate Human sentences into {์–ธ์–ด์„ค์ •. Korean or English} in short. Do not add anything else.\nHuman: {๋ฒˆ์—ญํ•  ๋ฌธ๊ตฌ}\nAssistant:\n
'''

 

* ์ง์ ‘ ๋ชจ๋ธ ๋กœ๋”ฉํ•˜์—ฌ ์‚ฌ์šฉํ•˜์‹ค ๋ถ„๋“ค์—๊ฒŒ

์œ„ ๋ชจ๋ธ์„ ๋‹ค์šด๋กœ๋“œ ๋ฐ›์œผ์‹  ํ›„ prompt๋ฅผ ์œ„์™€ ๊ฐ™์€ ํ˜•์‹์œผ๋กœ ๋ฒˆ์—ญ์š”์ฒญํ•˜์‹œ๋ฉด ์•„์ฃผ ๊น”๋”ํ•œ ๊ฒฐ๊ณผ๋ฅผ ๋ณด์‹ค์ˆ˜ ์žˆ์„ ๊ฒ๋‹ˆ๋‹ค.

 

 

์ด๋ฒˆ ํŒŒ์ธํŠœ๋‹ ์ž‘์—…์— ๋ฐ€๋ ค ๋„๋‹ค๋ฆฌ ๊ณ ๊ธ‰๋ชจ๋ธ ์ฝ”๋“œ ๊ณต๊ฐœ๊ฐ€ ๋”์šฑ ๋Šฆ์–ด์กŒ๋„ค์š”. ํ•˜์ง€๋งŒ ์ด๋ฒˆ ํŒŒ์ธํŠœ๋‹ ์„ฑ๊ณผ๊ฐ€ ์ข‹์€ ๋งŒํผ ์ฝ”๋“œ๋“ค์„ ๋”์šฑ ๋‹ค๋“ฌ์–ด ๊ณต๊ฐœํ•˜๋„๋ก ํ•˜๊ฒ ์Šต๋‹ˆ๋‹ค.

+ Recent posts