๊ด€๋ฆฌ ๋ฉ”๋‰ด

๋ชฉ๋ก์ „์ฒด ๊ธ€ (166)

Wookang makes AI

SVD - stable video diffusion ์„ค์น˜ ๋ฐ ์‹คํ–‰ํ•˜๊ธฐ

* ๋™๊ธฐ์ด๋ฏธ์ง€๋ฅผ ์›€์ง์—ฌ๋ณด๊ณ  ์‹ถ์—ˆ๋‹ค. ์ตœ๊ทผ ์œ ํŠœ๋ธŒ ์ค€๋น„๋ฅผ ํ•˜๊ณ  ์žˆ๋Š”๋ฐ ๋‚ด๊ฐ€ ๋ญ ๋ฉ‹์ง„ ์˜์ƒ์„ ์ฐ๊ณ  ๋๋‚ด์ฃผ๋Š” ํŽธ์ง‘์„ ํ•˜๊ณ  ๊ทธ๋Ÿฌ์ง€ ๋ชปํ•˜๊ธฐ์— sd๋กœ ๋ฝ‘์€ ๋ฉ‹์ง„ ์ด๋ฏธ์ง€๋“ค์„ ์›€์ง์—ฌ ์กฐ๊ธˆ์ด๋ผ๋„ ์˜์ƒ์— ์ ํ•ฉํ•œ ์†Œ์Šค๋ฅผ ๋งŒ๋“ค์–ด๋ณด๊ณ  ์‹ถ์—ˆ๋‹ค. Runway๊ฐ€ ๊ฐ€์žฅ ์œ ๋ช…ํ•ด์„œ ์‚ฌ์šฉํ•ด๋ดค๋Š”๋ฐ ํ™•์‹คํžˆ ์‰ฝ๊ณ  ๋นจ๋ž๋‹ค. (์•„๋ž˜ ์˜์ƒ)- ํ•˜์ง€๋งŒ ๋ฌด๋ฃŒ๋ฒ„์ „์€ ์ด๋ฏธ์ง€ ํ•ด์ƒ๋„๊ฐ€ ๋ญ‰๊ฐœ์ง€๊ณ  ์˜ค๋ฅธ์ชฝ ํ•˜๋‹จ์— ์›Œํ„ฐ๋งˆํฌ๊ฐ€ ํฌ๊ฒŒ ๋‚˜์˜จ๋‹ค. ์ € 3๊ฐœ์˜ ์›์€ ๊ณ„์† ์›€์ง์ด๋ฉฐ ์‹œ์„ ์„ ๋ˆ๋‹ค.- ์œ ๋ฃŒ๋ฒ„์ „์˜ credit๋„ ์–ด๋–ค ๋ฐฉ์‹์œผ๋กœ ์†Œ๋น„๋˜๋Š”์ง€ ๋ณต์žกํ•˜๊ฒŒ ๋˜์–ด์žˆ๋‹ค. ์›” 12๋‹ฌ๋Ÿฌ์— 625ํฌ๋ ˆ๋”ง์„ ์ฃผ๋Š”๋ฐ ์ด๊ฒŒ ๋ฌด์Šจ ์˜๋ฏธ์ธ์ง€ ์ด๊ฑธ๋กœ ๋ช‡๊ฐœ์˜ ์˜์ƒ์„ ๋งŒ๋“ค ์ˆ˜ ์žˆ๋Š”์ง€ ๊ฐ์ด ์˜ค์ง€ ์•Š์•˜๋‹ค.- ๋ญ”๊ฐ€ ์ƒˆ๋กœ์šด ์›€์ง์ž„์— ๋Œ€ํ•œ ๊ธฐ๋Œ€๊ฐ์ด ์ ์—ˆ๋‹ค. ์›€์ง์ด๊ณ ์ž ํ•˜๋Š” objects๋ฅผ ์„ ํƒํ• ์ˆ˜ ์žˆ๋Š”๊ฑด ์ข‹์•˜์ง€๋งŒ..

AI ๊ทธ๋ฆผ 2024. 7. 2. 22:06
sadtalker with stable diffusion - ๋งํ•˜๋Š” AI ์•„๋ฐ”ํƒ€ ๋งŒ๋“ค๊ธฐ

* ์„œ๋น„์Šค๋ฅผ ์‚ฌ์šฉํ• ์ง€ ๊ฒฐ์ •ํ•˜๊ธฐ1. '๋งํ•˜๋Š” AI ์•„๋ฐ”ํƒ€'๋ฅผ ๋‚ด PC์—์„œ ์ง์ ‘ ๋งŒ๋“œ๋Š” ๋ฐฉ๋ฒ•์€ ํ˜„์žฌ(24.07.01)๊นŒ์ง€ stable diffusion webui์—์„œ sadtalker๋ฅผ ์ด์šฉํ•˜๋Š” ๊ฒƒ ์™ธ์— ์ฐพ์•„๋‚ด์ง€ ๋ชปํ–ˆ๋‹ค.2. sadtalker(https://github.com/OpenTalker/SadTalker)๋Š” ๋งˆ์ง€๋ง‰ ์—…๋ฐ์ดํŠธ๊ฐ€ 9๊ฐœ์›” ์ „์ด๊ณ  ์ด์ œ ๋”์ด์ƒ ์—…๋ฐ์ดํŠธ๋ฅผ ๊ธฐ๋Œ€ํ• ์ˆ˜ ์—†๋Š” dead ์ƒํƒœ์ด๋‹ค. ์ƒ์—…ํ™”๋œ ์„œ๋น„์Šค๋Š” ๋งŽ์€๋ฐ ์˜คํ”ˆ๋œ ์„œ๋น„์Šค๊ฐ€ ์—†๋‹ค๋Š” ๊ฑด ๊ทธ๋งŒํผ ์‹œ์žฅ์„ฑ์ด ์—†๋‹ค๋Š” ๋œป์ผ์ง€ ๋ชจ๋ฅด๊ฒ ๋‹ค.3. ๊ทธ๋Ÿผ์—๋„ sadtalker์˜ ํ’ˆ์งˆ์€ ๊ดœ์ฐฎ์•„ ๋ณด์ธ๋‹ค. coqui tts์™€ ํ•จ๊ป˜ ์“ฐ๋ฉด ๋‚˜์˜์ง€ ์•Š์„ ๊ฑฐ ๊ฐ™๋‹ค. * ์„ค์น˜ ์ƒํ™ฉ1. ์œˆ๋„์šฐ ๋ฒ„์ „์„ ์„ค์น˜ํ•œ๋‹ค.2. stable diffusion webui 1.7์ดํ•˜ ๋ฒ„์ „์—์„œ..

AI ๊ทธ๋ฆผ 2024. 7. 2. 13:03
ํ…Œ๋ฌดtemu๊ฐ€.. ๊ฝค ์ข‹๋‹ค. ๊ฐ€๊ฒฉ์กฐ์ •์€ ์‹ ์„ธ๊ณ„

์˜ฌํ•ด ์ดˆ ์ฒ˜์Œ ํ…Œ๋ฌด์—์„œ ์‹คํ—˜์‚ผ์•„ ๊ฐ€๋ฐฉ๊ณผ ๋ฌด์„  ์ด์–ดํฐ์„ ์ƒ€๋‹ค.  ๋ชจ๋‹ˆํ„ฐ ํ™”๋ฉด์œผ๋กœ๋Š” ๊ทธ๋Ÿด๋“ฏํ–ˆ์œผ๋‚˜ ์‹ค์ œ๋กœ ๋ฐ›์•„๋ณด๋‹ˆ ์žฌ์งˆ์ด ์ด์ƒํ–ˆ๋‹ค. ๋ถ€์Šค๋Ÿญ ๊ฑฐ๋ฆฌ๋Š” ๋น„๋‹๊ฐ™์•˜๋‹ค. ๊ทธ๋ฆฌ๊ณ  ๋„ˆ๋ฌด๋‚˜ ๊ฐ€๋ฒผ์› ๋‹ค. ๊ทธ๋ƒฅ ๋ณด๊ธฐ์—๋„ ์‹ผํ‹ฐ ์ž‘๋ ฌ์ด์—ˆ๋‹ค. ์‹ค์ œ๋กœ๋„ ์ŒŒ์œผ๋‹ˆ ํ• ๋ง์€ ์—†์—ˆ๋‹ค.๋ฌด์„ ์ด์–ดํฐ์€ ์ถฉ์ „๋‹จ์ž๊ฐ€ micro usb ์˜›๋‚  ๋ฐฉ์‹์ด์—ˆ๋‹ค. ์†Œ๋ฆฌ๋Š” ๋‚˜์˜์ง€ ์•Š์•˜์ง€๋งŒ ๊ธฐ๋Šฅ์— ๋ฌธ์ œ๊ฐ€ ๋งŽ์•˜๋‹ค. ์ด์–ดํฐ์„ ๊ท€์—์„œ ์ œ๊ฑฐํ•˜๊ณ  ์ผ€์ด์Šค์— ๋„ฃ์–ด๋„ ์Œ์•…์ด ๊ณ„์† ํ˜๋Ÿฌ๋‚˜์™”๋‹ค. ํœด๋Œ€ํฐ๊ณผ ์ด์–ดํฐ์˜ ์—ฐ๊ฒฐ์ด ์ž๋™์œผ๋กœ ๋Š์–ด์ง€์ง€ ์•Š์•˜๋‹ค. ํœด๋Œ€ํฐ์—์„œ ์ง์ ‘ ์Œ์•…์„ ๋ฉˆ์ถฐ์•ผ๋งŒ ์ด์–ดํฐ์—์„œ ๋‚˜์˜ค๋˜ ์†Œ๋ฆฌ๊ฐ€ ๋ฉˆ์ท„๋‹ค. ํœด๋Œ€ํฐ์—์„œ ๋ธ”๋ฃจํˆฌ์Šค ์ ‘์†์„ ์ง์ ‘ ๋Š์–ด์ค˜์•ผ๋งŒ ํ–ˆ๋‹ค. ํ•œ๋งˆ๋””๋กœ ์“ฐ๋ ˆ๊ธฐ์˜€๋‹ค. ๋‹น์‹œ ํ…Œ๋ฌด์—์„œ ๊ฒฐ์ œ ์ •๋ณด๋ฅผ ๋นผ๊ฐ„๋‹ค๋Š” ์†Œ๋ฌธ๋„ ๋‚˜๋Œ์•˜๋‹ค. ๋ฐ”๋กœ ์นด๋“œ์ •๋ณด๋ฅผ ์‚ญ์ œํ•˜๊ณ  ์•ฑ๋„ ์ง€์› ๋‹ค.๋‚ด๊ฐ€ ๋‹ค์‹œ ํ…Œ๋ฌด๋กœ ..

Diary/Purchase 2024. 6. 27. 18:44
์šฐ๋ถ„ํˆฌ์—์„œ ์ธํ…” ๋‚ด์žฅ ๊ทธ๋ž˜ํ”ฝ ์นด๋“œ ์‚ฌ์šฉํ•˜๊ธฐ

โ— ๋™๊ธฐAI์ž‘์—…์„ ํ•˜๋‹ค๋ณด๋ฉด 4090์˜ 24GB vram์ด ๊ฐ„๋‹น๊ฐ„๋‹น ํ• ๋•Œ๊ฐ€ ์žˆ๋‹ค.๋ณดํ†ต llama2 13b ๋ชจ๋ธ์ด๋‚˜ Mixtral์˜ 8x7B ๋ชจ๋ธ์€ ์–‘์žํ™” ์‹œ์ผœ ๋Œ๋ฆด ์ˆ˜ ์žˆ์ง€๋งŒ max length ์กฐ์ ˆ์„ ์„ฌ์„ธ?ํ•˜๊ฒŒ ํ•ด์•ผํ•œ๋‹ค. yanolja-eeve์˜ ๊ฒฝ์šฐ๋„ ๋งˆ์ฐฌ๊ฐ€์ง€๋‹ค. ๋ฉ”๋ชจ๋ฆฌ 100๋ฉ”๊ฐ€ ์ฐจ์ด๋กœ ๊ฐ€๋”์”ฉ out of memory ๋ฉ”์‹œ์ง€๋ฅผ ํ† ํ•ด๋‚ผ๋•Œ๊ฐ€ ์žˆ๋‹ค.์ด๋•Œ๋Š” ๋ฉ”๋ชจ๋ฆฌ 100, 200๋ฉ”๊ฐ€๋„ ์†Œ์ค‘ํ•œ๋ฐ ์ด ๊ฒฝ์šฐ ๋ชจ๋‹ˆํ„ฐ ์ถœ๋ ฅ์— ์‚ฌ์šฉํ•˜๋Š” ๋ฉ”๋ชจ๋ฆฌ๋งŒ ์ค„์—ฌ๋„ ํฐ ๋„์›€์ด ๋œ๋‹ค. ๋‚ด ๋ชจ๋‹ˆํ„ฐ์˜ ๊ฒฝ์šฐ ๋Œ€๋žต 300๋ฉ”๊ฐ€ ์ด์ƒ์„ ๋จน๋Š”๋‹ค.  ๊ทธ๋ž˜์„œ ์ปดํ“จํ„ฐ๋ฅผ ์•ž์— ๋‘๊ณ ๋„ ์ง์ ‘ ์ ‘์†ํ•˜์ง€ ์•Š๊ณ hdmi ๋”๋ฏธ ํ”Œ๋Ÿฌ๊ทธ๋ฅผ ์ด์šฉํ•œ ๊ฐ€์ƒ์˜ ๋ชจ๋‹ˆํ„ฐ์— ssh๋กœ ์›๊ฒฉ์ ‘์†ํ•ด vram์„ ์•„๊ปด์“ฐ๊ธฐ๋„ ํ–ˆ๋‹ค. ์ž ์‹œ๋งˆ๋‚˜ ๋‚ด์žฅ ๊ทธ๋ž˜ํ”ฝ์„ ์ด์šฉํ•˜์ž๋Š” ์ƒ๊ฐ๋„ ํ–ˆ์—ˆ์ง€๋งŒ๋‹น์‹œ hp์—..

Developments 2024. 6. 27. 03:24