๊ด€๋ฆฌ ๋ฉ”๋‰ด

๋ชฉ๋ก2024/07/02 (2)

Wookang makes AI

SVD - stable video diffusion ์„ค์น˜ ๋ฐ ์‹คํ–‰ํ•˜๊ธฐ

* ๋™๊ธฐ์ด๋ฏธ์ง€๋ฅผ ์›€์ง์—ฌ๋ณด๊ณ  ์‹ถ์—ˆ๋‹ค. ์ตœ๊ทผ ์œ ํŠœ๋ธŒ ์ค€๋น„๋ฅผ ํ•˜๊ณ  ์žˆ๋Š”๋ฐ ๋‚ด๊ฐ€ ๋ญ ๋ฉ‹์ง„ ์˜์ƒ์„ ์ฐ๊ณ  ๋๋‚ด์ฃผ๋Š” ํŽธ์ง‘์„ ํ•˜๊ณ  ๊ทธ๋Ÿฌ์ง€ ๋ชปํ•˜๊ธฐ์— sd๋กœ ๋ฝ‘์€ ๋ฉ‹์ง„ ์ด๋ฏธ์ง€๋“ค์„ ์›€์ง์—ฌ ์กฐ๊ธˆ์ด๋ผ๋„ ์˜์ƒ์— ์ ํ•ฉํ•œ ์†Œ์Šค๋ฅผ ๋งŒ๋“ค์–ด๋ณด๊ณ  ์‹ถ์—ˆ๋‹ค. Runway๊ฐ€ ๊ฐ€์žฅ ์œ ๋ช…ํ•ด์„œ ์‚ฌ์šฉํ•ด๋ดค๋Š”๋ฐ ํ™•์‹คํžˆ ์‰ฝ๊ณ  ๋นจ๋ž๋‹ค. (์•„๋ž˜ ์˜์ƒ)- ํ•˜์ง€๋งŒ ๋ฌด๋ฃŒ๋ฒ„์ „์€ ์ด๋ฏธ์ง€ ํ•ด์ƒ๋„๊ฐ€ ๋ญ‰๊ฐœ์ง€๊ณ  ์˜ค๋ฅธ์ชฝ ํ•˜๋‹จ์— ์›Œํ„ฐ๋งˆํฌ๊ฐ€ ํฌ๊ฒŒ ๋‚˜์˜จ๋‹ค. ์ € 3๊ฐœ์˜ ์›์€ ๊ณ„์† ์›€์ง์ด๋ฉฐ ์‹œ์„ ์„ ๋ˆ๋‹ค.- ์œ ๋ฃŒ๋ฒ„์ „์˜ credit๋„ ์–ด๋–ค ๋ฐฉ์‹์œผ๋กœ ์†Œ๋น„๋˜๋Š”์ง€ ๋ณต์žกํ•˜๊ฒŒ ๋˜์–ด์žˆ๋‹ค. ์›” 12๋‹ฌ๋Ÿฌ์— 625ํฌ๋ ˆ๋”ง์„ ์ฃผ๋Š”๋ฐ ์ด๊ฒŒ ๋ฌด์Šจ ์˜๋ฏธ์ธ์ง€ ์ด๊ฑธ๋กœ ๋ช‡๊ฐœ์˜ ์˜์ƒ์„ ๋งŒ๋“ค ์ˆ˜ ์žˆ๋Š”์ง€ ๊ฐ์ด ์˜ค์ง€ ์•Š์•˜๋‹ค.- ๋ญ”๊ฐ€ ์ƒˆ๋กœ์šด ์›€์ง์ž„์— ๋Œ€ํ•œ ๊ธฐ๋Œ€๊ฐ์ด ์ ์—ˆ๋‹ค. ์›€์ง์ด๊ณ ์ž ํ•˜๋Š” objects๋ฅผ ์„ ํƒํ• ์ˆ˜ ์žˆ๋Š”๊ฑด ์ข‹์•˜์ง€๋งŒ..

AI ๊ทธ๋ฆผ 2024. 7. 2. 22:06
sadtalker with stable diffusion - ๋งํ•˜๋Š” AI ์•„๋ฐ”ํƒ€ ๋งŒ๋“ค๊ธฐ

* ์„œ๋น„์Šค๋ฅผ ์‚ฌ์šฉํ• ์ง€ ๊ฒฐ์ •ํ•˜๊ธฐ1. '๋งํ•˜๋Š” AI ์•„๋ฐ”ํƒ€'๋ฅผ ๋‚ด PC์—์„œ ์ง์ ‘ ๋งŒ๋“œ๋Š” ๋ฐฉ๋ฒ•์€ ํ˜„์žฌ(24.07.01)๊นŒ์ง€ stable diffusion webui์—์„œ sadtalker๋ฅผ ์ด์šฉํ•˜๋Š” ๊ฒƒ ์™ธ์— ์ฐพ์•„๋‚ด์ง€ ๋ชปํ–ˆ๋‹ค.2. sadtalker(https://github.com/OpenTalker/SadTalker)๋Š” ๋งˆ์ง€๋ง‰ ์—…๋ฐ์ดํŠธ๊ฐ€ 9๊ฐœ์›” ์ „์ด๊ณ  ์ด์ œ ๋”์ด์ƒ ์—…๋ฐ์ดํŠธ๋ฅผ ๊ธฐ๋Œ€ํ• ์ˆ˜ ์—†๋Š” dead ์ƒํƒœ์ด๋‹ค. ์ƒ์—…ํ™”๋œ ์„œ๋น„์Šค๋Š” ๋งŽ์€๋ฐ ์˜คํ”ˆ๋œ ์„œ๋น„์Šค๊ฐ€ ์—†๋‹ค๋Š” ๊ฑด ๊ทธ๋งŒํผ ์‹œ์žฅ์„ฑ์ด ์—†๋‹ค๋Š” ๋œป์ผ์ง€ ๋ชจ๋ฅด๊ฒ ๋‹ค.3. ๊ทธ๋Ÿผ์—๋„ sadtalker์˜ ํ’ˆ์งˆ์€ ๊ดœ์ฐฎ์•„ ๋ณด์ธ๋‹ค. coqui tts์™€ ํ•จ๊ป˜ ์“ฐ๋ฉด ๋‚˜์˜์ง€ ์•Š์„ ๊ฑฐ ๊ฐ™๋‹ค. * ์„ค์น˜ ์ƒํ™ฉ1. ์œˆ๋„์šฐ ๋ฒ„์ „์„ ์„ค์น˜ํ•œ๋‹ค.2. stable diffusion webui 1.7์ดํ•˜ ๋ฒ„์ „์—์„œ..

AI ๊ทธ๋ฆผ 2024. 7. 2. 13:03