* ์„œ๋น„์Šค๋ฅผ ์‚ฌ์šฉํ• ์ง€ ๊ฒฐ์ •ํ•˜๊ธฐ

1. '๋งํ•˜๋Š” AI ์•„๋ฐ”ํƒ€'๋ฅผ ๋‚ด PC์—์„œ ์ง์ ‘ ๋งŒ๋“œ๋Š” ๋ฐฉ๋ฒ•์€ ํ˜„์žฌ(24.07.01)๊นŒ์ง€ stable diffusion webui์—์„œ sadtalker๋ฅผ ์ด์šฉํ•˜๋Š” ๊ฒƒ ์™ธ์— ์ฐพ์•„๋‚ด์ง€ ๋ชปํ–ˆ๋‹ค.

2. sadtalker(https://github.com/OpenTalker/SadTalker)๋Š” ๋งˆ์ง€๋ง‰ ์—…๋ฐ์ดํŠธ๊ฐ€ 9๊ฐœ์›” ์ „์ด๊ณ  ์ด์ œ ๋”์ด์ƒ ์—…๋ฐ์ดํŠธ๋ฅผ ๊ธฐ๋Œ€ํ• ์ˆ˜ ์—†๋Š” dead ์ƒํƒœ์ด๋‹ค. ์ƒ์—…ํ™”๋œ ์„œ๋น„์Šค๋Š” ๋งŽ์€๋ฐ ์˜คํ”ˆ๋œ ์„œ๋น„์Šค๊ฐ€ ์—†๋‹ค๋Š” ๊ฑด ๊ทธ๋งŒํผ ์‹œ์žฅ์„ฑ์ด ์—†๋‹ค๋Š” ๋œป์ผ์ง€ ๋ชจ๋ฅด๊ฒ ๋‹ค.

3. ๊ทธ๋Ÿผ์—๋„ sadtalker์˜ ํ’ˆ์งˆ์€ ๊ดœ์ฐฎ์•„ ๋ณด์ธ๋‹ค. coqui tts์™€ ํ•จ๊ป˜ ์“ฐ๋ฉด ๋‚˜์˜์ง€ ์•Š์„ ๊ฑฐ ๊ฐ™๋‹ค.

 

* ์„ค์น˜ ์ƒํ™ฉ

1. ์œˆ๋„์šฐ ๋ฒ„์ „์„ ์„ค์น˜ํ•œ๋‹ค.

2. stable diffusion webui 1.7์ดํ•˜ ๋ฒ„์ „์—์„œ๋งŒ ์ •์ƒ์ ์œผ๋กœ ๋Œ์•„๊ฐ„๋‹ค. ํ˜„์žฌ ์ตœ์‹ ๋ฒ„์ „์ธ 1.94์—์„œ๋Š” ์„ค์น˜์—๋Ÿฌ๊ฐ€ ๋‚œ๋‹ค.

3. https://github.com/OpenTalker/SadTalker/issues/822#issuecomment-2053857698 ์— ์—ฌ๋Ÿฌ ๋ฐฉ๋ฒ•๋“ค์ด ๋‚˜์™€์žˆ๋Š”๋ฐ ๋ชจ๋‘ ํ•ด๋ณด์•˜์ง€๋งŒ not working์ด์—ˆ๋‹ค.

4. ๊ทธ๋ ‡๋‹ค๊ณ  ์ตœ์‹ ๋ฒ„์ „์„ 1.7๋กœ ๋‚ฎ์ถ”๋ฉด ์•ˆ๋œ๋‹ค. 1.8๋ถ€ํ„ฐ ๋ฐ”๋€์‚ฌํ•ญ์ด ๋งŽ์•„ ๊ธฐ๋ณธ ์ด๋ฏธ์ง€ ์ƒ์„ฑ๋ถ€ํ„ฐ ์—๋Ÿฌ๊ฐ€ ๋‚œ๋‹ค.

5. ์ตœ์ข… ๊ฒฐ์ •. sadtalker๋งŒ์„ ์œ„ํ•œ ์ƒˆ๋กœ์šด 1.7๋ฒ„์ „์„ ๋งŒ๋“ ๋‹ค. ์ฆ‰ ์ตœ์‹ ๋ฒ„์ „ sd์™€ 1.7๋ฒ„์ „ sd๋กœ ์ด์›ํ™” ํ•œ๋‹ค.

- sadtalker๋Š” ์ƒ๊ฐ๋ณด๋‹ค ๊ฐ€๋ณ๊ณ  ๋‹ค๋ฅธ ์ฒดํฌํฌ์ธํŠธ๋‚˜ ๋กœ๋ผ๊ฐ™์€ ๊ฑธ ๊ณตํ†ต ์‚ฌ์šฉํ•˜์ง€ ์•Š๊ธฐ ๋•Œ๋ฌธ์— ๋ถ€๋‹ด์ด ์—†๋‹ค. 1.8์ด์ƒ๋ถ€ํ„ฐ ์ด์ „ ๋ฒ„์ „๊ณผ ํ˜ธํ™˜๋˜์ง€ ์•Š๋Š” ๊ฒƒ๋“ค์ด ๊ฝค ๋งŽ์€๋ฐ ์ด๋Ÿฐ๊ฒƒ๋“ค์€ ๋ชจ๋‘ ์—ฌ๊ธฐ์„œ ๋Œ๋ฆฐ๋‹ค.

 

* ์„ค์น˜ํ•˜๊ธฐ

1. stable diffusion webui ์ƒˆ๋กœ ์„ค์น˜ํ•˜๊ธฐ

git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git

2. sd ํด๋” ์•ˆ์— ๋“ค์–ด๊ฐ„ ํ›„ ์•„๋ž˜์˜ git๋ช…๋ น์œผ๋กœ 1.7๋ฒ„์ „์œผ๋กœ ๋Œ๋ฆฐ๋‹ค.

git reset --hard cf2772f 

3. webui-user.bat ๋กœ ์„ค์น˜๋ฅผ ์‹œ์ž‘ํ•œ๋‹ค.

4. ์„ค์น˜ ํ›„ sd๋ฅผ ์‹คํ–‰ํ•˜๊ณ  

Extentions ํƒญ > Available > Load fromํด๋ฆญ > sad๋กœ ๊ฒ€์ƒ‰ํ•ด์„œ ์„ค์น˜
https://github.com/OpenTalker/SadTalker.git 



5.ffmpeg ์„ค์น˜ ํ›„ ํ™˜๊ฒฝ๋ณ€์ˆ˜ ์„ค์ •
์•„๋ž˜ ๋งํฌ์—์„œ ์œˆ๋„์šฐ์šฉ ๋‹ค์šด๋กœ๋“œ ๋ฐ›๊ณ  
https://www.ffmpeg.org/download.html#build-windows

ํŒŒ์ผ์ด ์••์ถ•๋˜์–ด ์žˆ๋‹ค. ์••์ถ•์„ ํ‘ผ ํ›„ binํด๋” ์•ˆ์— ์•„๋ž˜ 3๊ฐœ ํŒŒ์ผ ๋ชจ๋‘๋ฅผ path์„ค์ •์„ ์›ํ•˜๋Š” ๊ณณ์— ์ด๋™์‹œํ‚จํ›„

์•„๋ž˜์ฒ˜๋Ÿผ ์„ค์ •ํ•ด์ค€๋‹ค. ๋‚˜๋Š” c:\Program files์•ˆ์— ์ƒˆ๋กœ ํด๋”๋ฅผ ๋งŒ๋“ค์–ด ๋ถ™์—ฌ๋„ฃ์—ˆ๋‹ค.

 

์ด๋ ‡๊ฒŒ ์–ด๋””์„œ๋“  ์ € 3ํŒŒ์ผ์„ ์‹คํ–‰์‹œํ‚ฌ ์ˆ˜ ์žˆ๊ฒŒ path์„ค์ •์„ ํ•ด์ค˜์•ผํ•œ๋‹ค. ์•ˆํ•˜๋ฉด ์—๋Ÿฌ๋‚œ๋‹ค.

 

6. ์ฒดํฌํฌ์ธํŠธ ๋‹ค์šด๋กœ๋“œ
https://github.com/OpenTalker/SadTalker/releases/tag/v0.0.2-rc

์•ˆ์— ๋“ค์–ด๊ฐ€์„œ ํ•˜๋‹จ์˜ 4๊ฐœ ํŒŒ์ผ์„ ๋‹ค์šด๋กœ๋“œ ๋ฐ›๋Š”๋‹ค.


์ด 4๊ฐœ์˜ ํŒŒ์ผ ๋ชจ๋‘, stable diffusionํด๋” > extensions > checkpoints(ํด๋” ์ƒˆ๋กœ ์ƒ์„ฑ) ํ›„ ์ด ์•„๋ž˜์— ๋ถ™์—ฌ๋„ฃ๋Š”๋‹ค.

7. ์‹คํ–‰

- webui-user.bat๋ฅผ ๋”๋ธ”ํด๋ฆญํ•ด์„œ ์‹คํ–‰. ์‚ฌ์šฉ๋ฒ•์ด ๊ฐ„๋‹จํ•ด์„œ ์ข‹๋‹ค.

- ์•„๋ž˜ ์ˆœ์„œ๋Œ€๋กœ ํ•˜๋ฉด๋œ๋‹ค.

- ์ƒ์„ฑ ๋ฒ„ํŠผ ์œ„์— ์žˆ๋Š” GFPGAN as Face enhancer๋Š” ๋ณด๊ฐ„๋ฒ•์„ ์ด์šฉํ•ด ์–ผ๊ตด์˜ ํ’ˆ์งˆ์„ ์˜ฌ๋ ค์ฃผ๋Š” ์˜ต์…˜์ธ๋ฐ ์‹œ๊ฐ„์ด ๋„ˆ๋ฌด ๋งŽ์ด ๊ฑธ๋ ค - ์ฒดํฌ ํ•˜์ง€ ์•Š์„๋•Œ์™€ ๋น„๊ตํ•ด 10๋ฐฐ๊ฐ€ ๋„˜๊ฒŒ ๊ฑธ๋ฆฌ๋Š” ๊ฑฐ ๊ฐ™๋‹ค - ํ…Œ์ŠคํŠธ๋ฅผ ๋งŽ์ด ๋ชปํ–ˆ๋‹ค. ์ข‹์€ ํ’ˆ์งˆ์ด ๋”์šฑ ์ค‘์š”ํ•˜๋‹ค๋ฉด ์ฒดํฌํ•˜๋Š” ๊ฒƒ๋„ ์ข‹์„๊ฒƒ์ด๋‹ค.

 

8. ๊ฒฐ๋ก 

- ์—ฌ๋Ÿฌ ํ…Œ์ŠคํŠธ๋ฅผ ํ•ด๋ดค๋Š”๋ฐ ์‚ฌ๋žŒ์–ผ๊ตด์€ ์ธ์‹์„ ์ž˜ํ•˜์ง€๋งŒ ์กฐ๊ธˆ๋งŒ ์‚ฌ๋žŒ๊ฐ™์ง€ ์•Š์•„๋„? ์ธ์‹์„ ๋ชปํ•˜๊ณ  ์—๋Ÿฌ๊ฐ€ ๋‚œ๋‹ค. ์ด๊ฒŒ ์ข€ ์•„์‰ฝ๋‹ค.

- ์ƒ์„ฑ์‹œ๊ฐ„์ด ๋งค์šฐ ์งง๋‹ค. 4090์—์„œ๋Š” ํ•œํด๋ฆฝ์— 5,6์ดˆ ๊ฑธ๋ฆฌ๋Š”๊ฑฐ ๊ฐ™๋‹ค. ์ด ์ •๋„๋ฉด ์‹ค์ œ๋กœ ์‚ฌ์šฉ๊ฐ€๋Šฅํ•œ ์ˆ˜์ค€์ด๋‹ค.

- ์Œ์„ฑ์ชฝ์€ llm์— ๋น„ํ•ด ์˜คํ”ˆ์†Œ์Šค ๊ธฐ๋ฐ˜์ด ๋งŽ์ด ์•ฝํ•˜๋‹ค. ๋‚˜๋ถ€ํ„ฐ๋„ ์ด์ชฝ์€ ์ž˜ ๋ชจ๋ฅธ๋‹ค. ํ•˜์ง€๋งŒ ์‹ค์ œ์˜ ์“ฐ์ž„์€ ๊ธ€์ž๋ณด๋‹ค ์˜คํžˆ๋ ค ์Œ์„ฑ์ด ๋” ํด๊ฒƒ์ด๋‹ค. ์ข€ ๋” ํŒ”๋กœ์šฐํ•  ์ƒ๊ฐ์ด๋‹ค.

+ Recent posts