SVD - runway Gen-2,3를 이길수 없을 거 같다

아래의 이미지를 영상으로 바꿔보고 싶었다.

 

1. svd로 여러 설정을 바꿔가며 영상을 만들어봤지만 하나같이 움직임이 없었다.

2. 단순히 확대만 하거나 왼쪽에서 오른쪽으로만 움직였다. 이미지는 그대로였다.

3. 아무래도 낯선 괴물이다보니 fragment로 쪼개지를 못하는 거 같았다. 그런데 파도도 움직이지 못하는건 좀 서운했다.

 

혹시나 해서 런웨이(https://app.runwayml.com/video-tools/teams/virlitinc/dashboard)로 영상을 만들어봤다. 그래서 나온게 아래 영상이다.

이 역동성이 대단하지 않은가?

영상 생성분야는 각 fragment를 인식하고 그 요소가 어떻게 움직이는지 학습이 되어 있어야 위와 같은 움직임을 만들어낼수 있다. svd에 촉수를 가진 바다괴물의 움직임이 선학습되었기를 기대하는건 무리가 있겠지만 이미 gen-2는 그것을 보여주고 있다. gen-3는 더욱 대단하지 않을까.

 

(여러 괴물이미지로 다른 영상들도 만들어봤는데 사실 runway도 다른 괴물들은 잘 인식하지 못했다. 아래와 비슷하게 나온다)

 

fragment인식의 차이는 아닌것으로 보인다. 어떤 것을 어떻게 얼마만큼 움직여야 하는지의 학습의 차이로 보인다. 확실히 이 분야는 '돈'싸움이 될 것같다. svd의 한계가 너무 명확해 보여 '매우' 아쉽다.