스테이블 와랩 퓨전(Stable Warpfusion)으로 AI 영상을 만드는 방법 #스테이블디퓨전 #stablediffusion

 

국내 최초 유튜브에서 공개하는 스테이블 와플퓨전(Stable Wrapfusion)을 이용한 AI 영상 제작 방법을 소개합니다. 코랩을 통해 진행합니다. 

 

목차

1. 스테이블 와랩 퓨전 소개

2. 코랩 연결

3. 기본 설정

4. 퓨전 설정

5. 파일 생성

6. 설치부터 실행까지 이미지로 보기

 

1. 스테이블 퓨젼 소개

AI영상이 꽤 깔끔하게 제작되었음을 알 수 있습니다. 스텝이블 퓨전이라는 기술을 사용했다는 것을 알게 되었습니다. 비디오 제작 방법 실행 코드는 후원을 해야 합니다. 후원비는 $10이고, 코랩 결제는 $10으로 총 $20이 필요합니다. 물론 로컬에서 진행할 수도 있지만, 로컬 진행 방법은 댓글에 참조할 YouTube 비디오를 남겨두겠습니다.

 

2. 코랩 연결

다음 화면에서 먼저 'Connect'를 클릭합니다. 녹색 체크 표시가 나타나면 연결이 성립된 것입니다. 그리고 'Prepare Folders' 아래의 'Run' 마크를 클릭합니다. 드라이브를 연결하고 계정을 클릭한 다음 'Allow'를 클릭합니다.

 

3. 기본 설정

'Basic Settings'로 스크롤을 내립니다. 다음에 생성될 폴더의 이름을 만듭니다. 출력할 비디오가 표준을 충족하면 비디오 변환 작업이 잘 진행됩니다. 비디오 경로는 변환할 비디오의 경로를 의미합니다. 변환할 비디오를 'content' 폴더에 업로드합니다.

 

4. 퓨전 설정

프레임 수가 절반으로 줄어들고 속도가 2배로 빨라졌습니다. 이런 실수를 하지 않기 위해 프레임을 1로 설정합니다. 이 시점에서 경로를 보면, 이 업로드된 비디오를 마우스 오른쪽 버튼으로 클릭하여 경로를복사하고 입력 상자에 ctrl + v를 누릅니다. 그리고 모델은 deliberate checkpoint를 사용했습니다. 

 

5. 파일 생성

생성된 파일에 대해 구글 드라이브 메인 페이지에서 'ai'를 클릭합니다. 'Stable WarpFusion'을 클릭하고 'images_out'에 폴더가 생성된 걸 알 수 있습니다. 비디오가 프레임별로 변환된 것을 볼 수 있습니다. 그리고 여기 비디오를 클릭하면 비디오도 만들어진 것을 볼 수 있습니다.

 

6. 설치부터 실행까지 이미지로 보기

스테이블 와랩 퓨전(Stable Wrapfusion) 기술을 활용한 영상이

아래 링크 인스타에서 요즘 화제이다.

https://www.instagram.com/p/CsdMLyCrL-e/

 

 

링크를 클릭하면 위와 같은 이미지가 영상으로 나온다.

그리스 조각상 같이 보이지만, 춤을 추고 있다. 처음 봤을 때 센세이션했다.

최근에 본 AI영상 중에 제일 자연스럽다.

영상으로 보면 이게 진짜인지 살짝 의심이 되기도 한다.

 

다양한 스테이블 디퓨전 AI 영상관련 익스텐션과 AI 영상 제작 툴이 있지만

스테이블 와랩 퓨전이 지금까지 나온 영상 중에 제일 성능이 좋은 것 같다.

아래는 스테이블 와랩으로 엘수정님의 나문희 첫사랑 댄스를 AI 영상으로 변환한 영상을 캡쳐했다.

 

 

보통 어딘가 깨지거나, 적용이 안되거나 그런데

상당히 깨끗하다.

물론 직접해보니 인스타만큼 영상이 잘 변환되지는 않았다.

 

사용하는 방법은 일단 유료이다. 그리고 코랩 결제도 해야 한다.

로컬로도 할 수 있지만, 코랩으로 하는 방법에 대해서 알아보겠다.

코랩 결제하는 방법은 아래 링크를 참고하면 된다.

https://dobriworld.com/entry/스테이블디퓨전-코랩-시작하기-코랩-유료-구독하는-방법-GPU-백엔드에-연결할-수-없음

스테이블디퓨전 코랩 시작하기! 코랩 유료 구독하는 방법, GPU 백엔드에 연결할 수 없음

 

코랩 결제 후 아래 링크에서 후원 매월 $10 후원을 해야 실행 코드를 받을 수 있다.

https://www.patreon.com/posts/stable-v0-12-vae-82012982

 

후원 후에 아래 이미지에서 stable_warpfusion_v0_13_13_new_cc_attn_inject.ipynb 파일을 다운 받는다.

 

 

위 코드를 받고, 코랩 실행 후 좌측 상단 파일 탭에서 노트 업로드를 클릭 후 해당 파일을 업로드해주세요.

 

 

아래 이미지 붉은 칸 1번 업로드를 확인하고 2번 파일 선택 3번 파일, 4번 열기를 누르세요.

 

 

다음 우측 상단에 연결을 클릭

 

 

초록색 체크와 ram과 디스크가 나오면 연결 완료

 

 

다음 set up에 1.1 prepare folder 아래 실행 표시를 클릭 잘 모르겠다면 ctrl + f를 누르고 prepare folders 검색

 

 

중앙 google drive에 연결

 

 

구글 계정 클릭

 

 

허용

 

 

content 폴더에 warpfusion_settings.txt 파일과 변환할 영상을 드래그를 통해 업로드

https://mega.nz/file/HdolnKAQ#6jua4_4AUKPKNTrm3wpMQbgbnmeHWRBrYGHhEPuWya0

 

 

아래 이미지 붉은칸 1번 batch_name은 구글 드라이브에서 생성될 폴더 이름이고, 2번은 제작할 영상의 사이즈이다.

원본 영상의 사이즈와 제작할 영상의 사이즈는 같아야 한다.

 

 

아래 이미지 붉은 칸 1번은 변환한 영상의 경로이고, 2번은 프레임이다. 2번은 1을 입력을 해야한다.

 

 

경로를 넣는 방법은 마우스 우측 클릭 후 경로 복사를 하면 된다.

 

 

다음 아래 이미지 붉은 칸은 변환할 영상의 경로를 입력한다.

 

 

아래는 변환에 쓰일 모델의 경로를 입력하면 된다.

 

 

마지막으로 상단 런타임 탭에 모두 실행

 

 

구글 드라이브에 AI 폴더에 스테이블와랩퓨전 폴더에 images_out 폴더, 설정한 이름 폴더 가면 아래와 같이 변환한 이미지와 비디오 폴더에는 AI 영상이 있다.

 

 

세부적인 프롬프트 및 기능 설정을 통해 원하는 AI 영상을 만들 수 있다.

하지만 어렵다.