틱톡에 자주 나오는 AI댄스 영상 만들기(미완)

요즘 틱톡에서 AI댄스가 자주 나온다. 보통 만화 이젠 유튜브하고 인스타도 좀 퍼질 때가 됐는데. 한 번 만들어봤다. 필요한 건 스테이블 디퓨전!

 

스테이블 디퓨전를 모른다고?

 

목차

 1. 스테이블 디퓨전 IMGtoIMG를 활용하자!

 2. 스테이블 디퓨전 IMGtoIMG를 위한 준비물

 3. 스테이블 디퓨전 IMGtoIMG

 

1. 스테이블 디퓨전 IMG2IMG

스테이블 디퓨전를 모른다고?

 

 일단 스테이블 디퓨전의 설치와 실행에 대한 사항은 위 두 글을 참고하기 바란다. 이 두 글을 이해 했다면 우리는 스테이블 디퓨전의 컨트롤넷 오픈포즈 기능을 활용해서 AI영상을 만들 것이다. 일단 딥하게 들어가면 한도 끝도 없기 때문에 간단히 GIF 파일 생성을 통해 AI댄스의 원리만 알아보겠다.

 

 2. 스테이블 디퓨전 IMGtoIMG를 위한 준비물

 2-1. 원하는 영상 구하기

 

직접 촬영해도 좋다. 

 

 2-2. 영상 쪼개기

https://ezgif.com/video-to-png

Video to PNG image sequence converter

 

영상을 프레임별로 쪼개야한다. 위 ezgif에 들어가서 상단 이미지에 1번 video to png을 확인하고, 2번 영상 등록하고, 3번 업로드!

 

 

위 이미지 1번에 원하는 프레임 선택, 맛만 보는 거니까 그냥 기본값 설정하셈. 그리고 2번 PNG 변환 3번 다운 오케?

 

 2-3 이미지 구글 드라이브 내 이동

 

구글 드라이브 내 어디나 가능하고, 난 그냥 SD에 1번 input 2번 output으로 해놓고, 1번에는 변환할 사진, 2번에는 출력할 사진이라고 생각하면 됨

 

 3. 스테이블 디퓨전 IMGtoIMG

 3-1 경로 등록

 

다시 스테이블 디퓨전으로 돌아와서, 1번 IMG2IMG에 2번 Batch 클릭하고 3번 Input directory은 아까 등록한 이미지가 있는 경로 4번 Output directory는 출력할 이미지가 있는 경로 입력해야 한다. 잘 모르면 내가 넣었던 파일에 넣고, 위 이미지에 있는 경로로 등록해라.

 

3-2 설정

 

일단 이건 내가 기본적으로 세팅하는 값들이다. 첫번째 이미지 1번 샘플 모델은 euler_a 다른거 하면 에러나는 것 같다. 2번 restore faces 클릭 3번은 CFG는 7, 디노이징은 0.4로 두는데, 원본 사진, 프롬프트에 따라 계속 달라진다.  두 번째 사진 1번 Enable 클릭, 2번 프리프로세서 openpose설정, 3번 모델도 openpose, 4번 weight은 0.2로 설정하면 된다. 이제 원하는 프롬프트와 함께 제너레이트하면 output 폴더에 출력 변환된다. 하지만 원하는 이미지는 아닐 것이다. 이게 원본 사진과 프롬프트 설정을 계속 조절하면서 맞춰가야한다. 답이 없는 영역이다.

 

3-3 병합

https://ezgif.com/maker

Online Animated GIF maker

https://ezgif.com/gif-to-mp4

Online GIF to MP4 Video converter

이제 파일을 상단 링크에 가서 GIF로 바꾸고, GIF를 MP4로 바꾸면 된다.