이번 시간에는 스테이블 디퓨전(Stable Diffusion)의 컨트롤넷(Control Net) 기능을 통해 위 사진처럼 모델의 행동을 설정해보려고 한다. 스테이블 디퓨전이 무엇인지? 어떻게 설치하는지는 아래 링크를 참고해라!
스테이블 디퓨전(stable diffusion) 실행부터 AI이미지 생성까지 한큐에 끝!
스테이블 디퓨전(Stable diffusion) 실행부터 AI이미지 생성까지 한 큐에 끝! #AI사진
스테이블 디퓨전을 접한 지 한 일주일 정도 되는 것 같다. 이때까지 배운 걸 좀 정리하려고 한다. 스테이블 디퓨전이란 AI 이미지 생성기로써, 텍스트나 이미지를 기반으로 여러 AI모델을 통해 새
dobriworld.com
< 스테이블디퓨전 연구소 오픈 채팅방 >
(같이 공부하고 싶다면 아래 링크 클릭!)
https://open.kakao.com/o/glPd6M8e
목차
1. 컨트롤넷(control net)이란?
2. 컨트롤넷의 위치와 기능은?
3. 스테이블 디퓨전 컨트롤넷 오픈포즈를 마치며
1. 컨트롤넷(Control Net)이란?
컨트롤넷은 스테이블 디퓨전에서 이미지 모델의 포즈를 설정할 수 있는 확장(Extension) 기능이다. 위 링크를 통해 코랩에서 스테이블 디퓨전 설치 시 같이 포함되었으며 별도의 설치가 필요 없다. 컨트롤넷이 없다면 원하는 이미지 모델의 포즈를 얻기 위해 나올 때까지 생성해야 하지만, 컨트롤넷을 통해 한 번에 생성이 가능하다!
2. 컨트롤넷의 위치와 기능은?
컨트롤넷은 스테이블 디퓨전 실행창 맨 마지막에 있다. 위 이미지 좌측 하단 빨간색 박스의 우측 1번 아래 화살표를 클릭해 준다. 그러면 아래와 같이 컨트롤넷 창을 활성화시킬 수 있다. 기능들은 아래에서 설명하겠다.
< 컨트롤 넷 주요 기능 >
1. 업로드 창 : 원하는 행동을 추출할 이미지를 넣는 곳이다.
2. 이네이블(Enabe) : 추출한 이미지의 행동을 반영 여부(그냥 체크해 주자)
3. 전처리(Preprocessor) : 이미지 처리 모델로 우리는 행동을 추출할 것 인기 때문에 openpose를 설정해 주자
4. 모델(Model) : 전치기 모델 중 어떤 세부 모델로 선택할 건인가. 우리는 control_openpose를 설정해 주자.
5. 사이즈(Size) : 추출할 이미지의 사이즈를 설정한다.
나머지는 Invert Input Color(입력 색상 반전) RGB to BGR(RGB에서 BGR로) Low VRAM Guess Mode(낮은 VRAM 추측 모드), Just ResizeScale(단순 크기 조정), to Fit (Inner Fit)(내부 크기에 맞게 조정), Envelope (Outer Fit)(외부 크기에 맞게 조정) 등 나중에 깊게 들어갈 때 사용해 주자!
위 이미지 첫 번째 1번에 사진을 넣고, 두번째 이미지 2번에 Preview annotator result를 눌러주면 첫번째 이미지 3번처럼 포즈가 추출이 된다. 아래 이미지를 보면 좌측 이미지의 행동을 오픈 이미지를 통해 행동을 추출했다. 얼추 비슷한 걸 알 수 있다. 그렇다면 이제 원하는 프롬프트를 통해 모델의 행동까지 설정해 주자!
위 이미지 좌측 사진은 내가 왕년에 힙합을 출 때의 이미지이다.
< 샘플 프롬프트 >
- 체크포인트 : 칠아웃믹스, 로라 : 코리안돌라이크니스
- 샘플링모델 : DPM ++ SDE Karras * 나머지는 기본 설정
- 파지티브 프롬프트(위칸) * 프롬프트를 복사하고 싶다면 클릭!
<lora:koreanDollLikeness_v15:0.5>, ultra detailed, highres, (realistic, photorealistic:1.4), 8k, raw photo, (masterpiece), (best quality), physically-based rendering, Female college student, long brown hair, Korea, street, looking, jeans, white T-shirt, realistic photography, professional color graded, 8K, F2.4, 35mm.
- 네거티브 프롬프트(아래칸)
ng_deepnegative_v1_75t, paintings, sketches, (low quality:2), (normal quality:2), (worst quality:2), lowres, ((monochrome)), ((grayscale)), acnes, skin spots, age spot, skin blemishes, bad feet, ((wrong feet)), (wrong shoes), bad hands, distorted, blurry, missing fingers, multiple feet, bad knees, extra fingers
자 그러면 위 이미지 첫 번째는 컨트롤넷의 오픈포즈 기능이 없을 때이고, 두 번째 아래 그림은 오픈 포즈를 통해 동작을 설정한 이미지이다. 이게 해보니까 프롬프트에 따라, 그리고 행동에 따라 잘 나올 수 있고 기괴하게 나올 수 있다. 위 샘플 이미지는 잘 된 이미지 중 하나인 걸 참고하길 바란다. 디테일은 설정과 조정을 통해 개선해야 한다.
3. 스테이블 디퓨전 컨트롤넷 오픈포즈를 마치며
스테이블 디퓨전을 처음 접할 때는 신세계이고, 쉽게 쉽게 할 수 있다고 생각했다. 딥하게 들어갈수록 자료도 없고, 경험도 없다 보니 삽질만 하다가 시간이 다 간다. 위 자료는 수많은 삽질 끝에 정리한 결과이다. 앞으로 영상 등 많은 콘텐츠가 있으니 많은 관심과 응원 부탁한다. 구독, 좋아요, 댓글, 알림! 궁금한 사항이나 알고 싶은 내용은 본 글 상단 영상에 남겨주시기 바란다.
< 아래 링크는 Step by Step 스테이블디퓨전 입문 커리큘럼입니다! >
(전자책, VOD, 전용 오픈채팅방, 실시간 미팅, 과제 등 한 달 커리큘럼입니다!)
'빠르게 배우고 싶다면 클릭하세요!'
https://kmong.com/self-marketing/476466/gu839xLANz
스테이블디퓨전 입문 강의Step by Step | 89000원부터 시작 가능한 총 평점 5점의 VOD, 직무역량 VOD 서
2개 총 작업 개수 완료한 총 평점 5점인 배하나의 VOD, 직무역량 VOD 서비스를 1개의 리뷰와 함께 확인해 보세요. VOD, 직무역량 VOD 제공 등 89000원부터 시작 가능한 서비스
kmong.com
'스테이블 디퓨전' 카테고리의 다른 글
| 스테이블 디퓨전 시작부터 룩북 제작까지 (2) | 2023.03.30 |
|---|---|
| 틱톡에 자주 나오는 AI댄스 영상 만들기(미완) (2) | 2023.03.17 |
| 스테이블 디퓨전 확장기능(extensions) ddetailer 등 설치하는 방법! (4) | 2023.03.17 |
| No interface is running right now 스테이블 디퓨전 접속 오류 (0) | 2023.03.15 |
| 스테이블 디퓨전(Stable diffusion) 실행부터 AI이미지 생성까지 한 큐에 끝! #AI사진 (6) | 2023.03.13 |
댓글