Stable Diffusion WebUI ControlNet 컨트롤넷을 이용한 자세 적용
Stable Diffusion WebUI에서 프롬프트만으로 자세를 그려내기가 쉽지 않음.
실사보다는 2D 이미지에서 그나마 자세 프롬프트가 잘 먹기는 하나,
손발이 분리되거나
정확히 원하는 자세가 안나오는 경우가 허다함.
컨트롤넷(ControlNet) 확장(Extension) 기능을 이용하면 원하는 자세를 쉽게 그려낼수 있음.
먼저 아래 링크를 참고하여 controlnet, posex(openpose-editor 보다 좋음) 익스텐션들을 각각 설치
https://rupicat.com/entry/Stable-Diffusion-Webui-필수-유용한-Extensions-익스텐션-들
Stable Diffusion Webui 필수/추천 Extensions 익스텐션 들
Stable Diffusion WebUI의 필수 Extensions 대부분 Extentions 탭의 Load from 버튼을 클릭하여 나타나는목록에 존재 Install 버튼 클릭하여 설치, 설치 후 Installed 탭으로 가서 Apply and restart UI 버튼 클릭 1. PreSet Uti
rupicat.com
| 컨트롤넷 ControlNet 기본
컨트롤넷은 사람 뼈대 이미지나 사진을 넣어주고 해당 자세로 이미지를 만들 수 있게 해주는 익스텐션
간단한 스케치로도 이미지 생성 및 동물도 가능
txt2img, img2img에서 사용
Enable 체크
이미지를 넣으면 Preprocessor에 open pose, Model에 open pose 선택
뼈대를 넣으면 프리프로세스에 none, 모델은 open pose 선택
Weight는 컨트롤넷이 적용되는 강도: 기본 1
Resize Mode
Just resize: 이미지 비율 무시하고 생성되는 이미지 비율에 맞춤
Inner fit: 비율을 유지하며 길이 비가 낮은 쪽을 기준으로 이미지 맞춤. 남는 영역은 레터박스로 채워 넣음
Outer Fit: 비율을 유지하며 길이 비가 높은 쪽을 기준으로 이미지 맞춤
빼대(bone) 이미지와 생성 이미지가 비율이 동일해야 잘나옴.
컨트롤넷 설정 항목에서 위 화상표 버튼을 누르면 원본 이미지 사이즈를
컨트롤넷에 끌어다 놓은 뼈대 이미지 사이즈로 변경 반영
사람 포즈를 추출하는 용도로 개발된거라
사람 빼대 이미지를 넣었을 때 가장 잘 적용되며
뼈대가 아니라면 그림보다는 사진을 넣는게 좋음.
컨트롤넷 사용 시 추가적인 GPU 연산으로 이미지 생성 시간이 더 걸림
| Posex
포즈X는
뼈대 이미지를 직접 만들어서 적용할 수 있는 익스텐션
txt2img, img2img에서 사용
Send this image to ControlNet 체크
(또는 Copy to clipboard를 클릭, Ctrl + V 키로 붙여넣기 하면 Posex에서 만든 이미지가 컨트롤넷 이미지에 추가)
에디터가 나타나면 마우스로 직접 뼈대를 수정
클릭: 빼 선택
마우스 왼쪽 버튼으로 드래그: 관절 선택 시 관절 이동, 그외 영역 선택 시 카메라 회전
마우스 오른쪽 버튼으로 드래그: 관절 선택 시 몸 이동, 그외 영역 선택 시 카메라 이동
마우스 휠: zoom 확대 축소
컨트롤넷
Preprocessor: none Model: control_sd15_openpose
| 뼈대 이미지 공유
https://civitai.com 사이트에서 pose로 필터링해서 bone 이미지들을 다운 받을 수 있음