Stable Diffusion WebUI ControlNet 컨트롤넷을 이용한 자세 적용

Stable Diffusion WebUI에서 프롬프트만으로 자세를 그려내기가 쉽지 않음.

 

실사보다는 2D 이미지에서 그나마 자세 프롬프트가 잘 먹기는 하나,

손발이 분리되거나

정확히 원하는 자세가 안나오는 경우가 허다함.

 

컨트롤넷(ControlNet) 확장(Extension) 기능을 이용하면 원하는 자세를 쉽게 그려낼수 있음.

ControlNet 컨트롤넷

 

먼저 아래 링크를 참고하여 controlnet, posex(openpose-editor 보다 좋음) 익스텐션들을 각각 설치

 

https://rupicat.com/entry/Stable-Diffusion-Webui-필수-유용한-Extensions-익스텐션-들

Stable Diffusion Webui 필수/추천 Extensions 익스텐션 들

 

| 컨트롤넷 ControlNet 기본

컨트롤넷은 사람 뼈대 이미지나 사진을 넣어주고 해당 자세로 이미지를 만들 수 있게 해주는 익스텐션

 

간단한 스케치로도 이미지 생성 및 동물도 가능

 

txt2img, img2img에서 사용

 

컨트롤넷

 

Enable 체크 

 

이미지를 넣으면  Preprocessor에 open pose,  Model에 open pose 선택

뼈대를 넣으면 프리프로세스에 none, 모델은 open pose 선택

 

Weight는 컨트롤넷이 적용되는 강도: 기본 1

 

Resize Mode

Just resize: 이미지 비율 무시하고 생성되는 이미지 비율에 맞춤

Inner fit: 비율을 유지하며 길이 비가 낮은 쪽을 기준으로 이미지 맞춤. 남는 영역은 레터박스로 채워 넣음

Outer Fit: 비율을 유지하며 길이 비가 높은 쪽을 기준으로 이미지 맞춤

 

빼대(bone) 이미지와 생성 이미지가 비율이 동일해야 잘나옴.

 

컨트롤넷 설정 항목에서 위 화상표 버튼을 누르면 원본 이미지 사이즈를

컨트롤넷에 끌어다 놓은 뼈대 이미지 사이즈로 변경 반영

 

사람 포즈를 추출하는 용도로 개발된거라

사람 빼대 이미지를 넣었을 때 가장 잘 적용되며

뼈대가 아니라면 그림보다는 사진을 넣는게 좋음.

 

컨트롤넷 사용 시 추가적인 GPU 연산으로 이미지 생성 시간이 더 걸림

 

| Posex

포즈X는 

뼈대 이미지를 직접 만들어서 적용할 수 있는 익스텐션

 

txt2img, img2img에서 사용

 

Posex

 

Send this image to ControlNet 체크

(또는 Copy to clipboard를 클릭, Ctrl + V 키로 붙여넣기 하면 Posex에서 만든 이미지가 컨트롤넷 이미지에 추가)

 

에디터가 나타나면 마우스로 직접 뼈대를 수정

 

클릭: 빼 선택

마우스 왼쪽 버튼으로 드래그:  관절 선택 시 관절 이동, 그외 영역 선택 시 카메라 회전

마우스 오른쪽 버튼으로 드래그: 관절 선택 시 몸 이동, 그외 영역 선택 시 카메라 이동

마우스 휠: zoom 확대 축소

 

컨트롤넷 

Preprocessor: none Model: control_sd15_openpose

 

| 뼈대 이미지 공유

https://civitai.com  사이트에서 pose로 필터링해서 bone 이미지들을 다운 받을 수 있음