krita ai diffusion 설치 및 사용 방법

krita ai diffusion은 ComfyUI와 연동하여 stable diffusion의 인페인트를

krita 이미지 에디터에서 손쉽게 사용하기 위한 플러그인이다.

| 설치 

아래 링크에서 krita 앱 다운로드 및 설치

https://krita.org/en/

Digital Painting. Creative Freedom.

 

플러그인 다운로드

https://github.com/Acly/krita-ai-diffusion/releases

 

문서

https://docs.interstice.cloud/installation/

 

 

Krita를 시작하고 도구 ▸ 스크립트 ▸ 파일에서 Python 플러그인 가져오기...를 통해 플러그인을 설치

 

예 누르고 Krita를 다시 시작한다.

 

새 이미지를 하나 만들고

 

 

설정 ‣ 도커 ‣ AI 이미지 생성을 선택

 

 

오른쪽 아래 AI Image Generation 도커에서

Configure 버튼 클릭

 

 

ComfyUI 를 연동할 것이기 때문에 Custom Server 선택

Sever URL 입력

(ComfyUI 데스크톱을 설치했다면 comfyUI의 Settings - About 에서 서버 URL 확인)

--port 8000 --listen 127.0.0.1

 

위 경우 127.0.0.1:8000

 

Connect 버튼 클릭

Error: The following ComfyUI custom nodes are missing:
IP-Adapter https://github.com/cubiq/ComfyUI_IPAdapter_plus
External Tooling Nodes https://github.com/Acly/comfyui-tooling-nodes
Inpaint Nodes https://github.com/Acly/comfyui-inpaint-nodes
Please install or update the custom node package, then restart the server and try again.

 

에러 메시지에 표시된 

ComfyUI 커스텀 노드들을 ComfyUI에 설치 후 ComfyUI 재실행

Error: Missing CLIP Vision model: sd1.5/pytorch_model.bin, sd1.5/model.safetensors, clip-vision_vit-h.safetensors, clip-vit-h-14-laion2b-s32b-b79k
Checking for files with a (partial) match:


See Custom ComfyUI Setup for required models.
Check the client.log file for more details.

 

다서 서버 Connect 해보면 또 다른 에레 메시지가 뜬다.

 

https://docs.interstice.cloud/models/?arch-sd15=true&arch-sdxl=false#downloading-models

 

링크의 필수 모델 리스트에서 각 모델들을 다운로드 해서 ComfyUI 각 폴더에 넣어준다.

SDXL, illustrious 등 사용하는 체크포인트에 따라 추가로 필수 모델 또는 옵션 모델을 다운 받아 각 폴더에 넣어준다.

 

inpaint 모델을 넣었는데 없다고 뜨면 comfyUI에서 inpaint 폴더 설정이 되어 있지 않아서일 수 있으니

extra_models_config.yaml 사용 시,

  inpaint: models\inpaint\

 

yaml  파일에 위 경로를 추가해 준다.

 

 

연결 성공

 

| 사용 방법

 

Style에서 사용할 체크포인트, 샘플러 등의 프리셋을 추가할 수 있다.

 

 

그림을 그리고 텍스트 박스에 프롬프트 입력, Generate를 누르면 새로운 이미지가 생성된다.

 

그래픽카드 사양이 좋다면 Live를 선택하여 실시간 이미지 생성이 가능.

 

 

좌: 스케치한 그림, 우: 생성 이미지

 

프롬프트를 최소로 적고 Strength를 적당히 맞추면 유사하게 이미지가 생성된다.

 

 

설정에서 로라를 적용하여 이미지 생성 가능

 

 

그림을 어느 정도 그려줘야 자세 인식이 된다. 

 

 

결과 이미지 업스케일 가능

 

 

Controlnet 기능

 

 

 

Controlnet의 Pose로 뼈대 생성

뼈대는 직접 수정 가능

 

아래 문서 및 동영상을 보면 자세한 사용 방법을 알수 있다.

https://docs.interstice.cloud/basics/

First Steps

 

https://youtu.be/PPxOE9YH57E?si=9rQhJA4VpMTJPcj6

https://youtu.be/-QDPEcVmdLI?si=p4WcIjZkOOEFhkHR

 

ComfyUI 워크플로우와 연동

https://youtu.be/TeALR63-LzE?si=p-EWdtjedm7kl2bP

 

Krita 페인팅 툴 한글 매뉴얼

https://docs.krita.org/ko/user_manual.html

사용자 설명서