Stable Diffusion VAE

VAE는 Variational Autoencoder의 약자로 이미지를 인코딩 및 디코딩하는 신경망 모델의 일부이며

흐린 이미지를 수정하는 등 퀄리티 및 색상 톤을 변경시켜준다.

 

일부 MIX 모델(체크포인트)은 vae가 포함되어 있으므로 적용하지 않는다.

 

stable-diffusion-webui\models\VAE 에 pt 파일을 넣어 준다.

필수 VAE

VAE 비교

 

vae-ft-mse-840000-ema-pruned.ckpt, 실사 이미지에 사용. 진한 톤으로 변경

https://huggingface.co/stabilityai/sd-vae-ft-mse-original/blob/main/vae-ft-mse-840000-ema-pruned.ckpt

 

kl-f8-anime2.ckpt, 배리믹스라고도 불림. 톤을 밝게, 그림 이미지에 많이 사용

https://huggingface.co/hakurei/waifu-diffusion-v1-4/blob/main/vae/kl-f8-anime2.ckpt

 

orangemix.vae.pt, 오렌지믹스 모델이나 톤을 조금만 밝게 하고 싶을 때 사용

Anything-V3.0.vae.safetensors 톤을 조금만 밝게 하고 싶을 때 사용

https://huggingface.co/AIARTCHAN/aichan_blend/blob/main/vae/Anything-V3.0.vae.safetensors

https://huggingface.co/WarriorMama777/OrangeMixs/blob/main/VAEs/orangemix.vae.pt

 

ClearVAE 애니씽 vae보다 조금 더 붉은 톤

https://civitai.com/models/22354/clearvae

 

pastel-waifu-diffusion.vae.pt, 파스텔 믹스 모델이나 파스텔 느낌 주고 싶을 때 사용

https://huggingface.co/andite/pastel-mix/blob/main/pastel-waifu-diffusion.vae.pt

 

그외 특정 모델에서 필요한 vae를 다운받거나 본인 취향에 맞게 추가

VAE 선택

User interface - Quicksettings list에 sd_vae 추가하여

UI 상단에 퀵 세팅 목록에서 vae 선택 가능하게 세팅

Stable Diffusion VAE 선택

 

vae 관련 오류 해결 방법

 

webui-user.bat을 메모장 등의 편집기로 열어 --no-half-vae 추가

set COMMANDLINE_ARGS=--no-half-vae

 

--no-half-vae는 do not switch the VAE model to 16-bit floats(VAE 모델을 16비트 플로트로 전환하지 마십시오.) 라는 옵션으로

VAE연산할때 half-precision쓰지말고 single-precision쓰라는 설정

 

딥러닝 모델의 학습에서 Single Precision (FP32) 대신 Half Precision (FP16)을 사용하면 Bit 수가 절반으로 줄어들어 계산량과 메모리 사용량을 줄일 수 있지만,

현재 Stable Diffusion 사용에는 크게 차이가 없다고도 함.