VAEとは

VAEとは....と書いたが私も専門的すぎて詳しく説明できないが...

とにかくAIにしかわからない画像を人間に分かるように変換するときのAIモデルだ。

このシリーズでもLoad CheckpointやVAE Decodeで取り扱った

今まではチェックポイントから出ているVAEを使用していた。

VAEで何が変わる？

音楽を再生するときにアンプやスピーカーを変えるだけでも音が変わるように、AIの画像を変換するときもこのVAEでアウトプットの質感が変わる。

例

実際ににどう違うか見てみる

Load Checkpointから出ているVAE	別で用意したVAE

かなりの変化だ。だが、画像そのものが全く別のものになったわけではない。

VAEは画像のシャープさや鮮やかさといった箇所に作用しているのが分かる。

ノードの組み方

次のノードで読み込むことができる。

• loders > Load VAE
• 検索名：VAELoader

こちらをVAE Decodeのvaeピンに差したら完成なのだが...

モデルをDLする必要がある

このVAE自体もAIの一種なので、ここのモデルを用意する必要がある。

ComfyUI ManagerからDLすると楽！

実はこのVAEのモデルなのだが、ほとんど種類が出回っていない。

おおよそ使用されているVAEはComfyUI Managerから直接DLできるのでこちらを使うのが最も楽。

ComfyUI ManagerからInstall Modelsを選択

次が全て

SDXLを使用するときの選択肢は一つになりそうだ。

今回はこのkl-f8-anime2というVAEを使用した。私はコレを常に使っている。

vae-ft-mse-840000-ema-prunedもよく使用されているのを見かけるので参考までに。

手動でVAEモデルを入れたい

手動でファイルを配置したい場合は次のフォルダ

ComfyUI_windows_portable\ComfyUI\models\vae

おためし

試しにvae-ft-mse-840000-ema-prunedを利用してみた。

※上の例はシードがわからないので再生成して固定

vae-ft-mse-840000-ema-pruned	kl-f8-anime2

ほとんど違いがない。

WEB用に画質を落としているので、恐らくここでは違いがまずわからないと思うレベル。

生データでみてみると、明るさや右手の袖口の表現がほんの少しだけ違う。

さいごに

VAEはDLしたものを使わないと「なんだかぬるい」画像になってしまうが、上にあるようにとりあえず定番を入れておけばそれだけでクオリティが上がる。

webui1111を利用しているユーザーにはわざわざ解説するまでもないかもしれないが超基礎シリーズということで紹介させていただいた。