【Stable Diffusion】VAEとは何か？意味や使い方や設定方法を実例で解説｜LoRAとの違いや注意点,簡単に変更する方法

Stable Diffusinoを使っていると「VAE」という言葉を耳にすることがあります。またVAEと似たものにLoRAがあります。

ここではVAEとは何か？や、VAEとLoRAの違い、およびVAEの使い方を実例で解説しています。

また、通常はStable DiffusionのSettings(設定画面)に移動して、適用するVAEを選択する必要がありますが、これを、チェックポンとと同じようにStable Diffusion UIのメイン画面の上部に表示することもできるので、その方法についても手順をまとめています。

VAEとは何か？

Stable DiffusionにおけるVAEとは、Variational Auto Encoderの略で、簡単に言うと生成する画像の色味を調整するものです。

iPhoneやインスタグラムやメルカリなどオリジナルの画像にフィルターをかけて明るくして彩度を上げたり、クラッシク調にしたりするのと似たような効果を発揮します。

なお、「Variational Auto Encoder」は変分オートエンコーダーという意味で、元画像のデータにある変数を加えて画像を生成していく機能のことを言います。

VAEとLoRAの違い

Stable Diffusionでは元の画像に変化を加えるものに「VAE」以外に「LoRA（ローラ）」というものがあります。

どちらも後付けで簡単に加えたり、取り除いたりすることができます。

なお、VAEは設定画面でチェックポイントのように選択するのに対し、LoRAはプロンプトに＜＞を使って記述します。

VAEの特徴

VAEはチェックポイント（モデル）で生成した画像にさらに変更を加え、彩度や明るさなどの調整するものです。チェックポイントを前半の処理とするとVAEが後半の処理をするイメージになります。

VAEの場合は元の画像に大きな変更は加えず、ライトニングを調整するのみの処理を行います。

LoRAの特徴

一方、LoRAはチェックポイント（モデル）自体に変更を加えるものです。通常チェックポイントで少しニュアンスの異なった画像を生成するには追加のトレーニングを施し、別のチェックポイントを生成する必要があります。

ですが、LoRAを使えば、チェックポイントにアドオンするようなイメージで画像を生成する方法を変更することができるようになります。

VAEと違ってLoRAを使うと元の画像自体が変化します。

VAEの注意点

VAEとチェックポイントには相性がある

VAEには相性があり、チェックポイントによって合う合わないがあります。

一般的にはVAEはチェックポイントと合わせて開発・公開されることが多く、チェックポイント専用のVAEがあります。

もちろん、VAEを使うことは強制ではないため使わなくてもいいですし、専用以外のVAEを使うことも可能です。

例えば、Stable Diffusionの運営会社Stability AI社が公開している「vae-ft-mse-840000-ema-pruned」というVAEはアニメでも実写でも効果を発揮します。

専用のVAEとは？

例えば、CIVITAIでChilloutMixのダウンロードページに行くと、右端に次のような表示がされます。

This checkpoint recommends a VAE, download and place it in the VAE folder.

これは、このチェックポイントはVAEの使用を推奨します。ダウンロードファイルをVAEフォルダにおいてくださいという内容です。

この場合は文章中の「VAE」がテキストリンクになっているので、クリックするとVAEファイルをダウンロードすることができます。

VAEが不要なものもある

チェックポイントによってはデフォルトでVAEが実装されているものがあります。

その場合は、VAEを別途インストールする必要はありません。

VAEはどこでダウンロードできるか？

チェックポイントと一緒に置いてある（Hagging faceの場合）

VAEはチェックポイントと合わせてファイルが置いてある場合もあります。

例えば、アニメ系の画像生成に強いチェックポイントCounterfeitのバージョン2.5「Counterfeit-V2.5」のダウンロードページに行くと、フォルダ・ファイル群の中にVAEファイルがあります。

vaeというフォルダもありますがこれは違います。VAEファイルはファイル名に「vae」という単語が入っているのが一般的です。

VAE一覧から探す（CIVITAIの場合）

CIVITAIではVAEの一覧から探すこともできます。

各画像の右上に「VAE」と記載があります。

VAEのインストールと使い方実例｜vae-ft-mse-840000-ema-pruned

VAEの実例として、Stable Diffusionの運営会社Stability AI社が公開している「vae-ft-mse-840000-ema-pruned」のインストール方法を紹介します。

ファイルのダウンロード

これはHagging faceでもCIVITAIのどちらからもダウンロードすることができます。

例えば、CIVITAIからダウンロードする場合は、右上のダウンロードアイコンをクリックします。

サイズは300MB程度でチェックポイントやLoRAに比べるとかなり軽いです。

VAEフォルダにファイルを入れる

次にダウンロードしたファイルをVAEフォルダに入れます。ディレクトリパスは「stable-diffusion > stable-diffusion-webui > models >VAE」です。

Stable Diffusion UIでVAEを読み込む

Stable Diffusionを起動したら、Settings（設定）の中のVAEメニューをクリックします。

SD_VAEのプルダウンの横にあるリロードアイコンをクリックします。

するとプルダウンに先ほどフォルダに追加したVAEが表示されるので、これを選択します。

最後に「設定を適用（Apply Settings）」をクリックすれば、選択したVAEが適用されます。

「1 settings changed: sd_vae」と表示されればOKです。

画像を生成する

この状態でいつも通りプロンプトを入力して画像を生成すると、VAEを適用した状態の画像が生成されます。

なんとなく明るい感じの画像になりました。

VAEをUIのトップに表示する

VAEはデフォルトの設定では設定画面の中に入って設定する必要があります。しかしこれでは、VAEが適用されていることを忘れ、意図しないVAEを適用したまま画像を生成してしまったり、VAEの変更がめんどくさいというデメリットがあります。

表示する場所

そんなときは、Stable Diffusion UIのトップページのチェックポイント選択の横にVAE選択のプルダウンを表示することができます。設定は簡単です。

クイック設定にsd_vaeを追加する

まずは、「設定（Settings）」→「ユーザーインターフェース（User interface）→「クイック設定（Quicksettings list）」へと進みます。

デフォルトでは「sd_model_checkpoint」が選択されています。

検索窓に「sd_vae」と入力すると候補の一覧が表示されるので「sd_vae」を選択します。

最後に上部の「設定を適用（Apply settings）」をクリックします。「1 settings changed:quicksettings_list」と表示されればOKです。

続いて、「UIの再読み込み（Reload UI）」をクリックします。

トップページのチェックポイント選択のプルダウンの横に、VAE選択のプルダウンが表示されます。

以上で設定は完了です。

これで、付け忘れや外し忘れがなくなります。