【Stable Diffusion web UI】VAEを使って鮮やかな画像を生成する
VAE（variational autoencode）とは
Stable Diffusionのチェックポイントモデルの説明を見ているとよくVAEの指定とかが出てきますよね。このVAEとはどんな技術なのでしょうか。
Team DDR4 3200Mhz PC4-25600 16GBx2枚（32GBkit） デスクトップ用メモリ Elite Plus シリーズ 日本国内無期限正規保証
￥6,980
値引き￥1,600 (19%)
ASIN:B093GNJS1T
シリコンパワー デスクトップPC用 メモリ DDR4 3200 PC4-25600 16GB x 2枚 (32GB) 288Pin 1.2V CL22 SP032GBLFU320F22
￥6,480
値引き￥6,320 (49%)
ASIN:B08K8P41DJ
Crucial(クルーシャル) PRO (マイクロン製) デスクトップ用メモリ 16GBX2枚 DDR4-3200 メーカー制限付無期限保証CP2K16G4DFRA32A【国内正規代理店品】
￥8,061
値引き￥1,619 (17%)
ASIN:B0C29R9LNL
シリコンパワー デスクトップPC用 メモリ DDR3 1600 PC3-12800 8GB x 2枚 (16GB) 240Pin 1.5V CL11 Mac 対応 SP016GBLTU160N22
￥2,371
値引き￥1,109 (32%)
ASIN:B0094P98BY
![【Amazon.co.jp限定】CORSAIR DDR4-3200MHz 2022限定モデル デスクトップPC用 メモリ VENGEANCE LPX シリーズ 32GB [16GB×2枚] CMK32GX4M2C3200C18の商品画像](/_next/image?url=https%3A%2F%2Fm.media-amazon.com%2Fimages%2FI%2F310h76xOZoL._SL160_.jpg&w=384&q=75)
【Amazon.co.jp限定】CORSAIR DDR4-3200MHz 2022限定モデル デスクトップPC用 メモリ VENGEANCE LPX シリーズ 32GB [16GB×2枚] CMK32GX4M2C3200C18
￥7,969
値引き￥4,000 (33%)
ASIN:B09QPWRWLY
シリコンパワー デスクトップPC用メモリ DDR4-2666(PC4-21300) 16GB×2枚 288Pin 1.2V CL19 SP032GBLFU266X22
￥6,480
値引き￥800 (11%)
ASIN:B09W1BGMGV
シー・エフ・デー販売 CFD販売 CFD Standard デスクトップ用 メモリ DDR4 3200 (PC4-25600) 16GB×2枚 288pin DIMM 相性保証 W4U3200CS-16G
￥6,873
値引き￥663 (9%)
ASIN:B0BB21KR4K
![CORSAIR DDR4-3200MHz デスクトップPC用 メモリ VENGEANCE LPX シリーズ 32GB [16GB×2枚] CMK32GX4M2E3200C16の商品画像](/_next/image?url=https%3A%2F%2Fm.media-amazon.com%2Fimages%2FI%2F31Hq8-Z9oWL._SL160_.jpg&w=384&q=75)
CORSAIR DDR4-3200MHz デスクトップPC用 メモリ VENGEANCE LPX シリーズ 32GB [16GB×2枚] CMK32GX4M2E3200C16
￥8,669
ASIN:B07RW6Z692
![CORSAIR Corsair DDR4-3200MHz デスクトップPC用 メモリ VENGANCE RGBシリーズ 32GB [16GB×2枚] ホワイトCMW32GX4M2E3200C16Wの商品画像](/_next/image?url=https%3A%2F%2Fm.media-amazon.com%2Fimages%2FI%2F41yngbpRN0L._SL160_.jpg&w=384&q=75)
CORSAIR Corsair DDR4-3200MHz デスクトップPC用 メモリ VENGANCE RGBシリーズ 32GB [16GB×2枚] ホワイトCMW32GX4M2E3200C16W
￥11,469
ASIN:B08S9BLC36
![【Amazon.co.jp限定】CORSAIR DDR5-6000MHz デスクトップPC用メモリ VENGEANCE DDR5シリーズ (PC5-48000) Intel XMPメモリキット 32GB ブラック [16GB×2枚] CMK32GX5M2E6000C36の商品画像](/_next/image?url=https%3A%2F%2Fm.media-amazon.com%2Fimages%2FI%2F417t5dQ0OSL._SL160_.jpg&w=384&q=75)
【Amazon.co.jp限定】CORSAIR DDR5-6000MHz デスクトップPC用メモリ VENGEANCE DDR5シリーズ (PC5-48000) Intel XMPメモリキット 32GB ブラック [16GB×2枚] CMK32GX5M2E6000C36
￥12,969
値引き￥3,000 (19%)
ASIN:B0BZHW15KF
VAE（変分オートエンコーダー）とは、画像をコンピューターが理解しやすい形に変換するためのツールのことです。この技術は、画像を小さなデータの集まりに変換し、その後で元の画像に戻すことができます。これにより、コンピューターは画像をより速く処理することが可能になります。
ロンドンにあるAI開発の大手でStable Diffusionモデルを開発した「Stability AI」という会社は、EMAとMSEという2種類の改良されたVAEをリリースしました。これらは、VAEがどれだけうまく機能しているかを測るための指標です。EMAは、時間が経つにつれてデータがどれだけ安定しているかを示し、MSEは、データの平均的な誤差がどれだけ小さいかを示します。
もともとモデルにはデフォルトのVAEが組み込まれているので、Stable Diffusionを使う時、VAEを別途インストールする必要はありません。しかし、より良いVAEが開発されることがあります。これは、元のVAEを改良して、画像の細かい部分をより鮮明に再現できるようにしたものです。この改良されたVAEを使うと、色味が鮮やかになり、目や文字などの細かいディテールがよりクリアに表示されます。
VAEのインストール方法
VAEのインストール方法はNegativeEmbeddingの時と同様で、指定されたフォルダーにファイル入れるだけです。
ダウンロード
まずは先ほど紹介した「Stability AI」の2つのモデルの中から、お好きな方をインストールしてみましょう。
とくに理由がなければsafetensorsファイルをダウンロードしましょう。
フォルダーに移動
ダウンロードしてきたファイルを/stable-diffusion-webui/models/VAEフォルダーに移動します。
VAEセレクターの出し方
VAEの選択時に「Setting」ページのVAEから選択する方法もありますが、VAEセレクターから選択する方法が断然に便利なのでセレクターを使いましょう。
- 設定を開く：Stable Diffusion web UIのブラウザーを開き「Settings」ページを開きます。
- ユーザーインターフェースの選択：左側のメニューから「User Interface」を選択してください。
-
クイック設定リストから検索：検索ボックスに
sd_vaeと入力し、検索結果から該当する項目を選択します。sd_vae - 設定の適用：選択後、「Apply Settings」ボタンをクリックします。
- UIの再起動：「Reload UI」を押して、ユーザーインターフェースを再起動します。
VAEの使い方
先ほど適応したVAEセレクターから選択しましょう。
Automaticについて
VAEの選択リストにある「Automatic」はチェックポイントモデルの名前とVAEの名前が一致した場合に自動で適応される機能です。チェックポイントモデルに対していい感じのVAEを選んでくれる訳ではないのでご注意を。
オススメのVAE
ここからはよく使われているオススメのVAEモデルを紹介します。
SD1.5モデルのVAE紹介
SD1.5のVAEは先ほど紹介したStability AIの2つのモデル以外にもたくさんあります。サンプルの比較画像は「darkSushiMixMix_2.25D」を使って生成しています。
kl-f8-anime2 VAE
- 作者：🔗migatte2001388
- ダウンロード：385.84 MB
- アップロード：2023/3/25
- データ形式：safetensors
migatte2001388氏の「kl-f8-anime2 VAE」は全体的にくっきりした画像を生成します。
Color101 VAE
- 作者：🔗Rexts
- ダウンロード：319.14 MB
- アップロード：2023/5/29
- データ形式：safetensors
Rexts氏の「Color101 VAE」も全体的にコントラストがしっかりでます。
difConsistency RAW VAE
- 作者：🔗rMada
- ダウンロード：319.19 MB
- アップロード：2023/6/12
- データ形式：pt
rMada氏の「difConsistency RAW VAE」は少しトーンの落ち着いた感じになります。サイトにはチェックポイントモデル・ネガティブエンベディング・Lora等をセットにして使うことを推奨しています。
Matrix-VAE
- 作者：🔗lawsuit
- ダウンロード：147.42 MB
- アップロード：2023/7/10
- データ形式：pt
lawsuit氏の「Matrix-VAE」は「Matrix-Anime」用に開発されたVAEですがサンプル画像の「darkSushiMixMix_225D」にもちゃんと影響しています。こちらもコントラストを落ち着かしてくれます。
Tone Range Compressor (VAE)
- 作者：🔗Z_phyr
- ダウンロード：159.58 MB
- アップロード：2023/6/10
- データ形式：safetensors
Z_phyr氏の「Tone Range Compressor (VAE)」は白トビ黒潰れを解消してくれます。サンプル画像では後頭部あたりの影部を明るくなっているのが確認できます。
SDXLモデルのVAE紹介
SDXLモデルのVAEはまだまだ少ないですが紹介します。サンプルの比較画像は「bluePencilXL_v500」を使って生成しています。
sdxl-vae
- 作者：🔗Stability AI
- ダウンロード：335 MB
- アップロード：2023/7/27
- データ形式：safetensors
Stability AIの「sdxl-vae」は見た感じほとんど変わってませんが、スキントーンを見てみるとナチュラルな色になっているのがわかります。
FIX FP16 Errors SDXL – Lower Memory use
- 作者：🔗nucleardiffusion
- ダウンロード：319.14 MB
- アップロード：2023/9/6
- データ形式：safetensors
nucleardiffusion氏の「FIX FP16 Errors SDXL – Lower Memory use」は先ほど紹介した「sdxl-vae」をfp-16の低メモリーで計算できるように調節されたモデルです。生成は高速ですが生成結果はほとんど「sdxl-vae」と変わりません。
XL_VAE_F
- 作者：🔗atw44qb
- ダウンロード：159.58 MB
- アップロード：2023/6/10
- データ形式：safetensors
atw44qb氏の「XL_VAE_F」はコントラストがハッキリした画像を生成してくれます。サイトページには他複数のバージョンがあります。
まとめ
今回はVAEの使い方とオススメモデルの紹介をさせていただきました。VAEは画像をコンピューターが扱いやすい形に変換するツールであり、改良されたVAEを使うと、画像の品質が向上します。Stable Diffusionを使う際には、とくにVAEを気にする必要はありませんが、より良い結果を求める場合は、改良されたVAEを試してみる価値があるかもしれません。
