Stable Diffusion web UI チェックポイントモデルの使い方
Stable Diffusionモデルについて
Stable Diffusionモデル、またはチェックポイントモデルは、特定のスタイルの画像を生成するために事前にトレーニングされたデータです。
モデルが生成する画像の種類は、トレーニング画像に依存します。トレーニングデータに猫の画像が一切含まれていなければ、モデルは猫の画像を生成することはできません。同様に、もしモデルを猫の画像のみで訓練した場合、それは猫の画像のみを生成するでしょう。
玄人志向 NVIDIA GeForce RTX4060 搭載 グラフィックボード GDDR6 8GB 搭載モデル 【国内正規品】 GG-RTX4060-E8GB/SF
￥42,409
値引き￥7,894 (16%)
ASIN:B0CG69V3H6
MSI GeForce RTX 3060 VENTUS 2X 12G OC グラフィックスボード VD7553
￥40,980
値引き￥4,444 (10%)
ASIN:B08WPRMVWB
ASUSTek NVIDIA RTX3060 搭載 Axial-techファンと2スロット設計 DUAL-RTX3060-O12G-V2
￥46,627
ASIN:B097P6C9HJ
MSI GeForce RTX 4060 Ti VENTUS 2X BLACK 8G OC グラフィックスボード VD8517
￥63,736
値引き￥6,769 (10%)
ASIN:B0C5B4XNWR
MSI GeForce RTX 4070 SUPER 12G VENTUS 2X OC/A PCIe4.0 2スロット・2ファン搭載 省スペース グラフィックスカード VD8751
￥97,800
値引き￥10,388 (10%)
ASIN:B0CRZ67KXX
GIGABYTE NVIDIA RTX3050 搭載 グラフィックボード GDDR6 6GB【国内正規代理店品】 GV-N3050OC-6GL
￥27,800
値引き￥6,039 (18%)
ASIN:B0CVSGRV4G
GIGABYTE NVIDIA GeForce RTX4060 搭載 グラフィックボード GDDR6 8GB【国内正規代理店品】 GV-N4060D6-8GD
￥44,364
ASIN:B0CS2B592J
玄人志向 NVIDIA GeForce RTX3060 搭載 グラフィックボード GDDR6 12GB GALAKURO GAMINGシリーズ 【国内正規代理店品】 GG-RTX3060-E12GB/OC/DF
￥52,000
ASIN:B08XMC4QJ1
MSI GeForce RTX 4070 VENTUS 2X E 12G OC 2ファン コンパクトサイズ グラフィックスカード VD8664
￥93,919
ASIN:B0CHVP7QGC
ASUS GeForce RTX 3050 LP BRK OC Edition 6GB GDDR6 ビデオカード / RTX3050-O6G-LP-BRK 国内正規流通品
￥30,800
ASIN:B0CXPBVJD3
モデルを探すには🔗Cibitaiや🔗Hugging Face等でお好みのモデルを探します。
Civitai
CibitaiはAIアートの発展とユーザーの交流を目的に2022年より始まったサービスで、Stable Diffusionで利用できるモデルをダウンロードするプラットフォームです。モデルのダウンロード以外にもAIアートや記事の投稿、オンサイトでの画像生成・Loraの学習等のサービスが提供されています。ホームページもサムネイル付きの一覧で見やすくなっており初心者の方にはコチラをおススメします。
Cibitai-モデルのダウンロード方法
Aitasai氏のDark Sushi Mixモデルを参考に説明します。※このモデルは後ほど詳しく紹介します。
Hugging Face (Hugging Face Hub)
Hugging Face (Hugging Face Hub)はHugging Face, Inc.が2022年より始めたGitベースのホスティングサービスです。モデルのダウンロード以外にもテキスト・画像や音楽のデータセットが共有されています。ホームページはCivitaiと比べるとより専門的になっており初心者の方にはあまり向いていません。
Hugging Face-モデルのダウンロード方法
ここでは🔗Vsukiyaki氏の🔗ShiratakiMixを例として説明します。
.ckptと.safetensorsファイルがある場合は.safetensorsの方をダウンロードしましょう。
モデルファイルにはckptとsafetensorsと言うファイルが存在します。もともとモデルファイルはckpt形式で共有されていましたがckptファイルには悪意のあるコードを埋め込めるという問題がありました。そこでHugging Faceがより安全で早いsafetensors開発しました。すべてのckptが危険という訳ではありませんがとくに理由がない場合はsafetensorsを使いましょう。
チェックポイントモデル紹介
参考までにこの記事のトップ画像の生成に使ったのチェックポイントモデルです。
- 作者：🔗Aitasai
- ダウンロード：1.99 GB
- アップロード：2023/6/11
- ファイル形式：SafeTensor
- Base Model：SD 1.5
- 推奨VAE：🔗vae-ft-mse-840000-ema ※この記事ではVAEの使い方は説明していません。
- Hires. Fix推奨
また、下記の記事ではオススメチェックポイントを紹介しています。
チェックポイントモデルのインストール方法
チェックポイントモデルをStable Diffusion web UIで使用するにはダウンロードしてきたdarkSushiMixMix_225D.safetensorsファイルを\stable-diffusion-webui\models\Stable-diffusionフォルダーに移動します。
ブラウザに戻り左上のチェックポイントモデルの選択タブの横の「🔄」ボタンを押します。
更新が完了するとタブより先ほどフォルダーに移動したチェックポイントモデルが表示されるので選択して読み込みます。
チェックポイントモデルの使い方
試しに下記のプロンプトをペーストしてみましょう。
(ultra art illustrated style, masterpiece:1.3), ultra detailed, dutch_angle,
1girl, beautiful face,
(medival, mage:1.1), hill_side, blue_sky,horizonネガティブプロンプトにも下記のプロンプトをペーストしてみましょう。
(worst quality:2.0), (low quality:2.0), (normal quality:2.0), lowres設定は以下の通り入力して「Generate」ボタンを押してください。
- Sampling method: DPM++ SDE
- Schedule type: Karras
- Sampling steps: 35
- Width: 768
- Height: 512
- CFG Scale: 5
- Seed: 2454522269
- Batch count: 1
- Batch size: 1
ファンタジー風の女の子が生成されたと思いますが、解像度が768×512なので少しラフな感じがしますよね。そこで「Hires. Fix」を使いさらにデティールを増やしてみましょう。
「Hires. Fix」のチェックボックスをオフのままにして設定を下記のようにします。
- Upscaler：R-ESRGAN 4x+
- Hires steps：15
- Denoising strength：0.3
- Upscale by：2
- Resize width to：0
- Resize height to：0
「Generate」ボタンを押してお気に入りの画像が出てきたらプレビュー画像の下に並んでいる一番右側の✨ボタンを押すとその画像にHires. Fixを適応してくれます。
ベースモデルについて
「ベースモデル」には、SD1.5とSDXLの2つの主要なバージョンがあります。以下にそれぞれの特徴を説明します。
SD1.5
- 学習ベースの解像度：512×512ドット
- テキストエンコーダー：Open AI CLIP ViT-L/14
- 主な特徴：SD1.5は、比較的低い解像度で画像生成を行います。プロンプトの記述方法が直感的であり、扱いやすい一方で、生成される画像の細部には限界があります。
SDXL
- 学習ベースの解像度：1,024×1,024ドット
- テキストエンコーダー：OpenClip model (ViT-G/14) ＆ OpenAI proprietary CLIP ViT-L.
-
主な特徴：
- 高いプロンプトの理解力：テキストエンコーダーにOpenClip modelが加えられたことによりさらにプロンプトの理解力が向上。
- 高い処理能力：より大きく複雑な画像生成タスクに対応できます。
- 高品質の画像：リアリズムとディテールのレベルが向上しており、非常に高解像度の画像を生成できます。
- 速度：以前のモデルよりも高速に作業し、画質を損なうことなく画像生成にかかる時間を短縮します。
PrunedとFullとEMA-onlyモデルの違いについて
- Pruned Model：モデル学習の完了後にプルーニングされ、冗長な部分を取り除いた軽量モデル。リソースが限られた環境や高速な生成が必要な場合に使います。
- Full Model：軽量化される前のモデル。学習したすべての情報を持っているため精度に優れています。
- EMA-only Model：Pruned Modelと似ていますが、学習中の最終数ステップにノイズの平滑化を適応させているモデル。データが軽量化された上に精度の安定した画像生成ができます。
Fp16とFp32について
モデルデータにはFp16またはFp32と表示されています。「Fp」はFloating point（浮動小数点）の略でFp16はメモリ使用量を削減し、計算速度を向上させることができるため、リソースが限られている環境や、高速な処理が求められるアプリケーションで利用されます。一方、Fp32はより高い精度が必要な場合や、大規模なデータセットを扱う場合に適しています。
チェックポイントモデルデータは非常に大きなファイルになり、モデルデータを色々と試しているとストレージを圧迫します。とくにこだわりがない場合は、PlunedのFp16をダウンロードしましょう。
まとめ
この記事では、Stable DiffusionのWeb UIにおけるチェックポイントモデルの使い方を詳しく解説しました。Stable Diffusionモデルを使用することで、生成される画像のスタイルを効果的にコントロールできます。また、モデルは定期的にアップデートされており、新しいバージョンが追加されているため、常に最新の技術を活用できます。チェックポイント以外にも、Lola、Textual inversions (embedding)、VAE、Hypernetworksなど、さまざまな機能が存在しますが、それらについては別の機会に詳しく紹介したいと思います。
【最新第13世代 Core i9 HX & RTX 4090搭載・ウルトラハイエンド】MSIゲーミングノートPC RaiderGE78HX i9HX RTX4090/17型 WQXGA/240Hz/32GB/2TB/Windows11/Raider-GE78HX-13VI-2803JP
￥368,800
ASIN:B0BVBM5T8F
【最新第13世代 Core i9 HX & RTX 4080搭載・ウルトラハイエンド】MSIゲーミングノートPC RaiderGE78HX i9HX RTX4080/17型 WQXGA/240Hz/32GB/1TB/Windows11/Raider-GE78HX-13VH-1103JP
￥579,800
ASIN:B0BVBCNBLN
【整備済み品】ゲーミングPC デスクトップ パソコン ドスパラ GALLERIA Core i7-8700 - Geforce GTX 1080 8G - 16GBメモリ - SSD 1.0TB - Windows 11 - THIRDWAVE ゲームPC VR
￥81,510
値引き￥4,290 (5%)
ASIN:B0DJ29797H
【第13世代Core i9 HX & RTX 4080搭載・ウルトラハイスペック】MSIゲーミングノートPC Vector16HX 32GB/1TB/Core i9-13980HX RTX4080/16型 WQXGA/240Hz/Windows 11/Vector-16-HX-A13VHG-1003JP
￥379,800
ASIN:B0CTKC6JYH
mouse 【 RTX4070 SUPER 搭載 / 3年保証】 ゲーミングPC デスクトップ G-Tune DG (Ryzen 7 5700X RTX4070 SUPER 32GBメモリ 1TB SSD Windows 11 ゲーム 動画編集) DGA7G7SB3SJW103AZ
￥212,330
値引き￥37,470 (15%)
ASIN:B0CYGPQJBX
MSI Trident X2 14NUF7-293JP ゲーミングデスクトップPC Windows 11 Pro/インテル Core™ i7-14700KF/NVIDIA GeForce RTX 4070 Ti / DDR5 32GB/SSD 1TB/メーカー2年保証
￥398,000
値引き￥100,400 (20%)
ASIN:B0CSSS66NH
【14インチ小型・軽量1.6kg】【第13世代Core i7 & RTX 4060搭載・スケルトンデザイン】MSIゲーミングノートPC Cyborg14 Corei7 RTX4060/14インチ WUXGA/144Hz/32GB/1TB/Windows 11/Cyborg-14-A13VF-6003JP
￥199,800
ASIN:B0CTS2PCX1
【Amazon.co.jp限定】 ASUS ゲーミングノートPC TUF Gaming A15 FA507NVR 15.6型 RTX 4060 Ryzen 7 7435HS メモリ16GB SSD1TB リフレッシュレート144Hz RGB イルミネートキーボード Windows 11 動画編集 Xbox Game Pass 3ヶ月利用権付き FA507NVR-R74R4060T
￥149,800
値引き￥40,000 (21%)
ASIN:B0CWVCYZC5
【NEWLEAGUE】ゲーミングパソコン Ryzen 7 5700X / RTX4070 / メモリ32GB / NVMe SSD 1TB / Windows11Pro / WPS Office ミドルタワー デスクトップパソコン NGR75X-RTX47650 (RTX4070 GDDR6X 12GB, G6ホワイト)
￥203,830
値引き￥35,970 (15%)
ASIN:B0D41HWK5D
mouse 【 RTX4070 SUPER 搭載 / 3年保証】 ゲーミングPC デスクトップ G-Tune DG (Core i7 14700F RTX4070 SUPER 32GBメモリ 1TB SSD Windows 11 水冷CPUクーラー ゲーム 動画編集) DGI7G7SB3SJW103AZ
￥254,830
値引き￥51,570 (17%)
ASIN:B0CSSNGZ21