ComfyUI Flux.1 [schnell]で高パフォーマンスのGGUFを使うには
![ComfyUI Flux.1 [schnell]で高パフォーマンスのGGUFを使うにはのメイン画像](/_next/image?url=https%3A%2F%2Fdca.data-hub-center.com%2Fcontent%2Fuploads%2F2024%2F11%2Feye_catch_use-high-performance-gguf-comfyui-flux-1-schnell_ja.jpg&w=3840&q=80)
今回はComfyUI Flux.1[schnell]でGGUFを使う方法を解説します。Flux.1で量子化GGUFを使う場合は専用モデルと専用カスタムノードをつかいます。GGUFを使うことでパフォーマンスを向上できるのでおススメします。

【Core i7 & NVIDIA RTX 4060搭載・薄型軽量スケルトン】MSIゲーミングノートPC Cyborg15 1.98kg Corei7/RTX4060/Intel/15.6/FHD/144Hz/32GB/1TB/英語キーボード/Windows 11 Pro/Cyborg-15-A13VFK-6403JP
ASIN:B0DGTSF5J8

ASUS ゲーミングデスクトップPC ROG Strix G13CHR GeForce RTX 4060 インテル Core i5 14400F メモリ32GB SSD1TB Windows11 動画編集 エクストリームダークグレー G13CHR-51440F158W/A
ASIN:B08H21HKTX

ゲーミングPC デスクトップ パソコン ドスパラ Diginnos Core i7-12700 - RTX 3060 12G - 32GBメモリ - SSD2.0TB - Windows 11 - THIRDWAVE ゲームPC VR 生成AI (整備済み品)
ASIN:B0DSS2DHFC

【最新第13世代 Core i9 HX & RTX 4090搭載・ウルトラハイエンド】MSIゲーミングノートPC RaiderGE78HX i9HX RTX4090/17型 WQXGA/240Hz/32GB/2TB/Windows11/Raider-GE78HX-13VI-2803JP
ASIN:B0BVBM5T8F

ゲーミングPC デスクトップ パソコン ドスパラ GALLERIA XT Core i7-9700 - Geforce RTX 3060 12G - 32GBメモリ - SSD1.0TB - Windows 11 - THIRDWAVE ゲームPC VR 生成AI (整備済み品)
ASIN:B0DW2VQXHN

UNFINITY ゲーミングPC UNF4060-V3EX(i5-12400F / 32GB / RTX4060 / NVMe M.2 SSD 1TB / Windows11 home
ASIN:B0F14223F6

ガレリア ゲーミングノートPC GALLERIA RL7C-R45-5N RTX4050 Core i7-13620H メモリ16GB SSD500GB 15.6インチ Windows 11 Home 15813-3359
ASIN:B0DMDYDJJB

GEOMETRIC FUTURE ミドルタワーPCケース Model 5 NV Style Edition 強化ガラスパネル ピラーレス構造 RTX 40シリーズGPU / 420mmラジエーター搭載可能 E-ATX/ATX/Micro-ATX/ITX規格対応 日本正規代理店品
ASIN:B0DFWGQD6N

ガレリア ゲーミングPC GALLERIA RM7R-R46 RTX 4060 Ryzen 7 5700X メモリ32GB SSD1TB Windows11 動画編集 2年保証 ガンメタリック
ASIN:B0DVGTSGPM

ガレリア ゲーミングPC GALLERIA RM7C-R46 RTX4060 Core i7-14700F メモリ16GB SSD1TB Windows 11 Home 動画編集 2年保証 ガンメタリック 16948-4692
ASIN:B0DT9DWYYS
GGUFとは
GGUF(GPT-Generated Unified Format)とは2023年8月にllama.cppチームによって発表されたファイル形式で、それまでのGGML(GPT-Generated Model Language)では対応できなかったモデルに対応したり、さらなる汎用性・拡張性を持っています。イラスト生成AI分野ではではsafetansorやbinファイルを量子化変換して公開されています。ご自身でGGUFファイルを作りたい方は公式のリポジトリをクローンして「convert-hf-to-gguf.py」を使って変換することもできます。
ComfyUI Flux.1 [schnell]でGGUFを使うには
モデルのダウンロード
ComfyUI Flux.1[schnell]でGGUFを使うにはcity96氏が公開しているモデルをダウンロードしましょう。リポジトリには2-bit(Q2_K)から16-bit(F16)まで並んでいるので後ほど説明する「量子化について」を参考にご自身の環境に適したモデルをダウンロードしましょう。

量子化について
city96/FLUX.1-schnell-ggufの量子化のタイプは下記の表の様になっています。
基本的にはビット数が多い程、精度が上がります。その代わりVRAM消費も上がりますのでご自身の環境にあったタイプを使いましょう。
タイプ | モデルサイズ | 説明 |
---|---|---|
Q2_K | 4.01 GB | 2ビット量子化。16ブロックのスーパーブロックで、各ブロックは16のウェイトを持つ。1ウェイトあたり2.5625ビットになる。 |
Q3_K_S | 5.21 GB | 3ビット量子化。16ブロックのスーパーブロックで、各ブロックは16のウェイトを持つ。1ウェイトあたり3.4375ビットになる。 |
Q4_K_S / Q4_0 / Q4_1 | 6.78 GB / 6.77 GB / 7.51 GB | 4ビット量子化。8ブロックのスーパーブロックで、各ブロックは32のウェイトを持つ。1ウェイトあたり4.5ビットになる。Q4_0とQ4_1は4bit近似値に四捨五入されています。 |
Q5_K_S / Q5_0 / Q5_1 | 8.26 GB / 8.25 GB / 8.99 GB | 5ビット量子化。8ブロックのスーパーブロックで、各ブロックは32のウェイトを持つ。1ウェイトあたり5.5ビットになる。Q5_0とQ5_1は5bit近似値に四捨五入されています。 |
Q6_K | 9.83 GB | 6ビット量子化。16ブロックのスーパーブロックで、各ブロックは16のウェイトを持つ。1ウェイトあたり6.5625ビットになる。 |
Q8_0 | 12.7 GB | 8ビット近似値に量子化。各ブロックは32のウェイトを持つ。 |
F16 | 23.8 GB | 16ビット 標準IEEE754 半精度浮動小数点数。 |
VRAM別オススメタイプ
表をみてもいまいちわからない方に下記のオススメを載せておきます。
- 24GB VRAM:Q8_0
- 16GB VRAM:Q6_K
- 12GB VRAM:Q5_K_S
- 10GB未満のVRAM:Q4_0またはQ4_1
カスタムノードのインストール
ComfyUIでGGUFをつかうにはカスタムノードの「ComfyUI-GGUF」が必要になります。「Custom Nodes Manager」を使ってComfyUI-GGUF
を検索してインストールしましょう。
カスタムノードのインストール方法が分からない方は下記の記事にて詳しく解説しているのでご参照ください。

量子化されたT5 v1.1 XXLエンコーダーのインストール(オプション)
city96氏が公開しているT5 v1.1 XXLエンコーダーのGGUFファイルを使うことでさらなるパフォーマンスを発揮できます。モデルと同じ量子化ファイルをダウンロードしましょう。
ComfyUI Flux.1 [schnell] + GGUFを使ったワークフロー
ここからは実際にモデルを使ってワークフローを使ってみましょう。このワークフローでは下記のモデル・カスタムノードを使用していますのであらかじめダウンロード・インストールしておきましょう。また、ComfyUIのバージョンが古いと上手く動かないことがあるので最新版にアップデートしましょう。
- flux1-schnell-Q8_0.gguf:今回紹介しているFlux.1 [schnell]の8ビット量子化モデル
- t5-v1_1-xxl-encoder-Q8_0.gguf:8ビットに量子化されたT5 v1.1 XXLエンコーダー
- ComfyUI-GGUF:GGUF形式ののUnetとCLIPを読み込むためのカスタムノード
- Image chooser:カスタムノードで1st Passの結果を確認する為に実装、これにより生成時間が短い1st Passを満足のいく構成が出るまで簡単に再実行できます。
- 🔗aki_anime.safetensors:アニメスタイルのLoRAモデル
- 🔗hinaFluxFantasyArmorMix-schnell_v1-rev1.safetensors:ファンタジー調の鎧を生成してくれるLoRA
- 🔗clip_l.safetensors:Flux.1の標準テキストエンコーダー
- 🔗ae.safetensors:Flux.1の標準VAE
ワークフローはPatreonで公開していますが、有料サポーター様のみ閲覧・ダウンロードが可能となっています。1か月だけでも有料サポーターになっていただければ執筆の励みになりますので、よろしければ入会をお願い致します。
また、ワークフローがダウンロード出来なくでも解説を見ればご自身でも構成できるので、このまま解説にお進みください。
Basic Info
- Unet Loader (GGUF):GGUFのUnetを読み込みます。unet_nameに
flux-schnell-Q8_0.gguf
を選択します。 - DualCLIPLoader (GGUF):GGUFのテキストエンコーダーモデルを読み込みます。clip_nameに
clip_l.safetensors
とt5-v1_1-xxl-encoder-Q8.gguf
を選択しましょう。 - Load LoRA:LoRAを読み込みます。lora_nameに
aki_anime.safetensors
、strength_modelには少しだけベースモデルを反映させたいので0.80
にします。さらにLoRAを適応させていのでもう一つLoad LoRAを配置してlora_nameにhinaFluxFantasyArmorMix-schnell_v1-rev1.safetensors
、strength_modelは顔への影響があったので0.60
にします。 - Empty Latent Image:今回は
1280 x 720
にします。batch_sizeは1
のまま使用します。 - ModelSamplingFlux:タイムステップスケジューリングシフトの設定です。FLUX.1 [schnell] で使う場合はmax_shiftは
0.0~2.0
辺りで設定しましょう。今回は2.0
に設定します。また、base_shiftは反映されないので0
または、デフォルトの0.5
で使いましょう。widthとheightはデフォルトの1024
で問題ありません。場合によってはこのノードをバイパスした方が良い結果が得られる場合も在ります。 -
CLIP Text Encode (Prompt):基本的にはT5XXLが自然言語を得意としているので自然言語のみでも問題ありませんが、CLIP Lも使われているのでDanbooruスタイルも使うことができます。今回は下記のプロンプトを使います。
ネガティブプロンプトは反映されないので空白のまま使います。
A beautiful blonde girl stands on a hillside under a blue sky. She looks like an angelic knight with a halo ring. She gazes at the viewer. She opens her white wings. Many white feathers in the sky. The girl's head is adorned with jewels. The theme is teal and orange. (The old castle is on top of a hill:0.85). horizonin view, 50mm lens portrait, correct perspective, (anime kawaii face with detailed eyes:1.3), medival fantasy, water fall, authentic (no credits, no signature.:1.1), (detailed fantasy white and gold armor:1.2)
- Load VAE:VAEを読み込みます。vae_nameには
ae.safetensors
を選択してください。 - Primitive (Seeds):Seedを外部化して1st Passと2nd Passのシード値を共有しています。
1st Pass
1st PassはComfyUIの標準サンプラーをつかいます。過去の記事で紹介している「SamplerCustomAdvanced」で構成しても問題ありません。
- KSampler:seedは外部化してPrimitive (Seeds)より値を取得しています。stepsは
2
を使います。cfgはFlux.1[schnell]推奨の1.0
に設定します。sampler_nameをeuler
、schedulerをbeta
に設定して、denoiseを1.00
に設定します。 - VAE Decode:サンプラーにて生成されたラテントイメージをピクセルイメージにデコードします。
Preview Chooser
1st Passで生成された結果を確認する為に配置しています。気に入ったイラストが生成されたら選択して「Progress selected image」ボタンで次に進めましょう。
Upscale
- Load Upscale Model:アップスケーラーモデルを選択します。今回は
4x-UltraSharp.pth
を使用します。 - Upscale Image (using Model):アップスケーラーモデルを使用する為に使います。
- Scale Image to Total Pixels:アップスケーラーモデルを使って4倍に拡大された画像を任意の大きさに縮小します。今回は
3.00
に指定して3メガピクセルのイラストに拡大します。PCのスペックが十分な方は5.00
にするとさらに鮮明なイラストを生成できます。 - VAE Encode:スケールアップした画像を2nd Passに送るためにラテントイメージにエンコードします。
2nd Pass Info
- ModelSamplingFlux:2nd Passでは大きく構図を変えたくないのでmax_shiftを
0.15
にします。 -
CLIP Text Encode (Prompt):2nd Pass用に下記の様なシンプルなプロンプトを使います。
very detailed, masterpiece, intricate details, UHD, 8K
2nd Pass
2nd Passはほとんど1st Passと同じ設定にしていますが、denoiseのみ0.35
に設定して元の構図を崩さないようにしています。
Preview Image
最終結果になります。画像を保存したい場合は右クリックメニューから「Save Image」を選択するか、このノードを「Save Image」に変更してください。
以上がワークフローの解説になります。
最終結果

まとめ
いかがでしたか?GGUFを導入することでヘビー級のFlux.1が快適に動くようになったのではないでしょうか?city96氏のHugging FaceではFlux.1[shnell]の他にもFlux.1[dev]、SD3.5 largeやsd3.5 large turboモデルも公開していますので興味のある方は試してみると良いでしょう。
さて、今回でFlux.1[schnell]の記事が3回目となりましたが、モデル界隈ではあまり盛り上がっていないようです。恐らくFlux.1[schnell]はモデルサイズの軽量や速度の向上を目的とした蒸留(distillation)モデルなのであまり融通が利かない事が原因と思われます。この理由でControlNetが使えなかったりファインチューニングが出来なかったりもします。しかし、ostris氏が公開している「🔗OpenFlux.1」でFlux.1[schnell]の蒸留モデル部分が取り除かれたので、もしかするとControlNet等が登場するかもしれません。

【Amazon.co.jp限定】ASUS モニター Eyer Care VZ249HR 23.8インチ/フルHD/IPS/薄さ7mm/ブルーライト軽減/フリッカーフリー/HDMI D-sub/スピーカー/3年保証
ASIN:B07LH1ZDSL

【Amazon.co.jp 限定】アイ・オー・データ IODATA モニター 23.8インチ ブラック ADSパネル 非光沢 省電力 (HDMI/アナログRGB/スピーカー付/VESA対応/土日サポート/日本メーカー/無輝点保証) EX-A241DB
ASIN:B0CPXQQLL2

Xiaomi モニター A24i ディスプレイ 23.8インチ フルHD 1920x1080 IPSパネル 100Hz 超薄型 6ms ブルーライト VESAマウント対応
ASIN:B0CWS1T7PW

KEEPTIME モバイルモニター 15.6インチ 1920*1080 モバイルディスプレイ ポータブルモニター IPS液晶パネル 非光沢画面 薄型 軽量 マグネット保護カバー付き USB Type-C ミニHDMI PS4/XBOX/Switch/PC/Macなど対応 在宅勤務 リモートワーク
ASIN:B0D1K8H4F5

NEC MultiSync LCD-E241N ブラック 24インチ/フルHD1920x1080/IPSパネル/ベゼル極狭/白色LED/ブルーライト低減/フリッカーフリー/VGA,HDMI,DP,スピーカー内蔵 (整備済み品)
ASIN:B0DZGYMVKF

PHILIPS 液晶ディスプレイ PCモニター 272E2FE/11 (27インチ/5年保証/FHD/IPS/D-Sub 15,HDMI,Display Port/昇降・高さ調節/チルト/4面フレームレス/FreeSync(HDMI,DP)ちらつき防止/ブルーライト軽減)
ASIN:B08PTSY9PL



PHILIPS モニターディスプレイ 241E1D/11 (23.8インチ/IPS Technology/FHD/5年保証/HDMI/D-Sub/DVI-D/フレームレス)
ASIN:B07V47WQD8
