ComfyUI Flux.1 [schnell]で高パフォーマンスのGGUFを使うには

今回はComfyUI Flux.1[schnell]でGGUFを使う方法を解説します。Flux.1で量子化GGUFを使う場合は専用モデルと専用カスタムノードをつかいます。GGUFを使うことでパフォーマンスを向上できるのでおススメします。

🔍Desktopsfrom Amazon

1

【最新第13世代 Core i9 HX & RTX 4090搭載・ウルトラハイエンド】MSIゲーミングノートPC RaiderGE78HX i9HX RTX4090/17型 WQXGA/240Hz/32GB/2TB/Windows11/Raider-GE78HX-13VI-2803JP

￥368,800

ASIN:B0BVBM5T8F

Amazonで見る

2

【最新第13世代 Core i9 HX & RTX 4080搭載・ウルトラハイエンド】MSIゲーミングノートPC RaiderGE78HX i9HX RTX4080/17型 WQXGA/240Hz/32GB/1TB/Windows11/Raider-GE78HX-13VH-1103JP

￥579,800

ASIN:B0BVBCNBLN

Amazonで見る

3

【整備済み品】ゲーミングPC デスクトップ パソコン ドスパラ GALLERIA Core i7-8700 - Geforce GTX 1080 8G - 16GBメモリ - SSD 1.0TB - Windows 11 - THIRDWAVE ゲームPC VR

￥85,800

￥81,510

値引き￥4,290 (5%)

ASIN:B0DJ29797H

Amazonで見る

4

【第13世代Core i9 HX & RTX 4080搭載・ウルトラハイスペック】MSIゲーミングノートPC Vector16HX 32GB/1TB/Core i9-13980HX RTX4080/16型 WQXGA/240Hz/Windows 11/Vector-16-HX-A13VHG-1003JP

￥379,800

ASIN:B0CTKC6JYH

Amazonで見る

5

mouse 【 RTX4070 SUPER 搭載 / 3年保証】 ゲーミングPC デスクトップ G-Tune DG (Ryzen 7 5700X RTX4070 SUPER 32GBメモリ 1TB SSD Windows 11 ゲーム 動画編集) DGA7G7SB3SJW103AZ

￥249,800

￥212,330

値引き￥37,470 (15%)

ASIN:B0CYGPQJBX

Amazonで見る

6

MSI Trident X2 14NUF7-293JP ゲーミングデスクトップPC Windows 11 Pro/インテル Core™ i7-14700KF/NVIDIA GeForce RTX 4070 Ti / DDR5 32GB/SSD 1TB/メーカー2年保証

￥498,400

￥398,000

値引き￥100,400 (20%)

ASIN:B0CSSS66NH

Amazonで見る

7

【14インチ小型・軽量1.6kg】【第13世代Core i7 & RTX 4060搭載・スケルトンデザイン】MSIゲーミングノートPC Cyborg14 Corei7 RTX4060/14インチ WUXGA/144Hz/32GB/1TB/Windows 11/Cyborg-14-A13VF-6003JP

￥199,800

ASIN:B0CTS2PCX1

Amazonで見る

8

【Amazon.co.jp限定】 ASUS ゲーミングノートPC TUF Gaming A15 FA507NVR 15.6型 RTX 4060 Ryzen 7 7435HS メモリ16GB SSD1TB リフレッシュレート144Hz RGB イルミネートキーボード Windows 11 動画編集 Xbox Game Pass 3ヶ月利用権付き FA507NVR-R74R4060T

￥189,800

￥149,800

値引き￥40,000 (21%)

ASIN:B0CWVCYZC5

Amazonで見る

9

【NEWLEAGUE】ゲーミングパソコン Ryzen 7 5700X / RTX4070 / メモリ32GB / NVMe SSD 1TB / Windows11Pro / WPS Office ミドルタワー デスクトップパソコン NGR75X-RTX47650 (RTX4070 GDDR6X 12GB, G6ホワイト)

￥239,800

￥203,830

値引き￥35,970 (15%)

ASIN:B0D41HWK5D

Amazonで見る

10

mouse 【 RTX4070 SUPER 搭載 / 3年保証】 ゲーミングPC デスクトップ G-Tune DG (Core i7 14700F RTX4070 SUPER 32GBメモリ 1TB SSD Windows 11 水冷CPUクーラー ゲーム 動画編集) DGI7G7SB3SJW103AZ

￥306,400

￥254,830

値引き￥51,570 (17%)

ASIN:B0CSSNGZ21

Amazonで見る

最終更新日：2024年11月28日 0:18 ※表示の価格情報は古い場合があります。

GGUFとは

GGUF(GPT-Generated Unified Format)とは2023年8月にllama.cppチームによって発表されたファイル形式で、それまでのGGML(GPT-Generated Model Language)では対応できなかったモデルに対応したり、さらなる汎用性・拡張性を持っています。イラスト生成AI分野ではではsafetansorやbinファイルを量子化変換して公開されています。ご自身でGGUFファイルを作りたい方は公式のリポジトリをクローンして「convert-hf-to-gguf.py」を使って変換することもできます。

ggerganov/llama.cpp · GitHub

https://github.com/ggerganov/llama.cpp

🔗外部リンク

ComfyUI Flux.1 [schnell]でGGUFを使うには

モデルのダウンロード

ComfyUI Flux.1[schnell]でGGUFを使うにはcity96氏が公開しているモデルをダウンロードしましょう。リポジトリには2-bit(Q2_K)から16-bit(F16)まで並んでいるので後ほど説明する「量子化について」を参考にご自身の環境に適したモデルをダウンロードしましょう。

city96/FLUX.1-schnell-gguf · Hugging Face

https://huggingface.co/city96/FLUX.1-schnell-gguf/tree/main

🔗外部リンク

量子化について

city96/FLUX.1-schnell-ggufの量子化のタイプは下記の表の様になっています。

基本的にはビット数が多い程、精度が上がります。その代わりVRAM消費も上がりますのでご自身の環境にあったタイプを使いましょう。

VRAM別オススメタイプ

表をみてもいまいちわからない方に下記のオススメを載せておきます。

• 24GB VRAM：Q8_0
• 16GB VRAM：Q6_K
• 12GB VRAM：Q5_K_S
• 10GB未満のVRAM：Q4_0またはQ4_1

カスタムノードのインストール

ComfyUIでGGUFをつかうにはカスタムノードの「ComfyUI-GGUF」が必要になります。「Custom Nodes Manager」を使ってComfyUI-GGUFを検索してインストールしましょう。

city96/ComfyUI-GGUF · GitHub

https://github.com/city96/ComfyUI-GGUF

🔗外部リンク

カスタムノードのインストール方法が分からない方は下記の記事にて詳しく解説しているのでご参照ください。

【AIイラスト】ComfyUI お勧めカスタムノードの紹介

🔗あわせて読みたい

量子化されたT5 v1.1 XXLエンコーダーのインストール（オプション）

city96氏が公開しているT5 v1.1 XXLエンコーダーのGGUFファイルを使うことでさらなるパフォーマンスを発揮できます。モデルと同じ量子化ファイルをダウンロードしましょう。

city96/t5-v1_1-xxl-encoder-gguf · Hugging Face

https://huggingface.co/city96/t5-v1_1-xxl-encoder-gguf/tree/main

🔗外部リンク

ComfyUI Flux.1 [schnell] + GGUFを使ったワークフロー

　画像を開く

ここからは実際にモデルを使ってワークフローを使ってみましょう。このワークフローでは下記のモデル・カスタムノードを使用していますのであらかじめダウンロード・インストールしておきましょう。また、ComfyUIのバージョンが古いと上手く動かないことがあるので最新版にアップデートしましょう。

• flux1-schnell-Q8_0.gguf：今回紹介しているFlux.1 [schnell]の8ビット量子化モデル
• t5-v1_1-xxl-encoder-Q8_0.gguf：8ビットに量子化されたT5 v1.1 XXLエンコーダー
• ComfyUI-GGUF：GGUF形式ののUnetとCLIPを読み込むためのカスタムノード
• Image chooser：カスタムノードで1st Passの結果を確認する為に実装、これにより生成時間が短い1st Passを満足のいく構成が出るまで簡単に再実行できます。
• 🔗aki_anime.safetensors：アニメスタイルのLoRAモデル
• 🔗hinaFluxFantasyArmorMix-schnell_v1-rev1.safetensors：ファンタジー調の鎧を生成してくれるLoRA
• 🔗clip_l.safetensors：Flux.1の標準テキストエンコーダー
• 🔗ae.safetensors：Flux.1の標準VAE

ワークフローはPatreonで公開していますが、有料サポーター様のみ閲覧・ダウンロードが可能となっています。1か月だけでも有料サポーターになっていただければ執筆の励みになりますので、よろしければ入会をお願い致します。

How to use high performance GGUF with ComfyUI Flux.1 [schnell] | Digital Creative AI | PATREON

https://www.patreon.com/posts/how-to-use-high-115260684

🔗外部リンク

また、ワークフローがダウンロード出来なくでも解説を見ればご自身でも構成できるので、このまま解説にお進みください。

Basic Info

　画像を開く

• Unet Loader (GGUF)：GGUFのUnetを読み込みます。unet_nameにflux-schnell-Q8_0.ggufを選択します。
• DualCLIPLoader (GGUF)：GGUFのテキストエンコーダーモデルを読み込みます。clip_nameにclip_l.safetensorsとt5-v1_1-xxl-encoder-Q8.ggufを選択しましょう。
• Load LoRA：LoRAを読み込みます。lora_nameにaki_anime.safetensors、strength_modelには少しだけベースモデルを反映させたいので0.80にします。さらにLoRAを適応させていのでもう一つLoad LoRAを配置してlora_nameにhinaFluxFantasyArmorMix-schnell_v1-rev1.safetensors、strength_modelは顔への影響があったので0.60にします。
• Empty Latent Image：今回は1280 x 720にします。batch_sizeは1のまま使用します。
• ModelSamplingFlux：タイムステップスケジューリングシフトの設定です。FLUX.1 [schnell] で使う場合はmax_shiftは0.0～2.0辺りで設定しましょう。今回は2.0に設定します。また、base_shiftは反映されないので0または、デフォルトの0.5で使いましょう。widthとheightはデフォルトの1024で問題ありません。場合によってはこのノードをバイパスした方が良い結果が得られる場合も在ります。
• CLIP Text Encode (Prompt)：基本的にはT5XXLが自然言語を得意としているので自然言語のみでも問題ありませんが、CLIP Lも使われているのでDanbooruスタイルも使うことができます。今回は下記のプロンプトを使います。

  A beautiful blonde girl stands on a hillside under a blue sky.
  She looks like an angelic knight with a halo ring.
  She gazes at the viewer.
  She opens her white wings.
  Many white feathers in the sky.
  The girl's head is adorned with jewels.
  
  The theme is teal and orange.
  
  
  (The old castle is on top of a hill:0.85).
  
  horizonin view, 50mm lens portrait, correct perspective, (anime kawaii face with detailed eyes:1.3), medival fantasy, water fall, authentic (no credits, no signature.:1.1), (detailed fantasy white and gold armor:1.2)

  📋
  ネガティブプロンプトは反映されないので空白のまま使います。
• Load VAE：VAEを読み込みます。vae_nameにはae.safetensorsを選択してください。
• Primitive (Seeds)：Seedを外部化して1st Passと2nd Passのシード値を共有しています。

1st Pass

　画像を開く

1st PassはComfyUIの標準サンプラーをつかいます。過去の記事で紹介している「SamplerCustomAdvanced」で構成しても問題ありません。

• KSampler：seedは外部化してPrimitive (Seeds)より値を取得しています。stepsは2を使います。cfgはFlux.1[schnell]推奨の1.0に設定します。sampler_nameをeuler、schedulerをbetaに設定して、denoiseを1.00に設定します。
• VAE Decode：サンプラーにて生成されたラテントイメージをピクセルイメージにデコードします。

Preview Chooser

　画像を開く

1st Passで生成された結果を確認する為に配置しています。気に入ったイラストが生成されたら選択して「Progress selected image」ボタンで次に進めましょう。

Upscale

　画像を開く

• Load Upscale Model：アップスケーラーモデルを選択します。今回は4x-UltraSharp.pthを使用します。
• Upscale Image (using Model)：アップスケーラーモデルを使用する為に使います。
• Scale Image to Total Pixels：アップスケーラーモデルを使って４倍に拡大された画像を任意の大きさに縮小します。今回は3.00に指定して３メガピクセルのイラストに拡大します。PCのスペックが十分な方は5.00にするとさらに鮮明なイラストを生成できます。
• VAE Encode：スケールアップした画像を2nd Passに送るためにラテントイメージにエンコードします。

2nd Pass Info

　画像を開く

• ModelSamplingFlux：2nd Passでは大きく構図を変えたくないのでmax_shiftを0.15にします。
• CLIP Text Encode (Prompt)：2nd Pass用に下記の様なシンプルなプロンプトを使います。

  very detailed, masterpiece, intricate details, UHD, 8K

  📋

2nd Pass

　画像を開く

2nd Passはほとんど1st Passと同じ設定にしていますが、denoiseのみ0.35に設定して元の構図を崩さないようにしています。

Preview Image

最終結果になります。画像を保存したい場合は右クリックメニューから「Save Image」を選択するか、このノードを「Save Image」に変更してください。

以上がワークフローの解説になります。

最終結果

画像を開く

まとめ

いかがでしたか？GGUFを導入することでヘビー級のFlux.1が快適に動くようになったのではないでしょうか？city96氏のHugging FaceではFlux.1[shnell]の他にもFlux.1[dev]、SD3.5 largeやsd3.5 large turboモデルも公開していますので興味のある方は試してみると良いでしょう。

さて、今回でFlux.1[schnell]の記事が3回目となりましたが、モデル界隈ではあまり盛り上がっていないようです。恐らくFlux.1[schnell]はモデルサイズの軽量や速度の向上を目的とした蒸留（distillation）モデルなのであまり融通が利かない事が原因と思われます。この理由でControlNetが使えなかったりファインチューニングが出来なかったりもします。しかし、ostris氏が公開している「🔗OpenFlux.1」でFlux.1[schnell]の蒸留モデル部分が取り除かれたので、もしかするとControlNet等が登場するかもしれません。

🔍Monitorsfrom Amazon

1

【Amazon.co.jp 限定】アイ・オー・データ IODATA モニター 23.8インチ ブラック ADSパネル 非光沢 省電力 (HDMI/アナログRGB/スピーカー付/VESA対応/土日サポート/日本メーカー/無輝点保証) EX-A241DB

￥14,800

￥12,580

値引き￥2,220 (15%)

ASIN:B0CPXQQLL2

Amazonで見る

2

【Amazon.co.jp限定】アイリスオーヤマ モニター 24インチ スピーカー内蔵 VAパネル HDMI VGA 角度調整可能 FHD 1920x1080 100Hz 14ms ブルーライト軽減 フレームレス VESA対応 DT-GF233R-B

￥13,800

￥11,700

値引き￥2,100 (15%)

ASIN:B0CYPWXXWM

Amazonで見る

3

【Amazon.co.jp限定】ASUS フレームレス モニター VZ249HR 23.8インチ/フルHD/IPS/薄さ7mm/ブルーライト軽減/フリッカーフリー/HDMI,D-sub/スピーカー/3年保証

￥13,980

ASIN:B07LH1ZDSL

Amazonで見る

4

PHILIPS 液晶ディスプレイ PCモニター 272E2FE/11 (27インチ/5年保証/FHD/IPS/D-Sub 15,HDMI,Display Port/昇降・高さ調節/チルト/4面フレームレス/FreeSync(HDMI,DP)ちらつき防止/ブルーライト軽減)

￥18,800

ASIN:B08PTSY9PL

Amazonで見る

5

【Amazon.co.jp限定】MSI モニター PRO MP2412 23.8インチ/フルHD/VAパネル/100Hz/1ms/ブルーライトカット/アンチフリッカー/HDMI/DP/VESA対応/メーカー3年保証

￥14,800

￥9,980

値引き￥4,820 (33%)

ASIN:B0CDBS93QZ

Amazonで見る

6

PHILIPS モニターディスプレイ 271E1D/11 (27インチ/IPS Technology/FHD/5年保証/HDMI/D-Sub/DVI-D/フレームレス)

￥17,800

ASIN:B07V5BHZLW

Amazonで見る

7

【Amazon.co.jp限定】Dell ハイスペック 23.8インチ ホワイトモニター(5年保証/FHD/IPS,非光沢/縦横回転,高さ調整/5Wx2スピーカー/HDMIx2) S2425HS-A

￥20,800

￥15,600

値引き￥5,200 (25%)

ASIN:B0CXXC87JK

Amazonで見る

8

Dell SE2222H 21.45インチ モニター ディスプレイ (3年間交換保証/FHD/VA 非光沢/HDMI D-Sub15ピン/傾き調整)

￥14,600

ASIN:B095749V5V

Amazonで見る

9

日本エイサー 【Amazon.co.jp限定】Acer モニター 23.8インチ フルHD VA 非光沢 100Hz 1ms HDMI ミニD-Sub15 VESAマウント対応 スピーカー内蔵 AMD FreeSync KA242YHbmix

￥13,980

￥11,800

値引き￥2,180 (16%)

ASIN:B0BW3PJ2TL

Amazonで見る

10

HP モニター V27ie G5 27インチ フルHD 75Hz 5ms IPSパネル 非光沢 HDMI DisplayPort VGA AMD FreeSync 角度調整ブルーライトカット 薄型ベゼル（型番：6D8H3AA-AAAB）

￥16,001

￥15,150

値引き￥851 (5%)

ASIN:B0CFXKRGN8

Amazonで見る

最終更新日：2024年11月28日 0:18 ※表示の価格情報は古い場合があります。