【ComfyUI】Flux.1 [dev]の詳しい使い方 GGUFを使った軽量化も紹介

これまでにFlux.1 [schnell]の記事を紹介てきましたが、今回はFlux.1 [dev]について解説します。Flux.1 [dev]はFlux.1 [schnell]と比べると生成時間や必要スペックは大きくなりますが高品質なイラストを生成する事ができます。また、Flux.1[schnell]と違いライセンスが非商用ライセンスで開発者やAI研究者向けに設計されたモデルです。生成された出力は、個人、科学、商用目的で使用できますが有料サービスやモデルの販売は禁止されています。ライセンスについて詳しくは🔗Black Forlest Labs公式のライセンスを確認してください。

🔍AI Booksfrom Amazon

1

生成AIのしくみ　〈流れ〉が画像・音声・動画をつくる (岩波科学ライブラリー 328)

ASIN:4000297287

Amazonで見る

2

生成ＡＩパスポート テキスト&問題集

ASIN:B0CT8Q3D2X

Amazonで見る

3

実践 生成AIの教科書

ASIN:B0D24P38VY

Amazonで見る

4

生成AI(週刊ダイヤモンド 2024年10/12･19合併特大号 ［雑誌］)

ASIN:B0DJ2HJ3GW

Amazonで見る

5

生成AIがもたらす開発プロセス革命

ASIN:B0DPFMXKCL

Amazonで見る

6

生成ＡＩ時代の「超」仕事術大全

ASIN:B0CG5Q7BTY

Amazonで見る

7

生成AIで世界はこう変わる (SB新書)

ASIN:B0CM2YJ34N

Amazonで見る

8

【Amazon.co.jp限定】生成<ジェネレーティブ>DX 生成AIが生んだ新たなビジネスモデル（DL特典：書下ろし追加原稿）

ASIN:4815626766

Amazonで見る

9

コード×AIーソフトウェア開発者のための生成AI実践入門

ASIN:B0DFW57CGY

Amazonで見る

10

生成AIと脳～この二つのコラボで人生が変わる～ (扶桑社新書)

ASIN:4594098924

Amazonで見る

Flux.1 [dev]の特徴

Flux.1 [dev]は120億パラメーターのガイダンス蒸留モデルのためFlux.1 [schnell]の潜在敵対的拡散蒸留モデル（latent adversarial diffusion distillation）より自由度が高くControlNet等も使う事ができます。

FLUX.1 [dev]のインストール方法

FLUX.1 [dev]を使用する前に、ComfyUIが古いと使えない標準ノードがありますので、最新版にアップデートしましょう。

モデルのダウンロード

FLUX.1 [dev]をインストールするにはベースモデル、テキストエンコーダーなどをインストールする必要があります。順を追ってみていきましょう。以前にFLUX.1 [schnell]のモデルをダウンロードして使用していた場合はベースモデルのみダウンロードしましょう。

• ベースモデルのダウンロード：black-forest-labsのHuggingFaceよりベースモデルのflux1-dev.safetensorsをComfyUI/models/unetディレクトリにダウンロードします。
  

  black-forest-labs/FLUX.1-dev · Hugging Face

  https://huggingface.co/black-forest-labs/FLUX.1-dev/blob/main/flux1-dev.safetensors

  🔗外部リンク
• VAEのダウンロード：コチラも公式のHuggingFaceよりae.safetensorsをComfyUI/models/vaeディレクトリにダウンロードします。
  

  black-forest-labs/FLUX.1-dev/ae.safetensors · Hugging Face

  https://huggingface.co/black-forest-labs/FLUX.1-dev/blob/main/ae.safetensors

  🔗外部リンク
• テキストエンコーダーのダウンロード：ComfyUIのHuggingFaceよりflux用のテキストエンコーダーのclip_l.safetensorsとt5xxl_fp16.safetensorsまたはt5xxl_fp8_e4m3fn.safetensorsをComfyUI/models/clipにダウンロードします。
  

  comfyanonymous/flux_text_encoders · Hugging Face

  https://huggingface.co/comfyanonymous/flux_text_encoders/tree/main

  🔗外部リンク

FLUX.1 [dev]のComfyUI公式ワークフローの解説

ComfyUI_examples · GitHub

https://comfyanonymous.github.io/ComfyUI_examples/flux/

🔗外部リンク

ComfyUI公式ドキュメントにあるFlux Devの節にあるケーキを持った狐娘の画像をダウンロードして、ComfyUIにドラッグ アンド ドロップするか、WorkflowにあるOpenボタンより読み込みましょう。モデルが正しいフォルダーに置かれていれば「Queue」ボタンでダウンロードした画像と同じ画像が生成されます。初回の生成はデータをメモリに読み込む為、かなりの時間が掛かります。では、ここからは各ノードについて解説します。

　画像を開く

モデルを読み込むノード。通常のLoadCheckpointModelでは読み込めないので注意しましょう。unet_nameはflux1-dev.safetensors、weight_dtypeはdefault（FP16）を使います。ただし生成時間がかかるのでfp8_e4m3fnを使うのも良いでしょう。

テキストエンコーダーモデルを読み込みます。clip_nameにt5xxl_fp16.safetensorsとclip_l.safetensorsを選択しましょう。（PCメモリ不足の場合はfp16の代わりにt5xxl_fp8_e4m3fn.safetensorsを使います。）typeはfluxを使います。

VAEを読み込みます。vae_nameにはae.safetensorsを選択します。

FluxはSD3と同様SamplerCustomAdvancedに対応する為にBasicGuiderを使います。

Flux用のガイダンス（CFG）を設定します。デフォルトの3.5で使用しましょう。

Fluxではネガティブプロンプトを使わないのでポジティブプロンプトのみを使用します。

Stable Diffusion3用に空のラテントイメージを作っていますが、通常の「Empty Latent Image」でも生成結果は同じになります。widthとheightは後ほど説明する「ModelSamplingFlux」と共有させるために外部化されています。

生成用のシードを指定します。サンプル画像と同じ結果を希望の場合はnoise_seedを219670278747233にして、control_after_genetateをfixedに設定しましょう。

サンプラーを選択します。基本的にはeulerで問題ありません。

サンプリングのスケジュールを設定します。schedulerはsimpleでstepsを20にしています。denoiseは元画像がないので1.00のまま使用します。

Stable Diffusion 3で使われているタイムステップスケジューリングシフトのFlux版になります。max_shiftはシフトの最大値の設定です。base_shiftはシフトの基本値を入力しましょう。width / heightは生成画像サイズにします。この例ではデフォルトの値を使います。

次世代モデル向けサンプラーノード。パラメーターが外部化したことによりより細かな調整が可能となっています。

公式ワークフローをカスタムしてみる

ここでは公式ワークフローを実用的にカスタムしていこうと思います。組み込みたい項目は下記のようになります。

• 生成時間が長いのでGGUFの導入
• 複数のLoRAを導入
• Image chooserカスタムノード：1st Passの結果を確認する為に実装。これにより生成時間が短い1st Passを満足のいく生成が出るまで簡単に再実行できます。
• 2nd Passの導入でアップスケール

　画像を開く

GGUFの導入

まずはGGUFを導入しましょう。下記のリンクよりcity96氏の公開しているFlux.1 [dev]のGGUFモデルの8-bit版をダウンロードしましょう。ダウンロード先はComfyUI\models\unetになります。

city96/FLUX.1-dev-gguf/flux1-dev-Q8_0.gguf · Hugging Face

https://huggingface.co/city96/FLUX.1-dev-gguf/blob/main/flux1-dev-Q8_0.gguf

🔗外部リンク

前回の記事にてGGUF版のT5-xxlテキストエンコーダーを導入している方は必要ありませんが、導入していない方は下記のリンクよりダウンロードしましょう。ダウンロード先はComfyUI\models\clipになります。

city96/t5-v1_1-xxl-encoder-gguf/t5-v1_1-xxl-encoder-Q8_0.gguf · Hugging Face

https://huggingface.co/city96/t5-v1_1-xxl-encoder-gguf/blob/main/t5-v1_1-xxl-encoder-Q8_0.gguf

🔗外部リンク

モデルをダウンロードできたら、次にカスタムノードの「ComfyUI-GGUF」が必要になるので、「Custom Nodes Manager」を使ってComfyUI-GGUFを検索してインストールしましょう。

city96/ComfyUI-GGUF · GitHub

https://github.com/city96/ComfyUI-GGUF

🔗外部リンク

　画像を開く

それでは、ノードを組み込んでいきましょう。「Load Diffusion Model」ノードを先ほどインストールしたComfyUI-GGUFから「Unet Loader (GGUF)」に差し替えましょう。unet_nameにはflux1-dev-Q8_0.ggufを選択します。

次に「DualCLIPLoader」を「DualCLIPLoader (GGUF)」に差し替えます。順番は決まっていませんがclip_name1にclip_l.safetensors、clip_name2に先ほどダウンロードしたt5-v1_1-xxl-encoder-Q8_0.ggufを選択します。

LoRAの導入

今回は2つのLoRAを組み込みたいと思います。下記のLoRAをダウンロードします。ダウンロード先は通常のComfyUI\models\lorasになります。（複数のLoRAを使う場合、カスタムノードのrgthreeにあるPower Lora Loader等を使うと便利ですが、DCAIのワークフローでは、できるだけシンプルにしたいので、カスタムノードの使用は最小限にしています。）

AIDigitalMediaAgency/FLUX Image Upgrader | Civit AI

https://civitai.com/models/562866?modelVersionId=984672

🔗外部リンク

Sirius_FW/SiFW-Annihilation-FluxD-Lora | Civit AI

https://civitai.com/models/842082?modelVersionId=976366

🔗外部リンク

　画像を開く

Flux.1でLoRAを導入するのはそれ程難しくはなく先ほど差し替えた「Unet Loader (GGUF)」と接続先の「ModelSamplingFlux」の間に「LoraLoaderModelOnly」を入れるだけです。今回は2つ使いたいのでノードを2つ繋げます。

LoRAの読み込む順番もとくにはありませんが、1番目の「LoraLoaderModelOnly」ノードからlora_nameをaidmaImageUprader-FLUX-v0.3.safetensorsを選択して、strength_modelを0.25にします。続いて2番目のノードのlora_nameをsifw-annihilation-fluxd-lora-v013-Beta-000015.safetensorsを選択して、strength_modelを0.85にしましょう。

今回使用するLoRAにはそれぞれトリガーワードがあるので「CLIP Text Encode (Positive Prompt)」の最後に下記のプロンプトを追加します。※トリガーワードを入れなくても使うことはできます。

aidmaimageupgrader, sifwastyle, anime

Image chooserのインストール

DCAIのワークフローではお馴染の「Image chooser」を使います。インストールされたいない方は「Custom Nodes Manager」を使ってImage chooserを検索してインストールしましょう。詳しくインストール方法を知りたい方は下記の記事にて解説しています。

【AIイラスト】ComfyUI お勧めカスタムノードの紹介

🔗あわせて読みたい

　画像を開く

インストールが完了したらサンプル後の「VAE Decode」の後に「Preview Chooser」を繋ぎます。「Save Image」ノードは最後に使うのでとりあえず邪魔にならないところに移動しておきましょう。

2nd Passの導入でアップスケール

　画像を開く

ここからは少し複雑ですが、まずはアップスケールのノードを組み込みましょう。「Load Upscale Model」と「Upscale Image (using Model)」を配置してUPSCALE_MODELをupscale_modelに繋ぎます。「Load Upscale Model」のmodel_nameを4x-UltraSharp.pthを選択します。

続いて「Scale Image to Total Pixels」を配置して「Upscale Image (using Model)」のIMAGEをimageに繋ぎます。upscale_methodをlanczosに、megapixelsを3.00に設定します。

「Scale Image to Total Pixels」を「VAE Encode」に繋いで2nd Pass用にラテントイメージにエンコードします。

　画像を開く

次に2nd Passのサンプラーを組み込みます。1st Passの「BasicGuider」「FluxGuidance」「ModelSamplingFlux」「CLIP Text Encode (Positive Prompt)」「BasicScheduler」「SamplerCustomAdvanced」をCtrl + cでコピーしてCtrl + Shift + vでインプットを保ったままペーストします。ペーストしたら好みの場所に配置しましょう。

つづいてコピーした「CLIP Text Encode (Positive Prompt)」の内容を下記の様に書き換えます。

very detailed, masterpiece, intricate details, UHD, 8K

「BasicScheduler」のdenoiseを0.35に変更しましょう。そして「ModelSamplingFlux」のmax_shiftを0.25、base_shiftを0.00に変更します。

　画像を開く

1st Passの「VAE Decode」を先ほどと同じCtrl + Shift + v使った方法でコピーして2nd Passの「SamplerCustomAdvanced」のdenoised_outputと繋ぎます。

最後にImage chooserのインストールで避けていた「Save Image」を繋げばカスタム完了です。

「Queue」ボタンで生成をしてみましょう。1st Passの結果が出たら画像を選択して次に進めます。しばらくすれば最終結果が生成されるでしょう。

最終結果

画像を開く

ワークフローはPatreonで公開していますが、有料サポーター様のみ閲覧・ダウンロードが可能となっています。1か月だけでも有料サポーターになっていただければ執筆の励みになりますので、よろしければ入会をお願い致します。

ComfyUI Custom Flux.1 [dev] Example & Bonus Workflow | Digital Creative AI | PATREON

https://www.patreon.com/posts/comfyui-custom-1-115894154

🔗外部リンク

また、ワークフローがダウンロード出来なくでもここまでの解説を見ればご自身でも構成できるので、無理にダウンロードする必要はありません。

おまけ

おまけとして先ほどカスタムしたワークフローを使って今回の記事のアイキャッチのイラストを生成してみましょう。

　画像を開く

LoRAの変更

始めに「LoraLoaderModelOnly」をもう1つ「Unet Loader (GGUF)」の後に追加します。追加したら下記の2つのLoRAをダウンロードしましょう。

Rogue_fromearth/Flux.1 Turbo Detailer | Civit AI

https://civitai.com/models/930386/flux1-turbo-detailer

🔗外部リンク

AIDigitalMediaAgency/FLUX [pro] 1.1 Style Lora | Civit AI

https://civitai.com/models/832683?modelVersionId=955535

🔗外部リンク

ダウンロードが完了したらLoRAの設定を下記のように変更します。（順番はとくに重要ではありません。）

• Flux.1_Turbo_Detailer.safetensors：0.70
• aidmaFLUXpro1.1-FLUX-V0.2.safetensors：0.75
• sifw-annihilation-fluxd-lora-v013-Beta-000015.safetensors：0.90

パラメーターの変更

• プロンプトを下記のプロンプトに書き換えます。

  A masterful highly intricate detailed cinematic photo.
  (In the European medieval fantasy era:1.4), medium close shot of a very cute anime high wizard girl with light-pink-haired and blue-eyes  is looking at viewer. She wears a white and dark-blue magic robe.
  A vibrant diverse people. A wide variety of people faces. 
  The marketplace is offering a wide variety of fruits, vegetables, meats, breads, cheese, spices, flowers, and daily commodities. 
  In the shoppers are adventurers with various armor, swords, magic sticks, and other equipment, as well as residents. 
  In the background is a magnificent castle, and behind the castle is a mountain.
  The weather is blue with a summer-like sky and birds are flying.
  
  A hyper realistic, very detailed, masterpiece, intricate details, 50mm lens shot, soft edge line for girl's face, correct perspective, upper-body

  📋
• widthとheightの値を変更します。widthを1280に、heightを720に変更しましょう。
• 「RandomNoise」のnoise_seedを303013184412751に変更します。
• 1st Passと2nd Pass用の「BasicScheduler」のschedulerをbetaに変更します。
• 1st Pass用の「ModelSamplingFlux」のmax_shiftを1.50に、base_shiftを0.25に変更します。
• 2nd Pass用の「FluxGuidance」のguidanceを2.0に変更しましょう。
• 最後に2nd Pass用の「BasicScheduler」のstepsを30に上げれば完了です。

「Queue」ボタンで生成をしてみましょう。1st Passの結果が出たら画像を選択して次に進めます。しばらくすれば最終結果が生成されるでしょう。

最終結果

画像を開く

このワークフローもPatreonで公開していますが、有料サポーター様のみ閲覧・ダウンロードが可能となっています。

ComfyUI Custom Flux.1 [dev] Example & Bonus Workflow | Digital Creative AI | PATREON

https://www.patreon.com/posts/comfyui-custom-1-115894154

🔗外部リンク

まとめ

いかがでしたか？Flux.1 [schnell]と比べるとFlux.1 [dev]は生成にかなりの時間が掛かっています。GGUFやFP8版を使ってVRAMの消費を抑えればそれなりに使えることが伝われば幸いです。また、生成の品質はFlux.1 [schnell]と比べるとFlux.1 [dev]の方が良く思えますが、場合によっては低品質の結果が出るときもあります。とくにイラスト関係は実写と比べると品質はそれ程変わらない印象でした。AI生成が苦手としている手の生成も今回のワークフローでは失敗が多い印象です。しかし、Flux.1 [dev]ではControlNetやネガティブプロンプトも使えるので、またの機会にDCAIでも紹介したいと思います。

🔍PCfrom Amazon

1

【最新第13世代 Core i9 HX & RTX 4090搭載・ウルトラハイエンド】MSIゲーミングノートPC RaiderGE78HX i9HX RTX4090/17型 WQXGA/240Hz/32GB/2TB/Windows11/Raider-GE78HX-13VI-2803JP

ASIN:B0BVBM5T8F

Amazonで見る

2

【Amazon.co.jp限定】 ASUS ゲーミングノートPC TUF Gaming A15 FA507NVR 15.6型 RTX 4060 Ryzen 7 7435HS メモリ16GB SSD1TB リフレッシュレート144Hz RGB イルミネートキーボード Windows 11 動画編集 Xbox Game Pass 3ヶ月利用権付き FA507NVR-R74R4060T

ASIN:B0CWVCYZC5

Amazonで見る

3

ASUS ゲーミングデスクトップPC ROG Strix G13CHR GeForce RTX 4060 Ti インテル Core i7 14700F メモリ32GB SSD1TB Windows11 動画編集 エクストリームダークグレー G13CHR-714F1T324060T

ASIN:B0D32ZCYPJ

Amazonで見る

4

ASTROMEDA アストロメダ PALWORLD 【ハイエンドモデル】 ゲーミングPC ホワイト corei7-14700KF/GeForce-RTX4080super(ブラック)/DDR5-RGBメモリ32GB(メモリ2枚搭載)/SSD1TB(M.2 NVMe)/Windows11 デスクトップPC

ASIN:B0DJVMBQ9C

Amazonで見る

5

【最新第13世代 Core i9 HX & RTX 4080搭載・ウルトラハイエンド】MSIゲーミングノートPC RaiderGE78HX i9HX RTX4080/17型 WQXGA/240Hz/32GB/1TB/Windows11/Raider-GE78HX-13VH-1103JP

ASIN:B0BVBCNBLN

Amazonで見る

6

MSI ゲーミングデスクトップPC Trident X2 14NUG7-440JP Windows 11 Pro/インテル Core i7-14700KF/NVIDIA GeForce RTX 4080 SUPER/DDR5 32GB/SSD 1TB/タッチパネル搭載/メーカー2年保証

ASIN:B0D9L3LD2V

Amazonで見る

7

【Amazon.co.jp限定】【NVIDIA最新RTX4060搭載・薄型軽量スケルトン】MSIゲーミングノートPC Cyborg15 1.98kg メモリ16GB/SSD512GB/15.6インチ FHD 144Hz/Core i5-12450H/RTX 4060/Windows11/Cyborg-15-A12VF-2202JP

ASIN:B0D224QN47

Amazonで見る

8

mouse 【 RTX4070 SUPER 搭載 / 3年保証】 ゲーミングPC デスクトップ G-Tune DG (Core i7 14700F RTX4070 SUPER 64GBメモリ 1TB SSD Windows 11 水冷CPUクーラー ゲーム 動画編集) DGI7G7SB6SJW103AZ

ASIN:B0D227W4SL

Amazonで見る

9

ASUS ゲーミングデスクトップPC ROG Strix G13CHR GeForce RTX 4070 インテル Core i7 14700F メモリ32GB SSD1TB Windows11 動画編集 エクストリームダークグレー G13CHR-714F1T324070

ASIN:B0D32WP1CD

Amazonで見る

10

ASUS ゲーミングノートPC ROG Flow X13 13.4インチ GeForce RTX 4070 Ryzen 9 7940HS メモリ32GB SSD1TB リフレッシュレート165Hz キーボードバックライト Windows11 動画編集 オフブラック GV302XI-R9R4070

ASIN:B0BXX9SVRM

Amazonで見る