【ComfyUI】Flux.1 [dev]の詳しい使い方 GGUFを使った軽量化も紹介

これまでにFlux.1 [schnell]の記事を紹介てきましたが、今回はFlux.1 [dev]について解説します。Flux.1 [dev]はFlux.1 [schnell]と比べると生成時間や必要スペックは大きくなりますが高品質なイラストを生成する事ができます。また、Flux.1[schnell]と違いライセンスが非商用ライセンスで開発者やAI研究者向けに設計されたモデルです。生成された出力は、個人、科学、商用目的で使用できますが有料サービスやモデルの販売は禁止されています。ライセンスについて詳しくは🔗Black Forlest Labs公式のライセンスを確認してください。

🔍AI Booksfrom Amazon

1

生成AIのしくみ　〈流れ〉が画像・音声・動画をつくる (岩波科学ライブラリー 328)

￥1,650

ASIN:4000297287

Amazonで見る

2

生成AIで世界はこう変わる (SB新書)

￥891

ASIN:B0CM2YJ34N

Amazonで見る

3

生成AI(週刊ダイヤモンド 2024年10/12･19合併特大号 ［雑誌］)

￥891

ASIN:B0DJ2HJ3GW

Amazonで見る

4

実践 生成AIの教科書

￥2,200

ASIN:B0D24P38VY

Amazonで見る

5

生成AI時代の言語論 (大澤真幸THINKING O 020)

￥1,980

ASIN:4865284346

Amazonで見る

6

生成ＡＩ時代の「超」仕事術大全

￥1,940

ASIN:B0CG5Q7BTY

Amazonで見る

7

コード×AIーソフトウェア開発者のための生成AI実践入門

￥3,234

ASIN:B0DFW57CGY

Amazonで見る

8

生成ＡＩパスポート テキスト&問題集

￥891

ASIN:B0CT8Q3D2X

Amazonで見る

9

生成AI時代を勝ち抜く事業・組織のつくり方

￥1,782

ASIN:B0CVK5KMBC

Amazonで見る

10

ビジネスに魔法をかける　生成AI導入大全

￥2,079

ASIN:B0DG7SC5Q9

Amazonで見る

最終更新日：2024年11月28日 0:18 ※表示の価格情報は古い場合があります。

Flux.1 [dev]の特徴

Flux.1 [dev]は120億パラメーターのガイダンス蒸留モデルのためFlux.1 [schnell]の潜在敵対的拡散蒸留モデル（latent adversarial diffusion distillation）より自由度が高くControlNet等も使う事ができます。

FLUX.1 [dev]のインストール方法

FLUX.1 [dev]を使用する前に、ComfyUIが古いと使えない標準ノードがありますので、最新版にアップデートしましょう。

モデルのダウンロード

FLUX.1 [dev]をインストールするにはベースモデル、テキストエンコーダーなどをインストールする必要があります。順を追ってみていきましょう。以前にFLUX.1 [schnell]のモデルをダウンロードして使用していた場合はベースモデルのみダウンロードしましょう。

• ベースモデルのダウンロード：black-forest-labsのHuggingFaceよりベースモデルのflux1-dev.safetensorsをComfyUI/models/unetディレクトリにダウンロードします。
  

  black-forest-labs/FLUX.1-dev · Hugging Face

  https://huggingface.co/black-forest-labs/FLUX.1-dev/blob/main/flux1-dev.safetensors

  🔗外部リンク
• VAEのダウンロード：コチラも公式のHuggingFaceよりae.safetensorsをComfyUI/models/vaeディレクトリにダウンロードします。
  

  black-forest-labs/FLUX.1-dev/ae.safetensors · Hugging Face

  https://huggingface.co/black-forest-labs/FLUX.1-dev/blob/main/ae.safetensors

  🔗外部リンク
• テキストエンコーダーのダウンロード：ComfyUIのHuggingFaceよりflux用のテキストエンコーダーのclip_l.safetensorsとt5xxl_fp16.safetensorsまたはt5xxl_fp8_e4m3fn.safetensorsをComfyUI/models/clipにダウンロードします。
  

  comfyanonymous/flux_text_encoders · Hugging Face

  https://huggingface.co/comfyanonymous/flux_text_encoders/tree/main

  🔗外部リンク

FLUX.1 [dev]のComfyUI公式ワークフローの解説

ComfyUI_examples · GitHub

https://comfyanonymous.github.io/ComfyUI_examples/flux/

🔗外部リンク

ComfyUI公式ドキュメントにあるFlux Devの節にあるケーキを持った狐娘の画像をダウンロードして、ComfyUIにドラッグ アンド ドロップするか、WorkflowにあるOpenボタンより読み込みましょう。モデルが正しいフォルダーに置かれていれば「Queue」ボタンでダウンロードした画像と同じ画像が生成されます。初回の生成はデータをメモリに読み込む為、かなりの時間が掛かります。では、ここからは各ノードについて解説します。

　画像を開く

モデルを読み込むノード。通常のLoadCheckpointModelでは読み込めないので注意しましょう。unet_nameはflux1-dev.safetensors、weight_dtypeはdefault（FP16）を使います。ただし生成時間がかかるのでfp8_e4m3fnを使うのも良いでしょう。

テキストエンコーダーモデルを読み込みます。clip_nameにt5xxl_fp16.safetensorsとclip_l.safetensorsを選択しましょう。（PCメモリ不足の場合はfp16の代わりにt5xxl_fp8_e4m3fn.safetensorsを使います。）typeはfluxを使います。

VAEを読み込みます。vae_nameにはae.safetensorsを選択します。

FluxはSD3と同様SamplerCustomAdvancedに対応する為にBasicGuiderを使います。

Flux用のガイダンス（CFG）を設定します。デフォルトの3.5で使用しましょう。

Fluxではネガティブプロンプトを使わないのでポジティブプロンプトのみを使用します。

Stable Diffusion3用に空のラテントイメージを作っていますが、通常の「Empty Latent Image」でも生成結果は同じになります。widthとheightは後ほど説明する「ModelSamplingFlux」と共有させるために外部化されています。

生成用のシードを指定します。サンプル画像と同じ結果を希望の場合はnoise_seedを219670278747233にして、control_after_genetateをfixedに設定しましょう。

サンプラーを選択します。基本的にはeulerで問題ありません。

サンプリングのスケジュールを設定します。schedulerはsimpleでstepsを20にしています。denoiseは元画像がないので1.00のまま使用します。

Stable Diffusion 3で使われているタイムステップスケジューリングシフトのFlux版になります。max_shiftはシフトの最大値の設定です。base_shiftはシフトの基本値を入力しましょう。width / heightは生成画像サイズにします。この例ではデフォルトの値を使います。

次世代モデル向けサンプラーノード。パラメーターが外部化したことによりより細かな調整が可能となっています。

公式ワークフローをカスタムしてみる

ここでは公式ワークフローを実用的にカスタムしていこうと思います。組み込みたい項目は下記のようになります。

• 生成時間が長いのでGGUFの導入
• 複数のLoRAを導入
• Image chooserカスタムノード：1st Passの結果を確認する為に実装。これにより生成時間が短い1st Passを満足のいく生成が出るまで簡単に再実行できます。
• 2nd Passの導入でアップスケール

　画像を開く

GGUFの導入

まずはGGUFを導入しましょう。下記のリンクよりcity96氏の公開しているFlux.1 [dev]のGGUFモデルの8-bit版をダウンロードしましょう。ダウンロード先はComfyUI\models\unetになります。

city96/FLUX.1-dev-gguf/flux1-dev-Q8_0.gguf · Hugging Face

https://huggingface.co/city96/FLUX.1-dev-gguf/blob/main/flux1-dev-Q8_0.gguf

🔗外部リンク

前回の記事にてGGUF版のT5-xxlテキストエンコーダーを導入している方は必要ありませんが、導入していない方は下記のリンクよりダウンロードしましょう。ダウンロード先はComfyUI\models\clipになります。

city96/t5-v1_1-xxl-encoder-gguf/t5-v1_1-xxl-encoder-Q8_0.gguf · Hugging Face

https://huggingface.co/city96/t5-v1_1-xxl-encoder-gguf/blob/main/t5-v1_1-xxl-encoder-Q8_0.gguf

🔗外部リンク

モデルをダウンロードできたら、次にカスタムノードの「ComfyUI-GGUF」が必要になるので、「Custom Nodes Manager」を使ってComfyUI-GGUFを検索してインストールしましょう。

city96/ComfyUI-GGUF · GitHub

https://github.com/city96/ComfyUI-GGUF

🔗外部リンク

　画像を開く

それでは、ノードを組み込んでいきましょう。「Load Diffusion Model」ノードを先ほどインストールしたComfyUI-GGUFから「Unet Loader (GGUF)」に差し替えましょう。unet_nameにはflux1-dev-Q8_0.ggufを選択します。

次に「DualCLIPLoader」を「DualCLIPLoader (GGUF)」に差し替えます。順番は決まっていませんがclip_name1にclip_l.safetensors、clip_name2に先ほどダウンロードしたt5-v1_1-xxl-encoder-Q8_0.ggufを選択します。

LoRAの導入

今回は2つのLoRAを組み込みたいと思います。下記のLoRAをダウンロードします。ダウンロード先は通常のComfyUI\models\lorasになります。（複数のLoRAを使う場合、カスタムノードのrgthreeにあるPower Lora Loader等を使うと便利ですが、DCAIのワークフローでは、できるだけシンプルにしたいので、カスタムノードの使用は最小限にしています。）

AIDigitalMediaAgency/FLUX Image Upgrader | Civit AI

https://civitai.com/models/562866?modelVersionId=984672

🔗外部リンク

Sirius_FW/SiFW-Annihilation-FluxD-Lora | Civit AI

https://civitai.com/models/842082?modelVersionId=976366

🔗外部リンク

　画像を開く

Flux.1でLoRAを導入するのはそれ程難しくはなく先ほど差し替えた「Unet Loader (GGUF)」と接続先の「ModelSamplingFlux」の間に「LoraLoaderModelOnly」を入れるだけです。今回は2つ使いたいのでノードを2つ繋げます。

LoRAの読み込む順番もとくにはありませんが、1番目の「LoraLoaderModelOnly」ノードからlora_nameをaidmaImageUprader-FLUX-v0.3.safetensorsを選択して、strength_modelを0.25にします。続いて2番目のノードのlora_nameをsifw-annihilation-fluxd-lora-v013-Beta-000015.safetensorsを選択して、strength_modelを0.85にしましょう。

今回使用するLoRAにはそれぞれトリガーワードがあるので「CLIP Text Encode (Positive Prompt)」の最後に下記のプロンプトを追加します。※トリガーワードを入れなくても使うことはできます。

aidmaimageupgrader, sifwastyle, anime

Image chooserのインストール

DCAIのワークフローではお馴染の「Image chooser」を使います。インストールされたいない方は「Custom Nodes Manager」を使ってImage chooserを検索してインストールしましょう。詳しくインストール方法を知りたい方は下記の記事にて解説しています。

【AIイラスト】ComfyUI お勧めカスタムノードの紹介

🔗あわせて読みたい

　画像を開く

インストールが完了したらサンプル後の「VAE Decode」の後に「Preview Chooser」を繋ぎます。「Save Image」ノードは最後に使うのでとりあえず邪魔にならないところに移動しておきましょう。

2nd Passの導入でアップスケール

　画像を開く

ここからは少し複雑ですが、まずはアップスケールのノードを組み込みましょう。「Load Upscale Model」と「Upscale Image (using Model)」を配置してUPSCALE_MODELをupscale_modelに繋ぎます。「Load Upscale Model」のmodel_nameを4x-UltraSharp.pthを選択します。

続いて「Scale Image to Total Pixels」を配置して「Upscale Image (using Model)」のIMAGEをimageに繋ぎます。upscale_methodをlanczosに、megapixelsを3.00に設定します。

「Scale Image to Total Pixels」を「VAE Encode」に繋いで2nd Pass用にラテントイメージにエンコードします。

　画像を開く

次に2nd Passのサンプラーを組み込みます。1st Passの「BasicGuider」「FluxGuidance」「ModelSamplingFlux」「CLIP Text Encode (Positive Prompt)」「BasicScheduler」「SamplerCustomAdvanced」をCtrl + cでコピーしてCtrl + Shift + vでインプットを保ったままペーストします。ペーストしたら好みの場所に配置しましょう。

つづいてコピーした「CLIP Text Encode (Positive Prompt)」の内容を下記の様に書き換えます。

very detailed, masterpiece, intricate details, UHD, 8K

「BasicScheduler」のdenoiseを0.35に変更しましょう。そして「ModelSamplingFlux」のmax_shiftを0.25、base_shiftを0.00に変更します。

　画像を開く

1st Passの「VAE Decode」を先ほどと同じCtrl + Shift + v使った方法でコピーして2nd Passの「SamplerCustomAdvanced」のdenoised_outputと繋ぎます。

最後にImage chooserのインストールで避けていた「Save Image」を繋げばカスタム完了です。

「Queue」ボタンで生成をしてみましょう。1st Passの結果が出たら画像を選択して次に進めます。しばらくすれば最終結果が生成されるでしょう。

最終結果

画像を開く

ワークフローはPatreonで公開していますが、有料サポーター様のみ閲覧・ダウンロードが可能となっています。1か月だけでも有料サポーターになっていただければ執筆の励みになりますので、よろしければ入会をお願い致します。

ComfyUI Custom Flux.1 [dev] Example & Bonus Workflow | Digital Creative AI | PATREON

https://www.patreon.com/posts/comfyui-custom-1-115894154

🔗外部リンク

また、ワークフローがダウンロード出来なくでもここまでの解説を見ればご自身でも構成できるので、無理にダウンロードする必要はありません。

おまけ

おまけとして先ほどカスタムしたワークフローを使って今回の記事のアイキャッチのイラストを生成してみましょう。

　画像を開く

LoRAの変更

始めに「LoraLoaderModelOnly」をもう1つ「Unet Loader (GGUF)」の後に追加します。追加したら下記の2つのLoRAをダウンロードしましょう。

Rogue_fromearth/Flux.1 Turbo Detailer | Civit AI

https://civitai.com/models/930386/flux1-turbo-detailer

🔗外部リンク

AIDigitalMediaAgency/FLUX [pro] 1.1 Style Lora | Civit AI

https://civitai.com/models/832683?modelVersionId=955535

🔗外部リンク

ダウンロードが完了したらLoRAの設定を下記のように変更します。（順番はとくに重要ではありません。）

• Flux.1_Turbo_Detailer.safetensors：0.70
• aidmaFLUXpro1.1-FLUX-V0.2.safetensors：0.75
• sifw-annihilation-fluxd-lora-v013-Beta-000015.safetensors：0.90

パラメーターの変更

• プロンプトを下記のプロンプトに書き換えます。

  A masterful highly intricate detailed cinematic photo.
  (In the European medieval fantasy era:1.4), medium close shot of a very cute anime high wizard girl with light-pink-haired and blue-eyes  is looking at viewer. She wears a white and dark-blue magic robe.
  A vibrant diverse people. A wide variety of people faces. 
  The marketplace is offering a wide variety of fruits, vegetables, meats, breads, cheese, spices, flowers, and daily commodities. 
  In the shoppers are adventurers with various armor, swords, magic sticks, and other equipment, as well as residents. 
  In the background is a magnificent castle, and behind the castle is a mountain.
  The weather is blue with a summer-like sky and birds are flying.
  
  A hyper realistic, very detailed, masterpiece, intricate details, 50mm lens shot, soft edge line for girl's face, correct perspective, upper-body

  📋
• widthとheightの値を変更します。widthを1280に、heightを720に変更しましょう。
• 「RandomNoise」のnoise_seedを303013184412751に変更します。
• 1st Passと2nd Pass用の「BasicScheduler」のschedulerをbetaに変更します。
• 1st Pass用の「ModelSamplingFlux」のmax_shiftを1.50に、base_shiftを0.25に変更します。
• 2nd Pass用の「FluxGuidance」のguidanceを2.0に変更しましょう。
• 最後に2nd Pass用の「BasicScheduler」のstepsを30に上げれば完了です。

「Queue」ボタンで生成をしてみましょう。1st Passの結果が出たら画像を選択して次に進めます。しばらくすれば最終結果が生成されるでしょう。

最終結果

画像を開く

このワークフローもPatreonで公開していますが、有料サポーター様のみ閲覧・ダウンロードが可能となっています。

ComfyUI Custom Flux.1 [dev] Example & Bonus Workflow | Digital Creative AI | PATREON

https://www.patreon.com/posts/comfyui-custom-1-115894154

🔗外部リンク

まとめ

いかがでしたか？Flux.1 [schnell]と比べるとFlux.1 [dev]は生成にかなりの時間が掛かっています。GGUFやFP8版を使ってVRAMの消費を抑えればそれなりに使えることが伝われば幸いです。また、生成の品質はFlux.1 [schnell]と比べるとFlux.1 [dev]の方が良く思えますが、場合によっては低品質の結果が出るときもあります。とくにイラスト関係は実写と比べると品質はそれ程変わらない印象でした。AI生成が苦手としている手の生成も今回のワークフローでは失敗が多い印象です。しかし、Flux.1 [dev]ではControlNetやネガティブプロンプトも使えるので、またの機会にDCAIでも紹介したいと思います。

🔍Desktopsfrom Amazon

1

【最新第13世代 Core i9 HX & RTX 4090搭載・ウルトラハイエンド】MSIゲーミングノートPC RaiderGE78HX i9HX RTX4090/17型 WQXGA/240Hz/32GB/2TB/Windows11/Raider-GE78HX-13VI-2803JP

￥368,800

ASIN:B0BVBM5T8F

Amazonで見る

2

【最新第13世代 Core i9 HX & RTX 4080搭載・ウルトラハイエンド】MSIゲーミングノートPC RaiderGE78HX i9HX RTX4080/17型 WQXGA/240Hz/32GB/1TB/Windows11/Raider-GE78HX-13VH-1103JP

￥579,800

ASIN:B0BVBCNBLN

Amazonで見る

3

【整備済み品】ゲーミングPC デスクトップ パソコン ドスパラ GALLERIA Core i7-8700 - Geforce GTX 1080 8G - 16GBメモリ - SSD 1.0TB - Windows 11 - THIRDWAVE ゲームPC VR

￥85,800

￥81,510

値引き￥4,290 (5%)

ASIN:B0DJ29797H

Amazonで見る

4

【第13世代Core i9 HX & RTX 4080搭載・ウルトラハイスペック】MSIゲーミングノートPC Vector16HX 32GB/1TB/Core i9-13980HX RTX4080/16型 WQXGA/240Hz/Windows 11/Vector-16-HX-A13VHG-1003JP

￥379,800

ASIN:B0CTKC6JYH

Amazonで見る

5

mouse 【 RTX4070 SUPER 搭載 / 3年保証】 ゲーミングPC デスクトップ G-Tune DG (Ryzen 7 5700X RTX4070 SUPER 32GBメモリ 1TB SSD Windows 11 ゲーム 動画編集) DGA7G7SB3SJW103AZ

￥249,800

￥212,330

値引き￥37,470 (15%)

ASIN:B0CYGPQJBX

Amazonで見る

6

MSI Trident X2 14NUF7-293JP ゲーミングデスクトップPC Windows 11 Pro/インテル Core™ i7-14700KF/NVIDIA GeForce RTX 4070 Ti / DDR5 32GB/SSD 1TB/メーカー2年保証

￥498,400

￥398,000

値引き￥100,400 (20%)

ASIN:B0CSSS66NH

Amazonで見る

7

【14インチ小型・軽量1.6kg】【第13世代Core i7 & RTX 4060搭載・スケルトンデザイン】MSIゲーミングノートPC Cyborg14 Corei7 RTX4060/14インチ WUXGA/144Hz/32GB/1TB/Windows 11/Cyborg-14-A13VF-6003JP

￥199,800

ASIN:B0CTS2PCX1

Amazonで見る

8

【Amazon.co.jp限定】 ASUS ゲーミングノートPC TUF Gaming A15 FA507NVR 15.6型 RTX 4060 Ryzen 7 7435HS メモリ16GB SSD1TB リフレッシュレート144Hz RGB イルミネートキーボード Windows 11 動画編集 Xbox Game Pass 3ヶ月利用権付き FA507NVR-R74R4060T

￥189,800

￥149,800

値引き￥40,000 (21%)

ASIN:B0CWVCYZC5

Amazonで見る

9

【NEWLEAGUE】ゲーミングパソコン Ryzen 7 5700X / RTX4070 / メモリ32GB / NVMe SSD 1TB / Windows11Pro / WPS Office ミドルタワー デスクトップパソコン NGR75X-RTX47650 (RTX4070 GDDR6X 12GB, G6ホワイト)

￥239,800

￥203,830

値引き￥35,970 (15%)

ASIN:B0D41HWK5D

Amazonで見る

10

mouse 【 RTX4070 SUPER 搭載 / 3年保証】 ゲーミングPC デスクトップ G-Tune DG (Core i7 14700F RTX4070 SUPER 32GBメモリ 1TB SSD Windows 11 水冷CPUクーラー ゲーム 動画編集) DGI7G7SB3SJW103AZ

￥306,400

￥254,830

値引き￥51,570 (17%)

ASIN:B0CSSNGZ21

Amazonで見る

最終更新日：2024年11月28日 0:18 ※表示の価格情報は古い場合があります。