ComfyUI Flux.1でControlNet + IP-Adapterの詳しい使い方

flux.1の公開から5カ月が経とうとしていますが、周辺環境も充実してきました。今回の記事ではFlux.1でのコントロールネットについて解説していきたいと思います。去年の11月に発表された「FLUX.1 Tools」を使えばCannyやDepthを使うこともできますが、今回の記事ではコントロールネットのみの記事になります。「FLUX.1 Tools」に関してはまた、別の記事にまとめたいと思います。

🔍Graphics Cardsfrom Amazon

1

MSI GeForce RTX 3060 VENTUS 2X 12G OC グラフィックスボード VD7553

ASIN:B08WPRMVWB

Amazonで見る

2

MSI GeForce RTX 3050 LP 6G OC PCIe4.0 ロープロファイルサイズ 補助電源不要 デュアルファン搭載 グラフィックスボード VD8790

ASIN:B0CTJZCJH1

Amazonで見る

3

GIGABYTE NVIDIA RTX3050 搭載 グラフィックボード GDDR6 6GB【国内正規代理店品】 GV-N3050OC-6GL

ASIN:B0CVSGRV4G

Amazonで見る

4

玄人志向 NVIDIA GeForce RTX2060 搭載 グラフィックボード GDDR6 12GB GALAKURO GAMINGモデル GG-RTX2060-E12GB/DF ブラック

ASIN:B09Q66CLY2

Amazonで見る

5

玄人志向 NVIDIA RTX4060 搭載 グラフィックボード GDDR6 8GB【国内正規代理店品】 GK-RTX4060-E8GB/WHITE/DF2

ASIN:B0DPPC7NHX

Amazonで見る

6

GIGABYTE NVIDIA GeForce RTX4060搭載 グラフィックボード GDDR6 8GB【国内正規代理店品】 GV-N4060OC-8GL

ASIN:B0CG69PH11

Amazonで見る

7

ASUS GeForce RTX 3050 LP BRK OC Edition 6GB GDDR6 ビデオカード / RTX3050-O6G-LP-BRK 国内正規流通品

ASIN:B0CXPBVJD3

Amazonで見る

8

MSI GeForce RTX 4060 Ti VENTUS 2X BLACK 8G OC グラフィックスボード VD8517

ASIN:B0C5B4XNWR

Amazonで見る

9

ASUS Dual GeForce RTX 3050 OC Edition 6GB GDDR6 ビデオカード/DUAL-RTX3050-O6G 国内正規流通品

ASIN:B0CVQMD2DF

Amazonで見る

10

MSI GeForce GTX 1660 Ti AERO ITX 6G OC グラフィックスボード VD6893

ASIN:B07P2CZNSF

Amazonで見る

カスタムノードのインストール

ComfyUIでコントロールネットを使用する前提としてプリプロセッサーのカスタムノードをインストールする必要があります。ComfyUI Managerの「Custom Nodes Manager」を使ってComfyUI's ControlNet Auxiliary Preprocessorsを検索してインストールしましょう。

annovel16 / comfyui_controlnet_aux · GitHub

https://github.com/Fannovel16/comfyui_controlnet_aux

🔗外部リンク

ComfyUIでコントロールネットを使用したことがない方は下記の記事にて基本的な使い方を解説しているので目を通しておきましょう。

ComfyUI コントロールネットの詳しい使い方 SD1.5 / SDXL

🔗あわせて読みたい

コントロールネットモデルのインストール

現在コントロールネットモデルは「Xlabs」「InstantX」「Jasper AI」から公開されています。それぞれのモデルを紹介します。

Xlabs

Xlabsからは1024×1024で学習された、「Canny」「Depth」「HED」の3つのモデルとベータ版の「ip-adapter」が公開されています。はじめの3つのモデルはComfyUI\models\xlabs\controlnetsに置きましょう。

XLabs-AI/flux-controlnet-collections/flux-canny-controlnet-v3.safetensor · Hugging Face

https://huggingface.co/XLabs-AI/flux-controlnet-collections/blob/main/flux-canny-controlnet-v3.safetensors

🔗外部リンク

XLabs-AI/flux-controlnet-collections/flux-depth-controlnet-v3.safetensors · Hugging Face

https://huggingface.co/XLabs-AI/flux-controlnet-collections/blob/main/flux-depth-controlnet-v3.safetensors

🔗外部リンク

XLabs-AI/flux-controlnet-collections/flux-hed-controlnet-v3.safetensors · Hugging Face

https://huggingface.co/XLabs-AI/flux-controlnet-collections/blob/main/flux-hed-controlnet-v3.safetensors

🔗外部リンク

「ip-adapter」はComfyUI\models\xlabs\ipadaptersに置きましょう。

XLabs-AI/flux-ip-adapter · Hugging Face

https://huggingface.co/XLabs-AI/flux-ip-adapter/tree/main

🔗外部リンク

InstantX

InstantXはCanny, Depth, Tile, Blur, Pose, Gray, Low qualityがバンドルされた「ControlNet Union」と独立した「Canny」「IP-Adapter」があります。古いバージョンのComfyUIではカスタムノードが必要でしたが現在は基本ノードのみで使用可能となりました。ダウンロードしたモデルは名前がdiffusion_pytorch_model.safetensorsとなっていますので自分で解りやすいようにflux-dev-controlnet-union.safetensorsの様な名前に変更して\ComfyUI\models\controlnetに置きます。

InstantX/FLUX.1-dev-Controlnet-Union · Hugging Face

https://huggingface.co/InstantX/FLUX.1-dev-Controlnet-Union/tree/main

🔗外部リンク

InstantX/FLUX.1-dev-Controlnet-Canny · Hugging Face

https://huggingface.co/InstantX/FLUX.1-dev-Controlnet-Canny

🔗外部リンク

InstantX/FLUX.1-dev-IP-Adapter · Hugging Face

https://huggingface.co/InstantX/FLUX.1-dev-IP-Adapter

🔗外部リンク

Jasper AI

Jasper AIからは「Upscaler」「Surface-Normals」「Depth」の3つがあります。ダウンロードしたモデルは\ComfyUI\models\controlnetに置きます。こちらもダウンロードしたモデルは名前がdiffusion_pytorch_model.safetensorsとなっていますので自分で解りやすいようにjasperaiFlux.1-dev-Controlnet-Depth.safetensorsの様な名前に変更しましょう。

jasperai/Flux.1-dev-Controlnet-Upscaler · Hugging Face

https://huggingface.co/jasperai/Flux.1-dev-Controlnet-Upscaler/tree/main

🔗外部リンク

jasperai/Flux.1-dev-Controlnet-Surface-Normals · Hugging Face

https://huggingface.co/jasperai/Flux.1-dev-Controlnet-Surface-Normals/tree/main

🔗外部リンク

jasperai/Flux.1-dev-Controlnet-Depth · Hugging Face

https://huggingface.co/jasperai/Flux.1-dev-Controlnet-Depth/tree/main

🔗外部リンク

Flux.1のコントロールネットを使ってみる

モデルのインストールが完了したら、コントロールネットを使ってみましょう。ワークフローを見ながら解説します。

Xlabs

Xlabsのコントロールネットモデルを使う場合は専用のカスタムノードをインストールする必要があります。

カスタムノードのインストール

ComfyUI Managerを開き「x-flux-comfyui」をインストールしましょう。

XLabs-AI / x-flux · GitHub

https://github.com/XLabs-AI/x-flux

🔗外部リンク

「Custom Nodes Manager」を使ってx-flux-comfyuiを検索してインストールしましょう。

公式ワークフローの解説

インストールが完了したら\ComfyUI\custom_nodes\x-flux-comfyui\workflowsにワークフローがあります。今回はflux-controlnet-canny-v3-workflow.jsonを解説します。

　画像を開く

ノードについて

コントロールネットを使う場合の専用のノードを解説します。

XlabsのFlux.1のコントロールネットモデルを読み込みます。model_nameには適応したいFlux.1モデルを選択します。controlnet_pathには使用したいコントロールネットモデルを選択しましょう。

コントロールネットモデルとモデルに適応したプリプロセッサーの画像（今回はCanny Edgeで摘出した画像）をコントロールネットコンディションとして出力します。インプットのcontrolnet_conditionは複数のコントロールネットを適応させたい時に使います。また、strengthでコントロールネットの強度を調節します。

XLabsのコントロールネットを使用したサンプラーになります。このサンプラーでは通常のKSamplerの様にサンプラー、スケジューラータイプ等は使えないので注意しましょう。特徴として以下の3つのパラメーターがあります。

• timestep_to_start_cfg：どのステップ段階からCFGとネガティブプロンプトを適応するかを設定します。
• true_gs：CFGのスケールになります。
• image_to_image_strangth：img2imgでの使用時にオリジナル画像の強度を設定します。

InstantX

InstantXは通常のコントロールネットの構成で使用できます。Civitaiにて公式ワークフローが公開されています。

Flux Union Controlnet Pro workflow | Civit AI

https://civitai.com/models/709352/flux-union-controlnet-pro-workflow

🔗外部リンク

　画像を開く

公式ワークフローはOpenPoseの使用例となっています。OpenPoseデータは「Optional: Extract Openpose from image」から摘出していますが、データのみが必要な方はDCAIのドライブに公開してます。

Flux Union Controlnet Pro workflow DATA · Google Drive

https://drive.google.com/drive/folders/1t_362RxST4otVz4coKF1OGsdpB2rlewa?usp=sharing

🔗外部リンク

Jasper AI

Normal sample

Jasper AIも先ほどのInstantXとほとんど同じ構成で使用できます。違いとしては「SetUnionControlNetType」が必要ないのでモデルの「Load ControlNet Model」から直接Apply Controlnetに繋がります。コチラは公式のワークフローがないのでシンプルなワークフローをドライブに公開しました。

　画像を開く

Jasper AI Normal sample · Google Drive

https://drive.google.com/drive/folders/1hrxOeSb9XYhnbMhdOyM2go9d_CsNsFjm?usp=sharing

🔗外部リンク

Upscaler sample

Upscalerモデルは他と少し設定が違うのでワークフロー例を紹介します。

　画像を開く

Jasper AI Upscaler sample · Google Drive

https://drive.google.com/drive/folders/15bikpW7HL5B68OYxAqMBbtT9Au1-2uEa?usp=sharing

🔗外部リンク

ワークフローの特徴としてはプロンプトを空白のまま生成します。「Upscale Image」のupscale_methodはインプット画像によってlanczosに切り替えた方が綺麗に生成される場合があります。

このアップスケーラーは非常に小さな画像をアップスケールするモデルなので1024ピクセル以上の画像をアップスケールするにはOOM（アウト オブ メモリー）エラーが出るか、エラーが出なくても生成にかなりの時間が掛かるうえに生成結果は使い物にならないでしょう。

コントロールネットをつかった実用的なワークフローの紹介

　画像を開く

紹介したコントロールネットを使ったワークフローを紹介します。今回組み込んだ機能は下記の様になります。

• GGUFを使ってVRAMへの負担を軽減
• LoRAを使いイラストの方向性を決める
• IP adapterを使いキャラクターを固定
• 2ndパスを導入してスケール＆ディテールアップ

ワークフローはPatreonで公開していますが、有料サポーター様のみ閲覧・ダウンロードが可能となっています。

ComfyUI Flux.1 GGUF ContrlNet (IP Adapter) Example Workflow | Digital Creative AI | PATREON

https://www.patreon.com/posts/120107681

🔗外部リンク

また、ワークフローがダウンロード出来なくでも解説を見ればご自身でも構成できるので、このまま解説にお進みください。

必須カスタムノードのインストール

このワークフローを実行するには下記のカスタムノードとモデルをインストールする必要があります。すでに導入済の方もトラブルを避けるために最新版にアップデートしておきましょう。

• ComfyUI-GGUF：GGUF形式ののUnetとCLIPを読み込むためのカスタムノード
• ComfyUI-IPAdapter-Flux：InstantXが公開しているIPAdapterを実行する為のカスタムノード

必須モデルのインストール

下記のモデルをダウンロードしましょう。

GGUFモデル

この例ではベースモデルのflux1-devQ8_0.ggufを使っています。OOM（アウト オブ メモリー）エラーで生成が出来ないときは品質は変わりますが、Q8_0からQ6_KやQ5_K_Sに変更しましょう。

詳しくは下記の記事を参考にしてください。

ComfyUI Flux.1 [schnell]で高パフォーマンスのGGUFを使うには#ComfyUI Flux.1 [schnell]でGGUFを使うには-量子化について

🔗あわせて読みたい

ダウンロードしたモデルは\ComfyUI\models\unetに置きましょう。

city96/FLUX.1-dev-gguf/flux1-dev-Q8_0.gguf · Hugging Face

https://huggingface.co/city96/FLUX.1-dev-gguf/blob/main/flux1-dev-Q8_0.gguf

🔗外部リンク

ダウンロードしたモデルは\ComfyUI\models\clipに置きましょう。

city96/t5-v1_1-xxl-encoder-gguf · Hugging Face

https://huggingface.co/city96/t5-v1_1-xxl-encoder-gguf/tree/main

🔗外部リンク

LoRAモデル

ダウンロードしたLoRAモデルは\ComfyUI\models\lorasに置きましょう。

Anime art | Variant 2 | Civit AI

https://civitai.com/models/832858?modelVersionId=951509

🔗外部リンク

Epic gorgeous Details | Balance_v2.0 | Civit AI

https://civitai.com/models/736706?modelVersionId=863655

🔗外部リンク

IPAdapterモデル

ダウンロードしたIPAdapterモデルは\ComfyUI\models\ipadapter-fluxに置きましょう。ipadapter-fluxフォルダーがない場合は新たにフォルダーを作ってください。

InstantX/FLUX.1-dev-IP-Adapter · Hugging Face

https://huggingface.co/InstantX/FLUX.1-dev-IP-Adapter/blob/main/ip-adapter.bin

🔗外部リンク

グラフの解説

それでは、各グループを見ていきましょう。

IP Adapter

　画像を開く

IP AdapterグループはIP Adapter関係のノードがまとまっています。

「Load Image」で参考画像を読み込みます。使用する参考画像はSDXLのAnimagine XL V3.1で生成した画像を使い、イラストスタイルと人物を参照します。ただし、精度はあまり高くはありません。

「Upscale Image」では、参照画像をIP Adapterに適した1024ピクセルにリサイズします。

「Load IPAdapter Flux Model」のipadapterにダウンロードしたip-adapter.binを読み込みclip_visionにgoogle/siglip-so400m-patch14-384を選択します。このモデルはカスタムノードをインストールすれば自動的にインストールされます。providerは「cuda」「cpu」「mps (Multi-Process Service)」から選択できます。

「Apply IPAdapter Flux Model」でIP Adapterの適応率を調節できます。weightで強度を指定して、start_percent/end_percentで生成ステップのどの段階からIP Adapterを適応するかを設定します。執筆時のバージョンではend_percentを1.0にすると生成結果にノイズが出てしまうので0.8位までで設定しましょう。

Load Basic Models

　画像を開く

Load Basic Modelsグループは基本的なモデルを呼び出します。

「Unet Loader (GGUF)」でベースモデルのflux1-devQ8_0.ggufを読み込みます。OOM（アウト オブ メモリー）エラーで生成が出来ないときは品質は変わりますが、Q8_0からQ6_KやQ5_K_Sに変更しましょう。

「DualCLIPLoader (GGUF)」ノードでテキストエンコーダーを読み込みます。通常の「t5xxl_fp16」の代わりにt5-v1-xxl-encoder-Q8_0.ggufを読み込みます。コチラもVRAMにあわせてQ6_KやQ5_K_Sに設定しましょう。

2つの「LoraLoaderModelOnly」で各LoRAを読み込みます。今回は両方ともにstrength_modelは0.50に設定しています。

Basic Info

　画像を開く

Basic Infoグループでは生成に必要な情報がまとめられています。

ほとんどデフォルトの設定ですが、プロンプトは下記の様に記述しています。

A masterful highly intricate detailed anime.
A girl looking at viewer.
in the In the European medieval fantasy era.

生成サイズは後ほど拡大されますが720pサイズの1280ｘ720ピクセルに設定しています。

Upscale

　画像を開く

Upscaleグループでは、1stパスで生成されたピクセルイメージを4x-UltraSharp.pthを使って一度4倍にしてから、「Scale Image to Total Pixels」ノードで任意のピクセルに縮小しています。今回は3.0MPを選択していますがOOM（アウト オブ メモリー）エラーが出る場合はこの数字を小さくしましょう。

2nd Pass Info

　画像を開く

2nd Pass Infoグループは2ndパス用の設定になります。一番重要なのはdenoiseの値でこれを下げることにより1stパスに近い結果になります。

ワークフローの使い方

基本的には「Queue」ボタンで生成できます。「RandomNoise」ノードをranomizeで1stパスの結果を素早く見たい場合は「Preview Image (2nd Pass)」ノードをミュートもしくはバイパスして「Queue」ボタンを押します。この設定では1stパスが生成された時点で止まるので好きな生成結果が出るまで続けましょう。

1stパスの結果に満足したらサイドメニューのQueueリストより気に入った結果の画像を右クリックして「Load Workflow」より呼び出します。

呼び出したら最初に「RandomNoise」ノードをfixedに設定します。

「Preview Image (2nd Pass)」ノードのミュートもしくはバイパスを解除して「Queue」ボタンでUpscaleより生成を再開します。（メモリーから1stパスのデータが解放されている場合は初めからの生成になります。）

このワークフローでは「Save Image」ノードを使っていないのでPreview Image (2nd Pass)」を右クリックしてSave Imageで保存するかノードを「Save Image」ノードに変更してください。

最終結果

最終的に以下の様な結果がでました。Flux.1ではアニメイラストの生成が苦手（顔や目の生成が良くない）とされていますが、このワークフローの様にIP AdapterやLoRAを使ってスタイルに方向性をもたすことによってディテールのあるイラストを生成することが可能となりました。

　画像を開く

まとめ

今回はFlux.1でコントロールネットの使い方を紹介しました。コントロールネットを使うことにより標準のFlux.1ベースモデルだけでは難しいイラストの表現可能となり、さらなる高品質なイラストが生成できるようになります。フォトリアルな画像の生成では高品質な生成が可能なFlux.1ですがイラストの表現力はSDXLの「Animagine XL」、「Pony Diffusion V6 XL」や「Illustrious-XL」の方が高品質な画像を生成してくれます。しかし、コントロールネットを使えば今回紹介してワークフローの様にIP Adapterを使って高品質なイラストを生成することも可能になります。

🔍PC Chairsfrom Amazon

1

EdoErgo オフィスチェア 椅子 テレワーク 疲れない 跳ね上げ式アームレスト コンパクト 約105度ロッキング pc 事務椅子 360度回転 座面昇降 強化ナイロン樹脂ベース 通気性メッシュ テレワーク 在宅ワーク H-WY01 (黑網+黑枠+黑足)

ASIN:B0DCVMD3ZK

Amazonで見る

2

【床傷防止！PUキャスター】タンスのゲン オフィスチェア 腰楽ランバーサポート【ワントーンタイプ新登場！】ハイバック ロッキング チェアー デスクチェア 椅子 65090108(80325)

ASIN:B00YQW38O8

Amazonで見る

3

HLIFE オフィスチェア デスクチェア 人間工学 テレワーク チェア 疲れない 椅子 腰サポート 跳ね上げ式アームレスト 3Dヘッドレスト ロッキング機能 高反発クッション PCチェア 通気性メッシュ ゲーミング/勉強/事務用 おしゃれ パソコンチェア（ホワイト）

ASIN:B0D5H3YJMS

Amazonで見る

4

Supzmg オフィスチェア 椅子 テレワーク 疲れない デスクチェア ワークチェア ロッキング機能 収納式フットレスト リクライニング 人間工学 チェア S字立体背もたれ ハイバック 高反発座面 事務椅子 通気性に優れ H-WY03 (ブラック)

ASIN:B0D3D5CYPY

Amazonで見る

5

【リニューアルでより頑丈に】アイリスプラザ オフィスチェア デスクチェア メッシュ 通気性 腰サポートバー 無段階昇降 360度回転 コンパクト OFC-MAL ブラック

ASIN:B01DLSTRHE

Amazonで見る

6

Supzmg オフィスチェア 椅子 テレワーク 疲れない デスクチェア パソコンチェア ワークチェア 通気性メッシュ 跳ね上げ式アームレスト ロッキング機能 在宅勤務 事務椅子 勉強椅子 H-WY15 (黑網+黑枠+黑足)

ASIN:B0DG5HWQB5

Amazonで見る

7

Dilosso オフィスチェア デスクチェア 腰サポートバー メッシュ通気性テレワーク チェア 疲れない 人間工学 跳ね上げ式アームレスト 3Dヘッドレスト ロッキング機能 高反発クッション ロッキング機能 在宅勤務 事務椅子 勉強 (ブラック) [並行輸入品]

ASIN:B0DTT4P9F3

Amazonで見る

8

ナカバヤシ オフィスチェア デスクチェア メッシュチェア ブラック Z0615

ASIN:B0827QMTX7

Amazonで見る

9

PQNLXLN デスクチェア オフィスチェア chair パソコンチェア 背もたれ椅子 おしゃれ ワークチェア 人間工学 キャスター付き 360°自由回転椅子 昇降機能付き 在宅ワーク 椅子

ASIN:B0DTHJZQQF

Amazonで見る

10

山善(YAMAZEN) オフィスチェア メッシュバック ランバーサポート付き ホワイト EHL-50(WH/BK)

ASIN:B077YFTCMV

Amazonで見る