ComfyUIで強力なFlux.1 Toolsを使って画像修正する方法
前回の記事でFlux.1のコントロールネットを紹介したので、今回はBlack Forest Labsから公開されている「🔗Flux.1 Tools」を紹介します。Flux.1 Toolsを使えばFlux.1モデルを使った「インペイント・アウトペイント」や、IP Adapterに近い機能の「Redux」、そして「CannyまたはDepth」を使ったインプット画像の参考などができます。「Flux.1 Tools」は高スペックのPCが求められますが、かなり強力なツールになりますので記事を読んで使いこなせるようになりましょう。
【最新第13世代 Core i9 HX & RTX 4090搭載・ウルトラハイエンド】MSIゲーミングノートPC RaiderGE78HX i9HX RTX4090/17型 WQXGA/240Hz/32GB/2TB/Windows11/Raider-GE78HX-13VI-2803JP
ASIN:B0BVBM5T8F
【Amazon.co.jp限定】 ASUS ゲーミングノートPC TUF Gaming A15 FA507NVR 15.6型 RTX 4060 Ryzen 7 7435HS メモリ16GB SSD1TB リフレッシュレート144Hz RGB イルミネートキーボード Windows 11 動画編集 Xbox Game Pass 3ヶ月利用権付き FA507NVR-R74R4060T
ASIN:B0CWVCYZC5
ASUS ゲーミングデスクトップPC ROG Strix G13CHR GeForce RTX 4060 Ti インテル Core i7 14700F メモリ32GB SSD1TB Windows11 動画編集 エクストリームダークグレー G13CHR-714F1T324060T
ASIN:B0D32ZCYPJ
ASTROMEDA アストロメダ PALWORLD 【ハイエンドモデル】 ゲーミングPC ホワイト corei7-14700KF/GeForce-RTX4080super(ブラック)/DDR5-RGBメモリ32GB(メモリ2枚搭載)/SSD1TB(M.2 NVMe)/Windows11 デスクトップPC
ASIN:B0DJVMBQ9C
【最新第13世代 Core i9 HX & RTX 4080搭載・ウルトラハイエンド】MSIゲーミングノートPC RaiderGE78HX i9HX RTX4080/17型 WQXGA/240Hz/32GB/1TB/Windows11/Raider-GE78HX-13VH-1103JP
ASIN:B0BVBCNBLN
MSI ゲーミングデスクトップPC Trident X2 14NUG7-440JP Windows 11 Pro/インテル Core i7-14700KF/NVIDIA GeForce RTX 4080 SUPER/DDR5 32GB/SSD 1TB/タッチパネル搭載/メーカー2年保証
ASIN:B0D9L3LD2V
【Amazon.co.jp限定】【NVIDIA最新RTX4060搭載・薄型軽量スケルトン】MSIゲーミングノートPC Cyborg15 1.98kg メモリ16GB/SSD512GB/15.6インチ FHD 144Hz/Core i5-12450H/RTX 4060/Windows11/Cyborg-15-A12VF-2202JP
ASIN:B0D224QN47
mouse 【 RTX4070 SUPER 搭載 / 3年保証】 ゲーミングPC デスクトップ G-Tune DG (Core i7 14700F RTX4070 SUPER 64GBメモリ 1TB SSD Windows 11 水冷CPUクーラー ゲーム 動画編集) DGI7G7SB6SJW103AZ
ASIN:B0D227W4SL
ASUS ゲーミングデスクトップPC ROG Strix G13CHR GeForce RTX 4070 インテル Core i7 14700F メモリ32GB SSD1TB Windows11 動画編集 エクストリームダークグレー G13CHR-714F1T324070
ASIN:B0D32WP1CD
ASUS ゲーミングノートPC ROG Flow X13 13.4インチ GeForce RTX 4070 Ryzen 9 7940HS メモリ32GB SSD1TB リフレッシュレート165Hz キーボードバックライト Windows11 動画編集 オフブラック GV302XI-R9R4070
ASIN:B0BXX9SVRM
Flux.1 Toolsのモデルのダウンロード
Flux.1 ToolsのモデルはBlack Forest LabsのHuggingFaceに公開されています。使いたいモデルをダウンロードしていきましょう。※公式モデルをダウンロードをするにはBlack Forest Labsのライセンスなどの条件を受諾する必要があります。ライセンスなどの条件を受諾が面倒な方は🔗Cvitaiのtheally氏が同じモデルを公開しているのでそちらをダウンロードしましょう。
Fill (Inpainting)
Fill (Inpainting)はFlux.1を使ったインペイントとアウトペイントをする為のモデルです。/ComfyUI/models/diffusion_modelsにダウンロードしましょう。低スペックのPCをお使いの方は非公式の軽量版も公開されています。
Redux
ReduxはIP Adapterに似た機能を持ったモデルです。使用するにはディフュージョンモデル以外にもクリップビジョンモデルも必要になります。/ComfyUI/models/diffusion_modelsにダウンロードしましょう。下記のクリップビジョンモデルは/ComfyUI/models/clip_visionにダウンロードしましょう。
Canny
Cannyは画像から摘出した線画を参考に生成するモデルです。/ComfyUI/models/diffusion_modelsにダウンロードしましょう。
Depth
Depthは画像から摘出したデプスマップを参考に生成するモデルです。/ComfyUI/models/diffusion_modelsにダウンロードしましょう。
Canny (LoRA)
Flux.1 ToolsのCannyとDepthモデルにはディフュージョンモデル以外にもLoRAモデルを使って適用できます。このモデルはLoraとして使用する為、汎用性は高いでしょう。
Canny (LoRA)を/ComfyUI/models/lorasにダウンロードしましょう。
Depth (LoRA)
Depth (LoRA)を/ComfyUI/models/lorasにダウンロードしましょう。
ComfyUI公式のサンプルを見てみる
ComfyUI公式のサンプルはリンク先のページで紹介されている画像をダウンロードして、ComfyUIのLoadもしくはUIにドラッグアンドドロップで読み込みましょう。インプット画像はComfyUI_examplesの他の例からダウンロードする必要があるので、DCAIのドライブにまとめて置いておきます。
Fill (Inpainting)
Fill (Inpainting) modelを使えばインプット画像のマスク範囲をプロンプトに沿って生成します。この例でのインプット画像はあらかじめマスク範囲が設定されています。マスクを編集したい場合は「Load Image」ノードを右クリックしてメニューを出して、「Open in MaskEditor」を開き編集しましょう。
ComfyUIのインペイントについては下記の記事にて詳しく解説しているので参考にしてください。
このワークフローの特徴は通常のFlux.1のワークフローに加えて下記のノードを使用しています。
- Differential Diffusion：インペイント品質を向上させるノードです。このノードを通すことによりインプット画像とインペイントとの品質をそろえることができます。
- InpaintModelConditioning：プロンプト、インプット画像とマスクを適用させます。
Fill (Outpainting)
こちらも同じくFill modelを使ったアウトペイントのワークフローになります。
このワークフローでは先ほど紹介した2つのノードに加えて下記のノードが使われています。
- Pad Image for Outpainting：インプット画像を設定にしたがって拡張します。今回の例では左右と下に400ピクセル追加しています。feathertingで境界をぼかすことができるので、値を設定して境界を目立たなくします。
Redux
ReduxはIP Adapterの様な機能を持ったモデルになります。インプット画像の別バージョンを生成したい時や、同じスタイルで別の画像を生成したい時に使います。
このワークフローの特徴は通常のFlux.1のワークフローに加えてRedux Modelグループで囲まれたノードでスタイルを適用します。
- Load CLIP Vision：ダウンロードした
sigclip_vision_384.safetensorsを読み込みます。 - CLIP Vision Encode：インプット画像を先ほどのsigclip_vision_384を使ってconditioning（プロンプトデータ）に変換します。
- Load Style Model：ダウンロードした
flux1-redux-dev.safetensorsを読み込みます。 - Apply Style Model：CLIP Vision Encodeで変換したデータをStyle Modelを使って適用させます。適用強度はstrengthの値で調節しましょう。
Canny and Depth
このワークフローはCannyの例となっています。flux1-canny-dev.safetensorsモデルを使ってインプット画像の線画を参照します。
flux1-depth-dev.safetensorsを使いたい場合はインプット画像からDepth画像を摘出する為に、カスタムノードの「ComfyUI’s ControlNet Auxiliary Preprocessors」をインストールする必要があります。カスタムノードのインストール方法は下記の記事を参考にしましょう。
カスタムノードをインストールしたらインプット画像を「Depth Anything」ノード等お好みのプリプロセッサーでDepth画像を摘出して「InstructPixToPixConditioning」に送ります。あとは「Load Diffusion Model」ノードにflux1-depth-dev.safetensorsを読み込めば使用できます。
Canny and Depth (LoRA)
Flux.1 Toolsのモデルはどれも通常のFlux.1 Devと同じく容量が22.1GBとなっておりスペックの低いPCで生成することが難しくなっています。しかし、LoRAモデルとなっている「Canny」「Depth」モデルを使えば低スペックでも扱いやすいFLUX.1 [schnell]やFP8 (Dev/Schnell)、GGUF等も使用できるのでおススメです。
cannyを使いたい場合は「LoraLoaderModelOnly」ノードのlora_nameをflux1-canny-dev-lora.safetensorsに変更して、インプット画像をimage > preprocessors > Cannyを使って線画を摘出してください。
このワークフローの特徴は通常のFlux.1のワークフローに加えて下記のノードを使用しています。
- InstructPixToPixConditioning：cannyやdepthデータをコンディショニングデータに適用させます。
Flux.1 Toolsをつかった実用的なワークフローの紹介
「Flux.1 Tools」を使ったワークフローを紹介します。いつもならできるだけカスタムノードを使わずにシンプルなワークフローを組み上げるのですが、今回は5つのカスタムノードを使って少し複雑に組んでいます。ワークフローではFLUX.1 Fillを使ってインプット画像を細密化+拡張します。紹介する手法で「Animagine XL」、「Pony Diffusion V6 XL」や「Illustrious-XL」の画像を使ってFlux.1のディテールを生かした高品質なイラストを生成しましょう。
拡張方向は縦・横方向に対応しています。3方向または全方向には対応していません。また、拡張範囲は各方向に同じピクセルしか拡張できません。
- inpaintとoutpaintを使ってインプット画像の背景をディテールアップ
- FLUX.1-Fill-dev-ggufを使ってVRAMへの負担を軽減
- SAMDetectorの導入でインプット画像の顔面を保護
ワークフローはPatreonで公開していますが、有料サポーター様のみ閲覧・ダウンロードが可能となっています。
また、ワークフローがダウンロード出来なくでも解説を見ればご自身でも構成できるので、このまま解説にお進みください。
カスタムノードのインストール
下記のカスタムノードが必要になるのでインストールしましょう。すでにインストールされている方もエラーを回避するために最新版にアップデートしておきましょう。
- 🔗ComfyUI-Impact-Pack：顔のマスク作成に使用。
- 🔗ComfyUI-Impact-Subpack：V8.0よりUltralyticsDetectorProviderが分けられた為。
- 🔗ComfyUI-Custom-Scripts：オリジナルの画像を拡張された画像の中心に配置する計算で使用。
- 🔗ComfyUI-Crystool：ワーフフローのコントロール、画像の解像度摘出、水平・垂直の切り替えに使用。
- 🔗ComfyUI-GGUF：GGUF形式ののUnetとCLIPを読み込みに使用。
使用モデルについて
モデルは下記のモデルを使用しています。GGUFモデルはQ8_0を使用していますが、ご使用のマシンスペックにより変更してください。
- 🔗second-state/FLUX.1-Fill-dev-GGUF/flux1-fill-dev-Q8_0.gguf
- 🔗city96/t5-v1_1-xxl-encoder-gguf/t5-v1_1-xxl-encoder-Q8_0.gguf
- 🔗comfyanonymous/flux_text_encoders/clip_l.safetensors
- 🔗UltraSharp
インプット画像について
インプット画像はAnimagine XLを使って1024×1024で生成し、HiresFixを使い2倍の2048×2048ピクセルにスケールアップしています。画像はDCAIのDriveからダウンロードしましょう。※上記の画像は縮小されているので、できればDriveの画像を使用することをおススメします。
グラフの解説
Input Image
Input Imageグループではインプット画像を読み込み、1024pxに縮小または拡大します。画像は正方形のほうが好ましいですが、長方形でも問題ありません。「Upscale Image」のheightが0なのは長方形をインプットしたときに比率が変わらないように設定しています。
Basic Nodes
基本的な共有ノードがまとめられています。今回のワークフローは普通のKSamplerを使っているのでネガティブプロンプトが必要です。なのでプロンプトは反映されませんが必要なので、このグループに入っています。
GGUFモデルはQ8_0を使用していますが、VRAM24GB推奨モデルなのでスペックが満たない方はQ6_KやQ5_K_Sを使いましょう。詳しくは下記の記事にて解説しています。
![ComfyUI Flux.1 [schnell]で高パフォーマンスのGGUFを使うには#ComfyUI Flux.1 [schnell]でGGUFを使うには-量子化についてのメイン画像](https://dca.data-hub-center.com/content/uploads/2024/11/eye_catch_use-high-performance-gguf-comfyui-flux-1-schnell_ja.jpg)
Face Detect 1
カスタムノードの「Impact-Pack」に入っているSAMDetector周りのノードグループです。普通はFace detailerの顔面修復の為に使うノードですが、今回は顔面のマスクを作成して顔面を保護する目的で使います。
マスクが上手く摘出できないときは「SAMDetector (combined)」のdetection_hintやthresholdで調整しましょう。
「Mask Preview」ノードは「Convert Mask to Image」と「Preview Image」合わせたグループノードとなります。グループノードの作り方は後ほど紹介します。
InPaint
InPaintグループではFace Detect 1グループで作成したマスクを反転して顔面以外の部分をインペイントします。
プロンプトは下記の様に生成したい画像の簡単なプロンプトと、品質タグを記述しましょう。
Beautiful scenery of a medieval village.
detailed illustration, highly detailed, very detailed, intricately detailed, hyper detailed, finest details, intricate, wide angled, a rich and complex image of nature, realistic, captivating, fantastical, maximalist style, sharp focus, harmony, serenity, dynamic lighting, superb composition, highest aesthetic, stylized, clear, colorful, ultra quality, 8k, best quality, a breathtaking masterpiece.「FluxGuidance」は大きめの20を使っています。ノードデフォルトの3.5でも十分に使えますが、この値を大きくすると細密度が上がります。
「KSampler」のdenoiseの値で元画像をどれだけ維持するかを設定します。0の場合は元画像をそのまま生成し、1の場合は保護された顔以外の部分がまったく別の画像になります。stepsは上げてもそれ程品質は変わりませんでした。cfgはFlux.1の場合1で使用します。
OutPaint
OutPaintグループでは、InPaintグループで生成された画像を任意の方向に指定したピクセル分だけ拡張できます。デフォルトでは、水平方向に左右それぞれ400pxずつ拡張されます。
プロンプトは拡張した部分のみに適用されます。デフォルトはインペイントと同じプロンプトを使っていますが、シンプルなプロンプトを使うのも良いでしょう。
「H/V Switcher True = Horizontal」ノードで拡張する方向を指定します。valueがtrueの場合は水平方向に拡張し、falseにすると垂直方向に拡張します。
「H/V Param Switcher (Group)」は「Primitive integer [Crystools]」と「Switch any [Crystools]」をまとめたグループノードです。先ほどの「H/V Switcher True = Horizontal」の値によってvalueのピクセルを拡張します。
「Pad Image for Outpainting」ノードはアウトペイントするピクセルを指定するノードです。今回はleft/top/right/bottomをノードの右クリックメニューからConvert Widget to Inputを使い外部化させて、「H/V Param Switcher (Group)」から入力しています。
Upscale
DCAIでいつも紹介しているアップスケールノードグループです。4x-UltraSharpで4倍に拡大してから3メガピクセルに縮小しています。
Finishing
Finishingグループでは、アウトペイントで拡張した部分やアップスケールを馴染ますために、最後にもう一度全体を生成します。ココでもインペイントを使って顔面を保護します。
このグループも「FluxGuidance」と「KSampler」のdenoiseで仕上がりを調節しましょう。
Face Detect 2
アップスケール後の解像度で顔面を保護する為のマスクを作成します。bbox_detectorとsegsはFace Detect 1から共有しています。作成したマスクはFinishingグループのインペイントとFace Swapグループの顔面差し替えに使用します。
Face Swap
Face SwapグループではFinishingグループで生成された画像にインプット画像を同じ大きさにして顔面部分を差し替えています。少し複雑なので色で種類分けをしています。
- シアン：Finishingグループで生成された画像関係のノード
- 赤：インプット画像関係のノード
- 黄色：計算関係のノード
基本的には仕上げサイズに合わせたEmptyImageに、解像度を合わせたインプット画像を中心に配置することによりマスクと同じ位置にインプット画像が配置されるので「ImageCompositeMasked」ノードでFace Detect 2グループで作成したマスクを使い顔面を差し替えています。
「🪛 Switch any」ノードを使いOutPaintグループの「H/V Switcher True = Horizontal」の値によって縦・横方向の切り替えをしています。
「Math Expression 🐍 – Centering」ノードでインプット画像を中心にオフセットする値を算出しています。計算式はシンプルで横長画像の場合は（最終画像の横幅 － インプット画像の横幅）/ 2となります。
ノードの接続がややこしいので詳細画像を見ながら接続してみましょう。
Preview
各グラフのプレビューがまとめられています。自動で保存したい場合は「Save Image」ノードに差し替えましょう。
グループノードについて
グループノードとはComfyUIの機能で複数のノードをまとめて1つのノードにできます。今回は「Mask Preview」ノードと「H/V Param Switcher (Group)」ノードがそれになるので作り方を見ていきましょう。
Mask Previewノードの作り方
シンプルなグループノードですがグループノード基本が解りやすいと思います。
- 「Convert Mask to Image」と「Preview Image」を配置してIMAGEアウトとimagesインを繋げます。
- 2つのノード選択した状態で右クリックでメニューを表示させます。
- メニューからConvert to Group Nodeを選択するとノード名の入力画面が表示されるので
Mask Previewと入力します。
以上で完成になります。作成したノードは同じワークフロー内であればAdd Node > group nodes>workflowの中にあるので何時でも使うことができます。
H/V Param Switcher (Group)ノードの作り方
コチラは少し複雑ですが基本的なことは変わりません。
- 「🪛 Primitive integer」を2つと「🪛 Switch any」を4つ下の画像の様に配置します。「🪛 Primitive integer」の値を
400と0の2通り作り、接続は400の方を画像を参考に上からtrue/false/true/falseと繋げます。0の方は反対側に接続しましょう。これは「🪛 Switch any」のアウトが「Pad Image for Outpainting」ノードのleft/top/right/bottomに繋がるので、Trueの場合にleftとrightに値が適用するようになっています。 - 「🪛 Switch any」ノードのbooleanを外部化したいのでノードの右クリックメニューから変更します。
- 各ノードの表示名をダブルクリックして後ほど編集しやすい様に画像の様に変更します。
- すべてのノード選択した状態で右クリックでメニューを表示させます。
- メニューからConvert to Group Nodeを選択するとノード名の入力画面が表示されるので
H/V Param Switcher (Group)と入力します。 - ノードの表示が分かりにくいのでキャンバスまたはノードを右クリックしてメニューからManage Group Nodesを選択します。
- 画像の様にManage Group Nodesを呼び出せば作業しやすくなります。1つの作業ごとにSaveボタンでノードの表示を確認しましょう。
- まずは変更の必要のないPrimitive integer [Crystools]の「int 0」の表示を消します。左の一覧から「int 0」を選択してWidgetsタブのVisibleのチェックボックスをオフにします。
- 「int 400」の表示名をintから
valueに変更します。 - Switch any [Crystools]のLeftからBottomまで
boolean leftの様に変更します。 - タブをWidgetsからOutputsに切り替えてアウトプットの表示をLeftからBottomまで
LEFTの様に変更します。ComfyUIのノード形式としてはインプットが小文字アウトプット大文字になるのでそれにそった表示形式になります。 - Saveボタンを押して表示が正しくされていることを確認できたら、CloseボタンでManage Group Nodesを閉じます。
以上でH/V Param Switcher (Group)ノードが完成しました。
使用方法
ワークフローを使用時には「Control Bridge (InPaint)」と「Control Bridge (OutPaint)」でプロセスを止めることができるので、まずはmodeを両方ともActiveからStop/Mute/Bypassに切り替えましょう。
- インプット画像をInput Imageグループの「Load Image」に読み込ませます。
- InPaintグループの「KSampler」のcontral_after_generateを
randomizeに切り替えます。プロンプトを入力して「FluxGuidance」のguidanceと「KSampler」のdenoise等を調節して、満足のいく画像が生成するまで繰り返しましょう。 - 満足のいく画像が生成されたら、サイドメニューのQueueリストより気に入った結果の画像を右クリックして「Load Workflow」より呼び出します。
- 新しいワークフローが開くので「KSampler」のseed値をコピーしてワークフローを閉じます。
- 「KSampler」のcontral_after_generateを
fixedに切り替えて、先ほどコピーしたseed値をペーストします。 - 「Control Bridge (InPaint)」のmodeを
Activeに切り替えてOutPaintグループに移りましょう。 - 「H/V Switcher True = Horizontal」のvalueで拡張したい方向を設定します。
trueが水平falseが垂直方向に拡張します。 - 「H/V Param Switcher (Group)」のvalueで拡張したい大きさを入力します。デフォルトでは左右それぞれ400px拡張します。
- 「Pad Image for Outpainting」のfeatheringで境界をぼかすことにより元画像と生成画像をスムーズに繋ぎます。
- プロンプトを入力して「FluxGuidance」のguidanceを調節します。
- 満足のいく画像が生成されたら、Control Bridge (OutPaint)」のmodeを
Activeに切り替えてUpscale/Finishingグループに移りましょう。 - FinishingグループはInPaintグループと同様にプロンプトを入力して「FluxGuidance」のguidanceと「KSampler」のdenoise等を調節します。
以上でインプット画像の顔を維持しながらFlux.1で細密化された画像が生成されます。
最終結果
Animagine XLの画像テイストを残しつつFlux.1品質の画像が生成されました。
垂直で生成したサンプルも掲載しておきます。パラメーターはOutPaintグループのseedを725205388587662に変更していますが、綺麗な縦型画像になりました。
まとめ
いかがでしたか？Flux.1 Toolsをつかえばコントロールネットの様に生成のコントロールが大幅に上がり、画像修正等が効率的になります。ただし、Flux.1モデルの動作の重さは変わらず、GGUFやFP8モデルを導入しなければVRAMが24GB以下のPCでは生成するのが厳しいでしょう。
また、紹介したDCAIのワークフローの様に今までのSD1.5モデルやSDXLモデルを生かした手法もあるのでFlux.1 Toolsを使って品質を上げるのも良い使い方だと思います。
玄人志向 NVIDIA GeForce RTX4060 搭載 グラフィックボード GDDR6 8GB 搭載モデル 【国内正規品】 GG-RTX4060-E8GB/SF
ASIN:B0CG69V3H6
玄人志向 NVIDIA RTX3050 搭載 グラフィックボード GDDR6 6GB 搭載モデル 【国内正規品】 GG-RTX3050-E6GB/EX/DF/DVI
ASIN:B0DN638LY8
GIGABYTE NVIDIA GeForce RTX4060Ti 搭載 グラフィックボード GDDR6 16GB【国内正規代理店品】 GV-N406TWF2OC-16GD
ASIN:B0CYYHMKMW
玄人志向 NVIDIA RTX4070 搭載 グラフィックボード GDDR6X 12GB 搭載モデル 【国内正規品】 GG-RTX4070-E12GB/DF2
ASIN:B0D7G75P4N
GIGABYTE NVIDIA GeForce RTX4060 搭載 グラフィックボード GDDR6 8GB【国内正規代理店品】 GV-N4060D6-8GD
ASIN:B0CS2B592J
MSI GeForce RTX 4070Ti SUPER 16G VENTUS 2X OC/A PCIe4.0 約3スロット厚・2ファン搭載 省スペース グラフィックスカード VD8792
ASIN:B0CSN6KW5P
MSI GeForce RTX 4070 SUPER 12G VENTUS 2X OC/A PCIe4.0 2スロット・2ファン搭載 省スペース グラフィックスカード VD8751
ASIN:B0CRZ67KXX