DCAI
Loading Light/Dark Toggl

【ComfyUI】高性能最新モデルFlux.1 [schell]の詳しい使い方

⏱️7min read
📅 2024年8月8日
🔄 2024年11月15日
カテゴリー:📂 AIイラスト中級
【ComfyUI】高性能最新モデルFlux.1 [schell]の詳しい使い方のメイン画像
Supported by

今回は「Flux.1」を紹介したいと思います。🔗Black Forlest Labsが開発したFlux.1は、Stability AIが発表した🔗Stabule Diffusion 3やFal AIの🔗Auraflowの対抗馬として発表されました。モデルはクローズドウェイトでAPIのみで使用できる[pro]バージョンとオープンウェイトで非商用利用が可能(Black Forlest Labsへの問い合わせで切り替え可能)な[dev]バージョン、そして今回紹介するオープンウェイトのApache2.0ライセンスで使用可能な高速版の[schnell]バージョンと3つのモデルがあります。SDXLモデルの約2倍の12Billionパラメータベースで開発されていて、現在開発されているローカル環境で使用できる画像生成AIモデルの中でも最高峰のモデルと言えるでしょう。

PR
🔍Graphics Cardsfrom Amazon
1
MSI GeForce RTX 3060 VENTUS 2X 12G OC グラフィックスボード VD7553の商品画像

MSI GeForce RTX 3060 VENTUS 2X 12G OC グラフィックスボード VD7553

ASIN:B08WPRMVWB

2
MSI GeForce RTX 3050 LP 6G OC PCIe4.0 ロープロファイルサイズ 補助電源不要 デュアルファン搭載 グラフィックスボード VD8790の商品画像

MSI GeForce RTX 3050 LP 6G OC PCIe4.0 ロープロファイルサイズ 補助電源不要 デュアルファン搭載 グラフィックスボード VD8790

ASIN:B0CTJZCJH1

3
GIGABYTE NVIDIA RTX3050 搭載 グラフィックボード GDDR6 6GB【国内正規代理店品】 GV-N3050OC-6GLの商品画像

GIGABYTE NVIDIA RTX3050 搭載 グラフィックボード GDDR6 6GB【国内正規代理店品】 GV-N3050OC-6GL

ASIN:B0CVSGRV4G

4
玄人志向 NVIDIA GeForce RTX2060 搭載 グラフィックボード GDDR6 12GB GALAKURO GAMINGモデル GG-RTX2060-E12GB/DF ブラックの商品画像

玄人志向 NVIDIA GeForce RTX2060 搭載 グラフィックボード GDDR6 12GB GALAKURO GAMINGモデル GG-RTX2060-E12GB/DF ブラック

ASIN:B09Q66CLY2

5
GIGABYTE NVIDIA GeForce RTX4060搭載 グラフィックボード GDDR6 8GB【国内正規代理店品】 GV-N4060OC-8GLの商品画像

GIGABYTE NVIDIA GeForce RTX4060搭載 グラフィックボード GDDR6 8GB【国内正規代理店品】 GV-N4060OC-8GL

ASIN:B0CG69PH11

6
玄人志向 NVIDIA RTX4060 搭載 グラフィックボード GDDR6 8GB【国内正規代理店品】 GK-RTX4060-E8GB/WHITE/DF2の商品画像

玄人志向 NVIDIA RTX4060 搭載 グラフィックボード GDDR6 8GB【国内正規代理店品】 GK-RTX4060-E8GB/WHITE/DF2

ASIN:B0DPPC7NHX

7
ASUS GeForce RTX 3050 LP BRK OC Edition 6GB GDDR6 ビデオカード / RTX3050-O6G-LP-BRK 国内正規流通品の商品画像

ASUS GeForce RTX 3050 LP BRK OC Edition 6GB GDDR6 ビデオカード / RTX3050-O6G-LP-BRK 国内正規流通品

ASIN:B0CXPBVJD3

8
MSI GeForce RTX 4060 Ti VENTUS 2X BLACK 8G OC グラフィックスボード VD8517の商品画像

MSI GeForce RTX 4060 Ti VENTUS 2X BLACK 8G OC グラフィックスボード VD8517

ASIN:B0C5B4XNWR

9
玄人志向 NVIDIA GeForce RTX3060 搭載 グラフィックボード GDDR6 12GB GALAKURO GAMINGシリーズ 【国内正規代理店品】 GG-RTX3060-E12GB/OC/DFの商品画像

玄人志向 NVIDIA GeForce RTX3060 搭載 グラフィックボード GDDR6 12GB GALAKURO GAMINGシリーズ 【国内正規代理店品】 GG-RTX3060-E12GB/OC/DF

ASIN:B08XMC4QJ1

10
ASUS Dual GeForce RTX 3050 OC Edition 6GB GDDR6 ビデオカード/DUAL-RTX3050-O6G 国内正規流通品の商品画像

ASUS Dual GeForce RTX 3050 OC Edition 6GB GDDR6 ビデオカード/DUAL-RTX3050-O6G 国内正規流通品

ASIN:B0CVQMD2DF

FLUX.1 [schnell]の特徴

FLUX.1 [schnell]は現在運用されているAI画像生成モデルのなかではMidjournery-V6.0に近い性能と言われています。下の表は🔗Artificial Analysisが公表している100,000人以上のユーザーより集めたスコアの品質を示す🔗ELOスコアを元に作られています。グラフを見るとBlack Forlest LabsのフラッグシップモデルのFlux.1 [pro]やFlux.1 [dev]はStability AIのフラッグシップモデルのStable Image Ultraを超えています。(表はSD3-Ultraと表示されているが、恐らくStable Image Ultraの事だと思います。)

ELO scoreのグラフ
Black Forlest Labsより画像引用
画像を開く

下記のスパイダーチャートは、プロンプトの再現性、サイズ/アスペクトの多様性、タイポグラフィ、アウトプットの多様性、そしてビジュアル・クオリティベンチマーク表です。今回紹介するFLUX.1 [schnell]のスコアもアウトプットの多様性が少し劣るが全体のスコアが高めなのが解ります。

ベンチマークのスパイダーチャート
Black Forlest Labsより画像引用
画像を開く
  • パラメーターベース:12 Billionのパラメータベース
  • テキストエンコーダー:Open AI CLIP ViT-L/14 & Google T5 XXL
  • 高速な1~4ステップで高品質ないAIイラストを生成(schnell版のみ)
  • SDXLと比べさらにプロンプトの理解力が向上

FLUX.1 [schnell]の推奨スペック

FLUX.1 [schnell]の推奨スペックはかなり高くモデルの容量が23.8GあるのですべてのデータをGPUメモリに読み込むには24GのGPUメモリが理想となってきます。(溢れた分は共有メモリも使うのですべてが収まらなくても使えます。)しかし、🔗FP8モデル🔗プルーンドモデルを使用したり、メモリを解放しながら使えば16GのGPUメモリでも動作可能です。

FLUX.1 [schnell]のインストール方法

FLUX.1 [schnell]を使用する前にComfyUIが古いと使えない標準ノードがありますので最新版にアップデートしましょう。(v0.0.4以上推奨)

インストール方法は🔗ComfyUIの公式ドキュメントを参考に執筆しています。

モデルのダウンロード

FLUX.1 [schnell]をインストールするにはベースモデル、テキストエンコーダーなどをインストールする必要があります。順を追ってみていきましょう。

ベーシックワークフローのダウンロード

公式のワークフローもしくは少し手を入れたDCAIのワークフローをダウンロードして読み込みます。

公式版は🔗ComfyUIの公式ドキュメントのFlux Schnellにあるボトルの画像を読み込む事で見ることができます。

DCAI版はPatreonで公開していますので参考にしてください。

FLUX.1 [schnell]のベーシックワークフローの解説

DCAIのベーシックワークフローを元に解説します。公式のワークフローに1点だけ新たにノードを追加しているだけなので、公式のワークフローにも対応しています。

Load Diffusion Model

モデルを読み込むノード。通常のLoadCheckpointModelでは読み込めないので注意しましょう。

  • unet_name:モデルを選択します。今回はflux-schelell.safetensorsを選択します。
  • weight_dtype:デフォルト(FP16)でも問題ありませんが、生成時間がかかるのでfp8_e4m3fn又はfp8_e5msを使用します。
ModelSamplingFlux

公式のワークフローには使われていないノードです。Stable Diffusion 3で使われているタイムステップスケジューリングシフトのFlux版になります。(ComfyUI v0.0.4よりさらに細かく設定できる様になりました。)

FLUX.1 [schnell]で使う場合はmax_shiftは0.0~2.0辺りで設定しましょう。また、base_shiftは反映されないので0または、デフォルトの0.5で使いましょう。場合によってはこのノードをバイパスした方が良い結果が得られる場合も在ります。

width / heightはシフト範囲を設定します。

DualCLIPLoader

テキストエンコーダーモデルを読み込みます。clip_nameにt5xxl_fp16clip_lを選択しましょう。(PCメモリ不足の場合はfp16の代わりにt5xxl_fp8_e4m3fnを使います。)

BasicGuider

FluxはSD3と同様SamplerCustomAdvancedに対応する為にBasicGuiderを使います。

SamplerCustomAdvanced

次世代モデル向けサンプラーノード。パラメーターが外部化したことによりより細かな調整が可能となっています。

FLUX.1 [schnell]の設定について

ComfyUIでの使用時に注意していただきたいのがModelSamplingFluxのbase_shiftとFluxGuidanceのguidanceの値です。これらの値はFLUX.1 [dev]では反映しますが、FLUX.1 [schnell]では反映されません。

深堀はしていませんが、FLUX.1 [schnell]はTimestep-distilledで、FLUX.1 [dev]はGuidance-distilledなので、この違いの影響だと思われます。

サンプリングの設定

  • sampler:euler
  • scheduler:simple
  • steps:4

解像度の設定

解像度は0.1~2.0メガピクセルまで対応しています。今回は1メガピクセルで19: 13の1216 x 832で生成しています。

FLUX.1 [schnell]ベーシックワークフローをカスタムしてみる

ベーシックワークフローを使ってみると生成イラストの品質が十分ではないと感じませんでしたか?ココからは品質を向上させるためにアップスケールを導入、そしてLow-GPUの為にメモリ開放の導入方法を紹介します。ワークフローはPatreonで公開しています。

必須カスタムノード

Webで調べていくとワークフロー例がいくつか見つかりますが、DCAIでは難しくならない様に必要最低限のカスタムノードでサンプルを作っています。今回はGPUメモリを解放しながら生成していくプロセスにしたいので下記のカスタムノードを使います。

  • ComfyUI Layer Style:LayerUtility:Purge VRAMノードを使います。LayerColor: ColorAdapter:アップスケール後の色味の誤差を補正します。
  • ntdviet/comfyui-ext:LatentGarbageCollectorノードを使います。

ComfyUIのカスタムノードのインストール方法が分からない方は下記の記事を参考にしてください。

カスタム手順

  • VAE Decodeの変更:まずはベーシックワークフローのSamplerCustomAdvanced後のVAE Decodeを「VAE Decode (Tiled)」に変更してメモリ不足対策をします。tile_sizeは768に上げていますが、メモリが少ない場合はデフォルトの512でも問題ありません。
  • Upscale Image (using Model)で拡大:Upscale Image (using Model)で拡大します。モデルはLoad Upscale Modelから読み込みます。
  • 拡大した画像を希望のサイズに縮小:今回は4倍に拡大するモデルをつかったので「Upscale Image By」30%に縮小します。
  • サイズ調整した画像を元にi2iを使い再生成:SamplerCustomAdvanced(2回目)はnoiseとsamplerは1回目の値を共有します。拡大プロンプトを使いたいので「BasicGuider」に新たなプロンプト(CONDITIONING)を繋ぎます。チュートリアルとして「CLIPTextEncodeFlux」を使います。clip_lとt5xxlに同じプロンプトを入力したいのでConvert Widget to Inputで外部化し、Primitiveノードで入力しています。guidanceはFLUX.1 [schnell]では使えないのでデフォルトのままで問題ありません。「BasicScheduler」はschedulerをsgm_uniformを使ってstepsは1回目と同じ4でdenoizeは0.20に設定します。
  • 生成されたデータをメモリから解放:「LatentGarbageCollector」と「LayerUtility: Purge VRAM」でデータを解放します。
  • カラーコレクション:拡大後の画像が色あせていたので「LayerColor: ColorAdapter」を使って補正をします。

以上のプロセスでアップスケールで品質が良くなったと思われますが、いかがでしょうか?

ワークフローの最終結果
最終生成イラスト
プロンプト: A girl knight standing at hill side. Under the blue sky. horizonin view, 50mm lens shot.The big word statues of \"DCAI\" is behind girl.beautiful girl, cute face, looking at viewer, medival, (latest japanese comic style:1.1),ultra detailed
画像を開く

FLUX.1 [schnell] FP8チェックポイント版について

FP8チェックポイント版はチェックポイントモデルとして使えるのでミドルスペックのGPUでも問題なく使えるでしょう。

FLUX.1 [schnell] FP8チェックポイント版の使い方

下記のリンクよりモデルComfyUI/models/checkpoints/にダウンロードします。ComfyUIのデフォルトワークフローにチェックポイントモデルを読み込みKSamplerを推奨設定のstapsが1~4でCFGの値を1.0を入れれば使うことができます。※エラーが出る場合はComfyUIを最新版にアップデートしましょう。

A1111 WebUI (v1.10.1)で試してみましたがエラーでて使えませんでした。また、試してはいませんが🔗StableSwarmUI🔗Forgeなら動作するみたいです。

まとめ

今回はFLUX.1 [schnell]の紹介記事でした。まだまだ登場して間もないのでこれからが楽しみなモデルだと思いました。また開発のBlack Forlest Labsも次はTEXT TO VIDEO関係のモデルを開発しているようなのでコチラも注目していきたいです。FLUX.1 [schnell]関係が充実してきた時に関係記事を書きたいを思っています。

PR
🔍PCfrom Amazon
1
【Amazon.co.jp限定】【Core i7 & RTX 4060搭載・薄型軽量スケルトン】MSIゲーミングノートPC Cyborg15 1.98kg Corei7 RTX4060/15.6インチ FHD/144Hz/16GB/512GB/Windows 11/Cyborg-15-A13VFK-1002JPの商品画像

【Amazon.co.jp限定】【Core i7 & RTX 4060搭載・薄型軽量スケルトン】MSIゲーミングノートPC Cyborg15 1.98kg Corei7 RTX4060/15.6インチ FHD/144Hz/16GB/512GB/Windows 11/Cyborg-15-A13VFK-1002JP

ASIN:B0CTKCP81B

2
ASUS ゲーミングデスクトップPC ROG Strix G13CHR GeForce RTX 4060 インテル Core i5 14400F メモリ32GB SSD1TB Windows11 動画編集 エクストリームダークグレー G13CHR-51440F158W/Aの商品画像

ASUS ゲーミングデスクトップPC ROG Strix G13CHR GeForce RTX 4060 インテル Core i5 14400F メモリ32GB SSD1TB Windows11 動画編集 エクストリームダークグレー G13CHR-51440F158W/A

ASIN:B08H21HKTX

3
ゲーミングPC デスクトップ パソコン ドスパラ Diginnos Core i7-12700 - RTX 3060 12G - 32GBメモリ - SSD2.0TB - Windows 11 - THIRDWAVE ゲームPC VR 生成AI (整備済み品)の商品画像

ゲーミングPC デスクトップ パソコン ドスパラ Diginnos Core i7-12700 - RTX 3060 12G - 32GBメモリ - SSD2.0TB - Windows 11 - THIRDWAVE ゲームPC VR 生成AI (整備済み品)

ASIN:B0DSS2DHFC

4
【最新第13世代 Core i9 HX & RTX 4090搭載・ウルトラハイエンド】MSIゲーミングノートPC RaiderGE78HX i9HX RTX4090/17型 WQXGA/240Hz/32GB/2TB/Windows11/Raider-GE78HX-13VI-2803JPの商品画像

【最新第13世代 Core i9 HX & RTX 4090搭載・ウルトラハイエンド】MSIゲーミングノートPC RaiderGE78HX i9HX RTX4090/17型 WQXGA/240Hz/32GB/2TB/Windows11/Raider-GE78HX-13VI-2803JP

ASIN:B0BVBM5T8F

5
ゲーミングPC デスクトップ パソコン ドスパラ GALLERIA XT Core i7-9700 - Geforce RTX 3060 12G - 32GBメモリ - SSD1.0TB - Windows 11 - THIRDWAVE ゲームPC VR 生成AI (整備済み品)の商品画像

ゲーミングPC デスクトップ パソコン ドスパラ GALLERIA XT Core i7-9700 - Geforce RTX 3060 12G - 32GBメモリ - SSD1.0TB - Windows 11 - THIRDWAVE ゲームPC VR 生成AI (整備済み品)

ASIN:B0DW2VQXHN

6
ガレリア ゲーミングノートPC GALLERIA RL7C-R45-5N RTX4050 Core i7-13620H メモリ16GB SSD500GB 15.6インチ Windows 11 Home 15813-3359の商品画像

ガレリア ゲーミングノートPC GALLERIA RL7C-R45-5N RTX4050 Core i7-13620H メモリ16GB SSD500GB 15.6インチ Windows 11 Home 15813-3359

ASIN:B0DMDYDJJB

7
UNFINITY ゲーミングPC UNF4060-V3EX(i5-12400F / 32GB / RTX4060 / NVMe M.2 SSD 1TB / Windows11 homeの商品画像

UNFINITY ゲーミングPC UNF4060-V3EX(i5-12400F / 32GB / RTX4060 / NVMe M.2 SSD 1TB / Windows11 home

ASIN:B0F14223F6

8
GEOMETRIC FUTURE ミドルタワーPCケース Model 5 NV Style Edition 強化ガラスパネル ピラーレス構造 RTX 40シリーズGPU / 420mmラジエーター搭載可能 E-ATX/ATX/Micro-ATX/ITX規格対応 日本正規代理店品の商品画像

GEOMETRIC FUTURE ミドルタワーPCケース Model 5 NV Style Edition 強化ガラスパネル ピラーレス構造 RTX 40シリーズGPU / 420mmラジエーター搭載可能 E-ATX/ATX/Micro-ATX/ITX規格対応 日本正規代理店品

ASIN:B0DFWGQD6N

9
ガレリア ゲーミングPC GALLERIA RM7R-R46 RTX 4060 Ryzen 7 5700X メモリ32GB SSD1TB Windows11 動画編集 2年保証 ガンメタリックの商品画像

ガレリア ゲーミングPC GALLERIA RM7R-R46 RTX 4060 Ryzen 7 5700X メモリ32GB SSD1TB Windows11 動画編集 2年保証 ガンメタリック

ASIN:B0DVGTSGPM

10
ASUS ゲーミングノートPC ROG Flow X13 13.4インチ GeForce RTX 4070 Ryzen 9 7940HS メモリ32GB SSD1TB リフレッシュレート165Hz キーボードバックライト Windows11 動画編集 オフブラック GV302XI-R9R4070の商品画像

ASUS ゲーミングノートPC ROG Flow X13 13.4インチ GeForce RTX 4070 Ryzen 9 7940HS メモリ32GB SSD1TB リフレッシュレート165Hz キーボードバックライト Windows11 動画編集 オフブラック GV302XI-R9R4070

ASIN:B0BXX9SVRM

Supported by