DCAI
Loading Light/Dark Toggl

【ComfyUI】高性能最新モデルFlux.1 [schell]の詳しい使い方

⏱️7min read
📅 2024年8月8日
🔄 2024年11月15日
カテゴリー:📂 AIイラスト中級
【ComfyUI】高性能最新モデルFlux.1 [schell]の詳しい使い方のメイン画像
Supported by

今回は「Flux.1」を紹介したいと思います。🔗Black Forlest Labsが開発したFlux.1は、Stability AIが発表した🔗Stabule Diffusion 3やFal AIの🔗Auraflowの対抗馬として発表されました。モデルはクローズドウェイトでAPIのみで使用できる[pro]バージョンとオープンウェイトで非商用利用が可能(Black Forlest Labsへの問い合わせで切り替え可能)な[dev]バージョン、そして今回紹介するオープンウェイトのApache2.0ライセンスで使用可能な高速版の[schnell]バージョンと3つのモデルがあります。SDXLモデルの約2倍の12Billionパラメータベースで開発されていて、現在開発されているローカル環境で使用できる画像生成AIモデルの中でも最高峰のモデルと言えるでしょう。

PR
🔍Graphics Cardsfrom Amazon
1
玄人志向 NVIDIA GeForce RTX3060 搭載 グラフィックボード GDDR6 12GB GALAKURO GAMINGシリーズ 【国内正規代理店品】 GG-RTX3060-E12GB/OC/DFの商品画像

玄人志向 NVIDIA GeForce RTX3060 搭載 グラフィックボード GDDR6 12GB GALAKURO GAMINGシリーズ 【国内正規代理店品】 GG-RTX3060-E12GB/OC/DF

ASIN:B08XMC4QJ1

2
MSI GeForce RTX 3060 VENTUS 2X 12G OC グラフィックスボード VD7553の商品画像

MSI GeForce RTX 3060 VENTUS 2X 12G OC グラフィックスボード VD7553

ASIN:B08WPRMVWB

3
MSI GeForce RTX 3050 LP 6G OC PCIe4.0 ロープロファイルサイズ 補助電源不要 デュアルファン搭載 グラフィックスボード VD8790の商品画像

MSI GeForce RTX 3050 LP 6G OC PCIe4.0 ロープロファイルサイズ 補助電源不要 デュアルファン搭載 グラフィックスボード VD8790

ASIN:B0CTJZCJH1

4
GIGABYTE NVIDIA RTX3050 搭載 グラフィックボード GDDR6 6GB【国内正規代理店品】 GV-N3050OC-6GLの商品画像

GIGABYTE NVIDIA RTX3050 搭載 グラフィックボード GDDR6 6GB【国内正規代理店品】 GV-N3050OC-6GL

ASIN:B0CVSGRV4G

5
玄人志向 NVIDIA Geforce RTX5060Ti 搭載 グラフィックボード GDDR7 16GB【国内正規品】 GG-RTX5060Ti-E16GB/OC/DFの商品画像

玄人志向 NVIDIA Geforce RTX5060Ti 搭載 グラフィックボード GDDR7 16GB【国内正規品】 GG-RTX5060Ti-E16GB/OC/DF

ASIN:B0F5394R5S

6
玄人志向 NVIDIA GeForce RTX2060 搭載 グラフィックボード GDDR6 12GB GALAKURO GAMINGモデル GG-RTX2060-E12GB/DF ブラックの商品画像

玄人志向 NVIDIA GeForce RTX2060 搭載 グラフィックボード GDDR6 12GB GALAKURO GAMINGモデル GG-RTX2060-E12GB/DF ブラック

ASIN:B09Q66CLY2

7
GIGABYTE NVIDIA GeForce RTX4060搭載 グラフィックボード GDDR6 8GB【国内正規代理店品】 GV-N4060OC-8GLの商品画像

GIGABYTE NVIDIA GeForce RTX4060搭載 グラフィックボード GDDR6 8GB【国内正規代理店品】 GV-N4060OC-8GL

ASIN:B0CG69PH11

8
MSI GeForce RTX 4060 Ti VENTUS 2X BLACK 8G OC グラフィックスボード VD8517の商品画像

MSI GeForce RTX 4060 Ti VENTUS 2X BLACK 8G OC グラフィックスボード VD8517

ASIN:B0C5B4XNWR

9
ASUS GeForce RTX 3050 LP BRK OC Edition 6GB GDDR6 ビデオカード / RTX3050-O6G-LP-BRK 国内正規流通品の商品画像

ASUS GeForce RTX 3050 LP BRK OC Edition 6GB GDDR6 ビデオカード / RTX3050-O6G-LP-BRK 国内正規流通品

ASIN:B0CXPBVJD3

10
【国内正規品】NVIDIA RTX A400 4GB GDDR6 Ampere アーキテクチャ グラフィックスボード ENQRA400-4GER ELSA エルザの商品画像

【国内正規品】NVIDIA RTX A400 4GB GDDR6 Ampere アーキテクチャ グラフィックスボード ENQRA400-4GER ELSA エルザ

ASIN:B0DFXNDR4S

FLUX.1 [schnell]の特徴

FLUX.1 [schnell]は現在運用されているAI画像生成モデルのなかではMidjournery-V6.0に近い性能と言われています。下の表は🔗Artificial Analysisが公表している100,000人以上のユーザーより集めたスコアの品質を示す🔗ELOスコアを元に作られています。グラフを見るとBlack Forlest LabsのフラッグシップモデルのFlux.1 [pro]やFlux.1 [dev]はStability AIのフラッグシップモデルのStable Image Ultraを超えています。(表はSD3-Ultraと表示されているが、恐らくStable Image Ultraの事だと思います。)

ELO scoreのグラフ
Black Forlest Labsより画像引用

下記のスパイダーチャートは、プロンプトの再現性、サイズ/アスペクトの多様性、タイポグラフィ、アウトプットの多様性、そしてビジュアル・クオリティベンチマーク表です。今回紹介するFLUX.1 [schnell]のスコアもアウトプットの多様性が少し劣るが全体のスコアが高めなのが解ります。

ベンチマークのスパイダーチャート
Black Forlest Labsより画像引用
  • パラメーターベース:12 Billionのパラメータベース
  • テキストエンコーダー:Open AI CLIP ViT-L/14 & Google T5 XXL
  • 高速な1~4ステップで高品質ないAIイラストを生成(schnell版のみ)
  • SDXLと比べさらにプロンプトの理解力が向上

FLUX.1 [schnell]の推奨スペック

FLUX.1 [schnell]の推奨スペックはかなり高くモデルの容量が23.8GあるのですべてのデータをGPUメモリに読み込むには24GのGPUメモリが理想となってきます。(溢れた分は共有メモリも使うのですべてが収まらなくても使えます。)しかし、🔗FP8モデル🔗プルーンドモデルを使用したり、メモリを解放しながら使えば16GのGPUメモリでも動作可能です。

FLUX.1 [schnell]のインストール方法

FLUX.1 [schnell]を使用する前にComfyUIが古いと使えない標準ノードがありますので最新版にアップデートしましょう。(v0.0.4以上推奨)

インストール方法は🔗ComfyUIの公式ドキュメントを参考に執筆しています。

モデルのダウンロード

FLUX.1 [schnell]をインストールするにはベースモデル、テキストエンコーダーなどをインストールする必要があります。順を追ってみていきましょう。

ベーシックワークフローのダウンロード

公式のワークフローもしくは少し手を入れたDCAIのワークフローをダウンロードして読み込みます。

公式版は🔗ComfyUIの公式ドキュメントのFlux Schnellにあるボトルの画像を読み込む事で見ることができます。

DCAI版はPatreonで公開していますので参考にしてください。

FLUX.1 [schnell]のベーシックワークフローの解説

FLUX.1 [schnell]のベーシックワークフロー 

DCAIのベーシックワークフローを元に解説します。公式のワークフローに1点だけ新たにノードを追加しているだけなので、公式のワークフローにも対応しています。

Load Diffusion Model

モデルを読み込むノード。通常のLoadCheckpointModelでは読み込めないので注意しましょう。

  • unet_name:モデルを選択します。今回はflux-schelell.safetensorsを選択します。
  • weight_dtype:デフォルト(FP16)でも問題ありませんが、生成時間がかかるのでfp8_e4m3fn又はfp8_e5msを使用します。
ModelSamplingFlux

公式のワークフローには使われていないノードです。Stable Diffusion 3で使われているタイムステップスケジューリングシフトのFlux版になります。(ComfyUI v0.0.4よりさらに細かく設定できる様になりました。)

FLUX.1 [schnell]で使う場合はmax_shiftは0.0~2.0辺りで設定しましょう。また、base_shiftは反映されないので0または、デフォルトの0.5で使いましょう。場合によってはこのノードをバイパスした方が良い結果が得られる場合も在ります。

width / heightはシフト範囲を設定します。

DualCLIPLoader

テキストエンコーダーモデルを読み込みます。clip_nameにt5xxl_fp16clip_lを選択しましょう。(PCメモリ不足の場合はfp16の代わりにt5xxl_fp8_e4m3fnを使います。)

BasicGuider

FluxはSD3と同様SamplerCustomAdvancedに対応する為にBasicGuiderを使います。

SamplerCustomAdvanced

次世代モデル向けサンプラーノード。パラメーターが外部化したことによりより細かな調整が可能となっています。

FLUX.1 [schnell]の設定について

ComfyUIでの使用時に注意していただきたいのがModelSamplingFluxのbase_shiftとFluxGuidanceのguidanceの値です。これらの値はFLUX.1 [dev]では反映しますが、FLUX.1 [schnell]では反映されません。

深堀はしていませんが、FLUX.1 [schnell]はTimestep-distilledで、FLUX.1 [dev]はGuidance-distilledなので、この違いの影響だと思われます。

サンプリングの設定

  • sampler:euler
  • scheduler:simple
  • steps:4

解像度の設定

解像度は0.1~2.0メガピクセルまで対応しています。今回は1メガピクセルで19: 13の1216 x 832で生成しています。

FLUX.1 [schnell]ベーシックワークフローをカスタムしてみる

FLUX.1 [schnell]+アップスケールワークフロー 

ベーシックワークフローを使ってみると生成イラストの品質が十分ではないと感じませんでしたか?ココからは品質を向上させるためにアップスケールを導入、そしてLow-GPUの為にメモリ開放の導入方法を紹介します。ワークフローはPatreonで公開しています。

必須カスタムノード

Webで調べていくとワークフロー例がいくつか見つかりますが、DCAIでは難しくならない様に必要最低限のカスタムノードでサンプルを作っています。今回はGPUメモリを解放しながら生成していくプロセスにしたいので下記のカスタムノードを使います。

  • ComfyUI Layer Style:LayerUtility:Purge VRAMノードを使います。LayerColor: ColorAdapter:アップスケール後の色味の誤差を補正します。
  • ntdviet/comfyui-ext:LatentGarbageCollectorノードを使います。

ComfyUIのカスタムノードのインストール方法が分からない方は下記の記事を参考にしてください。

カスタム手順

  • VAE Decodeの変更:まずはベーシックワークフローのSamplerCustomAdvanced後のVAE Decodeを「VAE Decode (Tiled)」に変更してメモリ不足対策をします。tile_sizeは768に上げていますが、メモリが少ない場合はデフォルトの512でも問題ありません。
    カスタム手順1 
  • Upscale Image (using Model)で拡大:Upscale Image (using Model)で拡大します。モデルはLoad Upscale Modelから読み込みます。
    カスタム手順2 
  • 拡大した画像を希望のサイズに縮小:今回は4倍に拡大するモデルをつかったので「Upscale Image By」30%に縮小します。
    カスタム手順3 
  • サイズ調整した画像を元にi2iを使い再生成:SamplerCustomAdvanced(2回目)はnoiseとsamplerは1回目の値を共有します。拡大プロンプトを使いたいので「BasicGuider」に新たなプロンプト(CONDITIONING)を繋ぎます。チュートリアルとして「CLIPTextEncodeFlux」を使います。clip_lとt5xxlに同じプロンプトを入力したいのでConvert Widget to Inputで外部化し、Primitiveノードで入力しています。guidanceはFLUX.1 [schnell]では使えないのでデフォルトのままで問題ありません。「BasicScheduler」はschedulerをsgm_uniformを使ってstepsは1回目と同じ4でdenoizeは0.20に設定します。
    カスタム手順4 
  • 生成されたデータをメモリから解放:「LatentGarbageCollector」と「LayerUtility: Purge VRAM」でデータを解放します。
    カスタム手順5 
  • カラーコレクション:拡大後の画像が色あせていたので「LayerColor: ColorAdapter」を使って補正をします。
    カスタム手順6 

以上のプロセスでアップスケールで品質が良くなったと思われますが、いかがでしょうか?

ワークフローの最終結果
最終生成イラスト
プロンプト: A girl knight standing at hill side. Under the blue sky. horizonin view, 50mm lens shot.The big word statues of \"DCAI\" is behind girl.beautiful girl, cute face, looking at viewer, medival, (latest japanese comic style:1.1),ultra detailed

FLUX.1 [schnell] FP8チェックポイント版について

FLUX.1 [schnell] FP8のデフォルトワークフロー 

FP8チェックポイント版はチェックポイントモデルとして使えるのでミドルスペックのGPUでも問題なく使えるでしょう。

FLUX.1 [schnell] FP8チェックポイント版の使い方

下記のリンクよりモデルComfyUI/models/checkpoints/にダウンロードします。ComfyUIのデフォルトワークフローにチェックポイントモデルを読み込みKSamplerを推奨設定のstapsが1~4でCFGの値を1.0を入れれば使うことができます。※エラーが出る場合はComfyUIを最新版にアップデートしましょう。

A1111 WebUI (v1.10.1)で試してみましたがエラーでて使えませんでした。また、試してはいませんが🔗StableSwarmUI🔗Forgeなら動作するみたいです。

まとめ

今回はFLUX.1 [schnell]の紹介記事でした。まだまだ登場して間もないのでこれからが楽しみなモデルだと思いました。また開発のBlack Forlest Labsも次はTEXT TO VIDEO関係のモデルを開発しているようなのでコチラも注目していきたいです。FLUX.1 [schnell]関係が充実してきた時に関係記事を書きたいを思っています。

PR
🔍PCfrom Amazon
1
ASUS ゲーミングデスクトップPC ROG Strix G13CHR GeForce RTX 4060 インテル Core i5 14400F メモリ32GB SSD1TB Windows11 動画編集 エクストリームダークグレー G13CHR-51440F158W/Aの商品画像

ASUS ゲーミングデスクトップPC ROG Strix G13CHR GeForce RTX 4060 インテル Core i5 14400F メモリ32GB SSD1TB Windows11 動画編集 エクストリームダークグレー G13CHR-51440F158W/A

ASIN:B08H21HKTX

2
【Amazon.co.jp限定】 ASUS ゲーミングノートPC TUF Gaming A15 FA507NVR 15.6型 RTX 4060 Ryzen 7 7435HS メモリ16GB SSD1TB リフレッシュレート144Hz RGB イルミネートキーボード Windows 11 動画編集 Xbox Game Pass 3ヶ月利用権付き FA507NVR-R74R4060Tの商品画像

【Amazon.co.jp限定】 ASUS ゲーミングノートPC TUF Gaming A15 FA507NVR 15.6型 RTX 4060 Ryzen 7 7435HS メモリ16GB SSD1TB リフレッシュレート144Hz RGB イルミネートキーボード Windows 11 動画編集 Xbox Game Pass 3ヶ月利用権付き FA507NVR-R74R4060T

ASIN:B0CWVCYZC5

3
【Amazon.co.jp限定】【Core i7 & RTX 4060搭載・薄型軽量スケルトン】MSIゲーミングノートPC Cyborg15 1.98kg Corei7 RTX4060/15.6インチ FHD/144Hz/16GB/512GB/Windows 11/Cyborg-15-A13VFK-1002JPの商品画像

【Amazon.co.jp限定】【Core i7 & RTX 4060搭載・薄型軽量スケルトン】MSIゲーミングノートPC Cyborg15 1.98kg Corei7 RTX4060/15.6インチ FHD/144Hz/16GB/512GB/Windows 11/Cyborg-15-A13VFK-1002JP

ASIN:B0CTKCP81B

4
UNFINITY ゲーミングPC UNF4060-V3EX(i5-12400F / 32GB / RTX4060 / NVMe M.2 SSD 1TB / Windows11 homeの商品画像

UNFINITY ゲーミングPC UNF4060-V3EX(i5-12400F / 32GB / RTX4060 / NVMe M.2 SSD 1TB / Windows11 home

ASIN:B0F14223F6

5
ゲーミングPC デスクトップ パソコン ドスパラ Diginnos Core i7-12700 - RTX 3060 12G - 32GBメモリ - SSD2.0TB - Windows 11 - THIRDWAVE ゲームPC VR 生成AI (整備済み品)の商品画像

ゲーミングPC デスクトップ パソコン ドスパラ Diginnos Core i7-12700 - RTX 3060 12G - 32GBメモリ - SSD2.0TB - Windows 11 - THIRDWAVE ゲームPC VR 生成AI (整備済み品)

ASIN:B0DSS2DHFC

6
mouse 【RTX5090搭載 / 3年保証】 ゲーミングPC デスクトップPC G TUNE FZ (Core Ultra 9 プロセッサー 285K RTX 5090 128GB メモリ 2TB SSD 無線LAN 水冷CPUクーラー 動画編集 ゲーム) FZI9G90GB12SKW104AZの商品画像

mouse 【RTX5090搭載 / 3年保証】 ゲーミングPC デスクトップPC G TUNE FZ (Core Ultra 9 プロセッサー 285K RTX 5090 128GB メモリ 2TB SSD 無線LAN 水冷CPUクーラー 動画編集 ゲーム) FZI9G90GB12SKW104AZ

ASIN:B0F3XFJG7K

7
ASUS ゲーミングノートPC ROG Flow Z13 GZ302EA 13.4型 AMD Ryzen AI MAX+ 395 メモリ 64GB SSD 1TB リフレッシュレート180Hz デタッチャブル イルミネートキーボード Windows 11 Copilotキー搭載 AI PC 動画編集 GZ302EA-AI916C64Gの商品画像

ASUS ゲーミングノートPC ROG Flow Z13 GZ302EA 13.4型 AMD Ryzen AI MAX+ 395 メモリ 64GB SSD 1TB リフレッシュレート180Hz デタッチャブル イルミネートキーボード Windows 11 Copilotキー搭載 AI PC 動画編集 GZ302EA-AI916C64G

ASIN:B0DW8KZZ5T

8
ガレリア ゲーミングPC GALLERIA RM7C-R46 RTX 4060 Core i7-14700F メモリ32GB SSD1TB Windows11 動画編集 2年保証 ガンメタリック 16946-4594の商品画像

ガレリア ゲーミングPC GALLERIA RM7C-R46 RTX 4060 Core i7-14700F メモリ32GB SSD1TB Windows11 動画編集 2年保証 ガンメタリック 16946-4594

ASIN:B0DT9CBSQ3

9
ゲーミングPC デスクトップ パソコン ドスパラ GALLERIA XT Core i7-9700 - Geforce RTX 3060 12G - 32GBメモリ - SSD1.0TB - Windows 11 - THIRDWAVE ゲームPC VR 生成AI (整備済み品)の商品画像

ゲーミングPC デスクトップ パソコン ドスパラ GALLERIA XT Core i7-9700 - Geforce RTX 3060 12G - 32GBメモリ - SSD1.0TB - Windows 11 - THIRDWAVE ゲームPC VR 生成AI (整備済み品)

ASIN:B0DW2VQXHN

10
MSI GeForce RTX 4060 VENTUS 2X BLACK 8G OC グラフィックスボード VD8560の商品画像

MSI GeForce RTX 4060 VENTUS 2X BLACK 8G OC グラフィックスボード VD8560

ASIN:B0C8BPW1SP

Supported by