【ComfyUI】高性能最新モデルFlux.1 [schell]の詳しい使い方

今回は「Flux.1」を紹介したいと思います。🔗Black Forlest Labsが開発したFlux.1は、Stability AIが発表した🔗Stabule Diffusion 3やFal AIの🔗Auraflowの対抗馬として発表されました。モデルはクローズドウェイトでAPIのみで使用できる[pro]バージョンとオープンウェイトで非商用利用が可能（Black Forlest Labsへの問い合わせで切り替え可能）な[dev]バージョン、そして今回紹介するオープンウェイトのApache2.0ライセンスで使用可能な高速版の[schnell]バージョンと3つのモデルがあります。SDXLモデルの約2倍の12Billionパラメータベースで開発されていて、現在開発されているローカル環境で使用できる画像生成AIモデルの中でも最高峰のモデルと言えるでしょう。

🔍Graphics Cardsfrom Amazon

1

玄人志向 NVIDIA GeForce RTX4060 搭載 グラフィックボード GDDR6 8GB 搭載モデル 【国内正規品】 GG-RTX4060-E8GB/SF

￥50,303

￥42,409

値引き￥7,894 (16%)

ASIN:B0CG69V3H6

Amazonで見る

2

MSI GeForce RTX 3060 VENTUS 2X 12G OC グラフィックスボード VD7553

￥45,424

￥40,980

値引き￥4,444 (10%)

ASIN:B08WPRMVWB

Amazonで見る

3

ASUSTek NVIDIA RTX3060 搭載 Axial-techファンと2スロット設計 DUAL-RTX3060-O12G-V2

￥46,627

ASIN:B097P6C9HJ

Amazonで見る

4

MSI GeForce RTX 4060 Ti VENTUS 2X BLACK 8G OC グラフィックスボード VD8517

￥70,505

￥63,736

値引き￥6,769 (10%)

ASIN:B0C5B4XNWR

Amazonで見る

5

MSI GeForce RTX 4070 SUPER 12G VENTUS 2X OC/A PCIe4.0 2スロット・2ファン搭載 省スペース グラフィックスカード VD8751

￥108,188

￥97,800

値引き￥10,388 (10%)

ASIN:B0CRZ67KXX

Amazonで見る

6

GIGABYTE NVIDIA RTX3050 搭載 グラフィックボード GDDR6 6GB【国内正規代理店品】 GV-N3050OC-6GL

￥33,839

￥27,800

値引き￥6,039 (18%)

ASIN:B0CVSGRV4G

Amazonで見る

7

GIGABYTE NVIDIA GeForce RTX4060 搭載 グラフィックボード GDDR6 8GB【国内正規代理店品】 GV-N4060D6-8GD

￥44,364

ASIN:B0CS2B592J

Amazonで見る

8

玄人志向 NVIDIA GeForce RTX3060 搭載 グラフィックボード GDDR6 12GB GALAKURO GAMINGシリーズ 【国内正規代理店品】 GG-RTX3060-E12GB/OC/DF

￥52,000

ASIN:B08XMC4QJ1

Amazonで見る

9

MSI GeForce RTX 4070 VENTUS 2X E 12G OC 2ファン コンパクトサイズ グラフィックスカード VD8664

￥93,919

ASIN:B0CHVP7QGC

Amazonで見る

10

ASUS GeForce RTX 3050 LP BRK OC Edition 6GB GDDR6 ビデオカード / RTX3050-O6G-LP-BRK 国内正規流通品

￥30,800

ASIN:B0CXPBVJD3

Amazonで見る

最終更新日：2024年11月28日 0:18 ※表示の価格情報は古い場合があります。

FLUX.1 [schnell]の特徴

FLUX.1 [schnell]は現在運用されているAI画像生成モデルのなかではMidjournery-V6.0に近い性能と言われています。下の表は🔗Artificial Analysisが公表している100,000人以上のユーザーより集めたスコアの品質を示す🔗ELOスコアを元に作られています。グラフを見るとBlack Forlest LabsのフラッグシップモデルのFlux.1 [pro]やFlux.1 [dev]はStability AIのフラッグシップモデルのStable Image Ultraを超えています。（表はSD3-Ultraと表示されているが、恐らくStable Image Ultraの事だと思います。）

画像を開く

下記のスパイダーチャートは、プロンプトの再現性、サイズ/アスペクトの多様性、タイポグラフィ、アウトプットの多様性、そしてビジュアル・クオリティベンチマーク表です。今回紹介するFLUX.1 [schnell]のスコアもアウトプットの多様性が少し劣るが全体のスコアが高めなのが解ります。

画像を開く

• パラメーターベース：12 Billionのパラメータベース
• テキストエンコーダー：Open AI CLIP ViT-L/14 ＆ Google T5 XXL
• 高速な1～4ステップで高品質ないAIイラストを生成（schnell版のみ）
• SDXLと比べさらにプロンプトの理解力が向上

FLUX.1 [schnell]の推奨スペック

FLUX.1 [schnell]の推奨スペックはかなり高くモデルの容量が23.8GあるのですべてのデータをGPUメモリに読み込むには24GのGPUメモリが理想となってきます。（溢れた分は共有メモリも使うのですべてが収まらなくても使えます。）しかし、🔗FP8モデルや🔗プルーンドモデルを使用したり、メモリを解放しながら使えば16GのGPUメモリでも動作可能です。

FLUX.1 [schnell]のインストール方法

FLUX.1 [schnell]を使用する前にComfyUIが古いと使えない標準ノードがありますので最新版にアップデートしましょう。(v0.0.4以上推奨)

インストール方法は🔗ComfyUIの公式ドキュメントを参考に執筆しています。

モデルのダウンロード

FLUX.1 [schnell]をインストールするにはベースモデル、テキストエンコーダーなどをインストールする必要があります。順を追ってみていきましょう。

• モデルのダウンロード：black-forest-labsのHuggingFaceよりベースモデルのflux1-schnell.safetensorsをComfyUI/models/unetディレクトリにダウンロードします。
  

  black-forest-labs/FLUX.1-schnell · Hugging Face

  https://huggingface.co/black-forest-labs/FLUX.1-schnell/blob/main/flux1-schnell.safetensors

  🔗外部リンク
• VAEのダウンロード：コチラも公式のHuggingFaceよりae.safetensorsをComfyUI/models/vaeディレクトリにダウンロードしましょう。
  

  black-forest-labs/FLUX.1-schnell · Hugging Face

  https://huggingface.co/black-forest-labs/FLUX.1-schnell/blob/main/ae.safetensors

  🔗外部リンク
• テキストエンコーダーのダウンロード：ComfyUIのHuggingFaceよりflux用のテキストエンコーダーのclip_l.safetensorsとt5xxl_fp16.safetensorsまたはt5xxl_fp8_e4m3fn.safetensorsComfyUI/models/にダウンロードします。PCメモリが32G以上の方はt5xx_fp16をつかいましょう。
  

  comfyanonymous/flux_text_encoders · Hugging Face

  https://huggingface.co/comfyanonymous/flux_text_encoders/tree/main

  🔗外部リンク

ベーシックワークフローのダウンロード

公式のワークフローもしくは少し手を入れたDCAIのワークフローをダウンロードして読み込みます。

公式版は🔗ComfyUIの公式ドキュメントのFlux Schnellにあるボトルの画像を読み込む事で見ることができます。

DCAI版はPatreonで公開していますので参考にしてください。

FLUX.1 [schnell] ComfyUI Basic Workflows | Digital Creative AI | PATREON

https://www.patreon.com/posts/flux-1-schnell-109698567

🔗外部リンク

FLUX.1 [schnell]のベーシックワークフローの解説

　画像を開く

DCAIのベーシックワークフローを元に解説します。公式のワークフローに1点だけ新たにノードを追加しているだけなので、公式のワークフローにも対応しています。

モデルを読み込むノード。通常のLoadCheckpointModelでは読み込めないので注意しましょう。

• unet_name：モデルを選択します。今回はflux-schelell.safetensorsを選択します。
• weight_dtype：デフォルト(FP16)でも問題ありませんが、生成時間がかかるのでfp8_e4m3fn又はfp8_e5msを使用します。

公式のワークフローには使われていないノードです。Stable Diffusion 3で使われているタイムステップスケジューリングシフトのFlux版になります。（ComfyUI v0.0.4よりさらに細かく設定できる様になりました。）

FLUX.1 [schnell]で使う場合はmax_shiftは0.0～2.0辺りで設定しましょう。また、base_shiftは反映されないので0または、デフォルトの0.5で使いましょう。場合によってはこのノードをバイパスした方が良い結果が得られる場合も在ります。

width / heightはシフト範囲を設定します。

テキストエンコーダーモデルを読み込みます。clip_nameにt5xxl_fp16とclip_lを選択しましょう。（PCメモリ不足の場合はfp16の代わりにt5xxl_fp8_e4m3fnを使います。）

FluxはSD3と同様SamplerCustomAdvancedに対応する為にBasicGuiderを使います。

次世代モデル向けサンプラーノード。パラメーターが外部化したことによりより細かな調整が可能となっています。

サンプリングの設定

• sampler：euler
• scheduler：simple
• steps：4

解像度の設定

解像度は0.1～2.0メガピクセルまで対応しています。今回は1メガピクセルで19: 13の1216 x 832で生成しています。

FLUX.1 [schnell]ベーシックワークフローをカスタムしてみる

　画像を開く

ベーシックワークフローを使ってみると生成イラストの品質が十分ではないと感じませんでしたか？ココからは品質を向上させるためにアップスケールを導入、そしてLow-GPUの為にメモリ開放の導入方法を紹介します。ワークフローはPatreonで公開しています。

FLUX.1 [schnell] ComfyUI Basic Workflows | Digital Creative AI | PATREON

https://www.patreon.com/posts/flux-1-schnell-109698567

🔗外部リンク

必須カスタムノード

Webで調べていくとワークフロー例がいくつか見つかりますが、DCAIでは難しくならない様に必要最低限のカスタムノードでサンプルを作っています。今回はGPUメモリを解放しながら生成していくプロセスにしたいので下記のカスタムノードを使います。

• ComfyUI Layer Style：LayerUtility：Purge VRAMノードを使います。LayerColor: ColorAdapter：アップスケール後の色味の誤差を補正します。
• ntdviet/comfyui-ext：LatentGarbageCollectorノードを使います。

ComfyUIのカスタムノードのインストール方法が分からない方は下記の記事を参考にしてください。

【AIイラスト】ComfyUI お勧めカスタムノードの紹介

🔗あわせて読みたい

カスタム手順

• VAE Decodeの変更：まずはベーシックワークフローのSamplerCustomAdvanced後のVAE Decodeを「VAE Decode (Tiled)」に変更してメモリ不足対策をします。tile_sizeは768に上げていますが、メモリが少ない場合はデフォルトの512でも問題ありません。

  　画像を開く

• Upscale Image (using Model)で拡大：Upscale Image (using Model)で拡大します。モデルはLoad Upscale Modelから読み込みます。

  　画像を開く

• 拡大した画像を希望のサイズに縮小：今回は4倍に拡大するモデルをつかったので「Upscale Image By」30％に縮小します。

  　画像を開く

• サイズ調整した画像を元にi2iを使い再生成：SamplerCustomAdvanced（2回目）はnoiseとsamplerは1回目の値を共有します。拡大プロンプトを使いたいので「BasicGuider」に新たなプロンプト（CONDITIONING）を繋ぎます。チュートリアルとして「CLIPTextEncodeFlux」を使います。clip_lとt5xxlに同じプロンプトを入力したいのでConvert Widget to Inputで外部化し、Primitiveノードで入力しています。guidanceはFLUX.1 [schnell]では使えないのでデフォルトのままで問題ありません。「BasicScheduler」はschedulerをsgm_uniformを使ってstepsは1回目と同じ4でdenoizeは0.20に設定します。

  　画像を開く

• 生成されたデータをメモリから解放：「LatentGarbageCollector」と「LayerUtility: Purge VRAM」でデータを解放します。

  　画像を開く

• カラーコレクション：拡大後の画像が色あせていたので「LayerColor: ColorAdapter」を使って補正をします。

  　画像を開く

以上のプロセスでアップスケールで品質が良くなったと思われますが、いかがでしょうか？

画像を開く

FLUX.1 [schnell] FP8チェックポイント版について

　画像を開く

FP8チェックポイント版はチェックポイントモデルとして使えるのでミドルスペックのGPUでも問題なく使えるでしょう。

FLUX.1 [schnell] FP8チェックポイント版の使い方

下記のリンクよりモデルComfyUI/models/checkpoints/にダウンロードします。ComfyUIのデフォルトワークフローにチェックポイントモデルを読み込みKSamplerを推奨設定のstapsが1～4でCFGの値を1.0を入れれば使うことができます。※エラーが出る場合はComfyUIを最新版にアップデートしましょう。

Comfy-Org/flux1-schnell · Hugging Face

https://huggingface.co/Comfy-Org/flux1-schnell/blob/main/flux1-schnell-fp8.safetensors

🔗外部リンク

A1111 WebUI (v1.10.1)で試してみましたがエラーでて使えませんでした。また、試してはいませんが🔗StableSwarmUIや🔗Forgeなら動作するみたいです。

まとめ

今回はFLUX.1 [schnell]の紹介記事でした。まだまだ登場して間もないのでこれからが楽しみなモデルだと思いました。また開発のBlack Forlest Labsも次はTEXT TO VIDEO関係のモデルを開発しているようなのでコチラも注目していきたいです。FLUX.1 [schnell]関係が充実してきた時に関係記事を書きたいを思っています。

🔍Desktopsfrom Amazon

1

【最新第13世代 Core i9 HX & RTX 4090搭載・ウルトラハイエンド】MSIゲーミングノートPC RaiderGE78HX i9HX RTX4090/17型 WQXGA/240Hz/32GB/2TB/Windows11/Raider-GE78HX-13VI-2803JP

￥368,800

ASIN:B0BVBM5T8F

Amazonで見る

2

【最新第13世代 Core i9 HX & RTX 4080搭載・ウルトラハイエンド】MSIゲーミングノートPC RaiderGE78HX i9HX RTX4080/17型 WQXGA/240Hz/32GB/1TB/Windows11/Raider-GE78HX-13VH-1103JP

￥579,800

ASIN:B0BVBCNBLN

Amazonで見る

3

【整備済み品】ゲーミングPC デスクトップ パソコン ドスパラ GALLERIA Core i7-8700 - Geforce GTX 1080 8G - 16GBメモリ - SSD 1.0TB - Windows 11 - THIRDWAVE ゲームPC VR

￥85,800

￥81,510

値引き￥4,290 (5%)

ASIN:B0DJ29797H

Amazonで見る

4

【第13世代Core i9 HX & RTX 4080搭載・ウルトラハイスペック】MSIゲーミングノートPC Vector16HX 32GB/1TB/Core i9-13980HX RTX4080/16型 WQXGA/240Hz/Windows 11/Vector-16-HX-A13VHG-1003JP

￥379,800

ASIN:B0CTKC6JYH

Amazonで見る

5

mouse 【 RTX4070 SUPER 搭載 / 3年保証】 ゲーミングPC デスクトップ G-Tune DG (Ryzen 7 5700X RTX4070 SUPER 32GBメモリ 1TB SSD Windows 11 ゲーム 動画編集) DGA7G7SB3SJW103AZ

￥249,800

￥212,330

値引き￥37,470 (15%)

ASIN:B0CYGPQJBX

Amazonで見る

6

MSI Trident X2 14NUF7-293JP ゲーミングデスクトップPC Windows 11 Pro/インテル Core™ i7-14700KF/NVIDIA GeForce RTX 4070 Ti / DDR5 32GB/SSD 1TB/メーカー2年保証

￥498,400

￥398,000

値引き￥100,400 (20%)

ASIN:B0CSSS66NH

Amazonで見る

7

【14インチ小型・軽量1.6kg】【第13世代Core i7 & RTX 4060搭載・スケルトンデザイン】MSIゲーミングノートPC Cyborg14 Corei7 RTX4060/14インチ WUXGA/144Hz/32GB/1TB/Windows 11/Cyborg-14-A13VF-6003JP

￥199,800

ASIN:B0CTS2PCX1

Amazonで見る

8

【Amazon.co.jp限定】 ASUS ゲーミングノートPC TUF Gaming A15 FA507NVR 15.6型 RTX 4060 Ryzen 7 7435HS メモリ16GB SSD1TB リフレッシュレート144Hz RGB イルミネートキーボード Windows 11 動画編集 Xbox Game Pass 3ヶ月利用権付き FA507NVR-R74R4060T

￥189,800

￥149,800

値引き￥40,000 (21%)

ASIN:B0CWVCYZC5

Amazonで見る

9

【NEWLEAGUE】ゲーミングパソコン Ryzen 7 5700X / RTX4070 / メモリ32GB / NVMe SSD 1TB / Windows11Pro / WPS Office ミドルタワー デスクトップパソコン NGR75X-RTX47650 (RTX4070 GDDR6X 12GB, G6ホワイト)

￥239,800

￥203,830

値引き￥35,970 (15%)

ASIN:B0D41HWK5D

Amazonで見る

10

mouse 【 RTX4070 SUPER 搭載 / 3年保証】 ゲーミングPC デスクトップ G-Tune DG (Core i7 14700F RTX4070 SUPER 32GBメモリ 1TB SSD Windows 11 水冷CPUクーラー ゲーム 動画編集) DGI7G7SB3SJW103AZ

￥306,400

￥254,830

値引き￥51,570 (17%)

ASIN:B0CSSNGZ21

Amazonで見る

最終更新日：2024年11月28日 0:18 ※表示の価格情報は古い場合があります。