Stable Diffusion web UIの基本的な使い方 Image-to-image編

⏱️19min read

📅 2024年8月27日

🔄 2024年11月15日

カテゴリー：📂 生成AI初級

タグ：🏷️ AUTOMATIC1111 🏷️ image2image

Stable Diffusion web UIの基本的な使い方 Image-to-image編のメイン画像

📄目次

img2imgのインターフェイスの説明
img2imgのモードについて
Canvasの使い方
img2imgのResize modeについて
Denoising strengthについて
img2imgのSoft inpaintingについて
1. Soft inpaintingのパラメーターについて
2. Soft inpaintingの使用例
img2imgの色調補正について
インプット画像の透明部について
Sketchモードのキャンバスサイズについて
インペイントモードのOnly maskedとターゲットサイズについて
img2imgモードの使用例
Sketchモードの使用例
Inpaintモードの使用例
Inpaint Sketchモードの使用例
Inpaint uploadモードの使用例
Batchモードの使用例
まとめ

Supported by

今回はA1111 Stable Diffusion web UIの「Image to image (img2img)」の基本的な使い方を説明していきたいと思います。img2imgを使えば入力したイラストとプロンプトを使って新たなイラストを生成します。用途としてはラフがから生成AIを使って清書したり、生成されたイラストを入力して手や顔の修正や不要部分の取り除いたりできます。

🔍Desktopsfrom Amazon

【最新第13世代 Core i9 HX & RTX 4090搭載・ウルトラハイエンド】MSIゲーミングノートPC RaiderGE78HX i9HX RTX4090/17型 WQXGA/240Hz/32GB/2TB/Windows11/Raider-GE78HX-13VI-2803JP

￥368,800

ASIN:B0BVBM5T8F

Amazonで見る

【最新第13世代 Core i9 HX & RTX 4080搭載・ウルトラハイエンド】MSIゲーミングノートPC RaiderGE78HX i9HX RTX4080/17型 WQXGA/240Hz/32GB/1TB/Windows11/Raider-GE78HX-13VH-1103JP

￥579,800

ASIN:B0BVBCNBLN

Amazonで見る

【整備済み品】ゲーミングPC デスクトップパソコンドスパラ GALLERIA Core i7-8700 - Geforce GTX 1080 8G - 16GBメモリ - SSD 1.0TB - Windows 11 - THIRDWAVE ゲームPC VR

￥85,800

￥81,510

値引き￥4,290 (5%)

ASIN:B0DJ29797H

Amazonで見る

【第13世代Core i9 HX & RTX 4080搭載・ウルトラハイスペック】MSIゲーミングノートPC Vector16HX 32GB/1TB/Core i9-13980HX RTX4080/16型 WQXGA/240Hz/Windows 11/Vector-16-HX-A13VHG-1003JP

￥379,800

ASIN:B0CTKC6JYH

Amazonで見る

mouse 【 RTX4070 SUPER 搭載 / 3年保証】ゲーミングPC デスクトップ G-Tune DG (Ryzen 7 5700X RTX4070 SUPER 32GBメモリ 1TB SSD Windows 11 ゲーム動画編集) DGA7G7SB3SJW103AZ

￥249,800

￥212,330

値引き￥37,470 (15%)

ASIN:B0CYGPQJBX

Amazonで見る

MSI Trident X2 14NUF7-293JP ゲーミングデスクトップPC Windows 11 Pro/インテル Core™ i7-14700KF/NVIDIA GeForce RTX 4070 Ti / DDR5 32GB/SSD 1TB/メーカー2年保証

￥498,400

￥398,000

値引き￥100,400 (20%)

ASIN:B0CSSS66NH

Amazonで見る

【14インチ小型・軽量1.6kg】【第13世代Core i7 & RTX 4060搭載・スケルトンデザイン】MSIゲーミングノートPC Cyborg14 Corei7 RTX4060/14インチ WUXGA/144Hz/32GB/1TB/Windows 11/Cyborg-14-A13VF-6003JP

￥199,800

ASIN:B0CTS2PCX1

Amazonで見る

【Amazon.co.jp限定】 ASUS ゲーミングノートPC TUF Gaming A15 FA507NVR 15.6型 RTX 4060 Ryzen 7 7435HS メモリ16GB SSD1TB リフレッシュレート144Hz RGB イルミネートキーボード Windows 11 動画編集 Xbox Game Pass 3ヶ月利用権付き FA507NVR-R74R4060T

￥189,800

￥149,800

値引き￥40,000 (21%)

ASIN:B0CWVCYZC5

Amazonで見る

【NEWLEAGUE】ゲーミングパソコン Ryzen 7 5700X / RTX4070 / メモリ32GB / NVMe SSD 1TB / Windows11Pro / WPS Office ミドルタワーデスクトップパソコン NGR75X-RTX47650 (RTX4070 GDDR6X 12GB, G6ホワイト)

￥239,800

￥203,830

値引き￥35,970 (15%)

ASIN:B0D41HWK5D

Amazonで見る

mouse 【 RTX4070 SUPER 搭載 / 3年保証】ゲーミングPC デスクトップ G-Tune DG (Core i7 14700F RTX4070 SUPER 32GBメモリ 1TB SSD Windows 11 水冷CPUクーラーゲーム動画編集) DGI7G7SB3SJW103AZ

￥306,400

￥254,830

値引き￥51,570 (17%)

ASIN:B0CSSNGZ21

Amazonで見る

最終更新日：2024年11月28日 0:18 ※表示の価格情報は古い場合があります。

img2imgのインターフェイスの説明

各エリアについて

Stable Diffusion web
UIimage2image各エリアの説明画像

1. チェックポイント・プロンプトエリア： モデルの学習済みチェックポイントの選択や、プロンプトを入力するエリア。また、txt2imgなどのツールの切り替え、設定の変更のタブがあります。

2. 生成ボタンエリア： 「Generate」ボタンのほかにプロンプトの読み込み、入力画像のプロンプト解析やプリセットの管理ができます。

3. Previewエリア： 生成された画像のプレビューや生成画像をInpaintなどに送るショートカットボタン類があります。

4. ページ切り替えエリア： 生成ページやネガティブエンベディング・LoRAの呼び出しページの切り替えをします。

5. イメージインプットエリア： インプットイメージの読み込みエリア、img2imgのモードの切り替え等もここで切り替えます。

6. 生成パラメーターエリア： アップスケール・サンプリング・インペインティング方法や、生成画像の大きさ、ステップやCFGなどの生成に必要なパラメーターを設定するエリアです。

チェックポイント・プロンプトエリアについて

チェックポイント： モデルの学習済みチェックポイントを選択します。

ページ切り替えタブ： 「text2img」や設定・エクステンションの管理ページに切り替えます。

プロンプト： 生成したい画像の特徴を記述します。

ネガティブプロンプト： 生成したくない画像の特徴を記述します。

生成ボタンエリアについて

Generateボタン： 画像の生成を開始したり、一時停止・キャンセルをするボタン

リロードボタン： キャッシュに残っている前回の設定を呼び出します。

消去ボタン： プロンプト・ネガティブプロンプトを消去します。

スタイル適応ボタン： 適応中のスタイルをプロンプト・ネガティブプロンプトに書き出します。

プロンプト生成ボタン（CLIP）： ニューラルネットワークのCLIPを使ってインプット画像から自然言語スタイルでプロンプトを生成します。

プロンプト生成ボタン（DeepBooru）： ニューラルネットワークのDeepBooruを使ってインプット画像からDanbooruスタイルでプロンプトを生成します。

スタイル編集ボタン： プロンプト・ネガティブプロンプトをプリセットとして保存・呼び出しをします。

プレビューエリアについて説明

プレビュー： 生成された画像が表示されます。

出力フォルダボタン： 出力された画像が入っているフォルダーをファイルエクスプローラーで開きます。

画像の保存ボタン： プレビューで選択した画像を保存します。

画像のzip保存ボタン： プレビューに表示されている画像すべてをzip形式でを圧縮保存します。

img2imgへ送るボタン： プレビューで選択した画像をimg2imgにプロンプトや設定と共に送ります。

img2img inpaintへ送るボタン： プレビューで選択した画像をimg2imgのinpaintにプロンプトや設定と共に送ります。

Extrasへ送るボタン： プレビューで選択した画像をExtrasに送ります。

ページ切り替えエリアについて説明

生成ページ： img2imgのメインページ画像のインプット・モード切替等を操作します。

ネガティブエンベディングページ： インストールされているネガティブエンベディングを一覧より選択・適応します。

ハイパーネットワークページ： インストールされているハイパーネットワークを一覧より選択・適応します。

チェックポイントページ： インストールされているチェックポイントを一覧より選択・適応します。

LoRAページ： インストールされているLoRAを一覧より選択・適応します。

イメージインプットエリアについて説明

モード切替タブ： img2imgのモードを切り替えます。

キャンバス： インプット画像の選択、マスクの範囲選択など、モードによってはマウスでお絵かきができます。

インプット画像のコピー： インプットに読み込まれている画像を選択したモードにコピーします。

生成パラメーターエリアについて説明

Resize mode： 拡大縮小時のモードを切り替えます。

Soft inpainting： ソフトインペインティングを適応させます。

Sampling method： サンプラーの種類とスケジューラータイプを選択します。

Sampling steps： サンプリングステップの回数を設定します。

Refiner： Refinerは、主にSDXLのセカンドステージを組み込む際につかいます。

Size： 生成画像のサイズを設定します。

Batch count： 出力する生成画像の枚数を設定します。

Batch size： 一回の出力で同時に生成する画像の枚数を設定します。

CFG Scale： プロンプトにどれだけ忠実に画像を生成するかを設定します。

Denoising strength： インプット画像をどれだけ残すかの数値を設定します。

Seed： シード値（生成の種のようなもの）をランダムにしたり任意の数値を入力したりします。「🎲️」ボタンでランダム/「♻️」ボタンで前回のシードを呼び出し/「Extra」でさらに細かいSeed設定ができます。

Script： X/Y/Z plot等のスクリプトを呼び出します。

Inpeintパラメーターエリアの画像 — Inpeint/Inpeint sketchモード時の追加パラメーター

1. Mask blur： マスクにブラーをかけてエッジを滑らかにし、インプット画像との境を目立たなくします。

2. Mask transparency： Inpeint sketchモードのみの設定ですが、マスクの透明度を設定します。透明度を上げるとインプット画像が優先されます。

3. Mask mode： マスクモードを選択します。

Inpaint masked：マスクの選択範囲内をインペイントします。
Inpaint not masked：マスクの選択範囲以外をインペイントします。

4. Masked content： プロセスの開始前のマスク範囲の状態を設定します。

fill：インプット画像のマスク範囲内の平均色で塗りつぶします。
original：インプット画像をそのまま使います。
latent noise：マスク範囲内をSeedに基づいたノイズで塗りつぶします。対象物をマスクして背景を書き換えるときに使えます。CGFは1をオススメします。
latent nothing：マスク範囲内の平均色で塗りつぶします。対象物をマスクして背景を書き換えるときに使えます。CGFは0.8以上をオススメします。

5. Inpaint area： インペイントエリアを設定します。

Whole picture：マスク範囲外も含めて全体にインペイントを適応します。
Only masked：マスク範囲内のみにインペイントを適応します。

6.Only masked padding, pixels： インペイントエリアがOnly maskedの場合にマスク範囲を指定のピクセルで広げます。

Supported by

img2imgのモードについて

A1111 Stable Diffusion web UIのImage to imageには6つのモードがあります。この記事の後半で使用例と共に詳しく説明しているのでここでは簡単に説明します。

img2img：デフォルトのモード。インプット画像に近い構図でイラストを生成します。
Sketch：単色の背景色の画像をアップロードしてキャンバスにスケッチを描き、それを元にイラストを生成します。
Inpaint：インプットされたイラストにマスクを指定し、それを元にイラストを生成します。
Inpaint sketch：Inpaintモードと似ていますが、違いはInpaintはマスク指定しかできませんが、Inpaint sketchはスケッチ部分がマスクにもなり生成のコントロールができます。
Inpaint upload：インプット画像とマスク画像を読み込んで、それを元にイラストを生成します。Photoshop等のソフトウェアで作ったイラストをインペイントしたい時に使います。
Batch：複数のインプット画像を一度にimg2imgプロセスを処理できます。

Canvasの使い方

Canvasはインプット画像にスケッチを書いたり、マスクを指定する為の機能です。マウスを使ってブラシで描きます。

Alt + マウスホイール：キャンバスをズームイン・ズームアウトします。
Ctrl + マウスホイール：ブラシの大きさを設定します。
Rキー：キャンバスのズームをリセットします。
Sキー：キャンバスをフルスクリーンモードにします。RキーかSキーをもう一度押せばノーマルモードになります。
Fキー：Fキーを押しながらマウスのドラッグでキャンバスを移動できます。

Undoボタン：直前のブラシをキャンセルします。
Clearボタン：キャンバスのブラシをすべて削除します。
Removeボタン：インプット画像を削除します。
Use brushボタン：ブラシの大きさを設定します。
Select brush colorボタン：ブラシの色を設定します。（SketchとInpaint sketchのみ）

img2imgのResize modeについて

Resize modeで拡大縮小時の設定を変えることができます。

Just Resize：縦横比は維持されませんので指定先のサイズの縦横比が違う場合は、画像が伸び縮みします。
Crop & Resize：縦横比は維持されるのではみ出した部分は削除されます。
Resize & Fill：縦横比を維持したまま、指定先のサイズに収まるように拡大縮小します。余った部分はインプット画像の端の色で塗りつぶされます。
Just Resize (Latent Upscale)：Just Resizeと同じですが拡大縮小にLatent Upscaleを使います。

Denoising strengthについて

Denoising strengthはインプット画像にどれだけ近い画像を生成するかの値になります。txt2imgのHires. fixにあるDenoising strengthと同じパラメーターになります。上記のサンプルはblack chairからwhite chairにプロンプトを変更してimg2imgモードで生成しています。

0.0：変化なし
0.35：少しの変化
0.75：かなりの変化
1.0：大部分の変化

img2imgのSoft inpaintingについて

Soft inpaintingはInpaintモードを使用時にマスクと背景との境を違和感なくブレンドしてくれます。Musk blurを高めに設定することを推奨します。例 Mask blur: 20

Soft inpaintingのパラメーターについて

Schedule bias：インプット画像の維持をどのステップのタイミングから適応するかのバイアスになります。デフォルトは1です。1より大きいくすればサンプリングの初期段階から維持してくれます。しかし高すぎれば書き足し部分も少なくなります。逆に小さくすればサンプリングの後の方から維持するのでインプット画像との境が目立ってきます。
Preservation strength：インプット画像の維持の強度になります。高いほどインプット画像を維持してくれます。
Transition contrast boost：インプット画像とインペイントとの差を調節します。デフォルトは4になります。数字が高いほど境目がシャープになります。逆に低い場合はインペイント対象物が小さくなるが、境目がスムーズになります。
Mask influence：マスクの影響度になります。数字が多きい程マスクの影響度が上がります。0の場合はマスクを無視しします。※v1.10.1でテストしたところこの数値を変えても結果は変わりませんでした。
Difference threshold：インプット画像との差分のしきい値になります。デフォルトは0.5になります。大きくするほどインペイント部分が透明になっていきます。
Difference contrast：インプット画像とインペイント部分の差異を調節します。デフォルトは2になります。小さくすると透明になっていきます。

Soft inpaintingの使用例

サンプルではSoft inpaintingをCFGとサイズ以外はデフォルト値で適応しています。Soft inpaintingを使わない場合はマスクの境界が目立っていますが、Soft inpaintingを使った方は境界がほとんど判らなくなっています。

Soft inpaintingの使用例-インペイントマスク — インペイントマスク

Soft inpaintingの使用例-Soft inpainting無し — Soft inpainting無し / プロンプト: 1girl,(upper body:1.3), looking at viewer, masterpiece, ultra detailed,medival, village, path ネガティブプロンプト: worst quality, low quality, normal quality, lowres Steps: 20, Sampler: DPM++ 2M, Schedule type: Karras, CFG scale: 7, Seed: 4148301457, Size: 768x512, Model: darkSushiMixMix_225D, VAE: vae-ft-mse-840000-ema-pruned.safetensors, Denoising strength: 1, Clip skip: 2

Soft inpaintingの使用例-Soft inpaintingあり — Soft inpaintingあり

img2imgの色調補正について

img2imgを使っている時に生成イラストの色味が変わる場合があります。A1111 WebUIのカラーコレクション機能を使いましょう。

Settingsタブで設定ページを開きます。
左側の一覧よりStable Diffusionの中にあるimg2imgを選択します。
「Apply color correction to img2img results to match original colors.」と書かれているチェックボックスをオンにします。
Apply settingsボタンを押して適応させます。

以上で設定は完了ですが、頻繁に切り替える場合は以下の方法でQuicksettings listに追加しましょう。

一覧よりUser InterfaceにあるUser Interfaceを選択します。
Quicksettings listにimg2img_color_correctionと入力して一覧より選択します。
Apply settingsボタンを押して適応させます。
Reload UIボタンで再起動します。起動後UIの上部にチェックボックスが出ていたら設定完了です。

インプット画像の透明部について

インプット画像がPNGなどで透明部分がある場合デフォルトでは白として使われます。これは設定にて別の色に変えることができます。

Settingsタブで設定ページを開きます。
左側の一覧よりStable Diffusionの中にあるimg2imgを選択します。
「With img2img, fill transparent parts of the input image with this color.」と書かれている下にある色を希望する色に変更します。
Apply settingsボタンを押して適応させます。

Sketchモードのキャンバスサイズについて

Sketchモードのキャンバスはディスプレイのカスタムスケール（拡大/縮小）設定に影響されるのでご注意ください。Windowsでディスプレイのカスタムスケールを100％以外の設定にしている場合はキャンバスの大きさが影響されます。

たとえばディスプレイのカスタムスケールが150％の設定で、キャンバスに512 x 512ピクセルを読み込んだ場合、キャンバスの大きさは1.5倍の768 x 768になってしまいます。

Resize toで目的の解像度をしてする場合は問題ないのですが、Resize byでScale 1の等倍で設定した場合、カスタムスケール影響で768 x 768の解像度で生成されてしまいます。このような場合はディスプレイのカスタムスケール設定を100％に切り変えて作業をしましょう。

インペイントモードのOnly maskedとターゲットサイズについて

インペイントエリアの比較 — プロンプト: 1girl, cute face, detailed face, meadow ネガティブプロンプト: worst quality, low quality, normal quality, lowres Steps: 20, Sampler: DPM++ 2M, Schedule type: Karras, CFG scale: 7, Seed: 203628114, Size: 512x512, Model: darkSushiMixMix_225D, VAE: vae-ft-mse-840000-ema-pruned.safetensors, Clip skip: 2

これはDarkStooM氏の🔗Gistで書かれたいたことですが、Only maskedモードを使用時にマスク範囲内がターゲットサイズにUpscalerモデルを使って拡大されてからインペイントを適応しているのでOnly maskedモードの方がディテールが出るようです。上記の比較画像は512×512で生成し、目の部分のみにインペイントマスクを指定して等倍で生成しています。

Upscalerモデルはデフォルトでは選択できないのですが、下記の方法で選択できるようになります。

Settingsタブで設定ページを開きます。
左側の一覧よりUser InterfaceにあるUser Interfaceを選択します。
Quicksettings listにupscaler_for_img2imgと入力して一覧より選択します。
Apply settingsボタンを押して適応させます。
Reload UIボタンで再起動します。起動後UIの上部にUpscaler for img2imgが出ていたら設定完了です。

Supported by

img2imgモードの使用例

img2imgモードは、インプットされた画像を元に生成します。生成画像の構図はDenoiseの値にもよりますが元の画像と同じになります。

写真画像をインプットしてイラストを生成してみましょう。

インプット画像はUnsplashからお借りした🔗ロンドンの街角の写真になります。この写真をキャンバスにドラッグもしくはクリックして読み込みます。

今回使用するSD1.5モデル（darkSushiMixMix_225D）はDanbooruスタイルが好ましいので生成ボタンエリアのプロンプト生成ボタン（DeepBooru）をクリックしてプロンプトを解析しましょう。

解析が終わればプロンプトの先頭に下記のプロンプトを挿入してイラスト調にします。

(anime style:1.5),

続いてネガティブプロンプトに下記のプロンプトを貼り付けます。イラスト調にするために(realistic:1.5)を使っています。

(realistic:1.4),worst quality, low quality, normal quality, lowres

パラメーターは下記の部分を変更しましょう。

書き込みをしっかりとしたいのでSampling stepsを30に設定します。
インプット画像が1920 x 1281ピクセルなので今回使用するSD1.5モデルに対応する為にResize modeをCrop and ResizeにしてResize toを横768 x 縦512に設定します。
モデルのスタイルを生かしたいのでCFG Scaleを3に変更します。
インプット画像の構図を維持したいのでDenoising strengthを0.5に設定します。

最後に「Generate」ボタンで生成すれば完成です。

img2imgモードのの最終結果 / プロンプト: (anime style:1.5), architecture, building, city, cityscape, europe architecture, lantern, no humans, outdoors, road, scenery, street ネガティブプロンプト: (realistic:1.4),worst quality, low quality, normal quality, lowres Steps: 30, Sampler: DPM++ 2M, Schedule type: Karras, CFG scale: 3, Seed: 664072784, Size: 768x512, Model: darkSushiMixMix_225D, VAE: vae-ft-mse-840000-ema-pruned.safetensors, Denoising strength: 0.5, Clip skip: 2

Sketchモードの使用例

Sketchモードは、キャンバスに描かれたスケッチを元にイラストを生成します。今回は「草原に佇む巨木」を生成したいと思います。「Sketchモードのキャンバスについて」で述べた通りディスプレイのスケールには注意しましょう。

まずはスケッチモードに切り替えて希望するサイズ（今回は768 x 512）の単色画像をPhotoshopなどで作成して読み込みます。単色の色は背景色にした方が後々楽になるので今回は空の色として水色の画像をアップします。

キャンバスになんとなくで良いので草原・樹・背景の山を色を変えながらスケッチします。

スケッチが書けたらプロンプトに下記のプロンプトを貼り付けます。

big tree, plane field, mountains, blue sky, masterpiece, ultra detailed

続いてネガティブプロンプトに下記のプロンプトを貼り付けます。

worst quality, low quality, normal quality, lowres

パラメーターはResize toからResise byに切り替えてScaleを1に設定します。

残りの設定はデフォルトのまま使用します。構図などをスケッチに近づけたい場合はDenoising strengthを下げてください。下げすぎるとスケッチ画になりますのでバランスの良い値を見つけましょう。

最後に「Generate」ボタンで生成すれば完成です。

Sketchモードの最終結果 / Steps: 20, Sampler: DPM++ 2M, Schedule type: Karras, CFG scale: 7, Seed: 1640796599, Model: darkSushiMixMix_225D, VAE: vae-ft-mse-840000-ema-pruned.safetensors, Denoising strength: 0.75, Clip skip: 2

Inpaintモードの使用例

Inpaintモードは、img2imgの中で一番使われているモードで、txt2imgで生成したイラストの修正できます。

まずはtxt2imgで下記の設定でイラストを生成しましょう。

プロンプト: 1girl, upper body, waving, smile, looking at viewer, medival, village, masterpiece, ultra detailed
ネガティブ プロンプト: worst quality, low quality, normal quality, lowres
Steps: 20
Sampler: DPM++ 2M
Schedule type: Karras
CFG scale: 7
Seed: 3546912850
Size: 768x512
Model: darkSushiMixMix_225D
VAE: vae-ft-mse-840000-ema-pruned.safetensors
Clip skip: 2

生成が終わればプレビューエリアにある「img2img inpaintへ送る」ボタン（赤枠）を押してInpaintモードに切り替えます。

send to inpaintボタンの場所 — send to inpaintボタン

今回は指がおかしくなっているので修正します。一度に両手を修正しても良いのですが、大抵の場合1回の生成では満足な結果にはならないので片手づつ修正するのをオススメいします。

では、左手を修正します。小指がおかしくなっているので小指と修正後の正しい位置をマスクします。

プロンプトはtxt2imgのプロンプトが引き継がれているので、先頭に下記プロンプトを挿入します。

five fingers,

パラメーターはResize toからResise byに切り替えてScaleを1に設定します。他はデフォルトのまま使用します。

「Generate」ボタンを押して、満足のいく結果が出るまで生成を続けましょう。なかなか良い結果が出ない場合はCFGの値を変更してみましょう。

結果に満足したら反対の手も修正していきたいのですが、まずはtxt2imgの時と同じ「img2img inpaintへ送る」ボタンで修正後の画像をキャンバスに読み込みます。先ほどのマスクが残っているのでクリアーボタンで消します。

右手は薬指と小指の先がおかしいのと親指の隣に指のようなものがあるのでこれを修正します。

今回のパターンだと薬指と小指の先を別々に修正しても良いのですが、纏めて修正してみましょう。キャンバスの右手の薬指と小指の先をマスクします。

プロンプトとパラメーターは先ほどと同じで問題ありません。

結果に満足すれば再度「img2img inpaintへ送る」ボタンでキャンバスに送りましょう。

最後に親指の隣の指みたいなものを消していきましょう。

Inpaintで要素を取り除く場合はMasked contentをfillに切り替えましょう。また、CFGの高めた方が元のオブジェクトをフラットにする確率が上がります。逆に低いと近い形の別のものになる可能性が上がります。

以上のプロセスで手の修正が完了しました。使ってみてわかると思うのですが運要素がかなりあります。手のLoRAやネガティブエンベディング等を使えば良くなる場合もあるので、なかなか良い結果が得られないときは試してみるのも有りでしょう。

Inpaintモードの最終結果 / Steps: 20, Sampler: DPM++ 2M, Schedule type: Karras, CFG scale: 7, Seed: 2075150193, Size: 768x512, Model: darkSushiMixMix_225D, VAE: vae-ft-mse-840000-ema-pruned.safetensors, Denoising strength: 0.75, Clip skip: 2

Inpaint Sketchモードの使用例

Inpaint Sketchモードは、インペイントとスケッチを合わせたモードでインプット画像にスケッチで新たに要素を追加できます。「Sketchモードのキャンバスについて」で述べた通りディスプレイのスケールには注意しましょう。

ここではスケッチモードの最終結果にツリーハウスを追加してみましょう。

A1111 WebUIにはInpaint sketchに送る機能がないので生成した画像を直接ドラッグアンドドロップまたはファイルを指定して読み込みます。

インペイントスケッチの場合スケッチがそのままマスクにもなるので書き足す場合はまずはべた塗りでシルエットを描きその上に希望する絵のアウトラインを描いていくと上手くいくでしょう。今回はツリーハウスを書き足したいので下記の様なスケッチになりました。

スケッチが書けたらプロンプトに下記のプロンプトを貼り付けます。今回はInpaint areaをOnly maskedで生成するので書き足し部分のみを意識してツリーハウス以外の余計なプロンプトは使っていません。

small tree house, masterpiece, ultra detailed

続いてネガティブプロンプトに下記のプロンプトを貼り付けます。

worst quality, low quality, normal quality, lowres

パラメーターは下記の部分を変更しましょう。

背景と馴染ますためにMask transparencyを10 に設定します。
ディテールを出したいのでInpaint areaはOnly maskedを選択します。
Soft inpaintingのチェックボックスを✅にしてさらに背景になじませます。設定はデフォルトのままで問題ありません。
等倍で生成したいのでResize toからResize byに切り替えてScaleを1にします。
できるだけスケッチに近づけたかったのでDenoising strengthを0.5にします。

最後に「Generate」ボタンで生成すれば完成です。

Inpaint Sketchモードの最終結果 / Steps: 20, Sampler: DPM++ 2M, Schedule type: Karras, CFG scale: 7, Seed: 2765650859, Size: 768x512, Model: darkSushiMixMix_225D, VAE: vae-ft-mse-840000-ema-pruned.safetensors, Denoising strength: 0.5, Clip skip: 2, Soft inpainting enabled: True, Soft inpainting schedule bias: 1, Soft inpainting preservation strength: 0.5, Soft inpainting transition contrast boost: 4, Soft inpainting mask influence: 0, Soft inpainting difference threshold: 0.5, Soft inpainting difference contrast: 2, Mask blur: 4, Inpaint area: Only masked, Masked area padding: 32

Inpaint uploadモードの使用例

Inpaint uploadモードは、インプット画像とマスクをそれぞれアップロードして、インペイントできます。用途は色々ありますが、Photoshopでマスクを綺麗に作りたい場合や、3DCGソフトなどで書き出したマスク部分をインペイントする場合などに使います。

今回の例では3DCGソフトで書き出したイメージに背景を書き足してみます。

インプット画像とマスクは下記の画像を使って進めていきます。

上記の画像をそれぞれインプットとマスクに読み込ませます。

背景の為のプロンプトを下記の様に入力します。

blue sky, meadows, moutains, masterpiece, ultra detailed

ネガティブプロンプトに下記のプロンプトを貼り付けます。

worst quality, low quality, normal quality, lowres

パラメーターは下記の部分を変更しましょう。

マスク範囲を背景にしたいので反転させる為にMask modeをInpaint not maskedにします。
背景はインプット画像の色を元に生成したいのでMasked contentをoriginalに設定します。
インプット画像を違和感なく自然に合成させたいのでSampling methodをDDIM CFG++、Schedule typeをDDIMに変更します。※一覧にない場合はA1111 WebUIをv1.10以上にアップデートする必要があります。
背景の書き込みを良くする為にSampling stepsを30に設定します。
スケールは等倍で生成したいのでResize toからResize byに切り替えてScaleを1にします。
インプット画像の単調な背景の影響があるのでCFG Scaleを10に上げてプロンプトの影響力を上げます。

最後に「Generate」ボタンで生成すれば完成です。

Inpaint uploadモードの最終結果 / Steps: 30, Sampler: DDIM CFG++, Schedule type: DDIM, CFG scale: 10, Seed: 2855064070, Size: 768x512, Model: darkSushiMixMix_225D, VAE: vae-ft-mse-840000-ema-pruned.safetensors, Denoising strength: 0.75, Clip skip: 2, Mask mode: Inpaint not masked, Mask blur: 4

Batchモードの使用例

Batchモードは一度に複数の画像にimg2imgを適応させたい場合に使います。あまり有効的な使い方はありませんが、纏めてスタイルを適応したい場合などに使います。

今回は先の使用例で生成した3つの画像を水彩画風スケッチに変換してみましょう。ただしこの使い方は1つ1つ修正が出来ないのであまり効率的ではありません。

ここまでの例で作った下記の画像をインプットに読み込ませます。

プロンプトを下記の様に入力します。

(water color, sketch:1.5), flat color, masterpiece, ultra detailed

ネガティブプロンプトに下記のプロンプトを貼り付けます。

worst quality, low quality, normal quality, lowres

パラメーターは下記の部分を変更しましょう。

Sampling methodをimg2imgと相性の良いDDIM CFG++、Schedule typeをDDIMに変更します。※一覧にない場合はA1111 WebUIをv1.10以上にアップデートする必要があります。
スケールは等倍で生成したいのでResize toからResize byに切り替えてScaleを1にします。
プロンプトを優先させたいのでCFGを9に設定します。
できるだけインプット画像の要素を残したいのでDenoising strengthを0.3にします。

最後に「Generate」ボタンで生成すれば完成です。

Batchモードの最終結果1 / Steps: 20, Sampler: DDIM CFG++, Schedule type: DDIM, CFG scale: 9, Seed: 2855064070, Size: 768x512, Model: darkSushiMixMix_225D, VAE: vae-ft-mse-840000-ema-pruned.safetensors, Denoising strength: 0.3, Clip skip: 2

まとめ

A1111 Stable Diffusion Web UIの「Image to Image (img2img)」について、基本的な使い方をご紹介しましたが、いかがでしたか？このimg2img機能は、既存のアートワークをAIでブラッシュアップしたり、シンプルなスケッチからプロ並みのイラストを作り上げたり、また生成した画像を微調整するのに非常に役立ちます。クリエイティブな作業をより効率的に進めるための有用なツールなので、ぜひ試してみてください。

🔍Desktop Memoryfrom Amazon