デフォルトのControlNetは1種類の制御(CannyやOpenPoseなど)ですが,この制御を組み合わせることが可能です.
この複数のControlNetによる制御が”Multi ControlNet“という機能です.
ControlNetの導入
ControlNetの導入はすでに別記事に記載しています.下記記事をご覧ください.
Multi ControlNetの設定
Multi ControlNetの設定は非常に簡単です.
ControlNetの設定を変更するため,[Setting] > [ControlNet]で設定画面を開きます.
Multi ControlNet: Max models amount (requires restart)の数値を変更します.
Multi ControlNet: Max models amount (requires restart)の数値がデフォルトでは”1”ですが,増やすことでMulti ControlNetが使用可能になります.(今回は”2″としています)
ControlNetのタブを開くとControl Modelが増えていることが確認できます.
Multi ControlNetの使用方法
使用方法の例として,下記のような女の子のイラストと風景画を合成したようなイラストを生成します.
ControlNet Model – 0に女の子のイラストをインプットし,Cannyの設定を与えます.
次に背景の構図として利用する画像をControlNet Model – 1にインプットします.
ここではhedとしていますが,画像によってはSegなどでも良いでしょう.
あとは通常通りプロンプトを入力すると画像が生成されます.
問題点とコツ
Multi ControlNetの問題点(難しい点)としては,2つの画像の制御が想定した通りにはならず,透明になったり,溶けたようなイラストが生成されてしまうことがあります.
下記のイラストは先に説明した画像と同様の手順で生成しましたが,パラメータの調整を行っていないものです.足や手が背景に溶けていることが確認できると思います.
このような人物と背景が溶け合う現象は,WeightやGuidance StartやGuidance Endを調整することで防ぐことが出来ます.
個人的な感覚としては,しっかり線を保ちたい人物に関してはWeight=1
, Guidance Start=0
,Guidance End=1
として,背景はWeight=0.5
, Guidance Start=0.25
,Guidance End=0.7
を目安としてそこから調整しています.
元画像や線画に対してどの程度忠実さを求めるかというのがこれらのパラメータを決める焦点となります.
逆にこの特性を利用して,風景との合成画を作成したりもできます.
背景透過
人物に関しては背景を削除しておいた方が良いです.背景透過に関しては下記記事にまとめてあります.
まとめ
実際に触ってみたところ,Multi ControlNetは制御が結構難しい印象です.
ざっくりとしたイメージの場合はControlNetが向いており,予め背景やポーズに関して細かいイメージがある場合はPhotoshopで合成したほうが楽かもしれません.