絵柄を変えずに暗がりを生成する２つの簡単な方法 [Stable Diffusion]

深夜の路地、電気を消した暗い部屋など、暗がりの画像を出したい場面は沢山ありますが、プロンプトだけで出そうとするとなかなか出なかったりします。

暗い絵を出しやすく、しかもモデルの絵柄を変えずに出力する簡単な方法を紹介します。

１．暗い絵が出ない！

夜のシーンを出力しようとした時にぶち当たる壁として、人物だけ妙に明るい現象がよく起こります。フラッシュ撮影を表現したのなら良いですが、全体的に暗くしたい場合はけっこう困ります。

また、そもそも夜を指定しているのに空が明るかったり、暗い部屋を指定しても一向に暗くならないなんてことも頻発します。

これらの現象はモデルにもよるのですが、多くのモデルが暗さを演出するのが苦手なようで、わざわざ「暗い画像が得意です」と謳ったモデルが登場したりもしています。

手っ取り早く暗くするのにLoRAは有効な手段です。しかしLoRAの弱点は、絵柄が引っ張られて変わってしまう場合があることです。

もちろん絵柄が変わりづらい優秀なLoRAだったりBlock Weightで影響を軽減してあげたりすればそれで良い場合もありますが、いちいち検証するのも面倒です。

そこで楽チンでモデルの絵柄を崩さずに暗がりを表現できる方法を2つ提案します。

２．img2imgを使う方法

一つ目は img2img を使うやり方です。これが一番楽な方法となります。

下準備としてペイントソフトで下画像のような、黒で塗りつぶした画像を作成しておきます。512x512サイズをバケツツールで塗りつぶすだけで良いので、PCに標準でついているペイントソフトで十分です。

img2imgタブを開き、参照画像に先ほど作ったベタ塗り黒画像をセットします。

Resize mode は「Crop and resize」にします。

あとは通常通りプロンプトを入力し、CFGなどを設定します。

ここで、Denoising Strength は0.9～1にします（この値については後ほど説明します）。

プロンプト「Girl Face Wedding dress」で出力したものが以下となります。

プロンプトに暗い系のキーワードをいれずとも暗くなりました。

img2imgは参照画像にノイズをかけ生成する仕組みなので、真っ黒の画像を与えてあげれば出力される画像も黒に寄るという現象を利用しています。

そして Denoising Strength は低ければ低いほど参照画像に近づくため、下げれば下げるほど真っ黒な画像が出力されます。1で暗くならない場合は、0.9辺りで試してみてください。驚くほど暗くなります。

ただ、この方法には欠点が一つあって、大きい画像が一発で作れません。

Denoising Strength を高く維持する関係上、アップスケールをかませるとグチャグチャの画像が出力されてしまいます。

ですので大きくする場合は一度出力した画像を再度img2imgでアップスケールをかける必要があります。その際は Denoising Strength を低くして元の画像を保つようにします。下画像は Denoising Strength 0.5 で同じプロンプト、Seedでアップスケールしたものになります。

３．Controlnet Shuffle を使う方法

img2imgで行う方法の欠点を解消したのが Controlnet Shuffle を使った方法になります。

こちらは ControlNet-v1-1 、ようはコントロールネットのバージョン1.1以上が必要となります。Controlnet の導入方法については解説していないので検索してください（時間があれば書きます）。

この Shuffle 機能はもともと、与えられた画像をランダムに再構成してからプロンプト等に従い出力するものですが、前述のimg2imgを使う方法の応用として利用します。

今回はimg2imgで行う必要はないので、txt2imgタブで操作を行います。

Controlnet を Enable にして使用できる状態にし、img2imgの場合と同様に真っ黒な画像をセットします。

Preprocessor は無し、Model は control_v11e_sd15_shuffle を選択します。

あとは通常通り、プロンプトを入力し出力します。

img2imgの場合と違うのは、そのままアップスケールが使えること。アップスケール側で Denoising Strength を設定できるためです。Hires.fix を併用したものが下画像となります。

欠点は、先ほどの img2img を使う方法よりは暗くなりにくい事です。

４．応用編

ここまで読んで気づいた方も多いと思いますが、上述の方法で光の具合をコントロールできるということは、色画像とプロンプトを使って陰影や色を以下のようにコントロールすることもできます。

以上、絵柄を変えずに暗がりを生成する方法の説明でした。

「AIが使えるスペックのPCなんてないよ！」という方は、クラウドでGPUを借りられるサービス Paperspace をおススメします。使い方は以下で解説しています。

Paperspace で Stable Diffusion WebUI を起動するまで（終了方法と2回目以降の起動も説明）

AIで画像を生成したいけど高スペックPCなんて無いよ！という人にオススメなのが Paperspace です。 Build & scale AI models | Paperspace Cloud Machine Learning, AI, and effortless GPU ...

mittimi.blogspot.com