瞳をAIにリペイントさせる作例

今回は瞳をAIにリペイントさせるとチラツキが逆にキラキラして美しいのではないかというアイデア

AIを通した結果

先にどんな映像が出来上がったかを紹介する。

肌の色味がとても柔らかく、瞳もうまく描画できており個人的には満足。

なかなかおもしろい結果だったので考察を含めまとめていく。

ベースとなった作例

私が以前ツイッター用に作った動画をi2iすることで上の動画を生成している。

こちらはジオメトリノードでまつ毛を作った作例。動きもその内部で生成している。

考察

この結果から分かることをまとめる。

目はアップにするとすごく良い

以前にも書いたが、AIがi2iする表情については生成する画像サイズが小さくなればなるほど一気に崩れやすくなる。

もう少し詳しく言うと、顔のサイズが生成サイズに対して小さくなるほどひどくなる。

つまりAIの表情は引きのカメラが苦手だ。

この実験から分かることは、逆にここまでアップにしてしまえば苦手だった目が想像以上によくなる。

元CGでは化粧をしていないのにアイシャドウが乗ったのをはじめ肌の温かみが現れている。

また、柔らかいまつ毛の印象も良くなっている。

AI動画は顔のアップを積極的に作っていくと良さそうだ。

思ったより瞳のキラキラは抑えられた

元CGでは瞳の虹彩の部分もアニメーションが入っているのだが、実は想像していたよりキラキラが控えめになった。

これはhed推定がもともとの絵を維持したがる点や、元の目に輝きのような成分が少ないからではないかと予想。

輝かせたい(強調したい)場所はそれなりの元作品の作り込みが必要だと判断。

カメラの揺れが邪魔

CGの場合、CG臭さを少し軽減するためにカメラにあえて手ブレを入れることが時々あるが、今回の元映像にそれが適用されている。

しかしながら、そもそもAIアニメ自体がフレーム間の整合性が少なく線が揺れるのでこの効果は不要そうだ。

まつ毛の揺れも不要

元動画のまつ毛の揺れに関しては単なるジオメトリノードの可能性テストで追加したものだが、こちらもAIにする場合は上記理由で不要そうだ。

hedの推定のすごさ

これは過去記事でも触れているが、CGのような元絵がある場合はControlNetのhed推定にすることでその構造をかなり忠実に再現してくれる。

恐らくhed以外で生成した場合はもっとフレーム間の整合性が失われるのではないかと思う。

最後に

結局のところ自己満足評価でしかないのだが、顔のアップは元映像のコストを下げながらも良さげなアウトプットになる可能性を秘めている。

これはもう少し作り込んで作品にしてみても良いかもしれない。