AIで描いた漫画CMを「生きて見える」ようにした記録。スマホ画面のずれは19.5pxから1.1pxへ、動く人と犬はのべ13から25へ

AIで描いた絵を並べて、声とBGMを付けた「ショート漫画のCM」を作っています。自社サービスのスタンプ119（写真からLINEスタンプを作るサービス）の宣伝用です。

ただ、出来上がりを通しで見ると、どこか紙芝居っぽい。原因を探したら、大きく2つありました。1つは、登場人物が持っているスマホの画面に、あとから重ねた画面がきちんと収まっていないこと。もう1つは、話している1人しか動いていないこと。

今回はこの2つを、見た目の印象ではなく数字で比べてから直しました。見比べるための動画も作ったので、そのまま載せます。

CMの1カット目は、女性が犬を抱いて、出来上がったスタンプをスマホで見せる場面です。絵の中のスマホもAIが描いたもの。その画面の上に水色の画面とスタンプを重ねて、スタンプがポンと飛び出す動きを付けています。

問題は重ね方でした。これまでは、画面の四隅の位置をAIに答えてもらい、その四角形を塗っていました。AIの答えは少しずれます。右の縁では、水色がスマホの黒い縁（ベゼル）の上に19.5px乗っていました。1080pxの動画でこの量は、見れば気づきます。

そこで作り方を4つ用意し、絵・声・カメラの動きはそろえたまま、画面の扱いだけを変えて比べました。どれも5.84秒の同じカットです。

完成動画の0.3秒目（スタンプが飛び出す前）を切り出して、左上の角・右上の角・右の縁を4倍にしました。黒い縁の内側に、水色がぴったり入っているかを見てください。

175コマすべてで、描かれた画面の縁と、重ねた画面の縁の差を測りました。C（Remotion）の縁のずれは、どの場所もA′と同じでした。単位は1080×1080の動画の画素です。「は⁠み出し」は水色が黒い縁に乗った幅、「すき間」は元の画面が見えている幅です。

いちばん大きいずれの場所は、Aが上のすき間、A′とCが右上の角です。Bは画面を塗らないので、縁のずれは測れません（表では「—」）。

意外だったのは、C（Remotion）で縁がきれいに合ったのが、道具のおかげではなかったことです。CでもA′と同じ「絵の画素から縁を測り直す」処理を使っていました。ずれを直したのは測り方のほうで、道具を変えただけでは縁は合いません。

動きのなめらかさはCがいちばんでした。正直、かなり迷いました。ただ、作る時間が約2.7倍になり、サーバー側の準備も要ります。見た目の差が小さいうちはA′で十分と判断して、A′を採用しました。

B（スタンプだけ）は、は⁠み出しが絶対に起きない安全な方法です。でも今回の絵のように、画面の中に写真や文字が描かれていると重なって読みにくい。画面が無地の絵のときだけ使える、という結論です。

2つ目の問題。これまでは、話している1人だけが口パクしていました。聞いている人や犬は、まばたきもせずに止まったまま。1枚の絵に2人いると、片方が人形のように見えるんですよね。

そこで、映っている全員に次の動きを付けました。

いちばん気を付けたのは、聞いている人の口です。相手の声に合わせて聞き手の口まで動くと、腹話術のようになって一気に不自然になります。聞き手の口は、声には合わせません。

横に並んで見えるときは左が直す前、右が直した後。縦に並んで見えるときは上が直す前、下が直した後です。呼吸やうな⁠ずきは小さな動きなので、音を出して、動画を大きくして見てください。

横顔のときも、横顔用の口を描き直して口パクさせています。台詞の気持ちに合わせて、顔の横に漫画の記号も出ます。見る場所は、それぞれの説明に書きました。

動かすために、1人ずつ顔の部分だけを描き替えています。目を閉じた顔、口を閉じた顔、半分開いた顔。描き替えた絵は検査にかけて、元の顔からずれたものは使いません。

スマホの画面を録画したカットと、最後の案内の画面は、前と同じです。

全員を動かすついでに、これまでの口パクが正しい人に付いていたかも確かめました。CM6本・絵コンテ86カットを1カットずつ見て、別の人の口を動かしていたカットは0件でした。横顔の口パクは4カット中4カットで成功。一方、口の描き替えが検査に落ちていた6カットを描き直してみたら、成功は1カットだけ。残りの5カットは口を動かさず、まばたきと呼吸だけを入れています。

よくなった分、1本を作る時間は延びました。ペット編は125秒から225秒、家族編は121秒から277秒（初回の準備42秒を含む）です。

まだ分からないことも残っています。

AIで作る映像は、1枚1枚の絵はきれいでも、つなげると「止まっている感じ」が出やすい。そこを埋めたのは、派手な演出より、まばたきや呼吸のような小さな動きでした。

AIで作る漫画動画やショート動画の相談は、お問い合わせからどうぞ。ほかの開発の記録はブログに、作ったものは実績一覧にまとめています。