AIショートドラマの連続性を記録する：1人の人物、3つのカット

変化が見える小さな物語から始める

Google が9月24日に公開した研究記事は、長い動画の一貫性を保つためのマルチエージェント制御と視覚的な記憶を紹介しています。以下は独自に設計した3カットの演習であり、その研究システムの再現ではありません。

物語はシンプルです。リンがお茶を入れ、廊下で一口飲み、キッチンに戻ってカップを置きます。全体を約20秒として計画し、登場人物は1人、重要な小道具は1つ、場所は2か所に絞ります。手元のツールを使って構いません。特定のモデルや論文のシステムを導入する必要はありません。

狙いは、変わってはいけない事実を保ちながら、1つの変化に分かりやすい原因を与えることです。満杯のお茶が、一口飲んだ後に半分になります。一貫性とは、あらゆる細部を固定することではなく、変化を観客が理解できることです。

生成する前に、連続性の状態表を作る

自分の言葉で短い設定表を用意します。リンは無地の青いエプロンを着け、左手首に黄色いリストバンドをしています。カップは赤く、持ち手の横に小さな白い点があります。キッチンでは、ケトルはカウンターの右側、窓は左側に固定します。

参考画像は、自分で描いたものや、利用する権利のある画像を使ってください。画像は制作上の参考であり、ツールがすべての細部を正確に再現する保証ではありません。

カップがケトルの左側から右側へ移るのは、意図した変化です。これは誤りに含めません。説明なくカップが緑色になったり、窓の位置が変わったりすれば、連続性の問題です。

各カットの開始状態と終了状態を指定する

各カットには、そこで完了すべき動作だけを書きます。関連する固定設定、開始状態、終了状態を添えます。たとえばカット2なら、次のように書けます。

「リンが廊下に入る。設定済みの青いエプロンを着け、左手首に黄色いリストバンドがある。設定済みの赤いカップを右手に持ち、お茶は満杯。リンが一口飲む動作をはっきり見せる。最後は同じカップのお茶が半分になり、右手に持ったまま。」

これは文章の組み立て方の提案であり、どのモデルでも共通して使える命令ではありません。ツールが対応する参考画像、クリップの長さ、制御方法に合わせて調整します。表現しにくい細部があれば、指示を増やし続ける前に場面を簡単にしてください。

つなぎ目を確認してから、物語全体を見る

まずカット1の最後のフレームと、カット2の最初のフレームを比較します。次にカット2と3のつなぎ目も確認します。顔、衣装、バンド、カップの特徴、お茶の量をチェックしてください。その後、止めずに全体を再生します。静止画のつながりが正しくても、必要な動作が抜けている場合があります。

問題の記録は、カット番号、観察した不一致、次に試す最小限の修正に絞ります。バンドが反対の腕に移ったなら、そのカットの参考画像や構図を調整します。一口飲む動作がなければ、動作の指示を直します。修正が共有する状態を変えた場合は前後のカットも確認し、そうでなければ確認済みのカットをできるだけ残します。

20分で行う小さな演習

状態表と参考資料に5分、生成またはラフな編集に10分、確認に5分を使います。試行ごとに、実際にかかった時間や費用を記録してください。

各条件を「見えていて正しい」「誤っている」「判断できない」のいずれかに分類します。バンドが隠れているだけなら、一致を確認できたとは言えません。重要な事実が見えない場合は、次の試行で分かりやすい構図に変えるか、その条件を物語から外します。

合格の目安は、各カットを説明でき、重要な変化に原因がある短い動画です。この演習には実測結果の主張も出力の保証もありません。何を保ち、何を変え、何を修正するかを繰り返し使える記録にすることが目的です。

Google Research の原文 ↗