Yyatmita

【第9回】プレビスで AI 動画の「途中」を縛る——抜く穴の順番と数を、Omni・H3・VACE の 3 つに守らせた

第8回では、毛抜きで脂を 1 本ずつ抜く場面の、抜いた本数と順番を文の指示では守らせられなかった。今回は Blender で灰色のプレビスを作り、穴の状態を色の印や輪の形で描き込んで、動画のモデルに渡した。Gemini Omni(動画を直す)・MiniMax H3(参照動画から作る)・Wan 2.2 Fun VACE(線画で縛る)の 3 つとも、どの穴を、どの順に、いくつ抜くかを守った。見た目は、Omni が写真寄り、H3 は絵コンテどおり、VACE は工業のパイプのような質感になった。

AI動画制作#ai-video#previs#blender#gemini#minimax-h3#wan
← 前の記事: 【第8回】Gemini Omni に『鼻』を作らせた——始まりと終わりの絵は効き、途中の数は守れなかった

この記事の動画は、Google の Gemini Omni 1.2 Flash(Gemini API)、MiniMax H3、Wan 2.2 Fun VACE 14B で作った AI 生成の動画。H3 と VACE は Google Colab の A100 で動かした。動画の始まりの絵は GPT Image(OpenAI)に描かせた。灰色のプレビスは Blender で、AI 生成ではない。H3 の動画は、H3 のライセンスに合わせて、一部の地域では再生できないようにしてある。

第8回では、『鼻』の毛抜きの場面を Gemini Omni に作らせた。脂を 1 本ずつ抜いていくと、どの粒を抜いたか、何本抜いたかが崩れた。始まりと終わりの絵を渡しても、途中の 6 枚を時刻つきで渡しても、文で頼んでも直らなかった。途中のコマを固定する仕組みが、Omni には無いからだと考えた。

そこで今回は、Blender で灰色の簡単な 3D の動画(プレビス)を作り、穴の状態を印として描き込んで、動画のモデルに渡した。渡し方の違う 3 つのモデルで試した。

  • Gemini Omni: プレビスを「直す元」として渡し、印の意味を文で教える
  • MiniMax H3: プレビスを「参照動画」として渡し、印の意味を文で教える
  • Wan 2.2 Fun VACE: プレビスから取った線画で、1 コマずつ縛る

先に結論を書いておく。判定は、プレビスと並べた動画を目で見て決めた。

  • 3 つとも、どの穴を・どの順に・いくつ抜くかを、プレビスどおりに守った。文の指示ではできなかったことだ
  • 見た目は分かれた。Omni は写真寄りになり、H3 は絵コンテどおりの絵柄と手になり、VACE は工業のパイプとその穴のような質感になった
  • H3 は 1 回目、抜かない粒が勝手に転がり落ち、手は灰色のマネキンのままだった。手の参照画像を足し、粒を「毛穴に根を張った栓」と書き直すと、2 回目は思ったとおりになった
  • 効いたのは、プレビスの道具が本当に穴に届いていること、始まりの絵とプレビスの位置をそろえること、プレビスに映る物すべてに見た目の参照を渡すこと、物がどう付いているかを書くこと
  • 費用は、Omni が $0.46(2 本)、Colab が H3 と VACE で合わせて約 6.8 ユニット

プレビスとは

プレビス(previsualization)は、映画や CG の制作の言葉で、本番の前に簡単な 3D で場面を作り、カメラ・人物の位置・動き・タイミングを決めておく作業のこと。絵は粗くてよく、灰色の人形や箱で組む。

AI 動画では、このプレビスを下書きで終わらせず、動画のモデルに渡して絵を仕上げさせる使い方が広がっている。渡し方は大きく 3 つある。

渡し方モデルに見えるもの例
直す元プレビスの絵そのもの。構図と動きを保って描き直すGemini Omni の edit、Runway Aleph、Kling O1 の編集
参照動画プレビスの動きとカメラ。見てまねて作り直すMiniMax H3 の Ref2V、Seedance
制御の信号プレビスから取った線画・深度・ポーズ。色は見えないWan の VACE・Fun Control、LTX の IC-LoRA

作ったプレビス

Blender 4.3 を画面なしで動かし、スクリプトで場面を組んでレンダした。『鼻』の C10(毛抜きの場面)の構図に寄せて、斜めに横たわる長い鼻と、右上から入ってくる灰色のマネキンの手と毛抜きを置いた。

  • 縦 480×832・16fps・161 コマ(10 秒)
  • 鼻・床・手は灰色。色を付けたのは穴の印だけ
  • 穴は 6 つ。毛抜きは p2 → p5 → p3 の順に、隣り合わない 3 つを抜く。抜けた瞬間は 1.75 秒・5.00 秒・8.25 秒で、最後は穴 3 つ・粒 3 つ
  • 動きは 2 倍に遅く作り、出来上がった動画を 1 コマおきに抜いて 5 秒に戻す(速い動きは崩れやすいので)

同じ動きを、3 通りの見た目で書き出した。

版詰まった穴抜けた穴渡した先
印緑の丸赤の丸Omni・H3
本物寄せクリーム色の粒暗い縁と黒い穴Omni(失敗が続いて結果なし)
線画輪 1 重輪 2 重VACE

プレビス。左から印・本物寄せ・線画(倍速で 5 秒に戻したもの)

プレビスの 5 コマを 3 通りの見た目で並べた図。上の段は緑と赤の丸、中の段はクリーム色の粒と黒い穴、下の段は輪 1 重と輪 2 重の線画。左から右へ、抜けた穴が 0・1・2・3 と増える

線画の版で一度つまずいた。鼻を灰色にしたら、灰色の肌とクリーム色の粒が、平らな光ではほぼ同じ明るさになり、詰まった穴の輪が線画から消えた。線画を取る元の版だけ、肌を暗い灰色、粒を白にして直した。

始まりの絵

最初は、第3回の C10 の絵コンテを始まりの絵として渡すつもりだった。並べてみると、絵コンテは粒が約 20、鼻の曲がり方もカメラも違い、プレビスの 6 つの穴と一つも重ならない。このまま渡すと、モデルは「絵は 20 粒、プレビスは 6 粒」という食い違う指示を受け取る。

左は第3回の C10 の絵コンテで、鼻に約 20 の粒と手と懐紙がある。右はプレビスで、細い灰色の鼻に 6 つの粒がある。粒の位置は重ならない

そこで、プレビスの最初のコマを GPT Image に渡し、「構図と 6 つの粒の位置はそのまま、絵柄だけ絵コンテに」と描かせた。描けた絵は、粒が最大 30 ピクセルほど左上にずれていた。構図を少し縮め、縦横の比も少し変えて描いていた。粒の位置を色で拾い、絵全体をプレビスに合わせ直すと(アフィン変換)、ずれは最大 2.1 ピクセルになった(粒の直径は約 25 ピクセル)。

左は合わせ直した始まりの絵で、6 つの粒が水色の丸(プレビスの穴の位置)に収まっている。中はプレビスと半々に重ねたもの。右はプレビス

1. Omni(直す元として渡す)

印の版のプレビスと始まりの絵を、Omni の edit(動画を直す作り方)で渡した。文では「緑の丸は毛穴に残っている粒、赤の丸は抜いた後の空の穴として描く。丸そのものは描かない」「灰色のマネキンの手は人の手」と教えた。360p で、出てきた動画は 360×640・24fps・10 秒。

結果は、6 つの穴とも、見た時刻ではプレビスどおりだった。抜けるのがプレビスより 0.5 秒ほど遅れることがある(倍速に戻すと 0.25 秒ほど)。手は人の手になった。絵柄は写真に近くなり、始まりの絵の絵の具っぽさは消えた。

Omni の穴ごとの一覧。行は時刻、列は 6 つの穴。各マスの左がプレビス、右が Omni。赤い丸になった穴は、Omni でも空の穴になっている

この前に 1 回、プレビスの作り方を間違えていた。毛抜きの腕の長さを半分にしていて、毛抜きの先が狙った穴の 70 ピクセルほど手前で止まっていた。このとき Omni は、1 回目に毛抜きの先の近くにあった p4 を抜き、狙った p2 を残した。誤って抜いた p4 には、あとで粒が戻った(プレビスの p4 は緑のままだった)。印より、道具の位置に従ったことになる。

毛抜きが届いていないプレビスで作った Omni の穴ごとの一覧。p2 は粒が残り、p4 が抜かれて空の穴になり、あとで粒が戻っている

2. H3(参照動画として渡す)

H3 の参照から作る本体(ref2va)は、Colab の A100 で動かした。印の版のプレビスを 24fps にして <Video 1>、始まりの絵を <Picture 1> として渡し、文で印の意味を教えた。H3 の文を読む部分は画像や動画も読めるモデル(Qwen3-VL)なので、Omni と同じように印の意味を説明できる。

1 回目は、公式の既定(20 段)と、Pika H3 Flex の 6 段の 2 本を作った。どちらも、抜いた 3 つは合っていた。ただ、脂が硬い粒のように扱われ、抜かない粒も勝手に転がり落ちた。20 段はほとんどが落ち、6 段は 1 つだけ落ちた。手は 2 本とも、灰色のマネキンのままだった。

原因は 2 つだと考えた。

  • 始まりの絵の粒は、肌の上に卵形の玉が載っているように見える。文でも「毛穴から突き出た粒」としか書いていなかった。第8回の C10 の指示文では「鳥の羽の軸のような形の脂の栓が、毛穴から滑り出る」と、抜けるまでは毛穴に刺さっている物として書いていた
  • 手の見た目を示す参照画像を渡していなかった。始まりの絵には手が写っていないので、H3 は <Video 1> の灰色の手をそのまま写した

2 回目は、絵コンテから手と袖と毛抜きの部分を切り出して <Picture 2> として足し、「<Video 1> のマネキンは代わり。<Picture 2> の人の手として描く」と書いた。粒は「毛穴に深く根を張った脂の栓。抜かない栓は転がらない・落ちない・動かない」と書き直した。1 回目にましだった 6 段で 1 本作った。

結果は、6 つの穴とも見た時刻でプレビスどおりで、手も絵コンテの絵柄の人の手になった。目で見て、思ったとおりの出来だった。絵柄・光・床も、始まりの絵のままだった。

左からプレビス・H3 の 1 回目(6 段)・H3 の 2 回目(倍速で 5 秒)。この動画は一部の地域では再生できない

H3 の 1 回目(6 段)の穴ごとの一覧。抜いた 3 つは合っているが、抜かないはずの p4 が途中で空の穴になっている H3 の 2 回目の穴ごとの一覧。p2・p5・p3 が順に空の穴になり、p1・p4・p6 は最後まで粒のまま

H3 は、出来は一番よかったが、ライセンスが生成物を使える地域を限っている(第3回に書いたとおり)。そのため、H3 の動画は一部の地域では再生できないようにしてある。

3. VACE(線画で縛る)

Wan 2.2 Fun VACE 14B も、Colab の A100 で動かした。制御の動画は、最初のコマに始まりの絵を置いて残し、2 コマ目からはプレビスの線画で縛った(詰まった穴は輪 1 重、抜けた穴は輪 2 重)。高ノイズ用と低ノイズ用の 2 つのモデルを、速くする LoRA で 4 段。VACE は文で印の意味を教えられないので、輪の形の違いで伝えた。

結果は、6 つの穴とも見た時刻でプレビスどおりだった。ただ、目で見ると、工業のパイプとその穴のような質感だった。抜けた穴は線画の 2 重の輪がそのまま形になり、茶色の輪に白い縁と黒い穴の、的のような見た目になった。手は、マネキンの線に沿った指の太い手になった。VACE は線に忠実に描くので、プレビスのまっすぐな円柱と正確な円が、そのまま機械で削ったような形になったのだと考えている。

VACE の穴ごとの一覧。p2・p5・p3 が順に、茶色の輪と黒い穴の的のような形になり、ほかの 3 つは粒のまま

Wan 2.2 は Apache-2.0 なので、H3 と違い、地域の制限なく公開できる。

3 つを並べる

左からプレビス・Omni・VACE(倍速で 5 秒)

渡し方途中の状態見た目公開
Omni直す元(印の意味は文)守れた。抜けるのが少し遅れることがある写真寄り。手は人の手できる
H3(2 回目)参照動画(印の意味は文)+手の参照画像守れた絵柄も手も絵コンテどおり地域の制限あり
VACE線画で 1 コマずつ(輪の形で区別)守れた工業のパイプのような質感できる

効いたこと

  1. プレビスの道具が、本当に狙った所に届いていること。届いていないと、モデルは印より道具の位置に従った(Omni の 1 回目)
  2. 始まりの絵を、プレビスの最初のコマから描かせて、位置をそろえること。絵コンテをそのまま渡すと、数も位置も食い違う
  3. プレビスに映る物すべてに、見た目の参照を渡すこと。手の参照が無いと、H3 はマネキンをそのまま写した
  4. 物がどう付いているかを書くこと。「突き出た粒」だと転がる玉になり、「根を張った栓」と書くと止まった
  5. H3 は Pika H3 Flex の 6 段のほうが、20 段より入力に忠実だった

つまずいたところ

  • Omni の edit では長さを指定できない: 長さを付けると 400 で断られる。解像度だけ指定すると通った
  • Omni の失敗が多い: 5 回のうち 3 回が「処理で問題が起きた」で失敗した。本物寄せの版は 2 回とも失敗し、印の版は同じ中身で失敗のあと通った。失敗した回の料金は請求されない、と Omni の返事に書かれていた
  • 生成のスクリプトの番号の重なり: VACE の 1 回目は、自分のスクリプトでノードの番号が重なり、モデルの代わりに動画が 2 段目につながって断られた(Colab 4 分・0.22 ユニット)。つなぎ先の型まで照らし合わせる確かめを足した
  • H3 は手元の GPU に入らない: H3 の参照から作る本体は VRAM を約 43〜46GB 使い、手元の RTX 3090(24GB)では動かない。VACE も約 49GB 使った

時間とコスト

何をどこで時間費用
プレビス(3 通りの見た目)手元の Blender1 回 数十秒—
始まりの絵GPT Image(ChatGPT のサブスク)1 枚サブスクの枠内
Omni(2 本)Gemini API・360p・10 秒1 本 40〜50 秒$0.46
H3 の 1 回目(2 本)Colab A100生成 795 秒と 236 秒・全体 26 分約 4.0 ユニット
H3 の 2 回目(1 本)Colab A100生成 281 秒・全体 11 分1.62 ユニット
VACE(失敗 1 回+1 本)Colab A100生成 153 秒・全体 4 分+8 分0.22+0.91 ユニット

Colab は Google AI Pro のサブスクの枠の中で使った。ユニットは、使ってから数十分遅れて引かれることがあり、H3 の 1 回目は、すぐ後に見た 3.27 から約 4.0 に増えた。

まだ分かっていないこと

  • 毎回こうなるか(どれも 1〜2 回だけ)
  • VACE の硬い質感を直す方法。縛りを弱める(強さを下げる・前半の段だけ縛る)か、プレビスの線を有機的にする(穴の輪郭を不ぞろいにする・深度に替える)
  • Omni の本物寄せの版が失敗した理由
  • 自分で用意した声で口を動かすことと、プレビスを一緒に使えるか(H3・Wan S2V・LTX は、両方を受け取れる作りになっている)
  • H3 と VACE が作った音(H3 は音も作るが、聞いて判断していない)

前回の記事: 【第8回】Gemini Omni に『鼻』を作らせた——始まりと終わりの絵は効き、途中の数は守れなかった