【第9回】プレビスで AI 動画の「途中」を縛る——抜く穴の順番と数を、Omni・H3・VACE の 3 つに守らせた
第8回では、毛抜きで脂を 1 本ずつ抜く場面の、抜いた本数と順番を文の指示では守らせられなかった。今回は Blender で灰色のプレビスを作り、穴の状態を色の印や輪の形で描き込んで、動画のモデルに渡した。Gemini Omni(動画を直す)・MiniMax H3(参照動画から作る)・Wan 2.2 Fun VACE(線画で縛る)の 3 つとも、どの穴を、どの順に、いくつ抜くかを守った。見た目は、Omni が写真寄り、H3 は絵コンテどおり、VACE は工業のパイプのような質感になった。
← 前の記事: 【第8回】Gemini Omni に『鼻』を作らせた——始まりと終わりの絵は効き、途中の数は守れなかったこの記事の動画は、Google の Gemini Omni 1.2 Flash(Gemini API)、MiniMax H3、Wan 2.2 Fun VACE 14B で作った AI 生成の動画。H3 と VACE は Google Colab の A100 で動かした。動画の始まりの絵は GPT Image(OpenAI)に描かせた。灰色のプレビスは Blender で、AI 生成ではない。H3 の動画は、H3 のライセンスに合わせて、一部の地域では再生できないようにしてある。
第8回では、『鼻』の毛抜きの場面を Gemini Omni に作らせた。脂を 1 本ずつ抜いていくと、どの粒を抜いたか、何本抜いたかが崩れた。始まりと終わりの絵を渡しても、途中の 6 枚を時刻つきで渡しても、文で頼んでも直らなかった。途中のコマを固定する仕組みが、Omni には無いからだと考えた。
そこで今回は、Blender で灰色の簡単な 3D の動画(プレビス)を作り、穴の状態を印として描き込んで、動画のモデルに渡した。渡し方の違う 3 つのモデルで試した。
- Gemini Omni: プレビスを「直す元」として渡し、印の意味を文で教える
- MiniMax H3: プレビスを「参照動画」として渡し、印の意味を文で教える
- Wan 2.2 Fun VACE: プレビスから取った線画で、1 コマずつ縛る
先に結論を書いておく。判定は、プレビスと並べた動画を目で見て決めた。
- 3 つとも、どの穴を・どの順に・いくつ抜くかを、プレビスどおりに守った。文の指示ではできなかったことだ
- 見た目は分かれた。Omni は写真寄りになり、H3 は絵コンテどおりの絵柄と手になり、VACE は工業のパイプとその穴のような質感になった
- H3 は 1 回目、抜かない粒が勝手に転がり落ち、手は灰色のマネキンのままだった。手の参照画像を足し、粒を「毛穴に根を張った栓」と書き直すと、2 回目は思ったとおりになった
- 効いたのは、プレビスの道具が本当に穴に届いていること、始まりの絵とプレビスの位置をそろえること、プレビスに映る物すべてに見た目の参照を渡すこと、物がどう付いているかを書くこと
- 費用は、Omni が $0.46(2 本)、Colab が H3 と VACE で合わせて約 6.8 ユニット
プレビスとは
プレビス(previsualization)は、映画や CG の制作の言葉で、本番の前に簡単な 3D で場面を作り、カメラ・人物の位置・動き・タイミングを決めておく作業のこと。絵は粗くてよく、灰色の人形や箱で組む。
AI 動画では、このプレビスを下書きで終わらせず、動画のモデルに渡して絵を仕上げさせる使い方が広がっている。渡し方は大きく 3 つある。
| 渡し方 | モデルに見えるもの | 例 |
|---|---|---|
| 直す元 | プレビスの絵そのもの。構図と動きを保って描き直す | Gemini Omni の edit、Runway Aleph、Kling O1 の編集 |
| 参照動画 | プレビスの動きとカメラ。見てまねて作り直す | MiniMax H3 の Ref2V、Seedance |
| 制御の信号 | プレビスから取った線画・深度・ポーズ。色は見えない | Wan の VACE・Fun Control、LTX の IC-LoRA |
作ったプレビス
Blender 4.3 を画面なしで動かし、スクリプトで場面を組んでレンダした。『鼻』の C10(毛抜きの場面)の構図に寄せて、斜めに横たわる長い鼻と、右上から入ってくる灰色のマネキンの手と毛抜きを置いた。
- 縦 480×832・16fps・161 コマ(10 秒)
- 鼻・床・手は灰色。色を付けたのは穴の印だけ
- 穴は 6 つ。毛抜きは p2 → p5 → p3 の順に、隣り合わない 3 つを抜く。抜けた瞬間は 1.75 秒・5.00 秒・8.25 秒で、最後は穴 3 つ・粒 3 つ
- 動きは 2 倍に遅く作り、出来上がった動画を 1 コマおきに抜いて 5 秒に戻す(速い動きは崩れやすいので)
同じ動きを、3 通りの見た目で書き出した。
| 版 | 詰まった穴 | 抜けた穴 | 渡した先 |
|---|---|---|---|
| 印 | 緑の丸 | 赤の丸 | Omni・H3 |
| 本物寄せ | クリーム色の粒 | 暗い縁と黒い穴 | Omni(失敗が続いて結果なし) |
| 線画 | 輪 1 重 | 輪 2 重 | VACE |
プレビス。左から印・本物寄せ・線画(倍速で 5 秒に戻したもの)
線画の版で一度つまずいた。鼻を灰色にしたら、灰色の肌とクリーム色の粒が、平らな光ではほぼ同じ明るさになり、詰まった穴の輪が線画から消えた。線画を取る元の版だけ、肌を暗い灰色、粒を白にして直した。
始まりの絵
最初は、第3回の C10 の絵コンテを始まりの絵として渡すつもりだった。並べてみると、絵コンテは粒が約 20、鼻の曲がり方もカメラも違い、プレビスの 6 つの穴と一つも重ならない。このまま渡すと、モデルは「絵は 20 粒、プレビスは 6 粒」という食い違う指示を受け取る。
そこで、プレビスの最初のコマを GPT Image に渡し、「構図と 6 つの粒の位置はそのまま、絵柄だけ絵コンテに」と描かせた。描けた絵は、粒が最大 30 ピクセルほど左上にずれていた。構図を少し縮め、縦横の比も少し変えて描いていた。粒の位置を色で拾い、絵全体をプレビスに合わせ直すと(アフィン変換)、ずれは最大 2.1 ピクセルになった(粒の直径は約 25 ピクセル)。
1. Omni(直す元として渡す)
印の版のプレビスと始まりの絵を、Omni の edit(動画を直す作り方)で渡した。文では「緑の丸は毛穴に残っている粒、赤の丸は抜いた後の空の穴として描く。丸そのものは描かない」「灰色のマネキンの手は人の手」と教えた。360p で、出てきた動画は 360×640・24fps・10 秒。
結果は、6 つの穴とも、見た時刻ではプレビスどおりだった。抜けるのがプレビスより 0.5 秒ほど遅れることがある(倍速に戻すと 0.25 秒ほど)。手は人の手になった。絵柄は写真に近くなり、始まりの絵の絵の具っぽさは消えた。
この前に 1 回、プレビスの作り方を間違えていた。毛抜きの腕の長さを半分にしていて、毛抜きの先が狙った穴の 70 ピクセルほど手前で止まっていた。このとき Omni は、1 回目に毛抜きの先の近くにあった p4 を抜き、狙った p2 を残した。誤って抜いた p4 には、あとで粒が戻った(プレビスの p4 は緑のままだった)。印より、道具の位置に従ったことになる。
2. H3(参照動画として渡す)
H3 の参照から作る本体(ref2va)は、Colab の A100 で動かした。印の版のプレビスを 24fps にして <Video 1>、始まりの絵を <Picture 1> として渡し、文で印の意味を教えた。H3 の文を読む部分は画像や動画も読めるモデル(Qwen3-VL)なので、Omni と同じように印の意味を説明できる。
1 回目は、公式の既定(20 段)と、Pika H3 Flex の 6 段の 2 本を作った。どちらも、抜いた 3 つは合っていた。ただ、脂が硬い粒のように扱われ、抜かない粒も勝手に転がり落ちた。20 段はほとんどが落ち、6 段は 1 つだけ落ちた。手は 2 本とも、灰色のマネキンのままだった。
原因は 2 つだと考えた。
- 始まりの絵の粒は、肌の上に卵形の玉が載っているように見える。文でも「毛穴から突き出た粒」としか書いていなかった。第8回の C10 の指示文では「鳥の羽の軸のような形の脂の栓が、毛穴から滑り出る」と、抜けるまでは毛穴に刺さっている物として書いていた
- 手の見た目を示す参照画像を渡していなかった。始まりの絵には手が写っていないので、H3 は
<Video 1>の灰色の手をそのまま写した
2 回目は、絵コンテから手と袖と毛抜きの部分を切り出して <Picture 2> として足し、「<Video 1> のマネキンは代わり。<Picture 2> の人の手として描く」と書いた。粒は「毛穴に深く根を張った脂の栓。抜かない栓は転がらない・落ちない・動かない」と書き直した。1 回目にましだった 6 段で 1 本作った。
結果は、6 つの穴とも見た時刻でプレビスどおりで、手も絵コンテの絵柄の人の手になった。目で見て、思ったとおりの出来だった。絵柄・光・床も、始まりの絵のままだった。
左からプレビス・H3 の 1 回目(6 段)・H3 の 2 回目(倍速で 5 秒)。この動画は一部の地域では再生できない
H3 は、出来は一番よかったが、ライセンスが生成物を使える地域を限っている(第3回に書いたとおり)。そのため、H3 の動画は一部の地域では再生できないようにしてある。
3. VACE(線画で縛る)
Wan 2.2 Fun VACE 14B も、Colab の A100 で動かした。制御の動画は、最初のコマに始まりの絵を置いて残し、2 コマ目からはプレビスの線画で縛った(詰まった穴は輪 1 重、抜けた穴は輪 2 重)。高ノイズ用と低ノイズ用の 2 つのモデルを、速くする LoRA で 4 段。VACE は文で印の意味を教えられないので、輪の形の違いで伝えた。
結果は、6 つの穴とも見た時刻でプレビスどおりだった。ただ、目で見ると、工業のパイプとその穴のような質感だった。抜けた穴は線画の 2 重の輪がそのまま形になり、茶色の輪に白い縁と黒い穴の、的のような見た目になった。手は、マネキンの線に沿った指の太い手になった。VACE は線に忠実に描くので、プレビスのまっすぐな円柱と正確な円が、そのまま機械で削ったような形になったのだと考えている。
Wan 2.2 は Apache-2.0 なので、H3 と違い、地域の制限なく公開できる。
3 つを並べる
左からプレビス・Omni・VACE(倍速で 5 秒)
| 渡し方 | 途中の状態 | 見た目 | 公開 | |
|---|---|---|---|---|
| Omni | 直す元(印の意味は文) | 守れた。抜けるのが少し遅れることがある | 写真寄り。手は人の手 | できる |
| H3(2 回目) | 参照動画(印の意味は文)+手の参照画像 | 守れた | 絵柄も手も絵コンテどおり | 地域の制限あり |
| VACE | 線画で 1 コマずつ(輪の形で区別) | 守れた | 工業のパイプのような質感 | できる |
効いたこと
- プレビスの道具が、本当に狙った所に届いていること。届いていないと、モデルは印より道具の位置に従った(Omni の 1 回目)
- 始まりの絵を、プレビスの最初のコマから描かせて、位置をそろえること。絵コンテをそのまま渡すと、数も位置も食い違う
- プレビスに映る物すべてに、見た目の参照を渡すこと。手の参照が無いと、H3 はマネキンをそのまま写した
- 物がどう付いているかを書くこと。「突き出た粒」だと転がる玉になり、「根を張った栓」と書くと止まった
- H3 は Pika H3 Flex の 6 段のほうが、20 段より入力に忠実だった
つまずいたところ
- Omni の edit では長さを指定できない: 長さを付けると 400 で断られる。解像度だけ指定すると通った
- Omni の失敗が多い: 5 回のうち 3 回が「処理で問題が起きた」で失敗した。本物寄せの版は 2 回とも失敗し、印の版は同じ中身で失敗のあと通った。失敗した回の料金は請求されない、と Omni の返事に書かれていた
- 生成のスクリプトの番号の重なり: VACE の 1 回目は、自分のスクリプトでノードの番号が重なり、モデルの代わりに動画が 2 段目につながって断られた(Colab 4 分・0.22 ユニット)。つなぎ先の型まで照らし合わせる確かめを足した
- H3 は手元の GPU に入らない: H3 の参照から作る本体は VRAM を約 43〜46GB 使い、手元の RTX 3090(24GB)では動かない。VACE も約 49GB 使った
時間とコスト
| 何を | どこで | 時間 | 費用 |
|---|---|---|---|
| プレビス(3 通りの見た目) | 手元の Blender | 1 回 数十秒 | — |
| 始まりの絵 | GPT Image(ChatGPT のサブスク) | 1 枚 | サブスクの枠内 |
| Omni(2 本) | Gemini API・360p・10 秒 | 1 本 40〜50 秒 | $0.46 |
| H3 の 1 回目(2 本) | Colab A100 | 生成 795 秒と 236 秒・全体 26 分 | 約 4.0 ユニット |
| H3 の 2 回目(1 本) | Colab A100 | 生成 281 秒・全体 11 分 | 1.62 ユニット |
| VACE(失敗 1 回+1 本) | Colab A100 | 生成 153 秒・全体 4 分+8 分 | 0.22+0.91 ユニット |
Colab は Google AI Pro のサブスクの枠の中で使った。ユニットは、使ってから数十分遅れて引かれることがあり、H3 の 1 回目は、すぐ後に見た 3.27 から約 4.0 に増えた。
まだ分かっていないこと
- 毎回こうなるか(どれも 1〜2 回だけ)
- VACE の硬い質感を直す方法。縛りを弱める(強さを下げる・前半の段だけ縛る)か、プレビスの線を有機的にする(穴の輪郭を不ぞろいにする・深度に替える)
- Omni の本物寄せの版が失敗した理由
- 自分で用意した声で口を動かすことと、プレビスを一緒に使えるか(H3・Wan S2V・LTX は、両方を受け取れる作りになっている)
- H3 と VACE が作った音(H3 は音も作るが、聞いて判断していない)