Yyatmita

【第8回】Gemini Omni に『鼻』を作らせた——始まりと終わりの絵は効き、途中の数は守れなかった

第3回の『鼻』は MiniMax H3 で作ったが、H3 のライセンスは生成物を使える地域を限っていた。同じようなショートドラマを別の道で作れるかを、Google の動画のモデル Gemini Omni 1.2 Flash で試した。参照画像・始まりと終わりの絵・会話の中の直し・日本語のセリフは効き、H3 で 3 回作り直した場面が 1 回で通った。15 秒より長く 1 つの画角でつなぐことと、毛抜きで抜いた本数を守ることはできなかった。エチュード No.1 をお題だけで任せた版は、細部は崩れたが一応成り立った。Gemini API の従量課金で、見込み $5.25。

AI動画制作#ai-video#gemini#omni#etude
← 前の記事: 【第7回】Kling にお題だけ渡すと 4 カット、カット割りを渡すと 8 カット全部出た

この記事の動画は、すべて Google の Gemini Omni 1.2 Flash(Gemini API)で作った AI 生成の動画。Google の目に見えない透かし(SynthID)が入っている。動画の中の声とセリフも Omni が作ったもの。『鼻』のキャラクターと絵コンテの絵は、第3回で GPT Image(OpenAI)に描かせたもの。エチュードのキャラクターの参照画像は、第5回と同じ Muse の絵。

第3回の『鼻』は、MiniMax H3 で作った。ところが H3 のライセンスは、生成物を使ったり見せたりできる地域を、米国・EU・英国・韓国の外に限っていた。第3回の後半に書いたとおり、これを読み落としていて、第3回の動画は一部の地域では再生できないようにしてある。

そこで、同じようなショートドラマを別の道で作れるかを、Google の動画のモデル Gemini Omni 1.2 Flash で試した。見たのは次の 3 つ。

  • 参照画像: キャラクターの見た目を保てるか
  • シーンの制御: カメラ・動き・始まりと終わりの絵を、指示どおりにできるか
  • シーンの修正: できた動画を、会話の中で直せるか

先に結論を書いておく。どれも 1 回ずつ作っただけの結果だ。

  • 参照画像の見た目は、強く保たれた。内供の長い鼻も、弟子のポニーテールも、絵のとおりに出た
  • 始まりと終わりの絵に、秒ごとの時間割を添えると、そのとおりに動いた。H3 で 3 回作り直した場面が、1 回で通った
  • 会話の中で「袈裟を外す・足袋にする・夕方の光」と頼むと、その 3 つだけが変わった
  • 日本語のセリフは、1 人でも 2 人の掛け合いでも、言わせたとおりに出た
  • 15 秒より長く、1 つの画角のままつなぐことはできなかった。延長は通らず、最後のコマからつなぐと、つなぎ目がはっきり分かった
  • 毛抜きで脂を 1 本ずつ抜く場面は、本数と順番が崩れた。毛抜きは毎回同じ粒をつまみ、懐紙の脂は置いていないのに増えた
  • エチュード No.1 をお題だけで任せた版は、冷蔵庫の持ち手やプリンの容器は崩れたが、一応成り立った
  • Gemini API の従量課金で、見込み $5.25(作った 10 本の分)

Omni で渡せるもの

Omni は、Gemini API・Vertex AI・Gemini アプリ・Flow で使える。今回は Gemini API を、Google の SDK(google-genai 2.34.0)の client.interactions.create から呼んだ。表は、公式の説明(2026-11-07 に調べた)と、SDK の型で確かめたことによる。

項目内容
長さ3〜15 秒
大きさ360p・720p・1080p・4K。縦 9:16 と横 16:9
参照画像最大 6 枚
始まりと終わりの絵指定できる
作り方(SDK の task)文から・画像から・参照画像から・直す・延ばす・拡大する。指定しなければ、モデルが文と画像から決める
セリフと声Omni が作る。こちらで用意した音声は渡せない
会話の中の直し前の会話の続きとして頼む(previous_interaction_id)
料金(1 秒あたり)360p $0.023・720p $0.07・1080p $0.104・4K $0.209。無料枠は無い

画像を渡す欄は「画像のデータと種類」だけで、その画像が参照なのか、始まりの絵なのか、何秒のコマなのかを書く欄は無い。どう使うかは、作り方の指定と文から、モデルが決める。

Gemini API の利用規約では、Google は生成物の権利を主張しない。有料で使う場合は、商用で使ってよいとされている(今回は有料)。公開や表示に地域の制限は、調べた範囲では見つからなかった。ここが H3 との一番の違いだ。AI 生成と表示する義務は、はっきりとは書かれていなかった(この記事では冒頭に表示している)。

1. 参照画像

『鼻』の内供と弟子の絵を参照画像として渡し、僧房の板の間で弟子が湯を運んでくる場面を頼んだ(720p・8 秒)。

参照画像に渡した 2 枚。左は長い鼻の老僧の内供、右はポニーテールの少年の弟子

参照画像 2 枚から(8 秒)

2 人の掛け合い(8 秒)

内供のしわの多い顔と長い鼻、黒い衣と茶の袈裟、弟子の灰色の着物とポニーテールが、絵のとおりに出た。『鼻』で決めていた「内供が左・弟子が右」も守られた。弟子の「お湯をお持ちしました」は、文字起こしで聞き取れた。

参照に引っぱられる強さは、裏目にも出た。2 本目で「袈裟は着けない・向かい合って板の間に座る」と書いたが、内供は参照画像のとおり袈裟を着て、2 人は長いすに並んで座った。セリフの「痛くはございませんか」「……痛くはない」は、2 つとも言わせたとおりに出た。

2. 始まりと終わりの絵

H3 で一番手こずった場面の 1 つが、C12「前より笑われる」だった。内供が背を向けたとたん、下働きの僧たちがくすくす笑い、内供が振り向くと真顔に戻る。H3 では 3 回作り、1 回目は内供が左に消えて急に現れた。

同じ絵コンテの始まりの絵と終わりの絵を渡し、秒ごとの時間割を文で添えた(720p・6 秒)。

C12 の絵コンテ 4 枚。背を向けた内供と頭を下げる 3 人、背中で笑う 3 人、振り向く内供、鼻に手をやる内供

始まりと終わりの絵+時間割(6 秒)

出てきた動画の 6 コマ。0.4 秒は背を向けて立つ内供、1.2〜2.0 秒は背中で笑う 3 人、2.8 秒は振り向く内供、4.0 秒は鼻の横をかく内供、5.6 秒は逃げる 3 人

時間割どおりに動いた。背を向けて立つ → 背中で笑う → 振り向く → 鼻の横をかく → 3 人が逃げる。内供は最後まで同じ場所にいて、消えなかった。始まりのコマは渡した絵とほぼ同じで、終わりのコマも近かった。音は笑い声だけで、言葉は入らなかった。

3. 会話の中で直す

1 の動画で気になった所を、会話の続きとして直させた。直すのは、治療の場面の決まりどおり袈裟を外す・板の間なので足袋にする・夕方の光にする、の 3 つだけ。

上の段は直す前、下の段は直した後。直した後は袈裟が無く、足袋になり、右の障子から夕日が差している。人物の位置と動きは同じ

会話の中で直した版(8 秒)

3 つとも直り、人物の動き・位置・タイミング・セリフは、直す前のままだった。参照画像を文で上書きするのは難しかった(1 の 2 本目)が、できた動画を直すのは素直に効いた。

4. 15 秒より長くつなぐ

Omni の 1 本は 15 秒まで。それより長い場面を 1 つの画角のまま続けたくて、3 の動画の続き(内供が前にかがみ、鼻の先を湯に浸す)を足そうとした。

延長(task に extend)は、3 通りの呼び方でどれも通らなかった。あきらめて、前の動画の最後のコマを始まりの絵にして、続きの 8 秒を作った。つなぎ目のコマ同士は、ほぼ同じ絵になった。

最後のコマからつないだ 16 秒(8 秒目がつなぎ目)

それでも、見るとつなぎ目がはっきり分かった。これは使えない。1 つの画角のまま 15 秒より長く続ける手段は、今のところ見つかっていない。ただ、ふつうのドラマはカットごとに画角を変えるので、1 カットが 15 秒までで困らない場面も多い。『鼻』のカットも、ほとんどが 8 秒前後だった。

5. 途中の状態を守る

『鼻』の C10 は、茹でた鼻から毛抜きで脂を 1 本ずつ抜き、懐紙に並べる場面だ。抜いた穴は空いたまま残り、懐紙の脂は 1 本ずつ増えていく。H3 では、抜いた穴に粒が戻ってしまった。そこで、つまむ所と置いた所の絵を作り、11 か所のコマに固定して、やっと数が合った。

Omni で固定できるのは、始まりと終わりの絵だけだ。始まり(1 本目をつまむ)と終わり(懐紙に 4 本・穴 4 つ)の 2 枚と、H3 のときと同じ中身の文で頼んだ(720p・10 秒)。

始まりと終わりの絵 2 枚(10 秒)

毛抜きがつまむ所を 0.2・4.2・6.0・7.6・9.0 秒で並べた図。どれも同じ場所の同じ粒をつまんでいる

抜いた穴は、粒で埋まり直さずに残った。しかし、毛抜きは 4 回とも同じ場所の同じ粒をつまんでいて、その粒は抜いても残った。穴は、つまんでいない別の場所に勝手に開いた。懐紙の脂は、2 本目を置いた後、置いていない 3 本目が現れた。

画像に時刻を付ける欄は無いが、文で「画像 1 は 0.0 秒、画像 2 は 3.0 秒……」と書いて、途中の絵も含めて 6 枚を渡してみた。

渡した 6 枚。1 本目をつまむ、1 本目を抜いた、懐紙に 2 本、懐紙に 3 本、4 本目をつまむ、懐紙に 4 本

出てきた動画の全コマと 6 枚を比べると、近いコマがあったのは最初と最後の 2 枚だけだった。「1 本目を抜いた」「4 本目をつまむ」の状態は、どのコマにも出てこなかった。毛抜きは今回も毎回ほぼ同じ所をつまみ、懐紙の脂は 1 本から 4 本に跳んだ。

6 枚を渡した版のつまむ所。0.2・3.0・5.5・8.2 秒とも同じ所をつまみ、6.6 秒で懐紙の脂が 4 本になっている

途中の状態をきっちり守らせる場面は、Omni ではできなかった。H3 のように、途中のコマに絵を固定する仕組みが無いからだと考えている。

6. お題だけで任せる(エチュード No.1)

最後に、第5回からのエチュード No.1「プリン残ってた」を作った。渡したのは、第6回・第7回と同じお題と、キャラクターの参照画像だけ(第7回の Kling には、このお題を英訳して渡した)。カットの割り方は任せた(720p・15 秒)。

Omni 版(お題だけ・15 秒)

Gemini 版(第5回・10 秒)

Omni 版の 12 コマ。正面で目を閉じた笑顔、汗をかいて髪にさわる、横から冷蔵庫を開ける、冷蔵庫の中から見た顔とプリン、驚き、プリンを抱えて目を閉じる、笑顔

Omni は、正面の胸から上で始め、目を閉じた笑顔を先に出してから、汗をかいて髪にさわる(疲れ)。切れ目なしでカメラが横へ回り込み、冷蔵庫を開ける。5.6 秒で冷蔵庫の中から撮る絵に切り替え、驚き → 取り出す → 少し寄って目を閉じる → 抱えて笑顔、で終わった。

評価基準Omni 版(お題だけ)
1. 音なしで感情の変化が段階的に読めるか疲れ → 驚き → 噛みしめる → 抱えて笑顔、と読める。疲れは弱く、無表情までは行かない
2. 視線・手の到達点・対象物の位置と同一性プリン(ガラスの器・ホイップ・さくらんぼ)と冷蔵庫の中は、最後まで同じ。ただ冷蔵庫の持ち手は崩れ、プリンの容器の形も変だった
3. 大げさすぎず真剣すぎず、別人にならないか表情はやわらかい。冷蔵庫の光の場面で、髪が明るい茶色に変わり、別人に見えかける
4. 手・髪型・衣装・背景が崩れないか服(クリーム色の T シャツ・濃い短パン)、ポニーテールとシュシュは保たれた

細部は崩れたが、お題だけで任せて、エチュードとしては一応成り立った。音には言葉は無いものの、「ふん…」「はぁ…」という声が入った(お題は「効果音だけ」)。

つまずいたところ

  • 作り方の指定と会話の続きは一緒に使えない: task を付けたまま前の会話の続きとして頼むと、400 で断られる。会話で直すときは task を付けない
  • 延長: task を extend にして前の動画を渡すと、まず「延長では縦横の比を指定できない」で断られた。比・解像度・長さを外しても、会話の続きとして頼んでも、「処理で問題が起きた」で失敗した。延長で失敗したのと同じ中身は、最後のコマからつなぐ形では通った
  • 11 秒が通らない: C10 を 720p・11 秒で頼むと失敗し、同じ絵と文で 3 秒・10 秒は通った。長さの指定が原因かもしれないが、はっきりはしない
  • 失敗はお金がかからなかった: 失敗した回は、請求の画面の数字が増えなかった(延長の 4 回で確かめた)

時間とコスト

1 本の生成は、どれも 20〜80 秒で終わった。

何を大きさ・長さ見込み
日本語のセリフの確かめ360p・3 秒$0.069
1. 参照画像(2 本)720p・8 秒×2$1.12
2. 始まりと終わりの絵720p・6 秒$0.42
3. 会話の中で直す720p・8 秒$0.56
4. 最後のコマからつなぐ720p・8 秒$0.56
5. 途中の状態(切り分けの 3 秒を含む 3 本)360p・3 秒+720p・10 秒×2$1.469
6. エチュード720p・15 秒$1.05
合計10 本$5.248

見込みは「秒数 × 公式の 1 秒の値段」で数えた。最初の 5 本(見込み $2.17)を作った時点で、Google AI Studio の費用の欄は ¥359 だった。従量課金で上限が無いので、手元のスクリプトに合計の見込みで止まる歯止めを入れ、AI Studio の月の費用の上限も下げた。

まだ分かっていないこと

  • 毎回こうなるか(どれも 1 回だけ)
  • 延長の正しい呼び方
  • 1080p・4K への拡大の出来
  • AI 生成と表示する義務(規約にははっきり書かれていなかった)
  • Omni が作った声の質(聞いて判断していない)

前回の記事: 【第7回】Kling にお題だけ渡すと 4 カット、カット割りを渡すと 8 カット全部出た