【第10回】Wan 3.0 に本の紹介ページの PDF を渡したら、30 秒の CM が台本ごと返ってきた——絵とキャラは保ち、文字は崩れた
Alibaba の動画生成 AI「Wan 3.0」は、PDF などの資料を参照として渡すと、最長 30 秒の動画を作る。自分の本の紹介ページを PDF にし、表紙と 2 人のキャラの絵、4 行の指示文を添えて、本の CM を作らせた。カット割り・つかみ・ナレーション・絵の比喩・締めまで、1 回の呼び出しで決まって返ってきた。ナレーションには PDF にしか無い文が入り、アニメの絵とキャラの見た目も保たれた。一方で、最後のカードの文字と、ナレーションの後半の日本語は崩れた。カードを本物の表紙に差し替え、声を作り直し、拡大する仕上げは手元でやった。Wan の 1 本は見込み $1.50。
← 前の記事: 【第9回】プレビスで AI 動画の「途中」を縛る——抜く穴の順番と数を、Omni・H3・VACE の 3 つに守らせたこの記事の動画は、Alibaba の動画生成 AI「Wan 3.0」(fal.ai の API 経由)で作った AI 生成の動画。仕上げた版の声は Irodori-TTS、BGM は ACE-Step で作った AI 生成の音で、拡大には 4x-UltraSharp を使った。参照に渡した表紙と 2 人の全身の絵は、マンガ『AInic Dialogs』で使っている既存の絵。
「Wan が、PDF を渡すだけで 30 秒の動画を作れるらしい」と聞いた。調べると、Alibaba が 2026 年 8 月に出した Wan 3.0 の入れ方の一つだった。PDF・PowerPoint・Word・Web ページなどの資料を参照として渡すと、最長 30 秒の動画を作る。
公開されている作例は、製品の資料から CM を作るものが多かった。そこで、自分の本『AInic Dialogs ステーブルコインと契約箱編』の紹介ページ(特設ページ)を PDF にして渡し、本の CM を作らせてみた。
ただし「PDF だけ」ではない。キャラの見た目を保てるかも見たかったので、表紙と 2 人の全身の絵を参照画像として足し、4 行の指示文も添えた。
先に結論を書いておく。1 本・1 シード・480p の結果だ。
- 構成・台本・絵の比喩・締めまで決まった 30 秒の CM が、1 回の呼び出しで返ってきた。カット割り、つかみ、ナレーション、比喩、締めの「今すぐアマゾンで」は、どれも指示していない
- PDF を読んでいた。ナレーションの前半に、表紙には無く PDF にしか無い文の言い換えが入った
- アニメの絵柄のまま作られ、のり子とクロコの顔・髪・服は参照の絵に近かった
- 日本語でしゃべった。ただ、後半は 6 か所で日本語が崩れ、別の言葉になっていた
- 文字は崩れた。最後のカードで、指示文に書いた題名を描こうとして字を間違え、小さい字は崩れ、紹介ページのボタンまで描き写した
- Wan の中で一部だけ直す道は細い。最後のカードを本物の表紙に差し替え、声を作り直し、拡大する仕上げは手元でやった
- 費用は Wan の 1 本で見込み $1.50。仕上げは手元の道具で、お金はかかっていない
渡したもの
Wan 3.0 は Alibaba Cloud の API のほか、fal.ai などでも使える。今回は fal.ai の alibaba/wan-3.0/reference-to-video を使った。調べた範囲では、資料を渡せるのはこの「参照から作る」入口だけで、文章から作る入口と画像から作る入口には資料の欄が無かった。
| 項目 | 渡したもの |
|---|---|
資料(file_url) | 紹介ページを PDF にしたもの。6 ページ・12.7MB |
参照画像(reference_image_urls) | 表紙、のり子の全身、クロコの全身の 3 枚 |
指示文(prompt) | 下の 4 行 |
| 設定 | 480p・30 秒・縦(9:16)・音あり・thinking オン |
紹介ページは、ブラウザで開いて下まで送り、画面で見えるとおりに印刷して PDF にした。表紙・試し読みのコマ・章立て・裏取りの説明・続編の案内まで入っている。
指示文は次の 4 行だけ。
添付の資料は、マンガの本『AInic Dialogs ステーブルコインと契約箱編 ―― お金と契約がコードになる日』の紹介ページです。この資料をもとに、この本の 30 秒の CM を作ってください。
- 絵は日本のアニメ・マンガの絵柄にする。実写や 3DCG にしない
- 登場人物は 2 人。参照画像2 がのり子(黒髪・眼鏡・ベージュのパーカー)、参照画像3 がクロコ(銀髪・オレンジと白のボディスーツ)。顔・髪・服を参照画像と同じに保つ
- ナレーションとセリフは日本語
- 最後に参照画像1(本の表紙)と題名を見せるthinking は「作る前に考える」入れ方で、調べた範囲では、資料を渡すときはオンにするものとされていた。中で何をしているかは公開されていない。
1. 返ってきた動画
11 分半で、480x854・30 秒・音つきの動画が返ってきた。
Wan が返した動画を、載せるために圧縮したもの(絵と音には手を加えていない)。声と BGM も Wan が作ったもの。
カットは 4 つと、最後のカード。切れ目は、0.25 秒ごとのコマと、切れ目の前後のコマを見て数えた。
| 秒 | 絵 | |
|---|---|---|
| 1 | 0〜4.6 | 部屋のビーズクッションでくつろぐのり子。スマホと空き缶。紹介ページの試し読みのコマに近い |
| 2 | 4.6〜11 | クロコ。カメラがノート PC → クロコ → 光る線の走るモニタ → クロコと動く |
| 3 | 11〜17.4 | 宇宙に浮かぶビットコイン・鎖・鍵 → 資料風のパネル(「320件事実検証」)→ 素早く横に振って、コードの空間の光る箱。切れ目の無い 1 カット |
| 4 | 17.4〜24.2 | コードの空間に 2 人が並び、間に光る箱 |
| カード | 24.2〜30 | 表紙風のカード。24.2〜24.5 秒で溶けて入る |
2. Wan が自分で決めたこと
こちらが指示したのは、絵柄・2 人の見た目・日本語・最後に表紙、の 4 つだけだった。残りは Wan が決めた。
| 決めたこと | |
|---|---|
| 構成 | 4 カット+カード。どこで切るか、カメラをどう動かすか |
| つかみ | 試し読みのコマにある割り勘の話を冒頭に持ってきた |
| 台本 | 紹介ページの文を拾い、言い換えながら 30 秒のナレーションにした |
| 絵の比喩 | ビットコイン・鎖・鍵。本の題にある「契約箱」は光る箱として描いた |
| 締め | 「今すぐアマゾンで」と言わせ、紹介ページのボタンまでカードに描いた |
監督・コピーライター・編集を 1 回で済ませた形だ。外から見ると、資料を読んで考える段と、描く段をつないだパイプラインと同じ働きをする。中が実際に分かれているかは公開されていない。返ってきた結果の中で、考えた中身が入りそうな欄(actual_prompt)は空だった。
一方で、1 回通して終わりで、見直す輪は無い。あとで書く副題の間違いは、そのまま残った。
これまでの回と並べると、任せた範囲はこうなる。
| 任せ方 | 何を任せたか | |
|---|---|---|
| 第6回 Grok の CLI | お題を、道具を持つエージェントに | 段取りも自分で進める(何度も呼ぶ) |
| 第7回 Kling 3.0 | お題を 1 回で | カット割り |
| 今回 Wan 3.0 | 資料を 1 回で | 何を言うか(台本)まで |
ただ、今回は PDF だけの版も、thinking をオフにした版も作っていない。なので、資料・参照画像・指示文・thinking のどれが何に効いたかは分けられない。
3. PDF を読んだのか
表紙の画像にも、宣伝の文が印刷されている。なので、ナレーションが表紙の文と同じでも、PDF を読んだ証拠にはならない。
ナレーションの前半には、表紙には無く PDF にしかない文の言い換えが入っていた。ナレーションは faster-whisper(large-v3)で文字起こしした。
| PDF の文 | ナレーション(文字起こし) |
|---|---|
| 「誰がいくら払って、誰が立て替えて——」(試し読みのコマの説明) | 誰がいくら払って誰が立て替えて、もう頭ん中ぐっちゃぐちゃ |
| ホワイトペーパーから入らない。夜の台所から始める。 | ホワイトペーパーからじゃない、あなたの立場から始まる |
| ステーブルコインも契約箱も、ここから自然に繋がる。 | ステーブルコインと契約箱が自然につなげる |
画面にも、PDF にしか無いものが出ている。
- 資料風のパネルの「320」(紹介ページの「全 320 件」)
- 最後のカードの値段「¥1,250」と、ボタンの「Kindle Unlimited」「単品購入」「Amazon で開く」。どれも表紙にも指示文にも無く、紹介ページのボタンにある
後半は、表紙に印刷された文に近い。ただ、6 か所で日本語が崩れていた。文字起こしの聞き違いではなく、Wan のナレーションそのものが崩れていることは、耳で聞いて確かめた。
| 秒 | Wan のナレーション(文字起こし) | 表紙の文 |
|---|---|---|
| 14 | 30年の構想 | 狂騒の歴史 |
| 15 | 最新の反撃性 | 最新の法規制 |
| 16 | ひとんの線 | 1本の線 |
| 18 | のりこが勝てる | のり子が建てる |
| 19 | 誰にもけない | 誰にも預けない |
| 24 | 前提詞式ゼロ | 前提知識ゼロ |
ナレーションは 28.5 秒に約 190 字(1 秒に 6〜7 字)を詰めている。中身は資料から正しく拾えていても、声にするところで日本語が崩れた形だ。
4. 崩れたところ、保たれたところ
保たれたのは絵とキャラだ。アニメの絵柄のまま作られ、実写や 3DCG にはならなかった。のり子とクロコの顔・髪・服は、参照の絵に近い。切れ目の前後と、続けて並ぶ 10 コマ(2 か所)を見たかぎりでは、コマの跳びは無かった。
崩れたのは、後半のナレーションの日本語(3 節)と、画面の文字だ。画面の文字は、特に最後のカードが崩れた。
- 指示文に書いた題名(『…契約箱編 ―― お金と契約がコードになる日』)を描こうとして、「お金とコイン・コードになる日」と字を間違えた。この行は表紙には無い
- 表紙の 2 人を、光る箱に描き換えた
- 下の小さい字が崩れた(法規制が「法幾劃」、前提知識が「朗進知瞻」のようになった)
- 紹介ページのボタン(「Kindle Unlimited な」「単品購入」「Amazon で開く」)と、崩れたアイコンまで描いた
- 途中の資料風のパネルの日本語も崩れている(「アテラアスーアイン」など)
大きなキャッチ「お金と契約が、コードになる日。」と、値段の ¥1,250(紹介ページと同じ)は正しかった。
5. 直す——Wan の外で
崩れた所だけを Wan に直させる道は、調べた範囲では細かった。Alibaba の説明書では、Wan 3.0 の編集に渡せる動画は 15 秒までで、直す時間の範囲やマスクは指定できない。延長はあるが、途中から作り直すことはできない。同じ seed でも同じ動画になるとは限らない、とも書かれていた。字の崩れ 1 か所のために、15 秒を丸ごと作り直すことになる。
そこで、絵・キャラ・構成は Wan のものを使い、文字と声は手元で仕上げた。
- 表紙:23.8 秒から 0.5 秒かけて、本物の表紙にフェードで切り替えた。Wan のカードが溶けて入る 24.2 秒より前に切り替え始めるので、崩れた字は出ない(切り替わりのコマを見て確かめた)。直前のカットの 2 人が、表紙の 2 人に重なる
- 声:Wan のナレーションは後半の日本語が崩れていたので、作り直した。Irodori-TTS(v4.1-Small)で、のり子とクロコの声を 6 行作り、各カットの頭に置いた。Wan の約 190 字はこの速さでは 30 秒に入らないので、約 130 字に削った。1 行目だけ 1.15 倍速にした
- BGM:この本の予告編で使った、ACE-Step のトランペットのジャズを小さく敷いた
- 拡大:表紙に切り替わるまでの 0〜24.5 秒を、4x-UltraSharp で 1080x1920 に拡大した(26 分)。表紙は元の大きい画像から作り直した
| 秒 | 声 | セリフ |
|---|---|---|
| 0 | のり子 | 誰がいくら払って、誰が立て替えて……もう頭ぐっちゃぐちゃ! |
| 5.2 | クロコ | ホワイトペーパーからじゃない。あなたの立場から始めよう。 |
| 11 | クロコ | ビットコインからステーブルコインまで。狂騒の歴史を、1本の線でたどる。 |
| 17.7 | のり子 | その先で私が建てるのは、誰にも預けない「契約箱」! |
| 24.2 | クロコ | お金と契約が、コードになる日。 |
| 27.5 | のり子 | 今すぐAmazonで! |
仕上げた版。絵は Wan、声・BGM・表紙・拡大は手元。
見てもらった感想は「顔はいい。口パクが多少ずれてるかな、くらい」。Wan は、キャラの口を自分のナレーションに合わせて動かしていると考えている(測ってはいない)。声を差し替えたので、口の動きとは少しずれる。
つまずいたところ
- 紹介ページを PDF にする:手元のブラウザ自動操作の道具(Playwright)が求めるブラウザの版と、入っているブラウザの版が合わず、起動しなかった。入っているブラウザの場所を直接渡して動かした。遅れて読み込まれる画像を出すため、下まで送ってから印刷した
- 表紙をフェードでつなぐ:動画と、静止画から作った映像で時間の単位が違い、ffmpeg の xfade が止まった。両方を 1/30 秒にそろえて通した
- 声の長さ:Wan のナレーションは 30 秒に約 190 字。手元の TTS の速さでは入らないので、文を削った
- 文字起こしの限界:ずれた 6 か所が、Wan の日本語の崩れか文字起こしの聞き違いかは、文字起こしだけでは分けられなかった。最後は耳で聞いて確かめた
時間とコスト
| 工程 | 時間 | お金 |
|---|---|---|
| Wan 3.0(fal.ai・480p・30 秒・thinking オン) | 11 分半 | 見込み $1.50(1 秒 $0.05。thinking で追加の料金がかかるかは確かめていない) |
| 声 6 行(Irodori-TTS・RTX 3090) | 測っていない | 0 |
| 拡大(4x-UltraSharp・735 コマ・RTX 3090) | 26 分 | 0 |
| PDF 作り・表紙のフェード・音の重ね(ffmpeg) | 測っていない | 0 |
まだ分かっていないこと
- 1 本・1 シードだけの結果。何度か作ると、出来がどれだけ変わるか
- 資料・参照画像・指示文・thinking の、どれが何に効いたか(PDF だけの版や、thinking をオフにした版は作っていない)
- 中で何が起きているか(考える段が別の言語モデルなのか、など)
- fal.ai で、Wan 3.0 の編集と延長が使えるか
- 利用条件:fal.ai と Alibaba の規約では、生成物の権利と商用の利用ははっきり書かれていなかった。生成物の利用や公開の地域を限る決まりは、調べた範囲では見つからなかった。AI 生成と表示する義務もはっきりしなかった(この記事では冒頭に表示している)
CM にした本
今回 CM にしたのは、ビットコインからステーブルコインまでの歴史と最新の法規制を 1 本の線でたどり、その先で「誰にも預けない契約箱」を建てる対話マンガ。Kindle Unlimited で読める。
※ 以下は Amazon アソシエイトリンクです。購入された場合、当サイトに紹介料が支払われます。
