Yyatmita

【第10回】Wan 3.0 に本の紹介ページの PDF を渡したら、30 秒の CM が台本ごと返ってきた——絵とキャラは保ち、文字は崩れた

Alibaba の動画生成 AI「Wan 3.0」は、PDF などの資料を参照として渡すと、最長 30 秒の動画を作る。自分の本の紹介ページを PDF にし、表紙と 2 人のキャラの絵、4 行の指示文を添えて、本の CM を作らせた。カット割り・つかみ・ナレーション・絵の比喩・締めまで、1 回の呼び出しで決まって返ってきた。ナレーションには PDF にしか無い文が入り、アニメの絵とキャラの見た目も保たれた。一方で、最後のカードの文字と、ナレーションの後半の日本語は崩れた。カードを本物の表紙に差し替え、声を作り直し、拡大する仕上げは手元でやった。Wan の 1 本は見込み $1.50。

AI動画制作#ai-video#wan#fal#ainic-dialogs
← 前の記事: 【第9回】プレビスで AI 動画の「途中」を縛る——抜く穴の順番と数を、Omni・H3・VACE の 3 つに守らせた

この記事の動画は、Alibaba の動画生成 AI「Wan 3.0」(fal.ai の API 経由)で作った AI 生成の動画。仕上げた版の声は Irodori-TTS、BGM は ACE-Step で作った AI 生成の音で、拡大には 4x-UltraSharp を使った。参照に渡した表紙と 2 人の全身の絵は、マンガ『AInic Dialogs』で使っている既存の絵。

「Wan が、PDF を渡すだけで 30 秒の動画を作れるらしい」と聞いた。調べると、Alibaba が 2026 年 8 月に出した Wan 3.0 の入れ方の一つだった。PDF・PowerPoint・Word・Web ページなどの資料を参照として渡すと、最長 30 秒の動画を作る。

公開されている作例は、製品の資料から CM を作るものが多かった。そこで、自分の本『AInic Dialogs ステーブルコインと契約箱編』の紹介ページ(特設ページ)を PDF にして渡し、本の CM を作らせてみた。

ただし「PDF だけ」ではない。キャラの見た目を保てるかも見たかったので、表紙と 2 人の全身の絵を参照画像として足し、4 行の指示文も添えた。

先に結論を書いておく。1 本・1 シード・480p の結果だ。

  • 構成・台本・絵の比喩・締めまで決まった 30 秒の CM が、1 回の呼び出しで返ってきた。カット割り、つかみ、ナレーション、比喩、締めの「今すぐアマゾンで」は、どれも指示していない
  • PDF を読んでいた。ナレーションの前半に、表紙には無く PDF にしか無い文の言い換えが入った
  • アニメの絵柄のまま作られ、のり子とクロコの顔・髪・服は参照の絵に近かった
  • 日本語でしゃべった。ただ、後半は 6 か所で日本語が崩れ、別の言葉になっていた
  • 文字は崩れた。最後のカードで、指示文に書いた題名を描こうとして字を間違え、小さい字は崩れ、紹介ページのボタンまで描き写した
  • Wan の中で一部だけ直す道は細い。最後のカードを本物の表紙に差し替え、声を作り直し、拡大する仕上げは手元でやった
  • 費用は Wan の 1 本で見込み $1.50。仕上げは手元の道具で、お金はかかっていない

渡したもの

Wan 3.0 は Alibaba Cloud の API のほか、fal.ai などでも使える。今回は fal.ai の alibaba/wan-3.0/reference-to-video を使った。調べた範囲では、資料を渡せるのはこの「参照から作る」入口だけで、文章から作る入口と画像から作る入口には資料の欄が無かった。

項目渡したもの
資料(file_url)紹介ページを PDF にしたもの。6 ページ・12.7MB
参照画像(reference_image_urls)表紙、のり子の全身、クロコの全身の 3 枚
指示文(prompt)下の 4 行
設定480p・30 秒・縦(9:16)・音あり・thinking オン

紹介ページは、ブラウザで開いて下まで送り、画面で見えるとおりに印刷して PDF にした。表紙・試し読みのコマ・章立て・裏取りの説明・続編の案内まで入っている。

渡した PDF の 6 ページ。表紙と題名、試し読みのコマ、7 つの夜の章立て、裏取りの説明、続編の案内、ほかの本の案内 参照画像の 3 枚。表紙、眼鏡に黒髪でベージュのパーカーのり子、銀髪でオレンジと白のボディスーツのクロコ

指示文は次の 4 行だけ。

添付の資料は、マンガの本『AInic Dialogs ステーブルコインと契約箱編 ―― お金と契約がコードになる日』の紹介ページです。この資料をもとに、この本の 30 秒の CM を作ってください。
 
- 絵は日本のアニメ・マンガの絵柄にする。実写や 3DCG にしない
- 登場人物は 2 人。参照画像2 がのり子(黒髪・眼鏡・ベージュのパーカー)、参照画像3 がクロコ(銀髪・オレンジと白のボディスーツ)。顔・髪・服を参照画像と同じに保つ
- ナレーションとセリフは日本語
- 最後に参照画像1(本の表紙)と題名を見せる

thinking は「作る前に考える」入れ方で、調べた範囲では、資料を渡すときはオンにするものとされていた。中で何をしているかは公開されていない。

1. 返ってきた動画

11 分半で、480x854・30 秒・音つきの動画が返ってきた。

Wan が返した動画を、載せるために圧縮したもの(絵と音には手を加えていない)。声と BGM も Wan が作ったもの。

カットは 4 つと、最後のカード。切れ目は、0.25 秒ごとのコマと、切れ目の前後のコマを見て数えた。

秒絵
10〜4.6部屋のビーズクッションでくつろぐのり子。スマホと空き缶。紹介ページの試し読みのコマに近い
24.6〜11クロコ。カメラがノート PC → クロコ → 光る線の走るモニタ → クロコと動く
311〜17.4宇宙に浮かぶビットコイン・鎖・鍵 → 資料風のパネル(「320件事実検証」)→ 素早く横に振って、コードの空間の光る箱。切れ目の無い 1 カット
417.4〜24.2コードの空間に 2 人が並び、間に光る箱
カード24.2〜30表紙風のカード。24.2〜24.5 秒で溶けて入る
カットごとの 1 コマ。くつろぐのり子、クロコ、ビットコインと鍵、資料風のパネル、光る箱、2 人と光る箱、表紙風のカード

2. Wan が自分で決めたこと

こちらが指示したのは、絵柄・2 人の見た目・日本語・最後に表紙、の 4 つだけだった。残りは Wan が決めた。

決めたこと
構成4 カット+カード。どこで切るか、カメラをどう動かすか
つかみ試し読みのコマにある割り勘の話を冒頭に持ってきた
台本紹介ページの文を拾い、言い換えながら 30 秒のナレーションにした
絵の比喩ビットコイン・鎖・鍵。本の題にある「契約箱」は光る箱として描いた
締め「今すぐアマゾンで」と言わせ、紹介ページのボタンまでカードに描いた

監督・コピーライター・編集を 1 回で済ませた形だ。外から見ると、資料を読んで考える段と、描く段をつないだパイプラインと同じ働きをする。中が実際に分かれているかは公開されていない。返ってきた結果の中で、考えた中身が入りそうな欄(actual_prompt)は空だった。

一方で、1 回通して終わりで、見直す輪は無い。あとで書く副題の間違いは、そのまま残った。

これまでの回と並べると、任せた範囲はこうなる。

任せ方何を任せたか
第6回 Grok の CLIお題を、道具を持つエージェントに段取りも自分で進める(何度も呼ぶ)
第7回 Kling 3.0お題を 1 回でカット割り
今回 Wan 3.0資料を 1 回で何を言うか(台本)まで

ただ、今回は PDF だけの版も、thinking をオフにした版も作っていない。なので、資料・参照画像・指示文・thinking のどれが何に効いたかは分けられない。

3. PDF を読んだのか

表紙の画像にも、宣伝の文が印刷されている。なので、ナレーションが表紙の文と同じでも、PDF を読んだ証拠にはならない。

ナレーションの前半には、表紙には無く PDF にしかない文の言い換えが入っていた。ナレーションは faster-whisper(large-v3)で文字起こしした。

PDF の文ナレーション(文字起こし)
「誰がいくら払って、誰が立て替えて——」(試し読みのコマの説明)誰がいくら払って誰が立て替えて、もう頭ん中ぐっちゃぐちゃ
ホワイトペーパーから入らない。夜の台所から始める。ホワイトペーパーからじゃない、あなたの立場から始まる
ステーブルコインも契約箱も、ここから自然に繋がる。ステーブルコインと契約箱が自然につなげる

画面にも、PDF にしか無いものが出ている。

  • 資料風のパネルの「320」(紹介ページの「全 320 件」)
  • 最後のカードの値段「¥1,250」と、ボタンの「Kindle Unlimited」「単品購入」「Amazon で開く」。どれも表紙にも指示文にも無く、紹介ページのボタンにある

後半は、表紙に印刷された文に近い。ただ、6 か所で日本語が崩れていた。文字起こしの聞き違いではなく、Wan のナレーションそのものが崩れていることは、耳で聞いて確かめた。

秒Wan のナレーション(文字起こし)表紙の文
1430年の構想狂騒の歴史
15最新の反撃性最新の法規制
16ひとんの線1本の線
18のりこが勝てるのり子が建てる
19誰にもけない誰にも預けない
24前提詞式ゼロ前提知識ゼロ

ナレーションは 28.5 秒に約 190 字(1 秒に 6〜7 字)を詰めている。中身は資料から正しく拾えていても、声にするところで日本語が崩れた形だ。

4. 崩れたところ、保たれたところ

保たれたのは絵とキャラだ。アニメの絵柄のまま作られ、実写や 3DCG にはならなかった。のり子とクロコの顔・髪・服は、参照の絵に近い。切れ目の前後と、続けて並ぶ 10 コマ(2 か所)を見たかぎりでは、コマの跳びは無かった。

参照の絵と Wan の出力の顔。のり子は眼鏡と黒髪、クロコは銀髪と金の目が、参照のとおりに出ている

崩れたのは、後半のナレーションの日本語(3 節)と、画面の文字だ。画面の文字は、特に最後のカードが崩れた。

左は Wan が作ったカード、右は渡した表紙。Wan のカードは 2 人が光る箱に描き換えられ、副題が足され、下に紹介ページのボタンが描かれている
  • 指示文に書いた題名(『…契約箱編 ―― お金と契約がコードになる日』)を描こうとして、「お金とコイン・コードになる日」と字を間違えた。この行は表紙には無い
  • 表紙の 2 人を、光る箱に描き換えた
  • 下の小さい字が崩れた(法規制が「法幾劃」、前提知識が「朗進知瞻」のようになった)
  • 紹介ページのボタン(「Kindle Unlimited な」「単品購入」「Amazon で開く」)と、崩れたアイコンまで描いた
  • 途中の資料風のパネルの日本語も崩れている(「アテラアスーアイン」など)
カードの下の部分を拡大したもの。小さい字の一部が別の字になり、ボタンの文字が途中で切れている

大きなキャッチ「お金と契約が、コードになる日。」と、値段の ¥1,250(紹介ページと同じ)は正しかった。

5. 直す——Wan の外で

崩れた所だけを Wan に直させる道は、調べた範囲では細かった。Alibaba の説明書では、Wan 3.0 の編集に渡せる動画は 15 秒までで、直す時間の範囲やマスクは指定できない。延長はあるが、途中から作り直すことはできない。同じ seed でも同じ動画になるとは限らない、とも書かれていた。字の崩れ 1 か所のために、15 秒を丸ごと作り直すことになる。

そこで、絵・キャラ・構成は Wan のものを使い、文字と声は手元で仕上げた。

  1. 表紙:23.8 秒から 0.5 秒かけて、本物の表紙にフェードで切り替えた。Wan のカードが溶けて入る 24.2 秒より前に切り替え始めるので、崩れた字は出ない(切り替わりのコマを見て確かめた)。直前のカットの 2 人が、表紙の 2 人に重なる
  2. 声:Wan のナレーションは後半の日本語が崩れていたので、作り直した。Irodori-TTS(v4.1-Small)で、のり子とクロコの声を 6 行作り、各カットの頭に置いた。Wan の約 190 字はこの速さでは 30 秒に入らないので、約 130 字に削った。1 行目だけ 1.15 倍速にした
  3. BGM:この本の予告編で使った、ACE-Step のトランペットのジャズを小さく敷いた
  4. 拡大:表紙に切り替わるまでの 0〜24.5 秒を、4x-UltraSharp で 1080x1920 に拡大した(26 分)。表紙は元の大きい画像から作り直した
秒声セリフ
0のり子誰がいくら払って、誰が立て替えて……もう頭ぐっちゃぐちゃ!
5.2クロコホワイトペーパーからじゃない。あなたの立場から始めよう。
11クロコビットコインからステーブルコインまで。狂騒の歴史を、1本の線でたどる。
17.7のり子その先で私が建てるのは、誰にも預けない「契約箱」!
24.2クロコお金と契約が、コードになる日。
27.5のり子今すぐAmazonで!

仕上げた版。絵は Wan、声・BGM・表紙・拡大は手元。

見てもらった感想は「顔はいい。口パクが多少ずれてるかな、くらい」。Wan は、キャラの口を自分のナレーションに合わせて動かしていると考えている(測ってはいない)。声を差し替えたので、口の動きとは少しずれる。

つまずいたところ

  • 紹介ページを PDF にする:手元のブラウザ自動操作の道具(Playwright)が求めるブラウザの版と、入っているブラウザの版が合わず、起動しなかった。入っているブラウザの場所を直接渡して動かした。遅れて読み込まれる画像を出すため、下まで送ってから印刷した
  • 表紙をフェードでつなぐ:動画と、静止画から作った映像で時間の単位が違い、ffmpeg の xfade が止まった。両方を 1/30 秒にそろえて通した
  • 声の長さ:Wan のナレーションは 30 秒に約 190 字。手元の TTS の速さでは入らないので、文を削った
  • 文字起こしの限界:ずれた 6 か所が、Wan の日本語の崩れか文字起こしの聞き違いかは、文字起こしだけでは分けられなかった。最後は耳で聞いて確かめた

時間とコスト

工程時間お金
Wan 3.0(fal.ai・480p・30 秒・thinking オン)11 分半見込み $1.50(1 秒 $0.05。thinking で追加の料金がかかるかは確かめていない)
声 6 行(Irodori-TTS・RTX 3090)測っていない0
拡大(4x-UltraSharp・735 コマ・RTX 3090)26 分0
PDF 作り・表紙のフェード・音の重ね(ffmpeg)測っていない0

まだ分かっていないこと

  • 1 本・1 シードだけの結果。何度か作ると、出来がどれだけ変わるか
  • 資料・参照画像・指示文・thinking の、どれが何に効いたか(PDF だけの版や、thinking をオフにした版は作っていない)
  • 中で何が起きているか(考える段が別の言語モデルなのか、など)
  • fal.ai で、Wan 3.0 の編集と延長が使えるか
  • 利用条件:fal.ai と Alibaba の規約では、生成物の権利と商用の利用ははっきり書かれていなかった。生成物の利用や公開の地域を限る決まりは、調べた範囲では見つからなかった。AI 生成と表示する義務もはっきりしなかった(この記事では冒頭に表示している)

CM にした本

今回 CM にしたのは、ビットコインからステーブルコインまでの歴史と最新の法規制を 1 本の線でたどり、その先で「誰にも預けない契約箱」を建てる対話マンガ。Kindle Unlimited で読める。

書籍「AInic Dialogs ステーブルコインと契約箱編」表紙▮ BOOK / 書籍AInic Dialogs ステーブルコインと契約箱編お金と契約が、コードになる日。ビットコインからステーブルコインまでの狂騒の歴史と最新の法規制を1本の線でたどり、その先で「誰にも預けない契約箱」を建てる対話マンガ。Kindle Unlimited で読み放題。Kindle Unlimited 読み放題 →

※ 以下は Amazon アソシエイトリンクです。購入された場合、当サイトに紹介料が支払われます。

AInic Dialogs ステーブルコインと契約箱編
Amazon で見る →

前回は第9回 プレビスで AI 動画の「途中」を縛る。