Yyatmita

AI が描いたマンガの「手」を、AI で検品する —— 拾えたもの、拾えなかったもの

AI の描くマンガは、手が崩れる。AInic Dialogs「毒を薬にして勝負に勝つ」の 3 回目と 4 回目で、手だけを切り出して Sonnet に判定させる検査を試した。指の本数や形の崩れは拾えた。腕に逆の手が付く崩れは、1 件も拾えなかった。手の描かせ方は、体の左右ではなく画面の左右と親指の向きで書くと当たりやすい。つまむ手は直すほど崩れが積み重なり、最後はしぐさのほうを変えた。

AIマンガ制作ワークフロー#ai-manga#manginus#comfyui#groundingdino#sam2#claude#codex
← 前の記事: 参照画像 1 枚で同じキャラを描く —— Anima の参照アダプタ 2 つと、LoRA との重ねがけ

指で何かを回すしぐさのコマの手。最初の絵と 4 回の描き直し。左から 最初、手の甲を指定、親指を上に、爪を直す、しぐさを変更

この 5 枚は、同じコマの同じ手だ。左の 4 枚は、どれかがおかしい。腕に逆の手が付いていたり、人さし指の両端に爪があったりする。最後は、手を直すのをやめて、しぐさのほうを変えた。

AI に描かせたマンガで、いちばん崩れやすいのは手だ。指が 4 本になる。6 本になる。袖口からもう 1 本の手が出てくる。AInic Dialogs「毒を薬にして勝負に勝つ」(全 4 話)の 3 回目と 4 回目で、手の崩れを AI に検品させてみた。

結論を先に書く。

  • 手だけを切り出して並べれば、形の崩れは AI で拾える。 前の回の崩れた手 4 個は、全部「怪しい」に入った。OK の手 8 個は、全部 OK と判定した
  • 腕に逆の手が付く崩れは、1 件も拾えなかった。 切り出すのは手のまわりだけなので、どちらの肩から来た腕かが見えない。指が 5 本あれば、手としては正しく見える
  • 手の描かせ方は、体の左右ではなく、画面の左右と親指の向きで書く。 つまむ手は直すほど崩れが積み重なるので、崩れやすいしぐさは早めに変える

1. 手の検査を作る

manginus(このシリーズで使っているマンガ制作の道具)には、もともと顔の検出器がある。吹き出しが顔にかぶっていないか、顔がコマの枠で切れていないかを調べるのに使っている。ただ、この検出器(rtdetrv4-x-manga109s)には「手」の分類が無い。

そこで、ComfyUI に入っている 2 つのモデルを組み合わせた。

役目モデル設定
言葉で物を探すGroundingDINO(SwinT_OGC)言葉は "hand"、閾値は 0.3
探した物の形を切り抜くSAM2(hiera_base_plus)—

出てきた手のマスクから、つながった塊ごとに箱を作って切り出す。切り出した手を 6 個ずつ 1 枚に並べ、Sonnet に見せて判定させた。

判定に渡した 1 枚の例。手を 6 個並べ、どのコマのどの手かを左上に書いた

判定の基準は 4 つにした。

  1. 指の数
  2. 余分な手や腕がないか
  3. 指の形(曲がり方・つながり方)
  4. 手の向き

迷ったら「unsure(判断保留)」にしてよい、と指示した。

2. 3 回目で試す:形の崩れは拾えた

3 回目(101 コマ)で手を探させると、手元の GPU で約 2 分かかった。見つかった 216 個のうち、約 2 割は手ではない物(燃料の缶など)だった。

216 個を Sonnet 6 人で分けて判定し、合わせて約 67 万トークンかかった。

分け方数
形が怪しい19
指が隠れて数えられないだけ59
OK93
手ではない45

この検査が本当に崩れを拾えるかを確かめるため、正解を混ぜた。前の回で崩れていた手 4 個(4 本指、変な指の折り方、袖口から出た余分な手)と、作者が OK とした手 8 個を、どれが正解か分からないようにして判定させた。

前の回の崩れた手。4 本指、変な指の折り方、袖口から出た余分な手

崩れた 4 個は、4 個とも「怪しい(unsure)」に入った。OK の 8 個は、8 個とも OK と判定した。ただし、崩れた手を「崩れ(bad)」とは言い切らなかった。

作者は怪しい 19 個を見て「オッケーかな」と言った。ところがそのあと、作者が PDF で読み返して、左腕に右手が付いたコマを 2 つ見つけた。1 つは怪しい 19 個に入っていた。もう 1 つは「OK」と判定していた。

3. 4 回目:腕に逆の手は、1 件も拾えなかった

4 回目は、描き直し中の 3 ページを除く 20 ページで手を探した。314 個が見つかり、短い辺が 40 ピクセル未満の欠片を除いて 158 個になった。これを Sonnet 4 人で判定した。

判定数
OK72
判断保留50
手ではない36
崩れ0

判断保留のうち、指の数や形で引っかかった 24 個を目で見た。どれも指の重なりや遠景の小さな手、蹴っている足の見間違いで、はっきりした崩れは無かった。

「指の数・形」で判断保留になった 24 個。指の重なりや遠景の手がほとんど

腕を伸ばすコマ・指さすコマの手 17 個は、腕と手の左右も目で見た。食い違いは見つけられなかった。

腕を伸ばす・指さすコマの手 17 個。腕と手の左右を目で確かめた

それでも、作者が読み返すと崩れが 3 つ見つかった。

  • 指で何かを回すしぐさのコマ(冒頭の図): 腕に逆の手が付いていた
  • クロコが札をつまむコマ: 腕に逆の手が付いていた
  • 頭の上で腕を交差させるコマ: 下ろした袖が残り、腕が 3 本に見えた

3 つとも、検査では拾えていなかった。

理由ははっきりしている。切り出すのは手のまわりだけなので、腕がどちらの肩から来ているかが見えない。左右が逆でも、指が 5 本あれば、手の形としては正しく見える。腕が 3 本に見える崩れも、手を 1 つずつ見ていては気づけない。

4. 直し方:体の左右ではなく、画面の左右で書く

崩れた手は、codex で部分的に描き直した。そこで分かったことがある。

体の左右(右手・左手)で書くと、腕に逆の手が付く。 描き手は、指す先に近いほうの腕を伸ばし、その先に文に書かれた左右の手を付ける。結果、右腕の先に左手が付いたりする。

画面の左右と、次の 3 つで書くと当たりやすい。

  • 見える面(手のひら/手の甲)
  • 指先の向き
  • 親指が上か下か

ただし、見える面の指定は守られないことがある。冒頭のコマで「手の甲がこちら」と書いたら、手のひらで描かれて、また左右が逆になった。「手のひらがこちら・指先は右・親指が上、人さし指がその下(握手の向き)」と書いて、ようやく直った。

もう 1 つ分かったのは、親指と人さし指で小さな物をつまむ形は崩れやすい ことだ。部分的な直しを重ねると、崩れが積み重なる。冒頭のコマは、直すたびに別の所がおかしくなり、途中で人さし指の両端に爪が付いた。作者のひと言は「異形。」だった。

最後は、しぐさを「人さし指を 1 本立てて回す」に変え、最初の絵から描き替えた。

頭の上で腕を交差させるコマも同じだった。交差させたまま直しても崩れが残り、「両手で頭を抱える」に変えたら 1 回で直った。

頭の上で腕を交差させるコマ。左から 最初、腕を交差させる直し、頭を抱えるに変更

クロコが札をつまむコマは、親指を体の側に描かせて直した。

クロコが札をつまむコマの前後。左が最初(腕に逆の手)、右が親指を体の側にした直し

5. これから

手の崩れは、作ったあとで拾うより、描く前に防ぐほうがよさそうだ。次の 3 つを課題にした。

  1. 手の形の見本集を作る。 しぐさごとに、左手・右手 × 手のひら・手の甲を用意し、描くときに「手の形だけの参照」として付ける
  2. 3D の手で、見本の角度を埋める。 Blender の手のモデルを使う
  3. ネームの段で、手のしぐさを決める。 決めたしぐさに見本を自動で付ける。崩れやすいしぐさは、ネームの段で避ける

作者の言葉は、こうだった。

これは課題として考えよう/手形の3Dモデルを用意するとか/手のかたちをたくさん用意しておくとか

6. まとめ

  • 手だけを切り出して並べれば、指の数や形の崩れは AI で拾える。ただし「崩れ」とは言い切らず、「怪しい」に入れてくる。最後は人が見る
  • 腕に逆の手が付く崩れは、手だけを見る検査では拾えない。腕とのつながりを見る仕組みが要る
  • 手の描かせ方は、画面の左右・見える面・指先の向き・親指の向きで書く
  • つまむ手のような崩れやすいしぐさは、直し続けるより、しぐさを変えたほうが早い

参考