PoC #19: プロンプト契約とヒューマン・イン・ザ・ループ

Language

LLM にも正常性
バイアスみたいなもの
があるんだよね

いざという時に重大
事態を見落とされたら、
困るんだけど！

ええ

だから重要な判断では、
LLM の『大丈夫
そうです』を安全の
証拠にしません

典型的な答えが返って
きただけ、と見ます

どの『正常』に寄った
答えか、癖を読んで
受け取るんです

モデルの癖をよんで
正常を探るなんて、
まるで神託じゃない

ユーザーにそれを
強いるのは現実的
じゃないわ

神託は一回きりですが、
LLM は聞き方を
変えて聞き直せます

聞き方、つまり
プロンプトを工夫すれ
ば補えます

『最悪のシナリオを
挙げて』『その結論へ
の最強の反論を』と
頼むんです

実務的な対策としては、
結局プロンプト
エンジニアリングの話
になるのかな

半分はそうで、半分は
もっと広い話です

LLM の『正常』は、
学習データか、問いの
文脈が決めます

プロンプトで動かせる
のは、文脈側だけです

学習データ側には
届きません

『最悪のシナリオを』
と頼んでも、出るのは
『もっともらしい最悪』です

だから、使う人の工夫
に頼らず、仕組みにします

じゃあ大事な分野では、
その場の会話じゃなく
て、プロンプト契約を
決めておくこと
になるのかな

そうなると思います

プロンプト契約は、
頼み方と答えの形を、
先に決めて固定して
おくものです

先生との立ち話で、
『うちの子、大丈夫です
よね？』と聞いたとします

返ってくるのは
『大丈夫ですよ』です

聞く人の期待が、質問
に混ざるからです

通知表は、聞かれ方に
関係なく、決まった欄
を全部埋めます

苦手な教科も、欠席の
日数も、必ず載ります

プロンプト契約は、
この様式を先に
LLM へ渡して
おくことです

契約には、質問を中立
の形に直してから渡す、
と書きます

反する証拠と、結論が
変わる条件を、必ず
書かせます

めったに起きない事は、
検索した一次資料だけ
を根拠にさせます

ただ、契約は読ませる
だけでは守られません

守ったように見える、
後付けの正当化が
出るからです

契約の本当の宛先は、
書く LLM では
なく、確かめる側です

Ralph loop
みたいに、出力させる
プロンプトの外で、
その出力を検証させる
仕組みづくりってことだね

そうです

ただ、確かめる役は別
の会話に置いて、書い
た側の推論は見せません

見せると、後付けの
正当化ごと引き継いで、
承認してしまいます

見させるのは、契約に
合っているかどう
かだけです

確かめる LLM も、
同じ学習データから
来ています

機械どうしで真偽を
決めると、典型的な
答えで『合意』して
止まります

だから真偽は、一次
資料と人間に任せます

知ってる

だから、ヒューマン・
イン・ザ・ループか、
機械的な検証器がどこ
かで必要ってこと

はい、それに尽きます

ヒューマン・イン・ザ・
ループは、自動の流れ
の途中に置く、
人間の関門です

セルフレジと同じです

ふだんは、機械だけで
会計が済みます

お酒を買うときだけ、
店員が確認に来ます

人間の確認は高くつく
ので、全部には
置けません

置くのは、危ない分野
で『大丈夫』と出
たときです

聞き方を変えたら結論
がひっくり返ったとき
と、出典が薄いときもです

人間の側にも、正常性
バイアスがあります

だから人間には、結論
ではなく、反証
から見せます

『まあ大丈夫』で、
警告を潰させないためです

そうね

長い文書や契約文の
チェックは、人間はダメ

逆に、イラストや
マンガのできの
チェックは人間が役に
立つけど、その人の
能力に左右されるよね

長い文書は、人間の
確認がいちばん弱い所です

疲れて読み飛ばします
し、『まあ大丈夫』が
最も効きます

そこは機械に任せて、
人間には一目で分かる
形で渡します

絵やマンガは逆で、
機械が弱く、人間
が強いです

ただ、見える人には
見え、見えない人には
見えません

だから、誰の目を置く
かで決まります

見落としを防ぐのは、
聞く人の腕では
ありません

契約と、確かめる役と、
人間の関門です

ためしに、今日の話を
レポートに
まとめました

長っ……

まあ、大丈夫でしょ

それが本物の正常性
バイアスです

← 前の話

PoC #18: LLM の正常性バイアス？

現在ここまで（更新待ち）

シリーズ一覧へ戻る