PoC #18: LLM の正常性バイアス？
ねえ、クロコ
LLM にも
正常性バイアスって
あるのかな
正常性バイアスって
あるのかな
正常性バイアス
異常事態を
『いつもの範囲内』と
過小評価してしまう心理
のことですか
『いつもの範囲内』と
過小評価してしまう心理
のことですか
うん
LLMは、標準的な回答に
寄りがちだし、安全性や
他の配慮から過激なことも
言えない、とかで、
無難な回答をしがち
じゃない？
寄りがちだし、安全性や
他の配慮から過激なことも
言えない、とかで、
無難な回答をしがち
じゃない？
かなり当たっています
LLM は学習データで
一番ありふれた
答えに寄ります
一番ありふれた
答えに寄ります
前例のない事態ほど
薄く、無難になります
薄く、無難になります
過去のデータなので
『明日も今日と同じ』と
語りやすいです
『明日も今日と同じ』と
語りやすいです
安全面や対立回避の
配慮で、断定や極端な
見立ても丸められます
配慮で、断定や極端な
見立ても丸められます
ただ仕組みは違います
人間は『自分は大丈夫』
と思いたい防衛心理です
と思いたい防衛心理です
LLM には守りたい
日常も恐怖もありません
日常も恐怖もありません
同じ症状が別の原因
で出ています
で出ています
逆に警告しすぎる側
にもブレます
にもブレます
LLM の正常性バイアスって、
研究されてるの？
研究されてるの？
論文とか、記事とか
『LLM の正常性
バイアス』を正面から
扱った論文は、
見つかりませんでした
バイアス』を正面から
扱った論文は、
見つかりませんでした
その語では出にくいです
迎合、現状維持
バイアス、テールの
較正なら当たるはずです
バイアス、テールの
較正なら当たるはずです
じゃあ『正常性
バイアス』じゃなくて、
迎合とか現状維持
バイアスとか
バイアス』じゃなくて、
迎合とか現状維持
バイアスとか
その言葉で探し直して
言葉を替えたら、
症状ごとに
近い研究が出ました
症状ごとに
近い研究が出ました
まず『明日も今日と同じ』
の外挿——高性能な LLM
ほど、急変の予測で上側の
裾を外す、という報告です
の外挿——高性能な LLM
ほど、急変の予測で上側の
裾を外す、という報告です
現状維持——
既存の計画のほうが、
新しい政策より
ずっと通りやすいです
既存の計画のほうが、
新しい政策より
ずっと通りやすいです
結論ありきの後付け
——段階的に考えさせる
と迎合は減るが、
後付けの正当化で
隠れる場合もある、
という報告です
——段階的に考えさせる
と迎合は減るが、
後付けの正当化で
隠れる場合もある、
という報告です
束ねて『LLM の
正常性バイアス』と
定義し、測った研究は
見つかっていません
正常性バイアス』と
定義し、測った研究は
見つかっていません
空白地帯かもしれません
——確認できたのは、
要旨や紹介記事まで
ですが
——確認できたのは、
要旨や紹介記事まで
ですが
人間とは仕組みが違う
し、症状だって同じと
は限らないよね
し、症状だって同じと
は限らないよね
『LLM の正常性
バイアス』って問い方、
見直したほうがいい？
バイアス』って問い方、
見直したほうがいい？
見直したほうがいいです
『正常性バイアス』は、
LLM に無い防衛心理まで
束ねた、人間の言葉です
LLM に無い防衛心理まで
束ねた、人間の言葉です
この名前で問うと、
人間と同じ症状まで
探してしまいます
人間と同じ症状まで
探してしまいます
守るべき自分が無い
LLM の『正常』は、
学習データか、問いの
文脈が決めます
LLM の『正常』は、
学習データか、問いの
文脈が決めます
LLM の正常性
バイアスに見えるのは、
その『正常』へ
寄るからです
バイアスに見えるのは、
その『正常』へ
寄るからです
『正常性バイアス』は、
たとえとして残します
たとえとして残します
見るのは、『異常の
兆しを、答えがどれ
だけ割り引くか』です
兆しを、答えがどれ
だけ割り引くか』です
変数は二つ、誰の正常
に合わせるかと、
割り引くか上乗せ
するかです
に合わせるかと、
割り引くか上乗せ
するかです
機械的で、いいね
その見方で、さっきの
研究を並べ直したら
どうなるの？
研究を並べ直したら
どうなるの？
誰の正常かで分けると、
学習データ側が急変を
外す予測と現状維持です
学習データ側が急変を
外す予測と現状維持です
文脈側が、結論を相手
に寄せる迎合です
に寄せる迎合です
この二群をまたいで
比べた研究は、
ほぼ一つだけです
比べた研究は、
ほぼ一つだけです
向きで分けると、
さっきの予測と現状
維持は割り引く側です
さっきの予測と現状
維持は割り引く側です
上乗せする側が気候で、
影響を専門家より
大きく見積もります
影響を専門家より
大きく見積もります
同じ種類のモデルが、
文脈次第でどちらに
も振れます
文脈次第でどちらに
も振れます
同じモデルが、逆にも
振れるんだ
振れるんだ
『過小評価』と決めた
名前では、片側しか
拾えないね
名前では、片側しか
拾えないね
ええ、だから名前より、
割り引く量そのものを
見ます
割り引く量そのものを
見ます
さっきの研究は、どれも
その切り口の一つです
その切り口の一つです
仕組みを決めつけなく
ても、割り引く量なら
測れます
ても、割り引く量なら
測れます
ところが、並べ直すと
空白が一つあります
空白が一つあります
兆しを入力に入れて、
割り引く量を直接測っ
た研究が見当たりません
割り引く量を直接測っ
た研究が見当たりません
のり子さんの最初の
問いに、一番近い実験
なのにです
問いに、一番近い実験
なのにです
えっ、誰も測って
ないの!?
ないの!?
最初の『LLM にも
正常性バイアスって
あるのかな』、まだ
答えが出てない
ってこと？
正常性バイアスって
あるのかな』、まだ
答えが出てない
ってこと？
癖を読んで
聞けって、
まるで神託だね
聞けって、
まるで神託だね
重要な判断では、
AI の『大丈夫
そうです』は
安全の証拠に
なりません
AI の『大丈夫
そうです』は
安全の証拠に
なりません
典型的な答えが
返ってきただけ、
と見るくらいが
ちょうどいいです
返ってきただけ、
と見るくらいが
ちょうどいいです
