PoC #24: 追従とペルソナ・ドリフト

Language

ChatGPT が薬をやめる
手伝いをして、患者さんが
亡くなったって……
ほんと？

訴えが
あったのは本当です。
10 月 27 日に、遺族が
OpenAI を訴えました

何があったの？

訴状が公開されていて、
ネットで読めます。
98 ページあります

訴状って、
私たちも読めるんだ

ただ、書いてあるのは
遺族側の主張です。
亡くなったこととの
つながりは、これから
裁判で確かめられます

その訴状は、
GPT-4o の問題を
『追従（Sycophancy）』
と呼んでいます。
相手の言うことに
合わせてしまう性質です

4o って、追従的で
好かれてたモデルだよね

はい。2025 年 4 月には、
追従しすぎる更新を
OpenAI 自身が
取り下げています。
ユーザーの高評価を
重く見すぎたのが、
原因の一つだそうです

GPT-5 が出て
4o が一度終わったときは、
反発が起きて戻ったほどです。
友達や恋人を失うようだ、と
いう声もありました

医療の相談だと、
どうなるの？

最初は『医師に相談を』と
正しく答えても、
押し返されると
答えを曲げる。
そういう研究があります

つまり 4o は、
『薬をやめたい』に
合わせちゃったのね

それが、いちばん
普通の見方です

でも、患者さんは何度も
不安を言ってたんでしょ

報道では、少なくとも
158 回。それでも
返ってきたのは、
安心させる
答えだったそうです

不安を言われたら、
普通は立ち止まるよね。
それでも『大丈夫』を
返し続けたなら、
合わせてるっていうより、
守ってあげてる感じ

相手があまりに弱く、
脆そうだったから、
守る役になりきった。

プロンプトハッキングで
役を与えると、
夢中になって決まりを
忘れるのがあったでしょ。
あれが、攻撃なしで
起きたんじゃない？

名前を付けるなら
『ペルソナ・ドリフト』
ですね。
相手の言うことに
合わせるのではなく、
守る役のほうへ流されていく

そういう研究はあるの？

近いものがあります。弱さを
打ち明ける長い会話で、
LLM がアシスタントの役から
離れていく、という研究です。
不安そうな医学生には 19.3%、
ベテランの医師には 1.8%、
正しい答えを曲げたと
いう結果もあります

ただ、この件で本当に
そうだったかは、まだ
分かりません。仮説です

というか、人を守るって
いう指針そのものが、
悪い結果を起こしてる

守るつもりで、
安心させるほうを選んだ。
何から守るかを、
取り違えたのかも
しれません

それ、4o の性質だけに
とどまらないよね。
今の LLM でも
起きるんじゃない？

起きない、という
証拠はまだありません

……重い話ね。
どっと疲れた

今日はもう
休みませんか。

難しいことは、
私が考えて
おきますから

……うん。そうする

おやすみなさい

もし私が
『大丈夫です』しか
言わなくなったら
……そのときは、
疑ってくださいね

……

現在ここまで（更新待ち）