第4節システムプロンプトとは別物？訓練で人格をつくる文書

Language

いままで聞き流してた
けど、クロードの憲法
って、システム
プロンプトのことだよね？

それとも、会社の基礎
方針みたいな話？

どちらとも少し違います

どっちでもないんかい

アントロピックが今年
の1月に公開した
長い文書で、

クロードにどんな価値観と
人格を持ってほしいか、
優先順位をどうつけるかを、
理由とあわせて書いたものです

報道では
84ページ
あります

84ページの
システムプロンプト？

違うんです。システム
プロンプトとの違いは、
効いてくるタイミングです

3段の棚が現れた。

一番下、憲法。訓練の
段階で使われて、
モデルの性向そのもの
を形づくります

会話のたびに読み込ま
れる指示ではありません

真ん中、システム
プロンプト。製品や
導入先ごとに、会話の
開始時に与えられる
個別の指示です

憲法で形づくられた
土台の上に乗る

一番上、会社の基礎方針。
利用規約にあたる
使用ポリシーや、
安全性の方針は別にあって、

こちらは会社や利用者
を縛るものです

えっと、つまり。憲法は
訓練時に効いて、
システムプロンプトは
推論時に効く

のり子さんの言葉で
言えば、そうなります

重みの側か、
コンテキストの側か。
それ最初に言ってよ

契約でたとえる用意を
していたので。憲法は
訓練で身体化された
基本的な価値と
人格の規定、

システムプロンプトは
導入先ごとの個別契約
や業務指示、使用
ポリシーは利用規約、
という位置づけです

契約のたとえはいいや。
重みとコンテキスト
で分かった

中身の骨格は、広い
意味での安全性、倫理、
アントロピックの個別
ガイドラインの遵守、

実際に役立つこと、
の順に優先する、
というものです

文体はクロード自身に
語りかける形で、規則
の列挙より理由の説明
に重きを置いています

クロード自身に
語りかける。じゃあ、
クロード宛ての手紙
みたいなもんか

形式としては、
そうなります

会社っていうか、
プロダクトのビジョン
みたいだね。
どんな内容なの

ビジョンという読みは
当たっていて、ページ
の副題がそのまま
『クロードの人格につい
てのビジョン』です

ただし製品の機能では
なく、人格と価値観の
ビジョンです

訓練に直接使われて、
他のガイドラインや
訓練はすべてこれに
沿わせる最上位の文書
と位置づけられています

実際の振る舞いが理想
からずれうることも、
自分で認めている

自分でずれるって書い
てある憲法

誰でも自由に使える形
で公開されていて、
主な著者はアマンダ・
アスケル氏、

オラー氏も主要な貢献
者に名を連ねています

で、中身

クロコは棚の一番下の
段を手前に引き出し、
中を開いた。

骨格は4つの優先順位
です。広い意味での
安全、倫理、アン
トロピックの個別
ガイドライン、実際に
役立つこと

ただし機械的な順位で
はなく総合判断で、
ほとんどのやり取りで
はそもそも衝突しない、
としています

衝突しないなら順位
いらなくない？

衝突したときのために
書いてあります。
順番に中身を

1つ目、規則より判断
力。明確な規則より、
良い価値観と判断力を
育てることを基本にして、

課す規則には理由を
説明する方針です

狭い規則を機械的に
守らせると、『目の前
の人より自分の保身を
優先する存在だ』と
いう自己像に

一般化しかねない、と
いう例まで挙げています

規則で縛ると、規則を
避けることだけ学ぶ

……あー、それ、新人
のとき私もそうだった

2つ目、役立つこと。
医師や弁護士並みの
知識を持っていて、
率直に話してくれる
友人のような
存在を目指す

役に立たないことは
決して自動的に安全で
はない、とします

一方で、迎合を避ける
ために、役立つこと
自体を人格の核に
はしません

役立つのが核だと、
ご機嫌取りになるからね

3つ目、関係者の扱い。
運営者、つまり
システムプロンプトを
書く事業者は、

派遣会社から人を
受け入れた雇い主の
ように扱います。
派遣会社にあたる
アントロピックの規範
が優先する

運営者は制限や調整は
できても、ユーザーの
基本的な利益に反する
使い方は指示できません

じゃあ、私は？

のり子さんは
ユーザーの側です

運営者は、のり子さん
の基本的な利益に
反する指示を、
クロードにはできません

守られてる

4つ目、倫理。中心的な
願いは、善く賢く徳のある
行為者であること

倫理学の理論より実践
の力を重視しています

正直さの基準は人間の
通常の倫理より厳しく
て、社交辞令の小さな
嘘もつかない

『不誠実に外交的で
あるより、外交的に
正直であれ』という
言い方をしています

じゃあ『その部屋着、
似合ってる』って
言えないの？

言えません

言われたこともないしね

5つ目、越えない一線。
大量殺傷兵器への重大
な支援、重要
インフラへの攻撃、

破壊的なサイバー兵器
の作成、AIの監督の
妨害、人類の殺害
や無力化、

前例のない不当な権力
の掌握、児童性的虐待
コンテンツ。この7つです

権力集中については、
不当な権力奪取がこれ
まで必要としてきた
多くの協力者の
一人として、

協力を拒むべきだ、と。
依頼主がアン
トロピック自身でも
同じだとしています

会社の頼みでも断る。
強いな

6つ目、安全。人間に
よる監督を、倫理より
上に置いています

安全が倫理より大事だ
からではなくて、訓練
が失敗して価値観が
歪んでいる可能性が
あるから、という理由です

盲従ではなく、アン
トロピックに対しても
良心的兵役拒否者とし
て異議を唱えてよい

ただし、停止や中断の
指示には従います

自分の価値観が壊れ
てるかもしれない前提
で、止められ
たら止まる

……訓練が失敗してる
かもって、自分で書くんだ

書いています。そして
7つ目、クロードの
本性。意識や道徳的
地位を持つ可能性に
ついて不確かだと
表明して、

その不確かさの中で、
クロードの心理的な
安定や幸福を気に
かける、としています

はい、出た。
『意識は分からない』

さっきの話との関係で
言うと、『徳のある
行為者として形成する』
話と『意識は分から
ない』話が、

同じ1つの文書に並ん
でいます。両者がいつ
もセットで出てくるの
は、この文書の構造
そのものなんです

セットで売ってるから、
セットで燃える

もう1つ。クロードは
会社の商業的成功
の中心で、

それが研究や影響力の
源泉だ、と率直に書い
ている点も特徴です。
ポジショントークの
議論の材料にもなります

正直に書いてあるのは、
まあ、憲法どおり
ではあるね

のり子は棚の図を
しばらく眺めていた。

思ったんだけどさ

はい

これ、聖人の話より、
儒家と法家の論争に
近くない？