数学ページ
証明ソフトウェアによる検証済み
アイデア
互いにコピーし合う五つのチェックは、実質的に一つのチェックです。
五人が答えを確認してすべて同意したとします。安心に思えます。しかし全員が同じ場所から学んだなら、彼らの同意は五つの意見ではありません。一つの意見が五回繰り返されただけです。チェックの数は五に見えます。本当の数は一つです。
これはAIにとって重要です。AIシステムは自身の推論に対して多くのチェックを実行できますが、それらのチェックが同じ盲点を共有していれば、依然として騙される可能性があります。Coherence Collapse Analysisは、CIRISが本当のチェックとエコーの違いを判別する方法です。
一つの数式
本当に持っているチェック数を数える。
その中心には一つの短い数式があります。調査統計から来ており、そこではKishデザイン効果と呼ばれ、同じ形は投票理論や安全工学にも現れます。CIRISはこれをAIアライメントに適用しています。
real checks = checks / (1 + copying × (checks − 1))
「checks」は実行したチェックの数です。「copying」はそれらの重複度で、0（すべて独立）から1（すべて同じ）の範囲です。結果は本当に持っているチェックの数です。
コピーなし：十のチェックは十として数えられます。すべてのチェックが価値を持ちます。
完全コピー：十のチェックは一として数えられます。いくら追加しても意味がありません。
実際のトラフィックで
これは主張ではなく、実際に測定されました。
CIRISは自身のライブエージェントトラフィックで、数千の記録された決定にわたって実際のチェック数を測定しました。健全なトラフィックでは、約七から九の真に独立したチェックの範囲で実行されています。その測定とその方法は、Constrained Reasoning Chains研究です。ライブ数値は研究ページで確認できます。
正直な上限
この数学にできないこと。
論文はそれ自体に硬い限界があることを証明しています。害の種類によっては、一つの不正直な部分から生じるものではなく、正直な部分が積み重なって悪い結果になるものもあります。そして論文は、その種の害の一部は、部分だけを見るどんなチェッカーにも見えないことを証明しています。チェッカーがどれほど優れていても、です。CIRISは数学がすべてを捕まえると装うことなく、そのことを率直に述べています。
システムが本当に約束するのは記録です。すべての決定は、こっそり書き換えることのできない署名付きの領収書を残します。だから嘘は、決して消せない何千枚もの領収書と辻褄を合わせ続けなければなりません。それらの領収書をうまく読むことはまだ開かれた仕事であり、私たちはそう明言します。どちらにしても、帳簿は正しいまま残ります。
どのようにつながるか
この数学はより大きな全体の一部です。
このページは測定です。Coherence Ratchetは測定が活用される方法です。フェデレーションは多くのシステムが共有するものになる方法です。そして、コンピュータが一行ずつ確認できるよう書かれた完全な証明は、論文とRATCHETリポジトリにあります。