Страница о математике
Проверено ПО для проверки доказательств
Идея
Пять проверок, которые копируют друг друга, — это на самом деле одна проверка.
Допустим, пять человек проверяют ответ и все пятеро соглашаются. Кажется надёжно. Но если все пятеро узнали об этом из одного источника, их согласие — не пять мнений. Это одно мнение, повторённое пять раз. Количество проверок выглядит как пять. Реальное число — одна.
Это важно для ИИ. ИИ-система может многократно проверять собственные рассуждения и всё равно ошибиться, если эти проверки разделяют одно слепое пятно. Coherence Collapse Analysis — это то, как CIRIS отличает настоящие проверки от эха.
Единственная формула
Считаем проверки, которые у нас есть на самом деле.
В основе лежит одна короткая формула. Она пришла из опросной статистики, где называется дизайн-эффектом Киша, и та же форма встречается в теории голосования и в инженерии безопасности. CIRIS применяет её к согласованию ИИ.
real checks = checks / (1 + copying × (checks − 1))
«Checks» — сколько проверок вы провели. «Copying» — насколько они пересекаются, от 0 (полная независимость) до 1 (полное совпадение). Результат — сколько проверок у вас есть на самом деле.
Нет копирования: десять проверок считаются как десять только тогда, когда каждая из них — отдельная проверка.
Полное копирование: десять проверок считаются как одна. Не важно, сколько их добавлять.
На реальном трафике
Это было измерено, а не только выведено теоретически.
CIRIS измерил реальное число проверок на своём живом трафике агентов, на тысячах записанных решений. На здоровом трафике он работал в диапазоне примерно от семи до девяти по-настоящему независимых проверок. Это измерение и методология описаны в исследовании Constrained Reasoning Chains. Живые числа можно наблюдать на странице исследований.
Честный потолок
Что эта математика не может сделать.
Статья доказывает жёсткий предел для самой себя. Некоторые виды вреда возникают не от одной нечестной части. Они возникают от честных частей, которые в сумме дают плохой результат, и статья доказывает, что часть такого вреда невидима для любого проверяющего, который смотрит только на части, как бы хорош он ни был. CIRIS говорит об этом прямо, вместо того чтобы делать вид, что математика улавливает всё.
Что система действительно обещает, так это запись. Каждое решение оставляет подписанную квитанцию, которую нельзя незаметно переписать, поэтому ложь должна оставаться согласованной с тысячами квитанций, которые ей никогда не стереть. Умение хорошо читать эти квитанции остаётся открытой работой, и мы говорим об этом прямо. Учётные книги остаются правдивыми в любом случае.
Как всё складывается
Математика — одна часть большего целого.
Эта страница — само измерение. Когерентный храповик — о том, как измерение применяется на практике. Федерация — о том, как это становится тем, что совместно используют многие системы. А полные доказательства, написанные так, чтобы компьютер мог проверить каждую строку, — в статье и репозитории RATCHET.