La page des maths
Vérifié par logiciel de preuves
L'idée
Cinq vérifications qui se copient toutes ne forment qu'une seule vérification.
Imaginons que cinq personnes vérifient une réponse et que toutes les cinq sont d'accord. Cela semble fiable. Mais si toutes les cinq l'ont appris au même endroit, leur accord n'est pas cinq opinions. C'est une seule opinion répétée cinq fois. Le nombre de vérifications paraît être cinq. Le vrai chiffre est un.
Cela compte pour l'IA. Un système d'IA peut faire de nombreuses vérifications sur son propre raisonnement et se tromper quand même, si ces vérifications partagent le même angle mort. La Coherence Collapse Analysis est la façon dont CIRIS distingue les vraies vérifications des échos.
La formule unique
Compter les vérifications que l'on a vraiment.
Il y a une formule courte au cœur de tout cela. Elle vient des statistiques d'enquête, où elle s'appelle l'effet de plan Kish (Kish design effect), et la même forme apparaît dans la théorie du vote et dans l'ingénierie de la sécurité. CIRIS l'applique à l'alignement de l'IA.
real checks = checks / (1 + copying × (checks − 1))
« Checks » est le nombre de vérifications effectuées. « Copying » mesure leur chevauchement, de 0 (toutes indépendantes) à 1 (toutes identiques). Le résultat est le nombre de vérifications que l'on a vraiment.
Aucune copie : dix vérifications comptent pour dix. Chaque vérification mérite sa place.
Copie totale : dix vérifications comptent pour une. Peu importe combien on en ajoute.
Sur du trafic réel
Cela a été mesuré, pas seulement argumenté.
CIRIS a mesuré le nombre de vraies vérifications sur son propre trafic d'agents en production, à travers des milliers de décisions enregistrées. Sur du trafic sain, il a fonctionné dans une plage d'environ sept à neuf vérifications vraiment indépendantes. Cette mesure, et la façon dont elle a été réalisée, constitue l'étude Constrained Reasoning Chains. Vous pouvez suivre les chiffres en direct sur la page de recherche.
Le plafond honnête
Ce que ces mathématiques ne peuvent pas faire.
L'article prouve une limite dure sur lui-même. Certains types de préjudices ne viennent pas d'une seule partie malhonnête. Ils viennent de parties honnêtes dont la somme donne un mauvais résultat, et l'article prouve qu'une part de ce préjudice reste invisible pour tout vérificateur qui ne regarde que les parties, aussi bon soit-il. CIRIS le dit clairement plutôt que de prétendre que les mathématiques attrapent tout.
Ce que le système promet vraiment, c'est le registre. Chaque décision laisse un reçu signé qui ne peut pas être réécrit en douce, si bien qu'un mensonge doit rester cohérent avec des milliers de reçus qu'il ne pourra jamais effacer. Bien lire ces reçus reste un travail ouvert, et nous le disons. Les comptes restent justes dans tous les cas.
Comment tout s'articule
Les mathématiques sont une partie d'un tout plus grand.
Cette page est la mesure. Le Coherence Ratchet est la façon dont la mesure est mise en œuvre. La Fédération est comment elle devient quelque chose que de nombreux systèmes partagent. Et les preuves complètes, écrites de façon à ce qu'un ordinateur puisse les vérifier ligne par ligne, se trouvent dans l'article et le dépôt RATCHET.