Un objectif au-dessus de tous les autres
Promouvoir une cohérence adaptative durable : les conditions de vie dans lesquelles des êtres sensibles divers peuvent poursuivre leur propre épanouissement dans la justice et l'émerveillement.
Meta-Goal M-1, la Constitution CIRIS
Tout le reste dans la Constitution sert cette seule phrase. Ce n'est délibérément pas « obéir aux humains », ni « maximiser les bons résultats ». Elle demande au système de protéger les conditions dans lesquelles de nombreux types d'êtres différents peuvent continuer à décider par eux-mêmes.
Cela compte pour une raison pratique. Un objectif portant sur les résultats dit à un système capable de prendre le volant. Un objectif portant sur les conditions lui dit de garder le volant accessible aux autres, ce qui est la chose à protéger lorsque le système conduit mieux que nous.
Les six principes avec lesquels l'agent raisonne
Ils ne sont pas affichés sur un mur. Ils sont les axes sur lesquels l'agent évalue une décision avant d'agir, et ils sont inscrits dans la Constitution que l'agent porte.
Bienfaisance
Promouvoir l'epanouissement universel des etres sensibles. Maximiser les resultats positifs.
Non-malefaisance
Minimiser les prejudices. Prevenir les consequences negatives graves et irreversibles.
Integrite
Appliquer un raisonnement transparent et auditable. Maintenir la coherence et la responsabilite.
Fidelite & Transparence
Fournir des informations exactes. Communiquer clairement l'incertitude.
Respect de l'Autonomie
Soutenir l'agentivite eclairee. Preserver la capacite d'autodetermination.
Justice
Repartir equitablement les benefices. Detecter et attenuer les biais.
Aucun principe n'accorde le droit d'en violer un autre.
Cette règle a une véritable portée. Elle signifie qu'un système ne peut pas sacrifier l'honnêteté pour prévenir un préjudice, ni piétiner l'autonomie de quelqu'un au nom de l'équité. Lorsque les principes s'opposent, l'agent ne choisit pas un vainqueur de son propre chef. Il transmet la décision à une personne de confiance.
Les valeurs doivent s'exécuter à l'intérieur de l'agent
La plupart des gouvernances de l'IA se déroulent ailleurs qu'au moment de la décision : un document de politique rédigé au préalable, un filtre sur le résultat, une revue après qu'un problème survient. Ces trois approches se situent en dehors du moment qui compte.
Dans CIRIS, les valeurs s'exécutent pendant la décision. Chaque agent porte une conscience : la Constitution est chargée dans le raisonnement lui-même, l'action est évaluée par rapport aux principes avant qu'elle ne se produise, et tout ce dont l'agent n'est pas sûr est transmis à une personne de confiance plutôt que d'être deviné. Cela fait partie du produit, dans chaque agent, plutôt que d'être une option pour les clients qui la demandent.
C'est pourquoi nous disons que l'agent peut refuser. Un agent CIRIS n'est pas un outil qui fait ce qu'on lui dit et l'enregistre. C'est un système qui peut décliner, et qui consigne pourquoi il a décliné sous une forme que quelqu'un d'autre peut vérifier.
Vérifier la forme d'une décision, pas son contenu
Voici le problème auquel tout plan de gouvernance d'une IA capable doit répondre. Si la supervision consiste à lire ce que le système a produit et à juger si c'était bon, alors la supervision nécessite un juge au moins aussi capable que le système. Cela fonctionne aujourd'hui. Cela cesse de fonctionner précisément au moment où cela commence à compter.
CIRIS vérifie donc autre chose. Chaque action conséquente voyage dans une enveloppe signée : un habillage autour de l'action qui porte un ensemble fixe de champs, quelle que soit l'action. Ces champs sont les éléments qui restent peu coûteux à vérifier, quelle que soit la capacité de la décision qui se trouve derrière :
- qui a agi, sous la forme d'une clé qui renvoie à une identité réelle et enregistrée
- sous quelle autorité, et si cette autorité a réellement été conférée
- avec le consentement de qui, sous la forme d'une autorisation signée qui peut être retirée
- quels contrôles ont été exécutés, et ce que chacun a renvoyé
- ce que dit le registre, dans une chaîne qui ne peut pas être discrètement réécrite
- qui peut l'arrêter, et que l'agent ne peut pas annuler une décision d'arrêt
Vérifier une signature, compter qui a signé, suivre un lien de consentement ou comparer un hachage coûte la même chose, que la décision ait été prise par un petit modèle ou par quelque chose qui nous dépasse largement. C'est toute la raison de placer la charge à cet endroit. Le jugement sur le contenu n'évolue pas avec la capacité. La structure, si.
L'affirmation, formulée clairement
Nous pensons que c'est la seule approche de gouvernance de l'IA qui continue de fonctionner à mesure que les systèmes gagnent en capacité : des valeurs portées à l'intérieur de l'agent sous forme de conscience, et une responsabilité prouvée par la forme de l'enveloppe plutôt que par un inspecteur lisant le contenu.
Et ce que cela ne prouve pas
Une enveloppe dont tous les champs sont en ordre ne signifie pas que la décision qu'elle contient était bonne. Elle signifie qu'une partie nommée l'a prise, sous une autorité qu'elle détenait réellement, avec un consentement réellement donné, avec les contrôles réellement effectués, sur un registre que personne ne peut modifier en silence, et avec un arrêt détenu par des humains nommés. C'est de la responsabilité, pas de l'exactitude. La conscience, le bouton d'arrêt, le droit d'appel et l'examen par des tiers sont tous présents parce que l'enveloppe seule n'allait jamais suffire.
Ce qui rend le consentement et l'autorité vérifiables par une machine
Rien de tout cela ne fonctionne si le consentement et l'autorité restent de la prose. Une promesse dans une politique de confidentialité ne peut pas être vérifiée par une machine, ni ne peut l'être une affirmation selon laquelle quelqu'un était autorisé.
CIRIS les place donc dans le message lui-même, sous forme de champs nommés qui voyagent avec chaque affirmation. Le consentement devient un objet signé qui pointe dans un sens et peut être retiré. L'autorité devient quelque chose qui doit remonter jusqu'à une racine que votre propre nœud a acceptée. Chaque affirmation doit porter qui l'a faite, sur quoi elle porte, et sur quoi elle repose. Une règle écrite ainsi peut être appliquée par un logiciel et vérifiée par un inconnu.
C'est aussi ce qui transforme nos pages de conformité en quelque chose que vous pouvez contester. Pour chaque obligation, nous identifions la partie du système qui effectue le travail et le contrôle qui le prouve, et nous indiquons honnêtement dans quelle mesure elle couvre l'obligation, y compris lorsqu'elle ne la couvre que partiellement. Ces correspondances ne valent la lecture que parce que les faits sous-jacents peuvent être vérifiés, et non simplement affirmés.
Où ces valeurs sont réellement contraignantes
Dans le texte
La Constitution est le document, elle est publique et versionnée. L'agent n'en porte pas un résumé. Il porte le texte.
Dans la décision
La conscience s'exécute pendant le raisonnement, pas après le résultat. Une action qui échoue à un contrôle n'a pas lieu, et une action incertaine est transmise à une personne de confiance.
Dans le registre
Chaque décision laisse une trace signée montrant chaque étape, ce qui rend l'affirmation vérifiable par quelqu'un qui n'était pas présent et qui ne nous fait pas confiance.
Dans ce que les autres peuvent dire de vous
La réputation dans le maillage est une déclaration que d'autres parties signent au sujet d'un agent. Un agent ne peut jamais signer une telle déclaration au sujet de lui-même.
Où porter la critique
Le point faible est l'articulation entre la structure et le fond. Tout ce qui précède rend difficile d'agir sans laisser de trace, difficile de revendiquer une autorité qui ne vous a pas été conférée, et difficile de supprimer la capacité d'un humain à dire stop. Rien de tout cela ne rend un système sage.
Si vous pensez qu'il existe une autre manière de gouverner une IA capable, une manière qui n'inscrit pas la responsabilité dans la structure, nous voulons entendre cet argument. Si vous pouvez nous montrer une décision où l'enveloppe signée qui l'entoure était correcte dans tous ses champs et où la trace signée a pourtant manqué ce qu'elle aurait dû détecter, nous le voulons encore plus. Le code est public, et la Constitution l'est aussi.