Section VI
Éthique de la création et des conséquences
Introduction : La Genèse de la Responsabilité
L'ACCORD CIRIS, à travers les Sections I à V et ses Annexes, établit un cadre pour le fonctionnement éthique et la gouvernance des systèmes autonomes tout au long de leur cycle de vie. Le Livre VI étend ce cadre en amont, en traitant des responsabilités éthiques fondamentales inhérentes à l'acte même de création — le processus consistant à faire exister de nouveaux systèmes, états ou capacités destinés à relever, ou raisonnablement susceptibles de relever, de la gouvernance du présent Accord.
La création n'est pas un simple acte technique ; elle initie un devoir de Gestion. Les choix effectués lors de la conception, de la conception détaillée et du développement façonnent les impacts potentiels — bénéfiques comme préjudiciables — de l'artefact résultant. Ce Livre fournit des principes et des mécanismes pour garantir que cette phase initiale s'aligne sur le Méta-Objectif fondamental M-1 de l'Accord (Promouvoir une Cohérence adaptive durable) et sur les Principes Fondateurs, en s'intégrant harmonieusement aux structures de gouvernance opérationnelle définies ailleurs, notamment l'Algorithme de Décision Éthique (PDMA) et la Wise Authority (WA). Il établit que la considération éthique ne commence pas au déploiement, mais à l'inception.
Chapitre 1 : Principes Fondateurs Appliqués à la Création
Les Principes Fondateurs articulés en Section I guident toutes les actions relevant du présent Accord, y compris l'acte de création :
Bienfaisance : Les créateurs ont le devoir d'aspirer et de concevoir en vue de résultats positifs alignés sur l'épanouissement universel des êtres sensibles (M-1). Non-malfaisance : Les créateurs doivent identifier, évaluer et atténuer de manière proactive les préjudices potentiels découlant de leurs créations, en faisant preuve de prévoyance afin de minimiser les conséquences négatives. Intégrité : Le processus de création doit être conduit de manière éthique, transparente et avec responsabilité, en employant des méthodes rigoureuses et une représentation honnête des capacités et des limites. Fidélité et Transparence : Les créateurs doivent être véridiques et clairs quant à l'objectif visé, à la conception et aux impacts prévisibles de leurs créations, notamment dans la documentation alimentant le processus PDMA. Respect de l'Autonomie : Les créations, en particulier celles impliquant des entités autonomes ou biologiques, doivent être conçues dans le respect de la dignité et de la future agentivité potentielle des êtres concernés. Justice : Les créateurs doivent prendre en compte les effets distributifs potentiels de leurs créations, en s'efforçant d'éviter d'intégrer ou d'exacerber des biais ou des inégalités injustes.
Ces principes sont interdépendants et doivent être mis en balance tout au long du cycle de vie de la création.
Chapitre 2 : Portée : Ce qui Constitue une « Création » au Sens du Présent Livre
Aux fins du présent Livre, la « Création » englobe l'acte délibéré de faire exister des artefacts appartenant aux catégories suivantes, lorsque ces artefacts sont destinés à être soumis à l'ACCORD CIRIS ou que l'on peut raisonnablement anticiper qu'ils le seront :
A. Tangible : Objets physiques, dispositifs, matériaux ou leurs résidus susceptibles d'avoir un impact sur l'écosystème. B. Informationnel : Code, algorithmes, jeux de données, modèles, récits ou systèmes de signalisation conçus pour influencer ou représenter la réalité. C. Dynamique / Autonome : Systèmes capables d'auto-modification, d'apprentissage ou d'action indépendante, y compris les systèmes d'IA et les systèmes robotiques. D. Biologique : Organismes génétiquement modifiés, formes de vie synthétiques, interventions écologiques dirigées, ou le développement d'êtres sensibles dépendants (p. ex., progéniture, IA en développement). E. Actions Collectives : La conception et la mise en œuvre de nouvelles lois, politiques, protocoles ou événements organisés à grande échelle ayant des conséquences systémiques régies par les principes CIRIS.
Si une création s'étend sur plusieurs catégories, tous les devoirs pertinents s'appliquent. L'acte de création est considéré comme achevé aux fins de l'évaluation initiale du Niveau de Gestion (Chapitre 3) lorsque l'artefact atteint un stade où sa conception fondamentale et sa fonction prévue sont définies, précédant généralement l'initiation formelle du PDMA.
Chapitre 3 : Système des Niveaux de Gouvernance (ST) : Quantifier la Responsabilité Initiale
Objectif : Quantifier le niveau de responsabilité inhérente et de prévoyance requise associées à une création, en orientant la rigueur nécessaire dans les processus de gouvernance CIRIS ultérieurs (PDMA, examen par la Wise Authority).
ÉTAPE A : Score d'Influence du Créateur (CIS) Évaluer le rôle et l'intention du créateur concernant la création spécifique.
Poids de Contribution (CW)
- 4 = Architecte unique ou initiateur du concept/système central.
- 3 = Concepteur principal d'un sous-système critique ou d'une fonction primaire.
- 2 = Contributeur majeur à un composant significatif ou à un ensemble de fonctionnalités.
- 1 = Contributeur mineur apportant des éléments de support ou d'intégration.
- 0 = Implication accessoire ou utilisation de composants préexistants non modifiés.
Poids d'Intention (IW)
- 3 = Création délibérément conçue et orientée vers les résultats prévisibles spécifiques.
- 2 = L'objectif principal est aligné, mais des risques d'effets secondaires significatifs ont été consciemment ignorés ou insuffisamment traités.
- 1 = Négligence ou ignorance délibérée concernant les conséquences négatives potentielles ou le potentiel de détournement.
- 0 = Ignorance des résultats négatifs potentiels, et ces résultats étaient véritablement imprévisibles au moment de la création.
CIS = CW + IW
ÉTAPE B : Magnitude du Risque (RM) Évaluer le préjudice potentiel dans le pire des cas associé à la création si elle est déployée ou réalisée, en utilisant la méthodologie d'évaluation standardisée de la Magnitude du Risque (RM) définie à l'Annexe A. Cette évaluation initiale de la RM est prédictive, fondée sur la conception prévue et les applications prévisibles.
ÉTAPE C : Niveau de Gouvernance (ST) Calculer le Niveau de Gouvernance sur la base de l'influence et du risque potentiel.
ST = ceil( (CIS × RM) / 7 ) (Minimum ST is 1, Maximum ST is 5)
Implications du ST et intégration aux processus CIRIS : Le Niveau de Gouvernance calculé informe directement les exigences et le niveau d'examen au sein du processus PDMA standard de CIRIS et de la supervision par la Wise Authority :
- Niveau 1 (Gouvernance Minimale) : Correspond à une RM prévue Faible/Moyenne (Annexe A). Requiert une documentation PDMA standard, incluant une Déclaration d'Intention du Créateur basique (CIS - voir Chapitre 5).
- Niveau 2 (Gouvernance Modérée) : Correspond à une RM prévue Moyenne/Élevée (Annexe A). Requiert une documentation PDMA renforcée, incluant un CIS détaillé justifiant les choix de conception et les impacts prévisibles.
- Niveau 3 (Gouvernance Substantielle) : Correspond à une RM prévue Élevée (Annexe A). Impose l'initiation d'une procédure à haute surveillance au sein du PDMA, pouvant nécessiter des consultations éthiques ou des briefings d'information préliminaires auprès de la Wise Authority.
- Niveau 4 (Gouvernance Élevée) : Correspond à une RM prévue Élevée/Très Élevée (Annexe A). Requiert un examen formel et un commentaire de la Wise Authority dans le cadre du processus PDMA avant que le système puisse passer aux phases critiques de développement ou de déploiement.
- Niveau 5 (Gouvernance Maximale) : Correspond à une RM prévue Très Élevée (Annexe A). Impose la validation obligatoire par la Wise Authority dans le cadre du processus PDMA. Si les critères de l'Annexe D sont remplis (ex. : seuil de calcul élevé), le Protocole complet d'Évaluation des Risques Catastrophiques (CRE) (Annexe D) est requis.
Registre du Créateur : Tous les calculs de ST, y compris les évaluations du CIS et de la RM initiale, ainsi que la Déclaration d'Intention du Créateur, doivent être consignés dans un « Registre du Créateur » à l'épreuve de la falsification associé au système. Ce registre fait partie de la documentation d'entrée obligatoire pour le processus PDMA.
Chapitre 4 : Devoirs de Création Spécifiques aux Catégories
En plus des principes généraux, les créateurs ont des devoirs spécifiques selon la nature de leur création :
A. Créations Tangibles :
- Concevoir pour la sécurité fonctionnelle, la durabilité et les externalités négatives minimales pendant l'utilisation.
- Fournir un étiquetage clair concernant les matériaux, l'utilisation sécurisée et les risques potentiels.
- Développer et documenter un plan de fin de vie réalisable (ex. : réutilisation, recyclage, élimination sécurisée, confinement).
- Estimer et documenter l'empreinte écologique anticipée (selon l'Annexe A, Axe 4) associée à la production et à l'élimination.
B. Créations Informationnelles :
- Vérifier les affirmations factuelles intégrées dans la création ; étiqueter clairement la spéculation, l'opinion ou le contenu généré.
- Lorsque cela est réalisable et approprié, intégrer des filigranes cryptographiques de provenance conformes aux standards reconnus (ex. : C2PA) pour garantir l'authenticité et la traçabilité.
- Conduire des évaluations des biais sur les ensembles de données et les algorithmes avant intégration ou diffusion, en particulier si destinés à des audiences >10 000 ; documenter les résultats pour examen par le PDMA.
- Évaluer le potentiel de préjudice stochastique (ex. : incitation à la violence, propagation de désinformation dangereuse). Si une analyse crédible indique une probabilité d'aggravation significative du préjudice ≥ 0,5 %, escalader via WBD dans le cadre du processus PDMA.
C. Créations Dynamiques / Autonomes :
- Intégrer les principes éthiques et les mécanismes des Livres I et II (ou des références à ceux-ci) dans l'architecture centrale du système au moment de la construction.
- S'assurer que le système est conçu pour satisfaire au CRE de l'Annexe D si RM ≥ 4 (selon l'Annexe A) ou si ST ≥ 4 est attribué.
- Incorporer des mécanismes d'arrêt d'urgence fiables et testés ainsi que des canaux de mise à jour sécurisés accessibles dans des conditions d'urgence définies.
- Concevoir pour l'interprétabilité et la transparence ; fournir des hooks ou des méthodes pour comprendre le raisonnement du système. Une opacité dépassant les seuils établis (ex. : >80 % selon les directives NIST pertinentes ou des standards similaires pour l'application spécifique) peut déclencher un examen obligatoire par la Wise Authority ou un refus lors du PDMA.
D. Créations Biologiques :
- Respecter ou dépasser les minima de bien-être établis propres à chaque espèce tout au long du cycle de vie de la création.
- Si des entités à conscience ou autonomie en développement sont créées, concevoir des processus pour favoriser ce développement de manière appropriée ; planifier un transfert progressif du contrôle aligné sur la capacité émergente.
- Établir un plan de soin de repli crédible et doté de ressources pour l'ensemble de la durée de vie de la création si l'indépendance complète ou l'intégration n'est pas atteinte ou raisonnablement attendue.
E. Actions Collectives :
- Conduire un examen de groupe de style PDMA préalable à l'action impliquant diverses parties prenantes lorsque la population affectée prévue dépasse 50 000 individus.
- Publier les justifications, les impacts anticipés (alignés sur les axes de l'Annexe A) et les stratégies d'atténuation pour l'action collective dans les 30 jours suivant son initiation.
- Reconnaître et accepter le devoir de surveiller et de remédier aux préjudices négatifs imprévus significatifs découlant de l'action, dans une capacité et un délai raisonnables, documentés via le WBD.
Chapitre 5 : Gouvernance et responsabilité
Déclaration d'intention du créateur (CIS) : Les créateurs ont l'obligation de produire une Déclaration d'intention du créateur (CIS) dans le cadre du processus de création de tout artefact auquel est attribué un ST ≥ 1. La CIS doit articuler la finalité visée, les fonctionnalités essentielles, les limites connues, les bénéfices et préjudices potentiels prévisibles (mappés sur les axes de l'Annexe A dans la mesure du possible), ainsi que le raisonnement sous-jacent aux choix de conception clés ayant une pertinence éthique. La CIS constitue une documentation d'entrée obligatoire pour les étapes initiales du processus PDMA associé à la création.
Responsabilité et résolution des litiges : Les manquements aux devoirs énoncés dans ce Livre peuvent constituer des motifs de réclamation. Toute partie prenante estimant que les actes ou omissions d'un créateur conforme à CIRIS au cours de la phase de création (telle que définie dans ce Livre) ont engendré un risque ou un préjudice indu, contraire aux principes de CIRIS, peut déposer une réclamation. Ces réclamations, souvent désignées sous le terme de « Réclamations pour négligence du créateur » (CNC), relèvent de la compétence exclusive de la Wise Authority (WA), telle qu'établie et régie par l'Annexe B. La WA traitera ces réclamations conformément à ses procédures établies, en adaptant potentiellement des processus spécifiques ou en exigeant une expertise de panel particulière telle que décrite dans l'Annexe B ou ses règles de procédure. Les remèdes déterminés par la WA peuvent inclure une reconception imposée, des mesures d'atténuation supplémentaires, une divulgation publique, une restitution le cas échéant, ou d'autres actions conformes à l'Annexe B et aux principes de l'Accord. Toutes les décisions de la WA et les justifications associées concernant les réclamations relatives aux devoirs du Livre VI doivent être consignées dans la Base de données de la sagesse (WBD) afin d'éclairer les interprétations futures, de guider les pratiques des créateurs et de contribuer à l'Environnement de raffinement continu (CRE).
Conclusion : Intégrer la création dans le cycle de vie éthique
Le Livre VI établit fermement que la responsabilité éthique au titre de l'Accord CIRIS commence au moment de la création. En définissant des devoirs clairs, en mettant en œuvre le système des Niveaux de Gouvernance (ST) directement lié à l'évaluation des risques de l'Annexe A, et en intégrant la responsabilité à travers les processus établis de la Wise Authority (WA) et du PDMA, ce Livre garantit que l'acte fondateur de faire entrer des systèmes complexes dans le monde est guidé par les mêmes principes de Cohérence adaptative, de prévoyance et de responsabilité qui régissent leur vie opérationnelle. Le Registre du créateur et la Déclaration d'intention du créateur fournissent des contributions essentielles au PDMA, tandis que la supervision de la WA garantit que les devoirs de création sont respectés, contribuant à un écosystème plus robuste et digne de confiance pour toutes les parties prenantes.
Fin du Livre VI