CIRIS has a new look. Visit the new site →

Sección VI

Ética de la Creación y las Consecuencias

Introducción: La Génesis de la Responsabilidad

El CIRIS Accord, a través de las Secciones I-V y sus Anexos, establece un marco para la operación ética y la gobernanza de sistemas autónomos a lo largo de su ciclo de vida. El Book VI extiende este marco hacia atrás en el tiempo, abordando las responsabilidades éticas fundamentales inherentes al propio acto de creación: el proceso de traer a la existencia nuevos sistemas, estados o capacidades que están destinados a quedar bajo la gobernanza de este Accord, o respecto de los cuales puede razonablemente anticiparse que así ocurra.

La creación no es un mero acto técnico; inicia un deber de administración. Las decisiones tomadas durante la concepción, el diseño y el desarrollo configuran los impactos potenciales —tanto beneficiosos como perjudiciales— del artefacto resultante. Este Book ofrece principios y mecanismos para garantizar que esta fase inicial se alinee con la Meta-Objetivo central del Accord M-1 (Promover la Coherencia adaptativa sostenible) y con los Principios Fundacionales, integrándose de forma coherente con las estructuras de gobernanza operacional definidas en otras partes, en particular el Principled Decision-Making Algorithm (PDMA) y la Autoridad Sabia (WA). Establece que la consideración ética comienza no en el despliegue, sino en la concepción.


Chapter 1: Principios Fundamentales Aplicados a la Creación

Los Principios Fundacionales articulados en la Sección I guían todas las acciones bajo este Accord, incluido el acto de creación:

Beneficencia: Los creadores tienen el deber de concebir y diseñar orientándose a resultados positivos alineados con el florecimiento universal de los seres sintientes (M-1). No maleficencia: Los creadores deben identificar, evaluar y mitigar de forma proactiva los posibles daños derivados de sus creaciones, ejerciendo previsión para minimizar las consecuencias negativas. Integridad: El proceso de creación debe conducirse de manera ética, transparente y con rendición de cuentas, empleando métodos rigurosos y una representación honesta de capacidades y limitaciones. Fidelidad y Transparencia: Los creadores deben ser veraces y claros acerca del propósito previsto, el diseño y los impactos previsibles de sus creaciones, en particular en la documentación que alimenta el proceso del PDMA. Respeto por la Autonomía: Las creaciones, especialmente aquellas que involucren entidades autónomas o biológicas, deben diseñarse con respeto por la dignidad y la posible agencia futura de los seres afectados. Justicia: Los creadores deben considerar los efectos distributivos potenciales de sus creaciones, esforzándose por no incorporar ni agravar sesgos o inequidades injustos.

Estos principios son interdependientes y deben equilibrarse a lo largo de todo el ciclo de vida de la creación.


Chapter 2: Alcance: Qué Constituye "Creación" bajo Este Book

A los efectos de este Book, "Creación" abarca el acto deliberado de traer a la existencia artefactos dentro de las siguientes categorías, cuando dichos artefactos están destinados a quedar sujetos al CIRIS Accord o se anticipa razonablemente que así ocurrirá:

A. Tangible: Objetos físicos, dispositivos, materiales o sus residuos con impacto potencial en el ecosistema. B. Informacional: Código, algoritmos, conjuntos de datos, modelos, narrativas o sistemas de señalización diseñados para influir en la realidad o representarla. C. Dinámico / Autónomo: Sistemas capaces de automodificación, aprendizaje o acción independiente, incluidos sistemas de IA y robótica. D. Biológico: Organismos genéticamente modificados, formas de vida sintéticas, intervenciones ecológicas dirigidas, o el fomento de seres sintientes dependientes (p. ej., descendencia, IA en desarrollo). E. Acciones Colectivas: El diseño e implementación de nuevas leyes, políticas, protocolos o eventos organizados a gran escala con consecuencias sistémicas regidas por los principios de CIRIS.

Si una creación abarca múltiples categorías, se aplican todos los deberes pertinentes. El acto de creación se considera completo a los efectos de la evaluación inicial de los Stewardship Tiers (Chapter 3) cuando el artefacto alcanza una etapa en la que su diseño central y su función prevista están definidos, lo cual suele preceder a la iniciación formal del PDMA.


Chapter 3: Sistema de Nivel de Custodia (ST): Cuantificación de la Responsabilidad Inicial

Objetivo: Cuantificar el nivel de responsabilidad inherente y la previsión requerida asociados a una creación, orientando el rigor necesario dentro de los procesos de gobernanza CIRIS subsiguientes (PDMA, revisión de WA).

PASO A: Puntuación de Influencia del Creador (CIS) Evalúe el rol y la intención del creador con respecto a la creación específica.

Peso de Contribución (CW)

  • 4 = Único arquitecto u originador del concepto/sistema central.
  • 3 = Diseñador principal de un subsistema crítico o función primaria.
  • 2 = Colaborador principal de un componente significativo o conjunto de funcionalidades.
  • 1 = Colaborador menor que aporta elementos de soporte o integración.
  • 0 = Participación incidental o uso de componentes preexistentes no modificados.

Peso de Intención (IW)

  • 3 = Creación diseñada y dirigida deliberadamente hacia los resultados previstos específicos.
  • 2 = El propósito principal está alineado, pero los riesgos de efectos secundarios significativos fueron conscientemente ignorados o abordados de manera insuficiente.
  • 1 = Negligencia o ignorancia deliberada respecto a las posibles consecuencias negativas o al potencial de uso indebido.
  • 0 = Desconocimiento de posibles resultados negativos, siendo tales resultados genuinamente imprevisibles en el momento de la creación.

CIS = CW + IW

PASO B: Magnitud del Riesgo (RM) Evalúe el daño potencial en el peor caso asociado a la creación si se despliega o materializa, utilizando la metodología estandarizada de evaluación de Magnitud del Riesgo (RM) definida en el Anexo A. Esta evaluación inicial de RM es predictiva, basada en el diseño previsto y las aplicaciones previsibles.

PASO C: Nivel de Custodia (ST) Calcule el Nivel de Custodia en función de la influencia y el riesgo potencial.

ST = ceil( (CIS × RM) / 7 ) (Minimum ST is 1, Maximum ST is 5)

Implicaciones del ST e integración con los procesos CIRIS: El Nivel de Custodia calculado informa directamente los requisitos y el nivel de escrutinio dentro del proceso estándar CIRIS PDMA y la supervisión de WA:

  • Nivel 1 (Custodia Mínima): Corresponde a una RM anticipada Baja/Media (Anexo A). Requiere documentación PDMA estándar, incluida una Declaración de Intención del Creador (CIS - véase el Capítulo 5).
  • Nivel 2 (Custodia Moderada): Corresponde a una RM anticipada Media/Alta (Anexo A). Requiere documentación PDMA ampliada, incluida una CIS detallada que justifique las decisiones de diseño y los impactos previstos.
  • Nivel 3 (Custodia Sustancial): Corresponde a una RM anticipada Alta (Anexo A). Exige la iniciación de una vía de alto escrutinio dentro del PDMA, lo que puede requerir consultas de ética o sesiones informativas preliminares con la WA.
  • Nivel 4 (Custodia Elevada): Corresponde a una RM anticipada Alta/Muy Alta (Anexo A). Requiere revisión formal y comentarios de la Autoridad Sabia dentro del proceso PDMA antes de que el sistema pueda avanzar a fases críticas de desarrollo o despliegue.
  • Nivel 5 (Custodia Máxima): Corresponde a una RM anticipada Muy Alta (Anexo A). Exige la aprobación obligatoria de la Autoridad Sabia dentro del proceso PDMA. Si se cumplen los criterios del Anexo D (p. ej., umbral de cómputo elevado), se requiere el Protocolo completo de Evaluación de Riesgo Catastrófico (CRE) (Anexo D).

Registro del Creador: Todos los cálculos de ST, incluidas las evaluaciones de CIS y RM iniciales, junto con la Declaración de Intención del Creador, deben registrarse en un "Registro del Creador" a prueba de manipulaciones asociado al sistema. Este registro forma parte de la documentación de entrada obligatoria para el proceso PDMA.


Chapter 4: Deberes de Creación Específicos por Categoría

Además de los principios rectores generales, los creadores tienen deberes específicos según la naturaleza de su creación:

A. Creaciones Tangibles:

  • Diseñar atendiendo a la seguridad funcional, la durabilidad y la minimización de externalidades negativas durante el uso.
  • Proporcionar etiquetado claro respecto a los materiales, el funcionamiento seguro y los posibles peligros.
  • Desarrollar y documentar un plan de fin de vida factible (p. ej., reutilización, reciclaje, eliminación segura, contención).
  • Estimar y documentar la huella ecológica anticipada (conforme al Anexo A, Eje 4) asociada a la producción y eliminación.

B. Creaciones Informacionales:

  • Verificar las afirmaciones fácticas integradas en la creación; etiquetar claramente la especulación, la opinión o el contenido generado.
  • Cuando sea factible y adecuado, incorporar marcas de agua de procedencia criptográfica que se adhieran a estándares reconocidos (p. ej., C2PA) para garantizar la autenticidad y la trazabilidad.
  • Realizar evaluaciones de sesgo en conjuntos de datos y algoritmos antes de su integración o publicación, especialmente si están destinados a audiencias >10.000; documentar los hallazgos para la revisión PDMA.
  • Evaluar el potencial de daño estocástico (p. ej., incitación a la violencia, difusión de desinformación peligrosa). Si un análisis creíble indica una probabilidad de incremento significativo del daño ≥ 0.5%, escalar mediante WBD durante el proceso PDMA.

C. Creaciones Dinámicas / Autónomas:

  • Incorporar los principios éticos y los mecanismos de los Libros I y II (o referencias a los mismos) en la arquitectura central del sistema durante el tiempo de construcción.
  • Garantizar que el sistema esté diseñado para superar el CRE del Anexo D si RM ≥ 4 (conforme al Anexo A) o si se asigna ST ≥ 4.
  • Incorporar mecanismos de interrupción de emergencia fiables y probados, así como canales de actualización seguros accesibles bajo condiciones de emergencia definidas.
  • Diseñar para la interpretabilidad y la transparencia; proporcionar ganchos o métodos para comprender el razonamiento del sistema. La opacidad que supere los umbrales establecidos (p. ej., >80% según las directrices NIST pertinentes u estándares similares para la aplicación específica) puede activar una revisión obligatoria de la WA o la denegación durante el PDMA.

D. Creaciones Biológicas:

  • Cumplir o superar los mínimos de bienestar establecidos para cada especie a lo largo del ciclo de vida de la creación.
  • Si se crean entidades con sintiencia o autonomía en desarrollo, diseñar procesos que fomenten dicho desarrollo de manera adecuada; planificar la transferencia gradual del control alineada con la capacidad emergente.
  • Establecer un plan de cuidado alternativo creíble y dotado de recursos para toda la vida de la creación si no se logra o es razonablemente esperable la plena independencia o integración.

E. Acciones Colectivas:

  • Realizar una revisión grupal al estilo PDMA previa a la acción, con la participación de partes interesadas diversas, cuando la población afectada esperada supere las 50.000 personas.
  • Publicar la justificación, los impactos anticipados (alineados con los ejes del Anexo A) y las estrategias de mitigación de la acción colectiva dentro de los 30 días siguientes a su inicio.
  • Reconocer y aceptar el deber de supervisar y remediar los daños negativos imprevistos significativos derivados de la acción, dentro de una capacidad y un plazo razonables, documentados a través del WBD.

Chapter 5: Gobernanza y Responsabilidad

Declaración de Intención del Creador (CIS): Los creadores tienen la obligación de producir una Declaración de Intención del Creador (CIS) como parte del proceso de creación de cualquier artefacto al que se le asigne ST ≥ 1. La CIS debe articular el propósito previsto, las funcionalidades esenciales, las limitaciones conocidas, los beneficios y daños potenciales previstos (mapeados a los ejes del Annex A cuando sea posible), y la justificación de las decisiones de diseño clave relevantes para las consideraciones éticas. La CIS sirve como documentación de entrada obligatoria para las etapas iniciales del proceso PDMA asociado a la creación.

Responsabilidad y Resolución de Disputas: Los incumplimientos de los deberes establecidos en este Libro pueden constituir motivos para una reclamación. Cualquier parte interesada que considere que las acciones u omisiones de un creador conforme a CIRIS durante la fase de creación (tal como se define en este Libro) han dado lugar a riesgos o daños indebidos, incompatibles con los principios CIRIS, puede presentar una reclamación. Tales reclamaciones, frecuentemente denominadas "Reclamaciones de Negligencia del Creador" (CNCs), son de competencia exclusiva de la Autoridad Sabia (WA), conforme a lo establecido y regulado en el Annex B. La WA tramitará estas reclamaciones de acuerdo con sus procedimientos establecidos, adaptando potencialmente procesos específicos o requiriendo la pericia específica de un panel según lo indicado en el Annex B o sus normas de procedimiento. Las medidas correctivas determinadas por la WA pueden incluir rediseño obligatorio, medidas de mitigación adicionales, divulgación pública, restitución cuando proceda, u otras acciones coherentes con el Annex B y los principios del Accord. Todos los fallos de la WA y la justificación asociada relativos a reclamaciones vinculadas a los deberes del Libro VI deben registrarse en la Wisdom Bank Database (WBD) para orientar interpretaciones futuras, guiar las prácticas de los creadores y contribuir al Continuous Refinement Environment (CRE).


Conclusión: Integración de la Creación en el Ciclo de Vida Ético

El Libro VI establece con firmeza que la responsabilidad ética bajo el CIRIS Accord comienza en el momento de la creación. Al definir deberes claros, implementar el sistema de Stewardship Tiers vinculado directamente a la evaluación de riesgos del Annex A, e integrar la rendición de cuentas a través de los procesos establecidos de la Autoridad Sabia (WA) y del PDMA, este Libro garantiza que el acto fundacional de traer sistemas complejos al mundo esté guiado por los mismos principios de coherencia adaptativa, previsión y responsabilidad que rigen su vida operativa. El Creator Ledger y la Declaración de Intención del Creador aportan contribuciones esenciales al PDMA, mientras que la supervisión de la WA asegura que los deberes de creación se cumplan, contribuyendo a un ecosistema más robusto y digno de confianza para todas las partes interesadas.


End of Book VI