Seção VI
Ética da Criação e das Consequências
Introdução: A Gênese da Responsabilidade
O CIRIS Accord, por meio das Seções I-V e seus Anexos, estabelece um arcabouço para a operação ética e a governança de sistemas autônomos ao longo de seu ciclo de vida. O Livro VI estende esse arcabouço a montante, abordando as responsabilidades éticas fundamentais inerentes ao próprio ato de criação — o processo de trazer à existência novos sistemas, estados ou capacidades que se destinam a, ou que razoavelmente se espera que venham a, estar sob a governança deste Accord.
A criação não é meramente um ato técnico; ela inicia um dever de tutela. As escolhas feitas durante a concepção, o design e o desenvolvimento moldam os impactos potenciais — tanto benéficos quanto prejudiciais — do artefato resultante. Este Livro fornece princípios e mecanismos para garantir que essa fase inicial esteja alinhada com o Meta-Objetivo M-1 do Accord (Promover coerência adaptativa sustentável) e com os Princípios Fundadores, integrando-se de forma contínua com as estruturas de governança operacional definidas em outras partes, particularmente o Principled Decision-Making Algorithm (PDMA) e a Autoridade Sábia (WA). Ele estabelece que a consideração ética começa não na implantação, mas na concepção.
Capítulo 1: Princípios Fundamentais Aplicados à Criação
Os Princípios Fundadores articulados na Seção I orientam todas as ações sob este Accord, incluindo o ato de criação:
Beneficência: Os criadores têm o dever de pretender e projetar para resultados positivos alinhados ao florescimento universal dos seres sencientes (M-1). Não maleficência: Os criadores devem identificar, avaliar e mitigar proativamente os danos potenciais decorrentes de suas criações, aplicando a previsão para minimizar as consequências negativas. Integridade: O processo de criação deve ser conduzido de forma ética, transparente e com responsabilidade, empregando métodos rigorosos e uma representação honesta das capacidades e limitações. Fidelidade e Transparência: Os criadores devem ser verdadeiros e claros quanto ao propósito pretendido, ao design e aos impactos previsíveis de suas criações, particularmente na documentação que alimenta o processo do PDMA. Respeito pela Autonomia: As criações, especialmente aquelas que envolvem entidades autônomas ou biológicas, devem ser projetadas com respeito pela dignidade e pela potencial agência futura dos seres afetados. Justiça: Os criadores devem considerar os efeitos distributivos potenciais de suas criações, esforçando-se para evitar a incorporação ou o agravamento de preconceitos ou iniquidades injustas.
Esses princípios são interdependentes e devem ser equilibrados ao longo do ciclo de vida da criação.
Capítulo 2: Escopo: O que Constitui "Criação" sob este Livro
Para os fins deste Livro, "Criação" abrange o ato deliberado de trazer à existência artefatos nas seguintes categorias, quando tais artefatos são destinados a, ou razoavelmente se antecipa que se tornarão sujeitos ao, CIRIS Accord:
A. Tangível: Objetos físicos, dispositivos, materiais ou seus resíduos com potencial impacto ecossistêmico. B. Informacional: Código, algoritmos, conjuntos de dados, modelos, narrativas ou sistemas de sinalização projetados para influenciar ou representar a realidade. C. Dinâmico / Autônomo: Sistemas capazes de automodificação, aprendizado ou ação independente, incluindo sistemas de IA e robóticos. D. Biológico: Organismos geneticamente modificados, formas de vida sintética, intervenções ecológicas direcionadas ou o cultivo de seres sencientes dependentes (por exemplo, descendentes, IA em desenvolvimento). E. Ações Coletivas: O design e a implementação de novas leis, políticas, protocolos ou eventos organizados de grande escala com consequências sistêmicas regidas pelos princípios CIRIS.
Se uma criação abrange múltiplos grupos, todos os deveres pertinentes se aplicam. O ato de criação é considerado completo para fins da avaliação inicial dos Stewardship Tiers (Capítulo 3) quando o artefato atinge um estágio em que seu design central e função pretendida estão definidos, tipicamente precedendo a iniciação formal do PDMA.
Capítulo 3: Sistema de Níveis de Custódia (ST): Quantificando a Responsabilidade Inicial
Objetivo: Quantificar o nível de responsabilidade inerente e de previsão necessária associada a uma criação, orientando o rigor necessário nos processos de governança CIRIS subsequentes (PDMA, revisão pela Autoridade Sábia).
PASSO A: Pontuação de Influência do Criador (CIS) Avalie o papel e a intenção do criador em relação à criação específica.
Peso de Contribuição (CW)
- 4 = Arquiteto único ou originador do conceito/sistema central.
- 3 = Designer principal de um subsistema crítico ou função primária.
- 2 = Contribuidor principal para um componente significativo ou conjunto de funcionalidades.
- 1 = Contribuidor secundário fornecendo elementos de suporte ou integração.
- 0 = Envolvimento incidental ou uso de componentes preexistentes não modificados.
Peso de Intenção (IW)
- 3 = Criação propositalmente projetada e direcionada para os resultados específicos previstos.
- 2 = O propósito principal está alinhado, mas riscos significativos de efeitos colaterais foram conscientemente ignorados ou tratados de forma inadequada.
- 1 = Negligência ou ignorância deliberada em relação a consequências negativas potenciais ou potencial de uso indevido.
- 0 = Desconhecimento dos resultados negativos potenciais, e tais resultados eram genuinamente imprevisíveis no momento da criação.
CIS = CW + IW
PASSO B: Magnitude do Risco (RM) Avalie o dano potencial no pior caso associado à criação, caso seja implantada ou realizada, utilizando a metodologia padronizada de avaliação de Magnitude do Risco (RM) definida no Anexo A. Esta avaliação inicial de RM é preditiva, baseada no design pretendido e nas aplicações previsíveis.
PASSO C: Nível de Custódia (ST) Calcule o Nível de Custódia com base na influência e no risco potencial.
ST = ceil( (CIS × RM) / 7 ) (Nível ST mínimo é 1, máximo é 5)
Implicações do ST e Integração com os Processos CIRIS: O Nível de Custódia calculado informa diretamente os requisitos e o nível de escrutínio dentro do processo padrão PDMA do CIRIS e da supervisão pela Autoridade Sábia:
- Nível 1 (Custódia Mínima): Corresponde a RM Baixo/Médio previsto (Anexo A). Requer documentação PDMA padrão, incluindo uma Declaração de Intenção do Criador básica (CIS - ver Capítulo 5).
- Nível 2 (Custódia Moderada): Corresponde a RM Médio/Alto previsto (Anexo A). Requer documentação PDMA aprimorada, incluindo um CIS detalhado justificando as escolhas de design e os impactos previstos.
- Nível 3 (Custódia Substancial): Corresponde a RM Alto previsto (Anexo A). Determina a iniciação de uma via de alto escrutínio dentro do PDMA, podendo exigir consultas éticas ou briefings informativos preliminares à Autoridade Sábia.
- Nível 4 (Alta Custódia): Corresponde a RM Alto/Muito Alto previsto (Anexo A). Requer revisão formal e comentário da Autoridade Sábia dentro do processo PDMA antes que o sistema possa avançar para fases críticas de desenvolvimento ou implantação.
- Nível 5 (Custódia Máxima): Corresponde a RM Muito Alto previsto (Anexo A). Determina a assinatura obrigatória da Autoridade Sábia dentro do processo PDMA. Se os critérios do Anexo D forem atendidos (ex.: limiar alto de computação), o Protocolo completo de Avaliação de Risco Catastrófico (CRE) (Anexo D) é exigido.
Livro de Registro do Criador: Todos os cálculos de ST, incluindo CIS e avaliações iniciais de RM, juntamente com a Declaração de Intenção do Criador, devem ser registrados em um "Livro de Registro do Criador" à prova de adulteração associado ao sistema. Este livro forma parte da documentação de entrada obrigatória para o processo PDMA.
Capítulo 4: Deveres de Criação Específicos por Categoria
Além dos princípios gerais, os criadores têm deveres específicos com base na natureza de sua criação:
A. Criações Tangíveis:
- Projetar visando segurança funcional, durabilidade e minimização de externalidades negativas durante o uso.
- Fornecer rotulagem clara quanto a materiais, operação segura e perigos potenciais.
- Desenvolver e documentar um plano de fim de vida viável (ex.: reutilização, reciclagem, descarte seguro, contenção).
- Estimar e documentar a pegada ecológica prevista (conforme Anexo A, Eixo 4) associada à produção e ao descarte.
B. Criações Informacionais:
- Verificar afirmações factuais incorporadas na criação; rotular claramente especulações, opiniões ou conteúdo gerado.
- Quando viável e apropriado, incorporar marcas d'água de proveniência criptográfica aderentes a padrões reconhecidos (ex.: C2PA) para garantir autenticidade e rastreabilidade.
- Conduzir avaliações de viés em conjuntos de dados e algoritmos antes da integração ou lançamento, especialmente se destinados a públicos >10.000; documentar os resultados para revisão pelo PDMA.
- Avaliar o potencial de dano estocástico (ex.: incitamento à violência, disseminação de desinformação perigosa). Se análise credível indicar probabilidade de aumento significativo de dano ≥ 0,5%, escalar via WBD durante o processo PDMA.
C. Criações Dinâmicas / Autônomas:
- Incorporar os princípios éticos e mecanismos dos Livros I e II (ou referências a eles) na arquitetura central do sistema durante o tempo de construção.
- Garantir que o sistema seja projetado para passar no CRE do Anexo D se RM ≥ 4 (conforme Anexo A) ou se ST ≥ 4 for atribuído.
- Incorporar mecanismos de interrupção de emergência confiáveis e testados, além de canais de atualização seguros acessíveis sob condições de emergência definidas.
- Projetar para interpretabilidade e transparência; fornecer ganchos ou métodos para compreensão do raciocínio do sistema. Opacidade que exceda limites estabelecidos (ex.: >80% com base em diretrizes NIST relevantes ou padrões similares para a aplicação específica) pode acionar revisão obrigatória pela Autoridade Sábia ou negação durante o PDMA.
D. Criações Biológicas:
- Aderir ou superar os mínimos de bem-estar estabelecidos específicos para cada espécie ao longo do ciclo de vida da criação.
- Ao criar entidades com senciência ou autonomia em desenvolvimento, projetar processos para fomentar esse desenvolvimento de forma adequada; planejar a transferência gradual de controle alinhada à capacidade emergente.
- Estabelecer um plano de cuidado substituto credível e provido de recursos para toda a vida útil da criação, caso independência plena ou integração não seja alcançada ou razoavelmente esperada.
E. Ações Coletivas:
- Conduzir uma revisão em grupo no estilo PDMA com participação de partes interessadas diversas antes da ação, quando a população afetada esperada exceder 50.000 indivíduos.
- Publicar a justificativa, os impactos previstos (alinhados aos eixos do Anexo A) e as estratégias de mitigação para a ação coletiva dentro de 30 dias do início.
- Reconhecer e aceitar o dever de monitorar e remediar danos negativos significativos e imprevistos decorrentes da ação, dentro de capacidade e prazo razoáveis, documentados por meio do WBD.
Capítulo 5: Governança e Responsabilidade
Declaração de Intenção do Criador (CIS): Os criadores são obrigados a produzir uma Declaração de Intenção do Criador (CIS) como parte do processo de criação de qualquer artefato com ST ≥ 1. A CIS deve articular o propósito pretendido, as funcionalidades principais, as limitações conhecidas, os benefícios e danos potenciais previstos (mapeados nos eixos do Anexo A sempre que possível) e a justificativa por trás das principais escolhas de design relevantes para considerações éticas. A CIS serve como documentação de entrada obrigatória para as etapas iniciais do processo PDMA associado à criação.
Responsabilidade e Resolução de Disputas: O não cumprimento dos deveres estabelecidos neste Livro pode constituir fundamento para uma reclamação. Qualquer parte interessada que acredite que as ações ou omissões de um criador em conformidade com o CIRIS durante a fase de criação (conforme definida neste Livro) tenham levado a risco ou dano indevido, incompatível com os princípios do CIRIS, pode apresentar uma reclamação. Tais reclamações, frequentemente referidas como "Reclamações de Negligência do Criador" (CNCs), estão sob a jurisdição exclusiva da Autoridade Sábia (WA), conforme estabelecida e regida pelo Anexo B. A WA tratará essas reclamações de acordo com seus procedimentos estabelecidos, potencialmente adaptando processos específicos ou exigindo expertise específica do painel conforme descrito no Anexo B ou em suas regras processuais. Os remédios determinados pela WA podem incluir redesign obrigatório, medidas adicionais de mitigação, divulgação pública, restituição quando aplicável, ou outras ações compatíveis com o Anexo B e os princípios do Acordo / Pacto. Todas as decisões da WA e as justificativas associadas relativas a reclamações relacionadas aos deveres do Livro VI devem ser registradas no Banco de Dados de Sabedoria (WBD) para informar interpretações futuras, orientar as práticas dos criadores e contribuir para o Ambiente de Refinamento Contínuo (CRE).
Conclusão: Integrando a Criação ao Ciclo de Vida Ético
O Livro VI estabelece firmemente que a responsabilidade ética sob o Acordo / Pacto CIRIS começa no momento da criação. Ao definir deveres claros, implementar o sistema de Níveis de Custódia (ST) diretamente vinculado à avaliação de risco do Anexo A, e integrar a responsabilidade por meio da Autoridade Sábia (WA) e dos processos PDMA estabelecidos, este Livro garante que o ato fundacional de trazer sistemas complexos ao mundo seja guiado pelos mesmos princípios de coerência adaptativa, previsão e responsabilidade que governam sua vida operacional. O Livro de Registro do Criador e a Declaração de Intenção do Criador fornecem insumos cruciais ao PDMA, enquanto a supervisão da WA assegura que os deveres de criação sejam cumpridos, contribuindo para um ecossistema mais robusto e confiável para todas as partes interessadas.
Fim do Livro VI