Esta página foi traduzida por máquina. Se algo parecer errado, abra um issue — o repositório é público por uma razão. Reportar um problema de tradução

voltar ao lobby

Coherence Collapse Analysis

Quando verificações extras param de ajudar?

Acumular verificações para detectar uma mentira só funciona se as verificações forem verdadeiramente independentes. Se elas secretamente se copiam, adicionar mais não adianta nada. Coherence Collapse Analysis é a peça simples de matemática que mede a diferença. A versão completa, com todas as provas, está no artigo.

A página da matemática

Verificado por software de prova

Cinco verificações que se copiam são, na prática, uma única verificação.

Digamos que cinco pessoas verificam uma resposta e todas as cinco concordam. Isso parece seguro. Mas se todas as cinco aprenderam isso no mesmo lugar, a concordância delas não são cinco opiniões. É uma opinião repetida cinco vezes. O número de verificações parece cinco. O número real é um.

Isso importa para a IA. Um sistema de IA pode rodar muitas verificações sobre seu próprio raciocínio e ainda assim ser enganado, se essas verificações compartilham o mesmo ponto cego. Coherence Collapse Analysis é como CIRIS diferencia verificações reais de ecos.

Contando as verificações que você realmente tem.

Há uma fórmula curta e única no coração disso. Ela vem da estatística de pesquisa, onde é chamada de efeito de desenho de Kish, e a mesma forma aparece na teoria da votação e na engenharia de segurança. CIRIS a aplica ao alinhamento de IA.

real checks = checks / (1 + copying × (checks − 1))

"Checks" é quantas verificações você rodou. "Copying" é o quanto elas se sobrepõem, de 0 (todas independentes) a 1 (todas iguais). O resultado é quantas verificações você realmente tem.

Sem cópia: dez verificações contam como dez. Cada verificação ganha seu lugar.

Cópia total: dez verificações contam como uma. Não importa quantas você adicione.

Isso foi medido, não apenas argumentado.

CIRIS mediu a contagem de verificações reais em seu próprio tráfego de agentes ao vivo, ao longo de milhares de decisões registradas. Em tráfego saudável, ficou na faixa de cerca de sete a nove verificações genuinamente independentes. Essa medição, e como foi feita, é o estudo Constrained Reasoning Chains. Você pode acompanhar os números ao vivo na página de pesquisa.

O que esta matemática não consegue fazer.

O artigo prova um limite rígido sobre si mesmo. Alguns tipos de dano não vêm de uma parte desonesta. Vêm de partes honestas que somam um resultado ruim, e o artigo prova que parte desse dano é invisível para qualquer verificação que olhe só as partes, por melhor que seja. CIRIS diz isso claramente em vez de fingir que a matemática captura tudo.

O que o sistema promete de verdade é o registro. Cada decisão deixa um recibo assinado que não pode ser reescrito em silêncio, então uma mentira precisa continuar coerente com milhares de recibos que ela nunca poderá apagar. Ler bem esses recibos é trabalho em aberto, e nós dizemos isso. Os livros permanecem verdadeiros de qualquer jeito.

A matemática é uma parte de um todo maior.

Esta página é a medição. O Coherence Ratchet é como a medição é colocada em prática. A Federação é como ela se torna algo que muitos sistemas compartilham. E as provas completas, escritas para que um computador possa verificá-las linha por linha, estão no artigo e no repositório RATCHET.

CIRISsafe by structure · open by principle · kind by design