La pagina della matematica
Verificato da un software di dimostrazione
L'idea
Cinque controlli che si copiano tutti l'uno con l'altro sono in realtà un solo controllo.
Supponi che cinque persone verifichino una risposta e tutte e cinque siano d'accordo. Sembra sicuro. Ma se tutte e cinque l'hanno imparata dalla stessa fonte, il loro accordo non è cinque opinioni. È un'opinione ripetuta cinque volte. Il numero di controlli sembra cinque. Il numero reale è uno.
Questo conta per l'IA. Un sistema di IA può eseguire molti controlli sul proprio ragionamento ed essere comunque ingannato, se quei controlli condividono lo stesso punto cieco. La Coherence Collapse Analysis è il modo in cui CIRIS distingue i controlli reali dagli echi.
L'unica formula
Contare i controlli che hai davvero.
C'è una sola formula breve al centro di tutto. Viene dalla statistica dei sondaggi, dove è chiamata effetto di disegno di Kish, e la stessa forma compare nella teoria del voto e nell'ingegneria della sicurezza. CIRIS la applica all'allineamento dell'IA.
real checks = checks / (1 + copying × (checks − 1))
"Checks" è il numero di controlli eseguiti. "Copying" indica quanto si sovrappongono, da 0 (tutti indipendenti) a 1 (tutti uguali). Il risultato è il numero di controlli che hai davvero.
Nessuna copia: dieci controlli contano come dieci. Ogni controllo guadagna il suo posto.
Copia totale: dieci controlli contano come uno. Non importa quanti ne aggiungi.
Sul traffico reale
Questo è stato misurato, non solo teorizzato.
CIRIS ha misurato il conteggio dei controlli reali sul proprio traffico di agenti in produzione, su migliaia di decisioni registrate. Sul traffico in buona salute ha operato nell'intervallo di circa sette-nove controlli genuinamente indipendenti. Quella misurazione, e come è stata eseguita, è lo studio Constrained Reasoning Chains. Puoi seguire i numeri in tempo reale nella pagina della ricerca.
Il tetto onesto
Cosa questa matematica non può fare.
L'articolo dimostra un limite invalicabile per se stesso. Alcuni tipi di danno non derivano da una parte disonesta. Derivano da parti oneste che sommandosi producono un risultato negativo, e l'articolo dimostra che una parte di quel danno resta invisibile a qualsiasi controllore che guardi solo le parti, per quanto bravo. CIRIS lo dice apertamente, invece di fingere che la matematica catturi tutto.
Ciò che il sistema promette davvero è il registro. Ogni decisione lascia una ricevuta firmata che non può essere riscritta di nascosto, così una bugia deve restare coerente con migliaia di ricevute che non potrà mai cancellare. Leggere bene quelle ricevute è un lavoro aperto, e lo diciamo. I libri contabili restano veri in ogni caso.
Come si inserisce nel quadro generale
La matematica è una parte di un insieme più grande.
Questa pagina è la misurazione. Il Coherence Ratchet è come la misurazione viene messa al lavoro. La Federazione è come diventa qualcosa che molti sistemi condividono. E le dimostrazioni complete, scritte in modo che un computer possa verificarle riga per riga, si trovano nell'articolo e nel repository RATCHET.