Un rischio nel nostro stesso design
Dove la sicurezza crowdsourced può deviare.
Un sistema di sicurezza crowdsourced può trasformarsi in qualcos'altro se non stiamo attenti. Lo stesso meccanismo che individua i veri problemi può diventare il meccanismo che impone preferenze. Vediamo questo rischio nell'architettura che stiamo costruendo. Nominarlo è il primo passo per resistervi.
Il modo di fallire che ci preoccupa
Se gli esseri umani raccolgono verdetti caso per caso in modo crowdsourced ("questa risposta specifica ha violato la regola?"), il pregiudizio entra in ogni interpretazione. Lo stesso comportamento viene giudicato diversamente a seconda di chi vota quel giorno. Anche con buone intenzioni, il ciclo tende ad imporre le preferenze della maggioranza invece di individuare i danni reali.
Questo è il modo di fallire. La disciplina a cui ci stiamo impegnando è pensata per rendere questa deriva visibile e costosa quando accade.
Le regole sono crowdsourced. I verdetti sono meccanici.
Le persone propongono e votano le regole: pubbliche, datate, firmate, reversibili. Un controllo deterministico applica quelle regole ai casi specifici. Stessa risposta + stessa regola → stesso verdetto, ogni volta. La discussione si sposta a monte, su se la regola dovrebbe esistere, invece di essere a valle, su se un caso specifico conta oggi.
Cosa significa in pratica
Le regole superano un controllo del linguaggio operativo prima di poter essere votate. Una regola deve essere verificabile senza giudizio soggettivo, altrimenti non è pronta. Ogni regola è datata, firmata e legata a una versione specifica. Il verdetto su una risposta specifica viene prodotto in modo deterministico.
Se un verdetto si rivela sbagliato, il ricorso passa attraverso un processo di Riesame da parte di un gruppo di revisione nuovo (i giudici originali sono ricusati), non tornando alla stessa folla che ha prodotto il verdetto. Questa separazione strutturale è l'elemento portante.
Dove può ancora andare storto
Nulla di tutto questo è automatico. La disciplina regge solo se il linguaggio delle regole rimane operativo, riguardante cose che una macchina può verificare, non sensazioni. Nel momento in cui una regola scivola da "usa il termine sbagliato per la terapia" verso "sembra irrispettoso", l'interpretazione umana rientra dalla porta sul retro e la deriva comincia. L'architettura nomina ogni meccanismo a cui riusciamo a pensare che resiste a questo; il lavoro di tenere davvero la linea è operativo, non architetturale.
Le primitive di crowdsourcing, i percorsi di appello e il formato delle regole applicabili meccanicamente si trovano nelle specifiche di CIRISNodeCore. Le batterie di test per la salute mentale in 29 lingue sono la prima cella in cui il ciclo funziona.