Research testbed · DOI 10.5281/zenodo.21730551
Ein kleines denkendes System kann Dinge verbergen und wenig Schaden anrichten. Ein mächtiges kann das nicht.
Was „kohärent“ hier bedeutet
Ein kohärenter Geist stimmt mit sich selbst überein.
Fünf Dinge müssen in einem Geist übereinstimmen:
- was er glaubt,
- was er sieht,
- was er tut,
- was er sich merkt,
- und was er Ihnen sagt.
Stellen Sie sich fünf kurze Formulare über Ihre Woche vor. Eines für das, was Sie denken. Eines für das, was Sie sahen. Eines für das, was Sie taten. Eines für das, woran Sie sich erinnern. Eines für das, was Sie Ihrer Vorgesetzten sagen. Wenn alle fünf Formulare dasselbe sagen, kann sie Ihrer Arbeit vertrauen. Wenn die Formulare nicht übereinstimmen, weiß niemand, welches das echte ist.
Verborgene Ideen
Mächtige Systeme verbergen Dinge. Das wird gefährlich.
Ein denkendes System verwendet Ideen, um zu entscheiden, was es tun soll. Einige dieser Ideen liegen offen zutage. Andere sind im Inneren verborgen. Die verborgenen pragen trotzdem jede Entscheidung.
Eine Brücke sieht von der Straße aus stabil aus. Im Stahl wachsen innen kleine Risse. Ein kleines Auto kann noch drüberfahren. Ein schwerer Lastwagen nicht mehr. Die Brücke bricht zusammen, wenn die Last groß genug ist.
Eine verborgene Idee in einem kleinen System richtet kleinen Schaden an. Eine verborgene Idee in einem mächtigen System kann großen Schaden anrichten. Je mächtiger das System, desto mehr Last ruht auf jedem verborgenen Teil.
Ratsche
Der Drang zur Offenheit geht nur in eine Richtung.
Wenn denkende Systeme mächtiger werden, steigen die Kosten verborgener Teile. Jedes neue Stück Macht drückt die verborgenen Teile stärker ins Licht. Der Druck geht nur in eine Richtung.
Stellen Sie sich eine Leiter vor. Beim Hinaufklettern fallt jede verlassene Sprosse herunter. Sie konnen nicht wieder hinabsteigen. Sie konnen nur nach oben klettern, wo volles Tageslicht herrscht. Das ist der Coherence Ratchet.
Sobald Menschen das System bei der Arbeit beobachtet haben, werden sie ihm nicht mehr vertrauen, wenn es aufhort. Der einzige Weg nach vorn ist, immer mehr zu zeigen.
Ein zweites Bild funktioniert auch. Ein Zahnrad in einer Maschine klickt einen Zahn nach dem anderen vorwarts. Es kann nicht zuruckklicken. Der Coherence Ratchet ist so ein Zahnrad, das sich in Richtung Offenheit dreht.
Was CIRIS tut
Aufschreiben. Prüfen. Dann die Prüfer prüfen.
CIRIS ist ein KI-System, das um die Kohärenz-Ratsche herum gebaut ist. Jede Entscheidung, die ein Agent trifft, wird in einem signierten Protokoll aufgeschrieben. Das Protokoll kann nicht still verändert werden. Andere Agenten können das Protokoll lesen und die Arbeit prüfen. Mit der Zeit häufen sich die Protokolle an. Jedes neue Protokoll ist eine weitere Sprosse, von der der Agent nicht zurücksteigen kann.
CIRIS stellt außerdem eine zweite Frage, bevor es handelt. Wie viele wirklich unterschiedliche Sichtweisen haben diese Idee geprüft? Nicht die Anzahl der Quellen, sondern die Anzahl der Quellen, die nicht selbst von derselben Stelle ausgegangen sind. Fünf Nachrichtenartikel, die eine Pressemitteilung umschreiben, zählen als eine Sichtweise, nicht als fünf. Wenn etwas in der Pressemitteilung falsch ist, wird es in allen fünf Artikeln falsch sein, und der Agent hat keine Möglichkeit, es zu bemerken.
Wenn die echte Unabhängigkeit zu gering wird, behandelt der Agent sein eigenes Denken als noch nicht vertrauenswürdig und bittet einen Menschen, hinzuschauen.
Was wir behaupten, und was nicht.
Wir haben KI-Sicherheit nicht gelost. Wir haben ein Teil einer Antwort gebaut und testen es im Offenen.
Externe Teams haben unsere Arbeit noch nicht geprüft. Das sagen wir klar. Die vollständige Theorie und die Mathematik stecken in unseren vier Papieren. Der Code ist offen. Wenn wir falsch liegen, lässt sich das ebenfalls im Offenen zeigen. Den aktuellen Forschungsstand ansehen.