The Coherence Ratchet
Why a powerful mind has to show its work.
Küçük bir düşünme sistemi şeyler gizleyebilir ve az zarar verir. Güçlü bir sistem ise bunu yapamaz.
Burada "tutarlı" ne demek
Tutarlı bir zihin kendisiyle uzlaşır.
Bir zihnin içinde beş şeyin örtüşmesi gerekir:
- ne inandığı,
- ne gördüğü,
- ne yaptığı,
- ne hatırladığı,
- ve sana ne söylediği.
Haftanızla ilgili beş kısa formu düşünün. Biri ne düşündüğünüz için. Biri ne gördüğünüz için. Biri ne yaptığınız için. Biri ne hatırladığınız için. Biri patronunuza ne söylediğiniz için. Beş form da aynı şeyi söylediğinde patronunuz çalışmanıza güvenebilir. Formlar örtüşmediğinde kimse hangisinin gerçek olduğunu bilemez.
Gizli fikirler
Güçlü sistemler şeyler gizler. Bu tehlikelidir.
Bir düşünme sistemi ne yapacağına karar vermek için fikirler kullanır. Bu fikirlerin bir kısmı açıkta. Diğerleri içeride gizli. Gizli olanlar yine de her seçimi şekillendirir.
Bir köprü yoldan sağlam görünür. Çeliğin içinde küçük çatlaklar büyüyor. Küçük bir araba hâlâ geçebilir. Ağır bir kamyon geçemez. Köprü, yük yeterince büyüdüğünde çöker.
Küçük bir sistemin içindeki gizli bir fikir küçük zarar verir. Güçlü bir sistemin içindeki gizli bir fikir büyük zarar verebilir. Sistem ne kadar güçlüyse, her gizli parçaya o kadar fazla yük biner.
Dişli
Açıklığa doğru itme yalnızca tek yönde gider.
Düşünme sistemleri güçlendikçe gizli parçaların maliyeti artar. Her yeni güç parçası, gizli parçalara görünür olmaları için daha fazla baskı uygular. İtme yalnızca tek yönde gider.
Bir merdiven düşünün. Tırmanırken geride bıraktığınız her basamak düşüp gidiyor. Aşağıya inemezsiniz. Yalnızca tam gün ışığının olduğu yukarıya doğru tırmanabilirsiniz. İşte bu, Coherence Ratchet'tir.
İnsanlar bir sistemin çalışmasını gösterdiğini bir kez gördüğünde, durması durumunda artık ona güvenmeyecekler. İlerlemenin tek yolu daha fazlasını göstermeye devam etmektir.
İkinci bir imge de işe yarıyor. Bir makinedeki dişli her seferinde bir diş ileri tıklar. Geri tıklayamaz. Coherence Ratchet de böyle bir dişlidir; açıklığa doğru döner.
CIRIS ne yapıyor
Yaz. Kontrol et. Sonra kontrol edenleri kontrol et.
CIRIS, Coherence Ratchet etrafında inşa edilmiş bir yapay zeka sistemidir. Bir ajanın aldığı her karar imzalanmış bir kayda yazılır. Kayıt sessizce değiştirilemez. Diğer ajanlar kaydı okuyup çalışmayı denetleyebilir. Zamanla kayıtlar birikir. Her yeni kayıt, ajanın geri adım atamayacağı bir basamak daha olur.
CIRIS ayrıca harekete geçmeden önce ikinci bir soru sorar. Bu fikri gerçekten farklı kaç bakış açısı denetledi? Kaynak sayısını değil, aynı yerden başlamayan kaynakların sayısını. Tek bir basın bültenini yeniden yazan beş haber beş bakış açısı değil, birdir. Basın bülteninde yanlış bir şey varsa beş haberin hepsinde yanlış olacak ve ajanın bunu yakalamanın yolu yok.
Gerçek bağımsızlık çok düştüğünde, ajan kendi düşüncesini kırılgan sayar ve bir insanın bakmasını ister.
Ne iddia ediyoruz ve ne etmiyoruz.
Yapay zeka güvenliğini çözmedik. Bir yanıtın bir parçasını inşa ettik ve açık biçimde test ediyoruz.
Dış ekipler çalışmamızı henüz denetlemedi. Bunu açıkça söylüyoruz. Tam teori ve matematik dört makalede yer alıyor. Kod açık. Yanılıyorsak bunu göstermenin yolu da açıkta. Mevcut araştırma durumuna bakın.