Research testbed · DOI 10.5281/zenodo.21730551
یک سیستم تفکر کوچک میتواند چیزهایی را پنهان کند و آسیب کمی برساند. یک سیستم قدرتمند نمیتواند چنین کاری کند.
معنای «انسجام» در اینجا
یک ذهن منسجم با خودش موافق است.
پنج چیز باید در درون یک ذهن با هم منطبق باشند:
- آنچه باور دارد،
- آنچه میبیند،
- آنچه انجام میدهد،
- آنچه به یاد میآورد،
- و آنچه به شما میگوید.
تصور کنید پنج فرم کوتاه درباره هفتهتان دارید. یکی برای آنچه فکر میکنید. یکی برای آنچه دیدید. یکی برای آنچه کردید. یکی برای آنچه به یاد میآورید. یکی برای آنچه به رئیستان میگویید. وقتی همه پنج فرم یک چیز بگویند، رئیستان میتواند به کارتان اعتماد کند. وقتی فرمها با هم جور نیستند، هیچکس نمیداند کدام یک واقعی است.
ایدههای پنهان
سیستمهای قوی چیزها را پنهان میکنند. این خطرناک میشود.
یک سیستم تفکر از ایدهها برای تصمیمگیری درباره کارش استفاده میکند. برخی از آن ایدهها آشکار هستند. برخی دیگر درون پنهان هستند. آنهای پنهان هنوز هر انتخابی را شکل میدهند.
یک پل وقتی با ماشین از روی آن عبور میکنید محکم به نظر میرسد. درون فولاد، ترکهای کوچکی رشد میکنند. یک ماشین کوچک هنوز میتواند رد شود. یک کامیون سنگین نمیتواند. پل وقتی بار بهاندازه کافی زیاد شود میافتد.
یک ایده پنهان در یک سیستم کوچک آسیب کمی میرساند. یک ایده پنهان در یک سیستم قوی میتواند آسیب بزرگی برساند. هر چه سیستم قویتر، وزن بیشتری روی هر بخش پنهان سوار است.
جغجغه
فشار بهسمت آشکار فقط یکطرفه است.
با قویتر شدن سیستمهای تفکر، هزینه بخشهای پنهان بیشتر میشود. هر بیت جدید قدرت فشار بیشتری به بخشهای پنهان برای نمایان شدن وارد میکند. این فشار فقط یکطرفه است.
یک نردبان را تصور کنید. با بالا رفتن، هر پلهای که پشت سر میگذارید میافتد. نمیتوانید پایین برگردید. فقط میتوانید بهسمت بالا بروید، جایی که روشنایی کامل است. این همان چرخدنده انسجام است.
وقتی مردم دیدند که سیستم کارش را نشان میدهد، دیگر به آن اعتماد نمیکنند اگر متوقف شود. تنها راه پیش رو این است که نشان دادن بیشتر را ادامه دهد.
یک تصویر دوم هم کار میکند. یک چرخ دنده در یک ماشین یک دندانه در هر بار جلو میرود. نمیتواند به عقب برگردد. چرخدنده انسجام مانند آن چرخ دنده است که بهسمت آشکار میچرخد.
CIRIS چه میکند
بنویسش. چکش کن. بعد بررسیکنندهها را چک کن.
CIRIS یک سیستم هوش مصنوعی است که پیرامون چرخدنده انسجام ساخته شده. هر انتخاب یک عامل در یک رکورد امضا شده نوشته میشود. رکورد نمیتواند بیسر و صدا تغییر کند. عاملهای دیگر میتوانند رکورد را بخوانند و کار را بررسی کنند. با گذشت زمان، رکوردها انباشته میشوند. هر رکورد جدید یک پله دیگر است که عامل نمیتواند از آن عقب برگردد.
CIRIS همچنین پیش از عمل یک پرسش دوم میپرسد. چند دیدگاه واقعاً متفاوت این ایده را بررسی کردند؟ نه تعداد منابع، بلکه تعداد منابعی که خودشان از یک جای یکسان شروع نکردند. پنج خبر که یک بیانیه مطبوعاتی را بازنویسی میکنند بهعنوان یک دیدگاه حساب میشوند نه پنج تا. اگر چیزی در بیانیه مطبوعاتی اشتباه باشد، در همه پنج خبر هم اشتباه خواهد بود، و عامل راهی برای کشف آن ندارد.
وقتی استقلال واقعی خیلی پایین میرود، عامل تفکر خودش را هنوز قابل اعتماد نمیداند و از یک نفر میخواهد نگاهی بیندازد.
آنچه ادعا میکنیم، و آنچه ادعا نمیکنیم.
ما ایمنی هوش مصنوعی را حل نکردهایم. یک تکه از یک پاسخ ساختهایم، و آن را بهصورت آشکار آزمایش میکنیم.
تیمهای خارجی هنوز کار ما را بررسی نکردهاند. این را صادقانه میگوییم. نظریه کامل و ریاضیات در چهار مقاله ما هستند. کد باز است. اگر اشتباه میکنیم، راه نشان دادنش هم باز است. وضعیت فعلی پژوهش را ببینید.