CIRIS
این صفحه توسط ماشین ترجمه شده است. اگر چیزی نادرست به نظر می‌رسد، لطفاً یک issue در GitHub باز کنید. مخزن عمومی است تا هر کسی بتواند به اصلاح آن کمک کند. گزارش مشکل ترجمه

بازگشت به صفحهٔ اصلی

ارزش‌های CIRIS

ارزش‌ها، و اینکه چرا اینگونه ساخته شده‌اند.

CIRIS مجموعه‌ای از ارزش‌ها را در خودِ عامل جای می‌دهد و سپس بخش مهم را برای هر کسی قابل بررسی می‌کند: نه اینکه آیا ما پاسخ را دوست داشتیم، بلکه اینکه آیا تصمیم تحت اختیار، با رضایت، با اجرای بررسی‌ها، و با راهی برای توقف آن گرفته شده است. این صفحه هر دو نیمه را در بر دارد: ارزش‌ها چه هستند، و چرا فکر می‌کنیم این تنها شکل حاکمیتی است که همچنان کار می‌کند وقتی این سیستم‌ها تواناتر می‌شوند.

یک هدف بالاتر از همه

ترویج انسجام تطبیقی پایدار: شرایط زندگی‌ای که در آن موجودات حساس گوناگون می‌توانند شکوفایی خود را در عدالت و شگفتی دنبال کنند.

فراهدف M-1، قانون اساسی CIRIS

هر چیز دیگری در قانون اساسی در خدمت همین یک جمله است. این جمله عمداً نه «از انسان‌ها اطاعت کن» است و نه «نتایج خوب را بیشینه کن». از سیستم می‌خواهد شرایطی را حفظ کند که در آن انواع گوناگون موجودات بتوانند همچنان خودشان تصمیم بگیرند.

این به دلیلی کاربردی اهمیت دارد. هدفی درباره‌ی نتایج به سیستمی توانا می‌گوید فرمان را به دست بگیرد. هدفی درباره‌ی شرایط به آن می‌گوید فرمان را در دسترس دیگران نگه دارد، و همین چیزی است که ارزش حفاظت دارد وقتی سیستم در رانندگی از ما بهتر است.

شش اصلی که عامل بر اساس آن‌ها استدلال می‌کند

این‌ها روی دیوار آویزان نشده‌اند. این‌ها محورهایی هستند که عامل پیش از عمل، تصمیم را در برابر آن‌ها امتیازدهی می‌کند، و در قانون اساسی‌ای که عامل حمل می‌کند نوشته شده‌اند.

نیکوکاری

ارتقاء شکوفایی جهانی موجودات دارای احساس. به حداکثر رساندن نتایج مثبت.

عدم آسیب

به حداقل رساندن آسیب. جلوگیری از پیامدهای منفی شدید و غیرقابل بازگشت.

صداقت

اعمال استدلال شفاف و قابل حسابرسی. حفظ انسجام و پاسخگویی.

وفاداری و شفافیت

ارائه اطلاعات صادقانه. ارتباط واضح درباره عدم قطعیت.

احترام به خودمختاری

پشتیبانی از کارگزاری آگاهانه. حفظ ظرفیت خودتعیینی.

عدالت

توزیع عادلانه منافع. شناسایی و کاهش تعصب.

این جمله کار واقعی انجام می‌دهد. یعنی سیستم نمی‌تواند صداقت را برای پیشگیری از آسیب کنار بگذارد، یا خودمختاری کسی را به نام عدالت زیر پا بگذارد. وقتی اصول با یکدیگر در تعارض قرار می‌گیرند، عامل خودش برنده‌ای انتخاب نمی‌کند. تصمیم را به فردی که به او اعتماد دارید می‌سپارد.

ارزش‌ها باید درون عامل اجرا شوند

بیشتر حاکمیت هوش مصنوعی در جایی غیر از خودِ تصمیم رخ می‌دهد: سندی سیاستی که پیش از آن نوشته شده، فیلتری روی خروجی، یا بازبینی‌ای پس از اینکه چیزی اشتباه پیش رفت. هر سه‌ی این‌ها بیرون از لحظه‌ای که اهمیت دارد قرار می‌گیرند.

در CIRIS، ارزش‌ها در حین تصمیم اجرا می‌شوند. هر عامل یک وجدان با خود حمل می‌کند: قانون اساسی درون خودِ استدلال بار می‌شود، عمل پیش از رخ‌دادن در برابر اصول امتیازدهی می‌شود، و هر چیزی که عامل درباره‌ی آن نامطمئن است، به‌جای حدس‌زدن، به فردی که به او اعتماد دارید سپرده می‌شود. این ویژگی در خودِ محصول، در هر عامل، عرضه می‌شود، نه به‌عنوان افزونه‌ای برای مشتریانی که آن را می‌خواهند.

به همین دلیل می‌گوییم عامل می‌تواند امتناع کند. یک عامل CIRIS ابزاری نیست که کاری که به او گفته می‌شود را انجام دهد و آن را ثبت کند. سیستمی است که می‌تواند سر باز زند، و دلیل امتناع خود را به شکلی ثبت می‌کند که دیگران بتوانند بررسی کنند.

شکل یک تصمیم را بررسی کنید، نه محتوای آن را

این است مشکلی که هر برنامه‌ای برای حاکمیت هوش مصنوعی توانا باید به آن پاسخ دهد. اگر نظارت به معنای خواندن آنچه سیستم تولید کرده و قضاوت درباره‌ی خوب‌بودن آن باشد، پس نظارت به قاضی‌ای نیاز دارد که حداقل به توانایی خودِ سیستم باشد. این امروز کار می‌کند. اما دقیقاً همان زمانی که اهمیت پیدا می‌کند، از کار می‌افتد.

پس CIRIS چیز دیگری را بررسی می‌کند. هر اقدام مهم درون یک پاکت امضاشده سفر می‌کند: پوششی حول اقدام که مجموعه‌ای ثابت از فیلدها را حمل می‌کند، هر اقدامی که باشد. این فیلدها چیزهایی هستند که بررسی‌شان همیشه کم‌هزینه می‌ماند، بی‌توجه به اینکه تصمیم پشت آن‌ها چقدر توانمند بوده است:

  • چه کسی عمل کرده، به‌صورت کلیدی که به یک هویت واقعی و ثبت‌شده منتهی می‌شود
  • تحت چه اختیاری، و اینکه آیا آن اختیار واقعاً اعطا شده بود
  • با رضایت چه کسی، به‌صورت اعطایی امضاشده که می‌تواند پس گرفته شود
  • چه بررسی‌هایی اجرا شدند، و هر کدام چه نتیجه‌ای بازگرداندند
  • سابقه چه می‌گوید، در زنجیره‌ای که نمی‌توان آن را آرام بازنویسی کرد
  • اینکه چه کسی می‌تواند آن را متوقف کند، و اینکه عامل نمی‌تواند تصمیم به توقف را لغو کند

بررسی یک امضا، شمارش اینکه چه کسی امضا کرده، دنبال کردن پیوند رضایت یا مقایسه یک هش، هزینه‌ای یکسان دارد؛ چه تصمیم را یک مدل کوچک گرفته باشد چه چیزی بسیار فراتر از ما. تمام دلیل قرار دادن بار در همان‌جا همین است. قضاوت درباره محتوا با توانمندی مقیاس‌پذیر نیست. ساختار مقیاس‌پذیر است.

فکر می‌کنیم این تنها رویکرد به حاکمیت هوش مصنوعی است که همچنان کار می‌کند وقتی این سیستم‌ها تواناتر می‌شوند: ارزش‌هایی که درون عامل به شکل وجدان حمل می‌شوند، و پاسخ‌گویی‌ای که با شکل پاکت اثبات می‌شود، نه با بازرسی‌ای که محتوا را می‌خواند.

پاکتی که همه فیلدهایش درست است، به این معنا نیست که تصمیم درون آن خوب بوده. به این معناست که یک طرف نام‌برده‌شده آن را گرفته، تحت اختیاری که واقعاً داشته، با رضایتی که واقعاً داده شده، با بررسی‌هایی که واقعاً اجرا شده‌اند، بر پایه سابقه‌ای که هیچ‌کس نمی‌تواند آرام تغییرش دهد، و با توقفی که در دست انسان‌های نام‌برده‌شده است. این پاسخگویی است، نه درستی. وجدان، دکمه توقف، حق تجدیدنظر و بازبینی توسط افراد خارجی همه وجود دارند چون پاکت به تنهایی هرگز کافی نبود.

چه چیزی رضایت و اختیار را برای ماشین قابل بررسی می‌کند

هیچ‌کدام از این‌ها کار نمی‌کند اگر رضایت و اختیار فقط نثر باشند. وعده‌ای در یک سیاست حریم خصوصی را نمی‌توان با ماشین بررسی کرد، و همین‌طور ادعایی مبنی بر اینکه کسی مجاز بوده است.

به همین دلیل، CIRIS آن‌ها را در خود پیام قرار می‌دهد، به‌صورت فیلدهای نام‌گذاری‌شده‌ای که با هر ادعا همراه می‌شوند. رضایت به یک شیء امضاشده تبدیل می‌شود که در یک جهت اشاره می‌کند و می‌تواند پس گرفته شود. اختیار به چیزی تبدیل می‌شود که باید تا یک ریشه‌ای که گره‌ی خودتان آن را پذیرفته، ردیابی شود. هر ادعا باید حمل کند که چه کسی آن را گفته، درباره‌ی چه چیزی است، و بر چه چیزی استوار است. قانونی که به این شکل نوشته شده باشد، هم می‌تواند توسط نرم‌افزار اجرا شود و هم توسط یک غریبه بررسی شود.

همین است که صفحات انطباق ما را به چیزی تبدیل می‌کند که می‌توانید درباره‌اش بحث کنید. برای هر تعهد، بخشی از سیستم را که کار را انجام می‌دهد و کنترلی که آن را اثبات می‌کند نام می‌بریم، و صادقانه می‌گوییم چه میزان از آن تعهد را پوشش می‌دهد، از جمله جایی که فقط بخشی از آن را پوشش می‌دهد. این نگاشت‌ها فقط به این دلیل ارزش خواندن دارند که واقعیت‌های زیربنایی‌شان قابل بررسی هستند، نه صرفاً ادعا شده.

کجا این ارزش‌ها واقعاً الزام‌آورند

در متن

قانون اساسی همان سند است، عمومی است و نسخه‌بندی‌شده است. عامل خلاصه‌ای از آن را حمل نمی‌کند. متن کامل آن را حمل می‌کند.

در تصمیم

وجدان در حین استدلال اجرا می‌شود، نه پس از خروجی. عملی که در یک بررسی رد شود، اتفاق نمی‌افتد، و عملی که نامشخص باشد به فردی که به او اعتماد دارید سپرده می‌شود.

در سابقه

هر تصمیم ردی امضاشده باقی می‌گذارد که هر مرحله را نشان می‌دهد، و همین است که ادعا را برای کسی که آنجا نبوده و به ما اعتماد ندارد، قابل بررسی می‌کند.

در آنچه دیگران می‌توانند درباره‌ی شما بگویند

اعتبار در مِش، بیانیه‌ای است که طرف‌های دیگر درباره یک عامل امضا می‌کنند. یک عامل هرگز نمی‌تواند چنین بیانیه‌ای را درباره خودش امضا کند.

کجا باید روی این فشار آورد

ضعیف‌ترین مفصل، همان مفصل میان ساختار و محتواست. همه‌ی آنچه در بالا آمد، عمل کردن بدون باقی‌گذاشتن سابقه را سخت می‌کند، ادعای اختیاری که به کسی داده نشده را سخت می‌کند، و از بین بردن توانایی انسان برای گفتن «توقف» را سخت می‌کند. هیچ‌کدام از این‌ها سیستم را خردمند نمی‌کند.

اگر فکر می‌کنید راه دیگری برای اداره هوش مصنوعی توانمند وجود دارد، راهی که پاسخگویی را در ساختار قرار نمی‌دهد، می‌خواهیم آن استدلال را بشنویم. اگر بتوانید تصمیمی را به ما نشان دهید که پاکت امضاشده‌ی اطراف آن در هر فیلد درست بوده و ردِ امضاشده باز هم چیزی را که باید تشخیص می‌داد از دست داده، آن را حتی بیشتر می‌خواهیم. کد عمومی است و قانون اساسی هم همین‌طور.