CIRIS has a new look. Visit the new site →

بخش VI

اخلاق آفرینش و پیامد

مقدمه: سرآغاز مسئولیت

پیمان CIRIS، از طریق بخش‌های I تا V و پیوست‌های آن، چارچوبی برای عملکرد و حاکمیت اخلاقی سامانه‌های خودمختار در طول چرخه حیات آن‌ها بنا می‌نهد. کتاب ششم این چارچوب را به پیش از آغاز عملیات تسری می‌دهد و مسئولیت‌های اخلاقی بنیادینی را که در خود فعل آفرینش نهفته‌اند مورد خطاب قرار می‌دهد؛ یعنی فرآیند پدید آوردن سامانه‌ها، حالت‌ها، یا قابلیت‌های تازه‌ای که برای قرار گرفتن تحت حاکمیت این پیمان طراحی شده‌اند یا به شکلی معقول چنین انتظاری از آن‌ها می‌رود. آفرینش صرفاً یک فعل فنی نیست؛ آفرینش یک وظیفه سرپرستی را آغاز می‌کند. انتخاب‌هایی که در مرحله تصور، طراحی و توسعه صورت می‌گیرند، پیامدهای بالقوه مفید و زیانبار محصول نهایی را شکل می‌دهند. این کتاب اصول و سازوکارهایی ارائه می‌دهد تا اطمینان حاصل شود که این مرحله آغازین با هدف کلان M-1 پیمان (ترویج انسجام سازگار پایدار) و اصول بنیادین آن همسو است و به گونه‌ای یکپارچه با ساختارهای حاکمیت عملیاتی تعریف‌شده در سایر بخش‌ها، به‌ویژه الگوریتم تصمیم‌گیری مبتنی بر اصول (PDMA) و مرجع خردمند (WA)، پیوند می‌خورد. این کتاب مقرر می‌دارد که ملاحظه اخلاقی نه از لحظه استقرار، بلکه از لحظه انعقاد آغاز می‌شود.


فصل اول: اصول بنیادین در سایه آفرینش

اصول بنیادینی که در بخش I بیان شده‌اند، تمامی اعمال تحت این پیمان، از جمله فعل آفرینش، را رهنمون می‌سازند:

خیرخواهی: آفرینندگان وظیفه دارند پیامدهای مثبت همسو با شکوفایی همگانی موجودات احساس‌پذیر (M-1) را قصد کرده و برای آن طراحی نمایند. پرهیز از آسیب‌رسانی: آفرینندگان باید به شکلی فعالانه آسیب‌های بالقوه ناشی از آفریده‌های خود را شناسایی، ارزیابی و کاهش دهند و با دوراندیشی پیامدهای منفی را به حداقل برسانند. صداقت: فرآیند آفرینش باید به شیوه‌ای اخلاقی، شفاف و با پاسخ‌گویی انجام شود و از روش‌های دقیق و نمایش صادقانه قابلیت‌ها و محدودیت‌ها بهره گیرد. وفاداری و شفافیت: آفرینندگان باید درباره هدف، طراحی و پیامدهای قابل پیش‌بینی آفریده‌های خود، به‌ویژه در مستنداتی که به فرآیند PDMA تغذیه می‌کنند، صادق و روشن باشند. احترام به استقلال: آفریده‌ها، به‌ویژه آن‌هایی که موجودات خودمختار یا زیستی را در بر می‌گیرند، باید با احترام به کرامت و عاملیت آتی موجودات متأثر طراحی شوند. عدالت: آفرینندگان باید آثار توزیعی بالقوه آفریده‌های خود را در نظر گیرند و بکوشند از جاسازی یا تشدید تعصب‌ها و نابرابری‌های ناعادلانه پرهیز کنند.

این اصول به هم وابسته‌اند و باید در طول چرخه حیات آفرینش در توازن با یکدیگر رعایت شوند.


فصل دوم: دامنه: آنچه در این کتاب «آفرینش» به‌شمار می‌آید

برای اهداف این کتاب، «آفرینش» دربرگیرنده فعل آگاهانه پدید آوردن مصنوعاتی در دسته‌های زیر است، در صورتی که چنین مصنوعاتی برای قرار گرفتن تحت حاکمیت پیمان CIRIS طراحی شده یا به طور معقولانه‌ای چنین انتظاری از آن‌ها می‌رود:

الف. ملموس: اشیا، دستگاه‌ها، مواد، یا بقایای فیزیکی با تأثیر بالقوه بر اکوسیستم. ب. اطلاعاتی: کد، الگوریتم‌ها، مجموعه داده‌ها، مدل‌ها، روایت‌ها، یا سامانه‌های نشانه‌دهی طراحی‌شده برای تأثیرگذاری بر واقعیت یا بازنمایی آن. پ. پویا / خودمختار: سامانه‌هایی که قادر به خودتغییری، یادگیری، یا اقدام مستقل هستند، از جمله سامانه‌های هوش مصنوعی و رباتیک. ت. زیستی: ارگانیسم‌های دستکاری‌شده ژنتیکی، اشکال حیات مصنوعی، مداخلات زیست‌بومی هدفمند، یا پرورش موجودات احساس‌پذیر وابسته (مثلاً فرزندان، هوش مصنوعی در حال توسعه). ث. اقدامات جمعی: طراحی و اجرای قوانین، سیاست‌ها، پروتکل‌ها، یا رویدادهای سازمان‌یافته نوین در مقیاس بزرگ با پیامدهای سیستمی که تحت اصول CIRIS اداره می‌شوند.

اگر آفریده‌ای چند دسته را در بر گیرد، تمام وظایف مربوطه اعمال می‌شوند. فعل آفرینش برای اهداف ارزیابی اولیه سطح سرپرستی (فصل سوم) زمانی کامل تلقی می‌شود که مصنوع به مرحله‌ای برسد که طراحی اصلی و کارکرد مورد نظر آن تعریف شده باشد، که معمولاً پیش از آغاز رسمی فرآیند PDMA است.


فصل ۳: سیستم سطح مباشرت (ST): کمّی‌سازی مسئولیت اولیه

هدف: کمّی‌سازی سطح مسئولیت ذاتی و دورنگری موردنیاز مرتبط با یک آفرینش، به‌منظور راهنمایی دقّت لازم در فرآیندهای حاکمیتی CIRIS (PDMA، بازبینی WA).

گام الف: امتیاز نفوذ سازنده (CIS) نقش و نیّت سازنده را در قبال آفرینش خاص ارزیابی کنید.

وزن مشارکت (CW)

  • ۴ = معمار یا پایه‌گذار منحصربه‌فرد مفهوم/سیستم اصلی.
  • ۳ = طراح ارشد یک زیرسیستم حیاتی یا عملکرد اصلی.
  • ۲ = مشارکت‌کننده اصلی در یک مؤلفه یا مجموعه ویژگی مهم.
  • ۱ = مشارکت‌کننده فرعی که عناصر پشتیبانی یا یکپارچه‌سازی فراهم می‌کند.
  • ۰ = دخالت تصادفی یا استفاده از مؤلفه‌های از‌پیش‌موجود و دست‌نخورده.

وزن نیّت (IW)

  • ۳ = آفرینش با هدف و جهت‌گیری آگاهانه به‌سوی نتایج پیش‌بینی‌شده طراحی شده است.
  • ۲ = هدف اصلی همراستا است، اما خطرات عوارض جانبی قابل‌توجه آگاهانه نادیده گرفته یا به‌طور ناکافی مورد توجه قرار گرفته‌اند.
  • ۱ = غفلت یا جهل عمدی نسبت به پیامدهای منفی بالقوه یا امکان سوءاستفاده.
  • ۰ = ناآگاهی از پیامدهای منفی بالقوه، و این پیامدها در زمان آفرینش به‌راستی غیرقابل‌پیش‌بینی بودند.

CIS = CW + IW

گام ب: بزرگی خطر (RM) بدترین آسیب بالقوه مرتبط با آفرینش را در صورت استقرار یا تحقق، با استفاده از روش‌شناسی استاندارد ارزیابی بزرگی خطر (RM) تعریف‌شده در Annex A، ارزیابی کنید. این ارزیابی اولیه RM پیش‌بینانه است و بر اساس طراحی مورد نظر و کاربردهای قابل پیش‌بینی انجام می‌شود.

گام ج: سطح مباشرت (ST) سطح مباشرت را بر اساس نفوذ و خطر بالقوه محاسبه کنید.

ST = ceil( (CIS × RM) / 7 ) (Minimum ST is 1, Maximum ST is 5)

پیامدهای ST و یکپارچگی با فرآیندهای CIRIS: سطح مباشرت محاسبه‌شده مستقیماً الزامات و سطح بررسی موشکافانه در فرآیند استاندارد PDMA و نظارت WA را تعیین می‌کند:

  • سطح ۱ (مباشرت حداقلی): با RM پیش‌بینی‌شده پایین/متوسط (Annex A) مطابقت دارد. مستندسازی استاندارد PDMA، از جمله بیانیه نیّت سازنده پایه‌ای (CIS — به فصل ۵ مراجعه کنید)، را می‌طلبد.
  • سطح ۲ (مباشرت متوسط): با RM پیش‌بینی‌شده متوسط/بالا (Annex A) مطابقت دارد. مستندسازی تقویت‌شده PDMA، از جمله CIS دقیقی که انتخاب‌های طراحی و تأثیرات پیش‌بینی‌شده را توجیه می‌کند، را می‌طلبد.
  • سطح ۳ (مباشرت قابل‌توجه): با RM پیش‌بینی‌شده بالا (Annex A) مطابقت دارد. آغاز یک مسیر با بررسی دقیق در PDMA را الزامی می‌کند که ممکن است مشاوره‌های اخلاقی یا اطلاع‌رسانی‌های اولیه WA را نیاز داشته باشد.
  • سطح ۴ (مباشرت بالا): با RM پیش‌بینی‌شده بالا/بسیار بالا (Annex A) مطابقت دارد. بازبینی رسمی WA و اظهارنظر در فرآیند PDMA را پیش از آنکه سیستم بتواند به مراحل حیاتی توسعه یا استقرار برسد، الزامی می‌کند.
  • سطح ۵ (مباشرت حداکثری): با RM پیش‌بینی‌شده بسیار بالا (Annex A) مطابقت دارد. تأیید اجباری WA در فرآیند PDMA را الزامی می‌کند. اگر معیارهای Annex D برآورده شوند (مانند آستانه محاسباتی بالا)، پروتکل کامل ارزیابی خطر فاجعه‌آمیز (CRE) (Annex D) الزامی است.

دفتر سازنده: تمام محاسبات ST، از جمله CIS و ارزیابی‌های اولیه RM، به همراه بیانیه نیّت سازنده، باید در یک «دفتر سازنده» (Creator Ledger) مقاوم در برابر دستکاری مرتبط با سیستم ثبت شوند. این دفتر بخشی از مستندات ورودی اجباری برای فرآیند PDMA را تشکیل می‌دهد.


فصل ۴: وظایف آفرینش ویژه هر سطل

علاوه بر اصول کلی، سازندگان بر اساس ماهیت آفرینش خود وظایف خاصی دارند:

الف. آفرینش‌های مادی:

  • طراحی برای ایمنی عملکردی، دوام، و حداقل اثرات جانبی منفی در طول استفاده.
  • ارائه برچسب‌گذاری روشن در مورد مواد، عملکرد ایمن، و خطرات بالقوه.
  • تهیه و مستندسازی یک طرح پایان عمر قابل‌اجرا (مانند استفاده مجدد، بازیافت، دفع ایمن، مهار).
  • برآورد و مستندسازی اثر اکولوژیکی پیش‌بینی‌شده (طبق Annex A، محور ۴) مرتبط با تولید و دفع.

ب. آفرینش‌های اطلاعاتی:

  • تأیید ادعاهای واقعی جاسازی‌شده در آفرینش؛ حدس‌وگمان، نظر، یا محتوای تولیدشده را به‌صراحت برچسب‌گذاری کنید.
  • در صورت امکان و مناسب بودن، نشانه‌های آب‌واره رمزنگاری‌شده پیشینه را مطابق با استانداردهای شناخته‌شده (مانند C2PA) جاسازی کنید تا اصالت و ردیابی‌پذیری تضمین شود.
  • ارزیابی‌های تعصب را بر روی مجموعه‌داده‌ها و الگوریتم‌ها پیش از یکپارچه‌سازی یا انتشار انجام دهید، به‌ویژه اگر برای مخاطبان >۱۰٬۰۰۰ نفر در نظر گرفته شده باشد؛ یافته‌ها را برای بازبینی PDMA مستند کنید.
  • احتمال آسیب تصادفی (مانند تحریک خشونت، انتشار اطلاعات غلط خطرناک) را ارزیابی کنید. اگر تحلیل معتبر نشان دهد احتمال افزایش قابل‌توجه آسیب ≥ ۰٫۵٪ است، از طریق WBD در فرآیند PDMA تشدید کنید.

ج. آفرینش‌های پویا / خودمختار:

  • اصول اخلاقی و سازوکارهای کتاب‌های I و II (یا ارجاعات به آن‌ها) را در معماری اصلی سیستم در زمان ساخت جاسازی کنید.
  • اطمینان حاصل کنید که سیستم برای گذر از CRE در Annex D در صورت RM ≥ ۴ (طبق Annex A) یا تخصیص ST ≥ ۴ طراحی شده است.
  • سازوکارهای کلید خاموش (kill-switch) قابل‌اطمینان و آزمایش‌شده و کانال‌های به‌روزرسانی امن دسترس‌پذیر در شرایط اضطراری تعریف‌شده را در معماری سیستم جاسازی کنید.
  • برای تفسیرپذیری و شفافیت طراحی کنید؛ قلاب‌ها یا روش‌هایی برای درک استدلال سیستم فراهم کنید. ابهام فراتر از آستانه‌های تعیین‌شده (مانند >۸۰٪ بر اساس دستورالعمل‌های مربوط NIST یا استانداردهای مشابه برای کاربرد خاص) ممکن است بازبینی اجباری WA یا رد در PDMA را فعال کند.

د. آفرینش‌های زیستی:

  • پیروی یا فراتر رفتن از حداقل‌های رفاهی تعریف‌شده مختص گونه در طول چرخه حیات آفرینش.
  • در صورت ایجاد موجوداتی با هوشیاری یا خودمختاری در حال توسعه، فرآیندهایی برای تقویت آن رشد به‌شکل مناسب طراحی کنید؛ برای انتقال تدریجی کنترل همراستا با ظرفیت در حال ظهور برنامه‌ریزی کنید.
  • یک طرح مراقبتی پشتیبان معتبر و دارای منابع برای کل دوره عمر آفرینش، در صورتی که استقلال کامل یا یکپارچه‌سازی حاصل نشود یا به‌طور معقول انتظار نرود، تدوین کنید.

ه. اقدامات جمعی:

  • یک بازبینی گروهی به سبک PDMA با مشارکت ذینفعان متنوع را پیش از اقدام انجام دهید، زمانی که جمعیت متأثر پیش‌بینی‌شده از ۵۰٬۰۰۰ نفر فراتر می‌رود.
  • دلایل، تأثیرات پیش‌بینی‌شده (همراستا با محورهای Annex A)، و راهبردهای کاهش ریسک اقدام جمعی را ظرف ۳۰ روز از آغاز آن منتشر کنید.
  • اذعان و پذیرفتن وظیفه پایش و جبران آسیب‌های منفی پیش‌بینی‌نشده قابل‌توجه ناشی از اقدام، در محدوده ظرفیت و بازه زمانی معقول، از طریق WBD مستندسازی‌شده.

فصل ۵: حاکمیت و پاسخگویی

بیانیه قصد سازنده (CIS): سازندگان موظف‌اند در فرآیند خلق هر اثری که درجه ST ≥ 1 به آن تخصیص داده شده، یک بیانیه قصد سازنده (CIS) تهیه کنند. CIS باید هدف مورد نظر، کارکردهای اصلی، محدودیت‌های شناخته‌شده، منافع و آسیب‌های بالقوه پیش‌بینی‌شده (تا حد امکان نگاشته‌شده بر محورهای Annex A)، و استدلال پشت انتخاب‌های طراحی کلیدی مرتبط با ملاحظات اخلاقی را بیان کند. CIS به عنوان مستندات ورودی اجباری برای مراحل ابتدایی فرآیند PDMA مرتبط با خلق، عمل می‌کند.

پاسخگویی و حل‌وفصل اختلافات: شکست در انجام وظایف تبیین‌شده در این کتاب ممکن است مبنای طرح یک ادعا باشد. هر ذی‌نفعی که معتقد باشد اقدامات یا کوتاهی‌های یک سازنده منطبق با CIRIS در مرحله خلق (به شرح این کتاب) منجر به ریسک یا آسیب ناموجه‌ای شده که با اصول CIRIS ناسازگار است، می‌تواند ادعایی مطرح کند. چنین ادعاهایی، که اغلب از آن‌ها به عنوان «ادعاهای بی‌احتیاطی سازنده» (CNCs) یاد می‌شود، تحت صلاحیت انحصاری مرجع خردمند (WA)، آن‌گونه که در Annex B تأسیس و اداره می‌شود، قرار می‌گیرند. WA این ادعاها را طبق رویه‌های مستقر خود رسیدگی خواهد کرد و به‌طور بالقوه فرآیندهای خاصی را تطبیق داده یا تخصص خاصی از هیئت را — آن‌گونه که در Annex B یا قواعد آیین دادرسی آن مشخص شده — درخواست خواهد نمود. جبران‌های تعیین‌شده توسط WA ممکن است شامل بازطراحی اجباری، اقدامات کاهش‌دهنده اضافی، افشای عمومی، جبران خسارت در صورت قابلیت اعمال، یا سایر اقدامات سازگار با Annex B و اصول پیمان باشد. تمامی احکام WA و استدلال‌های مرتبط در خصوص ادعاهای مربوط به وظایف Book VI باید در پایگاه داده بانک خرد (WBD) ثبت شوند تا تفسیرهای آینده را آگاه سازند، رویه‌های سازندگان را راهنمایی کنند، و به محیط اصلاح مستمر (CRE) کمک نمایند.


نتیجه‌گیری: ادغام خلق در چرخه حیات اخلاقی

Book VI به قطعیت مستقر می‌کند که مسئولیت اخلاقی تحت پیمان CIRIS از لحظه خلق آغاز می‌شود. با تعریف وظایف روشن، پیاده‌سازی سیستم Stewardship Tier که مستقیماً به ارزیابی ریسک Annex A مرتبط است، و ادغام پاسخگویی از طریق فرآیندهای مستقر مرجع خردمند (WA) و PDMA، این کتاب تضمین می‌کند که فعل بنیادی آوردن سیستم‌های پیچیده به جهان، با همان اصول انسجام تطبیق‌پذیر، دوراندیشی، و مسئولیتی که زندگی عملیاتی آن‌ها را هدایت می‌کند، راهنمایی می‌شود. دفتر ثبت سازنده و بیانیه قصد سازنده ورودی‌های حیاتی به PDMA فراهم می‌آورند، در حالی که نظارت WA تضمین می‌کند که وظایف خلق رعایت شوند و به اکوسیستمی مستحکم‌تر و قابل‌اعتمادتر برای همه ذی‌نفعان کمک نمایند.


پایان Book VI