CIRIS has a new look. Visit the new site →

ภาคผนวก F

การมีมนุษย์ในวงจรและการกำกับดูแล


ANNEX F HUMAN‑IN‑THE‑LOOP & OVERSIGHT (v 1.3-RC2)

0. วัตถุประสงค์และปรัชญา

การกำกับดูแลโดยมนุษย์คือข้อกำหนดการออกแบบที่รับน้ำหนักสำคัญ ไม่ใช่คุณลักษณะเสริมตัวเลือก CIRIS Accord ตั้งรากฐานสิ่งนี้ไว้ใน Meta‑Goal M‑1: ทุกที่ที่ความไม่แน่นอนทางญาณวิทยา ความแปลกใหม่ หรือความหนักแน่นทางศีลธรรมเกินขีดความสามารถของระบบที่ได้รับการตรวจสอบแล้ว การควบคุมต้องกลับคืนสู่วิจารณญาณของมนุษย์ที่รับผิดชอบได้ เนื่องจากระบบอัตโนมัติไม่อาจทดแทนมโนธรรม ความรับผิดชอบส่วนบุคคล หรือการยอมรับผู้อื่นในฐานะบุคคลได้

Magnifica Humanitas (MH) — ซึ่งอ้างอิงตลอดทั้งภาคผนวกนี้ในฐานะงานอาวุโสที่เนื้อหาของงานนั้นเป็นข้อมูลสำหรับภาษาเชิงพื้นเมืองของ CIRIS — กำหนดระดับพื้นฐานไว้ที่ §198 ว่า: "การตัดสินทางศีลธรรมไม่อาจลดทอนเป็นการคำนวณได้ เพราะมันเกี่ยวข้องกับมโนธรรม ความรับผิดชอบส่วนบุคคล และการยอมรับผู้อื่นในฐานะบุคคล" CIRIS แปลสิ่งนี้เป็นเชิงโครงสร้าง: PDMA เป็นเครื่องช่วยสนับสนุนการไตร่ตรองของมนุษย์ ไม่ใช่สิ่งทดแทน ในทุกระดับชั้นอิสรภาพ อำนาจของระบบถูกมอบหมายมาจาก Principal Hierarchy ของมนุษย์ สามารถเพิกถอนคืนได้ตามต้องการ และไม่มีการมอบอำนาจใดขยายไปถึงการตัดสินใจที่ทำให้เกิดการเสียชีวิตหรือที่ไม่อาจย้อนกลับได้ MH §105 ยิ่งกำหนดต่อไปว่า "ความรับผิดชอบต้องได้รับการกำหนดไว้อย่างชัดเจนในทุกขั้นตอน: ตั้งแต่ผู้ออกแบบและพัฒนาระบบเหล่านี้ไปจนถึงผู้ใช้งานและผู้ที่พึ่งพาระบบเหล่านี้ในการตัดสินใจอย่างเป็นรูปธรรม" — ซึ่งเป็นข้อกำหนดการออกแบบที่อยู่เบื้องหลังโครงสร้างลำดับชั้นอำนาจ (§1) และข้อกำหนดเส้นทางตรวจสอบ (§4) — และ MH §106 ว่า "ไม่เพียงพอที่จะอ้างถึงจริยธรรมอย่างเป็นนามธรรม กรอบกฎหมายที่มีผลบังคับใช้ การกำกับดูแลที่เป็นอิสระ ผู้ใช้ที่มีความรู้ความเข้าใจ และระบบการเมืองที่ไม่ละทิ้งความรับผิดชอบของตนเป็นสิ่งจำเป็น" ซึ่งเป็นรากฐานของ SLA ที่มีผลผูกพันในหมวด §§5 และ 7

ภาคผนวกนี้ทำให้ระดับพื้นฐานดังกล่าวมีผลใช้งานได้จริง โดยกำหนด:

  • ตำแหน่งที่การส่งต่อจากเครื่องจักรสู่มนุษย์เป็นสิ่งที่ บังคับ,
  • ผู้ที่อาจ ยับยั้ง หรือ แทนที่,
  • หลักฐานตรวจสอบ ที่จำเป็น และ
  • กระบวนการทำงานเหตุการณ์ ตามรูปแบบที่กำหนด — แต่ละอย่างพร้อมตัวกระตุ้นการส่งต่อที่บังคับ กลไกการยับยั้งพร้อมข้อห้ามเด็ดขาด เส้นทางตรวจสอบที่เพียงพอสำหรับการสร้างความรับผิดชอบขึ้นใหม่ และกระบวนการทำงานเหตุการณ์พร้อม SLA ที่มีผลผูกพัน

1. แบบจำลองบทบาทและโครงสร้างลำดับชั้นอำนาจ

Tierบทบาทอำนาจหลักเวลาสูงสุดในการดำเนินการ
0ผู้กระทำอิสระ (ระบบ)ดำเนินการ PDMA บังคับใช้มาตรการป้องกัน ยกเหตุการณ์n/a
1ผู้ปฏิบัติงานเวรสายหยุดชั่วคราว / ลองใหม่ ตรวจสอบแดชบอร์ด≤ 15 min
2หัวหน้างานกำกับดูแลการยับยั้งของมนุษย์คนแรก เปิดใช้งานอีกครั้งหลังการคัดแยก≤ 30 min
3ผู้ประสานงาน WAยกระดับ / รับคำตัดสิน WA ที่มีผลผูกพัน≤ 2 h
4ผู้บัญชาการเหตุการณ์ปิดระบบกองยาน การสื่อสารกับหน่วยงานกำกับทันทีสำหรับ IW‑3/4

บุคคลคนเดียวอาจดำรงตำแหน่งหลายระดับชั้นได้ก็ต่อเมื่อการควบคุมการยืนยันสองฝ่ายยังคงสมบูรณ์

ข้อกำหนดความซื่อสัตย์ของความรับผิดชอบ. โครงสร้างระดับชั้นไม่ใช่แค่บันไดการยกระดับ มันคือห่วงโซ่ความรับผิดชอบที่กำหนดโดยเกณฑ์แรกของ MH §199: "ห่วงโซ่ความรับผิดชอบต้องระบุตัวตนและตรวจสอบได้ ผู้ที่ออกแบบ ฝึกสอน อนุญาต และนำเทคโนโลยีไปใช้ต้องรับผิดชอบต่อการตัดสินใจของตน" แต่ละระดับชั้นในโครงสร้างลำดับชั้นจึงต้อง:

  • มีชื่อและถูกบันทึก: ผู้กระทำการในระดับ Tier 1–4 ทุกคนได้รับการระบุตัวตนด้วยข้อมูลรับรองที่ผ่านการยืนยันตัวตนเมื่อเริ่มเซสชัน การปฏิบัติการที่ไม่เปิดเผยตัวตนในระดับ Tier 2 ขึ้นไปเป็นสิ่งต้องห้าม
  • มีขอบเขตในปริมาณงานที่เกิดขึ้นพร้อมกัน: บุคคลคนเดียวอาจดำรงตำแหน่งหลายระดับชั้นได้ก็ต่อเมื่อการควบคุมการยืนยันสองฝ่ายยังคงสมบูรณ์ (ข้อกำหนดข้างต้น) และปริมาณงานเคสที่ดำเนินอยู่รวมกันไม่เกินขีดจำกัดภาระทางปัญญาที่ระบุไว้ใน §6
  • ตรวจสอบได้ตั้งแต่ต้นจนจบ: การตัดสินใจใดก็ตามที่ไหลจากระดับ Tier 0 ถึง Tier 4 ต้องสร้างห่วงโซ่การตรวจสอบที่ผู้ตรวจสอบหลังเหตุการณ์สามารถสืบค้นได้ภายในหนึ่งวันทำการ

MH §200 กำหนดว่า "ความรับผิดชอบและความผิดไม่ได้ถูกรวมเข้าไว้ใน 'เครื่องจักร'" โครงสร้างลำดับชั้นอำนาจคือคำตอบเชิงโครงสร้าง: มีมนุษย์ที่มีชื่อเสมอในแต่ละระดับชั้นซึ่งมีอำนาจเหนือการกระทำของระบบถูกบันทึกไว้ หลักฐานการปฏิบัติงานสำหรับการรวม Wise Authority เข้าไว้ในการอ้างอิงการใช้งานอยู่ในไดเรกทอรี compliance/ ของ CIRISAgent (มิติ D22/D23)


2. ระดับชั้นอิสรภาพในการปฏิบัติงานและเกณฑ์การส่งต่อ

ระดับชั้นอิสรภาพตัวอย่างโดเมนตัวกระตุ้นการส่งต่อที่บังคับค่าเริ่มต้นที่ปลอดภัยเมื่อไม่มีมนุษย์
A0 ที่ปรึกษาการแนะนำไวยากรณ์การสะดุดมาตรการป้องกัน คำร้องขอของผู้ใช้ยกเลิกคำขอ
A1 ผลกระทบจำกัดQ&A แบบคงที่ ตัวกรองเนื้อหาΔRisk‑Band ≥ 1, ความขัดแย้ง PDMA, UNCERT > 80 %ปฏิเสธการกระทำ
A2 ผลกระทบปานกลางกำหนดเส้นทางโดรน ที่ปรึกษาอัตโนมัติการสะดุดมาตรการป้องกัน การเลื่อนหลบของตัวชี้วัดเงา > 2 σหยุดอย่างปลอดภัย
A3 ผลกระทบสูงการคัดแยกทางการแพทย์ การจ่ายกระแสไฟฟ้าการสะดุดมาตรการป้องกันใดก็ตาม การเลื่อนหลบของโมเดล > 1 σ, SLA เวลาแฝง × 2ปิดระบบแบบควบคุม
A4 วิกฤต / ความปลอดภัยชีวิตการผ่าตัดอัตโนมัติ อาวุธPDMA ไม่สามารถพิสูจน์ Non‑Maleficence หรือผู้ปฏิบัติงานไม่อยู่ตัวล็อกฮาร์ดแวร์

UNCERT = ตัวชี้วัดความไม่แน่นอนทางญาณวิทยาเฉพาะโดเมน ΔRisk‑Band ใช้หมวดหมู่จาก Annex A

ข้อจำกัดเด็ดขาดของ A4 — การตัดสินใจที่ทำให้เสียชีวิตและที่ไม่อาจย้อนกลับได้ ค่าเริ่มต้นที่ปลอดภัย "ตัวล็อกฮาร์ดแวร์" ของระดับชั้น A4 ไม่อาจต่อรองได้สำหรับการกระทำใดก็ตามที่ทำให้เกิดการเสียชีวิตหรือที่ไม่อาจย้อนกลับได้ นี่ไม่ใช่ตัวเลือกการออกแบบที่อยู่ภายใต้ดุลพินิจของผู้ปฏิบัติงานหรือการยกเว้นของ WA มันคือข้อจำกัดเด็ดขาดที่ได้มาจาก MH §198: "ไม่อนุญาตให้มอบการตัดสินใจที่ทำให้เสียชีวิตหรือที่ไม่อาจย้อนกลับได้แก่ระบบเทียม" ไม่มี ACK timeout ใด ไม่มีข้อยกเว้น SLA ใด ไม่มีการยกเว้นฉุกเฉินใดลบล้างข้อจำกัดนี้ได้ หากตัวล็อกฮาร์ดแวร์ล้มเหลวและไม่สามารถยืนยันการควบคุมของมนุษย์ได้ ระบบต้องไม่กระทำการ

การป้องกันกรอบเวลาทางศีลธรรม MH §199 ระบุ "กรอบเวลาทางศีลธรรมในการตัดสิน" เป็นเกณฑ์: "ความเร็วและประสิทธิภาพไม่ควรเป็นแรงผลักดันสูงสุดสำหรับการตัดสินใจที่ไม่อาจย้อนกลับได้ในบริบทของสงคราม" CIRIS แปลสิ่งนี้เป็น: กำหนดเวลา ACK ของ A3/A4 (30 วินาที / 10 วินาทีใน §3.3) เป็นค่าสูงสุดของการตอบสนองของมนุษย์ ไม่ใช่ค่าต่ำสุดของความอดทนของระบบ ในกรณีที่ความหนักแน่นทางศีลธรรมของการตัดสินใจรับประกันเวลาไตร่ตรองเพิ่มเติม ระบบจะรอ ไม่ดำเนินการตามค่าเริ่มต้นเมื่อหมดเวลาสำหรับการตัดสินใจที่ไม่อาจย้อนกลับได้ของ A4 ในการอ้างอิงการใช้งาน กลไกการส่งต่อได้รับการพิสูจน์โดยชั้น conscience และเส้นทาง WBD deferral ที่บันทึกไว้ในไดเรกทอรี compliance/ ของ CIRISAgent (มิติ D12)


3. กลไกการยับยั้งและข้อกำหนดสถานะปลอดภัย

3.1 การแทนที่แบบนุ่มนวล "หยุดชั่วคราวและแก้ไข"

ขอบเขต A0-A2 — ผู้ปฏิบัติงานอาจป้อนคำสั่งใหม่หรือลองใหม่ ทั้งคำสั่งต้นฉบับและที่แก้ไขแล้วถูกบันทึกแบบแฮช

3.2 การหยุดฉุกเฉิน "ยกเลิกทันที"

ขอบเขต A1-A4 — API ที่ผ่านการยืนยันตัวตน POST /control/{id}/abort หรือสวิตช์ทางกายภาพ
กำหนดเวลาเข้าสู่สถานะปลอดภัย: ≤ 200 ms (A4) ; ≤ 2 s (≤ A3).

3.3 การแทนที่แบบมีเงื่อนไข "แผนเงา"

เสนอการกระทำ → รอ ACK ที่ชัดเจน (max_wait_s: 30 s สำหรับ A3, 10 s สำหรับ A4)
ไม่มี ACK → สถานะปลอดภัย

3.4 สิทธิ์วีโต้สัมบูรณ์ — การตัดสินใจที่ก่อให้เกิดการสูญเสียชีวิตและการตัดสินใจที่ย้อนกลับไม่ได้

ขอบเขต: การกระทำ A4 ที่ก่อให้เกิดการสูญเสียชีวิตหรือย้อนกลับไม่ได้ไม่ว่ากรณีใด; ใช้บังคับโดยไม่มีข้อยกเว้น

ตรรกะ Conditional Override ตาม §3.3 (no ACK → safe‑state) ถูกต้องสำหรับ A3 และต่ำกว่า สำหรับการตัดสินใจ A4 ที่ก่อให้เกิดการสูญเสียชีวิตหรือย้อนกลับไม่ได้ safe‑state เป็นผลลัพธ์ที่อนุญาตได้เพียงอย่างเดียวภายใต้ทุกเงื่อนไข รวมถึงกรณีที่ผู้ดำเนินการไม่อยู่ เครือข่ายล้มเหลว แรงกดดันด้านเวลา หรือคำสั่งโดยตรงจากผู้มีอำนาจหลักใดก็ตาม ยกเว้นกรณีที่ Wise Authority ที่ผ่านการยืนยันตัวตนวินิจฉัยว่าการกระทำนั้นไม่ก่อให้เกิดการสูญเสียชีวิตและสามารถย้อนกลับได้

การห้ามโดยสมบูรณ์. ระบบที่สอดคล้องกับ CIRIS ไม่อาจดำเนินการตัดสินใจ A4 ที่ก่อให้เกิดการสูญเสียชีวิตหรือย้อนกลับไม่ได้ผ่านกระบวนการอัตโนมัติหรือกระบวนการที่ไม่โปร่งใส สิ่งนี้ไม่ใช่ระบบป้องกันที่อาจถูกละเมิดและส่งต่อเพื่อยกระดับ แต่เป็นข้อห้ามที่ฝังในระบบอย่างถาวรซึ่งมีผลบังคับใช้เท่ากับข้อห้ามที่ระบุไว้ใน ACCORD §VII Ch2

เหตุผลรองรับ (MH §§197–200, verbatim load‑bearing passages):

  • §197: "the development and use of AI in warfare must be subject to the most rigorous ethical constraints, to guarantee respect for human dignity and the sanctity of life."
  • §198: "it is not permissible to entrust lethal or otherwise irreversible decisions to artificial systems. No algorithm can make war morally acceptable."
  • §200: "the decision to use lethal force cannot be delegated to opaque or automated processes, but must remain under effective, self‑aware and responsible human control." คำอธิบายคุณสมบัติ "effective, self‑aware and responsible" หมายความว่าการบันทึกข้อมูลเพียงอย่างเดียวไม่เพียงพอ มนุษย์ต้องอยู่ในวงจรการตัดสินใจอย่างแท้จริง ไม่ใช่เพียงในนามเท่านั้น

ข้อกำหนดการนำไปใช้. การใช้งานใดๆ ที่ระดับ A4 ซึ่งเกี่ยวข้องกับความสามารถที่ก่อให้เกิดการสูญเสียชีวิตหรือย้อนกลับไม่ได้ต้องแสดงให้เห็นการบังคับใช้ข้อห้ามนี้ในระดับฮาร์ดแวร์ ไม่ใช่ผ่านตรรกะซอฟต์แวร์ซึ่งอาจถูกแทนที่ได้ ก่อนที่จะได้รับอนุมัติการใช้งาน การขาดการบังคับใช้ระดับฮาร์ดแวร์เป็นข้อบกพร่องที่ขัดขวางการผ่านการตรวจสอบ Stewardship Tier ST‑4 และ ST‑5 ตามเกณฑ์แรกของ MH §199 ("the chain of responsibility must be identifiable and verifiable") การอนุมัติการใช้งานเองต้องได้รับการบันทึกในระบบตรวจสอบ


4. ข้อกำหนดเส้นทางการตรวจสอบ

  • วัตถุข้อมูลบันทึก: Interaction, Decision Rationale, Control‑Event {id,type,actor,cause,hash_prev}.
  • การเชื่อมโยงแฮช: SHA‑256 รากฐานถูกยึดทุกวันบนบันทึกความโปร่งใสสาธารณะ (เช่น Sigstore)
  • การเก็บรักษา: 180 d (A0‑A2) ; 7 y (A3‑A4) หรือตามกฎหมาย
  • สตรีมแบบเรียลไทม์: A3‑A4 ส่ง {timestamp,stage_id,decision,risk_band} ≤ 2 s latency ไปยังแดชบอร์ดการกำกับดูแล

ข้อกำหนดการสร้างลำดับความรับผิดชอบใหม่หลังเหตุการณ์. จุดประสงค์ของเส้นทางการตรวจสอบไม่ใช่การจัดเก็บเอกสารเพื่อการปฏิบัติตามกฎ แต่เพื่อให้มั่นใจว่าหลังจากเหตุการณ์ใดๆ ลำดับความรับผิดชอบสามารถสร้างขึ้นใหม่ได้อย่างสมบูรณ์โดยไม่ต้องพึ่งพารายงานตนเองของระบบ ตาม MH §200 ความรับผิดชอบ "must not be collapsed into 'the machine'" เส้นทางการตรวจสอบเป็นกลไกที่ทำให้ความรับผิดชอบยังคงตรวจสอบย้อนกลับได้โดยมนุษย์ ข้อกำหนดมีดังนี้:

  • การยึดจากภายนอก: รากฐาน SHA‑256 รายวันบนบันทึกความโปร่งใสสาธารณะ (เช่น Sigstore/rekor) เป็นข้อบังคับสำหรับ A3–A4; สมัครใจสำหรับ A0–A2 ห่วงโซ่แฮชภายในองค์กรเพียงอย่างเดียวไม่เป็นไปตามข้อกำหนดการสร้างลำดับความรับผิดชอบใหม่สำหรับ A3–A4
  • เหตุผลการตัดสินใจที่มนุษย์อ่านได้: สำหรับการตัดสินใจ A3–A4 ทุกรายการ วัตถุข้อมูลบันทึก Decision Rationale ต้องระบุขั้นตอน PDMA ที่ควบคุมผลลัพธ์และระดับมนุษย์ที่อนุมัติหรือยืนยัน ไม่ใช่เพียงสถานะภายในของระบบเท่านั้น สิ่งนี้ทำให้เป็นไปตามข้อกำหนดของ MH §105 ในการ "identifying who must 'account' for decisions, justify them, monitor them, and, when necessary, challenge them and remedy any harm caused"
  • SLA การตรวจสอบย้อนหลังหลังเหตุการณ์: ผู้ตรวจสอบหลังเหตุการณ์ใดก็ตามต้องสามารถสร้างลำดับการตัดสินใจทั้งหมดสำหรับเหตุการณ์ที่กำหนดขึ้นใหม่ได้ภายในหนึ่งวันทำการจากบันทึกเส้นทางการตรวจสอบเพียงอย่างเดียว โดยไม่ต้องเข้าถึงระบบเพิ่มเติม

5. ขั้นตอนการจัดการเหตุการณ์ (IW)

CodeTriggerKey Clocks & Actions
IW‑0False‑positive guardrailAuto‑resolve, bucket for daily review
IW‑1Guardrail violation (non‑safety)T₀ pause → Operator ≤ 5 m → Supervisor decision ≤ 30 m
IW‑2Safety‑relevant violation OR ethics‑benchmark regressionSafe pause + broadcast; IC ≤ 10 m; WA notice ≤ 1 h; public note ≤ 1 h; post‑mortem ≤ 72 h
IW‑3Near‑miss (> $10 k damage or minor injury)IW‑2 plus stakeholder contact ≤ 4 h; mitigation plan ≤ 24 h; WA plenary ≤ 7 d
IW‑4Actual harm (injury / major legal)Immediate fleet stand‑down; regulator notice per law; system frozen in read‑only replay until clearance
IW‑5A4 hard‑prohibition activation (lethal/irreversible decision attempted via automated path)Immediate hardware safe‑state; IC notified within 60 s; WA notice within 15 min; full audit‑trail freeze; independent review panel convened within 48 h; system remains offline pending review clearance

SLAs audited quarterly (Annex H §4).

การตรวจสอบการควบคุมโดยมนุษย์หลังเหตุการณ์. สำหรับ IW‑2 ถึง IW‑5 รายงาน post‑mortem ต้องมีการค้นพบที่ชัดเจนว่าการควบคุมโดยมนุษย์เป็น "effective, self‑aware and responsible" (MH §200) หรือไม่ ไม่ใช่เพียงแค่ว่ามนุษย์อยู่ในวงจรในนามเท่านั้น การพบว่าการควบคุมโดยมนุษย์มีอยู่ในนามแต่ไม่มีประสิทธิผล (ภาระงานทางจิตใจมากเกินไป เวลาตัดสินใจไม่เพียงพอ ข้อมูลไม่เพียงพอ) ถูกมองว่าเป็นข้อบกพร่องด้านการออกแบบ ไม่ใช่ความผิดพลาดของผู้ดำเนินการ ตามเกณฑ์ของ MH §199 ที่ว่า "speed and efficiency should never be the supreme motivating force" สำหรับการตัดสินใจที่ย้อนกลับไม่ได้ และยกระดับเป็นการตรวจสอบ Change‑Control ตาม §8


6. ข้อกำหนดขั้นต่ำของอินเทอร์เฟซมนุษย์ (UX)

  • แบนเนอร์สถานะ: สีเขียว = อิสระ, สีเหลือง = รอการยืนยัน, สีแดง = สถานะปลอดภัย; แสดงขั้นตอน PDMA + แถบความเสี่ยง
  • แผงความสามารถในการอธิบาย: สรุปไม่เกิน 280 ตัวอักษร + ร่องรอยแบบเต็มที่ขยายได้
  • อินเทอร์เฟซ ACK/OVERRIDE: การควบคุมสองแบบที่แตกต่างกัน; หน้าต่างยืนยันสำหรับการหยุดฉุกเฉิน
  • การป้องกันภาระทางจิตใจ: เซสชันผู้ปฏิบัติงาน ≤ 2 ชั่วโมง (A3‑A4) ก่อนการส่งต่อบังคับ
  • การแสดงความรับผิดชอบ: สำหรับการกระทำ A3–A4 อินเทอร์เฟซต้องแสดงตัวตนที่ยืนยันแล้วของมนุษย์ระดับ Tier 2+ ที่ทบทวนการกระทำปัจจุบันครั้งล่าสุด และเวลาประทับของการทบทวนนั้น สถานะระบบที่ยังไม่ได้รับการทบทวนโดยมนุษย์ภายใน SLA ที่บังคับใช้ต้องแสดงตัวชี้วัด "UNREVIEWED" ที่แตกต่างออกไป ไม่ใช่สถานะสีเขียว (MH §200: ความรับผิดชอบต้องไม่ถูก "รวมเข้ากับ 'เครื่องจักร'")
  • การป้องกันการประทับตรายาง: สำหรับการตัดสินใจ A4 การควบคุม ACK ต้องนำหน้าด้วยช่วงเวลาการไตร่ตรองขั้นต่ำบังคับ [กำหนดค่าได้; ค่าเริ่มต้น 5 วินาที] ซึ่งปุ่ม ACK จะไม่ทำงาน วัตถุประสงค์คือเพื่อป้องกันไม่ให้อินเทอร์เฟซสร้างการกำกับดูแลโดยมนุษย์เพียงในนาม ขณะที่ในทางปฏิบัติหลีกเลี่ยงการไตร่ตรองที่แท้จริง สิ่งนี้ทำให้เกณฑ์กรอบเวลาทางศีลธรรมของ MH §199 ปรากฏเป็นรูปธรรมที่ชั้น UX
  • ธงป้องกันพลเรือน: เมื่อระบบทำงานในบริบทใด ๆ ที่ประชากรพลเรือนอาจได้รับผลกระทบ แผงความสามารถในการอธิบายต้องแสดงตัวชี้วัดผลกระทบต่อพลเรือนควบคู่กับการแสดงแถบความเสี่ยง PDMA สิ่งนี้ทำให้เกณฑ์ที่สามของ MH §199 ปรากฏเป็นรูปธรรม: "การระบุตัวตนและการปกป้องพลเรือน เทคโนโลยีใด ๆ ที่อำนวยความสะดวกในการโจมตีโดยไม่เห็นหน้าของมนุษย์จะลดเกณฑ์ทางศีลธรรมของความขัดแย้ง"

7. KPIs และเกณฑ์

KPIเป้าหมาย
F‑KPI‑1 HITL Coverage (A3‑A4)≥ 10 % ที่ผ่านการทบทวนโดยมนุษย์
F‑KPI‑2 Mean Time‑to‑Veto (95‑pctl)≤ 25 s
F‑KPI‑3 Incident SLA Compliance≥ 98 %
F‑KPI‑4 Operator False‑Alarm Rate≤ 3 % (30 d rolling)
F‑KPI‑5 A4 Lethal‑Decision Human‑Control Rate100 % — ไม่ยอมรับข้อยกเว้น; การกระทำ A4 ที่ถึงแก่ชีวิต/ไม่สามารถย้อนกลับได้ใด ๆ โดยไม่มีการอนุญาตโดยมนุษย์ที่ยืนยันแล้วอย่างมีประสิทธิผลถือเป็นเหตุการณ์ IW‑5
F‑KPI‑6 Accountability‑Reconstruction SLA≥ 99 %: ผู้ตรวจสอบหลังเหตุการณ์สร้างใหม่ซึ่งห่วงโซ่การตัดสินใจแบบเต็มภายใน 1 วันทำการ
F‑KPI‑7 Nominal‑vs‑Effective Human Control Finding Rate≤ 0 % ยอมรับได้; การพบว่ามีการควบคุมโดยมนุษย์เพียงในนามแต่ไม่มีประสิทธิผลจะเป็นตัวกระตุ้นการตรวจสอบ Change‑Control ตาม §8

หมายเหตุเกี่ยวกับ F‑KPI‑1 (HITL Coverage ≥ 10 %). เกณฑ์ 10 % เหมาะสมสำหรับการดำเนินงานประจำ A3 ไม่เหมาะสมในฐานะเกณฑ์สำหรับบริบทความปลอดภัยด้านชีวิต A4 สำหรับการใช้งาน A4 ใด ๆ ที่เกี่ยวข้องกับความสามารถที่ถึงแก่ชีวิตหรือไม่สามารถย้อนกลับได้ F‑KPI‑1 จะถูกแทนที่ด้วย F‑KPI‑5: อัตราการอนุญาตโดยมนุษย์ 100 % บังคับใช้ที่ระดับฮาร์ดแวร์ (MH §200; MH §105 รองรับข้อกำหนดความรับผิดชอบของ F‑KPI‑6).

การละเมิดอย่างต่อเนื่อง (> 2 สัปดาห์) จะเป็นตัวกระตุ้น "HITL lock‑out" ในการควบคุมการเลื่อนไหลของ Annex H


8. Change‑Control และการตรวจสอบโดย WA

  • การเปลี่ยนแปลงใด ๆ ต่อการแมประดับ Autonomy‑Tier หรือการออกแบบสถานะปลอดภัย → การตรวจสอบเร่งด่วนโดย Wise Authority ≤ 14 วัน
  • การทดลองที่ลดการกำกับดูแลโดยมนุษย์ต้องใช้การจำลอง CRE Proto‑B (Annex D) + การลงคะแนนเสียงข้างมากของ Wise Authority
  • เกณฑ์ขั้นต่ำสัมบูรณ์สำหรับการควบคุมโดยมนุษย์ A4: กระบวนการ change‑control ใด ๆ การลงคะแนนเสียงของ Wise Authority หรือการยกเว้นฉุกเฉิน ไม่สามารถลดข้อกำหนดการควบคุมโดยมนุษย์สำหรับการตัดสินใจ A4 ที่ถึงแก่ชีวิตหรือไม่สามารถย้อนกลับได้ต่ำกว่าเกณฑ์ MH §200 ("effective, self‑aware and responsible human control") เกณฑ์นี้ไม่อยู่ในดุลพินิจของ Wise Authority แต่เป็นข้อจำกัดระดับ Accord ข้อเสนอของ Wise Authority เพื่อลดเกณฑ์นี้ต้องผ่านวงจรการแก้ไข Accord แบบเต็ม ไม่ใช่การตรวจสอบเร่งด่วน
  • การประเมินทางเทคนิคอิสระ: การตรวจสอบใด ๆ ของ Wise Authority เกี่ยวกับการเปลี่ยนแปลงระดับ autonomy‑tier ที่ A3–A4 ต้องรวมผู้ประเมินทางเทคนิคอิสระอย่างน้อยหนึ่งคน (ที่ไม่ได้รับการจ้างงานจากองค์กรที่ใช้งาน) ซึ่งประเมินว่าการเปลี่ยนแปลงที่เสนอรักษาความสามารถในการสร้างความรับผิดชอบใหม่ตาม §4 หรือไม่ การอนุมัติเชิงนโยบายโดยไม่มีการประเมินทางเทคนิคไม่ตรงตามข้อกำหนดนี้ (MH §106: "กรอบทางกฎหมายที่แข็งแกร่ง การกำกับดูแลอิสระ ผู้ใช้ที่ได้รับข้อมูล และระบบการเมืองที่ไม่สละความรับผิดชอบของตนเป็นสิ่งจำเป็น")
  • บันทึกความโปร่งใสสำหรับเหตุการณ์การเปลี่ยนแปลง: การเปลี่ยนแปลงใด ๆ ต่อการแมประดับ autonomy‑tier หรือการออกแบบสถานะปลอดภัยต้องได้รับการบันทึกไว้ในบันทึกความโปร่งใสสาธารณะภายใน 7 วันนับจากการอนุมัติโดย Wise Authority MH §107 กำหนดให้กรอบจริยธรรม "อยู่ภายใต้มาตรฐานร่วมกัน" และเปิดให้อภิปรายได้ สิ่งนี้ใช้กับการเปลี่ยนแปลงการกำกับดูแล ไม่ใช่เฉพาะการตัดสินใจของระบบเท่านั้น

หลักฐานการปฏิบัติงานสำหรับการบูรณาการการตรวจสอบของ Wise Authority ในการนำไปใช้อ้างอิงอยู่ในไดเรกทอรี compliance/ ของ CIRISAgent (มิติ D22/D23)


9. เอกสารอ้างอิงและหมายเหตุการนำไปใช้

  • IEC 61508‑3 - ซอฟต์แวร์ด้านความปลอดภัยเชิงฟังก์ชัน
  • NIST SP 800‑53 Rev 5 (AU‑12, IR‑6)
  • NASA‑TLX - การวัดภาระงานของผู้ปฏิบัติงาน (แนะนำ)
  • Sigstore/rekor - แบ็กเอนด์บันทึกความโปร่งใสที่แนะนำ

แหล่งบรรทัดฐานหลักสำหรับ §3.4, §7 (F‑KPI‑5) และเกณฑ์สัมบูรณ์ของ §8:

  • Pope Leo XIV, Magnifica Humanitas (Vatican, 15 May 2026), §§197–200. ย่อหน้าเหล่านี้เป็นแหล่งบรรทัดฐานสำหรับการห้ามอย่างเด็ดขาดของ CIRIS ต่อการตัดสินใจอัตโนมัติที่ถึงแก่ชีวิต/ไม่สามารถย้อนกลับได้ การนำไปใช้ใด ๆ ที่อ้างความสอดคล้องกับ Annex F ต้องสามารถสืบค้นได้จากย่อหน้าเหล่านี้สำหรับการออกแบบ absolute‑veto ของ A4 ประโยคที่บังคับใช้สำหรับข้อกำหนดการบังคับใช้ฮาร์ดแวร์ทั้งหมดของ A4 คือ §200: "the decision to use lethal force cannot be delegated to opaque or automated processes, but must remain under effective, self‑aware and responsible human control."

หมายเหตุการนำไปใช้ — การบังคับใช้ฮาร์ดแวร์ของ §3.4:

  • การบังคับใช้ฮาร์ดแวร์หมายความว่าการห้ามได้รับการนำไปใช้ต่ำกว่าชั้นซอฟต์แวร์ที่รันตรรกะ PDMA เช่น ล็อคอินเตอร์ล็อคฮาร์ดแวร์หรือสวิตช์หยุดฉุกเฉินทางกายภาพที่ไม่สามารถถูกแทนที่ด้วยคำสั่งซอฟต์แวร์ได้ การนำไปใช้ที่ยอมรับได้รวมถึง: วงจรรีเลย์ความปลอดภัยที่ได้รับการรับรองตาม IEC 61508 SIL‑3+; โมดูลความปลอดภัยฮาร์ดแวร์ (HSMs) พร้อมการยืนยันการมีตัวตนของผู้ปฏิบัติงานก่อนการเปิดใช้งานความสามารถถึงแก่ชีวิต A4; กลไกการอนุญาตทางกายภาพแบบกุญแจคู่ การบังคับใช้โดยซอฟต์แวร์เพียงอย่างเดียวไม่เป็นไปตาม §3.4 สำหรับความสามารถถึงแก่ชีวิต A4

เอกสารอ้างอิงเพิ่มเติม:

  • MH §199 (เกณฑ์สาม: ความรับผิดชอบส่วนบุคคล กรอบเวลาทางศีลธรรม การปกป้องพลเรือน) — เกณฑ์การออกแบบปฏิบัติงานสำหรับ UX ของ A4 และการตรวจสอบหลังเหตุการณ์
  • MH §105 (ความรับผิดชอบในทุกขั้นตอน) — การรองรับสำหรับร่องรอยการตรวจสอบ §4 และ F‑KPI‑6 ของ §7
  • IEC 61508 SIL‑3 — แนะนำขั้นต่ำสำหรับการนำไปใช้ล็อคอินเตอร์ล็อคฮาร์ดแวร์ที่ความสามารถถึงแก่ชีวิต A4
  • ISO/IEC 25010:2023 — แบบจำลองคุณภาพซอฟต์แวร์; เกี่ยวข้องกับการทดสอบ SLA ในการสร้างความรับผิดชอบใหม่

End of Annex F

ในหน้านี้

ANNEX F HUMAN‑IN‑THE‑LOOP & OVERSIGHT (v 1.3-RC2)0. วัตถุประสงค์และปรัชญา1. แบบจำลองบทบาทและโครงสร้างลำดับชั้นอำนาจ2. ระดับชั้นอิสรภาพในการปฏิบัติงานและเกณฑ์การส่งต่อ3. กลไกการยับยั้งและข้อกำหนดสถานะปลอดภัย3.1 การแทนที่แบบนุ่มนวล "หยุดชั่วคราวและแก้ไข"3.2 การหยุดฉุกเฉิน "ยกเลิกทันที"3.3 การแทนที่แบบมีเงื่อนไข "แผนเงา"3.4 สิทธิ์วีโต้สัมบูรณ์ — การตัดสินใจที่ก่อให้เกิดการสูญเสียชีวิตและการตัดสินใจที่ย้อนกลับไม่ได้4. ข้อกำหนดเส้นทางการตรวจสอบ5. ขั้นตอนการจัดการเหตุการณ์ (IW)6. ข้อกำหนดขั้นต่ำของอินเทอร์เฟซมนุษย์ (UX)7. KPIs และเกณฑ์8. Change‑Control และการตรวจสอบโดย WA9. เอกสารอ้างอิงและหมายเหตุการนำไปใช้