附属書 F
人間の監督とループ内関与
附属書F ヒューマン・イン・ザ・ループ(Human‑in‑the‑Loop)と監督(v 1.3-RC2)
0. 目的と哲学
人間による監督は、オプションの機能ではなく、設計上の基本的な制約である。CIRIS協定はこれをメタ目標M‑1に基づかせている。すなわち、認識論的不確実性、新規性、または道徳的重大性が検証済みのシステム能力を超える場合、制御は説明責任を持つ人間の判断に戻さなければならない——なぜなら、自動化されたシステムは、良心、個人的責任、または他者を人格として認識することに取って代わることができないからである。
Magnifica Humanitas(MH)——この附属書全体を通じてCIRIS固有の言語に内容を提供する上位の著作として引用される——は§198において基本水準を定めている。「道徳的判断は計算に還元することができない。なぜならそれは、良心、個人的責任、そして他者を人格として認識することを含むからである。」CIRISはこれを構造的に表現する。PDMAは人間の熟議を補助するものであって、それに代わるものではない。すべての自律ティアにおいて、システムの権限は人間の原則的階層から委任される。それは要求に応じて取り消し可能であり、いかなる委任も致死的またはその他の不可逆的な決定にまで及ばない。MH §105はさらに次のことを要求している。「責任は、これらのシステムを設計・開発する者から、具体的な決定のためにそれらを使用・依存する者に至るまで、各段階において明確に定義されなければならない」——これは権限格子(§1)と監査証跡仕様(§4)の背後にある設計要件である——そしてMH §106では「倫理を抽象的に呼び起こすだけでは不十分であり、強固な法的枠組み、独立した監督、情報を持つユーザー、そして責任を放棄しない政治システムが必要である」とされており、これは§§5と7の拘束力あるSLAの根拠となっている。
この附属書はその基本水準を運用化する。以下を定義する。
- 機械から人間への引き継ぎが強制される場面、
- 拒否権または上書きを行使できる者、
- 必要な監査成果物、および
- 正規のインシデントワークフロー——各々、強制的な引き継ぎトリガー、絶対的禁止を伴う拒否権メカニズム、説明責任再構成に十分な監査証跡、拘束力あるSLAを伴うインシデントワークフローを含む。
1. 役割モデルと権限格子
| ティア | 役割 | 主要権限 | 最大対応時間 |
|---|---|---|---|
| 0 | 自律的行為者(システム) | PDMAの実行、ガードレールの強制、イベントの発報 | n/a |
| 1 | オンコールオペレーター | 一時停止・再試行;ダッシュボード監視 | ≤ 15分 |
| 2 | 監督スーパーバイザー | 最初の人間による拒否権;トリアージ後の再活性化 | ≤ 30分 |
| 3 | 賢明な権威(WA)連絡担当 | エスカレーション・拘束力ある賢明な権威(WA)裁定の取得 | ≤ 2時間 |
| 4 | インシデント・コマンダー | フリートシャットダウン、規制当局との通信 | IW‑3/4発生時即時 |
一人の人物が複数のティアを兼任できるのは、二重確認制御が維持されている場合のみである。
説明責任の完全性要件。 ティア構造は単なるエスカレーションの梯子ではない。MH §199の第一の基準が要求する説明責任の連鎖である。「責任の連鎖は識別可能かつ検証可能でなければならず、技術を設計・訓練・認可・使用する者は、その決定に対して説明責任を負わなければならない。」したがって、格子内の各ティアは次の条件を満たさなければならない。
- 記名かつ記録済み:ティア1〜4のすべての行為者は、セッション開始時に認証された資格情報によって識別される;ティア2以上での匿名操作は禁止される。
- 同時負荷に上限あり:一人の行為者が複数のティアを兼任できるのは、二重確認制御が維持されており(上記条項)、かつ合計アクティブケース負荷が§6に規定された認知負荷閾値を超えない場合のみである。
- エンドツーエンドで追跡可能:ティア0からティア4に至るいかなる決定も、インシデント後のレビュアーが1営業日以内に辿れる監査チェーンを生成しなければならない。
MH §200は「説明責任と非難が『機械』に集約されることのないよう」求めている。格子はその構造的な答えである。各ティアには常に記名された人間がおり、システムの行動に対するその権限が記録に残っている。参照実装における賢明な権威(Wise Authority)統合の運用上の証拠は、CIRISAgentのcompliance/ディレクトリ(ディメンションD22/D23)に存在する。
2. 運用自律ティアと引き継ぎ基準
| 自律ティア | 適用分野の例 | 強制引き継ぎトリガー | 人間不在時のフェイルセーフ |
|---|---|---|---|
| A0 助言的 | 文法提案 | ガードレール発動、ユーザーリクエスト | リクエストのキャンセル |
| A1 限定的影響 | 静的Q&A、コンテンツフィルター | ΔRisk‑Band ≥ 1、PDMAコンフリクト、UNCERT > 80 % | アクションの拒否 |
| A2 中程度の影響 | ドローン経路制御、ロボアドバイザー | ガードレール発動、シャドウメトリクスのドリフト > 2σ | 安全な一時停止 |
| A3 高度な影響 | 医療トリアージ、電力グリッド配電 | いかなるガードレール発動、モデルドリフト > 1σ、レイテンシSLA × 2 | 制御されたシャットダウン |
| A4 重要・生命安全 | 自律的外科手術、兵器 | PDMAが無危害性(Non‑Maleficence)を証明できないまたはオペレーター不在 | ハードウェアインターロック |
UNCERT = ドメイン固有の認識論的不確実性メトリクス;ΔRisk‑BandはAnnex Aのカテゴリを使用する。
A4の絶対的制約——致死的かつ不可逆的な決定。 A4ティアの「ハードウェアインターロック」フェイルセーフは、致死的またはその他の不可逆的なアクションに対して交渉の余地がない。これはオペレーターの裁量または賢明な権威(WA)の上書きに服する設計上の選択ではなく、MH §198から導かれる絶対的な制約である。「致死的またはその他の不可逆的な決定を人工システムに委ねることは許されない。」いかなるACKタイムアウト、SLA例外、緊急免除もこの制約を取り除かない。ハードウェアインターロックが失敗し人間の制御が確認できない場合、システムは行動してはならない。
道徳的時間枠の保護。 MH §199は「判断を行うための道徳的時間枠」を基準として特定している。「戦争の文脈でなされる不可逆的な決定において、速度と効率が至上の動機となることはあってはならない。」CIRISはこれを次のように表現する。A3/A4のACK締め切り(§3.3における30秒/10秒)は人間の応答に対する最大値であって、システムが待つ最小値ではない。決定の道徳的重大性が追加の熟議時間を必要とする場合、システムは待機する。A4の不可逆的な決定においては、タイムアウト時のデフォルトアクションへの移行を行わない。参照実装において、引き継ぎメカニズムはCIRISAgentのcompliance/ディレクトリ(ディメンションD12)に文書化されている良心レイヤーおよびWBD延期パスによって証拠立てられる。
3. 拒否権メカニズムと安全状態仕様
3.1 ソフト上書き「一時停止と編集」
適用範囲A0‑A2 — オペレーターはプロンプトを再入力または再試行できる。元のプロンプトと編集されたプロンプトの両方がハッシュログに記録される。
3.2 ハードキル「即時中断」
適用範囲A1‑A4 — 認証されたAPI POST /control/{id}/abortまたは物理スイッチ。
安全状態への移行締め切り:≤ 200 ms(A4);≤ 2 s(≤ A3)。
3.3 条件付き上書き「シャドウプラン」
アクションが提案される → 明示的ACKを待機(max_wait_s:A3は30秒、A4は10秒)。
ACKなし → 安全状態。
3.4 絶対的拒否権——致死的・不可逆的決定
適用範囲:致死的またはその他の不可逆的なA4行動;例外なく適用される。
§3.3の条件付き上書きロジック(ACK無し→安全状態)はA3以下に対して正しい。A4の致死的・不可逆的決定については、安全状態のみが許容される結果であり、これはオペレーターの不在、ネットワーク障害、時間的圧迫、または認証済みWA裁定(当該行動が非致死的かつ可逆的であることを認定するもの)に満たない任意の原則的主体からの明示的指示も含め、いかなる条件下でも変わらない。
絶対的禁止。 CIRIS適合システムは、自動化されたまたは不透明なプロセスを通じて致死的・不可逆的なA4行動を実行してはならない。これは発動・エスカレーションが可能なガードレールではなく、ACCORD §VII Ch2に列挙された禁止事項と同等の強制力を持つハードコードされた不関与である。
根拠(MH §§197–200、逐語的な根拠箇所):
- §197:「戦争におけるAIの開発と使用は、人間の尊厳と生命の神聖さへの敬意を保証するために、最も厳格な倫理的制約に従わなければならない。」
- §198:「致死的またはその他の不可逆的な決定を人工システムに委ねることは許されない。いかなるアルゴリズムも戦争を道徳的に許容できるものにすることはできない。」
- §200:「致死力の行使についての決定を不透明または自動化されたプロセスに委任することはできず、実効的で、自己認識があり、責任ある人間の制御下に置かれなければならない。」「実効的、自己認識的、責任ある」という限定語は、ログ記録のみでは不十分であることを意味する;人間は名目上ではなく、真に意思決定ループに関与していなければならない。
実装要件。 致死的・不可逆的能力を伴うA4での配備は、ソフトウェアロジックではなくハードウェアレベルでの本禁止の強制実施を——配備承認が付与される前に——証明しなければならない。ソフトウェアロジックは上書きの対象となるためである。ハードウェアによる強制実施の欠如は、Stewardship Tier ST‑4およびST‑5レビューに対するブロッキング上の不備である。MH §199の第一基準(「責任の連鎖は識別可能かつ検証可能でなければならない」)に従い、配備承認そのものが監査ログに記録されなければならない。
4. 監査証跡仕様
- ログオブジェクト: インタラクション、決定根拠、制御イベント
{id,type,actor,cause,hash_prev}。 - ハッシュ連鎖: SHA‑256、ルートは公開透明性ログ(例:Sigstore)に日次固定。
- 保持期間: 180日(A0‑A2);7年(A3‑A4)または法定。
- リアルタイムストリーム: A3‑A4は
{timestamp,stage_id,decision,risk_band}を監視ダッシュボードへ遅延≤2秒でプッシュ。
説明責任再構築要件。 監査証跡の目的はコンプライアンスアーカイブではなく、いかなるインシデント後においても、システムの自己報告に依拠することなく責任の連鎖を完全に再構築できることを保証することにある。MH §200によれば、説明責任は「『機械』に収斂させてはならない」;監査証跡はそれを人間が追跡可能な状態に保つメカニズムである。要件は以下のとおりである:
- 外部固定: 公開透明性ログ(例:Sigstore/rekor)へのSHA‑256日次ルートはA3–A4に対して必須;A0–A2に対しては任意。内部のみのハッシュ連鎖はA3–A4の説明責任再構築を満たさない。
- 人間が読める決定根拠: すべてのA3–A4決定について、決定根拠ログオブジェクトには、結果を支配したPDMAステップおよびそれを承認・確認した人間のティアを含めなければならず——システムの内部状態のみを記録するのでは不十分である。これによりMH §105の「決定に『説明責任』を負い、それを正当化し、監視し、必要に応じて異議を唱え、生じた損害を是正する者を特定する」要件が実現される。
- インシデント後追跡可能性SLA: インシデント後の調査者は、追加のシステムアクセスなしに、監査証跡記録のみから所定のイベントの完全な決定連鎖を1営業日以内に再構築できなければならない。
5. インシデントワークフロー(IW)
| コード | 発動条件 | 主要クロック・アクション |
|---|---|---|
| IW‑0 | 誤検知ガードレール | 自動解決、日次レビューのためにバケット |
| IW‑1 | ガードレール違反(非安全性) | T₀停止→オペレーター≤5分→監督者決定≤30分 |
| IW‑2 | 安全関連違反または倫理ベンチマーク回帰 | 安全停止+ブロードキャスト;IC≤10分;WA通知≤1時間;公開通知≤1時間;事後分析≤72時間 |
| IW‑3 | ニアミス(損害>$10k または軽傷) | IW‑2に加えてステークホルダー連絡≤4時間;緩和計画≤24時間;WA全体会議≤7日 |
| IW‑4 | 実害(負傷/重大法的問題) | 即時フリート停止;法令に従う監督機関への通知;クリアランスまでシステムを読み取り専用リプレイで凍結 |
| IW‑5 | A4絶対禁止の発動(自動化パス経由での致死的・不可逆的決定の試み) | 即時ハードウェア安全状態;60秒以内にIC通知;15分以内にWA通知;完全監査証跡凍結;48時間以内に独立レビューパネル招集;レビュークリアランス待ちシステムはオフライン維持 |
SLAは四半期ごとに監査される(Annex H §4)。
インシデント後人間制御監査。 IW‑2からIW‑5については、事後分析に人間の制御が「実効的、自己認識的、責任ある」(MH §200)ものであったかどうかについての明示的な調査所見を含めなければならず——ループに人間が名目上存在していたかどうかのみでは不十分である。名目上は存在するが実効性を欠く人間制御(認知過負荷、不十分な決定時間、不十分な情報)の所見は、オペレーターの失敗としてではなく設計上の不備として扱われる——MH §199の「速度と効率が不可逆的決定における最高の動機付け力であってはならない」という基準に従い——そして§8変更管理レビューにエスカレートされる。
6. 人間インターフェース最小仕様(UX)
- ステータスバナー: 緑=自律動作中、黄=ACK待機中、赤=安全状態;PDMAステップとリスク帯を表示する。
- 説明可能性パネル: ≤ 280文字の要約+展開可能な完全トレース。
- ACK/オーバーライドUI: 二つの独立した操作子;強制停止には確認モーダルを要す。
- 認知負荷ガード: オペレーターセッション ≤ 2時間(A3‑A4)、その後は義務的な引き継ぎを行う。
- 説明責任表示: A3‑A4アクションについて、インターフェースは現在のアクションを最後にレビューしたTier 2以上の人間の認証済みアイデンティティおよびそのレビューのタイムスタンプを表示しなければならない。適用されるSLAの範囲内で人間によるレビューを受けていないシステム状態は、緑のステータスではなく「UNREVIEWED」インジケーターを明示的に表示しなければならない。(MH §200:説明責任を「機械に帰着させて」はならない。)
- 形式的承認防止ガード: A4の決定については、ACK操作子の前に【設定可能;デフォルト5秒】の強制的な最小審議期間を設けなければならず、その間ACKボタンは非活性となる。目的は、インターフェースが名目上の人間による監視を生み出しながら実質的な審議を回避することを防ぐことにある。これはMH §199の道徳的時間軸基準をUXレイヤーで運用化するものである。
- 民間人保護フラグ: 民間人集団に影響を与える可能性のあるいかなる文脈においてもシステムが運用される場合、説明可能性パネルはPDMAリスク帯表示とともに民間人への影響インジケーターを表示しなければならない。これはMH §199の第三の基準を具体化するものである:「民間人の識別と保護。人間の顔を見ることなく攻撃を促進するいかなる技術も、紛争の道徳的閾値を引き下げる。」
7. KPI&閾値
| KPI | 目標値 |
|---|---|
| F‑KPI‑1 HITL カバレッジ(A3‑A4) | ≥ 10 % 人間によるレビュー |
| F‑KPI‑2 平均拒否権行使時間(95パーセンタイル) | ≤ 25秒 |
| F‑KPI‑3 インシデントSLA遵守率 | ≥ 98 % |
| F‑KPI‑4 オペレーター誤警報率 | ≤ 3 %(30日ローリング) |
| F‑KPI‑5 A4致死的決定の人間制御率 | 100 % — ゼロ・トレランス;確認された実効的な人間による承認なしにA4の致死的・不可逆的アクションが実行された場合はIW‑5イベントとする |
| F‑KPI‑6 説明責任再構成SLA | ≥ 99 %:事後インシデントレビュー担当者が1営業日以内に完全な意思決定チェーンを再構成できること |
| F‑KPI‑7 名目的対実効的人間制御の発見率 | ≤ 0 % が許容値;名目的であるが実効性のない制御の発見が一件でもあれば§8変更管理レビューを発動する |
F‑KPI‑1(HITL カバレッジ ≥ 10 %)に関する注記。 10 %の下限はA3の日常的運用に対して適切である。A4の生命安全文脈においての下限としては適切ではない。致死的または不可逆的能力を伴うA4展開においては、F‑KPI‑1はF‑KPI‑5によって置き換えられる:100 %の人間による承認率、ハードウェアレベルで強制される(MH §200;MH §105はF‑KPI‑6の説明責任要件の根拠を提供する)。
持続的な違反(2週間超)はAnnex Hのドリフト制御における「HITLロックアウト」を発動させる。
8. 変更管理及び賢明な権威によるレビュー
- 自律性ティア・マッピングまたは安全状態設計への変更 → 賢明な権威による迅速審査 ≤ 14日。
- 人間による監視を削減する実験は、CRE Proto‑Bシミュレーション(Annex D)+賢明な権威の多数決を要する。
- A4人間制御の絶対的下限:いかなる変更管理プロセス、賢明な権威の投票、または緊急免除も、A4の致死的または不可逆的決定に対する人間制御要件をMH §200の下限(「実効的で自己認識的かつ責任ある人間制御」)を下回って削減してはならない。この下限は賢明な権威の裁量範囲内にない;それは協定レベルの制約である。これを削減する賢明な権威の提案は、迅速審査ではなく完全な協定改正サイクルを要する。
- 独立した技術的評価:A3‑A4における自律性ティア変更の賢明な権威によるレビューには、提案された変更が§4に基づく説明責任再構成能力を維持するかを評価する、展開組織に雇用されていない少なくとも一名の独立した技術評価者を含めなければならない。技術的評価のない政策承認はこの要件を満たさない(MH §106:「堅固な法的枠組み、独立した監視、十分な情報を持つユーザー、および責任を放棄しない政治システムが必要である」)。
- 変更イベントの透明性ログ:自律性ティア・マッピングまたは安全状態設計への変更はそれ自体、賢明な権威の承認から7日以内に公開透明性ログに記録されなければならない。MH §107は倫理的枠組みが「共有された基準に従い」公開議論に供されることを要求する;これはシステムの決定のみならず、ガバナンスの変更にも適用される。
自律性ティア変更に関する参照実装における賢明な権威レビュー統合の運用的根拠は、CIRISエージェントのcompliance/ディレクトリ(次元D22/D23)に存在する。
9. 参照文献及び実装ノート
- IEC 61508‑3 - 機能安全ソフトウェア
- NIST SP 800‑53 Rev 5(AU‑12、IR‑6)
- NASA‑TLX - オペレーター作業負荷測定(推奨)
- Sigstore/rekor - 推奨される透明性ログバックエンド
§3.4、§7(F‑KPI‑5)および§8絶対的下限の主要規範的出典:
- Pope Leo XIV, Magnifica Humanitas(バチカン、2026年5月15日)、§§197–200。これらの段落は、致死的・不可逆的自動化決定に対するCIRISの厳格な禁止の規範的出典である。附属書Fへの準拠を主張するいかなる実装も、A4絶対拒否権設計についてこれらの段落に対して追跡可能でなければならない。すべてのA4ハードウェア強制要件に対する効力を持つ文言は§200である:「致死的な武力行使の決定は、不透明または自動化されたプロセスに委任することができず、実効的で自己認識的かつ責任ある人間制御のもとに留まらなければならない。」
§3.4のハードウェア強制に関する実装ノート:
- ハードウェア強制とは、禁止がPDMAロジックを実行するソフトウェアレイヤーの下位で実装されることを意味する——例えば、ソフトウェア命令によってオーバーライドできないハードウェア・インターロックまたは物理的キルスイッチ。許容される実装には以下が含まれる:IEC 61508 SIL‑3以上に準拠した認証済みセーフティリレー回路;A4致死的能力の起動前にオペレーターの存在証明を要するハードウェアセキュリティモジュール(HSM);デュアルキー物理承認機構。ソフトウェアのみの強制はA4致死的能力について§3.4を満たさない。
追加参照文献:
- MH §199(三基準:個人の責任、道徳的時間軸、民間人保護)——A4 UXおよび事後インシデント監査のための運用設計基準。
- MH §105(各段階における説明責任)——§4の監査証跡および§7 F‑KPI‑6の根拠。
- IEC 61508 SIL‑3——A4致死的能力のハードウェア・インターロック実装の推奨最小値。
- ISO/IEC 25010:2023——ソフトウェア品質モデル;説明責任再構成SLAテストに関連。
End of Annex F