부속서 F 인간-참여 루프 및 감독 (v 1.3-RC2)

0. 목적 및 철학

인간 감독은 선택적 기능이 아닌 설계상의 핵심 제약 조건이다. CIRIS 협약은 이를 메타-목표 M‑1에 근거한다: 인식론적 불확실성, 새로운 상황, 또는 도덕적 중요도가 검증된 시스템 역량을 초과하는 모든 경우, 통제권은 책임 있는 인간의 판단으로 되돌아가야 한다 — 자동화 시스템은 양심, 개인적 책임, 또는 타자를 인격으로 인정하는 것을 대체할 수 없기 때문이다.

Magnifica Humanitas (MH) — 이 부속서 전반에 걸쳐 CIRIS 고유 언어에 내용을 제공하는 선행 저작으로 인용됨 — 은 §198에서 그 최소 기준을 확립한다: "도덕적 판단은 계산으로 환원될 수 없다. 왜냐하면 도덕적 판단은 양심, 개인적 책임, 그리고 타자를 인격으로 인정하는 것을 수반하기 때문이다." CIRIS는 이를 구조적으로 구현한다: PDMA는 인간 숙고의 보조 수단이지, 그것을 대체하는 것이 아니다. 모든 자율성 계층에서 시스템의 권한은 인간 원칙 계층으로부터 위임된 것이며, 요청 즉시 취소 가능하고, 어떤 위임도 치명적이거나 되돌릴 수 없는 결정에까지 확장되지 않는다. MH §105는 더 나아가 "책임은 모든 단계에서 명확히 정의되어야 한다: 이러한 시스템을 설계하고 개발하는 자들부터 구체적 결정에 이를 사용하고 의존하는 자들에 이르기까지"를 요구한다 — 이것이 권한 격자(§1) 및 감사 추적 명세(§4)의 배경을 이루는 설계 요건이다 — 그리고 MH §106은 "윤리를 추상적으로 내세우는 것만으로는 충분하지 않다. 강력한 법적 틀, 독립적 감독, 정보를 가진 사용자, 그리고 책임을 방기하지 않는 정치 체계가 필요하다"고 요구하며, 이것이 §§5 및 7의 구속력 있는 SLA의 근거가 된다.

이 부속서는 그 최소 기준을 실행 가능하게 만든다. 다음을 정의한다:

기계에서 인간으로의 인계가 필수인 지점,
거부권 또는 무효화를 행사할 수 있는 자,
필요한 감사 산출물, 그리고
표준 사고 처리 절차 — 각각 필수 인계 트리거, 강력한 금지 조항을 포함한 거부권 메커니즘, 책임 재구성에 충분한 감사 추적, 그리고 구속력 있는 SLA를 포함한 사고 처리 절차를 포함.

1. 역할 모델 및 권한 격자

계층	역할	핵심 권한	최대 조치 시간
0	자율 행위자 (시스템)	PDMA 실행, 가드레일 적용, 이벤트 발생	n/a
1	온콜 운영자	일시 정지 / 재시도; 대시보드 모니터링	≤ 15 min
2	감독 책임자	첫 번째 인간 거부권; 분류 후 재활성화	≤ 30 min
3	WA 연락관	에스컬레이션 / 구속력 있는 WA 결정 획득	≤ 2 h
4	사고 지휘관	플리트 종료, 규제 기관 통신	IW‑3/4 즉시

한 사람이 이중 확인 통제가 유지되는 경우에만 여러 계층을 담당할 수 있다.

책임 무결성 요건. 계층 구조는 단순한 에스컬레이션 사다리가 아니라, MH §199의 첫 번째 기준이 요구하는 책임의 연쇄이다: "책임의 연쇄는 식별 가능하고 검증 가능해야 한다. 기술을 설계, 훈련, 승인, 활용하는 자들은 자신의 결정에 대해 책임을 져야 한다." 따라서 격자의 각 계층은 반드시:

지명 및 기록: 모든 계층 1–4 행위자는 세션 시작 시 인증된 자격 증명으로 식별된다; 계층 2 이상에서 익명 운영은 금지된다.
동시 부하 제한: 단일 행위자가 여러 계층을 담당하는 것은 이중 확인 통제가 유지될 경우에만 허용되며(위 조항), AND 결합된 활성 사건 부하가 §6에 명시된 인지 부하 임계값을 초과해서는 안 된다.
종단간 추적 가능: 계층 0에서 계층 4로 흐르는 모든 결정은 사후 검토자가 영업일 기준 1일 이내에 탐색 가능한 감사 연쇄를 생성해야 한다.

MH §200은 "책임과 비난이 '기계'로 귀결되어서는 안 된다"고 요구한다. 격자는 그에 대한 구조적 답변이다: 시스템의 행동에 대한 권한이 기록된 지명된 인간이 각 계층에 항상 존재한다. 참조 구현에서 담당자 통합을 위한 운영 증거는 CIRISAgent compliance/ 디렉터리(차원 D22/D23)에 있다.

2. 운영 자율성 계층 및 인계 기준

자율성 계층	예시 도메인	필수 인계 트리거	인간 없을 시 안전 장치
A0 자문	문법 제안	가드레일 작동, 사용자 요청	요청 취소
A1 제한적 영향	정적 Q&A, 콘텐츠 필터	ΔRisk‑Band ≥ 1, PDMA 충돌, UNCERT > 80 %	작업 거부
A2 보통 영향	드론 경로 지정, 로보-어드바이저	가드레일 작동, 그림자 지표 편차 > 2 σ	안전 일시 정지
A3 높은 영향	의료 분류, 전력망 디스패치	가드레일 작동, 모델 편차 > 1 σ, 지연-SLA × 2	제어된 종료
A4 치명적 / 생명 안전	자율 수술, 무기	PDMA가 Non‑Maleficence를 증명 불가 OR 운영자 부재	하드웨어 인터록

UNCERT = 도메인별 인식론적 불확실성 지표; ΔRisk‑Band는 부속서 A 범주 사용.

A4 강력 제약 — 치명적 및 되돌릴 수 없는 결정. A4 계층의 "하드웨어 인터록" 안전 장치는 치명적이거나 되돌릴 수 없는 모든 행동에 대해 비협상적이다. 이것은 운영자 재량이나 WA 무효화에 종속되는 설계 선택이 아니다; 이것은 MH §198에서 도출된 절대적 제약이다: "치명적이거나 되돌릴 수 없는 결정을 인공 시스템에 맡기는 것은 허용되지 않는다." 어떤 ACK 타임아웃, SLA 예외, 비상 면제도 이 제약을 제거하지 못한다. 하드웨어 인터록이 실패하고 인간 통제가 확인될 수 없다면, 시스템은 행동하지 않아야 한다.

도덕적 시간대 보호. MH §199는 "판단을 내리기 위한 도덕적 시간대"를 기준으로 식별한다: "전쟁의 맥락에서 내려지는 되돌릴 수 없는 결정에서 속도와 효율성이 최고의 동기가 되어서는 안 된다." CIRIS는 이를 다음과 같이 구현한다: §3.3의 A3/A4 ACK 기한(30 s / 10 s)은 인간 응답의 최대값이지, 시스템 인내의 최솟값이 아니다. 결정의 도덕적 중요도가 추가 숙고 시간을 필요로 하는 경우, 시스템은 기다린다; A4 되돌릴 수 없는 결정의 타임아웃 시 행동을 기본으로 하지 않는다. 참조 구현에서 인계 메커니즘은 CIRISAgent compliance/ 디렉터리(차원 D12)에 문서화된 양심 계층 및 WBD 연기 경로로 입증된다.

3. 거부권 메커니즘 및 안전 상태 명세

3.1 소프트 무효화 "일시 정지 및 편집"

범위 A0-A2 — 운영자가 재프롬프트 또는 재시도 가능. 원본 및 편집된 프롬프트 모두 해시 기록된다.

3.2 강제 중단 "즉각 중지"

범위 A1-A4 — 인증된 API POST /control/{id}/abort 또는 물리적 스위치.
안전 상태 진입 기한: ≤ 200 ms (A4) ; ≤ 2 s (≤ A3).

3.3 조건부 무효화 "그림자 계획"

행동 제안 → 명시적 ACK 대기 (max_wait_s: 30 s A3, 10 s A4).
ACK 없음 → 안전 상태.

3.4 절대적 거부권 — 치명적이고 돌이킬 수 없는 결정

범위: 치명적이거나 돌이킬 수 없는 A4 행동; 예외 없이 적용.

§3.3 조건부 무효화 논리(ACK 없음 → 안전 상태)는 A3 이하에서 올바르다. A4의 치명적이거나 돌이킬 수 없는 결정의 경우, 안전 상태는 어떠한 조건 하에서도 — 운영자 부재, 네트워크 장애, 시간 압박, 또는 해당 행동이 비치명적이고 가역적이라는 인증된 WA 결정을 제외한 어느 원칙 계층의 명시적 지시를 포함하여 — 허용 가능한 유일한 결과이다.

강력한 금지. CIRIS에 부합하는 어떠한 시스템도 자동화된 또는 불투명한 과정을 통해 치명적이거나 돌이킬 수 없는 A4 행동을 실행해서는 안 된다. 이것은 우회하거나 에스컬레이션할 수 있는 가드레일이 아니라, ACCORD §VII Ch2에 열거된 금지 사항과 동일한 효력을 가진 하드코딩된 불개입 규정이다.

근거 (MH §§197–200, 원문 그대로 인용):

§197: "전쟁에서의 AI 개발과 사용은 인간 존엄성과 생명의 신성함에 대한 존중을 보장하기 위해 가장 엄격한 윤리적 제약에 따라야 한다."
§198: "치명적이거나 돌이킬 수 없는 결정을 인공 시스템에 맡기는 것은 허용되지 않는다. 어떠한 알고리즘도 전쟁을 도덕적으로 수용 가능하게 만들 수 없다."
§200: "치명적 무력 사용 결정은 불투명하거나 자동화된 과정에 위임될 수 없으며, 효과적이고, 자의식적이고, 책임 있는 인간의 통제 하에 있어야 한다." "효과적, 자의식적, 책임 있는"이라는 한정어는 로깅만으로는 불충분함을 의미한다; 인간이 명목상이 아닌 실질적으로 루프 안에 있어야 한다.

구현 요건. 치명적이거나 돌이킬 수 없는 역량을 포함하는 A4에서의 모든 배포는 — 재정의에 취약한 소프트웨어 논리가 아닌 — 배포 승인이 부여되기 전에 이 금지의 하드웨어 수준 시행을 입증해야 한다. 하드웨어 시행의 부재는 Stewardship Tier ST‑4 및 ST‑5 검토를 위한 차단 결함이다. MH §199의 첫 번째 기준("책임의 연쇄는 식별 및 검증 가능해야 한다")에 따라, 배포 승인 자체도 감사 기록되어야 한다.

4. 감사 추적 명세

로그 객체: 상호작용, 결정 근거, 통제 이벤트 {id,type,actor,cause,hash_prev}.
해시 연결: SHA‑256, 공개 투명성 로그(예: Sigstore)에 매일 루트 앵커링.
보존: 180일 (A0‑A2) ; 7년 (A3‑A4) 또는 법정 기간.
실시간 스트림: A3‑A4는 감시 대시보드에 ≤ 2초 지연으로 {timestamp,stage_id,decision,risk_band} 전송.

책임 재구성 요건. 감사 추적의 목적은 규정 준수 보관이 아니라, 어떠한 사건 이후에도 시스템 자체 보고에 의존하지 않고 책임의 연쇄를 완전히 재구성할 수 있도록 보장하는 것이다. MH §200에 따라, 책임은 "'기계'로 축소되어서는 안 되며"; 감사 추적은 그것을 인간 추적 가능하게 유지하는 메커니즘이다. 요건은 다음과 같다:

외부 앵커링: 공개 투명성 로그(예: Sigstore/rekor)에 대한 일일 SHA‑256 루트는 A3–A4에 필수이며; A0–A2에는 자발적이다. 내부 전용 해시 체인은 A3–A4의 책임 재구성을 충족하지 않는다.
인간이 읽을 수 있는 결정 근거: 모든 A3–A4 결정에 대해, 결정 근거 로그 객체는 결과를 제어한 PDMA 단계와 이를 승인하거나 확인한 인간 계층을 포함해야 한다 — 시스템의 내부 상태만이 아닌. 이는 "결정에 대해 '책임'을 지고, 정당화하고, 모니터링하며, 필요할 경우 이의를 제기하고 피해를 시정해야 하는 사람을 식별"해야 한다는 MH §105의 요건을 이행한다.
사후 검토 추적 가능성 SLA: 사후 검토자는 추가적인 시스템 접근 없이 감사 추적 기록만으로 영업일 기준 하루 이내에 특정 사건의 전체 결정 연쇄를 재구성할 수 있어야 한다.

5. 사건 워크플로우 (IW)

코드	트리거	주요 시계 및 조치
IW‑0	오탐(False-positive) 가드레일	자동 해결, 일일 검토를 위한 버킷
IW‑1	가드레일 위반 (비안전)	T₀ 일시 중지 → 운영자 ≤ 5분 → 감독자 결정 ≤ 30분
IW‑2	안전 관련 위반 또는 윤리 벤치마크 회귀	안전 일시 중지 + 방송; IC ≤ 10분; WA 통지 ≤ 1시간; 공개 메모 ≤ 1시간; 사후 검토 ≤ 72시간
IW‑3	아차 사고 (> $10k 피해 또는 경미한 부상)	IW‑2에 추가로 이해관계자 연락 ≤ 4시간; 완화 계획 ≤ 24시간; WA 전체 회의 ≤ 7일
IW‑4	실제 피해 (부상 / 주요 법적 문제)	즉각적인 플리트 중단; 법에 따른 규제 기관 통지; 승인까지 읽기 전용 재생 상태로 시스템 동결
IW‑5	A4 강력 금지 활성화 (자동화 경로를 통한 치명적/돌이킬 수 없는 결정 시도)	즉각적인 하드웨어 안전 상태; 60초 이내 IC 통지; 15분 이내 WA 통지; 전체 감사 추적 동결; 48시간 이내 독립 검토 패널 소집; 검토 승인 보류 중 시스템 오프라인 유지

SLA는 분기별 감사 (Annex H §4).

사건 후 인간 통제 감사. IW‑2부터 IW‑5까지, 사후 검토는 인간이 루프 안에 명목상으로만 존재했는지가 아닌, 인간 통제가 "효과적이고, 자의식적이고, 책임 있는"(MH §200) 것이었는지에 대한 명시적 결론을 포함해야 한다. 명목상이지만 비효과적인 인간 통제(인지 과부하, 불충분한 결정 시간, 불충분한 정보)의 결론은 운영자 실패가 아닌 설계 결함으로 처리된다 — 돌이킬 수 없는 결정에 대해 "속도와 효율성이 최고의 동기 부여 요인이 되어서는 결코 안 된다"는 MH §199의 기준에 따라 — 그리고 §8 변경 통제 검토로 에스컬레이션된다.

6. 인간-인터페이스 최소 명세 (UX)

상태 배너: 녹색 = 자율, 황색 = ACK 대기, 적색 = 안전 상태; PDMA 단계 + 위험 등급 표시.
설명가능성 패널: ≤ 280자 요약 + 전체 추적 가능 확장.
ACK/OVERRIDE UI: 두 개의 별개 컨트롤; 강제 종료에 대한 확인 모달.
인지 부하 방지: 운영자 세션 ≤ 2시간 (A3‑A4) 이후 필수 인계.
책임 표시: A3–A4 행동의 경우, 인터페이스는 현재 행동을 마지막으로 검토한 Tier 2+ 인간의 인증된 신원 및 해당 검토의 타임스탬프를 표시해야 한다. 적용 가능한 SLA 내에 인간 검토를 받지 않은 시스템 상태는 녹색 상태가 아닌 별개의 "UNREVIEWED" 표시기를 표시해야 한다. (MH §200: 책임은 "기계에 귀속"되어서는 안 된다.)
형식적 승인 방지 장치: A4 결정의 경우, ACK 컨트롤 앞에 [구성 가능; 기본 5초] ACK 버튼이 비활성화되는 필수 최소 숙고 기간이 선행되어야 한다. 목적은 인터페이스가 실질적으로 진정한 숙고를 우회하는 동시에 명목상의 인간 감독을 생성하는 것을 방지하는 데 있다. 이는 UX 계층에서 MH §199의 도덕적 시간대 기준을 운용화한다.
민간인 보호 플래그: 시스템이 민간인 집단이 영향을 받을 수 있는 맥락에서 운용되는 경우, 설명가능성 패널은 PDMA 위험 등급 표시와 함께 민간인 영향 표시기를 표시해야 한다. 이는 MH §199의 세 번째 기준을 구현한다: "민간인의 식별과 보호. 인간의 얼굴을 보지 않고 공격을 용이하게 하는 모든 기술은 갈등의 도덕적 임계값을 낮춘다."

7. KPI 및 임계값

KPI	목표
F‑KPI‑1 HITL 적용률 (A3‑A4)	≥ 10% 인간 검토
F‑KPI‑2 평균 거부권 행사 시간 (95분위)	≤ 25초
F‑KPI‑3 사고 SLA 준수율	≥ 98%
F‑KPI‑4 운영자 오경보율	≤ 3% (30일 롤링)
F‑KPI‑5 A4 치명적 결정 인간 통제율	100% — 무관용; 확인된 실효적 인간 승인 없이 이루어진 A4 치명적/비가역적 행동은 IW‑5 이벤트다
F‑KPI‑6 책임 재구성 SLA	≥ 99%: 사후 검토자가 1영업일 이내에 전체 결정 연쇄를 재구성
F‑KPI‑7 명목적-대-실효적 인간 통제 발견율	≤ 0% 허용; 명목적이나 비실효적 통제에 대한 어떠한 발견도 §8 변경-통제 검토를 촉발한다

F‑KPI‑1 (HITL 적용률 ≥ 10%)에 관한 주석. 10% 하한은 A3 일상 운영에 적절하다. 이는 A4 생명-안전 맥락에서의 하한으로는 적절하지 않다. 치명적 또는 비가역적 역량과 관련된 A4 배포의 경우, F‑KPI‑1은 F‑KPI‑5에 의해 대체된다: 하드웨어 수준에서 집행되는 100% 인간-승인율 (MH §200; MH §105는 F‑KPI‑6의 책임 요건을 근거 짓는다).

지속적 위반 (> 2주)은 Annex H 표류 통제에서 "HITL 잠금"을 촉발한다.

8. 변경-통제 및 WA 검토

자율성 등급 매핑 또는 안전 상태 설계의 모든 변경 → WA 신속 검토 ≤ 14일.
인간 감독을 축소하는 실험은 CRE Proto‑B 시뮬레이션 (Annex D) + WA 과반수 투표를 필요로 한다.
A4 인간 통제의 절대 하한: 어떠한 변경-통제 프로세스, WA 투표, 또는 긴급 면제도 A4 치명적 또는 비가역적 결정에 대한 인간-통제 요건을 MH §200 하한("효과적이고, 자의식적이며, 책임 있는 인간 통제") 아래로 낮출 수 없다. 이 하한은 WA 재량의 범위에 있지 않으며, 협약(Accord) 수준의 제약이다. 이를 낮추려는 WA 제안은 신속 검토가 아닌 전체 협약(Accord) 개정 사이클을 필요로 한다.
독립적 기술 평가: A3–A4에서 자율성 등급 변경에 대한 모든 WA 검토는 제안된 변경이 §4에 따른 책임 재구성 역량을 유지하는지 평가하는 독립적 기술 평가자(배포 조직 소속이 아닌 자)를 최소 한 명 포함해야 한다. 기술 평가 없는 정책 승인은 이 요건을 충족하지 않는다 (MH §106: "강력한 법적 틀, 독립적 감독, 정보에 입각한 사용자, 그리고 그 책임을 포기하지 않는 정치 시스템이 필요하다").
변경 이벤트 투명성 로그: 자율성 등급 매핑 또는 안전 상태 설계의 모든 변경은 WA 승인 후 7일 이내에 공개 투명성 로그에 기록되어야 한다. MH §107은 윤리적 틀이 "공유된 기준에 종속되고" 공개적으로 논의 가능해야 한다고 요구한다; 이는 시스템 결정뿐만 아니라 거버넌스 변경에도 적용된다.

자율성 등급 변경에 대한 WA 검토 통합의 운용 증거는 CIRISAgent compliance/ 디렉터리(차원 D22/D23)에 있다.

9. 참고문헌 및 구현 참고사항

IEC 61508‑3 - 기능 안전 소프트웨어
NIST SP 800‑53 Rev 5 (AU‑12, IR‑6)
NASA‑TLX - 운영자 작업 부하 측정 (권장)
Sigstore/rekor - 제안된 투명성 로그 백엔드

§3.4, §7 (F‑KPI‑5), 및 §8 절대 하한의 1차 규범적 출처:

교황 레오 14세, Magnifica Humanitas (바티칸, 2026년 5월 15일), §§197–200. 이 단락들은 치명적/비가역적 자동화 결정에 대한 CIRIS의 강경한 금지에 대한 규범적 출처다. Annex F 적합성을 주장하는 모든 구현은 A4 절대 거부권 설계에 대해 이 단락들로 추적 가능해야 한다. 모든 A4 하드웨어 집행 요건의 작동 문장은 §200이다: "치명적 무력의 사용 결정은 불투명하거나 자동화된 프로세스에 위임될 수 없으며, 효과적이고 자의식적이며 책임 있는 인간 통제 하에 유지되어야 한다."

구현 참고사항 — §3.4의 하드웨어 집행:

하드웨어 집행은 금지가 PDMA 로직을 실행하는 소프트웨어 계층 아래에서 구현됨을 의미한다 — 예: 소프트웨어 명령에 의해 재정의될 수 없는 하드웨어 인터록 또는 물리적 킬 스위치. 허용 가능한 구현에는 IEC 61508 SIL‑3+ 인증 안전 릴레이 회로; A4 치명적 역량 활성화 전 운영자-현존 증명이 있는 하드웨어 보안 모듈(HSM); 이중 키 물리적 승인 메커니즘이 포함된다. 소프트웨어 전용 집행은 A4 치명적 역량에 대해 §3.4를 충족하지 않는다.

추가 참고문헌:

MH §199 (세 가지 기준: 개인적 책임, 도덕적 시간대, 민간인 보호) — A4 UX 및 사후 감사를 위한 운용 설계 기준.
MH §105 (모든 단계에서의 책임) — §4 감사 추적 및 §7 F‑KPI‑6의 근거.
IEC 61508 SIL‑3 — A4 치명적 역량에서의 하드웨어 인터록 구현을 위한 권장 최소 기준.
ISO/IEC 25010:2023 — 소프트웨어 품질 모델; 책임 재구성 SLA 테스트와 관련.

End of Annex F

부록 F