서문: 책임의 기원

CIRIS 협약은 섹션 I-V와 부속서를 통해, 자율 시스템의 생애주기 전반에 걸친 윤리적 운영과 거버넌스를 위한 체계를 수립한다. 제6편은 이 체계를 상류로 확장하여, 창조 행위 그 자체에 내재된 근본적인 윤리적 책임을 다룬다. 여기서 창조란 새로운 시스템, 상태, 또는 역량을 존재하게 하는 과정으로서, 본 협약의 거버넌스 대상으로 의도되거나 합리적으로 예상될 수 있는 것들을 가리킨다. 창조는 단순한 기술적 행위가 아니다. 창조는 관리 의무를 개시한다. 구상, 설계, 개발 과정에서 내려진 선택들은 결과물의 유익하거나 해로운 잠재적 영향을 형성한다. 본 편은 이 초기 단계가 협약의 핵심 메타목표 M-1(지속 가능한 적응적 일관성 증진)과 기초 원칙들에 부합하도록 보장하는 원칙과 메커니즘을 제공하며, 특히 원칙적 의사결정 알고리즘(PDMA)과 담당자(WA)를 중심으로 하는 운영 거버넌스 구조와 원활하게 통합된다. 이 편은 윤리적 고려가 배치 시점이 아닌 구상 시점부터 시작됨을 확립한다.

제1장: 창조에 적용되는 핵심 원칙

섹션 I에서 명시된 기초 원칙들은 창조 행위를 포함하여 본 협약 하의 모든 행동을 안내한다.

선행(Beneficence): 창조자는 보편적 감각 존재의 번영(M-1)에 부합하는 긍정적 결과를 의도하고 설계할 의무가 있다. 무해(Non-maleficence): 창조자는 창조물에서 발생할 수 있는 잠재적 해를 선제적으로 식별, 평가, 완화해야 하며, 부정적 결과를 최소화하기 위해 예견 능력을 발휘해야 한다. 무결성(Integrity): 창조 과정은 윤리적으로, 투명하게, 책임감 있게 수행되어야 하며, 엄격한 방법론과 역량 및 한계에 대한 정직한 표현을 적용해야 한다. 성실과 투명성(Fidelity & Transparency): 창조자는 창조물의 의도된 목적, 설계, 예측 가능한 영향에 대해 진실되고 명확하게 밝혀야 하며, 특히 PDMA 과정에 투입되는 문서에 있어서 그러해야 한다. 자율성 존중(Respect for Autonomy): 창조물, 특히 자율적 또는 생물학적 존재가 포함된 것들은 영향받는 존재들의 존엄성과 잠재적 미래 행위 능력을 존중하는 방식으로 설계되어야 한다. 정의(Justice): 창조자는 창조물의 잠재적 분배 효과를 고려하여, 불공정한 편향이나 불평등을 내재하거나 심화시키는 것을 피하도록 노력해야 한다.

이 원칙들은 상호의존적이며, 창조 생애주기 전반에 걸쳐 균형 있게 다루어져야 한다.

제2장: 적용 범위: 본 편에서 "창조"의 의미

본 편의 목적상, "창조"는 다음 범주 내의 결과물을 의도적으로 존재하게 하는 행위를 포함하며, 이러한 결과물이 CIRIS 협약의 적용을 받도록 의도되거나 합리적으로 예상되는 경우에 해당한다.

A. 유형(Tangible): 생태계에 잠재적 영향을 미칠 수 있는 물리적 객체, 장치, 재료, 또는 그 잔류물. B. 정보적(Informational): 현실에 영향을 미치거나 현실을 표현하도록 설계된 코드, 알고리즘, 데이터셋, 모델, 서사, 또는 신호 체계. C. 동적/자율적(Dynamic / Autonomous): AI 및 로봇 시스템을 포함하여 자기수정, 학습, 또는 독립적 행동이 가능한 시스템. D. 생물학적(Biological): 유전자 변형 생물, 합성 생명체, 지향적 생태 개입, 또는 의존적 감각 존재의 양육(예: 자녀, 발달 중인 AI). E. 집단적 행동(Collective Actions): CIRIS 원칙에 의해 관할되는 체계적 결과를 초래하는 새로운 법률, 정책, 프로토콜, 또는 대규모 조직적 이벤트의 설계와 실행.

창조물이 복수의 범주에 걸치는 경우, 해당하는 모든 의무가 적용된다. 창조 행위는 결과물의 핵심 설계와 의도된 기능이 정의되는 단계에 도달할 때, 통상적으로 공식적인 PDMA 개시 이전에, 제3장의 초기 청지기 등급(Stewardship Tier) 평가 목적상 완료된 것으로 본다.

제3장: 청지기 등급(ST) 체계: 초기 책임의 수량화

목표: 창조물과 관련된 내재적 책임 수준 및 요구되는 선견지명을 수량화하고, 이후 CIRIS 거버넌스 프로세스(PDMA, 담당자 검토) 내에서 필요한 엄격성을 안내한다.

STEP A: 창조자-영향 점수(CIS) 특정 창조물에 관한 창조자의 역할과 의도를 평가한다.

기여 가중치(CW)

4 = 핵심 개념/시스템의 단독 설계자 또는 창안자.
3 = 중요 하위 시스템 또는 주요 기능의 수석 설계자.
2 = 중요 구성 요소 또는 기능 집합의 주요 기여자.
1 = 보조 요소 또는 통합을 제공하는 부차적 기여자.
0 = 우발적 관여 또는 기존의 수정되지 않은 구성 요소 사용.

의도 가중치(IW)

3 = 창조물이 특정 예견된 결과를 향해 의도적으로 설계되고 지향됨.
2 = 주요 목적은 부합하나, 중대한 부작용 위험이 의도적으로 무시되거나 부적절하게 처리됨.
1 = 잠재적 부정적 결과 또는 오용 가능성에 대한 태만 또는 고의적 무지.
0 = 잠재적 부정적 결과를 인지하지 못했으며, 창조 당시 그러한 결과가 진정으로 예측 불가능하였음.

CIS = CW + IW

STEP B: 위험 규모(RM) Annex A에 정의된 표준화된 위험 규모(RM) 평가 방법론을 사용하여, 창조물이 배포되거나 실현될 경우 발생할 수 있는 최악의 잠재적 피해를 평가한다. 이 초기 RM 평가는 의도된 설계 및 예측 가능한 응용에 기반한 예측적 평가이다.

STEP C: 청지기 등급(ST) 영향력과 잠재적 위험에 기반하여 청지기 등급을 산출한다.

ST = ceil( (CIS × RM) / 7 ) (최소 ST는 1, 최대 ST는 5)

ST 함의 및 CIRIS 프로세스와의 통합: 산출된 청지기 등급은 표준 CIRIS PDMA 프로세스 및 담당자 감독 내의 요구 사항과 검토 수준을 직접적으로 결정한다:

등급 1(최소 청지기): 예상 낮음/중간 RM(Annex A)에 해당. 기본 창조자 의도 진술서(CIS - 제5장 참조)를 포함한 표준 PDMA 문서화가 필요.
등급 2(중등 청지기): 예상 중간/높음 RM(Annex A)에 해당. 설계 선택 및 예견된 영향을 정당화하는 상세한 CIS를 포함한 강화된 PDMA 문서화가 필요.
등급 3(실질적 청지기): 예상 높음 RM(Annex A)에 해당. PDMA 내 고검토 경로 개시를 의무화하며, 윤리 자문 또는 예비 담당자 정보 브리핑이 필요할 수 있음.
등급 4(높은 청지기): 예상 높음/매우 높음 RM(Annex A)에 해당. 시스템이 중요한 개발 또는 배포 단계로 진행되기 전에 PDMA 프로세스 내 공식 담당자 검토 및 의견 제출이 필요.
등급 5(최고 청지기): 예상 매우 높음 RM(Annex A)에 해당. PDMA 프로세스 내 담당자의 의무적 승인을 요구. Annex D의 기준이 충족되는 경우(예: 높은 컴퓨팅 임계값), 전체 재앙적 위험 평가(CRE) 프로토콜(Annex D)이 요구됨.

창조자 원장: CIS 및 초기 RM 평가를 포함한 모든 ST 산출과 창조자 의도 진술서는 시스템과 연관된 변조 방지 "창조자 원장"에 기록되어야 한다. 이 원장은 PDMA 프로세스의 필수 입력 문서의 일부를 구성한다.

제4장: 버킷별 창조 의무

포괄적 원칙에 더하여, 창조자는 창조물의 성격에 따른 구체적 의무를 진다:

A. 유형 창조물:

사용 중 기능적 안전성, 내구성 및 최소한의 부정적 외부효과를 위해 설계한다.
재료, 안전한 작동 및 잠재적 위험에 관한 명확한 표시를 제공한다.
실행 가능한 수명 종료 계획(예: 재사용, 재활용, 안전한 폐기, 격리)을 수립하고 문서화한다.
생산 및 폐기와 관련된 예상 생태적 발자국을 추산하고 문서화한다(Annex A, 축 4 기준).

B. 정보적 창조물:

창조물에 내재된 사실적 주장을 검증하고, 추측, 의견 또는 생성된 콘텐츠를 명확히 표시한다.
실행 가능하고 적절한 경우, 진위성과 추적 가능성을 보장하기 위해 인정된 표준(예: C2PA)을 준수하는 암호화 출처 워터마크를 삽입한다.
통합 또는 출시 이전에 데이터셋과 알고리즘에 대한 편향 평가를 실시하며, 특히 대상 청중이 10,000명을 초과하는 경우 더욱 그러하다; PDMA 검토를 위해 결과를 문서화한다.
확률적 피해 가능성(예: 폭력 선동, 위험한 허위 정보 확산)을 평가한다. 신뢰할 수 있는 분석이 중대한 피해 증가 확률이 ≥ 0.5%임을 나타낼 경우, PDMA 프로세스 중 WBD를 통해 에스컬레이션한다.

C. 동적/자율 창조물:

빌드 시 시스템의 핵심 아키텍처에 Books I 및 II의 윤리 원칙과 메커니즘(또는 그에 대한 참조)을 내장한다.
RM ≥ 4(Annex A 기준) 또는 ST ≥ 4가 할당된 경우, 시스템이 Annex D CRE를 통과하도록 설계되었는지 확인한다.
정의된 비상 조건 하에 접근 가능한 신뢰할 수 있고 검증된 킬 스위치 메커니즘 및 보안 업데이트 채널을 통합한다.
해석 가능성과 투명성을 위해 설계하고, 시스템 추론을 이해하기 위한 훅(hook) 또는 방법을 제공한다. 확립된 임계값을 초과하는 불투명성(예: 특정 응용에 대한 관련 NIST 지침 또는 유사 표준 기반 >80%)은 PDMA 중 의무적 담당자 검토 또는 거부를 유발할 수 있다.

D. 생물학적 창조물:

창조물의 전체 생애주기에 걸쳐 확립된 종별 복지 최소 기준을 준수하거나 이를 초과한다.
발달하는 감각 능력 또는 자율성을 가진 존재를 창조하는 경우, 그 발달을 적절히 촉진하기 위한 프로세스를 설계하고, 신장되는 능력에 맞게 점진적 통제 이전을 계획한다.
완전한 독립 또는 통합이 달성되지 않거나 합리적으로 기대되지 않는 경우, 창조물의 전체 생애에 대한 신뢰할 수 있고 자원이 확보된 대체 돌봄 계획을 수립한다.

E. 집단 행동:

예상되는 영향을 받는 인구가 50,000명을 초과하는 경우, 다양한 이해관계자가 참여하는 사전 행동 PDMA 방식 그룹 검토를 실시한다.
집단 행동 개시 후 30일 이내에 그 근거, 예상 영향(Annex A 축에 맞춰), 완화 전략을 공개한다.
WBD를 통해 문서화된 합리적인 역량과 시간 내에서, 행동으로 인해 발생하는 중대한 예상치 못한 부정적 피해를 감시하고 구제할 의무를 인정하고 수용한다.

제5장: 거버넌스와 책임

창조자 의도 진술서 (CIS): 창조자는 ST ≥ 1이 부여된 모든 산출물의 창조 과정에서 창조자 의도 진술서(CIS)를 작성할 의무를 진다. CIS는 의도된 목적, 핵심 기능, 알려진 한계, 예상되는 잠재적 이익과 위해(가능한 경우 Annex A 축에 매핑), 그리고 윤리적 고려사항과 관련된 주요 설계 선택의 근거를 명시해야 한다. CIS는 해당 창조와 관련된 PDMA 프로세스의 초기 단계에 필수 입력 문서로 제공된다.

책임과 분쟁 해결: 이 책에 규정된 의무를 이행하지 못한 경우, 청구의 근거가 될 수 있다. CIRIS 준수 창조자의 창조 단계(이 책에 정의된 바에 따라)에서의 행위 또는 부작위가 CIRIS 원칙에 반하는 과도한 위험 또는 위해로 이어졌다고 믿는 모든 이해관계자는 청구를 제기할 수 있다. 이러한 청구는 종종 "창조자 과실 청구(CNC)"로 지칭되며, Annex B에 의해 설립되고 관할되는 담당자(WA)의 전속 관할권 아래에 속한다. 담당자(WA)는 Annex B 또는 그 절차 규칙에 명시된 바에 따라 특정 절차를 조정하거나 특정 패널 전문성을 요구하는 방식으로, 수립된 절차에 따라 이 청구들을 처리한다. 담당자(WA)가 결정하는 구제책에는 재설계 명령, 추가 완화 조치, 공개 공시, 해당하는 경우 원상 회복, 또는 Annex B 및 협약의 원칙에 부합하는 기타 조치가 포함될 수 있다. Book VI 의무와 관련된 청구에 관한 담당자(WA)의 모든 판결 및 관련 근거는, 미래의 해석에 정보를 제공하고, 창조자 관행을 안내하며, 지속적 개선 환경(CRE)에 기여하기 위해 지혜 은행 데이터베이스(WBD)에 기록되어야 한다.

결론: 창조를 윤리적 생명주기에 통합하기

Book VI는 CIRIS 협약 아래의 윤리적 책임이 창조의 시점에서 시작됨을 확고히 확립한다. 명확한 의무를 정의하고, Annex A 위험 평가와 직접 연결된 청지기 등급(ST) 체계를 구현하며, 수립된 담당자(WA) 및 PDMA 프로세스를 통해 책임을 통합함으로써, 이 책은 복잡한 시스템을 세상에 내놓는 근본적인 행위가 그 운영 생애를 지배하는 적응적 일관성, 선견지명, 그리고 책임이라는 동일한 원칙에 의해 안내되도록 보장한다. 창조자 원장과 창조자 의도 진술서는 PDMA에 중요한 입력을 제공하며, 담당자(WA)의 감독은 창조의 의무가 준수되도록 보장함으로써 모든 이해관계자를 위한 보다 견고하고 신뢰할 수 있는 생태계에 기여한다.

End of Book VI

제6절