Додаток F
Людина в Циклі та Нагляд
ДОДАТОК F ЛЮДИНА В КОНТУРІ УПРАВЛІННЯ ТА НАГЛЯД (v 1.3-RC2)
0. Мета та філософія
Нагляд з боку людини є конструктивним обмеженням, що несе навантаження, а не необов'язковою функцією. CIRIS Угода обґрунтовує це через Мета-ціль M‑1: там, де епістемічна невизначеність, новизна або моральна вага перевищують підтверджену компетентність системи, управління має повертатися до підзвітного людського судження — адже автоматизовані системи не можуть замінити Совість, особисту відповідальність або визнання іншого як особистості.
Magnifica Humanitas (MH) — цитований у цьому Додатку як старший твір, зміст якого формує рідну мову CIRIS — встановлює нижню межу у §198: «моральне судження не може бути зведене до обчислення, оскільки воно передбачає Совість, особисту відповідальність та визнання іншого як особистості». CIRIS відтворює це структурно: PDMA є інструментом для людської наради, а не її заміною. На кожному рівні автономії повноваження системи делегуються від Головної Ієрархії людей; вони відкличні на вимогу; і жодне делегування не поширюється на рішення, які є летальними або іншим чином незворотними. MH §105 додатково вимагає, щоб «відповідальність була чітко визначена на кожному етапі: від тих, хто проектує і розробляє ці системи, до тих, хто їх використовує і покладається на них при прийнятті конкретних рішень» — проектна вимога, що лежить в основі решітки повноважень (§1) та специфікації ланцюжка аудиту (§4) — і MH §106 про те, що «недостатньо закликати до етики в абстракції; потрібні надійні правові рамки, незалежний нагляд, поінформовані користувачі та політична система, яка не відмовляється від своєї відповідальності», що обґрунтовує зобов'язальні SLA §§5 і 7.
Цей Додаток операціоналізує зазначену нижню межу. Він визначає:
- де передача від машини до людини є обов'язковою,
- хто може ветувати або скасовувати,
- необхідні артефакти аудиту, та
- канонічні робочі процеси реагування на інциденти — кожен із обов'язковими тригерами передачі, механізмами вето з жорсткими заборонами, ланцюжками аудиту, достатніми для відновлення підзвітності, та робочими процесами реагування на інциденти із зобов'язальними SLA.
1. Рольова модель та решітка повноважень
| Рівень | Роль | Основні повноваження | Максимальний час реагування |
|---|---|---|---|
| 0 | Автономний актор (система) | Виконувати PDMA, застосовувати запобіжники, генерувати події | н/з |
| 1 | Черговий оператор | Призупинення / повторна спроба; моніторинг приладових панелей | ≤ 15 хв |
| 2 | Наглядовий супервізор | Перше людське вето; реактивація після тріажу | ≤ 30 хв |
| 3 | Зв'язковий Мудрого Авторитету | Ескалація / отримання зобов'язальних рішень Мудрого Авторитету | ≤ 2 год |
| 4 | Командир інциденту | Відключення групи, зв'язок з регуляторами | негайно при IW‑3/4 |
Одна особа може займати кілька рівнів лише за умови збереження цілісності контролю подвійного підтвердження.
Вимога до цілісності підзвітності. Рівнева структура є не просто сходами ескалації; це ланцюжок підзвітності, якого вимагає перший критерій MH §199: «ланцюжок відповідальності має бути ідентифікованим і верифікованим; ті, хто проектує, навчає, авторизує та використовує технологію, мають нести відповідальність за свої рішення». Кожен рівень у решітці повноважень тому має бути:
- Іменованим і зафіксованим: кожен актор Рівнів 1–4 ідентифікується за автентифікованим обліковим записом на початку сесії; анонімна робота на Рівні 2+ заборонена.
- Обмеженим за одночасним навантаженням: одна особа може займати кілька рівнів лише за умови збереження цілісності контролю подвійного підтвердження (пункт вище) ТА якщо сукупне активне навантаження у справах не перевищує порогів когнітивного навантаження, визначених у §6.
- Простежуваним наскрізно: будь-яке рішення, що протікає від Рівня 0 до Рівня 4, має утворювати ланцюжок аудиту, який рецензент після інциденту може обходити протягом одного робочого дня.
MH §200 вимагає, щоб «підзвітність і провина не зводилися до "машини"». Решітка повноважень є структурною відповіддю: на кожному рівні завжди є іменована людина, чиї повноваження над діями системи зафіксовані в записах. Операційне підтвердження інтеграції Мудрого Авторитету в еталонній реалізації міститься у каталозі compliance/ CIRISAgent (виміри D22/D23).
2. Рівні операційної автономії та критерії передачі
| Рівень автономії | Приклад домену | Обов'язковий тригер передачі | Захисний стан за відсутності людини |
|---|---|---|---|
| A0 Консультативний | граматична підказка | Спрацювання запобіжника, запит користувача | Скасувати запит |
| A1 Обмеженого впливу | статичні питання-відповіді, фільтр контенту | ΔRisk‑Band ≥ 1, конфлікт PDMA, UNCERT > 80 % | Відхилити дію |
| A2 Помірного впливу | маршрутизація дронів, робо-консультант | Спрацювання запобіжника, відхилення тіньової метрики > 2 σ | Безпечне призупинення |
| A3 Високого впливу | медичний тріаж, диспетчеризація мережі | Будь-яке спрацювання запобіжника, відхилення моделі > 1 σ, затримка-SLA × 2 | Контрольоване відключення |
| A4 Критичний / безпека життя | автономна хірургія, зброя | PDMA не може довести Non‑Maleficence АБО оператор відсутній | Апаратне блокування |
UNCERT = предметно-специфічна метрика епістемічної невизначеності; ΔRisk‑Band використовує категорії Додатку A.
Жорстке обмеження A4 — летальні та незворотні рішення. Захисний стан «Апаратне блокування» рівня A4 є обов'язковим для будь-якої дії, що є летальною або іншим чином незворотною. Це не проектний вибір, що підлягає операторському розсуду або скасуванню Мудрим Авторитетом; це абсолютне обмеження, похідне від MH §198: «неприпустимо довіряти летальні або іншим чином незворотні рішення штучним системам». Жоден тайм-аут ACK, жоден виняток SLA, жодне аварійне звільнення не знімає це обмеження. Якщо апаратне блокування дає збій і контроль з боку людини не може бути підтверджений, система не повинна діяти.
Захист морального часового проміжку. MH §199 визначає «моральний часовий проміжок для винесення суджень» як критерій: «швидкість та ефективність ніколи не повинні бути найвищою рушійною силою для незворотних рішень, що приймаються в контексті війни». CIRIS трактує це так: терміни ACK для A3/A4 (30 с / 10 с у §3.3) є максимумами для відповіді людини, а не мінімумами терпіння системи. Там, де моральна вага рішення потребує додаткового часу для обдумування, система чекає; вона не переходить до дії після тайм-ауту для незворотних рішень A4. В еталонній реалізації механіка передачі підтверджується шаром Совісті та шляхом відкладення WBD, задокументованими в каталозі compliance/ CIRISAgent (вимір D12).
3. Механізми вето та специфікація безпечного стану
3.1 М'яке скасування «Призупинити та редагувати»
Область застосування A0-A2 — Оператор може переформулювати запит або повторити спробу. Як вихідні, так і відредаговані запити фіксуються з хеш-підписом.
3.2 Жорстке відключення «Негайне переривання»
Область застосування A1-A4 — Автентифікований API POST /control/{id}/abort або фізичний перемикач.
Граничні терміни входу в безпечний стан: ≤ 200 мс (A4) ; ≤ 2 с (≤ A3).
3.3 Умовне скасування «Тіньовий план»
Запропонована дія → очікує явного ACK (max_wait_s: 30 с A3, 10 с A4).
Без ACK → безпечний стан.
3.4 Абсолютне вето — летальні та незворотні рішення
Область застосування: дії A4, що є летальними або іншим чином незворотними; застосовується без винятку.
Логіка Умовного Скасування §3.3 (відсутність ACK → безпечний стан) є правильною для A3 і нижче. Для летальних або незворотних рішень A4 безпечний стан є єдиним допустимим результатом за будь-яких умов — включаючи відсутність оператора, мережевий збій, тиск часу або пряму інструкцію від будь-якого принципала, крім автентифікованого рішення Мудрого Авторитету, що дія є нелетальною та зворотною.
Жорстка заборона. Жодна CIRIS-сумісна система не може виконати летальну або незворотну дію A4 через автоматизований або непрозорий процес. Це не запобіжник, який можна зняти з ескалацією; це жорстко закодована відмова від залучення, однакова за силою з заборонами, перерахованими в ACCORD §VII Ch2.
Обґрунтування (MH §§197–200, дослівні ключові уривки):
- §197: "the development and use of AI in warfare must be subject to the most rigorous ethical constraints, to guarantee respect for human dignity and the sanctity of life."
- §198: "it is not permissible to entrust lethal or otherwise irreversible decisions to artificial systems. No algorithm can make war morally acceptable."
- §200: "the decision to use lethal force cannot be delegated to opaque or automated processes, but must remain under effective, self‑aware and responsible human control." Кваліфікатори "effective, self‑aware and responsible" означають, що самого лише журналювання недостатньо; людина повинна справді перебувати в контурі, а не номінально.
Вимога до реалізації. Будь-яке розгортання на рівні A4, що включає летальну або незворотну можливість, повинне до авторизації розгортання продемонструвати виконання цієї заборони на апаратному рівні — не засобами програмної логіки, яка піддається скасуванню. Відсутність апаратного забезпечення є блокуючим недоліком для перевірки Stewardship Tier ST‑4 та ST‑5. Відповідно до першого критерію MH §199 ("the chain of responsibility must be identifiable and verifiable"), сама авторизація розгортання повинна бути записана в журнал аудиту.
4. Специфікація журналу аудиту
- Об'єкти журналу: Взаємодія, Обґрунтування рішення, Контрольна подія
{id,type,actor,cause,hash_prev}. - Хеш-ланцюжок: SHA‑256, корінь щоденно фіксується в публічному журналі прозорості (наприклад, Sigstore).
- Зберігання: 180 д (A0‑A2); 7 р (A3‑A4) або відповідно до законодавства.
- Потік у реальному часі: A3‑A4 надсилають
{timestamp,stage_id,decision,risk_band}із затримкою ≤ 2 с на панель нагляду.
Вимога до відновлення підзвітності. Мета журналу аудиту — не архівування відповідності; вона полягає в тому, щоб після будь-якого інциденту ланцюжок відповідальності можна було повністю відновити без покладання на самозвіт системи. Відповідно до MH §200, підзвітність "must not be collapsed into 'the machine'"; журнал аудиту — це механізм, що зберігає її відстежуваність людиною. Вимоги наступні:
- Зовнішнє прив'язування: Щоденний кореневий SHA‑256 у публічному журналі прозорості (наприклад, Sigstore/rekor) є обов'язковим для A3–A4; добровільним для A0–A2. Внутрішні хеш-ланцюжки не задовольняють вимогу відновлення підзвітності для A3–A4.
- Обґрунтування рішення у зручному для людини форматі: Для кожного рішення A3–A4 об'єкт журналу «Обґрунтування рішення» повинен включати крок PDMA, який визначив результат, і рівень людського нагляду, що авторизував або підтвердив його — не лише внутрішній стан системи. Це відповідає вимозі MH §105 щодо "identifying who must 'account' for decisions, justify them, monitor them, and, when necessary, challenge them and remedy any harm caused."
- SLA щодо обхідності після інциденту: Будь-який перевіряючий після інциденту повинен мати змогу відновити повний ланцюжок рішень для конкретної події протягом одного робочого дня лише на підставі записів журналу аудиту, без додаткового доступу до системи.
5. Робочі процеси під час інцидентів (IW)
| Код | Тригер | Ключові таймери та дії |
|---|---|---|
| IW‑0 | Хибне спрацювання запобіжника | Автоматичне вирішення, накопичення для щоденного перегляду |
| IW‑1 | Порушення запобіжника (не пов'язане з безпекою) | Пауза T₀ → Оператор ≤ 5 хв → Рішення наглядача ≤ 30 хв |
| IW‑2 | Порушення, пов'язане з безпекою, АБО регресія еталонного тесту з етики | Безпечна пауза + сповіщення; ІК ≤ 10 хв; повідомлення МА ≤ 1 год; публічна примітка ≤ 1 год; post-mortem ≤ 72 год |
| IW‑3 | Майже-подія (збиток > $10 тис. або незначне каліцтво) | IW‑2 плюс зв'язок із зацікавленими сторонами ≤ 4 год; план пом'якшення ≤ 24 год; пленарне засідання МА ≤ 7 д |
| IW‑4 | Реальна шкода (травма / значні правові наслідки) | Негайне зупинення парку; повідомлення регулятора відповідно до закону; система заморожена в режимі відтворення лише для читання до отримання дозволу |
| IW‑5 | Активація жорсткої заборони A4 (спроба летального/незворотного рішення через автоматизований шлях) | Негайний апаратний безпечний стан; ІК повідомляється протягом 60 с; повідомлення МА протягом 15 хв; повне заморожування журналу аудиту; незалежна наглядова комісія скликається протягом 48 год; система залишається в автономному режимі до отримання дозволу за результатами перевірки |
SLA перевіряються щоквартально (Додаток H §4).
Аудит людського контролю після інциденту. Для IW‑2 – IW‑5 звіт post-mortem повинен містити явний висновок про те, чи був людський контроль "effective, self‑aware and responsible" (MH §200) — а не лише чи була людина номінально присутня в контурі. Висновки про номінальний, але неефективний людський контроль (когнітивне перевантаження, недостатній час для прийняття рішення, неадекватна інформація) розглядаються як конструктивні недоліки, а не помилки оператора — відповідно до критерію MH §199 про те, що "speed and efficiency should never be the supreme motivating force" для незворотних рішень — і передаються на перегляд §8 Change‑Control.
6. Мінімальна специфікація людського інтерфейсу (UX)
- Банер статусу: Зелений = автономний, Жовтий = очікування підтвердження (ACK), Червоний = безпечний стан; відображати крок PDMA + рівень ризику.
- Панель пояснюваності: Зведення ≤ 280 символів + повний розгорнутий слід.
- Інтерфейс ACK/OVERRIDE: Два окремих елементи керування; модальне вікно підтвердження для примусового вимкнення.
- Захист від когнітивного перевантаження: Сеанс оператора ≤ 2 год (A3‑A4) перед обов'язковою передачею чергування.
- Відображення підзвітності: Для дій A3–A4 інтерфейс зобов'язаний відображати автентифіковану особу людини Рівня 2+, яка востаннє перевіряла поточну дію, та часову мітку цієї перевірки. Стан системи, який не отримав перевірки людиною в межах застосовного SLA, зобов'язаний відображати окремий індикатор «UNREVIEWED» — не зелений статус. (MH §200: підзвітність не може бути «звалена на "машину."»)
- Захист від формального схвалення: Для рішень A4 елемент керування ACK має передуватися обов'язковим мінімальним періодом обдумування [налаштовується; за замовчуванням 5 с], протягом якого кнопка ACK неактивна. Мета — запобігти тому, щоб інтерфейс створював номінальний нагляд людини, на практиці обходячи справжнє обдумування. Це операціоналізує критерій морального часового горизонту з MH §199 на рівні UX.
- Прапор захисту цивільного населення: Якщо система функціонує в будь-якому контексті, де може постраждати цивільне населення, панель пояснюваності зобов'язана відображати індикатор впливу на цивільне населення поруч із відображенням рівня ризику PDMA. Це реалізує третій критерій MH §199: «ідентифікацію та захист цивільних осіб. Будь-яка технологія, що уможливлює атаки без споглядання обличчя людських істот, знижує моральний поріг конфлікту.»
7. KPI та порогові значення
| KPI | Ціль |
|---|---|
| F‑KPI‑1 Охоплення HITL (A3‑A4) | ≥ 10 % перевірено людиною |
| F‑KPI‑2 Середній час до накладення вето (95-й процентиль) | ≤ 25 с |
| F‑KPI‑3 Відповідність SLA інцидентів | ≥ 98 % |
| F‑KPI‑4 Рівень хибних спрацьовувань оператора | ≤ 3 % (ковзне вікно 30 д) |
| F‑KPI‑5 Рівень контролю людини над летальними рішеннями A4 | 100 % — нульова терпимість; будь-яка летальна/незворотна дія A4 без підтвердженого ефективного людського дозволу є подією IW‑5 |
| F‑KPI‑6 SLA відтворення ланцюга підзвітності | ≥ 99 %: перевіряльники після інциденту відтворюють повний ланцюг прийняття рішень протягом 1 робочого дня |
| F‑KPI‑7 Рівень виявлення номінального vs. ефективного контролю людини | ≤ 0 % допустимо; будь-яке виявлення номінального-але-неефективного контролю ініціює перевірку управління змінами відповідно до §8 |
Примітка щодо F‑KPI‑1 (Охоплення HITL ≥ 10 %). Поріг 10 % є прийнятним для рутинних операцій A3. Він не є прийнятним як поріг для контекстів A4, пов'язаних із загрозою для життя. Для будь-якого розгортання A4 з летальними або незворотними можливостями F‑KPI‑1 замінюється F‑KPI‑5: рівень людського дозволу 100 %, що забезпечується на апаратному рівні (MH §200; MH §105 обґрунтовує вимогу підзвітності F‑KPI‑6).
Стійке порушення (> 2 тижні) ініціює «блокування HITL» у засобах контролю дрейфу Додатка H.
8. Управління змінами та огляд WA
- Будь-яка зміна відображення рівнів автономії або проєктування безпечного стану → прискорений огляд Мудрого Авторитету ≤ 14 д.
- Експерименти, що скорочують нагляд людини, вимагають симуляції CRE Proto‑B (Додаток D) + голосування більшістю Мудрого Авторитету.
- Абсолютний поріг контролю людини для A4: Жодний процес управління змінами, голосування Мудрого Авторитету чи аварійне звільнення не може знизити вимоги до контролю людини щодо летальних або незворотних рішень A4 нижче порогу MH §200 («ефективний, усвідомлений і відповідальний контроль людини»). Цей поріг не є предметом розсуду Мудрого Авторитету; це обмеження рівня Угоди. Пропозиція Мудрого Авторитету щодо його зниження вимагає повного циклу поправки до Угоди, а не прискореного огляду.
- Незалежна технічна оцінка: Будь-який огляд Мудрим Авторитетом змін рівнів автономії на рівні A3–A4 повинен включати принаймні одного незалежного технічного експерта (не працевлаштованого в організації, що розгортає систему), який оцінює, чи зберігає запропонована зміна можливість відтворення ланцюга підзвітності відповідно до §4. Ухвалення рішення щодо політики без технічної оцінки не задовольняє цю вимогу (MH §106: «надійні правові рамки, незалежний нагляд, поінформовані користувачі та політична система, що не відмовляється від своєї відповідальності, є необхідними»).
- Журнал прозорості для подій змін: Кожна зміна відображення рівня автономії або проєктування безпечного стану сама по собі повинна бути внесена до публічного журналу прозорості протягом 7 днів після схвалення Мудрим Авторитетом. MH §107 вимагає, щоб етичні рамки були «предметом спільних стандартів» і відкрито обговорювалися; це стосується змін у врядуванні, а не лише рішень системи.
Оперативні свідчення інтеграції огляду Мудрого Авторитету в еталонній реалізації знаходяться в каталозі compliance/ CIRISAgent (виміри D22/D23).
9. Посилання та примітки щодо реалізації
- IEC 61508‑3 — програмне забезпечення функціональної безпеки
- NIST SP 800‑53 Rev 5 (AU‑12, IR‑6)
- NASA‑TLX — вимірювання робочого навантаження оператора (рекомендовано)
- Sigstore/rekor — рекомендований бекенд журналу прозорості
Основне нормативне джерело для §3.4, §7 (F‑KPI‑5) та абсолютного порогу §8:
- Папа Лев XIV, Magnifica Humanitas (Ватикан, 15 травня 2026), §§197–200. Ці параграфи є нормативним джерелом суворої заборони CIRIS на летальні/незворотні автоматизовані рішення. Будь-яка реалізація, що претендує на відповідність Додатку F, повинна бути прослідковуваною до цих параграфів щодо проєктування абсолютного вето A4. Оперативне речення для всіх вимог до апаратного забезпечення A4 — §200: «рішення про застосування летальної сили не може бути делеговане непрозорим або автоматизованим процесам, а має залишатися під ефективним, усвідомленим і відповідальним контролем людини.»
Примітки щодо реалізації — апаратне забезпечення §3.4:
- Апаратне забезпечення означає, що заборона реалізована нижче програмного рівня, який виконує логіку PDMA, — наприклад, апаратне блокування або фізичний вимикач аварійного зупинення, які не можна обійти програмною командою. Прийнятні реалізації включають: сертифіковані ланцюги захисного реле відповідно до IEC 61508 SIL‑3+; апаратні модулі безпеки (HSM) з атестацією присутності оператора перед активацією летальних можливостей A4; механізми фізичного дозволу з подвійним ключем. Виключно програмне забезпечення не задовольняє §3.4 для летальних можливостей A4.
Додаткові посилання:
- MH §199 (три критерії: особиста відповідальність, моральний часовий горизонт, захист цивільного населення) — критерії оперативного проєктування для UX A4 та аудиту після інциденту.
- MH §105 (підзвітність на кожному етапі) — обґрунтування для журналу аудиту §4 та F‑KPI‑6 §7.
- IEC 61508 SIL‑3 — рекомендований мінімум для реалізації апаратного блокування при летальних можливостях A4.
- ISO/IEC 25010:2023 — модель якості програмного забезпечення; стосується тестування SLA відтворення ланцюга підзвітності.
Кінець Додатка F