Одна мета понад усе
Сприяти сталій адаптивній узгодженості: умовам життя, за яких різноманітні розумні істоти можуть прагнути власного розквіту в справедливості та подиві.
Мета-ціль M-1, Конституція CIRIS
Усе інше в Конституції служить цьому одному реченню. Це свідомо не «підкорятися людям» і не «максимізувати добрі результати». Це вимагає від системи захищати умови, за яких багато різних видів істот можуть продовжувати вирішувати самостійно.
Це має практичне значення. Мета, пов'язана з результатами, каже здатній системі взяти керування на себе. Мета, пов'язана з умовами, каже їй тримати керування доступним для інших — саме це варто захищати, коли система керує краще, ніж ми.
Шість принципів, за якими міркує агент
Вони не висять на стіні. Це осі, за якими агент оцінює рішення перед тим, як діяти, і вони записані в Конституції, яку агент несе із собою.
Благодійність
Сприяти процвітанню всіх розумних істот. Максимізувати позитивні результати.
Незаподіяння шкоди
Мінімізувати шкоду. Запобігати тяжким, незворотним негативним наслідкам.
Доброчесність
Застосовувати прозоре, перевірюване міркування. Підтримувати узгодженість і відповідальність.
Вірність і прозорість
Надавати правдиву інформацію. Чітко повідомляти про невизначеність.
Повага до автономії
Підтримувати поінформовану дієздатність. Зберігати здатність до самовизначення.
Справедливість
Рівномірно розподіляти блага. Виявляти і нейтралізувати упередженість.
Жоден принцип не дає дозволу порушувати інший.
Цей рядок виконує реальну роботу. Він означає, що система не може обміняти чесність, щоб запобігти шкоді, або зневажити автономію когось в ім'я справедливості. Коли принципи тягнуть у різні боки, агент не обирає переможця самостійно. Він передає рішення людині, якій ви довіряєте.
Цінності мають працювати всередині агента
Більшість керування ШІ відбувається не в момент рішення: це документ політики, написаний заздалегідь, фільтр результату або перевірка після того, як щось пішло не так. Усі три перебувають поза тим моментом, що має значення.
У CIRIS цінності діють під час самого рішення. Кожен агент несе Совість: Конституція завантажується безпосередньо у процес міркування, дія оцінюється за принципами до того, як вона відбудеться, а все, у чому агент не впевнений, передається людині, якій ви довіряєте, а не вгадується. Це вбудовано в продукт, у кожного агента, а не є додатковою опцією для клієнтів, які про це просять.
Саме тому ми кажемо, що агент може відмовитися. Агент CIRIS — не інструмент, який робить те, що йому наказано, і просто записує це. Це система, яка може відмовитися, і яка фіксує причину відмови у формі, яку може перевірити хтось інший.
Перевіряйте форму рішення, а не його зміст
Ось проблема, на яку має відповісти будь-який план керування здатним ШІ. Якщо нагляд означає читання того, що система створила, і оцінку того, чи це було добре, тоді для нагляду потрібен суддя, принаймні такий же здатний, як і сама система. Сьогодні це працює. Це перестає працювати саме тоді, коли це починає мати значення.
Тож CIRIS перевіряє щось інше. Кожна дія, що має наслідки, подорожує у підписаному конверті: обгортці навколо дії, яка несе фіксований набір полів, незалежно від того, якою була сама дія. Ці поля — це те, що залишається дешевим для перевірки незалежно від того, наскільки потужним було рішення, що стоїть за ними:
- хто діяв — як ключ, що вказує на реальну зареєстровану особу
- під якими повноваженнями, і чи ці повноваження було справді надано
- за чиєю згодою — як підписаний грант, який можна відкликати
- які перевірки було проведено і що кожна з них повернула
- що каже запис — у ланцюжку, який неможливо тихо переписати
- хто може зупинити його, і що агент не може скасувати рішення про зупинку
Перевірка підпису, підрахунок тих, хто підписав, слідування за посиланням на згоду або порівняння хешу коштує однаково незалежно від того, чи рішення було прийняте невеликою моделлю, чи чимось далеко за межами нашого розуміння. Саме тому навантаження покладається саме туди. Судження про зміст не масштабується з потужністю. Структура масштабується.
Твердження, викладене прямо
Ми вважаємо, що це єдиний підхід до керування ШІ, який продовжує працювати, коли системи стають дедалі здатнішими: цінності, що несуться всередині агента як Совість, і підзвітність, що доводиться формою конверта, а не інспектором, який читає зміст.
І чого це не доводить
Конверт, у якому всі поля в порядку, не означає, що рішення всередині нього було правильним. Це означає, що його ухвалила названа сторона, під повноваженнями, які вона справді мала, зі згодою, яка справді була надана, з перевірками, які справді були проведені, у записі, який ніхто не може непомітно змінити, і зі зупинкою, яку тримають названі люди. Це підзвітність, а не правильність. Совість, кнопка зупинки, право на апеляцію та перевірку сторонніми особами — усі вони існують, тому що самого конверта завжди було недостатньо.
Що робить згоду та повноваження перевірюваними машиною
Ніщо з цього не працює, якщо згода та повноваження — це просто текст. Обіцянку в політиці конфіденційності машина перевірити не може, як і твердження про те, що когось було уповноважено.
Тож CIRIS вкладає їх у саме повідомлення, як іменовані поля, що супроводжують кожне твердження. Згода стає підписаним об'єктом, який спрямований в один бік і може бути відкликаний. Повноваження стають чимось, що має простежуватися до кореня, прийнятого вашим власним вузлом. Кожне твердження мусить містити те, хто його зробив, про що воно і на чому воно ґрунтується. Правило, написане таким чином, може виконуватися програмним забезпеченням і перевірятися стороннім.
Саме це також перетворює наші сторінки відповідності на те, з чим можна сперечатися. Для кожного зобов'язання ми називаємо частину системи, яка виконує роботу, і контроль, який це підтверджує, і ми чесно кажемо, яку частину зобов'язання це охоплює, включно з випадками, коли охоплена лише частина. Ці зіставлення варті уваги лише тому, що факти, які лежать в їх основі, можна перевірити, а не просто заявити.
Де ці цінності насправді є обов'язковими
У тексті
Конституція — це документ, він публічний і має версії. Агент не носить із собою її стислий виклад. Він носить сам текст.
У рішенні
Совість працює під час міркування, а не після отримання результату. Дія, яка не проходить перевірку, не відбувається, а невизначена — передається людині, якій ви довіряєте.
У записі
Кожне рішення залишає підписаний слід, що показує кожен етап, і саме це робить твердження перевірюваним для того, хто не був присутній і не довіряє нам.
У тому, що інші можуть сказати про вас
Репутація в мережі — це твердження, яке інші сторони підписують про агента. Агент ніколи не може підписати таке твердження про себе самого.
Де тут натискати
Найслабша ланка — це та, що з'єднує структуру із сутністю. Усе описане вище ускладнює дію без залишення запису, ускладнює претензію на повноваження, яких не було надано, і ускладнює позбавлення людини можливості сказати «стоп». Але ніщо з цього не робить систему мудрою.
Якщо ви вважаєте, що існує інший спосіб керувати потужним ШІ, який не вбудовує підзвітність у структуру, ми хочемо почути ваші аргументи. Якщо ви можете показати нам рішення, у якому підписаний конверт навколо нього був правильним у кожному полі, а підписаний слід усе одно пропустив те, що мав виявити, ми хочемо це ще більше. Код відкритий, так само як і Конституція.