Два пути
Доверять весам или проверять поведение
Главное направление безопасности ИИ пытается сделать модель хорошей изнутри: тренировать её ценности, изучать её мысли, заставлять её спорить с собой. Эта работа важна. CIRIS делает ставку на другой путь. Предположим, что способная модель может быть рассогласованной, и вместо того чтобы доверять её разуму, сделаем её важные действия подотчётными людям и другим системам, которые могут их проверить.
В терминах самой области CIRIS находится в ветви институтов и контроля, рядом с контролем ИИ и гарантированно безопасным ИИ, а не в основном направлении интернализации ценностей через RLHF, Constitutional AI, дебаты и интерпретируемость. Его ответ на масштабируемый надзор, то есть на вопрос, как контролировать нечто умнее тебя, заключается в проверке конверта подотчётности, а не рассуждений. Подпись, кворум, аудит с хэш-цепочкой остаются дёшевы для проверки, даже когда стоящее за ними решение сверхчеловеческое. Система выравнивает многих способных агентов во времени, а не ценности одного разума.
Черта, которую мы держим
Она не пытается выровнять один всесильный ИИ. Намеренно.
Подотчётность требует больше одной стороны. Кого-то, перед кем отвечать. Способа проверки, который нельзя тихо проглотить. Баланса сил, который никто не может захватить. У единственного сверхинтеллекта ничего этого нет, поэтому честного способа привлечь его к ответственности не существует. CIRIS создан для другого будущего: многих способных агентов, людей и организаций, чьи важные решения все поддаются независимой проверке.
Поэтому позиция явная. Одиночный ASI, это не система для выравнивания, а условие, которое нужно предотвратить. Концентрация сверхчеловеческих возможностей в одном неподотчётном месте, на нынешнем этапе развития человеческих институтов, нелегитимна, потому что ни один институт ещё не достаточно зрел, чтобы держать её в ответственности, и именно в этом опасность. В терминах самого фреймворка одиночка это коллапс ρ→1 в один голос, который коридорная модель называет провалом координации, а не успехом. То, что наши гарантии работают в федерации и ослабевают против одиночки, это не пробел, который мы затыкаем. Это режим, который мы отказываемся легитимизировать, и это наша обязанность, а не только прогноз.
Как CIRIS сравнивается с ИИ, которым вы пользуетесь каждый день
Обычные ИИ-помощники мощные и удобные. Но они работают в чужом облаке, не сохраняют записей, которые вы можете проверить, и ни перед кем конкретно не отчитываются. Ниже тот же тест на подотчётность, применённый к ИИ, который большинство людей открывают каждый день.
| Помощник | Опубликованные принципы | Подтверждение действий | Спрашивает человека при сомнении | Открытый исходный код | Проверка на эхо-камеру |
|---|---|---|---|---|---|
| ChatGPT | Да | Нет | Нет | Нет | Нет |
| Gemini | Да | Нет | Нет | Нет | Нет |
| Claude | Да | Нет | Нет | Нет | Нет |
| CIRIS | Да | Да | Да | Да | Да |
Сравнение основано на публичном поведении продуктов по состоянию на июнь 2026 года. Каждая ссылка на принципы ведёт на опубликованную спецификацию соответствующей компании.
Попробуйте сами
Наблюдайте за мышлением
Смотрите на рассуждения настоящего агента шаг за шагом. Изучить трассировку →
Проверьте личность агента
Посмотрите, как агенты доказывают свою личность, как ГИБДД для ИИ. Доверие и идентичность →
Начать
Разверните своего первого агента или читайте диссертацию простым языком. Первый контакт →