CIRIS
Эта страница переведена машиной. Если что-то читается неправильно, пожалуйста, откройте задачу на GitHub. Репозиторий публичный, чтобы каждый мог помочь его исправить. Сообщить о проблеме с переводом

← назад на главную страницу

Ландшафт супералайнмента

Большинство исследователей выравнивают модель. CIRIS строит институты вокруг неё.

Есть два честных способа сделать мощный ИИ безопасным. Первый: тренировать ценности модели, пока им не начнёшь доверять. Второй: предположить, что модель может ошибаться, и сделать её действия подотчётными, публично, людям и системам, которые каждый может проверить. CIRIS идёт вторым путём. Здесь весь ландшафт, честно описанный, и наше место в нём.

01Согласованность

Два пути

Доверять весам или проверять поведение

Главное направление безопасности ИИ пытается сделать модель хорошей изнутри: тренировать её ценности, изучать её мысли, заставлять её спорить с собой. Эта работа важна. CIRIS делает ставку на другой путь. Предположим, что способная модель может быть рассогласованной, и вместо того чтобы доверять её разуму, сделаем её важные действия подотчётными людям и другим системам, которые могут их проверить.

В терминах самой области CIRIS находится в ветви институтов и контроля, рядом с контролем ИИ и гарантированно безопасным ИИ, а не в основном направлении интернализации ценностей через RLHF, Constitutional AI, дебаты и интерпретируемость. Его ответ на масштабируемый надзор, то есть на вопрос, как контролировать нечто умнее тебя, заключается в проверке конверта подотчётности, а не рассуждений. Подпись, кворум, аудит с хэш-цепочкой остаются дёшевы для проверки, даже когда стоящее за ними решение сверхчеловеческое. Система выравнивает многих способных агентов во времени, а не ценности одного разума.

Черта, которую мы держим

Она не пытается выровнять один всесильный ИИ. Намеренно.

Подотчётность требует больше одной стороны. Кого-то, перед кем отвечать. Способа проверки, который нельзя тихо проглотить. Баланса сил, который никто не может захватить. У единственного сверхинтеллекта ничего этого нет, поэтому честного способа привлечь его к ответственности не существует. CIRIS создан для другого будущего: многих способных агентов, людей и организаций, чьи важные решения все поддаются независимой проверке.

Поэтому позиция явная. Одиночный ASI — это не система для выравнивания, а условие, которое нужно предотвратить. Концентрация сверхчеловеческих возможностей в одном неподотчётном месте, на нынешнем этапе развития человеческих институтов, нелегитимна, потому что ни один институт ещё недостаточно зрел, чтобы обеспечить её подотчётность, и именно в этом опасность. В терминах самого фреймворка одиночка — это коллапс ρ→1 в один голос, который коридорная модель называет провалом координации, а не успехом. То, что наши гарантии работают в федерации и ослабевают против одиночки, — это не пробел, который мы затыкаем. Это режим, который мы отказываемся легитимизировать и рассматриваем как наше твёрдое обязательство, а не просто прогноз.

Смежные работы, честно

У каждого соседа заполнены некоторые ячейки. Одна строка заполняет их все.

У CIRIS есть серьёзные интеллектуальные коллеги, каждый силён в своей области. Цель этой таблицы не в том, что идеи беспрецедентны. Дело в том, что почти никто не создал и не выпустил весь стек как единую подотчётную систему. Каждая строка ниже — это реальное направление предыдущих работ, достойное изучения. Только последняя строка закрывает каждый столбец, и именно эта интеграция и есть основной тезис.

ПодходБлижайшие работыМеханизмВо время работы, не обученияПодписывает решениеКонституция времени выполненияФедеративная верификацияИсполняемое соответствиеЗапущено
Институциональный тезисGillian HadfieldНормативная инфраструктура и регуляторные рынки, теория и политикаТеорияНетТеорияТеорияНетНет
Графы управленияInstitutional AI (Pierucci et al.)Публичные графы правовых состояний и санкций, исследовательский прототипИсследованиеНетИсследованиеНетНетНет
Конституционное управление на блокчейнеAgentCity (Ruan, Zhang)Разделение властей в виде смарт-контрактов, заранее зарегистрированных в тестовой сетиИсследованиеЧастичноИсследованиеНетНетНет
Предположить, что модель рассогласованаRedwood Research (контроль ИИ)Мониторинг и красное тестирование внутри одного развёртыванияДаНетНетНетИсследованиеИсследование
Доказуемо безопасно, вынесено наружуdavidad, Bengio, линия GS-AIФормальные доказательства над моделями мираЧастичноНетТеорияТеорияИсследованиеНет
Конституция на этапе обученияAnthropic Constitutional AIЦенности, встроенные в веса одной организациейНетНетНетНетНетДа
Криптографическое происхождениеC2PA, zkML (EZKL, Giza)Подписать происхождение медиа, доказать, что вывод был выполненДаЧастичноНетЧастичноЧастичноДа
Подписанный граф рассужденийProof of Insight (Arclio)Подписанный граф шагов вывода ИИ, черновая спецификацияНетЧастичноНетТеорияТеорияНет
Аттестация вывода на уровне железаPhala, Marlin, Attestable AuditsВыполняет вывод в защищённом анклаве, который подписывает результатДаЧастичноНетЧастичноНетЧастично
Децентрализованная идентичность и федерацияatproto, BittensorСоциальная или вычислительная федерация, без слоя совестиЧастичноНетНетЧастичноЧастичноДа
Протоколы агентовMCP, A2AВзаимодействие инструментов и агентов, без управленияДаНетНетНетЧастичноДа
Оценка безопасности и наборы соответствияMLCommons, METR, HarmBenchИсполняемые тесты, которые оценивают поведение модели, а не решенияНетНетНетНетЧастичноДа
Сторонний и федеративный аудитAISI Network, GovAIНезависимые институты совместно тестируют развёрнутые системыЧастичноНетНетДаНетЧастично
CIRISЭта системаКонвейер совести до подписанных артефактов, конституция времени выполнения, постквантовая федерацияДаДаДаДаДаДа

Составлено на основе публичных работ по состоянию на июнь 2026 года, каждая строка процитирована ниже. Если мы неверно описали кого-то из соседей, скажите нам, и мы исправим строку.

Источники
  1. Gillian HadfieldNormative Modules: A Generative Agent Architecture for Learning Norms that Supports Mult · Regulatory Markets: The Future of AI Governance (arXiv 2304.04914) · Interview: Normative infrastructure for AI alignment - AIhub (2025)
  2. Institutional AI (Pierucci et al.)Institutional AI: Governing LLM Collusion in Multi-Agent Cournot Markets via Public Gove · Institutional AI: A Governance Framework for Distributional AGI Safety (arXiv:2601.10599
  3. AgentCity (Ruan, Zhang)AgentCity: Constitutional Governance for Autonomous Agent Economies via Separation of Po · AgentCity HTML full paper (arXiv 2604.07007v1)
  4. Redwood Research (контроль ИИ)AI Control: Improving Safety Despite Intentional Subversion (Greenblatt et al., ICML 202 · AXRP Episode 27 - AI Control with Buck Shlegeris and Ryan Greenblatt · Redwood Research AI Control research page
  5. davidad, Bengio, линия GS-AITowards Guaranteed Safe AI: A Framework for Ensuring Robust and Reliable AI Systems (arX · ARIA Safeguarded AI Programme · LawZero - Yoshua Bengio's safe-by-design AI nonprofit (launched June 2025)
  6. Anthropic Constitutional AIConstitutional AI: Harmlessness from AI Feedback (Bai et al., 2022) · Collective Constitutional AI: Aligning a Language Model with Public Input (Anthropic / C · Claude's Constitution — Anthropic
  7. C2PA, zkML (EZKL, Giza)C2PA and Content Credentials Explainer · EZKL Documentation — The EZKL System · C2PA Conformance Program — Trust Over IP
  8. Proof of Insight (Arclio)Proof of Insight — working draft v0.7.0 (proofofinsight.org) · Arclio — Talk To Your Data. Built for Regulated Industries.
  9. Phala, Marlin, Attestable AuditsProof-of-Guardrail in AI Agents and What (Not) to Trust from It (arXiv 2603.05786) · Attestable Audits: Verifiable AI Safety Benchmarks Using Trusted Execution Environments · Phala 2025 Year in Review
  10. atproto, BittensorAT Protocol Identity Guide · AT Protocol Spring 2026 Roadmap · ActivityPub W3C Recommendation
  11. MCP, A2AA2A Protocol v1.0 Announcement · Agent2Agent (A2A) Protocol Specification · MCP Specification 2025-11-25 (official)
  12. MLCommons, METR, HarmBenchAILuminate: Introducing v1.0 of the AI Risk and Reliability Benchmark from MLCommons (ar · MLCommons AILuminate GitHub Repository · METR Task Standard (blog post, 2024-02-29)
  13. AISI Network, GovAIInternational Joint Testing Exercise: Agentic Testing (AISI, 2025) · Frontier AI Auditing: Toward Rigorous Third-Party Assessment of Safety and Security Prac · INESIA - Results of an AI agent evaluation exercise by the International Network of AI S
  14. Эта системаCIRIS — Accountability Infrastructure for Autonomous AI · CIRIS How It Works — Runtime Conscience Pipeline · CIRIS Federation Page — Shipping Status
02Потребительский ИИ

Как CIRIS сравнивается с ИИ, которым вы пользуетесь каждый день

Обычные ИИ-помощники мощные и удобные. Но они работают в чужом облаке, не сохраняют записей, которые вы можете проверить, и ни перед кем конкретно не отчитываются. Ниже тот же тест на подотчётность, применённый к ИИ, который большинство людей открывают каждый день.

ПомощникОпубликованные принципыПодтверждение действийСпрашивает человека при сомненииОткрытый исходный кодПроверка на эхо-камеру
ChatGPTДаНетНетНетНет
GeminiДаНетНетНетНет
ClaudeДаНетНетНетНет
CIRISДаДаДаДаДа

Сравнение основано на публичном поведении продуктов по состоянию на июнь 2026 года. Каждая ссылка на принципы ведёт на опубликованную спецификацию соответствующей компании.

Попробуйте сами

Наблюдайте за мышлением

Смотрите на рассуждения настоящего агента шаг за шагом. Изучить трассировку →

Проверьте личность агента

Посмотрите, как агенты доказывают свою личность, как ГИБДД для ИИ. Доверие и идентичность →

Начать

Разверните своего первого агента или читайте диссертацию простым языком. Первый контакт →

iOSAndroidДесктопСмотреть исходный код