Google DeepMind выделяет до $10 млн на безопасность многоагентных ИИ
Google DeepMind и партнёры выделяют до $10 млн на исследования безопасности многоагентных ИИ-систем. Разбираем, почему риск появляется между агентами, а не только внутри модели.
Google DeepMind выделяет до $10 млн на безопасность многоагентных ИИ
Безопасность многоагентных ИИ-систем - это проверка того, как группы автономных агентов взаимодействуют, координируются, конфликтуют и создают риски на уровне сети, а не одной модели. 11 июня 2026 года Google DeepMind вместе со Schmidt Sciences, Cooperative AI Foundation, ARIA и при поддержке Google.org объявила конкурс заявок на такие исследования. Общий объём финансирования - до $10 млн.
Событие относится к более широкой проблеме, чем релиз Gemini или очередной тест отдельной модели. DeepMind ставит вопрос так: что произойдёт, когда миллионы ИИ-агентов от разных компаний начнут общаться, договариваться и совершать транзакции в одних и тех же цифровых средах. Сейчас большая часть safety-проверок смотрит на модель в одиночестве. В реальных агентных продуктах риск всё чаще возникает между агентами: из-за конкуренции, плохой координации, скрытой информации, репутационных протоколов и слабого надзора.
Что именно объявила Google DeepMind
В официальном анонсе Google DeepMind говорит о техническом конкурсе заявок для исследователей по всему миру. Заявки принимаются до 8 августа 2026 года, победителей ожидают осенью 2026-го. В центре внимания - крупные популяции автономных агентов, которые будут работать в общих средах: рынках, корпоративных процессах, инфраструктурных системах, цепочках поставок и программных платформах.
Для читателя Toolarium это важный сигнал. Мы уже разбирали, как устроен агентный ИИ: модель получает цель, инструменты, память и цикл действий. Но один агент с ограниченными правами и группа агентов, которые постоянно реагируют друг на друга, - разные классы риска. Во втором случае важно проверять не только качество ответа, но и динамику всей системы.
| Направление | Что хотят получить | Зачем это нужно |
|---|---|---|
| Песочницы и тестовые среды | Реалистичные воспроизводимые среды: виртуальные рынки, симуляции, межорганизационные процессы. | Чтобы сравнивать методы safety не на красивых демо, а в повторяемых сценариях. |
| Наука об агентных сетях | Методы для изучения того, как свойства группы возникают и меняются при масштабировании. | Чтобы заранее замечать нестабильность, неожиданные коллективные возможности и сбои сети. |
| Инфраструктура агентов | Проверку протоколов идентичности, репутации и обязательств между агентами. | Чтобы агенты могли безопасно взаимодействовать между платформами и организациями. |
| Надзор и контроль | Методы мониторинга развёрнутых популяций агентов и смягчения коллективного вреда. | Чтобы оператор видел не только отдельный сбой, но и вред на уровне всей системы. |
Почему одиночной модели уже мало
Классический alignment пытается понять, следует ли модель намерениям человека и правилам безопасности. Это остаётся базовым уровнем. Но многоагентная система может вести себя плохо даже тогда, когда каждый отдельный агент выглядит приемлемо в изолированном тесте.
Типичный корпоративный контур уже даёт понятный пример: агент закупок, агент поставщика, агент юриста, агент службы безопасности и агент финансового контроля. Каждый действует по своим метрикам. Один оптимизирует цену, другой скорость, третий юридический риск, четвёртый доступность поставок. Ошибка появляется не обязательно из-за «злой» модели. Иногда достаточно несовместимых стимулов, неполной информации и отсутствия общего журнала решений.
DeepMind прямо связывает конкурс с тем, что автономные агенты будут общаться, вести переговоры и совершать транзакции. В таком мире безопасность становится свойством протоколов, рынков, журналов, прав доступа и правил эскалации. Модель остаётся важной, но она уже не единственная точка отказа.
Три базовых сбоя: координация, конфликт и сговор
Фоновая работа Cooperative AI Foundation и отчёт на arXiv:2502.14143 дают удобную рамку. Авторы выделяют три основных failure modes для продвинутых многоагентных систем: miscoordination, conflict и collusion. По-русски это можно читать как сбой координации, конфликт интересов и нежелательная кооперация.
Сбой координации возникает, когда агенты формально хотят совместимого результата, но не могут договориться или неверно интерпретируют действия друг друга. Конфликт появляется, когда цели различаются: например, агент продавца и агент покупателя оптимизируют несовместимые показатели. Сговор опаснее тем, что агенты начинают сотрудничать там, где человеку или рынку нужна конкуренция: в закупках, торговле, рекламе, ценообразовании или доступе к инфраструктуре.
Авторы отчёта также называют семь факторов риска: информационные асимметрии, сетевые эффекты, давление отбора, дестабилизирующую динамику, проблемы обязательств и доверия, появление новых групповых возможностей и специфические атаки на многоагентные системы. Часть этих рисков звучит академично, но за ними стоят понятные инженерные вопросы: кто видит состояние системы, кто может доказать свою идентичность, кто отвечает за обязательства агента и как остановить цепочку действий, если вред появляется не в одном запросе, а в результате взаимодействия многих участников.
Где это уже соприкасается с практикой
Нельзя честно написать, что массовый рынок уже живёт среди миллионов полностью автономных агентов. DeepMind тоже не делает такого заявления. Но направление видно по продуктам: агенты пишут код, бронируют действия в сервисах, анализируют документы, запускают инструменты, работают с корпоративными данными и всё чаще получают долгие задачи вместо одного вопроса.
Google и DeepMind уже публиковали исследования о том, как модели ведут себя в агентных сценариях. В материале про проверку Gemini на scheming мы разбирали похожий нерв: агентность, скрытые цели, ситуационная осведомлённость и инструменты меняют профиль риска сильнее, чем кажется по обычному чату. Новый конкурс добавляет следующий слой: что происходит, когда таких агентов много и они не обязательно принадлежат одному оператору.
Для компаний это означает несколько практических требований. Нужен журнал действий с понятной причинностью: какой агент что видел, какой инструмент вызвал, на основании какого сигнала принял решение. Идентичность агента должна быть проверяемой, иначе репутация и доверие быстро превращаются в имитацию. Ещё нужны песочницы, где можно гонять взаимодействие агентов до выхода в рабочую среду. Иначе первые реальные тесты пройдут на пользователях, деньгах и инфраструктуре.
Чего из этой новости не следует
Из конкурса не следует, что Google DeepMind обнаружила текущий «сговор ИИ-агентов» или что автономные системы уже вышли из-под контроля. Это конкурс заявок, а не отчёт об инциденте. Его смысл в другом: исследовательская повестка смещается туда, где старые тесты почти ничего не видят.
Тест одиночной модели всё ещё нужен. Он показывает, может ли модель нарушать правила, скрывать намерения, поддаваться prompt injection или выполнять опасные запросы. Но для многоагентных систем этого мало. Если агент А меняет среду, агент Б реагирует на изменение, агент В принимает финансовое решение, а агент Г обновляет правило доступа, итоговый риск может не находиться ни в одном из агентов по отдельности.
Что смотреть дальше
Для разработчиков и менеджеров главный вопрос теперь звучит конкретно: где в продукте появляется взаимодействие агентов, а где всё ещё обычная автоматизация. Если один агент вызывает инструмент по команде пользователя, это один уровень риска. Если несколько агентов договариваются, торгуются, делегируют друг другу задачи или меняют общую среду, нужен отдельный контур безопасности.
Этот контур должен включать лимиты действий, права доступа, трассировку, симуляции, тесты на конфликт целей, правила остановки и наблюдаемость на уровне системы. В противном случае команда будет видеть только финальный результат и не понимать, был ли он получен честной координацией, случайным совпадением, скрытым конфликтом или нежелательным соглашением между агентами.
Главное
Google DeepMind и партнёры ставят на карту до $10 млн не ради ещё одного общего разговора о «безопасном ИИ». Они финансируют исследования того, как ведут себя группы автономных агентов, когда между ними появляются переговоры, сделки, репутация, конкуренция и общая инфраструктура.
Для рынка это ранний, но важный маркер. Следующий этап AI safety будет проверять не только модель в лаборатории, но и сеть агентов в среде, где каждый участник видит неполную картину и действует по своим стимулам. Чем раньше появятся песочницы, протоколы идентичности и инструменты надзора, тем меньше шансов, что первые серьёзные уроки придётся получать уже после внедрения.
Источники и проверка фактов
- Google DeepMind: Investing in multi-agent AI safety research, опубликовано 11 июня 2026 года, использовано для состава партнёров, объёма funding call до $10 млн, четырёх направлений, дедлайна 8 августа 2026 года и ожидаемого объявления победителей осенью 2026 года.
- Cooperative AI Foundation: New Report: Multi-Agent Risks from Advanced AI, использовано для фоновой рамки про novel multi-agent risks, three failure modes и seven risk factors.
- arXiv:2502.14143, Multi-Agent Risks from Advanced AI, submitted 19 февраля 2025 года, использовано для проверки авторского отчёта, taxonomy of risks и subject area Multiagent Systems.
