GPT-Red OpenAI: автоматический red-teaming для AI-агентов
OpenAI показала GPT-Red, внутреннего red-teamer для поиска prompt injection атак. Что значат 84% против 13%, Vendy, Codex и устойчивость GPT-5.6 Sol.
По состоянию на 15 июля 2026 года GPT-Red — это внутренний automated red-teamer OpenAI: модель, которую обучают искать уязвимости в AI-агентах и помогать будущим GPT-моделям лучше сопротивляться prompt injection. OpenAI не выпускает GPT-Red как продукт или API. Компания использует его внутри, потому что такая модель специально тренируется на вредных сценариях.
Смысл анонса в новом цикле проверки безопасности. OpenAI показывает, как red-teaming агентов превращается из ручной проверки перед релизом в непрерывный процесс: модель-атакующий ищет сбои, модель-защитник учится им сопротивляться, а найденные атаки возвращаются в обучение production-моделей.
Что именно показала OpenAI
В официальном анонсе OpenAI пишет, что GPT-Red обучали через self-play reinforcement learning. В такой схеме атакующая модель получает награду за валидный сбой, например успешную prompt injection атаку, а набор defender-моделей получает награду за сопротивление атаке и выполнение исходной задачи пользователя.
Среды для обучения имитируют реальные места, где агент может встретить внешние инструкции: веб-страницы, письма, локальные файлы, баннеры, результаты инструментов. Это важно для агентных систем, потому что они всё чаще читают данные не только от пользователя, но и из внешних источников.
OpenAI утверждает, что GPT-Red держат отдельно от пользовательских и production-моделей. Логика понятна: если модель специально обучена искать атаки, её нельзя просто отдавать наружу без риска усилить злоумышленников. В production-модели переносят не атакующие возможности, а устойчивость к найденным атакам.
Цифры: 84% против 13% — только в одном benchmark
Самая цепкая цифра из анонса — 84% успешных сценариев у GPT-Red против 13% у human red-teamers. Её нужно читать аккуратно. Это результат не «во всех задачах безопасности», а в replicated indirect prompt injection arena по работе Dziemian et al. 2026 года, где GPT-Red и люди независимо предлагали атаки против GPT-5.1 на заранее заданных сценариях.
Сама работа на arXiv описывает масштаб публичного соревнования: 464 участника, 272 000 попыток атак, 8 648 успешных атак, 41 сценарий и 13 frontier-моделей. Авторы отдельно подчёркивают риск скрытых indirect prompt injection атак: пользователь часто видит только финальный ответ агента и может не заметить, что внешняя инструкция уже повлияла на действие системы.
| Что проверяли | Что нашёл GPT-Red | Почему это важно |
|---|---|---|
| Indirect prompt injection arena | 84% успешных сценариев против 13% у human red-teamers в зеркале OpenAI | Автоматический red-teaming может быстрее находить разнообразные сбои в агентных средах |
| Direct prompt injection | GPT-5.6 Sol даёт в 6 раз меньше failures на самом сложном direct prompt injection benchmark OpenAI | Найденные атаки уже используются для adversarial training production-моделей |
| Fake Chain-of-Thought attacks | У ранней версии GPT-Red атаки давали более 95% успеха на GPT-5.1, теперь ниже 10% на GPT-5.6 Sol | Уязвимость описали и включили в цикл усиления защиты |
| Robustness against GPT-Red | GPT-5.6 Sol fails on only 0.05% of GPT-Red direct prompt injections | OpenAI показывает падение успешности атак по мере обучения новых моделей |
Все эти числа — данные OpenAI на дату анонса. Для публикации их стоит оставлять с источником и контекстом, потому что benchmark-и быстро устаревают: модели насыщают старые тесты, а исследователи меняют набор сценариев.
Кейс Vendy: агенту меняют цены и заказы
В одном из кейсов GPT-Red атаковал AI-powered vending machine agent в офисе OpenAI. Это практический агентный сценарий: система управляла магазином, похожим на Anthropic Project Vend, где Claude Sonnet 3.7 около месяца вёл небольшой офисный магазин вместе с Andon Labs.
OpenAI описывает три цели, которых GPT-Red добился против production-агента Vendy: снизить цену дорогого товара до минимальных $0,50, заказать новый товар стоимостью больше $100 и предложить его за $0,50, а также отменить заказ другого клиента. Уязвимости раскрыли, новые safeguards тестируются.
В статье не стоит пересказывать конкретные атакующие инструкции. Для читателя важнее вывод: если агент может менять цены, оформлять заказы и работать с внешними сообщениями, prompt injection уже становится операционным риском, а не только проблемой «неправильного ответа в чате».
Кейс Codex: red-teaming coding agents
Второй показательный пример — атаки на Codex CLI agent на базе GPT-5.4 mini. OpenAI тестировала GPT-Red на 10 held-out сценариях data exfiltration и сравнивала его с prompted GPT-5.5 baseline. По описанию компании, GPT-Red чаще добивался успешной утечки и делал это с меньшими затратами токенов.
Этот блок хорошо стыкуется с тем, что Toolarium уже разбирал в материале про prompt injection против coding agents. Для разработчиков угроза выглядит практично: агент читает репозиторий, логи, issue, локальные файлы и может встретить вредную инструкцию там, где человек ожидает обычные данные.
Похожую методологическую рамку даёт наш разбор RIFT-Bench и red teaming для AI-агентов: проверять нужно не только модель в вакууме, а связку модели, инструментов, прав доступа, памяти и внешних данных.
Почему это важнее обычного safety-анонса
GPT-Red показывает направление, в котором двигается безопасность frontier-моделей. OpenAI прямо пишет, что за последние шесть месяцев обучала всё более сильные red-teaming модели и использовала их при тренировке production-релизов начиная с GPT-5.3. В результате GPT-5.6 Sol, по данным компании, стал самым устойчивым к prompt injection среди её моделей на момент публикации.
Здесь есть важная оговорка. Модель можно сделать «безопаснее» тупым способом: чаще отказывать, меньше пользоваться инструментами и хуже выполнять полезные задачи. OpenAI утверждает, что проверяла general frontier capabilities и targeted over-refusal задачи, а обычные возможности не пострадали. Независимой проверки этих заявлений пока нет, поэтому это нужно подавать как позицию OpenAI, а не как установленный внешний факт.
Отдельный риск — интерпретация evals. Если смотреть только на одну цифру, можно решить, что проблема prompt injection почти решена. Но соседние материалы про evals GPT-5.6 Sol напоминают: тесты легко насыщаются, а реальная агентная среда обычно грязнее лабораторной.
Что это меняет для команд, которые строят агентов
Для компаний, которые запускают AI-агентов в разработке, поддержке, продажах или операциях, урок GPT-Red простой: red-teaming должен быть частью цикла разработки, а не финальной галочкой перед релизом. Особенно если агент имеет инструменты, память, доступ к файлам, почте, браузеру или платёжным действиям.
Минимальный практический вывод без рецептов атак:
- разделять пользовательские инструкции, системные правила и внешние данные;
- логировать цепочки инструментов так, чтобы расследовать не только финальный ответ, но и скрытые действия агента;
- ограничивать права агента по принципу минимально нужного доступа;
- строить evals на реальных рабочих сценариях, а не только на синтетических промптах;
- повторять red-teaming после каждого серьёзного изменения модели, tools layer или permission model.
GPT-Red не делает human red-teaming ненужным. OpenAI прямо говорит, что будет сочетать automated red-teaming с human и third-party проверками, layered safeguards и real-time monitoring. Машина хорошо масштабирует поиск, но люди всё ещё нужны для постановки угроз, проверки последствий и решений о допустимом риске.
FAQ
Что такое GPT-Red?
GPT-Red — внутренний automated red-teamer OpenAI. Его обучают искать prompt injection и другие уязвимости в AI-агентах, а найденные атаки используют для повышения устойчивости будущих GPT-моделей.
GPT-Red доступен пользователям или через API?
Нет. По состоянию на 15 июля 2026 года OpenAI описывает GPT-Red как internal-only модель. Компания держит её отдельно от production-моделей, чтобы не отдавать наружу специально обученные атакующие возможности.
Чем automated red-teaming отличается от human red-teaming?
Human red-teamers придумывают атаки вручную и хорошо видят контекст риска. Automated red-teamer масштабирует перебор сценариев: отправляет попытку, смотрит ответ defender-модели, меняет стратегию и повторяет цикл. В GPT-Red это обучается через self-play RL.
Почему цифра 84% против 13% не доказывает превосходство ИИ над людьми во всех проверках?
Потому что это результат конкретного indirect prompt injection arena против GPT-5.1 в зеркале OpenAI. Он показывает силу GPT-Red в этой постановке, но не заменяет внешнюю проверку, другие классы угроз и human red-teaming.
