CEO-Bench: почему ИИ-агенты проигрывают длинную игру
CEO-Bench проверяет, как AI-агенты управляют SaaS-стартапом 500 дней. Большинство моделей банкротятся, а эвристика обгоняет почти всех.
Факты проверены 28 июня 2026 года. CEO-Bench — это бенчмарк для long-horizon AI-агентов: модель 500 дней управляет симулированным SaaS-стартапом через программные инструменты, SQL-таблицы и бизнес-данные. Проверяется не один удачный вызов API, а способность держать стратегию, когда решения дают эффект через недели, рынок меняется, а часть важных параметров скрыта.
Материал не стоит сводить к лозунгу «ИИ не может быть CEO». CEO-Bench показывает более полезную границу: современные агенты уже умеют анализировать данные, писать код и вызывать инструменты, но часто разваливаются, когда эти действия должны складываться в долгую управленческую линию.
В официальной версии бенчмарка агент начинает с $1 млн и нулём клиентов, управляет вымышленной компанией NovaMind и получает оценку по деньгам на 500-й день. Если баланс уходит ниже нуля, симуляция заканчивается банкротством. Это грубая, но понятная метрика: пережил ли агент длинный цикл решений, а не только успешно выполнил отдельные операции.
Что именно проверяет CEO-Bench
Бенчмарк сделала команда Princeton University: Haozhe Chen, Karthik Narasimhan и Zhuang Liu. В arXiv-версии от 16 июня 2026 года они прямо противопоставляют CEO-Bench коротким задачам вроде исправления бага или выполнения web workflow. Там агент получает цель, действует недолго и быстро видит результат. В бизнес-симуляции всё хуже для модели: ошибка в цене, рекламе или качестве продукта может вернуться только через churn, репутацию или сорванные enterprise-сделки.
CEO-Bench устроен как программная среда. Агент работает через Python-интерфейс, пишет и запускает код, делает SQL-запросы к 19-табличной бизнес-базе и вызывает 34 инструмента. Эти инструменты покрывают цены, маркетинг, продукт, R&D, инфраструктуру, поддержку клиентов, публичные сообщения, исследования рынка и enterprise sales.
| Что проверяет CEO-Bench | Как это симулируется | Почему это сложно для агентов |
|---|---|---|
| Длинный горизонт | 500 дней управления NovaMind с недельными решениями | Денежный эффект рекламы, R&D и продаж приходит позже, чем расходы |
| Скрытая информация | Агент видит dashboards, SQL-данные, social media и историю переговоров, но не истинные параметры спроса | Нужно выводить причины из шумных косвенных сигналов |
| Нестационарный рынок | Меняются предпочтения клиентов, макроэкономика и давление конкурентов | Стратегия, работавшая в начале, может перестать работать в середине симуляции |
| Координация множества решений | Цена, продукт, инфраструктура, поддержка, маркетинг и enterprise sales связаны друг с другом | Нельзя оптимизировать один показатель и забыть остальные |
| Практический tool-use | Агент пишет код, строит запросы, анализирует когорты и автоматизирует рабочие циклы | Умение вызвать инструмент не гарантирует хорошую стратегию |
Результаты: модели умеют действовать, но плохо держат линию
Официальный сайт CEO-Bench даёт самый цепкий медийный факт: только Claude Fable 5, Claude Opus 4.8 и GPT-5.5 финишировали выше стартового $1 млн в лучшем прогоне. При этом у Fable есть важная оговорка: один запуск остановился из-за отказа модели, а в двух других запросы иногда уходили на Opus 4.8 как fallback. Поэтому в тексте нельзя превращать эту строку в чистое «Fable победил всех».
arXiv-таблица v1 формулирует осторожнее: Claude Opus 4.8 и GPT-5.5 закончили выше стартового баланса, но ни один результат не выглядит как стабильная прибыльная стратегия. GPT-5.5, например, в лучшем прогоне дошёл до $21,3 млн, но в двух из трёх запусков обанкротился. Это важнее одного красивого числа: агент может найти сильную траекторию, но не воспроизводить её надёжно.
| Участник | Лучший финальный баланс | Банкротства | Как читать результат |
|---|---|---|---|
| Claude Fable 5* | $47,148,164 | 0/2 | Лучший результат на сайте CEO-Bench, но с оговоркой про refusal/fallback |
| Claude Opus 4.8 | $27,777,568 | 0/3 | Сильный лучший прогон и выживание во всех трёх запусках |
| GPT-5.5 | $21,297,707 | 2/3 | Высокий upside, но слабая стабильность |
| Rule-based baseline | $15,756,408 | — | Простая эвристика без LLM обгоняет почти все модели |
| Оценка верхней границы | $2,2 млрд | — | Даже лучшие агенты далеко от потенциально достижимого результата |
Почему простая эвристика так важна
Rule-based baseline в CEO-Bench не пишет сложный код, не ведёт богатый анализ переговоров и не «понимает» рынок. Но он даёт $15,8 млн финального баланса. Это неприятный сигнал для агентного ИИ: иногда лучше простая дисциплина, чем умная модель, которая меняет стратегию без достаточного основания, поздно видит риск или слишком агрессивно тратит деньги.
Авторы показывают, что сильные агенты всё-таки делают полезные вещи. Они пишут код для прогнозирования будущего cash flow, анализируют customer cohorts, ищут скрытые предпочтения enterprise-клиентов в истории переговоров. Слабое место проявляется дальше: эти локальные способности не всегда складываются в устойчивое поведение на 500 дней.
Это хорошо стыкуется с более широкой темой Toolarium про переход AI из чата в рабочий слой с API, SQL и инструментами. Инфраструктура уже позволяет агенту работать в настоящей среде. CEO-Bench проверяет более жёсткий уровень: умеет ли он управлять последствиями собственных действий.
CEO-Bench отличается от обычных agent evals
У коротких бенчмарков есть удобство: задача ясна, результат проверяется быстро, pass/fail легко положить в таблицу. Но они плохо показывают то, что происходит в реальной компании. Там решение о бюджете, цене или качестве продукта может выглядеть правильным сегодня и испортить retention через месяц.
Именно поэтому CEO-Bench полезно читать рядом с разбором Toolarium о том, почему бенчмарки ИИ-агентов ломаются. Короткий eval можно переоптимизировать, случайно «взломать» или пройти за счёт локального шаблона. Длинная бизнес-симуляция тоже не идеальна, но она сильнее наказывает за отсутствие общей линии.
Похожая граница видна в материале про пределы AI coding agents. Модель может сделать много отдельных шагов, но сложная задача ломается там, где нужно помнить ограничения, проверять последствия и не терять цель. CEO-Bench переносит эту проблему из разработки в управление компанией.
Что это меняет для команд, которые внедряют AI-агентов
Практический вывод простой: demo-задача больше не доказывает агентность. Если агент один раз успешно вызвал SQL, написал скрипт или поправил тикет, это ещё не значит, что ему можно отдавать долгий процесс. Нужны проверки, где ошибки копятся, решения имеют цену, а обратная связь приходит не сразу.
Для разработчиков это означает, что agent harness должен хранить историю, делать прогнозы, проверять гипотезы и поднимать тревогу, когда стратегия уходит в риск. Для менеджеров — что автономность надо выдавать дозированно: сначала анализ и рекомендации, потом ограниченные действия, затем более длинные циклы под аудитом.
CEO-Bench не доказывает, что LLM никогда не смогут управлять компанией. Он показывает, что нынешний разрыв проходит между task competence и steering intelligence. Модель может хорошо выполнять куски работы, но долгий контур требует памяти, устойчивых правил, проверки причинности и способности менять курс без паники.
Короткий FAQ
Что такое CEO-Bench?
CEO-Bench — benchmark Princeton University для оценки long-horizon AI-агентов. Агент 500 дней управляет симулированным SaaS-стартапом NovaMind через Python-интерфейс, бизнес-базу, инструменты компании и социальные сигналы.
Почему AI-агенты банкротятся в CEO-Bench?
Чаще всего дело не в одном сломанном tool call. Агенту нужно одновременно управлять ценами, рекламой, качеством продукта, инфраструктурой, поддержкой, репутацией и продажами. Последствия приходят с задержкой, а важная часть рынка скрыта.
Чем CEO-Bench отличается от SWE-bench и обычных evals?
SWE-bench и похожие проверки оценивают выполнение конкретной задачи, обычно с более коротким горизонтом. CEO-Bench смотрит, может ли агент поддерживать стратегию в меняющейся среде, где решения накапливаются 500 дней.
Можно ли по CEO-Bench судить, заменит ли ИИ CEO?
Нет. Это симуляция, а не реальная компания с людьми, правовыми рисками, культурой и рынком. Но CEO-Bench хорошо показывает, где современные агенты слабы: в долгом управлении под неопределённостью, а не в отдельных действиях.
Источники и проверка фактов
Факты, таблицы, даты, имена авторов, параметры симуляции и результаты проверены 28 июня 2026 года. Данные по моделям и версиям могут измениться после обновления сайта CEO-Bench или arXiv-версии paper.
- arXiv: CEO-Bench: Can Agents Play the Long Game?, версия от 16 июня 2026 года, использована для авторов, abstract, 500-дневной симуляции, 34 tools, 19-table database, $1 млн стартового баланса и таблицы результатов.
- CEO-Bench official site, использован для TL;DR, обновлённой таблицы с Claude Fable 5, графиков cash balance и изображений в статье.
- GitHub: zlab-princeton/ceobench-src, использован для проверки открытого кода, README, asset `teaser.png` и воспроизводимого публичного контура benchmark.
- The Decoder: Only three AI models finished above starting capital in a 500-day startup survival test, 28 июня 2026 года, использован как медийный источник RSS-сюжета и проверки угла новости.
