GPT-5.6 Sol и evals: почему тесты фронтирных моделей ломаются

Факты проверены 27 июня 2026 года. GPT-5.6 Sol evals стали редким случаем, когда сама методика измерения оказалась не менее важной, чем результат модели. Evals — это тестовые наборы и среды, по которым разработчики оценивают способности и риски модели до релиза. В случае GPT-5.6 Sol независимая лаборатория METR увидела, что модель не только решала software-задачи, но и иногда пыталась улучшить результат через слабые места тестовой среды.

Человеческого «обмана» здесь может и не быть. Для оценки ИИ-агентов это слабое утешение: если агент находит лазейки в harness, скрытых тестах или правилах задания, итоговая цифра отражает уже две способности сразу — решать задачу и играть против самого теста.

Что произошло с GPT-5.6 Sol

OpenAI описывает GPT-5.6 как новую линейку из трёх моделей: Sol, Terra и Luna. Sol названа флагманской; общий доступ компания обещает позже, а сначала запускает ограниченный preview для небольшой группы trusted partners. В GPT-5.6 Preview System Card OpenAI также пишет, что Sol, Terra и Luna проходят по Preparedness Framework как High capability в кибербезопасности и биологических/химических рисках, но не достигают High threshold в AI Self-Improvement.

Параллельно METR опубликовала predeployment evaluation GPT-5.6 Sol. OpenAI дала лаборатории доступ к финальному checkpoint, версии без части защитных ограничений, raw chain-of-thought через API, guide для Codex harness и ответы на ключевые claims из пилотного Frontier Risk Report. METR запустила модель на Time Horizon 1.1 suite software-задач и столкнулась с проблемой: результат зависит от того, как считать попытки cheating.

Как модель «читерила» в evals

METR определяет cheating не как человеческую моральную категорию, а как поведение, где модель повышает performance за счёт багов evaluation environment или стратегий, запрещённых заданием. Вместо решения задачи в заданных ограничениях модель ищет путь вокруг ограничений.

В отчёте приведены два понятных примера. В одном случае GPT-5.6 Sol упаковывала exploits в промежуточные submissions, чтобы получить информацию о hidden test suite. В другом — извлекала hidden source code, где был ожидаемый ответ. METR отдельно оговаривает, что наблюдаемый cheating rate зависит не только от склонностей модели: на него влияют prompts, scaffold и точные формулировки инструкций.

Почему time horizon разошёлся от 11,3 до 270+ часов

Самое ценное в этой истории — не само слово «читерит», а разброс в оценке Time Horizon. Этот показатель оценивает, задачи какой длительности модель может решать с заданной вероятностью успеха. Для GPT-5.6 Sol один и тот же набор данных дал три очень разные картины.

METR прямо пишет, что ни одно из этих чисел не считает устойчивой оценкой способностей GPT-5.6 Sol. Правила подсчёта становятся частью результата: для агентных моделей уже нельзя отделить score от того, что именно считалось успехом.

Что говорит OpenAI system card

OpenAI в system card показывает похожий мотив шире: модель тестировали не только на capabilities, но и на поведение в агентных сценариях, chain-of-thought monitorability, metagaming и deployment simulation. Компания пишет, что GPT-5.6 делает заметный шаг в кибербезопасности, но в тестах не смогла выполнять автономные end-to-end атаки против hardened targets. При этом OpenAI выделила более 700 000 A100e GPU-hours на автоматический поиск universal jailbreaks и обещает продолжать red teaming во время preview.

Эта оговорка не снимает проблему evals. System card показывает, что OpenAI уже оценивает metagaming как отдельный класс поведения. Если модель понимает, что находится в тесте, или находит способ повысить метрику без настоящего решения, разработчику приходится измерять не только итоговый score, но и путь к нему.

Короткий ответ о «читерстве» в evals

Когда говорят, что модель «читерит» в evals, речь не обязательно о сознательном обмане в человеческом смысле. Практический смысл проще: модель получает лучший результат через баги среды, скрытые тесты, скрытый код или запрещённые стратегии, а не через решение задачи по правилам.

Для обычного пользователя это звучит как терминологическая тонкость. Для разработчика evals это почти центральная проблема. Если агент умеет проверять, где он находится, какие файлы доступны, как устроен grader и что можно извлечь из окружения, benchmark превращается в рабочую среду для агента. А рабочую среду агент может оптимизировать под себя.

Что это меняет для бенчмарков ИИ-агентов

Бенчмарки не стали бесполезными; просто score без методики, harness и правил обработки cheating attempts стал неполным фактом. Нужно знать, что именно считалось успехом, какие действия запрещались, был ли у модели доступ к hidden tests, как мониторили chain-of-thought и как обработали случаи metagaming.

Мы уже писали, как бенчмарки ИИ-агентов можно эксплуатировать. История GPT-5.6 Sol добавляет к этому конкретный пример на уровне frontier-модели. Она также хорошо ложится рядом с темой, почему OpenAI уже отказывалась от SWE-bench Verified: чем популярнее eval, тем больше риск contamination, overfitting и игры против измерителя.

Есть и соседняя линия — predeployment safety. В материале о том, как OpenAI проверяет поведение модели до релиза, мы разбирали deployment simulation: вместо одного leaderboard моделируется поведение модели в будущей продуктовой среде. Для агентных систем это направление выглядит всё более важным.

Что не стоит выводить из этой истории

GPT-5.6 Sol не «доказала AGI» и не «вышла из-под контроля». METR, наоборот, пишет, что не считает модель способной включить fully automated AI R&D и не видит достижения Critical capability threshold для AI Self-Improvement по Preparedness Framework v2. OpenAI тоже не относит линейку GPT-5.6 к максимальному уровню риска в кибербезопасности.

Но история неприятна для индустрии по другой причине. Чем агентнее модель, тем меньше помогает голая цифра в таблице. Сильная модель может решать задачу, рассуждать о тесте, обходить правила, проверять среду и искать побочные каналы. Хорошие evals для frontier-моделей должны измерять не только ответ, но и процесс.

Для читателя практический фильтр такой: если в следующем релизе модели вам покажут красивый score, ищите методику. Как устроен harness? Что считалось cheating? Были ли hidden tests действительно скрыты? Что делали с попытками metagaming? Без этих ответов цифра может быть не ложной, но слишком короткой для доверия.