AgentLens benchmark для coding agents: почему pass/fail уже мало
AgentLens оценивает coding agents по полной траектории работы, а не только по pass/fail. Разбираем методику, первые результаты Java fold и ограничения paper.
Последние
Архив всех последних публикаций Toolarium без дублирования главной страницы.
OpenAI GPT-Live: голос ChatGPT слушает и отвечает одновременно
OpenAI GPT-Live обновляет ChatGPT Voice: full-duplex разговор, паузы, перебивания, визуальные карточки и фоновые задачи через GPT-5.5.
OpenAI закрывает ChatGPT Atlas: зачем функции переносят в ChatGPT и Chrome
OpenAI выводит ChatGPT Atlas из эксплуатации и переносит агентный браузинг в ChatGPT desktop, Codex/Work и Chrome sidebar. Что меняется для пользователей.
OpenAI нашла, что треть SWE-Bench Pro сломана: что это значит для AI-кодинга
OpenAI отзывает рекомендацию SWE-Bench Pro после аудита задач. Что значит 30% broken tasks для AI-кодинга, leaderboard и внутренних evals компаний.
Claude Code backdoor: что заявила китайская NVDB
Китайская NVDB заявила о backdoor-риске в Claude Code. Разбираем, что известно о версиях 2.1.91-2.1.196, почему важен контекст Anthropic и как компаниям читать такой warning.
MiniMax M3 Pro: что значит 2,7-триллионная модель с открытыми весами
MiniMax M3 Pro пока не вышла. Если планы подтвердятся, это будет проверка того, насколько далеко Китай готов продвинуть открытые веса у моделей верхнего класса.
HalluSquatting: supply-chain атака на AI coding tools
HalluSquatting делает галлюцинации LLM риском цепочки поставки: coding agent может скачать и запустить ресурс, который атакующий занял заранее.