Агентный поиск и галлюцинации LLM: 120 ссылок против 8

Факты проверены 15 июля 2026 года. Habr опубликовал разбор эксперимента SP-AI: шесть систем отвечали на 100 вопросов по строительным нормам, а пять LLM-судей проверяли ответы по единой рубрике и корпусу нормативов. Самая важная пара в данных: один и тот же генератор DeepSeek V4-Pro без поискового контура получил 120 пометок о выдуманных ссылках, а с агентным контуром SP-AI - 8.

Агентный поиск - это RAG-подход, где LLM не просто получает top-k фрагментов из базы, а планирует поиск, выбирает инструменты, уточняет запросы, собирает связанный контекст и проверяет, хватает ли источников для ответа. В этом и смысл результата: галлюцинации LLM снизила не «магия поиска», а инженерная обвязка вокруг модели.

Сильный вывод здесь узкий, но полезный. Для доменных задач с нормами, договорами, регламентами и медицинскими протоколами голая модель может писать убедительно и всё равно ссылаться на несуществующий пункт. Агентный контур делает ошибку видимой: если в корпусе нет нужного документа или поиск не нашёл опору, система чаще молчит, а не придумывает ссылку.

Что проверяли SP-AI

По данным SP-AI, вопросы не генерировали синтетически. Их выбрали из примерно 6000 реальных запросов пользователей сервиса: после дедупликации оставили 100 задач, где можно проверить ответ по конкретному пункту документа или расчёту по норме.

В набор вошли вопросы по пожарной безопасности, вентиляции, строительным нормам, водоснабжению, электроснабжению и градостроительству. По сложности: 23 простых, 47 средних и 30 сложных. Часть вопросов решалась одним пунктом, часть требовала собрать цепочку из нескольких документов.

Лабораторный рейтинг «какая модель умнее» здесь вторичен. Важнее контрольная пара: SP-AI и DeepSeek V4-Pro solo используют один и тот же тяжёлый генератор, но только SP-AI ставит перед ним поисковый контур. Поэтому сравнение показывает вклад корпуса, планировщика, поискового агента и курации контекста.

Почему 120 против 8 важнее общего рейтинга

В обычном сравнении моделей легко увязнуть в общем балле. Здесь интереснее доказательные оси. SP-AI сообщает, что у DeepSeek V4-Pro solo достоверность нормативных ссылок получила 2,60 из 5, а у той же модели внутри контура SP-AI - 4,25. Работа с нормативной базой поднялась с 2,95 до 4,32, фактическая корректность - с 3,21 до 4,35.

Профиль ошибок ещё показательнее. В 400 оценках на систему, после исключения судьи Gemini из-за отдельной методологической проблемы, V4-Pro solo получил 120 пометок «выдуманная ссылка». SP-AI получил 8 таких пометок и 7 отказов или отсутствующих ответов. Генералист чаще ошибается уверенно; контур чаще признаёт, что ему не хватает опоры.

Для инженерных и юридических документов это принципиальная разница. Мы уже разбирали похожий риск в материале про галлюцинации ИИ в судах: фиктивная ссылка выглядит как нормальная профессиональная цитата, пока её не открыть. В строительных нормах цена ошибки другая, но механизм тот же.

Как агентный поиск снижает риск галлюцинаций

В описании SP-AI контур состоит из четырёх крупных звеньев. Быстрый планировщик разбирает запрос на задачи. Поисковый агент выбирает инструменты: точечный поиск по пункту, гибридный поиск, работу с таблицами, навигацию по оглавлению. Курация контекста подтягивает связанные узлы, примечания и ссылки на другие нормы. Тяжёлый генератор пишет финальный ответ по собранным выдержкам и обязан цитировать опоры.

Именно здесь новый материал расходится с нашим разбором DiscoBench про ошибки поисковых AI-агентов. DiscoBench показывает, что агент может провалиться на неоднозначном запросе и плохом уточнении. Habr/SP-AI показывает другую грань: даже при понятном вопросе нужно доказать ссылку внутри фиксированного корпуса.

Почему это не победа RAG над галлюцинациями

Самая опасная интерпретация эксперимента звучит красиво: «агентный RAG убрал галлюцинации». Так писать нельзя. SP-AI честно перечисляет ограничения: судьи были LLM, а не инженеры; ручная экспертная разметка ещё готовится; выборка включает 100 вопросов из одного сервиса и одной предметной области; все вопросы в принципе покрывались корпусом.

Есть и методологическая тонкость. Одна из моделей-судей совпадала с базовой моделью генератора SP-AI, поэтому авторы отдельно проверяли самопредпочтение судей. По их расчётам, DeepSeek не завышал собственные ответы статистически значимо, но сам факт такой конфигурации нужно учитывать. Результат остаётся полезным, если держать его в этих границах.

Исследовательский фон движется в ту же сторону. Работа LLM-Oriented Information Retrieval: A Denoising-First Perspective формулирует проблему так: LLM уязвимы к шуму в контексте, а нерелевантная или неподтверждённая информация становится прямой причиной галлюцинаций и ошибок рассуждения. Другая свежая работа, Is Grep All You Need?, показывает, что в агентных harness важны не только retrieval-метод, но и то, как инструмент возвращает результаты модели. В AgenticRAG исследователи тоже приходят к выводу, что переход от одношагового retrieval к tool use даёт основной прирост качества.

Проще говоря, агентный поиск не стирает галлюцинации. Он переносит часть риска из весов модели в инженерную систему: корпус, индекс, маршрутизацию, граф связей, проверку достаточности контекста и отказ отвечать без источника. Это лучше, потому что такие ошибки можно логировать и чинить. Но они остаются ошибками.

Что это значит для корпоративного RAG

Для компаний главный урок не в строительных нормах. Он в проверяемости. Если ассистент отвечает по внутренним политикам, договорам, требованиям безопасности или базе знаний поддержки, ему мало «найти похожие куски». Нужно показать, из каких документов взят ответ, какие части запроса не покрыты источниками и когда система должна остановиться.

Google Research в июне 2026 года описал похожую идею в своём agentic RAG для Gemini Enterprise Agent Platform: система планирует многошаговый поиск, разбивает запросы, проверяет достаточность контекста и продолжает искать, если данных не хватает. Из этого не следует, что любой vendor-стек лучше самописного RAG. Зато видно направление: индустрия уходит от «один retrieval, один ответ» к контурам с контролем полноты и источников.

Минимальный чеклист для доменного RAG после этого эксперимента выглядит так:

• хранить документы не только чанками, но и адресуемыми узлами: раздел, пункт, таблица, примечание, ссылка на другой документ;
• разделять поиск по смыслу, поиск по точному номеру пункта, таблицы и терминологию;
• логировать цепочку «запрос - найденный источник - цитата - утверждение в ответе»;
• вводить режим честного отказа, если контекст не найден или найден частично;
• проверять не только recall поиска, но и достаточность доказательств внутри context window;
• тестировать систему на вопросах вне корпуса, иначе отказоустойчивость будет выглядеть лучше, чем она есть.

Есть и оборотная сторона. Агент может аккуратно цитировать плохой источник. В материале про отравление AI search через Reddit мы разбирали именно это: проблема не только в том, достала ли система ссылку, но и в том, откуда эта ссылка пришла и можно ли ей доверять.

Вывод для редакций, юристов, инженеров и продуктовых команд один: «ответ со ссылкой» ещё не проверяемый ответ. Проверяемый ответ показывает источник, точный фрагмент, границы применимости и причину, по которой система решила, что контекста достаточно. Habr-эксперимент полезен тем, что даёт числа для этой интуиции: 120 выдуманных ссылок против 8 на одном генераторе.

Что остаётся проверить дальше

Следующий сильный тест для SP-AI - не ещё одна таблица с frontier-моделями, а экспертная разметка. Авторы уже пишут, что готовят эталонные ответы от специалистов: минимум два независимых эксперта на вопрос, слепая проверка и третий арбитр для спорных случаев. Именно такой раунд покажет, насколько LLM-судьи совпадают с инженерной истиной.

Второй нужный тест - вопросы вне корпуса. Если система обучена молчать без источников, её надо проверять на ситуациях, где источника действительно нет. Хороший агентный поиск должен не только находить норму, но и честно говорить: «этого документа в корпусе нет», «редакция устарела», «найденный пункт не отвечает на вопрос».

Пока корректная формула такая: по данным Habr/SP-AI, агентный поисковый контур резко снизил число неподтверждённых нормативных ссылок в одном доменном эксперименте. Не доказал универсальную победу над галлюцинациями, не заменил экспертов и не сделал базовые модели безопасными сами по себе. Зато показал, где в RAG на самом деле живёт качество: не только в LLM, а в корпусе, поиске, графе связей и дисциплине отказа.

Источники

• 120 выдуманных ссылок против 8: что агентный поиск делает с галлюцинациями LLM на строительных нормах, Habr / SP-AI, 14 июля 2026 года.
• Почему нам пришлось превратить нормативные документы в граф, а не просто загрузить их в векторную базу, Habr / SP-AI, 23 марта 2026 года.
• LLM-Oriented Information Retrieval: A Denoising-First Perspective, arXiv, версия от 17 мая 2026 года.
• Is Grep All You Need? How Agent Harnesses Reshape Agentic Search, arXiv, 14 мая 2026 года.
• AgenticRAG: Agentic Retrieval for Enterprise Knowledge Bases, arXiv, 7 мая 2026 года.
• Unlocking dependable responses with Gemini Enterprise Agent Platform's Agentic RAG, Google Research, 5 июня 2026 года.