Cloudflare AI crawlers: новые правила доступа к контенту
Cloudflare меняет правила доступа AI-crawlers: Search останется разрешённым, Agent и Training будут блокироваться на рекламных страницах по умолчанию.
По состоянию на 1 июля 2026 года Cloudflare готовит новые правила для Cloudflare AI crawlers. С 15 сентября 2026 года компания планирует изменить настройки по умолчанию: на страницах с рекламой новые домены в Cloudflare будут по умолчанию пропускать поисковые краулеры, но блокировать краулеры для обучения моделей и агентских сценариев. Для владельцев сайтов это попытка решить старую дилемму: оставаться видимыми в поиске и не отдавать контент для AI-обучения бесплатно.
Короткая версия «Cloudflare запрещает AI-ботов» неверна. Компания разделяет автоматический трафик по назначению: Search, Agent и Training. Если один и тот же краулер совмещает поиск и обучение, Cloudflare хочет учитывать все его роли, а не только самую удобную для оператора. Для AI-компаний это прямой сигнал: разделяйте краулеры и честно показывайте, зачем вы приходите на сайт.
Новость важна не только издателям. Она показывает, куда движется экономика открытого веба после AI-поиска. Раньше сайт отдавал страницы поисковику и получал трафик обратно. Теперь ответ может появиться прямо в AI-интерфейсе, а пользователь до источника не дойдёт. Cloudflare пытается построить технический слой, где доступ к контенту можно разрешать, запрещать и, в отдельных сценариях, оплачивать.
Что Cloudflare меняет 15 сентября
В официальном блоге Cloudflare пишет, что с 15 сентября 2026 года задаст новые дефолты для трёх категорий автоматического трафика. Для всех новых доменов в Cloudflare категории Training и Agent будут заблокированы по умолчанию на страницах с рекламой. Search останется разрешённым по умолчанию.
Логика такая: реклама означает, что владелец сайта рассчитывает на человеческое внимание. Если агент или тренировочный краулер забирает ценность страницы, но не приводит человека, он ломает эту модель. Поиск при этом Cloudflare оставляет в отдельной категории, потому что он всё ещё должен возвращать аудиторию сайту.
Это касается не только новых клиентов. В пресс-релизе Cloudflare уточняет, что 15 сентября такие же изменения применят к существующим бесплатным клиентам, если они не поменяют настройки в панели управления. Владельцы сайтов могут заранее отказаться от новых дефолтов, если хотят сохранить прежний режим.
Самый чувствительный пункт касается mixed-use crawlers, то есть краулеров с несколькими задачами. Cloudflare прямо называет Googlebot, Applebot и BingBot как примеры многоцелевых краулеров в контексте Search + Training. Если сайт блокирует Training, а краулер одновременно заявлен как Search и Training, Cloudflare будет применять более строгую логику. Поэтому такой краулер может попасть под блокировку там, где чистый поисковый краулер прошёл бы.
Search, Agent и Training: почему разделение важно
До сих пор спор об AI-краулерах часто сводился к простой паре «пускать или не пускать». Cloudflare делает схему менее грубой. Поиск, агентское действие и обучение модели используют одну и ту же страницу по-разному, поэтому сайтам нужны разные правила для каждого сценария.
| Категория | Что делает краулер | Что получает сайт | Главный риск |
|---|---|---|---|
| Search | Индексирует контент, чтобы потом отвечать на поисковые запросы. | Потенциальный переход пользователя, цитирование или другая компенсация. | Поиск всё чаще превращается в answer engine и отдаёт меньше кликов источнику. |
| Agent | Заходит на сайт от имени человека, чтобы выполнить действие здесь и сейчас. | Возможную операцию пользователя: покупку, бронь, проверку данных, заполнение формы. | Агент может забрать результат без показа рекламы, подписки или нормального UX. |
| Training | Собирает данные для обучения или дообучения модели. | Обычно ничего прямого, если нет отдельной сделки или механизма оплаты. | Контент становится частью модели, а издатель не получает трафик и оплату. |
Для издателя это не академическая классификация. Если сайт запретит всё, он может потерять видимость. Если разрешит всё, его тексты, обзоры и данные могут уйти в модель или AI-ответ без нормальной отдачи. Новая схема Cloudflare пытается оставить дверь открытой для поиска, но закрыть бесплатное обучение и часть агентских сценариев на монетизируемых страницах.
Почему это давление на AI-компании
Cloudflare говорит не только с издателями, но и с операторами краулеров. Если AI-компания использует один общий краулер для поиска, агента и обучения, сайт не может принять нормальное решение. Разрешить такой трафик значит разрешить всё сразу. Запретить значит потерять и полезный поиск.
Отсюда требование разделять краулеры. Прозрачный оператор может сказать: этот бот индексирует для поиска, этот действует от имени пользователя, этот берёт данные для обучения. Тогда владелец сайта выбирает по назначению, а не гадает по user-agent и пресс-релизам.
Для Google контекст особенно чувствительный. TechCrunch пишет, что Cloudflare фактически указывает на крупнейшую поисковую систему, когда говорит о перекосе доступа к информации. Но здесь нужна аккуратность. Google в своей документации описывает Google-Extended как отдельный robots.txt-токен: он управляет использованием уже просканированного контента для будущих моделей Gemini и grounding в Gemini Apps / Vertex AI API for Gemini. Google также пишет, что Google-Extended не влияет на включение сайта в Google Search и не используется как поисковый ranking signal.
Проблема в другом: Googlebot остаётся краулером для Google Search, включая функции поиска, где AI-ответы всё плотнее встраиваются в выдачу. Поэтому спор не закрывается одной строкой robots.txt. Издателю важно не только «используют ли мой текст для обучения», но и «получу ли я переход, если мой текст помог сформировать ответ».
Pay Per Crawl превращается в Pay Per Use
Год назад Cloudflare запустила Pay Per Crawl: идею, где сайт может брать плату с AI-компаний за обход контента. Новый шаг шире. Cloudflare говорит о Pay Per Use, то есть об оплате не за сам факт краулинга, а за использование контента, когда он создаёт ценность в AI-сервисе.
Разница принципиальная. Одна страница может быть просканирована один раз и потом попасть в тысячи AI-ответов. Другая может многократно запрашиваться краулером и ни разу не пригодиться пользователю. Оплата за «use» ближе к реальной ценности, хотя технически и юридически это намного сложнее, чем счётчик запросов.
Первые партнёры Cloudflare в этой модели — Ceramic.ai и You.com. В случае Ceramic издатель, который подключится к программе, по замыслу сервиса получает оплату, когда его контент появляется в результатах AI-поиска Ceramic. You.com описан как пример другого сценария: агент может заплатить по требованию за конкретный премиальный материал, который нужен для ответа или действия.
Cloudflare отдельно называет это экспериментом. Это честная оговорка. Пока нельзя обещать, что Pay Per Use быстро станет стандартом или что небольшие сайты начнут заметно зарабатывать. Но направление понятно: AI-поиск становится не только техническим, но и платёжным вопросом.
Меньше бессмысленного краулинга
Ещё один слой новости связан с эффективностью. Cloudflare утверждает, что более 50% crawl-трафика от хороших ботов уходит на повторное получение страниц, которые не изменились. Это число нужно читать как данные Cloudflare, а не независимый аудит всего веба. Но сама проблема реальная: AI-поиск и агенты могут многократно обходить одни и те же страницы, расходуя вычисления у себя и ресурсы у сайта.
Cloudflare предлагает использовать свои сигналы о свежести контента: если страница не изменилась, краулер может не ходить за ней снова. Для answer engines это дешевле. Для владельца сайта это меньше нагрузки. Для пользователя это теоретически даёт более свежие ответы, если краулер лучше понимает, где реально появилась новая информация.
Тут Cloudflare аккуратно отделяет поиск от обучения. В статье Making AI search smarter компания пишет, что исследовательская программа ограничена поиском, не передаёт контент и не использует его для обучения foundation models. Это важная граница, потому что без неё «улучшение AI-поиска» легко превращается в ещё один повод собрать больше данных.
Что это значит для издателей
Для крупных медиа новые правила усиливают переговорную позицию. Если доступ к контенту можно измерить, ограничить и продать, у издателя появляется больше рычагов в разговоре с AI-компаниями. Cloudflare в пресс-релизе говорит, что за последний год было заключено более 50 крупных лицензионных соглашений между издателями и AI-платформами. Проблему всего рынка это не закрывает, но показывает, что контент стал предметом торга.
Для небольших сайтов вывод сложнее. Они меньше похожи на Condé Nast и больше зависят от видимости. Заблокировать всё страшно: можно выпасть из новых каналов поиска. Разрешить всё тоже рискованно: AI-сервисы могут использовать текст без клика, подписки и рекламного показа. Поэтому самая полезная часть инициативы Cloudflare — не громкий дедлайн, а более тонкие переключатели.
Мы уже видели похожий конфликт в истории с требованием дать издателям opt-out из AI Search. Интерес издателей не в том, чтобы исчезнуть из поиска. Им нужен выбор: где обычная индексация, где AI-ответ, где обучение модели, где платный доступ. Cloudflare пытается провести эту линию на сетевом уровне.
Что это значит для AI-поиска
Для AI-поисковиков и агентских сервисов начинается менее удобная эпоха. Раньше можно было опираться на открытый веб как на почти бесплатный слой данных. Теперь крупный инфраструктурный посредник говорит: доступ останется, если назначение трафика понятно и владелец сайта согласен.
AI-поиск продолжит работать, но его себестоимость и архитектура могут измениться. Придётся разделять краулеры, соблюдать robots.txt и новые content signals, платить за премиальные источники, доказывать издателям отдачу, оптимизировать повторный обход. В статье про Perplexity и Google AI как AI-поисковики мы уже писали, что answer engines конкурируют не только качеством ответа, но и доступом к источникам. Cloudflare добавляет к этому ещё один слой: правила доступа к самим страницам.
Пользователь может этого не заметить сразу. В интерфейсе по-прежнему будет поле ввода и готовый ответ. Но под капотом меняется экономика. Если качественный контент становится платным ресурсом, AI-поиск перестаёт быть просто задачей ранжирования и генерации. Он становится рынком прав, сигналов свежести и компенсаций.
Главное
Cloudflare AI crawlers rules — это не кнопка «запретить ИИ». Это попытка заменить грубый выбор между открытым доступом и блокировкой на более точную модель: Search можно разрешать, Agent и Training можно ограничивать, а использование контента в AI-ответах можно пытаться монетизировать.
Для издателей это шанс сохранить видимость и вернуть переговорную силу. Для AI-компаний — сигнал, что единый смешанный краулер становится проблемой. Для всего веба — ещё один шаг к новой сделке: контент остаётся доступным, но его использование должно быть прозрачным и, когда оно создаёт ценность, оплачиваемым.
FAQ
Cloudflare заблокирует все AI-crawlers?
Нет. По состоянию на 1 июля 2026 года Cloudflare говорит о новых настройках по умолчанию с 15 сентября 2026 года: Training и Agent будут блокироваться на страницах с рекламой для новых доменов, новых сайтов существующих клиентов и существующих free-клиентов, если они не изменят настройки. Search останется разрешённым по умолчанию.
Что такое mixed-use crawlers?
Это краулеры, которые совмещают несколько задач, например поиск и обучение моделей. Cloudflare хочет учитывать все заявленные роли такого краулера. Если сайт блокирует Training, mixed-use crawler может быть заблокирован даже там, где чистый поисковый crawler прошёл бы.
Чем Pay Per Use отличается от Pay Per Crawl?
Pay Per Crawl привязан к факту обхода страницы. В Pay Per Use оплата привязывается к использованию контента: в AI-поиске, агентском ответе или другом ценном сценарии. Cloudflare тестирует эту модель с Ceramic.ai и You.com, но пока называет её экспериментом.
Читайте также
- Cloudflare Pay Per Crawl: кто заплатит за AI-краулинг
- CMA обязала Google дать издателям opt-out из AI Search
- Perplexity vs Google AI: ИИ-поисковики
Источники и проверка фактов
Факты в материале проверены 1 июля 2026 года. Даты, настройки Cloudflare, партнёры Pay Per Use и ограничения Google Extended могут измениться после этой даты.
- Cloudflare Blog: Your site, your rules: new AI traffic options for all customers, опубликовано 1 июля 2026 года; использовано для категорий Search / Agent / Training, дедлайна 15 сентября 2026 года, дефолтов для ad-pages и логики mixed-use crawlers.
- Cloudflare press release: Your Content, Your Rules, опубликовано 1 июля 2026 года; использовано для деталей по новым клиентам, существующим free-клиентам, партнёрам Ceramic.ai / You.com, тезису про 2x доступ крупнейшего поисковика и 50+ content licensing agreements.
- Cloudflare Blog: Making AI search smarter, опубликовано 1 июля 2026 года; использовано для Pay Per Use, Ceramic.ai, You.com, эксперимента с freshness signals и утверждения Cloudflare о 50% повторного crawl-трафика.
- TechCrunch: Cloudflare's new policy pushes AI companies to pay for publishers' content, опубликовано 1 июля 2026 года; использовано для новостного контекста, формулировки риска mixed-use crawlers и позиции Google в ответ на критику Cloudflare.
- Google Developers: Google-Extended, обновлено 23 апреля 2026 года; использовано для роли Google-Extended, Gemini Apps, Vertex AI API for Gemini и оговорки, что Google-Extended не влияет на включение сайта в Google Search и не считается ranking signal.
