Новые правила Cloudflare: что изменится с 15 сентября
Cloudflare объявила о масштабных изменениях в политике доступа для ИИ-агентов. Начиная с 15 сентября, автоматизированные боты, действующие в реальном времени от имени пользователей, будут заблокированы по умолчанию на страницах, содержащих рекламу. Объявление было сделано 1 июля, и основная часть публикаций сосредоточилась на Google, однако ключевое значение имеет то, что эти правила предлагают всем, кто строит агентные системы.
Новые настройки распространяются на домены, впервые подключающиеся к Cloudflare, на новые сайты, создаваемые существующими клиентами, а также на всех пользователей бесплатного тарифного плана. Те, кто не согласен с новыми правилами, могут отказаться от них через настройки безопасности до наступления даты 15 сентября.
Три категории ботов вместо одного выключателя
Cloudflare заменила единственный переключатель «блокировать ИИ-ботов» на три категории. Search охватывает краулеры, которые индексируют страницу для ответов на вопросы о ней позже. Agent включает автоматизированные системы, действующие в реальном времени для пользователя, — в том числе бот fetch от ChatGPT и агенты, управляющие браузером. Training объединяет краулеры, извлекающие контент в веса модели.
С 1 июля эти средства управления заработали для всех клиентов, включая бесплатный тариф. С 15 сентября по умолчанию Training и Agent будут заблокированы на страницах с рекламой, тогда как Search останется разрешённым. Логика Cloudflare проста: реклама на странице — это доказательство того, что она создана для человека. Поисковый краулер, направляющий читателя обратно, — это реферал. А бот, который читает страницу и выдаёт ответ другому, — уже нет.
Проблема Googlebot и компромиссы для издателей
Ситуацию осложняет Googlebot: этот краулер выполняет одновременно функции поиска и обучения в одном боте. При наиболее строгом правиле сайт, блокирующий Training, автоматически блокирует и Googlebot. Генеральный директор Cloudflare Мэттью Принс заявил, что компания надеется, что изменения «стимулируют мультифункциональные краулеры разделить поиск, агентов и обучение» — это дипломатичный способ сказать, что давление и есть цель.
Издателям рекомендуется в первую очередь проверить свой тарифный план, поскольку существующие клиенты бесплатного тарифа будут автоматически переведены на новые правила 15 сентября — деталь, которую большинство публикаций упустили. Затем нужно решить, стоит ли блокировка Training тех затрат, которые она влечёт, ведь она заблокирует и Googlebot, и видимость в поиске вместе с ним.
От бесплатного веба к модели «плати за использование»
Агентные развёртывания строились на предположении, что открытый веб остаётся открытым. Агент для исследований загружает страницу цен конкурента. Инструмент мониторинга проверяет объявления поставщика. Клиентский агент подтягивает спецификацию производителя. Ни одно из этих действий ранее не требовало лицензии. Теперь Cloudflare, стоящая перед большой долей мирового веб-трафика, применяет блокировку на уровне сети, а не как рекомендательный файл robots.txt, который краулер может проигнорировать.
Механизм, за которым стоит следить, — это деньги. Концепция Pay Per Crawl превращается в Pay Per Use: Ceramic.ai уже платит издателям, когда их контент появляется в результатах ИИ-поиска, а You.com платит, когда агент достигает премиального контента. Cloudflare отмечает, что более половины трафика ИИ-краулеров тратится на повторную загрузку страниц, которые не изменились, — и эти потери можно и нужно монетизировать. Это первый раунд борьбы за контент, где ответом на вызов становится не стена, а тариф.
Слабое место новой системы — сама таксономия. Search, Agent и Training — это поведения, которые ИИ-компании декларируют о собственных ботах, и фирма, предпочитающая не классифицировать свой тренинг как training, имеет очевидный стимул. Объявление не объясняет, что этому препятствует. Доступ к открытому вебу был бесплатным и неограниченным на протяжении тридцати лет — и теперь счёт детализирован. Те, кто решит вопрос доступа до 15 сентября, получат рабочую стратегию. Те, кто узнает о блокировке по коду 403, будут перестраивать системы в режиме реального времени.