Новые правила доступа для ИИ-ботов
Компания Cloudflare объявила о масштабных изменениях в правилах доступа для ИИ-агентов. С 15 сентября боты, которые собирают информацию в реальном времени по запросу пользователя, будут по умолчанию заблокированы на части веб-ресурсов.
Вместо одного общего переключателя для блокировки ИИ-ботов Cloudflare вводит три категории. Первая — Search (поиск) — касается ботов, которые индексируют страницы для ответов на вопросы. Вторая — Agent (агент) — относится к автоматизированным системам, действующим в реальном времени, включая ботов ChatGPT. Третья — Training (обучение) — включает краулеры, которые собирают контент для обучения моделей.
Блокировка на сайтах с рекламой
Новые настройки вступают в силу 15 сентября. Согласно правилам, доступ для категорий Agent и Training будет закрыт на тех страницах, где размещена реклама. При этом категория Search останется разрешенной.
Логика Cloudflare заключается в том, что наличие рекламы указывает на создание страницы для людей. Поисковый бот, который перенаправляет пользователя на сайт, является полезным инструментом, в то время как бот, который просто считывает данные и выдает ответ другому пользователю, не приносит прямой польвизы владельцу ресурса.
Последствия для разработчиков и издателей
Изменения затронут новых пользователей Cloudflare, владельцев новых сайтов и всех текущих клиентов на бесплатном тарифе. Разработчикам ИИ-агентов стоит заранее проверить, не попадают ли их системы под категорию Agent, так как блокировка будет происходить на сетевом уровне и ее нельзя будет обойти простым изменением настроек в robots.txt.
Для издателей контента ситуация сложнее. Блокировка категории Training может одновременно ограничить и поисковых ботов, таких как Googlebot, если они используют единый механизм для поиска и обучения. Это может привести к снижению видимости сайта в поисковых системах.
Новая экономика контента
Наблюдается переход от бесплатного доступа к модели оплаты за использование. Появляются сервисы, которые платят издателям за использование их контента в результатах ИИ-поиска. Cloudflare отмечает, что более половины трафика от ИИ-краулеров приходится на повторные запросы к страницам, которые не менялись, что создает лишнюю нагрузку на ресурсы.
Что это значит
Доступ к открытому вебу, который был бесплатным и неограниченным на протяжении тридцати лет, становится платным и структурированным. Разработчикам ИИ-агентов придется искать способы легального взаимодействия с сайтами, а издателям — выбирать между охватом в поиске и защитой контента от обучения моделей.