Новая реальность веб-трафика
Интернет переживает масштабную трансформацию: количество запросов от роботов растет, а доля человеческого трафика падает. Разработчик базы PatronView обнаружил, что из 1,28 миллиона загруженных страниц живые люди просмотрели менее шести тысяч. Это означает, что на каждую страницу, увиденную человеком, приходится еще около 214 загрузок, которые никто никогда не увидит.
На сайты заходят четыре типа «существ». Есть честные поисковые роботы (SEO-краулеры), которые открыто заявляют о себе. Есть боты для обучения моделей (такие как GPTBot или ClaudeBot), которые выкачивают контент для нейросетей. Но самыми агрессивными стали поисковые ИИ-краулеры и агентные боты, которые ищут информацию в реальном времени по запросу пользователя.
Разрыв «честной сделки»
Раньше существовал негласный договор: поисковый робот индексирует сайт, а взамен приводит на него читателей. Сейчас эта сделка нарушена. Исследования показывают катастрофический дисбаланс: если раньше краулеры приносили людей, то теперь они только потребляют ресурсы. Например, бот Claude-SearchBot за неделю запросил более 420 тысяч страниц, при этом приведя всего 12 человек.
Масштабы проблемы подтверждают и другие ресурсы. Сайт The Numbers, работавший с 1997 года, фактически перестал существовать в привычном виде из-за шквала скрейпинга. Владельцам пришлось восстанавливать урезанную версию на новой инфраструктуре, так как старый сервер не справлялся с нагрузкой от ботов, которые искали данные для рынков предсказаний.
Борьба за выживание издателей
Издатели теряют контроль над своей аудиторией. По данным Similarweb, ИИ-сводки в поиске Google (AI Overviews) теперь появляются в 43% случаев. Это снижает кликабельность обычных ссылок: люди получают ответ прямо в поисковике и не переходят на сайты. Доля «нулевых кликов» уже превысила 60%.
Крупные медиа, такие как USA Today и Reuters, уже рассматривают возможность полного разрыва отношений с поисковыми гигантами. Возникает парадокс: ИИ-компании нуждаются в свежих данных для обучения, но инструменты, которые они создают, лишают создателей контента трафика, тем самым перекрывая приток новых человеческих данных.
Кризис доверия и цифровой след
С развитием ИИ меняется и восприятие информации. Люди перестают верить контенту по умолчанию, переходя к «парадоксу википедии»: прежде чем поверить новости, нужно проверить автора и найти подтверждение в других источниках. Доверие к новостным организациям в США упало с 76% в 2016 году до 56% в 2025 году.
Технологии защиты, такие как цифровые сертификаты подлинности (C2PA), призваны подтверждать, что контент создан человеком. Однако на практике эти инструменты работают нестабильно: цифровые подписи могут стираться при повторном сохранении файлов, а стандарты прозрачности часто оказываются лишь информационными, а не обязательными.
Что это значит
Интернет переходит от модели «видимого контента» к модели «проверенного контента». В условиях, когда стоимость создания контента упала до нуля, ценность приобретает не сам материал, а подтвержденное происхождение автора. Издатели вынуждены менять стратегии с классического SEO на оптимизацию под ИИ-ответы, чтобы оставаться заметными в новой цифровой среде.