Pay per Crawl от Cloudflare: контроль доступа ИИ-сканеров

Pay per Crawl — новый подход Cloudflare к отношениям между издателями и компаниями, работающими с искусственным интеллектом.
Идея в том, чтобы владельцы сайтов получили больше контроля над тем, как ИИ-роботы используют их контент.

Как работает Pay per Crawl

Cloudflare, обслуживающая около 20% всего интернета, представила закрытую бета-версию платформы, где веб-ресурсы сами решают, кому и за какую цену разрешать AI-краулинг.
Владельцы сайтов могут согласиться на сбор информации по фиксированной ставке — микроплатежу за каждое сканирование. Или оставить доступ бесплатным.
А также полностью запретить анализ страниц роботами искусственного интеллекта.

Компания уже выпустила инструменты отслеживания активности ИИ-ботов. Например, можно увидеть, обучается ли нейросеть на материалах сайта, выводит ли их в поисковых результатах или использует для других задач.
Всё это формирует основу для новой бизнес-модели, учитывающей рост чат-ботов и систем, которые вытягивают информацию напрямую без переходов на сайты.

Во многих СМИ падает трафик из Google. Одновременно растёт популярность генеративных ИИ-ассистентов, которые способны отвечать пользователям без перехода на первоисточник.
Cloudflare пытается разработать альтернативу и поддержать издателей, которые оказываются в трудном положении.

Зачем это нужно издателям

Традиционная схема была проста: сайты дают Google индексировать контент, а взамен получают переходы, которые конвертируются в рекламные деньги.
Но эпоха генеративного ИИ всё меняет.

По данным Cloudflare, робот Google в среднем сканирует сайты 14 раз на один реальный переход пользователя.
У OpenAI — 1700 сканирований на один реферал.
У Anthropic — 73 000.
То есть искусственный интеллект берёт контент, но почти не возвращает аудиторию.

Крупные издатели ищут разные пути.
The New York Times подала судебные иски против технологических компаний из-за использования материалов без разрешения.
Другие заключают лицензионные соглашения на поставку данных для обучения моделей.
Но подобные сделки доступны далеко не всем, и пока не доказано, что они приносят значительную прибыль.

Cloudflare хочет построить прозрачную систему, где каждый издатель сможет сам установить справедливую цену на доступ к своему контенту.

Контроль по умолчанию и поддержка крупных компаний

Cloudflare объявила, что все новые сайты, созданные с её помощью, автоматически будут блокировать поисковых ИИ-роботов.
Только по разрешению владельца они смогут сканировать страницы.
Такой «контроль по умолчанию» усиливает защиту данных издателей.

Ряд известных медиа — TIME, The Atlantic, Fortune, AP, ADWEEK и Conde Nast — поддержали новую стратегию блокировки ИИ-ботов без разрешения.
Она станет частью перехода к модели парсинга только на условиях владельца сайта.

Такой шаг помогает стабилизировать бизнес, который десятилетиями держался на поисковом трафике.
Бесконтрольный ИИ-доступ эту модель разрушает.

Перспективы и финансовая основа

Cloudflare прогнозирует, что настоящий потенциал Pay per Crawl раскроется вместе с ростом интеллектуальных агентов.
Они будут самостоятельно посещать сайты и покупать нужный контент по выделенному бюджету.
Это может изменить саму природу взаимодействия с информацией в интернете.

Для участия в системе компаниям ИИ и издателям потребуется учётная запись Cloudflare.
Там можно устанавливать цены на сканирование и автоматически совершать транзакции.
Cloudflare выступит посредником и распределит прибыль между участниками.

Интересно, что система не использует криптовалюты или стейблкоины.
Но руководство Cloudflare не исключает появления собственной стабильной монеты для таких операций.

Станет ли это новой нормой

Запуск Pay per Crawl — смелый шаг.
Участие издателей и компаний ИИ крайне важно.
Однако пока не ясно, согласятся ли создатели нейросетей платить за то, что сегодня получают бесплатно.
И будет ли доход удовлетворительным для сайтов.

Тем не менее, Cloudflare обладает ресурсами и масштабом, чтобы сформировать новый рынок данных.
Компания стремится вернуть издателям власть над собственным контентом и помочь адаптироваться к эпохе, где искусственный интеллект меняет всё.