Нові правила блокування AI agent crawlers: що потрібно знати
Від 15 вересня AI agent crawlers, які виконують запити в реальному часі від імені користувача, будуть автоматично блокуватися на частині веб-ресурсів. Зміни були анонсовані компанією Cloudflare 1 липня, і більшість обговорень зосередилась навколо Google. Проте важливо зрозуміти, що ці зміни вимагають від розробників агентів, і що вони отримують натомість.
Cloudflare замінила єдиний перемикач «блокувати AI-ботів» на три категорії: Search (для ботів, що індексують сторінки для відповідей на запити в майбутньому), Agent (для систем, що діють в реальному часі, таких як ChatGPT) та Training (для збору даних для затягування в моделях). Контролі стали доступними для всіх клієнтів з 1 липня.
З 15 вересня змінюються налаштування за замовчуванням: категорії Training та Agent будуть заблоковані на сторінках з рекламою, тоді як категорія Search залишатиметься дозволеною. Нові правила стосуються нових доменів, що підключаються до Cloudflare, нових сайтів існуючих клієнтів та всіх існуючих клієнтів безкоштовного рівня.
Клієнти, які не хочуть цього, можуть відключитися через налаштування безпеки до зазначеної дати.
Що чекає на AI agent crawlers
Раніше очікувалося, що відкрита мережа залишиться відкритою. Тепер агент, який витягує сторінки конкурентів, моніторить постачальників або збирає специфікації виробників, може зіткнутися з обмеженнями. Блокування відбувається на рівні мережі, і це актуально для сторінок, підтримуваних рекламою, оскільки саме тут зберігаються новини, рецензії, ціноутворення та огляди продуктів.
Google, який використовує одного бота і для пошуку, і для тренування, може потрапити під обмеження. CEO Cloudflare, Matthew Prince, висловив сподівання, що це сприятиме розділенню функцій змішаних ботів, але ясно, що тиск надається саме для цього.
Отримання дозволу для AI agent crawlers
Власники агентів повинні заздалегідь з’ясувати, які аккаунти Cloudflare можуть віднести до класу Агент. Категоризація відбувається на основі поведінки, а не за заявами, тому агент може бути заблоковано, навіть якщо його оператор думає інакше.
Видавцям слід перевірити свій тарифний план, оскільки існуючі клієнти безкоштовного рівня 15 вересня автоматично перейдуть до нових налаштувань. Варто зважити всі «за» і «проти» блокування Training, оскільки це може вплинути на видимість у Google.
Важливим є питання фінансів: Pay Per Crawl переходить до Pay Per Use, а такі компанії як Ceramic.ai і You.com виплачують авторам контенту, коли їхні матеріали використовуються у AI пошуках.
Доступ до відкритої мережі стає платним та обмеженим, і агентам варто вирішити ці питання до вересня, щоб уникнути проблем у майбутньому.
