OpenAI підтримала спільний сигнал, через який власники сайтів зможуть повідомляти про небажання використовувати їхній контент для навчання генеративного ШІ. Анонс опубліковано 30 жовтня. Ідея — висловити одну позицію для кількох постачальників замість підтримки окремого набору правил для кожного. Впровадження OpenAI заплановане на наступні місяці; наявні правила для її роботів залишаються чинними.
Це варто розглядати як новину про майбутній спосіб керування використанням матеріалів. Вона не означає, що сьогодні всі ШІ-компанії вже перестали збирати дані із сайтів. Для власника блогу, магазину чи документації головне — зрозуміти, яку саме дію він хоче обмежити, та не закрити разом із нею потрібний пошуковий трафік.
Як виглядає новий сигнал і який у нього статус
У проєкті Machine-Readable Training Preference Signal запропоновано спеціальне значення __usage_ai-training у файлі robots.txt. Нижче — мінімальний приклад висловлення заперечення щодо навчання на всіх шляхах сайту. Це приклад синтаксису проєкту, а не повний файл для заміни вашої конфігурації.
User-agent: __usage_ai-training
Disallow: /Станом на 31 жовтня це індивідуальний Internet-Draft, а не затверджений стандарт IETF. Він відокремлює побажання щодо використання контенту від правил самого обходу сайту. Підтримку потрібно перевіряти у конкретного сервісу: документація Google наразі називає початок 2027 року для запланованого впровадження цього спільного сигналу.
Навчання, пошук і відвідування сторінки — різні дії
У довідці OpenAI про роботів уже зараз розділено GPTBot, який стосується навчання, та OAI-SearchBot, який використовується для пошуку в ChatGPT. Правила для них незалежні. Окремий ChatGPT-User може відкривати сторінки за дією користувача; для таких запитів robots.txt може не застосовуватися.
| Ваша мета | Що варто перевірити | Чого не слід припускати |
|---|---|---|
| Обмежити навчання ШІ | Правила навчальних роботів і підтримку нового сигналу | Що це автоматично вимкне всі звернення до сторінок |
| Залишитися доступним у пошуку | Доступ пошукових роботів та правила індексації | Що будь-яке блокування «ШІ-ботів» безпечне для пошуку |
| Закрити приватний файл | Авторизацію та права доступу на сервері | Що robots.txt приховає файл від людей або всіх роботів |
Порівняння вище — практична схема вибору налаштування, а не список взаємозамінних перемикачів. Наприклад, власник магазину може хотіти, щоб асистент знаходив актуальну сторінку товару, але не хотіти її використання для навчання. Спочатку запишіть бажаний результат такою звичайною фразою, а вже потім підбирайте правила для потрібних систем.
Що означає Google-Extended
Google має окремий токен Google-Extended: він керує використанням контенту для майбутніх моделей Gemini та певних сценаріїв grounding — підкріплення відповіді джерелами під час запиту. Google прямо зазначає, що цей токен не впливає на включення сайту у Google Search і не є сигналом ранжування. Це не те саме правило, що блокування Googlebot.
Практичний висновок: не переносіть властивості одного токена на всі інші. Якщо інструмент хостингу пропонує кнопку «блокувати ШІ», подивіться, які саме назви роботів та правила вона додає. Назва кнопки занадто загальна, щоб за нею визначити наслідки. Збережіть початкову конфігурацію — тоді зміни можна буде порівняти й за потреби повернути.
Чому robots.txt не замінює захист доступу
Google Search Central пояснює, що robots.txt залежить від добровільного виконання правил роботами. Він не змушує будь-який сторонній скрипт підкорятися та не захищає конфіденційний файл паролем. URL, заборонений для обходу, також може потрапити в індекс через посилання з інших сторінок.
Для керування індексацією існує окрема директива noindex. Щоб прочитати її, Google має отримати сторінку, тому блокування обходу здатне завадити побачити noindex. Якщо мета — обмежити лише навчання, не додавайте noindex до звичайних статей як нібито рівнозначний засіб. Це інше рішення з іншими наслідками для видимості.
Порядок дій для власника невеликого сайту
- Зафіксуйте мету. Складіть короткий список: що дозволяєте для пошуку, що — для навчання, що взагалі має залишитися приватним.
- Знайдіть чинний robots.txt. Google описує його розташування в корені відповідного хоста. Збережіть копію тексту й перевірте, чи файл формує сайт, плагін або хостинг.
- Перевірте підтримку. Для кожного важливого постачальника відкрийте його актуальну документацію. Анонс майбутньої підтримки не замінює чинні налаштування.
- Редагуйте конкретну групу правил. Не замінюйте весь файл коротким прикладом зі статті: можна втратити інші потрібні правила й адресу карти сайту.
- Перевірте зовнішній результат. Відкрийте robots.txt без входу в адмінпанель. Переконайтеся, що зміни справді видно, а замість тексту не повертається сторінка помилки або капча.
- Перевірте важливі URL. У Search Console URL Inspection порівняйте дані індексу з перевіркою опублікованої сторінки. Збережіть результат поруч із датою зміни.
Якщо сайт обслуговує підрядник, передайте йому бажану політику та попросіть показати точну різницю між старим і новим файлом. Так легше перевірити роботу, ніж погоджувати абстрактне «ми заблокували ШІ». Якщо у вас кілька піддоменів, перелічіть їх окремо: правило на одному хості не означає таку саму конфігурацію на іншому.
Для невеликої команди варто також визначити відповідального за рішення. Редактор може прагнути ширшої видимості, а адміністратор — зменшити небажаний трафік. Спільно узгоджена мета допоможе уникнути ситуації, коли двоє людей постійно перезаписують налаштування одне одного. У короткому записі про зміну зазначте, що зроблено, навіщо та на яку документацію сервісу спирається рішення.
Чи поверне це сайт у пошук
Підтримку нового сигналу не варто використовувати як обіцянку відновлення позицій. Перевірка URL показує частину технічного стану; Google застерігає, що успішний live-тест не гарантує індексацію або покази. Падіння трафіку потребує окремого аналізу. Щоб не плутати процеси, корисно також розібратися, як ШІ використовує документи під час відповіді.
На сьогодні розумна підготовка — описати власну політику, зберегти поточні правила та стежити за підтвердженням підтримки від постачальників. Сам новий запис у файлі не є доказом, що ваші матеріали вже виключені з усіх процесів навчання. Оцінюйте результат за документованими умовами конкретного сервісу, а не за гучністю заголовка.
Обкладинка: офіційна ілюстрація OpenAI. Текст оригіналу збережено англійською.
Долучайтеся до розмови
Пишіть по суті й поважайте інших читачів. Перший коментар може з’явитися після перевірки редакцією.