Визуализация сотрудничества Google, OpenAI, Anthropic и Microsoft . Источник: Сгенерировано ChatGPT
Корпорации Google, OpenAI, Anthropic и Microsoft решили облегчить жизнь владельцам сайтов и согласились ввести и соблюдать новый единый стандарт для защиты контента от его использовании в обучении нейросетей.
Как сообщило авторитетное профильное издание Search Engine Roundtable, теперь вместо того, чтобы вручную выискивать и блокировать краулеры каждого отдельного AI-разработчика, владельцы интернет-ресурсов смогут использовать общую директиву в файле robots.txt. Инициатором этого нововведения выступил Кевин Келли, ведущий специалист по стандартам в компании Anthropic, а сам проект сейчас рассматривается в международной организации IETF.
Суть метода проста: достаточно прописать в настройках специального агента `__usage_ai-training` и это позволит полностью запретить сбор данных для тренировки AI или же сделать исключения для определенных разделов — например, оставить открытым доступ к пресс-релизам. При этом сайты по-прежнему будут индексироваться поисковыми системами, так как новое правило затрагивает исключительно AI-модели.
Представитель Google Джон Мюллер пояснил:
Когда сайт использует этот токен политики для отказа от обучения в своем файле robots.txt (и при этом там не указан Google-Extended), Google планирует интерпретировать это так, будто издатель запретил Google-Extended.
Субъекты рынка смогут использовать новый универсальный сигнал наряду со старыми индивидуальными настройками вроде `Google-Extended`. При этом сайты, которые разрешают использование токена Google-Extended, сохранят возможность появляться в ответах и получать переходы благодаря интеграции с сервисами Gemini.
Правда, у этой полезной функции есть один нюанс: она не способна стереть из памяти нейросетей то, что они успели скопировать раньше. Защита работает исключительно на будущее.
Anthropic уже начала внедрение поддержки нового стандарта, в то время как OpenAI обещает запустить его в ближайшие месяцы, Google планирует присоединиться к инициативе в начале 2027 года, а Microsoft намерена сделать это 1 февраля 2027 года.
Наконец-то у веб-мастеров появится кнопка вежливого отказа для всех AI-моделей одним кликом!
Источник: Search Engine Roundtable