Cloudflare представила Bot Preference Sync — функцию, которая автоматически согласует файл robots.txt с политиками компании для ИИ-ботов категорий Search, Agent и Training.
По описанию Cloudflare, инструмент должен избавить владельцев сайтов от необходимости поддерживать статические файлы вручную и упростить управление тем, какие боты получают доступ к контенту. Подробности реализации, доступности и ограничений в представленном материале не указаны.
комментарий редакции
Что это значит
Вероятное последствие — снижение ручной работы при настройке доступа ИИ-ботов к сайтам. Следующим наблюдаемым сигналом станет публикация технической документации или сведений о доступности функции. Существенная неопределённость сохраняется из-за отсутствия полного текста материала и независимых источников.