Проверяем 12+ стандартов — от robots.txt и llms.txt до MCP Server Card и OAuth discovery. Скан идёт ~8 секунд, регистрации не требует.
Попробуйте:
14 стандартов, которые вместе описывают, готов ли сайт «разговаривать» с AI-агентами: от простого robots.txt до MCP Server Card и OAuth-discovery.
GPTBot, ClaudeBot, PerplexityBot, Google-Extended — если этих строк нет в robots.txt, AI-краулеры либо не находят инструкций и берут всё, либо игнорируют сайт целиком.
AI-краулеры разбирают sitemap в разы быстрее, чем обход по ссылкам. Без него новые страницы попадают в индекс LLM недели вместо часов.
Заголовок Link: </.well-known/api-catalog>; rel="api-catalog" подсказывает агенту, где искать API-описание. Простой способ обозначить точки интеграции без отдельных страниц.
Растущий стандарт: короткий markdown-файл со списком ключевых страниц. Anthropic, GitHub, Vercel и десятки других уже поддерживают. Если у вас его нет — вы невидимы для нового поколения агентов.
Когда LLM просит text/markdown, а сайт отвечает text/html — модель тратит токены на парсинг HTML вместо разбора чистого текста. Правильная реализация экономит агенту ~40% контекста.
Отдельные секции User-agent: GPTBot и др. позволяют разрешить одному вендору и запретить другому. Без этого вы либо всех пускаете, либо всех блокируете — и то и то плохо.
Новый Cloudflare-стандарт: явно указываете search=yes, ai-train=no. LLM-компании начинают уважать эти сигналы для избежания legal-риска.
Cryptographic signing запросов ботов. Позволяет отличить настоящий GPTBot от скрейпера, который представляется GPTBot из Hetzner-VPS. Важно для антифрода.
Model Context Protocol Server Card в /.well-known/mcp/server-card.json описывает, какие инструменты сайт даёт агенту. Без него агент не знает о ваших API, даже если оно есть.
Метаданные в /.well-known/openid-configuration и /.well-known/oauth-protected-resource дают агенту способ автоматически залогиниться в ваш API — без ручной регистрации приложения.
Стандартный формат linkset+json для описания всех API, спек и статус-эндпоинтов. Одна точка входа для агента, которому нужно понять «что тут вообще есть».
Публичный индекс скиллов, которые агент может использовать на сайте. Аналог plugin marketplace, только децентрализованный и SHA-подписанный.
Классический /openapi.json. Агент читает и знает все эндпоинты, параметры и типы ответов без документации в естественном языке.
Полный отчёт с 14 проверками, еженедельным автосканом и Telegram-алертами — бесплатно, без карты.
Открыть Zrok →