Блог Zrok
Как AI видит ваш сайт
Практические разборы про AI-краулеры, управление доступом и видимость в ответах нейросетей: что проверять в логах, что настраивать и чего не стоит обещать.
ОбзорAI-трафик: что это, источники и как его измерить
AI-трафик — это переходы людей по ссылкам-источникам в ответах нейросетей и AI-поиска (ChatGPT, Perplexity, Gemini, Алиса). Что это, какие сервисы дают переходы, как узнать AI-реферал в аналитике и с чего начать измерение.
Читать →Все материалы
12 статей
Разборutm_source=chatgpt.com что это за переходы из ChatGPT
Что означает метка utm_source=chatgpt.com в отчётах, откуда она берётся, живые это пользователи или бот и как читать такие переходы из ChatGPT владельцу сайта.
Читать →
ПрактикаКак составить robots.txt: директивы, примеры и генераторы
Как создать robots.txt с нуля: куда положить файл и как подключить, что значат User-agent, Disallow, Allow, Sitemap и Clean-param, как закрыть или открыть AI-ботов (GPTBot, ClaudeBot), готовый пример и онлайн-генераторы.
Читать →
ПрактикаКак проверить и посмотреть robots.txt: валидаторы, анализ и доступ AI-ботов
Как открыть robots.txt любого сайта по адресу, проверить синтаксис валидаторами и анализом, убедиться в Яндекс Вебмастере и Google Search Console, что правило работает, и понять, открыт ли доступ для AI-ботов GPTBot, ClaudeBot и CCBot.
Читать →
Практикаrobots.txt в Tilda: как редактировать и настроить правила для AI-ботов
Где Tilda хранит robots.txt, как включить ручное редактирование, обойти ограничения через Clean-param и запрет индексации, добавить правила для GPTBot и ClaudeBot и проверить результат.
Читать →
Обзорrobots.txt: как управлять доступом поисковых и AI-краулеров к сайту
robots.txt простыми словами: где лежит файл, как его читают поисковые и AI-краулеры (GPTBot, ClaudeBot, CCBot), что он может и чего не может, почему Disallow не убирает страницу из индекса и как проверить файл.
Читать →
ПрактикаКак закрыть сайт, раздел или страницу от индексации и от AI-краулеров
robots.txt управляет обходом, но не убирает страницу из индекса. Когда нужен Disallow, когда noindex и X-Robots-Tag и как закрыть сайт от AI-краулеров GPTBot, ClaudeBot, CCBot и Google-Extended.
Читать →
СправочникСправочник AI-краулеров с владельцами, назначением и User-Agent
Справочник AI-краулеров: кто владелец бота из логов, зачем он ходит — обучение, поиск-ответы или агент — и как выглядит его User-Agent. Находите имя — определяете владельца и назначение.
Читать →
РазборCCBot (Common Crawl): что это за бот и как настроить доступ
CCBot — краулер фонда Common Crawl, который наполняет открытый архив веба, а не поиск и не базу одной AI-компании. Как он выглядит в логах, как отличить настоящего бота от подделки и как разрешить или закрыть ему доступ через robots.txt.
Читать →
РазборGPTBot: что это за бот, User-Agent и как управлять доступом
GPTBot — обучающий краулер OpenAI. Как распознать его User-Agent в логах, убедиться в подлинности по опубликованным IP и настроить доступ через robots.txt. Факты из документации OpenAI и RFC 9309.
Читать →
ПрактикаКак отличить настоящего AI-бота от подделки: User-Agent и проверка по IP
Имя GPTBot или ClaudeBot в User-Agent легко подделать. Показываем, как найти строку бота в access-логе, подтвердить визит через обратный DNS и официальные диапазоны IP, распознать подделку и решить — пропустить, ограничить или заблокировать.
Читать →
ОбзорAI-боты и краулеры на сайте: кто заходит и что с ними делать
Кто такие AI-боты и краулеры (GPTBot, ClaudeBot, Google-Extended, PerplexityBot), зачем приходят, как узнать их в логах и что сделать: пропустить, ограничить через robots.txt или заблокировать на сервере.
Читать →Проверьте свой сайт
Бесплатная проверка покажет, насколько сайт готов к AI-агентам и что они видят на страницах.