Как составить robots.txt с нуля

Где лежит robots.txt и как его создать, подключить и выдать права доступа

robots.txt лежит в корне и срабатывает ещё до обхода страниц.

Дальше остаётся положить файл в нужное место и описать в нём группы.

Собрать файл можно руками за пару минут. Это обычный текст, а не программа, и в простом случае ему хватает нескольких строк, чтобы работать.

Как создать файл

Откройте любой простой текстовый редактор, впишите нужные директивы и сохраните результат именно как robots.txt — имя строчными буквами, кодировка UTF-8. В Windows у сохранения есть ловушка: Блокнот может добавить скрытое расширение, и вместо robots.txt на диске окажется robots.txt.txt. Проверьте реальное имя файла и не форматируйте текст в Word — краулеру нужен чистый текст без лишней разметки.

Куда его положить

Файл кладут строго в корень сервиса, чтобы он открывался по адресу вида https://site.ru/robots.txt. На один хост полагается один такой файл с именем строчными буквами. Проверить размещение можно прямо в браузере: откройте этот адрес. Если по нему пусто или сервер отдаёт 404, значит для краулера правил пока нет и он считает, что обходить можно всё.

Как подключить файл

На обычном хостинге файл попадает в корень загрузкой: по FTP (например, через FileZilla) или через файловый менеджер в панели управления. Корневая папка — та, где лежит главная страница, часто это public_html, а не вложенный каталог. На CMS бывает иначе: файла в корне может не быть, его отдаёт сама система. Этот случай разберём ниже на примере WordPress.

Вот как это выглядит в файловой структуре и в адресной строке браузера.

Рабочий адрес всегда короткий, сразу после домена, а тот же файл в подпапке по /robots.txt уже не откроется.

Какие нужны права доступа

Под правами доступа здесь понимают простую вещь: файл должен быть публично доступен и открываться по своему адресу, а не быть спрятан или закрыт от запроса. По адресу он должен показываться как текст, а не скачиваться или отдавать ошибку. Речь именно о доступности, а не о конкретном числе прав вроде chmod: точного значения ни стандарт, ни документация вендоров не задают.

Здесь же возникает частый вопрос новичка: добавлять файл вручную или это сделает система. Если ваша CMS уже отдаёт виртуальный файл, его правят из админки; если нет — создают и загружают руками.

Структура файла и директивы User-agent, Disallow, Allow

Строки User-agent, Disallow и Allow в чужом файле выглядят пугающе, но логика у них простая. Файл состоит из групп, и каждая группа начинается со строки User-agent, которая адресует правила конкретному роботу или всем сразу. Робот находит свою группу, применяет только её правила, а остальные игнорирует. Пустая строка отделяет одну группу от другой.

Строка User-agent и кому адресованы правила

Робот сравнивает своё имя (product token) с именами в строках User-agent без учёта регистра и подчиняется той группе, где он назван. Если собственной группы нет, он берёт группу User-agent: * как запасную — звёздочка означает «все остальные». При этом бот со своей группой читает только её и не складывает со звёздочкой, поэтому все нужные ему правила прописывают прямо в его группе.

Что делают Disallow и Allow

Disallow запрещает обход указанного пути, Allow — разрешает. На короткой паре строк это видно так: Disallow закрывает целый раздел, а Allow открывает внутри него нужное исключение. Путь считается от корня сайта.

User-agent: *
Disallow: /cart/
Allow: /cart/success/

User-agent: Yandex
Disallow:

Отсюда и ответ на частый страх «а не закрою ли я случайно весь сайт». Пустой Disallow без пути ничего не запрещает: запрещать нечего, и сайт остаётся открытым. Закрывает весь сайт только одна строка — Disallow: / со слешом.

Какое правило побеждает при конфликте

Когда на один и тот же URL подходят и Allow, и Disallow, применяется самое специфичное правило — то, у которого совпадение с адресом длиннее по числу символов. При равной длине выигрывает Allow.

Спецсимволы * и $

В путях работают два спецсимвола. Звёздочка * заменяет любую последовательность символов, а доллар $ закрепляет конец адреса. Из-за них легко ошибиться: лишняя или забытая звёздочка меняет смысл правила. Например, Disallow: /*.pdf закрывает все PDF по любому пути, а точный путь без звёздочки закроет только один адрес. Один символ меняет охват всего правила, поэтому спорное правило лучше проверять инструментом в панели вебмастера, а не на глаз.

Важно помнить, что Disallow ограничивает обход, но не всегда убирает страницу из индекса — если вам нужно именно закрыть сайт или раздел от индексации, разберите этот случай отдельно, чтобы запрет действительно сработал.

Директива Sitemap и Clean-param и почему AI-боты её обычно не учитывают

В файле часто встречаются ещё две строки — Sitemap и Clean-param. Директива Sitemap указывает краулерам путь к XML-карте сайта, чтобы они быстрее находили страницы. Адрес в ней пишут полным, абсолютным: с протоколом и доменом целиком.

Путь из Sitemap должен реально существовать: если карты по адресу нет, робот получит ошибку, поэтому адрес проверяют до публикации.

Clean-param как директива Яндекса

Clean-param склеивает незначащие GET-параметры, чтобы робот Яндекса не обходил по многу раз одинаковые по сути страницы с разными метками в адресе. Синтаксис у неё такой:

User-agent: Yandex
Clean-param: p0[&p1&p2&..&pn] [path]

Робот Яндекса считает URL с такими параметрами и без них одной и той же страницей. Но у директивы есть важное ограничение: она не входит в стандарт RFC 9309 и специфична для Яндекса, поэтому Google и AI-боты её обычно не применяют. Для них дубли с параметрами решают другими средствами, а Clean-param универсальной строкой для всех краулеров не является.

Как адресовать правило конкретному краулеру, включая AI-ботов

Когда нужно открыть или закрыть именно одного бота, под него пишут отдельную группу. В ней идёт строка User-agent с именем бота и свои Disallow или Allow, а общее правило остаётся в группе со звёздочкой. Поскольку свою группу бот читает целиком и общие строки не берёт, правило для него прописывают полностью. Точное имя (product token) берут только из документации вендора, потому что токены со временем меняются и добавляются.

Устроено это как несколько независимых блоков в одном файле.

Поэтому закрыть одного бота можно, не трогая правила для остальных.

GPTBot и OAI-SearchBot (OpenAI)

У OpenAI два независимых токена robots.txt. GPTBot отвечает за сбор контента для обучения моделей, а OAI-SearchBot — за показ сайта в поиске ChatGPT. Настройки не связаны: можно закрыть обучение, но остаться в поиске ChatGPT.

ClaudeBot (Anthropic)

Чтобы закрыть обучающий краулер Anthropic, в robots.txt добавляют группу User-agent: ClaudeBot с Disallow: /. Правило действует в пределах того хоста, где лежит файл, поэтому его повторяют на каждом поддомене, который вы хотите закрыть.

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ClaudeBot
Disallow: /

Открыть или закрыть бота

Открыть бота значит дать разрешающее правило или просто не ставить запрета. Закрыть значит поставить Disallow на нужный путь или на весь сайт через Disallow: /. Здесь важна только механика адресации правила; как выстроить закрытие сайта от индексации, разобрано в соседней статье.

Готовые примеры robots.txt и онлайн-генераторы

Писать файл с нуля не обязательно: можно взять готовый базовый пример и подставить свой домен. За основу удобно брать пример из документации Google — группа для конкретного бота с запретом служебного пути, затем общая группа и строка Sitemap.

User-agent: Googlebot
Disallow: /nogooglebot/

User-agent: *
Allow: /

Sitemap: https://[ваш-домен]/sitemap.xml

Читать такой пример полезно построчно. Первая группа адресована Googlebot и закрывает ему служебный путь /nogooglebot/ — это образец под конкретный сайт, а не обязательный набор для всех. Группа User-agent: * с Allow: / означает «остальным можно всё». Последняя строка Sitemap ведёт на вашу карту полным адресом. Готовый пример остаётся основой, а не финальным файлом.

Онлайн-генераторы

Если синтаксис ещё непривычен, помогает онлайн-генератор. Он собирает файл по шагам: спрашивает, какие разделы закрыть и какие боты интересуют, и формирует готовые группы и строку Sitemap. Итоговые пути всё равно просматривают глазами, ведь генератор исходит из ваших ответов, а не из структуры именно вашего сайта. И скопированный пример, и результат генератора стоит проверить перед загрузкой. Сама проверка файла разобрана отдельно.

robots.txt в WordPress и особый случай Tilda

На WordPress физического файла в корне часто нет, но robots.txt всё равно отдаётся по своему адресу. Дело в том, что файл формирует и отдаёт сама CMS по запросу — он виртуальный. Поэтому по FTP вы файла не увидите, а по адресу https://site.ru/robots.txt он открывается. Правят его SEO-плагинами: Yoast и аналоги дают в админке редактор robots.txt, изменения сохраняются в виртуальный файл, и именно оттуда в нём берутся строки групп вроде User-agent: Yandex.

Почему правки не применяются

Если в корне появляется физический файл robots.txt, он перекрывает виртуальный, и это частая причина, почему правки через плагин не видны. Обнаружить его можно по FTP: пока он лежит в корне, изменения из админки не применяются, а по адресу отдаётся старая строка. Выход один: править файл там, где он реально отдаётся, и оставить у него единственный источник правды.

Что обычно закрывают

На WordPress обычно закрывают служебные разделы: административные пути, внутренний поиск по сайту, личный кабинет и корзину, технические параметры фильтров. Это ориентир под конкретный сайт, а не единый шаблон: набор путей зависит от вашей структуры и от того, что именно вы не хотите пускать в обход.

Особый случай Tilda

Tilda стоит особняком: здесь свои ограничения на редактирование файла, и пошаговый обход этих ограничений вынесен в отдельный материал. Что бы вы ни настраивали, закончите одним действием — откройте свой адрес /robots.txt и убедитесь, что группы и строка Sitemap на месте.

Короткие вопросы и ответы

• RFC 9309: Robots Exclusion ProtocolСтандарт файла.
• Google Search Central: Create and submit a robots.txt fileРазмещение и Sitemap.
• Яндекс Вебмастер: Директива Clean-paramСинтаксис Clean-param.
• OpenAI: Overview of OpenAI CrawlersТокены GPTBot и OAI-SearchBot.
• Anthropic: Does Anthropic crawl data from the webБлокировка ClaudeBot.

Источники проверены 21.10.2026.