Тестовые robots.txt файлы

robots.txt это текстовый файл в корне сайта: он говорит поисковым роботам, какие разделы обходить, а какие не трогать. Ниже готовые файлы, которые можно положить к себе как есть: обычный рабочий, дефолты популярных CMS, блокировка ИИ-краулеров и скраперов, плюс пограничные случаи для проверки своего парсера

Базовые

Тестовый файл: Обычный рабочий файл: закрыта админка, объявлена карта сайта

Обычный рабочий файл: закрыта админка, объявлена карта сайта basic

273 b

↓

Тестовый файл: Открыто всё: полный доступ даёт именно пустое значение Disallow

Открыто всё: полный доступ даёт именно пустое значение Disallow allow all

188 b

↓

Тестовый файл: Закрыто всё: обычный файл для staging-площадки

Закрыто всё: обычный файл для staging-площадки disallow all

234 b

↓

Пустой файл, ноль байт empty 0 b

0 b

↓

Дефолты популярных CMS

Тестовый файл: Закрыт wp-admin, а admin-ajax.php возвращён обратно

Закрыт wp-admin, а admin-ajax.php возвращён обратно WordPress

318 b

↓

Тестовый файл: То же плюс корзина, оформление заказа и ссылки фильтров

То же плюс корзина, оформление заказа и ссылки фильтров WooCommerce

407 b

↓

Тестовый файл: Системные каталоги и Crawl-delay, который идёт из коробки

Системные каталоги и Crawl-delay, который идёт из коробки Drupal

554 b

↓

Тестовый файл: Отсечение параметров фасетной навигации и сессий

Отсечение параметров фасетной навигации и сессий Magento 2

527 b

↓

Тестовый файл: То, что платформа отдаёт сама и что правится только через шаблон

То, что платформа отдаёт сама и что правится только через шаблон Shopify

592 b

↓

Тестовый файл: Только системные каталоги движка, контент открыт

Только системные каталоги движка, контент открыт Joomla

438 b

↓

Готовые решения задач

Тестовый файл: Закрыть сайт от ИИ: обучение и ответ на запрос это разные роботы

Закрыть сайт от ИИ: обучение и ответ на запрос это разные роботы AI bots 12 agents

834 b

↓

Тестовый файл: Отсечь SEO-сканеры и сборщики ссылок, не теряя поискового трафика

Отсечь SEO-сканеры и сборщики ссылок, не теряя поискового трафика scrapers

554 b

↓

Тестовый файл: Замедлить обход: Google директиву игнорирует, Bing и Яндекс нет

Замедлить обход: Google директиву игнорирует, Bing и Яндекс нет crawl-delay

423 b

↓

Тестовый файл: Разным роботам разные правила, общая группа последней

Разным роботам разные правила, общая группа последней multi-agent

635 b

↓

Тестовый файл: Фасетная навигация: фильтры закрыты, пагинация намеренно открыта

Фасетная навигация: фильтры закрыты, пагинация намеренно открыта params

767 b

↓

Тестовый файл: Шесть карт сайта сразу, включая сжатые gzip

Шесть карт сайта сразу, включая сжатые gzip sitemaps 6 lines

531 b

↓

Пограничные случаи

Тестовый файл: UTF-8 BOM перед первой строкой, из-за него правило теряется

UTF-8 BOM перед первой строкой, из-за него правило теряется BOM

77 b

↓

Тестовый файл: Переводы строк CRLF, файл сохранён на Windows

Переводы строк CRLF, файл сохранён на Windows CRLF

310 b

↓

Тестовый файл: Подстановки * и $ и правило, которое выигрывает при совпадении

Подстановки * и $ и правило, которое выигрывает при совпадении wildcards

622 b

↓

Тестовый файл: Комментарии в строке и ловушка с пустой строкой внутри группы

Комментарии в строке и ловушка с пустой строкой внутри группы comments

1.1 Кб

↓

Тестовый файл: Намеренно сломанный: опечатки, нет двоеточия, правило без группы

Намеренно сломанный: опечатки, нет двоеточия, правило без группы broken

683 b

↓

Тестовый файл: За пределом разбора: 11 089 правил, читаются только первые 500 KiB

За пределом разбора: 11 089 правил, читаются только первые 500 KiB oversize 512 KiB

520 Кб

↓

🧠 Какое правило победит

Робот подчиняется ровно одной группе: той, чей User-agent совпал с ним точнее всего. Группу со звёздочкой он при этом не читает, то есть правила не складываются. Дальше внутри группы ищется самое длинное совпадение пути, и важна именно длина шаблона, а не порядок строк: Allow: /wp-admin/admin-ajax.php побеждает Disallow: /wp-admin/, даже если стоит ниже. При равной длине выигрывает Allow. Из спецсимволов есть только два: * это любая последовательность символов, $ это конец адреса. И главное, о чём забывают: файл закрывает обход, а не индексацию. Страница, на которую ведут ссылки с других сайтов, может попасть в выдачу и будучи запрещённой здесь, просто без описания. Чтобы убрать её из индекса, нужен заголовок X-Robots-Tag или метатег noindex, а для этого страницу как раз надо разрешить обойти.