Тестер Robots.txt — Бесплатно Онлайн
Проверьте, разрешает или блокирует ваш robots.txt определённые пути для краулеров.
Paste your robots.txt content below, then optionally test a path against a user-agent.
Who uses the Тестер Robots.txt?
- SEO-специалисты, вставляющие черновик robots.txt для проверки того, что изменения случайно не блокируют важные страницы перед развёртыванием.
- Разработчики, подтверждающие, что сгенерированный CMS файл robots.txt разрешает поисковым системам сканировать контент.
- Владельцы сайтов, устраняющие неполадки с тем, почему определённые страницы не появляются в результатах поиска Google, проверяя совпадения правил Disallow.
How the Тестер Robots.txt works
Вставьте содержимое вашего robots.txt в текстовое поле — здесь нет живой загрузки по URL, поэтому сначала скопируйте необработанное содержимое файла.
Введите путь URL для проверки (например, /admin/login) в поле пути.
Введите user-agent для симуляции (например, Googlebot, Bingbot или * для всех краулеров) в свободное текстовое поле — оставьте пустым, чтобы использовать значение по умолчанию *.
Нажмите «Test Path», чтобы увидеть, разрешён этот путь или запрещён, используя правило приоритета самого длинного совпадения Google.
Tips & tricks
- Живой загрузки по URL и пакетного режима нет — вставляйте содержимое robots.txt вручную и тестируйте по одному пути за раз.
- Поле user-agent — это свободный текст, а не выпадающий список — введите точное имя агента, которое хотите смоделировать (например, Googlebot), или оставьте поле пустым для использования подстановочного знака *.
- Инструмент применяет приоритет самого длинного совпадающего правила Google, а не приоритет первого совпадения Bing — результаты могут отличаться от реального поведения Bing для перекрывающихся правил Allow/Disallow.
- Строки Sitemap: в вашем robots.txt разбираются и отображаются на панели сводки вместе с общим количеством правил и обнаруженными user-agent.
Frequently Asked Questions
Могу ли я ввести URL моего robots.txt вместо вставки его содержимого?
Нет — этот инструмент разбирает только текст, который вы вставляете напрямую. Посетите URL вашего robots.txt, скопируйте его содержимое и вставьте в текстовое поле.
Как работает тестер robots.txt?
Тестер разбирает вставленное вами содержимое robots.txt, определяет правила, применимые к введённому вами user-agent, и оценивает путь по этим правилам, используя приоритет самого длинного совпадения — возвращая Allowed или Disallowed.
Каков порядок приоритета правил Allow и Disallow?
Google использует наиболее специфичное правило (самый длинный совпадающий путь), именно это реализует данный инструмент. Пример: Disallow: /private/ и Allow: /private/public/ — правило Allow побеждает для /private/public/page, потому что оно более специфично. Bing вместо этого использует первое совпадающее правило, что этот инструмент не воспроизводит.
Могу ли я протестировать несколько путей URL одновременно?
Нет — режима пакетного тестирования нет. Тестируйте по одному пути за раз, меняя поле пути и снова нажимая «Test Path».
Предотвращает ли правило Disallow появление URL в результатах поиска?
Не обязательно. Запрет URL предотвращает его сканирование Googlebot, но если на него ссылаются другие сайты, Google всё же может проиндексировать его с ограниченной информацией. Чтобы полностью предотвратить индексацию, используйте мета-тег robots noindex на самой странице.
Is my data safe when using the Тестер Robots.txt?
Completely safe. The Тестер Robots.txt processes everything locally in your browser. No input data, results, or usage information is ever transmitted to or stored on any server.
How current is the data returned by the Тестер Robots.txt?
The Тестер Robots.txt fetches live data in real time each time you run it. Results reflect the current state of the server or domain at the moment of the request.
Why does the Тестер Robots.txt sometimes return different results than other tools?
Results depend on the real-time state of the target server and DNS propagation, which can vary by geographic region and caching TTL. If you see inconsistencies, wait a few minutes and re-test — DNS changes can take up to 48 hours to propagate fully worldwide.