Проверка robots.txt
SeoBratik — бесплатный инструмент для проверки robots.txt, ориентированный на Яндекс и Google. Анализ за 5 секунд, проверка 12 типов ошибок, понятный отчёт простым языком
Что проверяет инструмент
Анализатор скачивает robots.txt и проверяет по основным критериям — от наличия файла до корректности директив
Директивы и правила
Разбираем User-agent, Allow, Disallow, Crawl-delay — показываем все правила в понятном виде и находим конфликты между ними.
Ошибки и рекомендации
Находим проблемы: заблокированные CSS/JS, полная блокировка сайта, слишком большой файл. Объясняем простым языком.
Sitemap и Host
Проверяем, указана ли карта сайта и директива Host. Без Sitemap поисковики медленнее находят новые страницы.
Как проверить robots.txt
Три шага — и точно знаешь, всё ли в порядке
Введите адрес сайта
Укажите домен или полный URL — мы автоматически найдём robots.txt в корне сайта.
Мы скачаем и проанализируем файл
Система загрузит robots.txt, разберёт все директивы и проверит на типичные ошибки.
Получите понятный отчёт
Вверху — простое объяснение, всё ли в порядке. Ниже — детали: правила, ошибки и содержимое файла.
Зачем проверять robots.txt
Маленький файл, который влияет на видимость всего сайта
Файл robots.txt — первое, что видит поисковый робот при обходе сайта. Ошибка в одной строчке может закрыть весь сайт от Яндекса или Google, и страницы начнут выпадать из поиска. Регулярная проверка robots.txt помогает вовремя заметить проблему.
В отличие от валидатора в Яндекс.Вебмастере, SeoBratik не требует подтверждения прав на сайт — можно проверить любой домен. Вместо технического лога — объяснение простым языком: что не так и что делать.
Частые ошибки в robots.txt
Случайный Disallow: / — одна строчка Disallow: / для User-agent: * полностью блокирует обход сайта. Часто остаётся после разработки, когда сайт закрывали от индексации на этапе тестирования.
Заблокированные CSS и JS — если роботам запрещено скачивать стили и скрипты, они не могут отрендерить страницу. Поисковик видит пустую страницу и понижает её в выдаче.
Отсутствие Sitemap — без директивы Sitemap поисковики медленнее находят новые и обновлённые страницы. Особенно критично для сайтов с тысячами страниц.
Слишком большой Crawl-delay — значение больше 10 секунд заставит Яндекс обходить сайт крайне медленно. Google директиву Crawl-delay полностью игнорирует.
Файл больше 500 КБ — Google читает только первые 500 КБ файла robots.txt. Все правила после этого лимита будут проигнорированы, как если бы их не было.
Частые вопросы о robots.txt
Простые ответы на популярные вопросы