Проверка валидности файла robots.txt

Проанализируйте синтаксис системного файла robots.txt. Инструмент проверяет правильность написания директив Disallow, наличие ссылки на Sitemap.xml и предотвращает случайное закрытие важных коммерческих разделов сайта от индексирующих ботов.