Файл robots.txt и sitemap: быстрая проверка наличия на сайтах

Что проверяет расширение

• доступен ли файл robots.txt по стандартному адресу;
• есть ли sitemap;
• не вернул ли запрос сетевую ошибку.

Если запрос упал по сети, был лимит запросов или ответ сервера 5xx, результат помечается «неизвестно», баллы не начисляются. Иначе близкие по баллам сайты меняли бы категорию от прогона к прогону.

Что расширение не делает

Оно не разбирает директивы файла и не проверяет, правильно ли закрыты страницы. Это задача специалиста или отдельных валидаторов. Здесь только наличие.

Зачем это в списке

Если у вас список из десятков сайтов, колонки «robots» и «sitemap» помогают быстро выделить сайты без этих файлов. Всё остальное набор фактов тоже собирает:

• title и description с длиной;
• заголовки H1–H6 и картинки без alt;
• CMS, HTTPS и редирект;
• Яндекс Метрика, Google Analytics, Google Tag Manager и рекламные пиксели;
• формы, чат, запись, robots.txt и sitemap.

Старт

Без ключа в день доступно 30 проверок открытой вкладки и 5 из файла или списка, без платёжной карты. Лимиты платных тарифов описаны на главной странице, а возможности расширения — на странице Analyzer.

Analyzer читает только публичные страницы. HTML сайтов не уходит на серверы MapsGrabs, а выгрузка собирается на вашем компьютере. Правила изложены в оферте и политике конфиденциальности.

Рекламные звонки и рассылки по найденным контактам без согласия остаются нарушением 38-ФЗ.