голос
Просьба расширить логику анализа.
1) Анализировать robots для того чтобы не анализировать страницы которые закрыты. Думаю что этот анализ (как и мне) нужен SEO специалистам желающим продвигаться в поиске. В robots администраторы уже указали что не нужно помещать в индекс и для анализа (помоему мнению) проверка закрытых страниц не нужна. Я же получил в отчете проверку закладок в группах товара или страницы Поиска по сайту. Зачем? Короче тут думаю все ясно.
2) Проверять количество страниц в индексе и sitemap. Если цифры близкие, то значит индексация норма. Если меньше, то плохо. Так же у Гугла всегда больше в индексе страниц - это помоему знают все. У вас же идет сравнение Я и Г - ну и? они в 99% будут у Гугла больше чем у Яши.
И объединяя эти два пункта я бы сделал логику следующую:
Если есть robots и sitemap, то:
а) Взять URL из sitemps
б) Удалить те что закрыты Robots
в) Оставшиеся выдать в отчете.
Надеюсь это реализуете! Удачи.
