24еместо

1

голос

Анализировать robots.txt и sitemap

Просьба расширить логику анализа.

1) Анализировать robots для того чтобы не анализировать страницы которые закрыты. Думаю что этот анализ (как и мне) нужен SEO специалистам желающим продвигаться в поиске. В robots администраторы уже указали что не нужно помещать в индекс и для анализа (помоему мнению) проверка закрытых страниц не нужна. Я же получил в отчете проверку закладок в группах товара или страницы Поиска по сайту. Зачем? Короче тут думаю все ясно.

2) Проверять количество страниц в индексе и sitemap. Если цифры близкие, то значит индексация норма. Если меньше, то плохо. Так же у Гугла всегда больше в индексе страниц - это помоему знают все. У вас же идет сравнение Я и Г - ну и? они в 99% будут у Гугла больше чем у Яши.

И объединяя эти два пункта я бы сделал логику следующую:
Если есть robots и sitemap, то:
а) Взять URL из sitemps
б) Удалить те что закрыты Robots
в) Оставшиеся выдать в отчете.

Надеюсь это реализуете! Удачи.

владимир, 07.04.2012, 03:19
Статус идеи: ожидает рассмотрения

Комментарии

Rookee, 10.04.2012, 12:06
Владимир, спасибо Вам за интересную идею! Обязательно передадим ее нашим специалистам!
Rookee, 10.04.2012, 18:15
Владимир, пришлите, пожалуйста, ссылку на Ваш аудит, на support@rookee.ru, мы проверим, почему у Вас проанлизировались страницы, закрытые в файле robots.txt.

Оставить комментарий