Оптимизаторы давно заметили, поисковая система Google индексирует страницы запрещенные в файле robots.txt , скрывая их в дополнительные результаты поиска.
Но ранжирование запрещенной страницы по высокочастотному запросу можно встретить не часто. Большинство оптимизаторов сходиться во мнении, что запрещенные страницы вовсе не появляются в основной выдаче.
Однако вот какую интересную картину можно заметить сегодня в выдаче Google
Но ранжирование запрещенной страницы по высокочастотному запросу можно встретить не часто. Большинство оптимизаторов сходиться во мнении, что запрещенные страницы вовсе не появляются в основной выдаче.
Однако вот какую интересную картину можно заметить сегодня в выдаче Google
Стоит отметить, что сам адрес maps.yandex.ru/kiev не запрещен в robots.txt , он перенаправляет на страницу которая в свою очередь запрещена правилом:
Disallow: /?
Интересно, Яндекс специально использует подобную уловку или это побочный эффект, в следствии какого-то изменении структуры адресов сервиса Яндекс карты.
В любом случае, мы видим интересный пример ранжирования страницы по сути запрещенной для индексации поисковой системой.
Проанализировав справочные материалы по файлу robots.txt можно сделать вывод, что на этом примере мы видим ранжирование страницы на основе, практически чистых, ссылочных факторов, а это вызывает особый интерес для анализа.
Всем удачной недели и интересных находок.
И пара интересных видео о robots.txt от Метта Каттса
роботс запрещает сканирование, а метатег ноиндекс индексирование, метатеги позволяют очистить хлам из индекса в гугле, роботс же управляет сканированием т.е. доступом бота к документу с оговоркой, что в любой момент может появиться ссылка на урл и если урл запрещен в роботсе он появится в индексе с пометкой о запрещении т.к. бот не смог его просканировать и понять выкинуть его из индекса или оставить
ОтветитьУдалитьПолностью с вами согласен.
Удалитьдля гугла и ноиндекс не проблема. сканирует и индексирует не смотря на то что в коде прописан content="noindex"
УдалитьИнтересно, не встречал подобных случаев. По моим экспериментам, при указании meta robots — nondex не индексирует даже при наличии мощных ссылок на страницу.
Удалитьвот хотел привести пример.. но не могу найти теперь эту страницу.. понимаю чудес не бывает и есть всему объяснение, но точно, я бы не комментировал не будь уверен на 100% что так и есть.. страница с утра была в кеше гугла от 5 сентября.. сейчас не по ссылке не по названию её не нахожу.. ух.. чудный гугл или хром :)
УдалитьСогласен, сам встречал кучу подобных странностей.
УдалитьНикогда такого не втречал подобных глюков.
ОтветитьУдалить