понедельник, 19 августа 2013 г.

Ранжирование страниц запрещенных в robots.txt

Оптимизаторы давно заметили, поисковая система Google индексирует страницы запрещенные в файле robots.txt , скрывая их в дополнительные результаты поиска.

Но ранжирование запрещенной страницы по высокочастотному запросу можно встретить не часто. Большинство оптимизаторов сходиться во мнении, что запрещенные страницы вовсе не появляются в основной выдаче.

Однако вот какую интересную картину можно заметить сегодня в выдаче Google


Стоит отметить, что сам адрес maps.yandex.ru/kiev не запрещен в robots.txt , он перенаправляет на страницу которая в свою очередь запрещена правилом:
Disallow: /?
Интересно, Яндекс специально использует подобную уловку или это побочный эффект, в следствии какого-то изменении структуры адресов сервиса Яндекс карты.
В любом случае, мы видим интересный пример ранжирования страницы по сути запрещенной для индексации поисковой системой. 

Проанализировав справочные материалы по файлу robots.txt можно сделать вывод, что на этом примере мы видим ранжирование страницы на основе, практически чистых, ссылочных факторов, а это вызывает особый интерес для анализа.

Всем удачной недели и интересных находок.

И пара интересных видео о robots.txt от Метта Каттса



7 комментариев:

  1. роботс запрещает сканирование, а метатег ноиндекс индексирование, метатеги позволяют очистить хлам из индекса в гугле, роботс же управляет сканированием т.е. доступом бота к документу с оговоркой, что в любой момент может появиться ссылка на урл и если урл запрещен в роботсе он появится в индексе с пометкой о запрещении т.к. бот не смог его просканировать и понять выкинуть его из индекса или оставить

    ОтветитьУдалить
    Ответы
    1. Полностью с вами согласен.

      Удалить
    2. для гугла и ноиндекс не проблема. сканирует и индексирует не смотря на то что в коде прописан content="noindex"

      Удалить
    3. Интересно, не встречал подобных случаев. По моим экспериментам, при указании meta robots — nondex не индексирует даже при наличии мощных ссылок на страницу.

      Удалить
    4. вот хотел привести пример.. но не могу найти теперь эту страницу.. понимаю чудес не бывает и есть всему объяснение, но точно, я бы не комментировал не будь уверен на 100% что так и есть.. страница с утра была в кеше гугла от 5 сентября.. сейчас не по ссылке не по названию её не нахожу.. ух.. чудный гугл или хром :)

      Удалить
    5. Согласен, сам встречал кучу подобных странностей.

      Удалить
  2. Никогда такого не втречал подобных глюков.

    ОтветитьУдалить