пятница, 11 сентября 2015 г.

Выбираем программу для анализа сайта: Netpeak Spider, Comparser или Screaming frog SEO spider

Выбираем программу для анализа сайта: Netpeak Spider, Comparser или Screaming frog SEO spider


Составление хорошего SEO аудита сейчас сложно представить без использования автоматических инструментов. В этом вопросе у каждого специалиста свои предпочтения. Я решил взять 3 наиболее известных инструмента и провести серию мини-тестов для того, чтобы определить лучшую программу для автоматического анализа SEO оптимизации сайта.



Выбирать будем из:

Netpeak Spider — полностью бесплатный софт от компании Netpeak.

Screaming Frog SEO Spider Tool — бесплатная версия с ограничением до 500 страниц при сканировании. Стоимость полной лицензии 99 фунтов.

Comparser  — бесплатная демо-версия с ограничением при сканировании 150 страниц. Стоимость полной лицензии 2000 рублей.

Ссылки на скачивание внизу страницы.


ТЕСТ №1

Сканирование сайта услуг
CMS — Joomla
Контент — коммерческие посадочные страницы и статьи.






В программе Netpeak Spider нет автоматического подсчета количества дубликатов, поэтому количество дубликатов пришлось считать вручную.



В программе Netpeak Spider отсутствует отчет об исходящих ссылках.

Промежуточный итог


Лучшей скоростью сканирования отличился Screaming Frog Spider, при этом показав худшие результаты по полноте сканирования и поиску дубликатов.

Comparser — показал отличную точность, но по скорости сканирования заметно уступает аналогичным программам.

Netpeak Spider — хорошая скорость и полнота сканирования, приличная точность при поиске дубликатов. Но расстраивает нехватка функционала, к примеру, отсутствует поиск исходящих ссылок.

ТЕСТ №2

Сканирование интернет магазина
CMS — Magenta
Контент — Каталог с большим количество фильтров, две языковые версии.



Обе программы сканировали сайт более 4 часов и так и не смогли полностью просканировать все страницы сайта. Comparser дошел до третьего уровня вложенности и я решил остановить сканирование, так как на 4 уровне находилось в 20 раз больше страниц. С аналогичной проблемой столкнулся и Netpeak Spider.

При работе с большими сайтами учтите, что сканирование может занять очень много времени.


Как я написал ранее, в Netpeak Spider не предусмотрен автоматический подсчет дублей, поэтому сравнить количество найденных дублей не удалось.

Анализ функционала





Особые возможности


Стоит отметить некоторые уникальные возможности программ:

Netpeak Spider — после окончания сканирования позволяет рассчитывать веса страниц на основе внутренних ссылок. Таким образом Netpeak Spider очень полезен для анализа внутренних ссылочных связей "перелинковки".

Comparser — позволяет в автоматическом режиме проверять индексацию страниц сайта в Google и Yandex. Сравнивать страницы из индекса поисковых систем со страницами сайта. Находить неиндексируемый контент, а также страницы случайно попавшие в базы поисковых систем.

Итоги


Я уже несколько лет использовал Netpeak Spider и Screaming Frog для автоматического анализа сайта при составлении аудитов и написания рекомендаций по оптимизации сайтов. Но, к сожалению, Netpeak Spider не достает функционала. А Screaming Frog пропускает слишком много дублей. Comaparser стал моим основным инструментом для автоматического аудита и анализа индексации сайта, после ознакомления с ним и проведения тестов.

Жаль только, что в Comaparser нет функции расчета веса страниц и очень не высокая скорость сканирования.  

А какими софтом пользуетесь вы?

Ссылки и цены




30 комментариев:

  1. На счет скорости сканирования сайта, тут все зависит больше от настроек. Если брать значения по умолчанию, то они стоят не агрессивные, чтобы щадяще относиться с сканируемуму сайту. Ради теста скорости можно начать сканировать vk.com в 50 потоков без задержек. У меня получилось ComparseR'ом сосканировать 100к страниц на пару минут. И тут все упирается в мощность компа и качество интернет канала.
    В общем, тут надо поиграть с настройками. Думаю, это относится к любой из этих программ, если там есть соответствующие настройки.

    ОтветитьУдалить
    Ответы
    1. Ради чистоты эксперимента тестировал на стандартных настройках все программы. Уже после написания статьи подумал о смене настроек для тестирования.

      Удалить
  2. Не знаю как у Вас, но у меня Spider не может сформировать отчет, если сайт больше чем +-10 000 страниц.

    ОтветитьУдалить
    Ответы
    1. Вы имеете ввиду XLS файл? У меня обычные отчеты в рамках программы формирует, а вот XLS файл не пробовал.

      Удалить
    2. именно XLS. до 10 000 страниц все нормально, потом выскакивает ошибка. Наблюдал во всех версиях за последний год.

      Удалить
  3. Скрытая реклама компарсера, отличное сравнение! Все программы хороши, использую в работе в основном Screming Frog и Netpeak. Плюс компарсеру, как было написано в статьей - возможность проверки проиндексированности страницы. Тоже самое может делать Netpeak Cheker, но достаточно долго.

    ОтветитьУдалить
    Ответы
    1. Роман, статья почти полностью состоит из результатов тестирования. Если бы Netpeak Spider показал лучшие результаты, вы бы сказали, что это скрытая реклама Netpeak Spider?

      Удалить
    2. Знаю Артема и знаю, как человека добросовестного и толкового. И говорить о скрытой какой-то там рекламе... Мне просто смешно, Думаю у него голова соображает намного больше, чем банальная реклама в своем блоге.
      Артем, коротко, ясно и по сути, это видимо твой девиз )) Спасибо.

      Удалить
  4. Артем, не задумывался ли ты публиковать разные исследования и наблюдения, которые я уверен у вас в сео 7 присутствуют, или я посягаю на святое )))))

    ОтветитьУдалить
    Ответы
    1. Нет никаких секретов. Просто не хватает времени обо всем писать.

      Удалить
  5. Использую все три программы и во всех очень плохо сделан функционал выгрузки битых ссылок, по одной нужно смотреть ИСТОЧНИК, если большое количество, то утомляет)) В остальном согласен Comparser + Web Site Auditor и можно увидеть сайт "насквозь")))

    ОтветитьУдалить
  6. Друзья, меня зовут Alex Wise и я являюсь руководителем компании Netpeak Software, одной из разработок которой является Netpeak Spider. Хочу выразить благодарность за сравнение функционала и тестирование всех программ: это даже нам было полезно :)

    Хочу сказать всем пользователям Netpeak Spider, что текущая версия программы → это версия, которую мы не поддерживали с конца прошлого года и поддерживать больше не будем. Но не стоит расстраиваться, потому что для всех любителей SEO-кроулеров очень скоро в свет выйдет Netpeak Spider 2.0, который является абсолютно новой версией нашей старой программы: новый интерфейс, новая система работы и новые возможности.

    После официального релиза, о котором вы, разумеется, узнаете, я обязательно попрошу автора провести своё тестирование ещё раз → Артём, будем рады получить фидбек.

    До скорого!

    ОтветитьУдалить
    Ответы
    1. Рад, что статья стала вам полезна. Netpeak Spider 2.0 — это отличная новость. Буду ждать релиза, и конечно готов сделать новую статью-сравнение.

      Удалить
    2. Артём, я обещал вам отдельно сказать, когда мы запустимся. Наконец, это случилось: читайте наш пресс-релиз → http://blog.netpeak.ua/netpeak-spider-i-netpeak-checker-novoe-pokolenie-lyubimyh-seo-instrumentov/

      Сразу скажу, что теперь не будет распространяться на бесплатной основе, но зато она наконец обрела свою отдельную команду разработки, тестирования и поддержки и готова к новым свершениям: смотрите сравнительную характеристику старой и новой версии программы → http://blog.netpeak.ua/netpeak-spider-i-netpeak-checker-novoe-pokolenie-lyubimyh-seo-instrumentov/#netpeak_spider_1_x_vs_2_0

      Удалить
    3. Спасибо за напоминание, пресс релиз уже прочитал думаю на праздниках сделать обзор.

      Удалить
  7. Xenu забыли. Единственная программа, которая показывает страницы с битыми ссылками.
    И есть еще бесплатная версия Page Weight.

    ОтветитьУдалить
    Ответы
    1. Xenu конечно да. Но похожий функционал есть во всех этих трех программах. Да и кроме битых ссылок функционал у нее не большой.

      Удалить
    2. Как это Xenu - единственные, кто показывают битые ссылки? Вы в каком измерении живёте? Netpeak Spider уже кучу лет показывает битые ссылки.

      Удалить
  8. Очень дельные рекомендации. Перепробовала кучу сайтов, причем искала их методом тыка: через поисковик. У большинства недостатки перевешивали достоинства. Пока остановлюсь на Netpeak Spider, так как в бюджете полная дыра.

    ОтветитьУдалить
  9. Спасибо за статью! очень полезная инфа, я бы хотела узнать будет ли сравнительная х-ка с Netpeak Spider 2.0?

    ОтветитьУдалить
    Ответы
    1. Думаю да, когда он станет доступен.

      Удалить
    2. Уже доступен не только Netpeak Spider 2.0, а даже Netpeak Spider 2.1 → видели уже обзор на Блоге Netpeak http://blog.netpeak.ru/obzor-netpeak-spider-2-1-klassifikatsiya-oshibok-vybor-parametrov-novaya-logika-raboty-s-rezultatami/

      А скидку 50% нашли? :)

      Удалить
  10. А в последней версии Netpeak Spider уже доработан функционал? По тесту видно, что он сканирует быстрее других. Хотелось бы использовать его для анализа внутренних ссылочных связей.

    ОтветитьУдалить
    Ответы
    1. Не проводил еще сравнительно анализа с новой версией. Думаю сделать в ближайшие месяцы.

      Удалить
    2. Коллеги, в последних версиях функционал намного серьёзней, чем описывается в этой статье – мы уже с Артёмом по этому поводу говорили.)

      А недавно мы вообще выкатили расчёт внутреннего PageRank – это уникальная по своей реализации фича, которая поможет решить ряд очень важных вопросов:

      1. Понимать, как именно распределяется ссылочный вес по сайту и где он концентрируется.

      2. Определять, какие неважные для поискового продвижения страницы получают избыточный вес.

      3. Знать, какие страницы являются «висячими узлами» и просто-напросто «сжигают» входящий ссылочный вес.

      Читайте подробнее здесь → https://netpeaksoftware.com/community/announcement/netpeak-spider-2-1-1-2-%D1%80%D0%B0%D1%81%D1%87%D1%91%D1%82-%D0%B2%D0%BD%D1%83%D1%82%D1%80%D0%B5%D0%BD%D0%BD%D0%B5%D0%B3%D0%BE-pagerank

      Артём, с вас обзор :)

      Удалить
  11. Ответы
    1. Если вы о Netpeak Spider спрашиваете, то её запуск планируется на начало 2017 года: январь-февраль.

      Netpeak Checker будет немного позже.

      Удалить
  12. Хорошая статья, спасибо, хотя и не совсем актуальная. Возможности Netpeak Spider за это время заметно расширились. Было бы интересно прочесть новый обзор)

    ОтветитьУдалить
    Ответы
    1. Я бы даже сказал, что с сентября 2015 года возможности программы не просто "расширились", а глобальное изменились :) Из старой версии (1.xx) остались лишь 2 вещи:
      1. Название программы.
      2. Основная функция – сканирование страниц.

      Артём обещал новый обзор, я тоже жду :)

      Удалить