Бревно-анализатор Screaming Frog

1. Какие журналы
2. Для чего они в SEO?
3. Кричащий Log Analyzer
4. Скачать бесплатную пробную версию
5. Текущие параметры Screaming Log Analyzer
6. Создать проект
7. Импорт URL
8. Импорт файла журнала
9. обзор
10. URLs
11. Коды ответа
12. события
13. Фильтры по пользовательскому агенту и дате
14. вид
15. Нижние панели: информация о URL, события
16. ищущий
17. экспорт
18. Правая кнопка
19. Перемещение строк сайта и порядок возрастания или убывания
20. Будущие опции Screaming Log Analyzer?
21. SEO показатели, которые мы могли бы отслеживать с помощью журналов
22. Другие ресурсы для анализа журналов

День наконец настал: Screaming Frog выпустил свою версию Log Analyzer Ну, бум!

Это требует установки другого программного обеспечения и оплаты другой лицензии, независимой от искателя, но мы уже смогли это доказать, и, несмотря на то, что для ее улучшения предстоит пройти долгий путь, вычислительная мощность и начальная фильтрация, которые он делает для меня, стоят того 99 фунтов стерлингов <3

Прежде чем рассказать вам о преимуществах этого программного обеспечения для SEO, мы собираемся дать немного контекста этому SEO-анализу, который может предоставить очень много полезной информации, если мы понимаем подход и чтение этих данных.

Какие журналы

Файл журнала содержит журнал активности, который является результатом всех запросов, полученных нашим веб-сервером. Эти запросы или «хиты» хранятся анонимно, вместе с данными, связанными с запросами, такими как дата, время, IP, URL и пользовательский агент.

Как вы поймете, эта информация на техническом уровне проекта может представлять собой большую часть данных, представляющих большую ценность, поскольку она очень приближает нас к поведению ботов, таких как Googlebot, на нашем веб-сайте.

Строка файла журнала может выглядеть так:

66.249.65.87 - - [21 / май / 2015: 06: 36: 00 +0200] "GET / device / mj / HTTP / 1.0" 200 1382 "-" "Mozilla / 5.0 (совместимо; Googlebot / 2.1; + hcp: //www.google.com/bot.html) "

Где мы выделяем следующие отдельные данные:

1. 66.249.65.87
2. [21 мая 2015 года: 06: 36: 00 +0200]
3. GET
4. / команда / mj /
5. HTTP / 1.0
6. 200
7. 1382
8. -
9. Mozilla / 5.0 (совместимо; Googlebot / 2.1; + http: //www.google.com/bot.html)

Для чего они в SEO?

Ну, как вы и подумаете, если у нас есть журнал активности доступа к серверу и данные, которые нам дают, мы можем дифференцировать пользователя поисковой системы ... Действительно, мы можем тщательно проанализировать страницы, которые сканирует робот Googlebot, фильтруя их по пользовательскому агенту. и / или IP.

С помощью этой информации мы можем понять, как Google сканирует наши сайты, и попытаться оптимизировать все имеющиеся в нашем распоряжении элементы, чтобы упростить отслеживание на страницах с более высокой ценностью.

Если вы еще не слышали термин «скорость сканирования», допустим, что эта информация будет полезна для того, чтобы узнать, используется ли частота отслеживания эффективно или, наоборот, она растрачивается, потому что она попадает на страницы, которые не являются оптимальными для SEO или не содержат контента. стоимости.

Обнаружение областей сайта, где отслеживание наименее эффективно и может представлять общие недостатки, которые влияют на глобальном уровне, являются ключевыми моментами для улучшения с этим типом анализа.

Таким образом, в качестве вершины айсберга у нас будет этот технический анализ, который позволит нам, как только мы обнаружим признаки, углубиться в основы проекта: архитектуру, внутренние ссылки, производительность, качество контента и т. Д.

Кричащий Log Analyzer

Инструментов анализа логов существует много, здесь можно оставить несколько:

Даже если вы не хотите инвестировать экономические ресурсы в лицензии, вы можете управлять с помощью динамических таблиц Excel при условии, что управляемые тома являются «управляемыми».

Тем не менее, Screaming разработала инструмент для анализа журналов, который является отличной отправной точкой для анализа проектов на техническом уровне и более полного изучения аспектов отслеживания и индексации.

Что касается стоимости этой лицензии, 99 фунтов в год, конечно, демократизирует использование инструментов для сектора многих и разнообразных типов проектов, где не всегда возможно купить лицензии на 500 евро в месяц.

Скачать бесплатную пробную версию

Скачать бесплатную лицензию можно с ваш веб , который направит нас к соответствующей операционной системе. Что эта бесплатная версия включает в себя:

• 1 единственный проект
• 1000 строк бревен
• Без технической поддержки

Это в основном способ проверить инструмент, прежде чем решить, стоит ли за него платить, потому что, честно говоря, или анализируйте очень короткие периоды времени или очень маленькие проекты, в которых всего лишь тысяча строк, у вас будет очень ограниченная информация.

Но мы пришли сюда, чтобы рассказать вам, что можно сделать с помощью Screaming Log Analyzer, верно? Ну, поехали туда 😉

Текущие параметры Screaming Log Analyzer

Загрузка Log Analyzer не зависит от Crawler Screaming Frog, представляет собой две отдельные программы и оплачивается отдельно, поэтому для начала, если вы хотите иметь обе функции, вы знаете, 2 лицензии в год.

Способ отличить их, логотип на рабочем столе, который, по крайней мере, мне кажется очень забавным, заключается в том, что журналы более подходят 🙂

Создать проект

Первым делом нужно создать проект, из кнопки New

И мы можем дать желаемое имя и выбрать часовой пояс для данных, которые мы позже будем выгружать при импорте.

Помните, со свободной лицензией, это был бы единственный проект, который мы могли бы создать и оставить в программном обеспечении.

Импорт URL

Более чем интересный аспект этого инструмента заключается в том, что он позволяет не только загружать файлы журналов для обработки, но также вы можете загружать URL-адреса результатов сканирования, например, в Screaming Frog Spider.

Какую ценность эта информация может иметь в инструменте?

Затем возможность скрестить данные журналов со статусом URL, на уровне на странице: код состояния, размер, канонические, мета-роботы, внутренние ссылки, расширение содержимого, ...

Он импортируется путем перетаскивания на панель или с помощью «импорт + данные URL»

Результат импорта типичного файла Screaming «Internal_all» будет следующим:

Но будьте осторожны, вы можете объединить несколько, например, загрузить также URL-адреса просканированной карты сайта или те, которые вы загружаете из Majestic, потому что у них есть ссылки ...

Импорт файла журнала

Действие начинается 🙂

После создания проекта мы можем загрузить образец журналов, просто перетащив файл на панель или нажав кнопку «Импорт + файл журнала».

И после обработки всех записей, содержащихся в журнале, мы автоматически попадем на экран «Обзор» с полной информацией о данных, сгруппированной по URL-адресам, дням, коду состояния и соответствующей визуальной графике, представляющей данные полного диапазона дат. ,

обзор

Из предыдущего снимка выделим представленные данные:

• уникальные URL
• уникальные URL в день
• Всего событий / хитов
• События / Хиты в день
• Средние байты
• Ошибки и их% от общей суммы (сумма 4хх и 5хх)
• И интеграция импортированных журналов и URL:
  • Сопоставляется с данными URL: URL, перечисленные в сканировании и получающие хиты
  • Не в данных URL: URL-адреса, которые получают попадания, но сканирование не достигает их. Это могут быть плохие миграции, бесхозные страницы или люди, которые неправильно связывают нас ...
  • Нет в файле журнала: URL-адреса, которые появляются в сканировании, но еще не получили хиты. Может быть, страницы слишком недавно ...

С другой стороны, динамическая графика:

• События: распространение событий или хитов, пользовательскими агентами. Интересно определить, какие пользовательские агенты посещают нас больше всего. В этом случае мы только добавляем информацию, относящуюся к пользовательским агентам роботов поисковых систем, поэтому те попадания других пользовательских агентов, которые могут потреблять у нас большую пропускную способность, здесь не будут видны, но они могут быть кандидатами на блокировку роботами. .txt

• Коды ответов: распределение событий или попаданий по коду ответа, интересно обнаруживать пики ошибок, как по сбоям сервера, так и по URL-адресам, которые перестают существовать.

• URL-адреса: распределение URL-адресов, получающих хиты ежедневно. Хорошая метрика, которую можно использовать в качестве термометра того, сколько наших URL-адресов вместе, если мы сравним их с эффективными SEO-адресами сайта, даже более точными данными.

Графики, которые мы можем легко отфильтровать, из верхней правой области обзора: по пользовательскому агенту или по дате, чтобы указать результат графика под этими параметрами.

URLs

На этой вкладке у нас есть вся информация о журналах, разделенная на следующие настраиваемые данные:

Если мы нажмем «+» в конце строки данных, мы сможем выбрать, какие из них отображать, а какие нет, чтобы просто визуализировать существенное, однако при экспорте информации таблица будет заполнена.

Другим интересным вариантом является фильтрация по типу контента и анализ влияния журналов по типологиям.

Понятно, что эта вкладка полезна для SEO-уровня. Она даст нам диагноз URL-адресов, получающих хиты, для каждого бота и конкретной производительности, что является интересным фактом в свете возможных оптимизаций.

Также будет очень полезно иметь распределение хитов для одного бота, например, чтобы определить, сколько хитов приходит из версии Googlebot Mobile и Googlebot Smartphone, против Googlebot Regular

Коды ответа

Еще одна важная вкладка, поскольку мы будем иметь доступ ко всем кодам ответов, полученным по URL-адресам, и будем иметь возможность фильтрации по боту и датам, а также по таблице, в частности, по коду состояния, чтобы увидеть, сколько обращений будет идти к URL-адресу каждого кода состояния.

Давай, распределение хитов по коду статуса, но до деталей url, что будет еще одним моментом, которому нужно следовать, если мы будем хранить проект и сравнивать образцы периодических логов.

Это отличный способ получить доступ к URL-адресам, которые приводят к ошибкам, например, пропуская ограничения на загрузку Search Console.

события

Полученные запросы отображаются в «Событиях» с подробной информацией о методе, пользовательском агенте, URL-адресе, коде состояния, байтах, IP-адресе и реферере, практически той информации, которую мы объяснили в начале поста.

Фильтры по пользовательскому агенту и дате

Эти фильтры являются трансверсальными ко всем основным вкладкам, поэтому мы можем фильтровать информацию из следующих информационных вкладок:

• обзор
• URLs
• Коды ответа
• события
• Импортированные данные URL

вид

У нас есть супер полезный фильтр, который находится в кодах ответов, но он активируется только тогда, когда мы импортировали журналы и URL-адреса.

Таким образом, это позволяет нам фильтровать центральную панель данных в зависимости от соответствия между журналами и URL-адресами.

Именно та информация, которая появилась в Overview, позволяет нам обнаруживать проблемы с URL-адресами, которые просматриваются и не получают хиты, и наоборот, предпринимать действия по этому вопросу и повышать производительность SEO этих URL-адресов.

Я помню, если ты читаешь это по диагонали 😀

1. Сопоставляется с данными URL: URL, перечисленные в сканировании и получающие хиты
2. Не в данных URL: URL-адреса, которые получают попадания, но сканирование не достигает их. Это могут быть плохие миграции, бесхозные страницы или люди, которые неправильно связывают нас ...
3. Нет в файле журнала : URL-адреса, которые появляются в сканировании, но еще не получили хиты. Может быть, страницы слишком недавно ...

Нижние панели: информация о URL, события

До сих пор мы подсчитывали все существующие верхние вкладки и фильтры, но, находясь на любой из основных вкладок (URL, коды ответов, события), мы можем получить больше информации, если выберем URL (строку).

Нижние панели активируют 3 дополнительные вкладки: Url Info, Events, Referers

Эта нижняя панель активируется со всех основных вкладок: URL-адреса, коды ответов, события, импортированные данные URL-адресов.

Укажите информацию о выбранном URL-адресе, аналогично транспонированию Excel, перемещая информацию из строки центральной панели в столбец на нижней панели.

• События. Доступно на вкладках URL-адреса и коды ответов

Вот если он пересекает информацию URL с данными самого попадания: метод, байты, пользовательский агент, код состояния, ip ...

ищущий

За исключением вкладки «Обзор», все вкладки имеют активную поисковую систему, которая фильтрует URL-адреса центральной панели, как это делает Screaming Frog Spider, и в которую можно добавлять шаблоны URL-адресов для создания небольших фильтров данных.

Возможное использование поисковой системы может заключаться в поиске основных «путей» проекта и углублении в этот конкретный каталог.

экспорт

За исключением вкладки «Обзор», у всех есть кнопка «Экспорт», которая позволяет нам загружать информацию с вкладки, в которой мы находимся, в разных форматах.

Правая кнопка

Кроме того, правая кнопка, находящаяся на любой вкладке и выше URL-адреса, дает нам обычные опции, которые сканер дает нам, как мы привыкли, интеграции для предоставления большего количества утилит:

Перемещение строк сайта и порядок возрастания или убывания

Делая Drag and Drop, мы можем взять столбец и переместить его с сайта, чтобы намного больше настроить центральную панель вкладки, в которой мы находимся.

Вкладка «События», изменяющая элементы мест, Строка, Метод, Пользовательский агент, переместилась влево:

Вы также можете заказать различные центральные панели с критериями столбца данных, в порядке возрастания или убывания, функциональность, которая также имеет Screaming Frog Spider.

Будущие опции Screaming Log Analyzer?

Надеемся, что в ближайшее время вы можете разместить такие варианты:

1. Buk отчеты: с перекрестной информацией журналов и URL-данными
2. Вид: сгруппировать URL по пути
3. Пользовательский: вы можете указать глубокие каталоги, чтобы они были сгруппированы и отфильтрованы.
4. Пользовательские отчеты: с графикой, которая пересекает данные журналов и URL-адресов, а также%.
5. Интегрируйте статистику отслеживания консоли поиска
6. Интегрировать аналитику органических просмотров трафика
7. Сравнительные отчеты: GA против Logs

Ну, вот мое письмо мудрецам Кричащей Лягушки 😀

SEO показатели, которые мы могли бы отслеживать с помощью журналов

В качестве окончательного отражения, мы придумали некоторые идеи метрик или общих показателей, которым мы могли бы следовать, если бы мы периодически анализировали журналы сервера, возможно, ища также данные органического трафика, чтобы иметь в контексте сравнение хитов и конечного органического трафика.

Другие ресурсы для анализа журналов

Чтобы закрыть этот пост, просто порекомендуйте несколько действительно полезных пост-чтений для анализа журналов и оптимального использования получаемой нами информации:

http://searchengineland.com/7-fundamental-technical-seo-questions-to-answer-with-a-log-analysis-and-how-to-easily-do-it-245903