Кричащая лягушка SEO Spider Version 4.0

1. 1) Интеграция с Google Analytics
2. 2) Пользовательские извлечения
3. Авторы и комментарии
4. Идентификатор Google Analytics
5. Дополнительные заголовки
6. Мобильные Аннотации
7. Hreflang
8. Социальные метатеги
9. схема
10. Адрес электронной почты
11. Другие обновления
12. Небольшое обновление - версия 4.1 выпущена 16 июля 2015 г.
13. Отчет о несоответствии GA

Я действительно рад объявить о версии 4.0 Screaming Frog SEO Spider, внутренне закодированный как «Элла».

Мы были заняты разработкой, работая над некоторыми значительными улучшениями для SEO Spider, который должен быть выпущен в конце этого года, включая ряд новых мощных функций, которые мы хотели выпустить в течение очень долгого времени. Вместо того, чтобы ждать, мы решили выпустить некоторые из этих функций сейчас, с гораздо большим количеством на подходе.

Таким образом, версия 4.0 имеет две новые важные функции в релизе, и вот полная информация -

1) Интеграция с Google Analytics

Теперь вы можете подключиться к Google Analytics API и получать данные непосредственно во время сканирования.

Чтобы лучше понять органическую производительность веб-сайта, часто полезно сопоставить элементы на странице с пользовательскими данными и оптимизаторами в течение длительного времени. комбинированные данные сканирования с помощью Google Analytics в Excel, особенно для Panda и аудит контента , Данные GA легко извлекаются и сопоставляются с URL-адресами в режиме реального времени во время сканирования, поэтому вы часто видите, что данные начинают появляться немедленно, что, как мы надеемся, сделает процесс более эффективным.

SEO Spider не только извлекает метрики пользователей и сеансов, но также может собирать данные о конверсиях целей и данных электронной торговли (транзакции и доходы) для целевых страниц, поэтому вы можете просматривать свои наиболее эффективные страницы при проведении технического аудита или аудита контента.

Если вы запускаете кампанию AdWords, вы также можете получить данные о показах, кликах, затратах и ​​конверсиях, и мы также сопоставим ваши целевые URL с ползанием сайта. Вы также можете собирать другие интересующие вас показатели, такие как данные Adsense (показы объявлений, доход от кликов и т. Д.), Скорость сайта или активность в социальных сетях и взаимодействия.

Чтобы настроить это, запустите SEO Spider и перейдите в «Конфигурация> Доступ к API> Google Analytics».

Затем вам просто нужно подключиться к учетной записи Google (у которой есть доступ к учетной записи Google Analytics, которую вы хотите запросить), предоставив приложению «Screaming Frog SEO Spider» разрешение на доступ к вашей учетной записи для получения данных. Google API используют протокол OAuth 2.0 для аутентификации и авторизации.

После подключения вы можете выбрать соответствующий аккаунт Analytics, свойство, вид, сегмент и диапазон дат!

Затем просто выберите метрики, которые вы хотите получить. SEO Spider в настоящее время позволяет вам выбрать до 20, которые мы могли бы расширить. Если вы сохраняете количество метрик до 10 или ниже в одном измерении (в качестве приблизительного ориентира), то, как правило, это будет один запрос API на 10 тыс. URL, что делает его очень быстрым -

Вы также можете установить размер каждой отдельной метрики, так как вы можете собирать данные по путь к странице и или целевая страница например.

Существуют обстоятельства, когда URL-адреса в Google Analytics могут не совпадать с URL-адресами при сканировании, поэтому у нас есть несколько общих сценариев, охватываемых нашей конфигурацией, таких как сопоставление конечных и непоследовательных наклонных URL-адресов и чувствительность к регистру (прописные и строчные буквы в URL-адресах) ,

Если у вас есть миллионы URL-адресов в GA, вы также можете ограничить количество URL-адресов для запроса, которое по умолчанию заказывается сессиями для возврата самых эффективных данных страницы.

Когда вы нажмете «начать» для сканирования, данные Google Analytics будут извлечены и отображены в соответствующих столбцах на вкладках «Внутренняя» и «Аналитика». В правом верхнем углу есть отдельная индикатор выполнения «Аналитика», и когда она достигнет 100%, данные сканирования начнут появляться по URL-адресам. Выборка данных из API не зависит от сканирования и не замедляет саму скорость сканирования.

В настоящее время на вкладке «Аналитика» есть 3 фильтра, которые позволяют фильтровать по «Сессиям выше 0», «Показателю отказов выше 70%» и «Нет данных GA». «Нет данных GA» означает, что для запрашиваемых метрик и измерений API Google не возвращал никаких данных для URL-адресов в обходе. Таким образом, URL-адреса либо не посещались (извините, «сеансы»), либо, возможно, по какой-то причине URL-адреса в сканировании просто отличаются от таковых в GA.

Что касается нашего сайта, мы видим, что «нет данных GA» для страниц категорий блогов и нескольких старых сообщений в блоге, как и следовало ожидать (запрос был целевой страницей, а не страницей). Помните, что здесь могут отображаться страницы «noindex» или «canonicalized», если у вас нет уважение noindex ' а также ' уважать каноники отмечен на вкладке «Дополнительные настройки».

Обратите внимание: если данные GA не попадают в SEO Spider, как вы ожидали, проанализируйте URL-адреса в GA в разделах «Поведение> Содержимое сайта> Все страницы» и «Поведение> Содержимое сайта> Целевые страницы» в зависимости от вашего запроса.

Если они не совпадают с URL-адресами при сканировании, тогда данные GA не смогут быть сопоставлены и отображены в SEO Spider. Мы рекомендуем проверить настройки представления Google Analytics по умолчанию (например, «страница по умолчанию») и фильтры, которые влияют на отображение URL-адресов и, следовательно, на соответствие сканированию. Если вы хотите, чтобы URL совпадали, вы часто можете внести необходимые изменения в Google Analytics.

Это всего лишь наша первая итерация, и у нас запланированы некоторые более сложные функции сканирования, сопоставления, канонизации и агрегации, которые помогут в более сложных сценариях и обеспечат дальнейшее понимание.

Наслаждайтесь!

2) Пользовательские извлечения

Новая функция «пользовательского извлечения» позволяет собирать любые данные из HTML-адреса URL. Как многие из вас знают, наше первоначальное намерение всегда заключалось в том, чтобы расширить существующую функцию «пользовательского поиска» до «пользовательского извлечения», которое было одним из самых популярных запросов, которые мы получили.

Если вы знакомы с очисткой с использованием импорта XML и Xpath, SeoTools для Excel , Скребок для Chrome или наши друзья в URL Profiler тогда вы будете дома, используя селекторы путей Xpath и CSS и используя пользовательскую функцию извлечения.

Вы найдете новую функцию в «Конфигурация> Пользовательский».

«Поиск», конечно, обычный пользовательский поиск исходного кода функция, с которой вы должны быть знакомы -

«Извлечение» аналогично функции пользовательского поиска: у вас есть 10 полей, которые позволяют извлекать что-либо из HTML веб-страницы, используя Xpath, путь к CSS или, в противном случае, регулярное выражение. Вы можете включить атрибут как обычно в XPath, а для пути CSS дополнительное поле атрибута появится после выбора.

При использовании XPath или CSS Path для сбора HTML, вы можете выбрать, что извлечь:

1. Извлечь элемент HTML: выделенный элемент полностью и содержимое HTML внутри.
2. Извлечь внутренний HTML: содержимое HTML внутри выбранного элемента. Если выбранный элемент содержит другие элементы HTML, они будут включены.
3. Извлечь текст: текстовое содержимое выбранного элемента и текстовое содержимое любых вложенных элементов (по сути, HTML полностью удален!).

Вы получите симпатичную галочку рядом с регулярным выражением, Xpath или CSS Path, если это правильный синтаксис. Если вы допустили ошибку, красный крест останется на месте!

Это позволит вам собирать любые данные, которые мы в настоящее время не используем по умолчанию, или что-то уникальное и специфичное для выполняемой вами работы. Например, идентификаторы Google Analytics, схема, социальные метатеги (теги Open Graph и карточки Twitter), мобильные аннотации, значения hreflang, а также простые вещи, такие как цена продуктов, ставки скидок, наличие на складе и т. Д. Давайте посмотрим на сбор некоторые из них, с конкретными примерами ниже.

Авторы и комментарии

Допустим, я хотел знать авторов каждого поста в блоге на сайте и количество полученных комментариев. Все, что мне нужно сделать, это открыть запись в блоге в Chrome, щелкнуть правой кнопкой мыши и «проверить элемент» на данных, которые я хочу собрать, и снова щелкнуть правой кнопкой мыши на соответствующем HTML и скопировать соответствующий путь CSS или XPath. Если вы используете Firebug в Firefox, то вы можете сделать то же самое и там.

Я также могу назвать «экстракторы», которые соответствуют именам столбцов в SEO Spider. В этом примере я использовал CSS Path и XPath для удовольствия.

Имена авторов и количество извлеченных комментариев затем отображаются в фильтре «извлечение» на вкладке «пользовательские», а также на вкладке «внутренние», позволяющие экспортировать все собранное вместе в Excel.

Идентификатор Google Analytics

Традиционно функция пользовательского поиска была действительно полезна для обеспечения наличия тегов отслеживания на странице, но, возможно, иногда вам может потребоваться получить конкретный идентификатор UA. Давайте использовать регулярное выражение для этого, это было бы -

[ "'] (UA -. *) ["']

И извлеченные данные, как вы ожидаете, -

Дополнительные заголовки

По умолчанию SEO Spider собирает только h1s и h2s. Однако, возможно, вы также хотели бы собрать h3s. Как правило, регулярное выражение должно быть вашим последним средством для сбора элементов, которые не могут CSS Path или XPath, таких как HTML-комментарии или встроенный JavaScript. Однако, в качестве примера, быстрое регулярное выражение для этого может быть -

<H3> (. *?) </ H3>

Xpath будет просто ...

// h3

Рядом с опцией «Извлечь текст». Первые возвращенные h3s следующие:

Мобильные Аннотации

Если вы хотите получить мобильные аннотации с веб-сайта, вы можете использовать Xpath, например:

// ссылка [содержит (@media, '640') и @href] / @ href

Который для Хаффингтон пост вернется -

Hreflang

Мы работаем над более надежным отчетом для hreflang, поскольку в настройке может быть много типов ошибок и проблем, но в то же время вы можете собирать их, используя также новую пользовательскую функцию извлечения. Возможно, вам нужно знать, сколько hreflang есть на странице в первую очередь -

(// * [@ hreflang]) [1] (// * [@ hreflang]) [2]
и т.п.

Выше будет собирать весь элемент HTML, со ссылкой и значением hreflang.

Так что, возможно, вам нужны только значения hreflang, вы можете указать атрибут с помощью @hreflang -

Это просто соберет языковые значения -

Социальные метатеги

Вы можете извлечь социальные мета-теги, такие как теги Facebook Open Graph или Twitter-карты. Ваша установка может быть что-то вроде -

// meta [начинается с (@property, 'og: title')] [1] / @ content
// meta [начинается с (@property, 'og: description')] [1] / @ content
// meta [начинается с (@property, 'og: type')] [1] / @ content

так далее

Который на Moz, собрал бы некоторые прекрасные данные социальных метатегов -

схема

Вы можете собирать типы различных схем на странице, поэтому настройка может быть:

(// * [@ ItemType]) [1] / @ ItemType
(// * [@ ItemType]) [2] / @ ItemType

так далее

И извлеченные данные -

Адрес электронной почты

Возможно, вы хотели собирать адреса электронной почты с вашего сайта или веб-сайтов, Xpath может быть что-то вроде -

// a [начинается с (@href, 'mailto')] [1] // a [начинается с (@href, 'mailto')] [2]
так далее

С нашего веб-сайта это вернет два адреса электронной почты, которые мы имеем в нижнем колонтитуле на каждой странице -

На данный момент примеров достаточно, и я уверен, что у вас будет множество других умных способов использования этой функции. Мой Xpath, вероятно, довольно беден, так что не стесняйтесь улучшать! Вы можете прочитать наши соскоб руководство с большим количеством примеров.

Чтобы помочь нам избежать внезапного наплыва запросов о синтаксисе Xpath, CSS Path и regex, прочитайте некоторые из действительно полезных руководств по каждому из них, прежде чем отправлять запрос в службу поддержки. Если у вас есть какие-либо руководства, которыми вы хотели бы поделиться в комментариях, они также приветствуются!

Другие обновления

Некоторые из вас могут заметить, что на вкладке «Информация о URL» в нижней части окна есть поля «адрес» и «адрес в кодировке URL». Это связано с тем, что мы провели много внутренних исследований, посвященных кодированию URL-адресов и тому, как Google сканирует и индексирует их. Хотя эта функция не так интересна, как описанная выше, она является довольно значительным улучшением.

При загрузке в файлы сканирования, сохраненные из предыдущих выпусков, новые «URL-кодированный адрес» и «Адрес» не обновляются до нового поведения, реализованного в версии 4.0. Если вы хотите, чтобы эта информация была точной на 100%, вам нужно будет повторно сканировать сайт.

Мы также выполнили другие исправления ошибок и небольшие обновления в версии 4.0 Screaming Frog SEO Spider, которые включают следующее:

• Улучшена производительность для пользователей, использующих большие регулярные выражения в настраиваемом фильтре, и исправлена ​​ошибка, из-за которой невозможно было быстро возобновить сканирование с ними.
• Исправлена ​​проблема, о которой сообщает Кев Стронг где SEO Spider не смог сканировать URL с подчеркиванием в имени хоста.
• Исправлен заголовок X-Robots-Tags, который не учитывал регистр, как сообщает Merlinox ,
• Исправлена ​​ошибка кодирования URL.
• Исправлена ​​ошибка, при которой SEO Spider не распознавал текст / JavaScript как JavaScript.
• Исправлена ​​ошибка с отображением длины содержимого HTML в виде длины строки, а не длины в байтах.
• Исправлена ​​ошибка, из-за которой ручной ввод в режиме списка не работал, если загрузка файла была ранее.
• Исправлен сбой при открытии SEO Spider в режиме SERP и наведении курсора на гистограмму, которая должна отображать всплывающую подсказку.

Небольшое обновление - версия 4.1 выпущена 16 июля 2015 г.

Мы только что выпустили небольшое обновление до версии 4.1 Screaming Frog SEO Spider. В этом выпуске есть новый отчет «GA Not Matched», а также исправлены некоторые ошибки. Этот выпуск включает в себя следующее -

Отчет о несоответствии GA

Мы выпустили новый отчет «GA Not Matched», который вы можете найти в меню «Отчеты» на верхнем уровне навигации.

Данные в этом отчете доступны только в том случае, если вы подключились к API Google Analytics и собрали данные для сканирования. По сути, он содержит список всех URL-адресов, собранных из API GA, которые не были сопоставлены с URL-адресами, обнаруженными во время сканирования.

Этот отчет может содержать все, что возвращает GA, например, страницы в корзине покупок или зоны входа. Следовательно, часто самые полезные данные для SEO возвращаются путем запроса целевая страница измерение пути и сегмент «органического трафика». Это может помочь определить -

1. Страницы-сироты - это страницы, которые не имеют внутренних ссылок на веб-сайте, но существуют. Это могут быть только старые страницы, пропущенные при перенастройке старого сайта, или страницы, найденные только снаружи (по внешним ссылкам или по ссылкам на сайты). Этот отчет позволяет вам просматривать список и видеть, какие из них актуальны и могут быть загружены через режим списка ,
2. Ошибки - отчет может содержать 404 ошибки, которые иногда включают в себя URL-адрес ссылающегося веб-сайта (для этого вам потребуется сегмент «весь трафик»). Это может быть полезно для отслеживания веб-сайтов для исправления внешних ссылок или просто для 301-го перенаправления URL-адреса с ошибками на правильную страницу! Этот отчет может также включать URL-адреса, которые могут быть канонизированы или заблокированы файлом robots.txt, но на самом деле все еще индексируются и доставляют некоторый трафик.
3. Проблемы с сопоставлением URL-адресов GA - если данные не совпадают с URL-адресами в обходе, вы можете проверить, какие URL-адреса возвращаются через API GA. Это может высветить любые проблемы с конкретным представлением Google Analytics, такие как фильтры URL-адресов, такие как хаки «расширенных URL-адресов» и т. Д. Чтобы SEO Spider возвращал данные по URL-адресам в обходе, URL-адреса должны совпадать. Таким образом, может помочь переход к «сырому» виду GA, который в любом случае не затрагивался.

Другие исправления ошибок в этом выпуске включают следующее:

• Исправлено несколько сбоев в пользовательской функции извлечения.
• Исправлена ​​ошибка, из-за которой запросы GA не проходили через настроенный прокси.
• Исправлена ​​ошибка с длиной URL, о которой сообщалось неправильно.
• Мы изменили диапазон GA на 30 дней назад, чтобы соответствовать GA по умолчанию.

Я считаю, что на данный момент это все, и, пожалуйста, дайте нам знать, если у вас есть какие-либо проблемы или обнаружите какие-либо ошибки через нашу служба поддержки , Еще раз спасибо всем за поддержку и отзывы, как обычно.

Теперь иди и скачать версию 4.1 SEO Spider !

Похожие

Комментарии