Использование URL Shorteners, 301 и 302 перенаправляет на спам Google

1. Использование 301 и 302 перенаправлений в результаты поиска спама
2. Как я могу спамить в Google с помощью URL Shorteners?
3. Так как мне заблокировать перенаправления от индексации в Google?
4. Если вам понравился этот пост - помогите мне и поделитесь им :)

Прошло много времени с тех пор, как я освещал Тактику BlackHat, отчасти потому, что я был занят, но отчасти потому, что я не хотел быть частью проблемы толкания их. Тем не менее, я решил, что я скорее расскажу о них, чтобы сайты, которые становятся их жертвами, могли предпринять превентивные действия.

Обычно сайты, которые ссылаются, но могут не захотеть передавать капитал или отслеживать исходящие клики или хотят скрыть URL-адреса, будут использовать URL-адреса перенаправления, аналогичные сокращающим URL-адресам. Хорошим примером является твиттер - он использует домен «t.co» для ссылки на любые ссылки, которые вы публикуете на сайте, чтобы сократить их (в дополнение к использованию nofollows в этих ссылках).

Однако может возникнуть ситуация, когда эти ссылки или перенаправления будут проиндексированы сами по себе, что не идеально.

Это не здорово - эти ссылки не имеют значения для страниц результатов поиска, так как они изменил способ индексирования содержимого, несмотря на директиву robots.txt многие люди не понимают, что это может быть проблемой. А так как это просто ссылки, то как обычный пользователь не пускает эти страницы в индекс? Кроме того, в этой ситуации могут быть интересные, непреднамеренные действия. Интересно, Аарон Уолл знает, что он автор на Youtube.com?

Скорее всего, большинство людей не встретят эти результаты, однако я видел, что они используются для спам-поисковых систем, это эксплойт, часто используемый спамерами, создавая цепочки перенаправлений с течением времени, чтобы получить несколько списков для длинных ключевых слов. Google требует времени, чтобы игнорировать их.

Использование 301 и 302 перенаправлений в результаты поиска спама

За исключением цепочечных перенаправлений, перенаправления, особенно с укороченных URL-адресов, могут использоваться для рассылки спама и для опережения сайтов.

Неудивительно, что популярные URL Shorteners со временем приобретают большую долю капитала. Это означает, что у них много сока позади, даже если они просто куча перенаправлений. Это означает, что вы могли бы получить любой URL из этих доменов ранжирования проще, чем, скажем, с новым сайтом. Таким образом, в идеале, перехватывая эти URL-адреса и сокращая их, вы занимаетесь ранжированием по доверенности . Самое смешное, что я заметил изменение в способе, которым Google обрабатывает эти данные в последнем квартале 2013 года, и следил.

Пример, который подчеркнул это для меня, состоял в том, что у меня была пара штрафных сайтов, над которыми я работал, чтобы очистить профили обратных ссылок. У одного из них был редирект 302, который был проиндексирован - после того, как сайт попал под его бренд, 302 занял место. Вы можете увидеть похожий пример в этом посте о RetailChoice от Дейва Нейлора где 301 занимал некоторое время, пока Дэйв не вызвал их - я почти уверен, что редирект был вручную удален из индекса, так как примеры, которые я отслеживал в частном порядке, оставались в рейтинге месяцами.

URL Shorteners - это в значительной степени URL-адреса перенаправления, поэтому поведение будет таким же, как и при обычном перенаправлении. Поэтому я отследил несколько, и я был прав, набранный рейтинг был повышен, или изменилось отношение к ним со стороны Google - ниже приведен рост рейтинга для Bit.Ly и снимок экрана SEMrush KWs. что сайт занял место в январе 2014 года ( Примечание: я думаю, что циферблат может быть выключен, так как в феврале результаты, которые я отслеживал, были меньше, чем в январе).

Ниже приведен рост укорачивателя URL Po.St - не такой стартовый, как у Bitly, но я думаю, что он используется меньше.

На самом деле ситуация настолько известна среди определенных групп, что шортнер Goo.gl активно используется для рассылки спама в отелях с помощью списков Google Local. Вам просто нужно проверить результаты, снятые SEMRush, чтобы увидеть, насколько хорошо они работают: http://www.semrush.com/info/goo.gl+(by+organic)?db=us

И хотя SEMRush показывает снижение рейтинга, он не покрывает повышение местных рейтингов, которое имеет каждый из этих списков, поэтому, уверяю вас, через эти локальные списки проходит много трафика.

Как я могу спамить в Google с помощью URL Shorteners?

Процесс прост:

1. Сократить URL
2. Молоток со ссылками
3. Смотреть это звание
4. Промыть, повторить
5. прибыль

Интересно, точно, КАК много людей поймали на процессе? Но вам просто нужно скачать полный файл ранжирования SEMrush для Bit.ly, чтобы увидеть ключевые слова, по которым он ранжируется. Это безумие. Нажмите, чтобы получить CSV бесплатно, чтобы увидеть для себя ,

Из всех моих проверок наибольшее количество злоупотребляли Bit.ly и Goo.gl, однако при сканировании нескольких из них были обнаружены некие шаблоны, которые можно использовать для ранжирования.

Так как мне заблокировать перенаправления от индексации в Google?

Йоаст имеет довольно изящный маленький пост на удержание партнерских перенаправленных ссылок из поисковой выдачи Однако я не согласен с ним в отношении установленных им правил:

Основной процесс маскировки партнерских ссылок прост:

1. Создайте папку, из которой вы будете обслуживать ваши перенаправления, я использую / out / .
2. Заблокируйте папку / out / в файле robots.txt вашего домена, добавив:

Disallow: / out /

1. Используйте скрипт в папке перенаправления для перенаправления на ваши партнерские URL-адреса.

Я согласен со всеми, но нет. 2. Если вы запретите сканирование страницы, поисковые системы НЕ увидят вашу директиву XRobots, что означает, что URL «виртуальной» страницы будет проиндексирован:

Как видно из проверки заголовка HTTP, правильные директивы Xrobots находятся на странице:

Проблема заключается в том, что при блокировке в Robots Txt вы не справляетесь с той же проблемой, которую я рассмотрел ранее, поисковая система может в конечном итоге проиндексировать ссылку или виртуальную страницу, если вы заблокируете на уровне домена, но не разрешите сканирование. Однако использование X-Robots для виртуальных страниц является правильным.

Поэтому для виртуальных страниц я предлагаю использовать директивы X-Robots (см. Гуглит документацию по ним тут ), но я предлагаю сначала разрешить обход домена или каталога, чтобы пауки могли действительно читать заголовки, чтобы подчиняться им.

Если вам понравился этот пост - помогите мне и поделитесь им :)

URL Shortners можно использовать для настройки URL-адресов в социальных сетях. ,

Использование URL Shorteners, 301 и 302 перенаправляет на спам Google

Ваша оценка Пользовательский рейтинг: 3.9 (5 голосов)

Похожие

Комментарии