Управление сканированием и индексированием поисковыми системами

1. Начиная с
2. Robots.txt
3. Не совсем уверен, как выглядит файл robots.txt? Вот несколько примеров, чтобы вы познакомились.
4. Чтобы запретить сканирование всего сайта, вы увидите:
5. Чтобы запретить сканирование определенных частей веб-сайта, вы увидите что-то вроде:
6. Чтобы разрешить доступ для одного сканера, вы увидите:
7. Чтобы разрешить доступ каждому сканеру, кроме одного, вы увидите:
8. Роботы, метатег и X-роботы
9. APIs - пользовательский агент Google
10. Google Crawlers
11. Подведение итогов

Автоматизированные веб-сканеры являются важным инструментом, который поможет сканировать и индексировать контент в Интернете. Веб-мастера используют это в своих интересах, так как это позволяет им курировать свой контент таким образом, чтобы это было выгодно для их бренда, и удерживало сканеров от ненужного контента. Здесь вы найдете стандартные способы управления сканированием и индексацией содержимого вашего сайта. Описанные методы (по большей части) поддерживаются всеми основными поисковыми системами и веб-сканерами. Большинство веб-сайтов не будут иметь настроек по умолчанию для ограничения сканирования, индексирования и показа ссылок в результатах поиска, поэтому для начала вам не нужно будет что-то делать с вашим контентом. Если вы хотите, чтобы все ваши страницы, содержащиеся на веб-сайте, были проиндексированы, вам не нужно ничего менять. Нет необходимости создавать файл robots.txt, если вы в порядке, когда все URL-адреса, содержащиеся на сайте, сканируются и индексируются поисковыми системами.

Начиная с

Поисковые системы пройдут два важных этапа, чтобы сделать контент веб-сайта доступным в результатах поиска для пользователей - сканирование и индексация. Сканирование - это когда сканеры (боты) поисковой системы получают доступ к общедоступной веб-странице. По большей части это означает, что бот смотрит на веб-страницу и будет следовать ссылкам на странице так же, как и человек. Индексирование - это когда собрана информация о страницах, чтобы ее можно было отобразить на странице результатов поиска. Разница между сканированием и индексированием является жизненно важной. Многие люди, как правило, путаются в отношении этих двух факторов, и это может привести к тому, что веб-страница либо появится, либо не появится в результатах поиска. Страница может быть просканирована, но не проиндексирована, но только в редких случаях страница проиндексирована, но не просканирована. Кроме того, если вы хотите предотвратить индексацию страницы, вам нужно разрешить сканирование URL-адреса или, по крайней мере, попытку его сканирования.
Здесь вы найдете справку по управлению аспектами сканирования и индексирования, чтобы вы могли лучше всего определить, каким образом вы бы предпочли, чтобы боты, которые сканируют, обращались к вашему собственному контенту, и как вы хотели бы, чтобы ваш контент был представлен в результатах поиска, чтобы пользователи.
Вполне возможно, что в конкретной ситуации вы не захотите, чтобы сканер получил доступ к определенной области сервера. Будь то из-за ограниченных ресурсов сервера, проблем с URL или структурой ссылок. Если это так, то количество URL-адресов будет бесконечным, и будет невозможно сканировать их все.
В других случаях вы захотите контролировать, как ваш контент индексируется и как он отображается в результатах поиска. Возможно, вы вообще не хотите, чтобы ваши страницы были проиндексированы, или хотели бы, чтобы они отображались без определенной части контента.
ПРИМЕЧАНИЕ. Не используйте эти методы при управлении доступом к частному контенту. Вы должны использовать более безопасный метод, чтобы скрыть контент, который не предназначен для общественности.
ТАКЖЕ: страница может быть проиндексирована, но не просканирована - эти процессы не зависят друг от друга. Если на странице достаточно информации и она считается релевантной пользователям, поисковая система может решить проиндексировать ее в результатах поиска, даже если она никогда не сканировалась. Вот почему важно иметь возможность контролировать, какой контент сканируется и индексируется.
Можно управлять индексированием таким образом, чтобы оно затрагивало только одну страницу за раз, используя некоторую информацию, которая содержится на каждой странице, так как она сканируется ботом. Вы можете использовать определенный метатег, встроенный в верхней части HTML-страницы, или определенный элемент HTTP в заголовке, который подается со всем содержимым веб-сайта - оба эти метода дадут вам некоторый контроль над тем, как индексируется ваша страница.

Robots.txt

При использовании файла robots.txt он должен находиться на верхнем уровне каталога хоста и должен быть доступен через правильный протокол и номер порта. Наиболее широко принятым протоколом для robots.txt являются http и https. Google также принимает файлы robots.txt с протоколом FTP и использует анонимный вход. Директивы, перечисленные в файле, будут применяться только к хосту, протоколу и номеру порта, в котором размещен файл. Также знайте, что URL-адреса для файлов robots.txt чувствительны к регистру.
При извлечении файла robots.txt результатом будет полное разрешение , полное запрещение или условное разрешение . Файл robots.txt может быть создан с использованием практически любого текстового редактора, если он позволяет создавать стандартные текстовые файлы ASCII или UTF-8. Не используйте текстовый процессор, так как они иногда добавляют неожиданные символы и портят код.

Не совсем уверен, как выглядит файл robots.txt? Вот несколько примеров, чтобы вы познакомились.

Чтобы разрешить обход всего контента, вы увидите:

пользовательский агент: *
запрещать
или вы увидите
пользовательский агент: *
разрешать: /
Хотя обе эти записи полностью действительны, если вы хотите, чтобы весь ваш контент был просканирован, вам не обязательно создавать и использовать файл robots.txt, и на самом деле рекомендуется, чтобы он не использовался ,

Чтобы запретить сканирование всего сайта, вы увидите:

пользовательский агент: *
запретить: /

Чтобы запретить сканирование определенных частей веб-сайта, вы увидите что-то вроде:

пользовательский агент: *
запретить: / мусор /
запретить: / календарь /
Следует отметить, что вы должны использовать правильную аутентификацию, если хотите заблокировать доступ к частному контенту на сайте, не полагайтесь на robots.txt для этого. Если вы используете robots.txt для блокировки частного контента, он все равно может быть проиндексирован, но не просканирован, и файл robots.txt может быть просмотрен кем угодно, что потенциально может раскрыть ваш личный контент и показать его местоположение.

Чтобы разрешить доступ для одного сканера, вы увидите:

user-agent: Googlebot-новости
запретить:
пользовательский агент: *
запретить: /

Чтобы разрешить доступ каждому сканеру, кроме одного, вы увидите:

user-agent: ненужный бот
запретить: /
пользовательский агент: *
запретить:

Роботы, метатег и X-роботы

Метатег роботов может быть добавлен вверху HTML-страницы в разделе заголовка. Он будет указывать, будет ли поисковая система индексировать определенную страницу на сайте. Этот тег применим ко всем поисковым системам, и вы можете изменить, какие поисковые системы разрешены или заблокированы, когда вы указываете имя пользовательского агента вместо «роботов» в коде. Этот код будет выглядеть как <meta name = ”robots” value = ” noindex ” />
В ситуации, когда есть контент, который не является HTML (например, файл документа), он также может сканироваться и индексироваться поисковой системой. Когда это происходит, невозможно добавить метатег на отдельные страницы, вместо этого вы будете использовать HTTP-заголовок, чтобы указать ответ. Заголовок не будет виден посетителям сайта и фактически не является частью контента. Тег x-robots будет включен в заголовок.

APIs - пользовательский агент Google

Этот пользовательский агент специфичен для Google и доставляет любые push-уведомления. Разработчики приложений могут запрашивать эти уведомления, чтобы избавить от необходимости постоянно опрашивать серверы, чтобы выяснить, отличаются ли ресурсы от того, что было раньше. Чтобы убедиться, что никто не злоупотребляет этим сервисом, Google просит разработчиков доказать, что они владеют доменом, прежде чем разрешить им зарегистрировать URL-адрес домена в качестве места, где они хотели бы получать сообщения.
API-интерфейсы Google будут отправлять все push-уведомления с использованием HTTP-запроса POST. Если здесь произойдет сбой из-за чего-то временного, API-интерфейсы Google снова отправят уведомление. Если это по-прежнему не работает, API-интерфейсы Google продолжат попытки, иногда до нескольких дней.
API-интерфейсы Google: доступ к сайтам осуществляется со скоростью, которая зависит от количества запросов push-уведомлений, которые были созданы для серверов вашего сайта, количества повторных попыток и скорости обновления отслеживаемых ресурсов. Из-за этого шаблоны трафика для API-интерфейсов Google могут быть согласованными или спорадическими - все зависит только от них.
Когда вы являетесь администратором домена, в котором есть несколько поддоменов, которые принадлежат / администрируются отдельно, один из этих администраторов мог бы создавать приложения, отправляющие push-уведомления. Если вы хотите заблокировать API-интерфейсы Google, рекомендуется сначала связаться с любым из администраторов, которые могли бы настроить приложение, которое применяется. Кроме того, вы можете использовать обычные директивы robots.txt, чтобы заблокировать доступ API-интерфейсов Google к вашему веб-сайту. При этом вам нужно будет указать API-интерфейсы Google в качестве агента пользователя в файле robots.txt. Можно управлять API-интерфейсами Google отдельно от Googlebot, поскольку они следуют различным директивам.
API-интерфейсы - Google использует HTTPS для доставки push-уведомлений и требует, чтобы у веб-сайта был действительный сертификат SSL. Недопустимый сертификат будет включать в себя: самозваный сертификат, сертификат, который был отозван, и сертификат, который был подписан источником, который не является доверенным. Чтобы остановить запросы на повторную попытку, приложение должно быть хорошо спроектировано и в течение нескольких секунд должно отвечать на уведомления.
Время от времени IP-адреса, используемые API-интерфейсами Google, будут меняться, и отдельные пользователи могут устанавливать в своем пользовательском агенте все, что захотят. Лучший способ убедиться, что Google обращается к сайту, - это использовать обратный поиск DNS - это похоже на способ проверки того, что бот, пытающийся получить доступ к вашему серверу, является настоящим роботом Google. В этом случае вам нужно будет просмотреть в своих журналах любой IP-адрес, связанный с API-интерфейсом пользовательского агента Google, и при поиске домен будет идентифицирован как «googlebot.com».

Google Crawlers

На самом деле Crawler - это общий термин, используемый для описания любой программы-робота или паука, которая используется для автоматического сканирования и обнаружения веб-сайтов посредством перехода по ссылкам с одной веб-страницы на другую. Googlebot является основным сканером Google и широко используется.
Если в файле robots.txt более одного агента пользователя, наиболее подходящим является тот, за которым будет следовать Google. Если вы предпочитаете, чтобы все Google имели возможность сканировать ваши веб-страницы, вам вообще не понадобится файл robots.txt. Если вы хотите заблокировать или разрешить любому из искателей Google иметь доступ к какому-либо контенту, это можно сделать, указав робота Google в качестве агента пользователя.

Подведение итогов

Количество контента, содержащегося на вашем веб-сайте, которое сканируется, индексируется и отображается в результатах поиска, может быть полностью настроено вами как веб-мастером. Контент может быть открыт или заблокирован для сканирования и индексации, и какой из нескольких способов сделать это зависит от вас. Тем не менее, важно помнить, что любая частная информация, которая содержится на веб-сайте и считается конфиденциальной (например, списки информации пользователей), должна храниться в некотором виде шифрования. Это потому, что боты не всегда идеальны, и человеческая ошибка с кодированием действительно происходит. Последнее, что вы хотели бы случиться, - это казаться ненадежным, когда информация ваших пользователей доступна общественности. Google предоставляет множество ресурсов для веб-мастеров для работы над их картами сайта и тому подобным. С другой стороны, если ни один из ваших материалов не нужно блокировать для сканирования и индексации, вам не нужно предпринимать никаких действий при редактировании какого-либо кода для веб-сайта или веб-страниц. Просто знайте, что если вы не предпримете никаких действий, весь контент будет честной игрой, которую нужно сканировать, индексировать и предоставлять поисковым системам.

Основатель DYNO Mapper и представитель Консультативного комитета в W3C.

Похожие

Комментарии