Знакомство с вашими ботами: Robots.txt 101

1. Агент пользователя:
2. Разрешать:
3. Disallow:
4. Noindex:
5. Карта сайта:
6. Ресурсы Robots.txt
7. Robots.txt Генераторы

Это понедельник, и это означает, что пришло время разжечь около недели. Что может быть лучше, чем быстрый разговор о роботах ?!

Да, РОБОТЫ!

Не наш дружелюбный бот на картинке, я говорю о вашем файле robots.txt. Подожди, не паникуй! Это нормально, если вы не знаете, о чем, черт возьми, я говорю. Мы начнем медленно, и к концу этого поста вы будете точно знать, что такое файл robots.txt. Я хочу, чтобы вы могли участвовать в некоторых серьезных разговорах о компьютерных гиках. Почему вы хотите это сделать? Потому что файл robots.txt контролирует, как поисковые системы и другие боты видят ваш сайт. Вы, вероятно, тратите МНОГО времени на тщательную разработку своего бренда и контента, но какой смысл, если поисковые системы не просматривают ваш контент или видят его слишком много? Давайте это исправим.

Ваш robots.txt представляет собой текстовый файл, который находится в [yourdomain] .com / robots.txt. Идите и проверьте, есть ли на вашем сайте файл robots.txt. Давай, я подожду!

Вы нашли файл там? Если вы сделали, это, вероятно, выглядело примерно так:

Если вы нашли страницу 404 или были перенаправлены на другую страницу вашего сайта, или просто появилось сообщение об ошибке, значит, ваш файл robots.txt не существует или настроен неправильно. Если это так, я все же хочу, чтобы вы посмотрели, как выглядит файл robots.txt, так что перейдите к области robots.txt на другом сайте. Я люблю посещать файлы robots.txt на этих сайтах (да, я урод):

Как видите, файлы robots.txt бывают разных форм и размеров! Это почему? Каждый сайт имеет свой собственный способ: от системы управления контентом до сервера, от кода до корзины покупок - существует множество переменных, которые могут повлиять на то, как ваш сайт создается и выглядит.

Почему это важно? Это имеет значение для веб-роботов. Черт возьми, роботы!

Поисковые системы знают только о вашем сайте, потому что они могут (или не могут) получить к нему доступ. В то время как посетители могут свободно переходить со страницы на страницу вашего сайта (при условии, что у них нет логинов или других безопасных областей, через которые они проходят в первую очередь), роботы * должны * следовать инструкциям, которые вы им даете, о том, к чему обращаться и как часто. Robots.txt - это набор инструкций.

Если вы более техничны, терпите меня, пока я даю слишком упрощенную разбивку роботов и файла robots.txt. Я хочу, чтобы наши читатели шли до того, как они побегут!

В Интернете есть все виды роботов, некоторые хорошие, а некоторые не очень хорошие. Это может звучать немного как Терминатор (добро против злых ботов), и это так, просто без враждебного захвата человечества (пока). В каждой поисковой системе есть роботы, которые используются для сканирования веб-сайтов. Именно таким образом поисковые системы, такие как Google или Bing, могут сканировать контент и возвращать результаты поиска. Без этих роботов у них не было бы контента для поисковика. Существуют «плохие» роботы, которые сканируют сайты для более гнусных целей, или они просто сканируют в мире без какой-либо заботы о скорости сканирования. Это неуважение может быстро поглотить вашу пропускную способность, если не справиться должным образом, но обычно не является большой проблемой для небольших сайтов.

Самый известный робот Google называется Googlebot, и вы можете узнать больше о нем Вот ,

Робот Бинга называется ... подожди ... бингбот . Дуэйн Форрестер дает нам тощего на Bingbot (видео в Silverlight, потому что они Microsoft!):

Есть много информации о файлах robots.txt, поэтому я не хочу слишком перегружать ваш мозг. Давайте просто рассмотрим наиболее распространенные команды robots.txt. Теперь вы сможете как читать, так и в конечном итоге записывать свои собственные файлы без необходимости подкупать ИТ-команду.

Агент пользователя:

Это указывает тип робота, которым вы хотите командовать. Ваш файл robots.txt будет запускаться с этой командой в 99% случаев (единственное исключение будет, если вы увидите комментарий или карту сайта: перечисленные выше). Не знаете, какому роботу вы хотите дать инструкции? Это нормально. Оставьте значение «все» по умолчанию. Вы делаете это, написав следующее, где «*» означает «все роботы»:

Пользователь-агент: *

Разрешать:

Это именно то, на что это похоже. Вы говорите роботам, что хотите разрешить определенный контент. Вам НЕ нужно сообщать роботам каждую страницу или папку вашего сайта, которую вы хотите разрешить. По умолчанию роботы будут свободно сканировать ваш сайт. Единственный случай, когда вы можете захотеть использовать это, если вы беспокоитесь, что они не могли бы иначе получить доступ к определенной странице или папке из-за другой команды. Например, если вы хотите запретить определенную папку, вы можете сказать роботам, что вы по-прежнему хотите, чтобы они имели доступ к определенной странице в этой папке.

Disallow:

Отказ делает противоположное разрешить. Вы говорите роботам, что не хотите, чтобы они получали доступ к определенной странице. Они все еще могут видеть страницу, но не сканируют ее. Это, вероятно, самая распространенная команда для файла robots.txt, потому что именно так мы говорим роботу, что не хотим, чтобы он смотрел на папку нежелательной почты или набор URL-адресов, которых не должно быть, но по какой-то технической причине сегодня. Примечание: старайтесь всегда исправлять проблему в источнике, а не использовать robots.txt в качестве лейкопластыря.

Noindex:

Noindex сообщает роботам, что вы хотите удалить контент из результатов поиска. Важно использовать noindex в ситуациях, когда у вас есть старый контент, который возвращает сообщение об ошибке, или папки и области вашего сайта, которые вы не хотите показывать поисковикам, хотя вы можете предоставить своим пользователям доступ.

Например, многие веб-разработчики создадут версию разработки вашего нового сайта или перепроектируют на своем собственном домене. Если они не индексируют папку, в которой находится ваш сайт, внезапно на их домене появляется дублирующая версия вашего сайта!

НЕТ !!! Не позволяйте этому случиться.

Убедитесь, что папка, в которой отображается ваш сайт разработчика, была запрещена и noindex. Это означает, что вы не хотите, чтобы поисковые системы видели контент ИЛИ индексировали его. Есть смысл?

Карта сайта:

Это команда, которая сообщает поисковым системам, где получить доступ к вашему файлу XML-карты сайта. Если вы отправили свой файл сайта через их области инструментов для веб-мастеров, то эта команда менее важна, но я всегда хотел бы включить ее, чтобы у ботов не возникало вопросов, где найти мой файл.

Robots.txt предупреждение :
Структура папок имеет значение! Используя тот же пример, что и разработчик, работающий над вашим редизайном, давайте представим, что им нужно noindex и запретить ваш сайт, который расположен в двух папках по адресу: [их домен] .com / портфолио / [ваш сайт] /

Они не могут просто указать / [ваш сайт] / в качестве папки для noindex и запретить. Я вижу это часто случается! Кто-то хочет удалить определенную папку, поэтому (используя приведенный выше пример) они напишут следующее:

Запретить: / [ваш сайт] /
Noindex: / [ваш сайт] /

Угадай, что? Это не достаточно хорошо! Роботам нужно было запретить и проиндексировать папку в корне вашего домена с именем / [yoursite] /, но ваш сайт там не находится. Это абсолютно не то же самое, что / портфолио / [ваш сайт]. Чтобы убедиться, что вы запрещаете и не индексируете нужную папку, вам необходимо выполнить одно из следующих действий:

Опция 1:

Запретить: / портфолио / [ваш сайт] /
Noindex: / портфолио / [ваш сайт] /

Вариант 2:

Disallow: / * / [ваш сайт] /
Noindex: / * / [ваш сайт] /

Помните, когда мы сказали агенту пользователя, что хотим, чтобы все роботы слушали? Как мы это сделали? Мы использовали звездочку (*). Это то же самое. Звездочка во втором варианте - это заполнитель для любого имени папки. Это означает, что роботы будут запрещать и индексировать любую папку с [yoursite] в имени, которое появляется ПОСЛЕ начальной папки. Теперь они смогут видеть вашу папку, а не сканировать или индексировать ее. Не указав название первой папки или не указав звездочку, вы не дадите роботам достаточных инструкций для подражания.

Было бы довольно сложно куда-нибудь ехать, если в третьем шаге пропущен третий шаг инструкций, а? То же самое!

ЗАКЛЮЧИТЕЛЬНОЕ ПРЕДУПРЕЖДЕНИЕ: будьте осторожны. Всегда проверяйте свой файл robots.txt и проверяйте его перед загрузкой или изменением файла. В хранилище знаний о SEO есть ужасные истории о том, что сайты исчезают из результатов поиска из-за штрафа, когда в действительности они перепутали команду в файле robots.txt. Это мощный маленький файл. На вашем сайте нет ничего более мощного, чем обычно, кроме обычно скрытого файла .htaccess (мы сохраним этот файл в другой раз).

Мы только начали царапать поверхность вашего файла robots.txt, так что, если вам нравится этот пост, здесь есть еще что почитать от авторитетов, гораздо лучше разбирающихся в этом, чем я:

Ресурсы Robots.txt

• http://www.robotstxt.org/
• http://sebastians-pamphlets.com/
• https://www.google.com/webmasters/tools/home?hl=en/home?hl=en
  Нажмите на домен и перейдите в «Конфигурация сайта», затем «Доступ для сканера».

  В Google Webmaster Central, когда вы нажимаете на сайт, вы можете просматривать заблокированные URL-адреса, создавать свой robots.txt или удалять URL-адреса для этого конкретного домена. Вы также можете проверить, как Google может получить доступ к вашему сайту с помощью нескольких своих роботов: Googlebot-Mobile (сканирует страницы для индекса для мобильных устройств), Googlebot-Image (сканирует страницы для индекса изображений), Mediapartners-Google (сканирует страницы для определения AdSense контент) и Adsbot-Google (сканирует страницы для измерения качества целевой страницы AdWords).

Robots.txt Генераторы

• http://tools.seobook.com/robots-txt/generator/
  Инструмент для создания файла robots.txt работает хорошо, но пользователи ограничены ядрами в списке, и функция загрузки файла после создания отсутствует.

  И у SEOBook есть валидатор robots.txt, но это не очень хорошо работает, и отчеты об ошибках не очень ясны: http://tools.seobook.com/robots-txt/analyzer/
  В SEOBook также есть анализатор robots.txt, но он работает не очень хорошо, и отчеты об ошибках не очень ясны.

Есть вопросы? Давайте поговорим ниже в комментариях. И сделайте это классным понедельником!

Похожие

Комментарии