Wordpress Robots.txt Руководство - что это такое и как оно используется?

1. Что такое файл WordPress Robots.txt?
2. Почему вы должны беспокоиться о вашем файле Robots.txt?
3. Как создать и добавить файл WordPress Robots.txt
4. Как создать и отредактировать файл Robots.txt с помощью Yoast SEO
5. Как создать и отредактировать файл Robots.txt с помощью SEO All-One
6. Как создать и отредактировать файл Robots.txt для через FTP
7. Что поместить в ваш файл Robots.txt
8. Как использовать Robots.txt, чтобы заблокировать доступ одного бота к вашему сайту
9. Как использовать Robots.txt, чтобы заблокировать доступ к папке или определенному файлу
10. Как использовать Robots.txt, чтобы разрешить доступ к определенному файлу в неавторизованной папке
11. Как использовать Robots.txt, чтобы остановить ботов от отслеживания результатов поиска WordPress
12. Как создать разные правила для разных роботов в Robots.txt
13. Проверка вашего файла Robots.txt
14. Остерегайтесь UTF-8 BOM
15. Googlebot базируется в основном в США
16. Что они помещают популярные WordPress сайты в ваш файл Robots.txt
17. TechCrunch
18. Фонд Обамы
19. Angry Birds
20. дрейф
21. Используйте файл Robots.txt правильно

Вы когда-нибудь слышали термин robots.txt и задавались вопросом, как он применяется к вашему сайту? Большинство веб-сайтов имеют файл robots.txt, но это не означает, что большинство веб-мастеров понимают его. В этой публикации мы надеемся изменить восприятие, предложив глубокое погружение в файл WordPress robots.txt, а также узнаем, как вы можете контролировать и ограничивать доступ к своему веб-сайту. В конце вы сможете ответить на такие вопросы, как:

Есть много чего, так что давайте начнем!

Что такое файл WordPress Robots.txt?

Прежде чем мы сможем поговорить о WordPress robots.txt, важно определить, что такое «робот» в этом случае. Роботы - это любой тип «бота», который посещает веб-сайты в Интернете. Наиболее распространенный пример - поисковые роботы. Эти роботы «ползают» по сети, чтобы помочь таким поисковым системам, как Google, индексировать и оценивать миллиарды страниц в Интернете.

Таким образом, боты, в общем , полезны для Интернета ... или, по крайней мере, одна вещь, необходимая. Но это не обязательно означает, что вы или другие веб-мастера хотите, чтобы роботы работали без ограничений. Желание контролировать, как веб-роботы взаимодействуют с веб-сайтами, привело к созданию стандарта исключения для роботов 1990-х годов. Robots.txt является практическим применением этого стандарта - он позволяет вам контролировать взаимодействие роботов-участников с вашим сайтом. веб. Вы можете полностью блокировать ботов, ограничить доступ к определенным областям вашего сайта и другим вещам.

Однако, часть участия важна. Robots.txt не может заставить бота следовать его указаниям. А вредоносные боты могут и будут опускать файл robots.txt. Даже престижные организации игнорируют некоторые команды, которые вы можете поместить в robots.txt. Например, Google будет игнорировать правила Добавьте в свой robots.txt информацию о том, как часто ваши сканеры посещают ваш сайт. Если у вас есть много проблем с ботами, решение для безопасности, как Cloudflare или Sucuri Они могут быть практичными.

Почему вы должны беспокоиться о вашем файле Robots.txt?

Для большинства веб-мастеров преимущества хорошо структурированного файла robots.txt сводятся к двум категориям:

1. Оптимизация ресурсов отслеживания поисковых систем, говорящих им не тратить время на страницы, которые вы не хотите индексировать. Это помогает гарантировать, что поисковые системы сосредоточены на отслеживании наиболее важных для них страниц.

2. Оптимизация использования ваших исследований, блокируя ботов, которые тратят ресурсы вашего сервера.

Robots.txt Речь идет не только о том, какие страницы индексируются в поисковых системах.

Robots.txt не является надежным способом управления страницами, проиндексированными поисковыми системами. Если вашей главной целью является предотвращение включения определенных страниц в результаты поиска, правильный подход заключается в используйте метатег "noindex" или другой прямой аналогичный метод.

Это потому, что ваш robots.txt не говорит поисковым системам, чтобы они индексировали контент, а просто говорит им не сканировать его . Хотя Google не будет отслеживать отмеченные области внутри вашего сайта, Сам гугл говорит что если внешний сайт связан со страницей, которую вы исключаете из файла robots.txt, Google все равно может проиндексировать эту страницу.

Джон Мюллер, аналитик Google для веб-мастеров, подтвердил, что если на странице есть ссылки, указывающие на нее это может быть проиндексировано даже если он был заблокирован robots.txt. Вот что он сказал на сессии для веб-мастеров:

Следует иметь в виду, что если эти страницы заблокированы robots.txt, теоретически может случиться так, что кто-то связывает их случайно. Если это произойдет, мы можем проиндексировать этот URL без какого-либо содержимого, поскольку он заблокирован файлом robots.txt. Поэтому мы бы не знали, что вы не хотите, чтобы страницы были проиндексированы.

Если они не заблокированы файлом robots.txt, вы можете использовать тег мета-индекса на этих страницах. Если кто-то связывает их, а мы перетаскиваем ссылку и думаем, что она полезна, мы знаем, что эти страницы не следует индексировать, и мы просто полностью их пропускаем.

Поэтому, если у вас есть страницы, которые вы не хотите индексировать, не запрещайте их, а используйте теги noindex .

Как создать и добавить файл WordPress Robots.txt

По умолчанию WordPress автоматически создает виртуальный файл robots.txt для вашего сайта. Таким образом, даже если вы не пошевелите пальцем, на вашем сайте уже должен быть файл robots.txt по умолчанию. Вы можете проверить, так ли это, добавив "/robots.txt" в конец вашего доменного имени. Например, «https://kinsta.com/robots.txt» открывает файл robots.txt, который мы используем здесь, в Kinsta:

Пример файла robots.txt

Поскольку этот файл является виртуальным, его нельзя редактировать. Если вы хотите отредактировать файл robots.txt, вам нужно будет создать на сервере физический файл, которым можно будет манипулировать по мере необходимости. Вот три простых способа сделать это ...

Как создать и отредактировать файл Robots.txt с помощью Yoast SEO

Если вы используете популярный плагин Yoast SEO, вы можете создать (и позже отредактировать) файл robots.txt из интерфейса Yoast. Прежде чем вы сможете получить к нему доступ, вам необходимо активировать расширенные функции SEO Yoast. Для этого перейдите в раздел «SEO» → «Панель управления» → «Функции» и включите страницы расширенной конфигурации:

Как включить расширенные функции Yoast

Как только он активирован, вы можете перейти к SEO → Инструменты и нажать на Редактор файлов :

Как получить доступ к редактору файлов Yoast

Предполагая, что у вас еще нет физического файла robots.txt, Yoast предоставит вам возможность создать его :

Как создать robots.txt в Yoast

И как только вы нажмете на эту кнопку, вы сможете редактировать содержимое вашего файла robots.txt прямо из интерфейса:

Как редактировать robots.txt в Yoast

Продолжая читать эту статью, мы углубимся в то, какие типы директив включить в файл WordPress robots.txt.

Как создать и отредактировать файл Robots.txt с помощью SEO All-One

Если вы используете SEO- плагин All in One , почти такой же популярный, как Yoast, вы также можете создавать и редактировать файл WordPress robots.txt из интерфейса плагина. Все, что вам нужно сделать, это зайти в All in One SEO → Диспетчер функций и активировать функцию robots.txt :

Как создать robots.txt в SEO все

Затем вы можете управлять своим файлом robots.txt, перейдя в раздел Все в одном SEO → robots.txt:

Как редактировать robots.txt в SEO все

Как создать и отредактировать файл Robots.txt для через FTP

Если вы не используете плагин SEO, который предлагает функциональность robots.txt, вы можете создавать и управлять своим файлом robots.txt с помощью SFTP. Сначала с помощью любого текстового редактора создайте пустой файл с именем «robots.txt»:

Как создать свой собственный файл sobots.txt

тогда подключиться к вашему сайту через SFTP и загрузите этот файл в корневую папку вашего сайта. Вы можете внести новые изменения в файл robots.txt, отредактировав его через SFTP или загрузив новые версии файла.

Что поместить в ваш файл Robots.txt

Теперь у вас есть физический файл robots.txt на вашем сервере, который вы можете изменить при необходимости. Но что можно сделать с этим файлом? Как мы видели в первом разделе, robots.txt позволяет вам контролировать взаимодействие роботов с сайтом. Вы должны сделать это с помощью двух основных команд:

• User-agent : позволяет сегментировать ботов. Пользовательские агенты - это то, что боты используют для идентификации себя. С их помощью, например, вы можете создать правило, которое применяется к Bing, но не к Google.
• Запретить - это позволяет общаться с роботами, которые не имеют доступа к определенным областям сайта.

Также есть команда Разрешить, которую вы будете использовать в нишевых ситуациях. По умолчанию все на вашем сайте помечено как Разрешить , поэтому нет необходимости использовать команду Разрешить в 99% случаев. Но это удобно, если вы хотите отклонить доступ к папке и ее подпапкам, но разрешить доступ к определенной вторичной папке.

Вы добавляете правила, сначала указав, к какому « пользовательскому агенту должно применяться правило», а затем составьте список правил, которые следует применять с помощью « Отклонить и разрешить» . Есть также другие команды, такие как Drag-delay и Site Map , но они:

• Игнорируется большинством трекеров или интерпретируется по-разному (в случае задержки с задержкой)
• Сделано избыточным с помощью таких инструментов, как Google Search Console (для карт сайта)

Давайте рассмотрим некоторые конкретные случаи использования, чтобы показать вам, как все это объединяется.

Как использовать Robots.txt, чтобы заблокировать доступ ко всему сайту

Допустим, вы хотите заблокировать доступ всем сканерам к вашему сайту. Вряд ли это произойдет в прямом эфире на веб-сайте, но это было полезно для разработки веб-сайта. Для этого вам нужно добавить этот код в ваш файл WordPress robots.txt:

Пользователь-агент: * Disallow: /

Что происходит в этом коде?

Звездочка (* ) рядом с « user-agent означает« все пользовательские агенты ». Звездочка является подстановочным знаком, что означает, что она применяется к каждому пользовательскому агенту. / Слэш рядом с Отклонить говорит о том, что вы хотите запретить доступ ко всем страницам, которые содержат «yourdomain.com/» (то есть каждую страницу вашего сайта).

Как использовать Robots.txt, чтобы заблокировать доступ одного бота к вашему сайту

Мы собираемся изменить вещи. В этом примере давайте представим, что вам не нравится тот факт, что Bing сканирует ваши страницы. Он полностью поддерживает Google и не хочет, чтобы Bing сканировал его сайт. Чтобы заблокировать только Bing, вы можете заменить символ звездочки * звездочкой на Bingbot:

Пользователь-агент: Bingbot Disallow: /

Приведенный выше код говорит, что только правило Disallow применяется к ботам с пользовательским агентом «Bingbot». Теперь маловероятно, что вы хотите заблокировать доступ к Bing, но этот сценарий практичен, если есть бот, который вам не нужен которые получают доступ к вашему сайту. Этот сайт имеет обширный список с наиболее известными именами пользовательских агентов.

Как использовать Robots.txt, чтобы заблокировать доступ к папке или определенному файлу

В этом примере предположим, что вы хотите заблокировать доступ только к определенному файлу или папке (и ко всем подпапкам в папке). Чтобы применить это к WordPress, допустим, вы хотите заблокировать:

• Все папки wp-admin
• сор-login.php

Вы можете использовать следующие команды:

Пользовательский агент: * Disallow: / wp-admin / Disallow: /wp-login.php

Как использовать Robots.txt, чтобы разрешить доступ к определенному файлу в неавторизованной папке

Допустим, вы хотите заблокировать всю папку, но по-прежнему хотите разрешить доступ к определенному файлу в этой папке. Здесь команда Allow является практичной. И это действительно очень применимо к WordPress. Фактически, виртуальный файл robots.txt прекрасно иллюстрирует этот пример:

Пользовательский агент: * Disallow: / wp-admin / Allow: /wp-admin/admin-ajax.php

Этот фрагмент блокирует доступ ко всей папке / wp-admin /, кроме файла /wp-admin/admin-ajax.php .

Как использовать Robots.txt, чтобы остановить ботов от отслеживания результатов поиска WordPress

Если вы хотите запретить поисковым роботам сканировать страницы результатов поиска, существует определенный параметр WordPress. По умолчанию WordPress использует параметр запроса «? S =». Чтобы заблокировать доступ, все, что вам нужно сделать, это добавить следующее правило:

Пользовательский агент: * Disallow: /? S = Disallow: / search /

Это может быть эффективным способом остановить 404 мелких ошибки если вы их получаете.

Как создать разные правила для разных роботов в Robots.txt

Пока что все примеры пробовали правило каждый раз. Но что произойдет, если вы захотите применить разные правила к разным ботам? Вам просто нужно добавить каждый набор правил в соответствии с объявлением агента пользователя для каждого бота. Например, если вы хотите создать правило, которое применяется ко всем ботам, и другое правило, которое применяется только к Bingbot , вы можете сделать следующее:

Пользовательский агент: * Disallow: / wp-admin / User-agent: Bingbot Disallow: /

В этом примере всем ботам будет заблокирован доступ к / wp-admin /, но Bingbot будет запрещен доступ ко всему сайту.

Проверка вашего файла Robots.txt

Вы можете проверить файл WordPress robots.txt в Google Search Console чтобы убедиться, что он был настроен правильно. Просто нажмите на свой веб-сайт, и в «ползать», нажмите на «robots.txt» Checker. Затем вы можете отправить любой URL, включая вашу веб-страницу. Вы должны увидеть зеленый цвет Разрешено / Разрешено, если все нестабильно. Вы также можете попробовать заблокированный URL-адрес, чтобы убедиться, что он действительно заблокирован и / или отклонен / запрещен .

Проверьте файл robots.txt

Остерегайтесь UTF-8 BOM

Спецификация обозначает метку порядка байтов и в основном является невидимым символом, который иногда добавляется в старые файлы текстовыми редакторами и т.п. Если это происходит с вашим файлом robots.txt, Google может не прочитать его правильно. Это причина, почему важно проверить на наличие ошибок в вашем файле. Например, как показано ниже, наш файл имел невидимый символ, и Google жаловался на синтаксис, который не понят. По сути, это полностью лишает законной силы первую строку нашего файла robots.txt, что не очень хорошо! Гленн Гейб имеет отличную статью о том, как UTF-8 BOM может убить вашего SEO ,

Спецификация UTF-8 в файле robots.txt

Googlebot базируется в основном в США

Также важно не блокировать робота Google из США, даже если он направлен в местный регион за пределами США. Иногда они выполняют локальное сканирование, но робот Google в основном базируется в США. UU.

Что они помещают популярные WordPress сайты в ваш файл Robots.txt

Чтобы обеспечить некоторый контекст для вышеупомянутых пунктов, вот как некоторые из самых популярных сайтов WordPress используют ваши файлы robots.txt.

TechCrunch

Robots.txt файл TechCrunch

В дополнение к ограничению доступа к ряду уникальных страниц TechCrunch, в частности, отклоняет сканеры:

Кроме того, они устанавливают специальные ограничения для двух ботов:

Если вы заинтересованы, IRLbot - трекер из исследовательского проекта Техасского университета A & M , Как странно!

Фонд Обамы

Файл Robots.txt Фонда Обамы

Фонд Обамы не сделал каких-либо особых дополнений, решив ограничить доступ исключительно к / wp-admin /.

Angry Birds

Файл Angry Birds 'robots.txt

Angry Birds имеет ту же конфигурацию по умолчанию, что и Фонд Обамы. Ничего особенного не добавлено.

дрейф

Robots.txt файл Drift

Наконец, Drift выбирает карты своего сайта в файле robots.txt, но в остальном оставляет те же предопределенные ограничения, что и Фонд Обамы и Angry Birds.

Используйте файл Robots.txt правильно

Завершая наше руководство по robots.txt, мы хотим еще раз напомнить вам, что использование команды « Отклонить» в файле robots.txt отличается от использования тега noindex . Robots.txt блокирует сканирование, но не обязательно индексацию. Вы можете использовать его для добавления определенных правил, чтобы определить, как поисковые системы и другие боты взаимодействуют с вашим сайтом, но вы не можете явно контролировать, проиндексирован ли ваш контент или нет.

Для большинства случайных пользователей WordPress нет необходимости срочно изменять файл robots.txt по умолчанию по умолчанию. Но если у вас проблемы с ботом или вы хотите изменить способ взаимодействия поисковых систем с конкретным плагином или темой, которую вы используете, вы можете добавить свои собственные правила.

Мы надеемся, что вам понравилось это руководство, и обязательно оставьте комментарий, если у вас есть дополнительные вопросы об использовании файла robots.txt. WordPress.

Похожие

Комментарии