Yoast SEO автоматически применяет «запретить все» в robots.txt

1. Как я могу проверить, был ли затронут мой сайт?
2. Если Google не может сканировать мой сайт, что мне делать?

Yoast - самый распространенный плагин для SEO для WordPress, на сегодняшний день его скачивают 40 миллионов человек. Плагин позволяет вам настраивать ваши метатеги, иметь полный контроль над хлебными крошками, обеспечивать читабельность вашего контента и многое другое.

Одна из расширенных функций, доступных в Yoast SEO, позволяет создавать файлы robots.txt и sitemap.xml. Оба этих файла содержат инструкции для роботов о том, как вы хотите, чтобы они сканировали ваш веб-сайт, однако, поскольку они часто генерируются автоматически, могут возникнуть технические проблемы.

Этим утром мы обнаружили проблему сканирования на нескольких веб-сайтах, использующих WordPress, когда Yoast автоматически применил правило запрета к файлу robots.txt (см. Скриншот ниже) - в результате поисковые роботы блокируют сканирование каждой страницы на веб-сайт, который представляет очевидные проблемы с органической точки зрения. К счастью, мы заметили это раннее значение, означающее, что ни один из веб-сайтов, которыми мы управляем, не был затронут, однако, если бы это было упущено, это могло бы быть совершенно другой историей, и органическая видимость могла бы полностью исчезнуть.

Хотя мы исследовали возможные причины этого на некоторых веб-сайтах WordPress, но не на других, мы не смогли точно определить источник проблемы или распознать какие-либо шаблоны.

Как я могу проверить, был ли затронут мой сайт?

Самый простой способ проверить, не был ли затронут ваш веб-сайт, - это программа проверки robots.txt в консоли поиска Google. Этот инструмент позволит вам проверить наличие ошибок и проверить конкретных ботов, чтобы проверить, могут ли они сканировать определенную страницу на вашем компьютере. Веб-сайт. Для этого мы установим тест, чтобы увидеть, может ли робот Googlebot сканировать вашу домашнюю страницу.

Если Google не может сканировать мой сайт, что мне делать?

Если результаты теста окажутся отрицательными, вам нужно будет предпринять немедленные действия, однако это должно быть простое исправление, выполнив несколько простых шагов - они описаны ниже:

1. Войдите в CMS пострадавшего сайта
2. Перейдите к Yoast и выберите « Редактировать файлы » или « Инструменты » (в зависимости от вашей версии Yoast SEO)
3. Если ваша версия Yoast использует « Редактировать файлы », вы сможете обновить свой robots.txt со страницы, которая открывается, однако, если ваша версия Yoast отображает «Инструменты», вам нужно будет нажать « Редактор файлов » в следующее окно
4. Теперь вам нужно отредактировать файл robots.txt - вы можете скопировать приведенный ниже шаблон или использовать один из множества инструментов, доступных в Интернете, для генерации содержимого файла.
5. Нажмите « сохранить изменения в robots.txt ».
6. Ваш файл robots.txt теперь обновляется на сервере, однако есть еще один шаг - теперь вам нужно вернуться к robots.txt Tester в Google Search Console и отправить свой новый файл robots.txt.
7. Как всегда, вы должны проверить, что ваш файл обновился и что Google распознает это, обновив страницу несколько минут спустя.

Почти половина всех веб-сайтов WordPress, которыми мы управляем, была затронута автоматически запрещающими правилами Yoast SEO, и мы считаем, что это может быть широко распространенной проблемой, затрагивающей многие веб-сайты - так что если у вас есть друзья, коллеги или люди в вашей сети, которые, как вы знаете, работают веб-сайт на WordPress, дайте им знать и обязательно поделитесь статьей, чтобы помочь другим.

Вы можете помочь?

Мы создали PDF, чтобы создать единый ресурс для исследования Yoast. В настоящее время у нас недостаточно шаблонов, чтобы точно определить причину этой проблемы, но если вы столкнулись с такой же проблемой, пожалуйста, поделитесь здесь ,