Yoast SEO автоматически применяет «запретить все» в robots.txt

  1. Как я могу проверить, был ли затронут мой сайт?
  2. Если Google не может сканировать мой сайт, что мне делать?

Yoast - самый распространенный плагин для SEO для WordPress, на сегодняшний день его скачивают 40 миллионов человек. Плагин позволяет вам настраивать ваши метатеги, иметь полный контроль над хлебными крошками, обеспечивать читабельность вашего контента и многое другое.

Одна из расширенных функций, доступных в Yoast SEO, позволяет создавать файлы robots.txt и sitemap.xml. Оба этих файла содержат инструкции для роботов о том, как вы хотите, чтобы они сканировали ваш веб-сайт, однако, поскольку они часто генерируются автоматически, могут возникнуть технические проблемы.

Этим утром мы обнаружили проблему сканирования на нескольких веб-сайтах, использующих WordPress, когда Yoast автоматически применил правило запрета к файлу robots.txt (см. Скриншот ниже) - в результате поисковые роботы блокируют сканирование каждой страницы на веб-сайт, который представляет очевидные проблемы с органической точки зрения. К счастью, мы заметили это раннее значение, означающее, что ни один из веб-сайтов, которыми мы управляем, не был затронут, однако, если бы это было упущено, это могло бы быть совершенно другой историей, и органическая видимость могла бы полностью исчезнуть.

К счастью, мы заметили это раннее значение, означающее, что ни один из веб-сайтов, которыми мы управляем, не был затронут, однако, если бы это было упущено, это могло бы быть совершенно другой историей, и органическая видимость могла бы полностью исчезнуть

Хотя мы исследовали возможные причины этого на некоторых веб-сайтах WordPress, но не на других, мы не смогли точно определить источник проблемы или распознать какие-либо шаблоны.

Как я могу проверить, был ли затронут мой сайт?

Самый простой способ проверить, не был ли затронут ваш веб-сайт, - это программа проверки robots.txt в консоли поиска Google. Этот инструмент позволит вам проверить наличие ошибок и проверить конкретных ботов, чтобы проверить, могут ли они сканировать определенную страницу на вашем компьютере. Веб-сайт. Для этого мы установим тест, чтобы увидеть, может ли робот Googlebot сканировать вашу домашнюю страницу.

Если Google не может сканировать мой сайт, что мне делать?

Если результаты теста окажутся отрицательными, вам нужно будет предпринять немедленные действия, однако это должно быть простое исправление, выполнив несколько простых шагов - они описаны ниже:

  1. Войдите в CMS пострадавшего сайта
  2. Перейдите к Yoast и выберите « Редактировать файлы » или « Инструменты » (в зависимости от вашей версии Yoast SEO)
  3. Если ваша версия Yoast использует « Редактировать файлы », вы сможете обновить свой robots.txt со страницы, которая открывается, однако, если ваша версия Yoast отображает «Инструменты», вам нужно будет нажать « Редактор файлов » в следующее окно
  4. Теперь вам нужно отредактировать файл robots.txt - вы можете скопировать приведенный ниже шаблон или использовать один из множества инструментов, доступных в Интернете, для генерации содержимого файла.
  5. Нажмите « сохранить изменения в robots.txt ».
  6. Ваш файл robots.txt теперь обновляется на сервере, однако есть еще один шаг - теперь вам нужно вернуться к robots.txt Tester в Google Search Console и отправить свой новый файл robots.txt.
  7. Как всегда, вы должны проверить, что ваш файл обновился и что Google распознает это, обновив страницу несколько минут спустя.

Как всегда, вы должны проверить, что ваш файл обновился и что Google распознает это, обновив страницу несколько минут спустя

Почти половина всех веб-сайтов WordPress, которыми мы управляем, была затронута автоматически запрещающими правилами Yoast SEO, и мы считаем, что это может быть широко распространенной проблемой, затрагивающей многие веб-сайты - так что если у вас есть друзья, коллеги или люди в вашей сети, которые, как вы знаете, работают веб-сайт на WordPress, дайте им знать и обязательно поделитесь статьей, чтобы помочь другим.

Вы можете помочь?

Мы создали PDF, чтобы создать единый ресурс для исследования Yoast. В настоящее время у нас недостаточно шаблонов, чтобы точно определить причину этой проблемы, но если вы столкнулись с такой же проблемой, пожалуйста, поделитесь здесь ,

Похожие

КАК ОПТИМИЗАЦИЯ SEO SEO?
... мой мир отправимся на прогулку!» Время того стоит - надо чистить слой. Купи себе любимое лакомство: «Ешь, ешь, дорогой, восстанавливай себя!» Посвятите целый день себе, своим удовольствиям. Побалуйте себя, осторожно ложитесь в постель: «Спи, дорогой, твой мир позаботится о тебе!» Через некоторое время вы почувствуете, как окружающая реальность начинает приобретать более теплые и приятные оттенки - слой оптимизации SEO выходит из темной области. Затем приложите некоторые усилия, чтобы
... лина, Мексика, Мексика, Мексика, Мексика, Ирландия ВНИМАНИЕ! ОБЕСПЕЧЕНИЕ, ПРОИЗВОДСТВО, ОБСЛУЖИВАНИЕ. ЎРѕР...
... лина, Мексика, Мексика, Мексика, Мексика, Ирландия ВНИМАНИЕ! ОБЕСПЕЧЕНИЕ, ПРОИЗВОДСТВО, ОБСЛУЖИВАНИЕ. ЎРѕРёСЃРєРѕРІР ° СЏ РѕРіС, РЁРІРёР · Р ° С † РёСЏ (Поисковая оптимизация, SEO, оптимизация, .Рес.) - СКС, Россия, Россия, Россия, Россия, Россия, Россия, Россия <Выезд, Россия, Россия, Россия, Россия, Россия №. Р •С ,С, С РР :ѵЁоР»»Њѕ :ѕѕ,::,::::::::
SEO специалисты
Bierzo SEO - это агентство по SEO и цифровому маркетингу, где мы хотим помочь вам добиться успеха в цифровом мире. Мы едины компания позиционирования в Интернете и в настоящее время у нас более 10 000 ключевых слов, размещенных в ТОП 10 Google. Аудит вашего сайта или вашего интернет-магазина Мы можем провести аудит вашего веб-сайта или магазина, чтобы вы знали, что не работает, и как
SEO Консалтинг
SEO Консалтинг Получите всю информацию о видимости вашего бизнеса в результатах поиска Google с помощью нашей службы SEO Consulting . Наличие SEO-анализа на странице в вашей общей стратегии SEO имеет важное значение для улучшения позиций в обычных результатах поиска. SEO Консалтинг Seo Asesor - это процесс анализа различных специфических аспектов вашей веб-страницы, таких как текст и содержание изображений,
Блог SEO - Статьи SEO - Новости SEO
... сайт ресторана и просматривает меню. Он посещает несколько обзорных сайтов, социальные сети и поворачивается к поиску, чтобы найти каждый кусочек доступной информации. Может быть, он просто пытается ускорить процесс заказа. Может быть, он хочет увидеть цены. Может быть, он хочет увидеть фотографии еды или какое блюдо считается фирменным блюдом. Может быть, он хочет быть полезным героем, создавая лучший опыт для всех остальных. Он не только хочет быть готовым, но и считает, что подготовка
SEO аудит
Сайт Abondance предлагает SEO-аудит вашего сайта. Аудит, проведенный Оливье Андрие , признанным экспертом в мире французской референции, после отправки вам отправляется по почте в виде PDF-документа объемом около шестидесяти страниц, в котором перечисляется, что необходимо сделать на своем сайте, чтобы он лучше учитывался поисковыми системами, такими как Google, Bing или Yahoo! : Индексация
Полиция SEO
... ли место в SEO компании, и Рэнд не считал, что их обратные ссылки должны учитываться (и Рэнд хотел найти другое оправдание для продвижения своего нового инструмента LinkScape). В своем посте Рэнд ... утверждал, что рейтинг сайта № 1 для SEO компании был затруднительным для Google и других поисковых систем написал «Использование манипулятивных практик (или ЛЮБЫХ практик в этом отношении), которые ставят страницу на вершину рейтинга, является
SEO услуги
SEO услуги является расширением поисковой оптимизации или может быть интерпретировано путем оптимизации сайта / сети в глазах поисковых систем, таких как Google, Yahoo, Bing и многих других. Поскольку технологии становятся все более изощренными, сегодня многие предприятия расширяют свой бизнес через мир Интернета, потому что благодаря использованию интернет-технологий компании в реальном мире, ограниченные этим регионом, станут легко
SEO Торонто
... если у вас есть самый красивый сайт в мире, созданный лучшими графическими дизайнерами, он ничего не стоит, если никто его не найдет. Вы можете рассказать об этом всей своей семье и друзьям, добавить ссылку на URL-адрес из своей подписи в электронной почте и включить веб-адрес в свои листовки и печатные материалы. Но достаточно ли этого?
Обзор инструмента Google «Тестировать мой сайт»
... сайта на мобильных устройствах - скорость загрузки с мобильных устройств, количество посетителей, которых вы можете потерять из-за низкой производительности, как вы сравниваете себя с конкурентами, и как сделать ваш сайт быстрее (… просто многоцелевой инструмент Google PageSpeed ​​Insights.) Как агентство веб-дизайна Скорость сайта имеет решающее значение для наших проектов. Итак, мы взяли новый инструмент для пробного запуска,
Что такое Google Hummingbird?
... мой рейтинг? Колибри является частью потребности Google, чтобы стать менее зависимым от ключевых слов. По сравнению с предыдущими обновлениями, было мало сообщений о широком распространении потерь в рейтинге. С Hummingbird Google надеется значительно изменить способ взаимодействия пользователей с их поисковой системой. Все поисковые системы стремятся предоставлять релевантные результаты поиска быстро и эффективно. Google работает над новым уровнем скорости и точности

Комментарии

Удастся ли мне с этим, я не могу сейчас сказать - я не знаю ни одного SEO или интернет-маркетолога из этого региона, о человек, о человек, разве не жаль?
Удастся ли мне с этим, я не могу сейчас сказать - я не знаю ни одного SEO или интернет-маркетолога из этого региона, о человек, о человек, разве не жаль? Но как много раз умные люди говорили: «Ничего хорошего, если ты не сделаешь это». и это именно то, что я делаю сейчас. Я начинаю попытку создать такую ​​социальную встречу. В то же время я хотел бы сообщить вам о текущем состоянии, и я сделаю это здесь. Как начать SEO / онлайн-маркетинг Stammtisch? Сначала я пишу эту небольшую
А как насчет Google SERP - что вы думаете о том, как это может измениться?
А как насчет Google SERP - что вы думаете о том, как это может измениться? Как Google будет определять авторитетный и релевантный контент в 2020 году? Какие показатели поведения пользователей может измерять Google в 2020 году? Как могут результаты органического поиска отображаться в 2020 году и как они будут интегрироваться с платным поиском? Как ИИ изменит SEO? Как вы думаете, отрицательный SEO может развиваться? Будем ли мы лучше
Если контент-маркетинг и SEO - это более или менее две стороны одной медали, значит ли это, что это единственный способ улучшить свой рейтинг, и вам больше не потребуются ваши «эксперты по SEO»?
Если контент-маркетинг и SEO - это более или менее две стороны одной медали, значит ли это, что это единственный способ улучшить свой рейтинг, и вам больше не потребуются ваши «эксперты по SEO»? Нет, я не хочу это говорить. Традиционные профессионалы, которые помогут вам улучшить ваш рейтинг в поисковых системах, занимают свое место в схеме вещей. На самом деле, многие компании, занимающиеся поисковой оптимизацией, предоставляют контент-маркетинг как неотъемлемую часть своих услуг
SEO - Как Google должен оценивать ваш сайт, если все ссылки называются «здесь»?
SEO - Как Google должен оценивать ваш сайт, если все ссылки называются «здесь»? Доступность - позволяет слабовидящим потребителям использовать программы чтения с экрана для просмотра 4. Добавленная стоимость на каждом этапе Мы часто проводим часы на наших любимых сайтах. Почему? Для каждой статьи, на которую мы нажимаем, есть, по крайней мере, так много интересных, на которые можно нажать. Вниз, внизу, во всплывающих окнах, сбоку - куда бы мы ни посмотрели.
Потому что, если он не может даже оценить себя, как он может оценить ваш бизнес?
Потому что, если он не может даже оценить себя, как он может оценить ваш бизнес? И «Да», мы занимаем место в верхней части результатов поиска для нашего города. Почему именно 7Storms? Потому что мы не только занимаем место в рейтинге, но и принадлежим к руководителю лучших SEO-специалистов в мире.
Как проверить, был ли сайт наказан Google?
Как проверить, был ли сайт наказан Google? Проверьте Google Search Console, если вы получили сообщение или есть какая-либо информация в области «Ручные действия»; Перейдите в Google и выполните поиск по запросу «site: www.yoursite.com». Вы получили результат? Если он не обнаружился (или ответ только что пришел домой), вас, вероятно, забанили в Google; При поиске названия вашей компании в Google, ваш сайт все еще хорошо расположен? Если он не, он, вероятно,
Представьте себе на мгновение, что вы создаете сайт и публикуете его, никому не сообщая, нигде не ссылаясь на него и не рекламируя его: как вы думаете генерировать трафик ?
Как проверить, был ли сайт наказан Google? Проверьте Google Search Console, если вы получили сообщение или есть какая-либо информация в области «Ручные действия»; Перейдите в Google и выполните поиск по запросу «site: www.yoursite.com». Вы получили результат? Если он не обнаружился (или ответ только что пришел домой), вас, вероятно, забанили в Google; При поиске названия вашей компании в Google, ваш сайт все еще хорошо расположен? Если он не, он, вероятно,
Могу поспорить, что ваш сайт использует заголовки по всему тексту страницы, но знаете ли вы, что они являются важным фактором, который Google учитывает при ранжировании вашего контента?
Могу поспорить, что ваш сайт использует заголовки по всему тексту страницы, но знаете ли вы, что они являются важным фактором, который Google учитывает при ранжировании вашего контента? Присоединяйтесь ко мне, когда я объясню, почему заголовки имеют значение, специальное использование Теги заголовка H1 и несколько приемов для улучшения вашего SEO с заголовками. На вопросы я отвечу: Какие
Мне нравится, что она может работать с фильтрами уже в администрации, но мне интересно, вставляет ли она в URL необычные символы, такие как двоеточие или запятая?
Мне нравится, что она может работать с фильтрами уже в администрации, но мне интересно, вставляет ли она в URL необычные символы, такие как двоеточие или запятая? Почему отдельные элементы фильтра не разделены обычной чертой или косой чертой? Хотя это наверное нет проблем вообще , И снова - социальные плагины отсутствуют.
Конечно, ваш сайт может быть проиндексирован поисковыми системами, но если ваша целевая аудитория никогда не видит ваш сайт, существует ли он на самом деле?
Конечно, ваш сайт может быть проиндексирован поисковыми системами, но если ваша целевая аудитория никогда не видит ваш сайт, существует ли он на самом деле? На самом деле, нет. SEO гарантирует, что ваша целевая аудитория найдет ваш сайт в релевантном поиске. Если вы хотите, чтобы люди находили вас в Интернете, недостаточно настроить веб-сайт и перейти в режим «онлайн». Вам также необходимо убедиться в следующем: Поисковые системы доверяют вам.
Если ваш сайт выглядит как беспорядок на мобильном устройстве, думаете ли вы, что люди не решатся перейти на что-то другое?
Если ваш сайт выглядит как беспорядок на мобильном устройстве, думаете ли вы, что люди не решатся перейти на что-то другое? Конечно, нет. «Время на странице» является важнейшим показателем в глазах Google. Потому что он говорит, какую ценность может предоставить веб-сайт и насколько он релевантен данному поисковому запросу. Когда ваш веб-сайт имеет адаптивный дизайн для мобильных устройств, навигация не только проще, но и удобна для глаз. И все мы знаем, как улучшение взаимодействия

Как я могу проверить, был ли затронут мой сайт?
Если Google не может сканировать мой сайт, что мне делать?
Как я могу проверить, был ли затронут мой сайт?
Если Google не может сканировать мой сайт, что мне делать?
Вы можете помочь?
Но достаточно ли этого?
Мой рейтинг?
Удастся ли мне с этим, я не могу сейчас сказать - я не знаю ни одного SEO или интернет-маркетолога из этого региона, о человек, о человек, разве не жаль?
Как начать SEO / онлайн-маркетинг Stammtisch?
А как насчет Google SERP - что вы думаете о том, как это может измениться?