Пример использования файла Robots.txt: как изменения в директивах третьих сторон привели к утечке URL-адресов и потере SEO трафика

1. Что случилось? И важность контроля вашего файла Robots.txt
2. Падение трафика, ранжирование рейтинга и URL-адреса DEINDEXED
3. Surfacing 2 Важные проблемы: чувствительность к регистру и сторонние изменения директивы
4. Опасность медленной утечки
5. Джон Мюллер на Robots.txt
6. Как избежать утечки URL-адресов из-за изменений в Robots.txt
7. Резюме: проверка «Под капотом», SEO-Wise

В прошлом я много раз писал о том, как технические проблемы с SEO могут привести к серьезному падению рейтинга и трафика. От мета-тегов robots до rel = canonical до 404-х скрытых, ряд проблем может лежать под поверхностью, нанося серьезный ущерб вашему сайту, SEO-мудрый.

Ну, к сожалению, я недавно столкнулся с еще одной ситуацией, которую я собираюсь осветить в этом посте. Эта проблема привела к медленной утечке рейтинга и трафика, что затрудняло для владельца бизнеса заметить. Прежде чем компания узнала об этом, важные страницы исчезли из индекса Google.

Что случилось? И важность контроля вашего файла Robots.txt

Говоря с клиентами об опасностях SEO, я часто упоминаю файл robots.txt. Это простой текстовый файл, но он может иметь катастрофические последствия для ваших усилий по SEO, если не обрабатывается правильно.

Это напоминает мне о «шумном крикете» от Men In Black . Маленький рост, но мощный, как черт.

Хотя большинство оптимизаторов понимают, что общий запрет в robots.txt вызовет серьезные проблемы, есть и много других ситуаций, которые также могут вызвать проблемы.

Некоторые могут происходить медленно и вызывать утечку важных URL-адресов из индекса Google - и если эти URL-адреса важны, то у вас есть большая проблема в ваших руках. (И, кстати, вы не узнаете об этом, если кто-то на самом деле не поймает проблему .)

Падение трафика, ранжирование рейтинга и URL-адреса DEINDEXED

Этой осенью компания обратилась ко мне после того, как поняла, что она больше не ранжируется по ключевым словам категории. Они были крайне обеспокоены, если не сказать больше.

Но с учетом многих изменений, происходящих с Google, падение рейтинга может быть чем угодно, верно? Возможно, это было обновление алгоритма, может быть, соревнование подняло свою игру, или, может быть, просто возможно, возникла техническая проблема, вызвавшая падение рейтинга. Поэтому я вскочил, чтобы выполнить детективную работу.

Разобравшись с ситуацией, я быстро проверил URL-адреса, которые когда-то ранжировались по ключевым словам категории. Интересно было видеть, что некоторые URL-адреса по-прежнему хорошо ранжируются, а другие вообще не могут быть найдены. Да, некоторые URL-адреса исчезли из индекса Google.

Итак, я проверил мета-теги роботов. Не присутствует Я проверил x-robots header чтобы в ответе заголовка не выдавался noindex. Нет, это был не тот случай.

Тогда это поразило меня. URL-адреса категорий, которые я проверял, были не описательными, сложными и имели смешанный регистр. По сути, CMS не использовала «красивые» URL-адреса для большого процента страниц сайта (в зависимости от того, как настроена CMS).

Я знал, что в подобных ситуациях URL-адреса легко попадают под действие жадных директив robots.txt. («Жадность» просто означает, что они могут блокировать больше, чем должны.)

Я запустил тестер robots.txt в Google Search Console (GSC) и начал тестировать URL-адреса категорий. Бинго. Некоторые URL показывались как заблокированные, в то время как другие были разрешены.

Я также экспортировал список URL-адресов, которые ранее получали трафик от Google Organic, и сканировал их. Это позволило мне просмотреть любой URL, который в данный момент был заблокирован robots.txt (оптом). Опять некоторые были заблокированы, а некоторые разрешены. После тщательного анализа ситуации это привело к двум проблемам.

Surfacing 2 Важные проблемы: чувствительность к регистру и сторонние изменения директивы

Просматривая файл robots.txt с течением времени, я обнаружил две основные проблемы, которые беспокоили.

Во-первых, поставщик директив CMS добавил в директиву robots.txt новые директивы, и владелец сайта понятия не имел, что происходит. На сайте проиндексированы десятки тысяч URL-адресов, поэтому даже незначительное изменение директив robots.txt может быть опасным.

Во-вторых, директивы немного изменили регистр. Это означает, что эти директивы могут ошибочно подобрать или пропустить URL-адреса на сайте.

Например, если вы нацелены на каталог / Category /, но директива - / CATEGORY /, то вы не запретите URL-адреса, которые разрешаются в каталоге / Category /, так как директивы чувствительны к регистру. Это важный момент для каждого SEO, веб-мастера и владельца бизнеса. Смотрите скриншот ниже.

Опасность медленной утечки

Между директивами, которые добавлялись / удалялись с течением времени, и изменением чувствительности к регистру, у компании были важные URL-адреса категорий, неосознанно запрещенные. Когда URL-адреса запрещены, Google не может сканировать страницы для определения содержания, которое они содержат, и это привело к тому, что некоторые из этих URL-адресов со временем исчезли из индекса Google. Нехорошо.

Но вот в чем суть: URL-адреса часто не сразу удаляются из индекса, поэтому компании стало очень трудно ее обнаружить. Там не было большой капли в один день; вместо этого они столкнулись с медленной утечкой важных URL из индекса Google. Как вы можете догадаться, рейтинг и трафик просочились, так как URL-адреса упали из индекса.

Джон Мюллер на Robots.txt

В августе этого года аналитик Google Webmaster Trends Джон Мюллер записал целую видеовстречу для веб-мастеров, посвященную robots.txt. Для людей, занимающихся техническим SEO, это необходимо посмотреть.

Одна вещь, которая выделялась, - это Джон, объясняющий, как Google обрабатывает запрещенные URL, с точки зрения индексации. Например, будут ли запрещенные URL-адреса оставаться в индексе, будут ли они выпадать, и сколько времени потребуется для их удаления?

В видео 32:34 Джон объяснил, что Google будет отбрасывать информацию о запрещенных URL-адресах из предыдущих сканирований и может индексировать URL-адреса только с основной информацией.

Кроме того, Google может удалить эти URL из индекса с течением времени . Нет гарантии, что URL будут удалены, но это может произойти. Смотрите видео здесь:

Поэтому, когда у вас возникает ситуация, когда вы ошибочно запрещаете сканирование URL-адресов, они могут некоторое время оставаться в индексе, пока Google не решит их удалить. И когда Google, наконец, удалит их, у вас не будет никаких признаков их исчезновения (кроме падения трафика на эти URL-адреса). Осторожно.

И если вы хотите услышать, как Джон говорит о чувствительности к регистру, вы можете посмотреть 13:50 в видео. Он освещает некоторые важные моменты о директивах, чувствительности к регистру и сопоставлении символов.

Как избежать утечки URL-адресов из-за изменений в Robots.txt

Так как же избежать этого на вашем собственном сайте? Ниже я приведу несколько маркеров, которые помогут вам понять, когда вносятся изменения в ваш файл robots.txt и как узнать, запрещены ли robots.txt URL-адреса, которые использовались для привлечения трафика.

Это ни в коем случае не окончательный список рекомендаций, но приведенные ниже маркеры определенно могут помочь вам избежать SEO-катастрофы из-за проблем robots.txt.

• Регулярно сканируйте и проверяйте свой сайт. Я много говорил об этом в последнее время. Чем больше вы можете сканировать свой сайт, тем больше вы сможете понять его сильные и слабые стороны и риски. А в рамках сканирования вы можете просматривать запрещенные URL-адреса с помощью ряда инструментов (включая Screaming Frog, DeepCrawl и другие инструменты сканирования). Вы можете просто забрать важные URL-адреса, которые заблокированы. Если так, раскопайте и устраните проблему.
• Robots.txt история изменений. Вы можете запрашивать уведомления у своего провайдера CMS всякий раз, когда в файл robots.txt вносятся изменения. Если они могут по электронной почте или сообщать вам об этих изменениях, то вы можете быстро проверить их. И вы можете двигаться быстро, чтобы исправить любые проблемы.
• Автоматическое обнаружение изменений в файле robots.txt. Вы также можете использовать сервис, который ежедневно проверяет ваш файл robots.txt. Всякий раз, когда он получает изменения, он отправит вам электронное письмо. Затем вы можете просмотреть и внести изменения, где это необходимо. Это как Google Alert для технического SEO. Например, Robotto может обнаружить ряд важных изменений и уведомить вас.
• Аудит Google Search Console (GSC) постоянно. Вы должны постоянно проверять отчеты Google Search Console. Есть несколько отчетов, которые могут помочь вам выявить новые проблемы с вашим сайтом с технической точки зрения SEO. В этой ситуации поможет использование тестера robots.txt на важных URL-адресах. Вы также можете проверить статус индекса на предмет «заблокирован роботами», что может указывать на увеличение количества URL-адресов, заблокированных robots.txt (что может привести к появлению красных флажков). И затем вы можете проверить ошибки сканирования смартфона на «Заблокированные». Это можно найти на вкладке «Смартфон», но также может относиться и к URL-адресам на рабочем столе.
• Используйте Wayback Machine, чтобы проверить robots.txt. Да, вы можете использовать машина обратного хода просмотреть файл robots.txt с течением времени. На многих сайтах вы увидите различные версии файла robots.txt, подобранные за время существования сайта. Это может дать важные подсказки о падении проиндексированных страниц.

Резюме: проверка «Под капотом», SEO-Wise

Как вы можете видеть в этом случае, технические изменения SEO могут оказать большое влияние на рейтинг и трафик. Хотя robots.txt - это простой текстовый файл, содержащиеся в нем директивы могут блокировать обход важных URL-адресов (что может привести к удалению этих URL-адресов из индекса Google).

И если эти страницы будут удалены из индекса, у них нет шансов на ранжирование. И без шансов на ранжирование, они не могут вести трафик. Это означает, что вы проигрываете, а побеждает жадный файл robots.txt. Не позволяй этому победить. Следуйте моим рекомендациям выше и избегайте утечки URL.

Мнения, выраженные в этой статье, принадлежат автору гостя и не обязательно относятся к Search Engine Land. Штатные авторы перечислены Вот ,

Об авторе

Похожие

Комментарии