Категории

  • Видеокарты
  • Ноутбук Asus клавиатуры
  • Audiотехника
  • Android контакты
  • Ноутбук Asus характеристики
  • Новости
  • Новости

    На этом сайте
    В нашем случае необходимо подбирать ключевые слова под каждый свой товар, каждое изделие. Например, вы продаете вязаный плед спицами. Сейчас я на примере покажу как это делается. Сначала мы поработаем

    Беспроводной проектор
    Если бросить взгляд на историю Типов, даже очень поверхностный, можно сказать, что Рефлекторы - первичный тип. Это очевидно, потому что вся живая природа наделена рефлекторскими качествами. Все формы

    Франшизы в украине
    Если говорить о самых прибыльных франшизах, то стоит отметить, что многие из представленных в 2018 году на франчайзинговом рынке такие находятся в топе лучших предложений в течение длительного времени.

    Аудит сайта онлайн бесплатно
    Для проведения аудита сайта мы будем пользоваться большим количеством разных сервисов. И начнем, пожалуй, с одного сервиса, который меньше всего известен среди «любителей». Этот сервис называется Букварикс.

    Типы ссылок seo
    SEO-студия, которая не дает объяснений о том, что именно оно делает — опасно. Это сигнал того, что там есть « серые» или даже « черные» методы продвижения, и в любом случае —

    Накрутка просмотров ютуб
    Приветствую, друзья! Все вы, наверняка, знаете такой существующий, в виртуальном мире от YouTube, парадокс, который заключается в том, что если у вашего, недавно размещённого тут ролика, ещё совсем нет

    Ассортимент лазерных ротационных нивелиров
    При современных строительных, а так же ремонтных и монтажных работах практически не используется то оборудование, без которого эти работы раньше просто не велись. Ушли в прошлое отвесы в виде грузика

    Хороший бизнес форум
    Нашим продвинутым по жизни современникам понятно, что вопрос заработка, для тех, кто не против подумать своей головой и поработать, не является чем-то сложным. В наше время каждый имеет прекрасную возможность

    GPS мониторинг транспорта и контроль топлива
    Ни для кого не секрет, что система спутникового GPS мониторинга стоит костью в горле для нечестных на руку водителей. Как показывают исследования, каждый рейс опытный водитель может завышать расход топлива

    Чехол Xiaomi Redmi 6a
    Самое интересное, что указанное обновление, кроме остальных функций и возможностей, добавляет темную тему почти для трех десятков смартфонов Xiaomi и Redmi. Среди устройств, которым доступна прошивка,

    Пример использования файла Robots.txt: как изменения в директивах третьих сторон привели к утечке URL-адресов и потере SEO трафика

    1. Что случилось? И важность контроля вашего файла Robots.txt
    2. Падение трафика, ранжирование рейтинга и URL-адреса DEINDEXED
    3. Surfacing 2 Важные проблемы: чувствительность к регистру и сторонние изменения директивы
    4. Опасность медленной утечки
    5. Джон Мюллер на Robots.txt
    6. Как избежать утечки URL-адресов из-за изменений в Robots.txt
    7. Резюме: проверка «Под капотом», SEO-Wise

    В прошлом я много раз писал о том, как технические проблемы с SEO могут привести к серьезному падению рейтинга и трафика. От мета-тегов robots до rel = canonical до 404-х скрытых, ряд проблем может лежать под поверхностью, нанося серьезный ущерб вашему сайту, SEO-мудрый.

    Ну, к сожалению, я недавно столкнулся с еще одной ситуацией, которую я собираюсь осветить в этом посте. Эта проблема привела к медленной утечке рейтинга и трафика, что затрудняло для владельца бизнеса заметить. Прежде чем компания узнала об этом, важные страницы исчезли из индекса Google.

    Что случилось? И важность контроля вашего файла Robots.txt

    Говоря с клиентами об опасностях SEO, я часто упоминаю файл robots.txt. Это простой текстовый файл, но он может иметь катастрофические последствия для ваших усилий по SEO, если не обрабатывается правильно.

    Это напоминает мне о «шумном крикете» от Men In Black . Маленький рост, но мощный, как черт.

    Хотя большинство оптимизаторов понимают, что общий запрет в robots.txt вызовет серьезные проблемы, есть и много других ситуаций, которые также могут вызвать проблемы.

    Некоторые могут происходить медленно и вызывать утечку важных URL-адресов из индекса Google - и если эти URL-адреса важны, то у вас есть большая проблема в ваших руках. (И, кстати, вы не узнаете об этом, если кто-то на самом деле не поймает проблему .)

    Падение трафика, ранжирование рейтинга и URL-адреса DEINDEXED

    Этой осенью компания обратилась ко мне после того, как поняла, что она больше не ранжируется по ключевым словам категории. Они были крайне обеспокоены, если не сказать больше.

    Но с учетом многих изменений, происходящих с Google, падение рейтинга может быть чем угодно, верно? Возможно, это было обновление алгоритма, может быть, соревнование подняло свою игру, или, может быть, просто возможно, возникла техническая проблема, вызвавшая падение рейтинга. Поэтому я вскочил, чтобы выполнить детективную работу.

    Разобравшись с ситуацией, я быстро проверил URL-адреса, которые когда-то ранжировались по ключевым словам категории. Интересно было видеть, что некоторые URL-адреса по-прежнему хорошо ранжируются, а другие вообще не могут быть найдены. Да, некоторые URL-адреса исчезли из индекса Google.

    Итак, я проверил мета-теги роботов. Не присутствует Я проверил x-robots header чтобы в ответе заголовка не выдавался noindex. Нет, это был не тот случай.

    Тогда это поразило меня. URL-адреса категорий, которые я проверял, были не описательными, сложными и имели смешанный регистр. По сути, CMS не использовала «красивые» URL-адреса для большого процента страниц сайта (в зависимости от того, как настроена CMS).

    Я знал, что в подобных ситуациях URL-адреса легко попадают под действие жадных директив robots.txt. («Жадность» просто означает, что они могут блокировать больше, чем должны.)

    Я запустил тестер robots.txt в Google Search Console (GSC) и начал тестировать URL-адреса категорий. Бинго. Некоторые URL показывались как заблокированные, в то время как другие были разрешены.

    Я также экспортировал список URL-адресов, которые ранее получали трафик от Google Organic, и сканировал их. Это позволило мне просмотреть любой URL, который в данный момент был заблокирован robots.txt (оптом). Опять некоторые были заблокированы, а некоторые разрешены. После тщательного анализа ситуации это привело к двум проблемам.

    Surfacing 2 Важные проблемы: чувствительность к регистру и сторонние изменения директивы

    Просматривая файл robots.txt с течением времени, я обнаружил две основные проблемы, которые беспокоили.

    Во-первых, поставщик директив CMS добавил в директиву robots.txt новые директивы, и владелец сайта понятия не имел, что происходит. На сайте проиндексированы десятки тысяч URL-адресов, поэтому даже незначительное изменение директив robots.txt может быть опасным.

    Во-вторых, директивы немного изменили регистр. Это означает, что эти директивы могут ошибочно подобрать или пропустить URL-адреса на сайте.

    Например, если вы нацелены на каталог / Category /, но директива - / CATEGORY /, то вы не запретите URL-адреса, которые разрешаются в каталоге / Category /, так как директивы чувствительны к регистру. Это важный момент для каждого SEO, веб-мастера и владельца бизнеса. Смотрите скриншот ниже.

    Опасность медленной утечки

    Между директивами, которые добавлялись / удалялись с течением времени, и изменением чувствительности к регистру, у компании были важные URL-адреса категорий, неосознанно запрещенные. Когда URL-адреса запрещены, Google не может сканировать страницы для определения содержания, которое они содержат, и это привело к тому, что некоторые из этих URL-адресов со временем исчезли из индекса Google. Нехорошо.

    Но вот в чем суть: URL-адреса часто не сразу удаляются из индекса, поэтому компании стало очень трудно ее обнаружить. Там не было большой капли в один день; вместо этого они столкнулись с медленной утечкой важных URL из индекса Google. Как вы можете догадаться, рейтинг и трафик просочились, так как URL-адреса упали из индекса.

    Джон Мюллер на Robots.txt

    В августе этого года аналитик Google Webmaster Trends Джон Мюллер записал целую видеовстречу для веб-мастеров, посвященную robots.txt. Для людей, занимающихся техническим SEO, это необходимо посмотреть.

    Одна вещь, которая выделялась, - это Джон, объясняющий, как Google обрабатывает запрещенные URL, с точки зрения индексации. Например, будут ли запрещенные URL-адреса оставаться в индексе, будут ли они выпадать, и сколько времени потребуется для их удаления?

    В видео 32:34 Джон объяснил, что Google будет отбрасывать информацию о запрещенных URL-адресах из предыдущих сканирований и может индексировать URL-адреса только с основной информацией.

    Кроме того, Google может удалить эти URL из индекса с течением времени . Нет гарантии, что URL будут удалены, но это может произойти. Смотрите видео здесь:

    Поэтому, когда у вас возникает ситуация, когда вы ошибочно запрещаете сканирование URL-адресов, они могут некоторое время оставаться в индексе, пока Google не решит их удалить. И когда Google, наконец, удалит их, у вас не будет никаких признаков их исчезновения (кроме падения трафика на эти URL-адреса). Осторожно.

    И если вы хотите услышать, как Джон говорит о чувствительности к регистру, вы можете посмотреть 13:50 в видео. Он освещает некоторые важные моменты о директивах, чувствительности к регистру и сопоставлении символов.

    Как избежать утечки URL-адресов из-за изменений в Robots.txt

    Так как же избежать этого на вашем собственном сайте? Ниже я приведу несколько маркеров, которые помогут вам понять, когда вносятся изменения в ваш файл robots.txt и как узнать, запрещены ли robots.txt URL-адреса, которые использовались для привлечения трафика.

    Это ни в коем случае не окончательный список рекомендаций, но приведенные ниже маркеры определенно могут помочь вам избежать SEO-катастрофы из-за проблем robots.txt.

    • Регулярно сканируйте и проверяйте свой сайт. Я много говорил об этом в последнее время. Чем больше вы можете сканировать свой сайт, тем больше вы сможете понять его сильные и слабые стороны и риски. А в рамках сканирования вы можете просматривать запрещенные URL-адреса с помощью ряда инструментов (включая Screaming Frog, DeepCrawl и другие инструменты сканирования). Вы можете просто забрать важные URL-адреса, которые заблокированы. Если так, раскопайте и устраните проблему.
    • Robots.txt история изменений. Вы можете запрашивать уведомления у своего провайдера CMS всякий раз, когда в файл robots.txt вносятся изменения. Если они могут по электронной почте или сообщать вам об этих изменениях, то вы можете быстро проверить их. И вы можете двигаться быстро, чтобы исправить любые проблемы.
    • Автоматическое обнаружение изменений в файле robots.txt. Вы также можете использовать сервис, который ежедневно проверяет ваш файл robots.txt. Всякий раз, когда он получает изменения, он отправит вам электронное письмо. Затем вы можете просмотреть и внести изменения, где это необходимо. Это как Google Alert для технического SEO. Например, Robotto может обнаружить ряд важных изменений и уведомить вас.
    • Аудит Google Search Console (GSC) постоянно. Вы должны постоянно проверять отчеты Google Search Console. Есть несколько отчетов, которые могут помочь вам выявить новые проблемы с вашим сайтом с технической точки зрения SEO. В этой ситуации поможет использование тестера robots.txt на важных URL-адресах. Вы также можете проверить статус индекса на предмет «заблокирован роботами», что может указывать на увеличение количества URL-адресов, заблокированных robots.txt (что может привести к появлению красных флажков). И затем вы можете проверить ошибки сканирования смартфона на «Заблокированные». Это можно найти на вкладке «Смартфон», но также может относиться и к URL-адресам на рабочем столе.
    • Используйте Wayback Machine, чтобы проверить robots.txt. Да, вы можете использовать машина обратного хода просмотреть файл robots.txt с течением времени. На многих сайтах вы увидите различные версии файла robots.txt, подобранные за время существования сайта. Это может дать важные подсказки о падении проиндексированных страниц.

    Резюме: проверка «Под капотом», SEO-Wise

    Как вы можете видеть в этом случае, технические изменения SEO могут оказать большое влияние на рейтинг и трафик. Хотя robots.txt - это простой текстовый файл, содержащиеся в нем директивы могут блокировать обход важных URL-адресов (что может привести к удалению этих URL-адресов из индекса Google).

    И если эти страницы будут удалены из индекса, у них нет шансов на ранжирование. И без шансов на ранжирование, они не могут вести трафик. Это означает, что вы проигрываете, а побеждает жадный файл robots.txt. Не позволяй этому победить. Следуйте моим рекомендациям выше и избегайте утечки URL.

    Мнения, выраженные в этой статье, принадлежат автору гостя и не обязательно относятся к Search Engine Land. Штатные авторы перечислены Вот ,


    Об авторе