Категории

  • Видеокарты
  • Ноутбук Asus клавиатуры
  • Audiотехника
  • Android контакты
  • Ноутбук Asus характеристики
  • Новости
  • Новости

    На этом сайте
    В нашем случае необходимо подбирать ключевые слова под каждый свой товар, каждое изделие. Например, вы продаете вязаный плед спицами. Сейчас я на примере покажу как это делается. Сначала мы поработаем

    Беспроводной проектор
    Если бросить взгляд на историю Типов, даже очень поверхностный, можно сказать, что Рефлекторы - первичный тип. Это очевидно, потому что вся живая природа наделена рефлекторскими качествами. Все формы

    Франшизы в украине
    Если говорить о самых прибыльных франшизах, то стоит отметить, что многие из представленных в 2018 году на франчайзинговом рынке такие находятся в топе лучших предложений в течение длительного времени.

    Аудит сайта онлайн бесплатно
    Для проведения аудита сайта мы будем пользоваться большим количеством разных сервисов. И начнем, пожалуй, с одного сервиса, который меньше всего известен среди «любителей». Этот сервис называется Букварикс.

    Типы ссылок seo
    SEO-студия, которая не дает объяснений о том, что именно оно делает — опасно. Это сигнал того, что там есть « серые» или даже « черные» методы продвижения, и в любом случае —

    Накрутка просмотров ютуб
    Приветствую, друзья! Все вы, наверняка, знаете такой существующий, в виртуальном мире от YouTube, парадокс, который заключается в том, что если у вашего, недавно размещённого тут ролика, ещё совсем нет

    Ассортимент лазерных ротационных нивелиров
    При современных строительных, а так же ремонтных и монтажных работах практически не используется то оборудование, без которого эти работы раньше просто не велись. Ушли в прошлое отвесы в виде грузика

    Хороший бизнес форум
    Нашим продвинутым по жизни современникам понятно, что вопрос заработка, для тех, кто не против подумать своей головой и поработать, не является чем-то сложным. В наше время каждый имеет прекрасную возможность

    GPS мониторинг транспорта и контроль топлива
    Ни для кого не секрет, что система спутникового GPS мониторинга стоит костью в горле для нечестных на руку водителей. Как показывают исследования, каждый рейс опытный водитель может завышать расход топлива

    Чехол Xiaomi Redmi 6a
    Самое интересное, что указанное обновление, кроме остальных функций и возможностей, добавляет темную тему почти для трех десятков смартфонов Xiaomi и Redmi. Среди устройств, которым доступна прошивка,

    Robots.txt: что это такое и как создать файл для WordPress

    1. Что такое файл robots.txt?
    2. Для чего нужен файл robots.txt?
    3. Как создать файл robots.txt в WordPress
    4. Параметры и команды, принятые в robots.txt
    5. Исправить заблокированные ресурсы в консоли поиска Google
    6. Как установить файл robots.txt для WordPress
    7. Тестер robots.txt консоли поиска Google
    8. Выводы о файле robots.txt

    Прежде чем объяснить, что такое файл robots Прежде чем объяснить, что такое файл robots.txt и для чего он нужен , вы должны понять, что такое роботы и почему этот маленький файл так важен для SEO вашей сети.

    Поиск ботов, бот или паук (для экспертов также называется crawler ), это программное обеспечение, которое отвечает за отслеживание веб-страниц в поиске различных вещей в зависимости от типа бота (новый контент, изменения в веб-структуре, ссылки и т. д.).

    Несмотря на то, что существуют роботы разных типов, всякий раз, когда мы говорим о них, приходят на ум роботы или пауки Google и других поисковых систем, которые отвечают за просмотр наших веб-сайтов для индексации их контента и позиционирования.

    Теперь мы все хотим проиндексировать нашу сеть в Google и других поисковых системах, но есть определенные страницы, которые мы не хотим отслеживать как внутренние файлы, неважные страницы и т. Д.

    Как заставить ботов проходить только те области нашего сайта, которые мы хотим?

    С файлом robots.txt .

    Прежде чем вы думаете, что будет очень сложно настроить этот файл, я хочу сказать вам две вещи:

    1. Прочитайте статью до конца , вы увидите, что она не так сложна, как кажется.
    2. Если вам все еще сложно, не волнуйтесь. В этой статье вы найдете пример файла robots.txt, который идеально подходит для любого веб-сайта WordPress, который вы можете скопировать и вставить в свой собственный файл robots.txt.

    Посмотрим теперь, что такое robots.txt и для чего он нужен .

    Что такое файл robots.txt?

    Файл robots.txt представляет собой простой текстовый файл, который можно создать с помощью простой записной книжки с именем robots.txt (отсюда и его имя).

    Этот файл содержит информацию, которую пауки поисковой системы прочитают, чтобы отследить те части сети, которые этот файл им позволяет.

    Некоторые роботы делают то, что они хотят, поэтому файл robots.txt не только разрешает, но и рекомендует какие страницы посещать, чтобы сканировать или индексировать их.

    Для чего нужен файл robots.txt?

    Когда бот заходит на наш сайт, первым делом он проверяет, существует ли файл robots.txt, и, если он существует, анализирует его, чтобы узнать, какие части сети он может или должен отслеживать, и какие части для него заблокированы.

    Предположим, что файл robots.txt содержит запрещенные зоны Интернета, поэтому эти боты не проходят через них и не отслеживают их.

    Следовательно, этот файл позволяет вам выбрать, какие части вашего сайта имеют «ограниченный» доступ к этим ботам . Вы даже можете ограничить доступ только для одного типа бота. Посмотрим.

    Таким образом, файл robots.txt используется для :

    • Заблокируйте доступ поисковых систем к определенным страницам и каталогам вашего сайта.
    • Запретить ботам доступ к файлам на вашем сайте.
    • Не разрешайте доступ к вашему веб-сайту определенным ботам .
    • Не допускайте индексации дублирующегося контента (например, дублирующихся страниц) или страниц, которые вы тестировали.
    • Запретите отслеживание удаленных URL-адресов, которые теперь сообщают об ошибке 404.
    • Уменьшите ресурсы, затрачиваемые на сервер (некоторые боты потребляют много ресурсов).
    • Облегчите индексацию вашего сайта, указав каталог вашей карты сайта или карты сайта XML.

    Несмотря на это и, как я объяснил ранее, вы должны знать, что есть некоторые боты (особенно нелегальные и вредоносные), которые игнорируют этот файл.

    Не забывайте, что этот файл является общедоступным, и вы можете увидеть его на многих веб-сайтах, поместив /robots.txt в конце вашего домена. Так что, для вашего же блага, даже не думайте об использовании его, чтобы скрыть личную информацию от поисковых систем или подобных вещей, потому что любой, кто попадает в ваш robots.txt, может видеть, какие URL вы пытаетесь заблокировать от ботов.

    Как создать файл robots.txt в WordPress

    Создать файл robots.txt для WordPress очень просто: откройте блокнот и сохраните его с именем robots.txt. Вам нужно только загрузить его в корневой каталог вашего домена через cPanel или через FTP-клиент, например Filezilla ,

    Вы также можете создать его с помощью плагина Yoast SEO ( здесь у вас есть руководство), вам просто нужно перейти в раздел «Инструменты» >> «Редактор файлов» и создать или изменить файл robots.txt.

    Позже мы увидим, что этот файл должен содержать.

    Как правило, этот файл создается во всех установках WordPress, хотя он довольно прост.

    Файл WordPress robots.txt по умолчанию будет выглядеть следующим образом:

    Пользовательский агент: * Disallow: / wp-admin / Allow: /wp-admin/admin-ajax.php

    Помните : чтобы узнать, есть ли у вас созданный файл, вам нужно всего лишь ввести /robots.txt в конце вашего домена. Например: www.yourdomain.net/robots.txt.

    Обратите внимание, что этот файл не является обязательным. Но это очень рекомендуется, особенно если вы хотите улучшить SEO вашего сайта .

    Давайте посмотрим, какие параметры и конфигурации вы должны учитывать при создании файла robots.txt для WordPress.

    Параметры и команды, принятые в robots.txt

    Команды в файле robots.txt немногочисленны и очень просты.

    Эти параметры были установлены протоколом исключения роботов или Стандарт исключения роботов по испански Синтаксис, который мы должны использовать, основан на этом протоколе, и мы должны применять его хорошо, если не хотим допускать ошибок при создании файла robots.txt .

    В дополнение к командам следует помнить следующие правила :

    • Не используйте команды, отличные от разрешенных.
    • Он различает прописные, строчные буквы, знаки препинания и пробелы. Обратите внимание при написании команд и при именовании файла.
    • Вы можете использовать панель (#), за которой следует фраза для написания комментариев.
    • Оставьте пустую строку, чтобы отделить группы команд, которые вы используете User-agent.

    Вот основные параметры для использования в robots.txt:

    • User-agent : указывает, к какому типу роботов относятся указанные ниже команды. здесь у вас есть список всех пользовательских агентов.
    • Disallow : блокирует доступ User-agent (бота) к каталогу или URL, который вы указали.
    • Разрешить : противоположность Disallow. Разрешите доступ к указанному вами URL или каталогу. Обычно он используется для разрешения доступа к более определенной части каталога, которая была заблокирована в Disallow.
    • Карта сайта : используется для указания ботам, где Карта сайта или карта сайта XML веб-сайта.
    • Crawl-delay : Используется для указания времени задержки (в секундах) между каждой страницей, которую сканирует бот. Это обычно используется, чтобы избежать чрезмерного потребления ресурсов. Не все сканеры (боты) обратят внимание на эту команду.

    В дополнение ко всему этому есть два дополнительных символа, которые используются в качестве подстановочных знаков:

    • Звездочка (*) : используется в качестве подстановочного знака для обозначения «все». Он часто используется в User-agent: * , для всех ботов; или / * / для обозначения всех каталогов.
    • Символ доллара ($) : этот символ используется в расширениях файлов и используется для указания любого файла, заканчивающегося этим расширением. Например: /*.css$, чтобы указать, что все файлы завершены в .css.

    Исправить заблокированные ресурсы в консоли поиска Google

    Google давно сообщал, что блокировка доступа к файлам CSS и JavaScript в файле robots.txt вредна для SEO, и начал отправлять сообщения из консоли поиска Google с информацией об этой ошибке, если вы заблокировали файлы этого типа.

    Поэтому здесь я объясняю, как разблокировать ресурсы CSS и JS . Откройте файл robots.txt, скопируйте и вставьте следующее:

    Пользователь-агент: Googlebot Разрешить: /*.css$ Разрешить: /*.js$

    Как мы уже видели, эти команды указывают боту Google, что он имеет разрешенный доступ ко всем ресурсам CSS и JS.

    Как установить файл robots.txt для WordPress

    Мы идем к тому, что все ищут.

    Есть ли идеальный файл robots.txt для WordPress?

    Ответ звучит НЕТ.

    Каждая веб-страница имеет разные страницы и разные потребности.

    Невозможно поместить идеальный файл robots.txt для каждой страницы, так как это то, что вы должны искать в Интернете.

    Но я могу объяснить лучший файл robots.txt для WordPress в целом, и он будет работать на всех веб-сайтах.

    Вы увидите, что это очень похоже на то, что у меня есть на этом сайте. Помните, что вы можете увидеть это, поместив /robots.txt в конец домена.

    Так до беспорядка.

    Ниже у вас есть лучший стандартный файл robots.txt для любого сайта WordPress. Вы также можете добавить другие команды, чтобы заблокировать что-то, в частности, с вашего сайта.

    Помните, что если у вас уже есть файл robots.txt, вам нужно только загрузить файл robots.txt по умолчанию с FTP или cPanel. Если у вас есть его, откройте его и измените его следующим образом:

    # Первый блок, мы запрещаем вам отслеживать папки WordPress, фид, # комментарии, поиски, метки ... User-agent: * Разрешить: /wp-admin/admin-ajax.php Запретить: / wp-login Disallow: / wp-admin Disallow: / * / feed / Disallow: / * / trackback / Disallow: / * / attachment / Disallow: / author / Disallow: *? Replytocom Disallow: / tag / * / page / Disallow: / tag / * / feed / Disallow: / comments / Disallow: /xmlrpc.php Disallow: / *? s = Disallow: /*/*/*/feed.xml Disallow: /? attachment_id * Disallow: / search # Второй блок пользователя- Агент: Googlebot Разрешить: /*.css$ Разрешить: /*.js$ # Карта сайта, вы можете добавить более одного файла Sitemap: http://www.yourdomain.com/sitemap.xml

    В первом блоке мы указываем, что для всех ботов (User-agent: *) доступ к AJAX разрешен (доступ рекомендуется), а каталоги, которые мы не хотим отслеживать, запрещены, такие как внутренние страницы WordPress, поиск страниц, теги, комментарии и т. Д.

    Во втором блоке мы разблокируем ресурсы CSS и JS, как мы видели ранее.

    Наконец, мы добавляем URL нашего XML-файла карты сайта, чтобы сообщить роботам, где все, что они должны отслеживать.

    Чтобы узнать, есть ли у вас карта сайта и какой у вас URL, вам нужно всего лишь перейти на Google Search Console и перейдите в Сканирование >> Sitemaps .

    Если у вас его нет, я рекомендую Yoast SEO плагин создавать карты сайта . Кроме того, вот мой Руководство по настройке Yoast SEO ,

    PS: я рекомендую вам руководство по карте сайта знать все, что вам нужно о картах сайта и о том, как улучшить SEO.

    Тестер robots.txt консоли поиска Google

    После того, как вам удалось создать файл robots После того, как вам удалось создать файл robots.txt и сохранить его в корневом каталоге вашего веб-сайта , мы должны убедиться, что все в порядке, и роботы могут без проблем получать доступ к остальной части сети.

    Для этого мы перенаправляем в консоль поиска Google и вводим Crawl >> robots.txt Tester .

    На данный момент вы должны оставить то, что вы положили в robots.txt.

    Если это не так, нажмите кнопку отправки и вернитесь к кнопке отправки на шаге 3, которая запрашивает обновление Google.

    Теперь все, что вам нужно сделать, это нажать на красную кнопку, которую вы хотите попробовать, и, если все в порядке, эта кнопка будет изменена сообщением с разрешением.

    Выводы о файле robots.txt

    Мы уже видели, что файл robots.txt помогает нам рекомендовать сканерам, какие страницы индексировать в Google (или другом браузере) или какие части нашего веб-сайта мы не хотим отслеживать.

    Однако есть и другие альтернативные способы предотвращения индексации любой страницы, такие как метатеги роботов и атрибут "noindex".

    Я не хотел оставлять эту статью, не затрагивая эту тему, и это то, что хотя файл robots.txt очень важен, для определенных страниц вы можете использовать noindex.

    Использование noindex является наиболее правильным способом предотвращения индексации на определенных страницах . Robots.txt больше используется для предотвращения отслеживания определенных каталогов, файлов и страниц, которые вы удалили и не можете получить к ним доступ любым другим способом.

    С Yoast SEO плагин Вы можете добавить «noindex» к нужным страницам, просто перейдя в область редактирования WordPress рассматриваемой страницы и выбрав «noindex» в разделе для этого из плагина Yoast SEO.

    А вот статья о файле robots.txt.

    Теперь твоя очередь. Вы уже знаете, как создать файл robots.txt для вашего сайта WordPress?

    Вы добавили все нужные вам команды или у вас есть вопросы?

    Ответьте на комментарии и поделитесь, если это было полезно.

    Мы читаем!

    Исходное фоновое изображение разработано Freepik ,

    Вы также можете быть заинтересованы ...

    Txt?
    Txt?
    Как заставить ботов проходить только те области нашего сайта, которые мы хотим?
    Txt?
    Txt?
    Txt для WordPress?
    Php Запретить: / wp-login Disallow: / wp-admin Disallow: / * / feed / Disallow: / * / trackback / Disallow: / * / attachment / Disallow: / author / Disallow: *?
    Php Disallow: / *?
    Xml Disallow: /?
    Вы добавили все нужные вам команды или у вас есть вопросы?