- Что такое файл robots.txt?
- Для чего нужен файл robots.txt?
- Как создать файл robots.txt в WordPress
- Параметры и команды, принятые в robots.txt
- Исправить заблокированные ресурсы в консоли поиска Google
- Как установить файл robots.txt для WordPress
- Тестер robots.txt консоли поиска Google
- Выводы о файле robots.txt
Прежде чем объяснить, что такое файл robots.txt и для чего он нужен , вы должны понять, что такое роботы и почему этот маленький файл так важен для SEO вашей сети.
Поиск ботов, бот или паук (для экспертов также называется crawler ), это программное обеспечение, которое отвечает за отслеживание веб-страниц в поиске различных вещей в зависимости от типа бота (новый контент, изменения в веб-структуре, ссылки и т. д.).
Несмотря на то, что существуют роботы разных типов, всякий раз, когда мы говорим о них, приходят на ум роботы или пауки Google и других поисковых систем, которые отвечают за просмотр наших веб-сайтов для индексации их контента и позиционирования.
Теперь мы все хотим проиндексировать нашу сеть в Google и других поисковых системах, но есть определенные страницы, которые мы не хотим отслеживать как внутренние файлы, неважные страницы и т. Д.
Как заставить ботов проходить только те области нашего сайта, которые мы хотим?
С файлом robots.txt .
Прежде чем вы думаете, что будет очень сложно настроить этот файл, я хочу сказать вам две вещи:
- Прочитайте статью до конца , вы увидите, что она не так сложна, как кажется.
- Если вам все еще сложно, не волнуйтесь. В этой статье вы найдете пример файла robots.txt, который идеально подходит для любого веб-сайта WordPress, который вы можете скопировать и вставить в свой собственный файл robots.txt.
Посмотрим теперь, что такое robots.txt и для чего он нужен .
Что такое файл robots.txt?
Файл robots.txt представляет собой простой текстовый файл, который можно создать с помощью простой записной книжки с именем robots.txt (отсюда и его имя).
Этот файл содержит информацию, которую пауки поисковой системы прочитают, чтобы отследить те части сети, которые этот файл им позволяет.
Некоторые роботы делают то, что они хотят, поэтому файл robots.txt не только разрешает, но и рекомендует какие страницы посещать, чтобы сканировать или индексировать их.
Для чего нужен файл robots.txt?
Когда бот заходит на наш сайт, первым делом он проверяет, существует ли файл robots.txt, и, если он существует, анализирует его, чтобы узнать, какие части сети он может или должен отслеживать, и какие части для него заблокированы.
Предположим, что файл robots.txt содержит запрещенные зоны Интернета, поэтому эти боты не проходят через них и не отслеживают их.
Следовательно, этот файл позволяет вам выбрать, какие части вашего сайта имеют «ограниченный» доступ к этим ботам . Вы даже можете ограничить доступ только для одного типа бота. Посмотрим.
Таким образом, файл robots.txt используется для :
- Заблокируйте доступ поисковых систем к определенным страницам и каталогам вашего сайта.
- Запретить ботам доступ к файлам на вашем сайте.
- Не разрешайте доступ к вашему веб-сайту определенным ботам .
- Не допускайте индексации дублирующегося контента (например, дублирующихся страниц) или страниц, которые вы тестировали.
- Запретите отслеживание удаленных URL-адресов, которые теперь сообщают об ошибке 404.
- Уменьшите ресурсы, затрачиваемые на сервер (некоторые боты потребляют много ресурсов).
- Облегчите индексацию вашего сайта, указав каталог вашей карты сайта или карты сайта XML.
Несмотря на это и, как я объяснил ранее, вы должны знать, что есть некоторые боты (особенно нелегальные и вредоносные), которые игнорируют этот файл.
Не забывайте, что этот файл является общедоступным, и вы можете увидеть его на многих веб-сайтах, поместив /robots.txt в конце вашего домена. Так что, для вашего же блага, даже не думайте об использовании его, чтобы скрыть личную информацию от поисковых систем или подобных вещей, потому что любой, кто попадает в ваш robots.txt, может видеть, какие URL вы пытаетесь заблокировать от ботов.
Как создать файл robots.txt в WordPress
Создать файл robots.txt для WordPress очень просто: откройте блокнот и сохраните его с именем robots.txt. Вам нужно только загрузить его в корневой каталог вашего домена через cPanel или через FTP-клиент, например Filezilla ,
Вы также можете создать его с помощью плагина Yoast SEO ( здесь у вас есть руководство), вам просто нужно перейти в раздел «Инструменты» >> «Редактор файлов» и создать или изменить файл robots.txt.
Позже мы увидим, что этот файл должен содержать.
Как правило, этот файл создается во всех установках WordPress, хотя он довольно прост.
Файл WordPress robots.txt по умолчанию будет выглядеть следующим образом:
Пользовательский агент: * Disallow: / wp-admin / Allow: /wp-admin/admin-ajax.php
Помните : чтобы узнать, есть ли у вас созданный файл, вам нужно всего лишь ввести /robots.txt в конце вашего домена. Например: www.yourdomain.net/robots.txt.
Обратите внимание, что этот файл не является обязательным. Но это очень рекомендуется, особенно если вы хотите улучшить SEO вашего сайта .
Давайте посмотрим, какие параметры и конфигурации вы должны учитывать при создании файла robots.txt для WordPress.
Параметры и команды, принятые в robots.txt
Команды в файле robots.txt немногочисленны и очень просты.
Эти параметры были установлены протоколом исключения роботов или Стандарт исключения роботов по испански Синтаксис, который мы должны использовать, основан на этом протоколе, и мы должны применять его хорошо, если не хотим допускать ошибок при создании файла robots.txt .
В дополнение к командам следует помнить следующие правила :
- Не используйте команды, отличные от разрешенных.
- Он различает прописные, строчные буквы, знаки препинания и пробелы. Обратите внимание при написании команд и при именовании файла.
- Вы можете использовать панель (#), за которой следует фраза для написания комментариев.
- Оставьте пустую строку, чтобы отделить группы команд, которые вы используете User-agent.
Вот основные параметры для использования в robots.txt:
- User-agent : указывает, к какому типу роботов относятся указанные ниже команды. здесь у вас есть список всех пользовательских агентов.
- Disallow : блокирует доступ User-agent (бота) к каталогу или URL, который вы указали.
- Разрешить : противоположность Disallow. Разрешите доступ к указанному вами URL или каталогу. Обычно он используется для разрешения доступа к более определенной части каталога, которая была заблокирована в Disallow.
- Карта сайта : используется для указания ботам, где Карта сайта или карта сайта XML веб-сайта.
- Crawl-delay : Используется для указания времени задержки (в секундах) между каждой страницей, которую сканирует бот. Это обычно используется, чтобы избежать чрезмерного потребления ресурсов. Не все сканеры (боты) обратят внимание на эту команду.
В дополнение ко всему этому есть два дополнительных символа, которые используются в качестве подстановочных знаков:
- Звездочка (*) : используется в качестве подстановочного знака для обозначения «все». Он часто используется в User-agent: * , для всех ботов; или / * / для обозначения всех каталогов.
- Символ доллара ($) : этот символ используется в расширениях файлов и используется для указания любого файла, заканчивающегося этим расширением. Например: /*.css$, чтобы указать, что все файлы завершены в .css.
Исправить заблокированные ресурсы в консоли поиска Google
Google давно сообщал, что блокировка доступа к файлам CSS и JavaScript в файле robots.txt вредна для SEO, и начал отправлять сообщения из консоли поиска Google с информацией об этой ошибке, если вы заблокировали файлы этого типа.
Поэтому здесь я объясняю, как разблокировать ресурсы CSS и JS . Откройте файл robots.txt, скопируйте и вставьте следующее:
Пользователь-агент: Googlebot Разрешить: /*.css$ Разрешить: /*.js$
Как мы уже видели, эти команды указывают боту Google, что он имеет разрешенный доступ ко всем ресурсам CSS и JS.
Как установить файл robots.txt для WordPress
Мы идем к тому, что все ищут.
Есть ли идеальный файл robots.txt для WordPress?
Ответ звучит НЕТ.
Каждая веб-страница имеет разные страницы и разные потребности.
Невозможно поместить идеальный файл robots.txt для каждой страницы, так как это то, что вы должны искать в Интернете.
Но я могу объяснить лучший файл robots.txt для WordPress в целом, и он будет работать на всех веб-сайтах.
Вы увидите, что это очень похоже на то, что у меня есть на этом сайте. Помните, что вы можете увидеть это, поместив /robots.txt в конец домена.
Так до беспорядка.
Ниже у вас есть лучший стандартный файл robots.txt для любого сайта WordPress. Вы также можете добавить другие команды, чтобы заблокировать что-то, в частности, с вашего сайта.
Помните, что если у вас уже есть файл robots.txt, вам нужно только загрузить файл robots.txt по умолчанию с FTP или cPanel. Если у вас есть его, откройте его и измените его следующим образом:
# Первый блок, мы запрещаем вам отслеживать папки WordPress, фид, # комментарии, поиски, метки ... User-agent: * Разрешить: /wp-admin/admin-ajax.php Запретить: / wp-login Disallow: / wp-admin Disallow: / * / feed / Disallow: / * / trackback / Disallow: / * / attachment / Disallow: / author / Disallow: *? Replytocom Disallow: / tag / * / page / Disallow: / tag / * / feed / Disallow: / comments / Disallow: /xmlrpc.php Disallow: / *? s = Disallow: /*/*/*/feed.xml Disallow: /? attachment_id * Disallow: / search # Второй блок пользователя- Агент: Googlebot Разрешить: /*.css$ Разрешить: /*.js$ # Карта сайта, вы можете добавить более одного файла Sitemap: http://www.yourdomain.com/sitemap.xml
В первом блоке мы указываем, что для всех ботов (User-agent: *) доступ к AJAX разрешен (доступ рекомендуется), а каталоги, которые мы не хотим отслеживать, запрещены, такие как внутренние страницы WordPress, поиск страниц, теги, комментарии и т. Д.
Во втором блоке мы разблокируем ресурсы CSS и JS, как мы видели ранее.
Наконец, мы добавляем URL нашего XML-файла карты сайта, чтобы сообщить роботам, где все, что они должны отслеживать.
Чтобы узнать, есть ли у вас карта сайта и какой у вас URL, вам нужно всего лишь перейти на Google Search Console и перейдите в Сканирование >> Sitemaps .
Если у вас его нет, я рекомендую Yoast SEO плагин создавать карты сайта . Кроме того, вот мой Руководство по настройке Yoast SEO ,
PS: я рекомендую вам руководство по карте сайта знать все, что вам нужно о картах сайта и о том, как улучшить SEO.
Тестер robots.txt консоли поиска Google
После того, как вам удалось создать файл robots.txt и сохранить его в корневом каталоге вашего веб-сайта , мы должны убедиться, что все в порядке, и роботы могут без проблем получать доступ к остальной части сети.
Для этого мы перенаправляем в консоль поиска Google и вводим Crawl >> robots.txt Tester .
На данный момент вы должны оставить то, что вы положили в robots.txt.
Если это не так, нажмите кнопку отправки и вернитесь к кнопке отправки на шаге 3, которая запрашивает обновление Google.
Теперь все, что вам нужно сделать, это нажать на красную кнопку, которую вы хотите попробовать, и, если все в порядке, эта кнопка будет изменена сообщением с разрешением.
Выводы о файле robots.txt
Мы уже видели, что файл robots.txt помогает нам рекомендовать сканерам, какие страницы индексировать в Google (или другом браузере) или какие части нашего веб-сайта мы не хотим отслеживать.
Однако есть и другие альтернативные способы предотвращения индексации любой страницы, такие как метатеги роботов и атрибут "noindex".
Я не хотел оставлять эту статью, не затрагивая эту тему, и это то, что хотя файл robots.txt очень важен, для определенных страниц вы можете использовать noindex.
Использование noindex является наиболее правильным способом предотвращения индексации на определенных страницах . Robots.txt больше используется для предотвращения отслеживания определенных каталогов, файлов и страниц, которые вы удалили и не можете получить к ним доступ любым другим способом.
С Yoast SEO плагин Вы можете добавить «noindex» к нужным страницам, просто перейдя в область редактирования WordPress рассматриваемой страницы и выбрав «noindex» в разделе для этого из плагина Yoast SEO.
А вот статья о файле robots.txt.
Теперь твоя очередь. Вы уже знаете, как создать файл robots.txt для вашего сайта WordPress?
Вы добавили все нужные вам команды или у вас есть вопросы?
Ответьте на комментарии и поделитесь, если это было полезно.
Мы читаем!
Исходное фоновое изображение разработано Freepik ,
Вы также можете быть заинтересованы ...
Похожие
Что такое Google Hummingbird?У Google есть новый алгоритм поиска, система, которую он использует для сортировки всей информации, которую он имеет, когда вы ищете и возвращаетесь Бизнес-совет: что такое технология NFC? Как это использовать?
«... В наше время аббревиатуры NFC здесь совсем немного, и если сможете, напишите подробную статью об этом ...» H. / 2016.10.30 / «...« Реально и надежно »платить за товары, покупать товары и скидки? Было бы неправильно пользоваться? Можете ли вы позвонить парням, занимающимся этими вещами?» D / 2016.09.04 / Многие запросы и неотвеченные запросы поступают непрочитанными, по электронной почте, через SMS и социальные сети. Многие из этих электронных писем и электронных писем, которые Что такое мобильное SEO, как оптимизировать?
... для мобильных устройств; еще раз, полезно проанализировать вашу работу SEO, и что мы можем сделать с этим, является ответом на вопрос. Что такое мобильное SEO? Ваша мобильная SEO-конфигурация необходима для того, чтобы предоставить вам хороший опыт для того, чтобы охватить ваших целевых клиентов в нужное время и в нужном месте. Мобильное SEO-приложение; Чтобы оптимизировать рейтинг вашего сайта, размеры экрана - это своего рода фаза ранжирования сайта, Что такое Seo-совместимая статья?
Что такое Seo-совместимая статья? - 4,0 из 5 на основе 3 голосов С развитием технологий Интернет стал важной частью нашей жизни. С развитием Интернета возникли различные сферы бизнеса. Одним из них является производство SEO-совместимых изделий . Статья, написанная в Интернете, контролируется искусственным интеллектом поисковой системы. 200 факторов рейтинга поиска Google
Ааааа ... поисковая оптимизация (SEO) - это прекрасная боль в заднице для больших и малых предприятий. Если все сделано правильно, ваш сайт может быть залит качественным трафиком. Сделайте это неправильно, и никто не заходит на ваш сайт. От работы на месте через структуру сайта, содержание, изображения, ключевые слова и т. Д., И т. Д. Может быть подавляющим. Добавьте к этому все изменения алгоритма Google, которые повлияли на то, как сайт ранжируется от социальных сетей до построения ссылок, Wordpress Robots.txt Руководство - что это такое и как оно используется?
... txt и задавались вопросом, как он применяется к вашему сайту? Большинство веб-сайтов имеют файл robots.txt, но это не означает, что большинство веб-мастеров понимают его. В этой публикации мы надеемся изменить восприятие, предложив глубокое погружение в файл WordPress robots.txt, а также узнаем, как вы можете контролировать и ограничивать доступ к своему веб-сайту. В конце вы сможете ответить на такие вопросы, как: Есть много чего, так что давайте начнем! Что такое файл PrestaShop и robots.txt - это история любви!
PrestaShop нужен robots.txt для работы с индексированными ботами различных поисковых систем, поэтому я хочу рассказать вам историю любви между PrestaShop и robots.txt со счастливым концом. Конечно, вы можете сгенерировать файл robots.txt из бэк-офиса, настроек , SEO и URL-адресов из опции « Генерация Как создать свадебную схему рассадки
... для того, чтобы сделать ваш график рассадки максимально простым (и без разрывов). Проблема с графиком рассадки (кроме манипулирования потребностями и эмоциями других людей) заключается в том, что она возникает только в конце планирования свадьбы, когда вы уже выполняете миллион вещей. Любой, кто запланировал свадьбу, знает, как себя чувствуют эти последние недели: именно когда вы начинаете учитывать негативные реакции, вы можете получить это в результате принятых вами решений, а также пытаться Что такое ярлык для SEO?
Теги или теги являются источниками информации на самом сайте. Эти теги видят не пользователи, а поисковые системы. Они написаны на языке HTML в самом веб-документе и будут анализироваться ботами каждой поисковой системы, например, такими как: паук Google , С их помощью вы можете решить, какие страницы вы хотите индекс Что такое SEM (поисковый маркетинг)
Поисковый маркетинг (SEM) имеет название, похожее на SEO, а именно поисковая оптимизация ( что такое поисковая оптимизация ). Ты знаешь разницу? SEM имеет функции, аналогичные SEO. SEM имеет целью отображение Знакомство с вашими ботами: Robots.txt 101
... txt-101-1.jpg" alt="Это понедельник, и это означает, что пришло время разжечь около недели"> Это понедельник, и это означает, что пришло время разжечь около недели. Что может быть лучше, чем быстрый разговор о роботах ?! Да, РОБОТЫ! Не наш дружелюбный бот на картинке, я говорю о вашем файле robots.txt. Подожди, не паникуй! Это нормально, если вы не знаете, о чем, черт возьми, я говорю. Мы начнем медленно, и к концу этого поста вы будете точно знать,
Комментарии
Как вы думаете, как Google Plus может выглядеть в 2020 году, и думаете ли вы, что Google к тому времени приобрел Twitter или другую крупную социальную сеть?Как вы думаете, как Google Plus может выглядеть в 2020 году, и думаете ли вы, что Google к тому времени приобрел Twitter или другую крупную социальную сеть? Как изменятся веб-сайты и то, как мы их потребляем, к 2020 году? А как насчет Google SERP - что вы думаете о том, как это может измениться? Как Google будет определять авторитетный и релевантный контент в 2020 году? Какие показатели поведения пользователей может измерять Google в 2020 году? Но что хорошего в том, чтобы иметь список проблем, которые нужно исправить, если вы не знаете, как их исправить, где их исправить и почему их следует изменить?
Но что хорошего в том, чтобы иметь список проблем, которые нужно исправить, если вы не знаете, как их исправить, где их исправить и почему их следует изменить? Мы можем помочь вам шаг за шагом пройтись по каждому пункту анализа веб-сайта и научить вас, как улучшить ваш сайт и повысить технические и SEO-оценки, чтобы вы могли приступить к внедрению этих процедур на своих сайтах при их создании с нуля. Как только вы изучите правила SEO для оптимизации веб-сайтов, вам будет легко определять Что это такое и что оно делает?
Что это такое и что оно делает? В этом мега-руководстве я отвечу на все, что вам нужно знать об этом инструменте. CognitiveSEO - это SEO-инструмент, который поможет нам контролировать все наши рейтинги, оценивать, являются ли ссылки на наши проекты полезными или вредными. Проанализируйте конкурс, чтобы попытаться воспроизвести только ваши лучшие ссылки. С такими инструментами, как ahrefs мы не могли знать качество ссылок, и нам пришлось Свернуть, Свернуть, Свернуть, Свернуть, Свернуть, Свернуть Свернуть Что это такое, что ты думаешь?
Свернуть, Свернуть, Свернуть, Свернуть, Свернуть, Свернуть Свернуть Что это такое, что ты думаешь? Флигель, фейерверк, флирт, фейерверк ° С ‡ RμRDZS <RґR »RїRdzRёSGJRєRdzRІRёRєRdzRІ повторно SJ Res ... SGJRdzRґRμSЂR¶R ° RDZRёRμ RDZRμ RDZRμSGJRμS, RDZRёRєR ° RєRdzR№ RїRdzR» SNJR · S <RґR »SJ RїRdzSGJRμS, RёS, RμR» SJ, RDZRμRєRdzS, RdzSЂS <Rμ RED · RDZRёS ... РТРиС <РІР ° СЋС, СЃСЏ Р "РЎ (РІРѕРІРЅРс СЃР ° С№С, С <). Свернуть, Свернуть, Свернуть, Свернуть, Свернуть, Свернуть, Консоль поиска и робот Google: как использовать данные, предлагаемые Google?
Свернуть, Свернуть, Свернуть, Свернуть, Свернуть, Свернуть Свернуть Что это такое, что ты думаешь? Флигель, фейерверк, флирт, фейерверк ° С ‡ RμRDZS <RґR »RїRdzRёSGJRєRdzRІRёRєRdzRІ повторно SJ Res ... SGJRdzRґRμSЂR¶R ° RDZRёRμ RDZRμ RDZRμSGJRμS, RDZRёRєR ° RєRdzR№ RїRdzR» SNJR · S <RґR »SJ RїRdzSGJRμS, RёS, RμR» SJ, RDZRμRєRdzS, RdzSЂS <Rμ RED · RDZRёS ... РТРиС <РІР ° СЋС, СЃСЏ Р "РЎ (РІРѕРІРЅРс СЃР ° С№С, С <). Свернуть, Свернуть, Свернуть, Свернуть, Свернуть, Свернуть, Если контент-маркетинг и SEO - это более или менее две стороны одной медали, значит ли это, что это единственный способ улучшить свой рейтинг, и вам больше не потребуются ваши «эксперты по SEO»?
Если контент-маркетинг и SEO - это более или менее две стороны одной медали, значит ли это, что это единственный способ улучшить свой рейтинг, и вам больше не потребуются ваши «эксперты по SEO»? Нет, я не хочу это говорить. Традиционные профессионалы, которые помогут вам улучшить ваш рейтинг в поисковых системах, занимают свое место в схеме вещей. На самом деле, многие компании, занимающиеся поисковой оптимизацией, предоставляют контент-маркетинг как неотъемлемую часть своих услуг Но что это такое и как вы можете использовать его для расширения своего бизнеса?
Но что это такое и как вы можете использовать его для расширения своего бизнеса? Позвольте нам выяснить. Что такое Google Trends? Google Trends это веб-сайт, который позволяет вам взглянуть на то, что люди ищут в Поиске Google и других его службах, таких как Поиск картинок, Google Покупки и т. д. «Данные трендов - это беспристрастный образец наших поисковых данных Google. Он анонимный (никто не идентифицирован Ответ Google на часто задаваемый вопрос «что такое ссылки сайта Google?
Ответ Google на часто задаваемый вопрос «что такое ссылки сайта Google?» «Ссылки, показанные ниже некоторых результатов поиска Google, называемых ссылками сайта, предназначены для помощи пользователям в навигации по вашему сайту. Наши системы анализируют структуру ссылок вашего сайта, чтобы найти ярлыки, которые сэкономят время пользователей и позволят им быстро найти информацию, которую они ищут. Мы показываем ссылки сайта для результатов только тогда, когда думаем, что Означает ли это, что хваленая тематическая актуальность просто обман или это то, что нужно учитывать?
Означает ли это, что хваленая тематическая актуальность просто обман или это то, что нужно учитывать? Вы должны установить тематическую статью на странице PBN. Актуальность темы затем присваивается вашему сайту Money. Вышеуказанный уровень, на котором есть ссылки на сайт PBN, в настоящее время не рассматривается Google. Конечно, вы делаете свой PBN еще более безопасным, если покупаете сайты, контент которых всегда был на том же языке, что С учетом вышесказанного, что делает ключевые слова (или ключевые слова SEO) настолько важными, что вы можете видеть, что почти все советы по ведению блога сильно подчеркивают это?
С учетом вышесказанного, что делает ключевые слова (или ключевые слова SEO) настолько важными, что вы можете видеть, что почти все советы по ведению блога сильно подчеркивают это? Вот что я думаю по-своему. Ключевые слова - это слова, варьирующиеся от одного до пяти слов, которые считаются важными роботами поисковых систем (некоторые называют это пауками, поисковые системы, вы получили тренировку). Не пойми меня неправильно. SEO ключевые слова выбраны, которые Но, как бизнес, как Google видит это?
Но, как бизнес, как Google видит это? Просто, это рекламный инвентарь. Чем больше у них возможностей продавать рекламу и чем выше цены, по которым они продаются, тем счастливее Google. Мы видели, как они выделяют больше места для рекламы в поисковой выдаче. Мы видели, как они предлагают такие вещи, как фрагменты, которые дольше удерживают вас в Google. Это все способствует их рекламным ресурсам. Теперь идет голосовой поиск. Это дает один ответ.
Txt?
Txt?
Как заставить ботов проходить только те области нашего сайта, которые мы хотим?
Txt?
Txt?
Txt для WordPress?
Php Запретить: / wp-login Disallow: / wp-admin Disallow: / * / feed / Disallow: / * / trackback / Disallow: / * / attachment / Disallow: / author / Disallow: *?
Php Disallow: / *?
Xml Disallow: /?
Вы добавили все нужные вам команды или у вас есть вопросы?
