PrestaShop и robots.txt - это история любви!

1. Что происходит с индексацией ботов с помощью robots.txt?
2. Что не интересует индекс?
3. Как создать файл robots.txt для PrestaShop?
4. Какие еще элементы вы можете добавить в файл robots.txt?

PrestaShop нужен robots.txt для работы с индексированными ботами различных поисковых систем, поэтому я хочу рассказать вам историю любви между PrestaShop и robots.txt со счастливым концом.

Конечно, вы можете сгенерировать файл robots.txt из бэк-офиса, настроек , SEO и URL-адресов из опции « Генерация файлов роботов» . Мы принимаем это как должное.

Многие пользователи, в основном те, кто начинает в PrestaShop создаст свой первый интернет-магазин , не останавливайтесь в начале реализации вашего веб-проекта с этой CMS для правильно генерировать важные файлы, такие как sitemap и robots.txt и через некоторое время (всего через несколько месяцев) проблемы начинаются в виде ошибок отслеживания . Продолжайте читать, что я расскажу вам более подробную информацию!

Благодаря файлу robots.txt вы можете сообщить поисковым системам, что его можно отслеживать на вашем веб-сайте с помощью индексирующих ботов (называйте их пауками, сканерами или как угодно), и что вы «не хотите» индексироваться.

Файл, который управляет рекомендациями по поведению этих ботов, должен называться robots.txt, а не каким-либо другим способом и храниться в основной папке установки, которую он обслуживает.

Если у вас есть несколько установок на одном и том же хостинге, каждая из них будет находиться в отдельной папке, а внутри каждой установки в главной папке будет настроенный файл robots.txt для каждой сети.

В PrestaShop есть функция AdminMetaController :: generateRobotsFile (), которая отвечает за генерацию файла robots.txt и может быть вызвана вручную из SEO и URL, как я упоминал ранее.

По умолчанию файл robots.txt создается со следующим содержимым:

# robots.txt автоматически генерируется с помощью открытого исходного решения PrestaShop для электронной коммерции # http://www.prestashop.com - http://www.prestashop.com/forums # Этот файл предназначен для предотвращения сканирования и индексации определенных частей. # вашего сайта поисковыми роботами и пауками, управляемыми такими сайтами, как Yahoo! # и гугл. Сообщая этим «роботам», куда вы не можете зайти на свой сайт, вы # экономите трафик и ресурсы сервера. # Для получения дополнительной информации о стандарте robots.txt см .: # http://www.robotstxt.org/robotstxt.html User-agent: * # Разрешить Директивы Разрешить: * / modules / *. Разрешить Css: * / modules / * .js # Личные страницы Disallow: / *? orderby = Disallow: / *? orderway = Disallow: / *? tag = Disallow: / *? id_currency = Disallow: / *? search_query = Disallow: / *? back = Disallow: / *? n = Disallow: / * & orderby = Disallow: / * & orderway = Disallow: / * & tag = Disallow: / * & id_currency = Disallow: / * & search_query = Disallow: / * & back = Disallow: / * & n = Disallow: / * контроллер = адреса Запретить: / * контроллер = адрес Запретить: / * контроллер = аутентификация Запретить: / контроллер = корзина Запретить: / контроллер = скидка Запретить: / контроллер = нижний колонтитул Запретить: / контроллер = получить-файл Запретить: / * controller = заголовок Disallow: / * controller = история Disallow: / * controller = удостоверение Disallow: /*controller=images.inc Disallow: / * controller = init Disallow: / * controller = my-account Disallow: / * controller = Disallow: / * controller = order-opt Disallow: / * controller = заказ -slip Disallow: / * controller = подробности заказа Disallow: / * controller = следование заказа Disallow: / * controller = возврат заказа Disallow: / * controller = подтверждение заказа Disallow: / * controller = разбиение на страницы Disallow: / * controller = пароль Disallow: / * controller = pdf-invoice Disallow: / * controller = pdf-order-return Disallow: / * controller = pdf-order-slip Disallow: / controller = product-sort Disallow: / * controller = поиск Disallow : / * controller = статистика Disallow: / * controller = вложение Disallow: / * controller = guest-tracking # Каталоги Disallow: * / classes / Disallow: * / config / Disallow: * / download / Disallow: * / mails / Disallow: * / modules / Disallow: * / переводы / Disallow: * / инструменты /

Самый быстрый способ узнать, был ли ваш файл robots.txt сгенерирован правильно или уже существует на вашем хостинге, при установке PrestaShop, набрав в браузере URL вашего домена, за которым следует robots.txt:

http://tu-dominio.com/ robots.txt

Если вы получили ошибку 404, она не существует, и вам придется ее создать.

Последние версии PrestaShop уже включают в генератор robots.txt ту , которая не блокирует Google и других ботов индексацию файлов CSS и JS . Блокировка этих файлов вызвала такие ошибки, как:

«Робот Google не может получить доступ к файлам CSS и JS»

Это решено с добавлением следующего Разрешить к robots.txt:

Разрешить: * / modules / *. Css Разрешить: * / modules / *. Js

Лучший способ проверить состояние ваших файлов robots.txt - это использовать Google Search Console, чтобы проверить его наличие и местонахождение ботами, как если бы возникали ошибки блокировки, в данном случае googlebot .

Что происходит с индексацией ботов с помощью robots.txt?

Файл robots.txt создан для блокировки доступа к различным элементам PrestaShop, которые не представляют интереса для поисковых систем.

Что не интересует индекс?

• Страница входа (логин) пользователей.
• Результаты поиска или страница поиска.
• Страница восстановления пароля.
• Страница оформления заказа или корзина.
• Страница результатов или поиска для размещенных заказов.
• Страницы или зоны ограниченного доступа для пользователей с VIP-доступом.
• Другие страницы или функции, которые вы считаете целесообразными заблокировать.

То, что вам действительно нужно индексировать в интернет-магазине, это страницы категорий, страницы товаров, домашняя страница и другие статические или информационные страницы.

Как создать файл robots.txt для PrestaShop?

Файл robots.txt содержит набор правил. Правила определяются тремя значениями:

• User-Agent: На кого влияют правила? (Все роботы, только Google, Bing, уникальный бот ...).
• Разрешить / Не разрешать: (Разрешить / Запретить) Правило, которое разрешает или, наоборот, фильтрует некоторые URL-адреса.
• Регулярное выражение URL: URL, файл, маршрут, на который распространяется это правило.

В следующем видео всего за 1 минуту вы можете увидеть, как этот файл robots.txt впервые создается в PrestaShop.

Если вы не торопитесь с магазином и считаете, что ваш файл robots.txt неправильный или вы хотите восстановить его, лучше всего удалить его (если вы его не настроили) и создать снова с указаниями, приведенными в видео.

Какие еще элементы вы можете добавить в файл robots.txt?

# Запретить файлы: / * id_lang = Disallow: / utm_campaign = # Запретить каталоги: / lang-es / Примечание. Если вы работаете с другим языком или несколькими языками (многоязычными), вы можете добавить дополнительные строки: # Запретить каталоги: / lang-es / Disallow: / lang-en / Disallow: / lang-fr /

Примечание: пробелы в файле robots.txt бесполезны, боты не читают пробелы, поэтому просто не помещайте их, думайте, что это эксклюзивный файл для ботов или сканеров, а не для людей, поэтому эстетика в этих случаях это на стороне

Важно, чтобы каждое определенное время и, в основном, после обновления PrestaShop до стабильных версий, проверялось, что указанный файл существует и не блокирует индексирование важного содержимого вашего Магазина.

Как вы думаете, что было более сложным в robots.txt? ..jejeje, это стоит больше, чтобы назвать его, чем запустить его. (ツ)

Похожие

Комментарии