Що таке індексація сайту (Як поліпшити індексацію в Google)

1. Зміст статті
2. Як перевірити індексацію всього сайту
3. Як додати новий сайт в індекс пошукових систем?
4. Що робити, якщо сайт погано індексується?
5. Як відбувається індексація сайту
6. Є кілька способів створити карту сайту:
7. Додавання карти сайту в Search Console:
8. Додавання sitemap в robots.txt:
9. Етап 2: Обробка даних
10. Аналіз текст при індексації
11. Від чого залежить індексація сайту?
12. Підведемо підсумки

Індексація сайту - це процес збору інформації пошуковою системою про вміст вашого сайту. Під час індексації пошукові роботи (павуки) сканують і обробляють web сторінки, зображення, відео та інші доступні для сканування файли. Сайт повинен бути проіндексовані щоб відображатися в пошуку.

Сторінки, які пройшли сканування і обробку, зберігаються в базу даних. Така база називається «пошукової індекс». Саме в цій базі даних пошукова система шукає результати, що відповідають на запити користувачів.

Важливо розуміти:

• Якщо Сторінка наразі не має в пошуковому індексі - її неможливо знайти в пошуковій системі.
• У кожної пошукової системи свій пошукової індекс, свої пошукові боти.
• Пошукової бот від Google називається Googlebot.

Зміст статті

Як перевірити індексацію сторінки?

Найшвидший спосіб - написати в рядок пошуку команду site: [адреса сторінки]. Такий пошук знайде всі проіндексовані сторінки сайту. Для того, щоб переглянути дату останнього сканування сторінки, напишіть в рядок пошуку cache: [адреса перевіряється сторінки]. Якщо вам потрібно перевірити індексацію конкретної сторінки просто скопіюйте її адресу і введи в пошук запит site: [адреса сторінки].

Порада: Порівняйте кількість проіндексованих сторінок з реальною кількістю сторінок на сайті. Це допоможе швидко оцінити чи є у вашого сайту проблеми з індексацією. Наприклад: якщо на сайті 100 товарів, 10 розділів і 10 інформаційних сторінок (в сумі 120), а в індексі тільки 50 сторінок, це означає, що пошукова система не знає про більшу частину вашого сайту.

Як перевірити індексацію всього сайту

Для перевірки індексації сайту потрібно виконати 2 простих кроки:

1. Дізнатися скільки сторінок на сайті. Для цього проскануйте свій сайт спеціальними інструментами. Якщо ваш сайт до 500 сторінок вам підійде безкоштовна версія Screaming Frog , Якщо цього недостатньо використовуйте, безкоштовний Site Analyzer . У розділі «HTML» ви побачите загальну кількість сторінок вашого сайту.
2. Зайдіть в інструменти для веб-майстрів або Google Search Console ( Що таке Google Search Consol ) Відкрийте звіт «Покриття» і перегляньте кількість сторінок в статусі «Без помилок». Кількість сторінок в сканері Site Analyzer і сторінок в Google Search Console має приблизно збігатися. Це, означатиме, що основні сторінки сайту скануються. Якщо частина сторінок потрапила в групу «Виключено» ви можете вивчити причини виключення сторінок. У цьому ж звіті ви можете познайомитися з історією індексації вашого сайту за останні 3, 6 або 12 місяців.
3. Досить часто в звіті «Покриття» ви можете побачити велику кількість сторінок в статусі «Сторінка просканувати, але поки не проіндексована» - це означає, що пошукова система вже отримала дані про ваших сторінках але поки не опрацювала їх до кінця. Так само, сторінки можуть перебувати в цьому статусі через низьку якість: порожні сторінки або сторінки з повторюваним вмістом. Якщо кількість «поки не проіндексованих» сторінок не скорочується спробуйте уникализировать, додати вміст або збільшити кількість якісних зовнішніх посилань на свій сайт.
4. Якщо вам потрібно масово перевірити індексацію сторінок вашого сайту, скористайтеся онлайн інструментом https://indexchecking.com
5. Гарна ідея перевірити свій сайт за допомогою інструментів https://en.ryte.com - це допоможе вам зрозуміти які сторінки закриті від індексації. А так же, виявити сторінки на яких є технічні проблеми.

Як додати новий сайт в індекс пошукових систем?

Повідомте пошуковій системі про свій сайт в спеціальному інструменті Google або Yandex . Поділіться своїм сайтом в соціальній мережі або створіть на нього посилання з іншого, вже проіндексованого сайту.

Дізнайтеся більше про роботу пошукової системи

Що робити, якщо сайт погано індексується?

Для вирішення проблем потрібно розібратися в процесі індексації докладніше. З технічної точки зору "індексацію сайту" правильніше розглядати як два окремих процесу:

1. Сканування сторінок.
2. Обробка сторінок.

Як відбувається індексація сайту

Етап 1: Сканування

Сканування або "обхід" сторінок - це основне завдання, яке виконує пошукової бот. Потрапляючи на нову сторінку, бот отримує зі сторінки два набори даних:

1. Зміст самої сторінки, інформацію про сервер і службові дані. А саме: відповідь сервера, html код сторінки, файли css стилів, скриптів, зображень.
2. Перелік посилань, які знаходяться на сторінці.

Отримане зміст передається для подальшої обробки та збереження в базу. Проскановані посилання так само зберігаються в спеціальний список - "черга сканування", для подальшої обробки.

Коли бот додає в чергу індексації сторінку, яка вже є в черзі, ця сторінка займає більш високе місце в списку і індексується швидше. А це означає, що перший спосіб прискорити сканування сайту - збільшити кількість посилань на потрібні сторінки.

Створюючи чергу сканування, google bot, як і інші пошукові боти, вивчає карту сайту sitemap і додає в чергу посилання з цієї карти. Другий спосіб поліпшити індексацію - створити карту сайту sitemap.xml і повідомити про неї пошуковій системі.

Є кілька способів створити карту сайту:

• Безкоштовний онлайн інструмент для сайтів до 500 сторінок www.xml-sitemaps.com .
• Програма для сканування сайту, з можливістю створення sitemap - xenu links .
• бібліотека додатків для створення sitemap.
• Найпопулярніший плагін для створення карти сайту для WordPress .

Щоб Google дізнався про ваш sitemap, потрібно додати посилання на карту сайту в інструментах search console або файлі robots.txt

Додавання карти сайту в Search Console:

1. зайдіть в https://www.google.com/webmasters/tools/
2. Додайте свій сайт або виберіть зі списку.
3. Перейдіть в розділ Сканування - Файли Sitemap.
4. Виберіть "додати файл sitemap", вставте посилання і додайте карту сайту.

Додавання sitemap в robots.txt:

1. Зайдіть в кореневий каталог сайту через ftp.
2. Відкрийте файл robots.txt
3. Додайте в кінець файлу рядок "Sitemap: [адреса сайту] /sitemap.xml" і збережіть файл.

Третій спосіб прискорити індексацію - повідомити пошуковому боту про дату останньої зміни сторінки. Для отримання дати і часу зміни сторінки боти використовують дані з заголовка відповіді сервера lastmod. Повідомити наявність змін на сторінці можна за допомогою коду відповіді not modify.

Інструмент перевірки заголовка lastmod і відповіді сервера not modify.

Наявність налаштувань lastmod і not modify дозволяють пошуковій системі швидко отримати інформацію про те, чи змінилася сторінка з дати останнього сканування. Завдяки цьому пошукової бот ставить в пріоритет нові і змінені сторінки, а нові сторінки швидше індексуються.

Для настройки lastmod і not modify вам потрібно буде звернутися до веб розробникові.

Етап 2: Обробка даних

Перед тим як зберегти інформацію в базу даних, вона проходить обробку та структуризацію, яка необхідна для прискорення подальшого пошуку.

У першому кроці обробки програма-індексатор формує сторінку з урахуванням всіх стилів, скриптів і ефектів. У цей момент програма-індексатор розуміє розташування елементів на сторінці, визначає видимі і невидимі користувачеві частини, розділяє сторінку на навігацію та зміст.

Важливо щоб google bot мав повний доступ до css і js файлів, адже без них індексатор не зможе зрозуміти структуру сторінки. Для перевірки доступності всіх службових файлів зайдіть в Google Search Console, звіт "Подивитись як Googlebot" в розділі "Сканування". Перевірте за допомогою цього інструменту основні сторінки сайту, зверніть увагу на відмінності між тим, як вашу сторінку бачить пошуковий бот і як її бачить користувачі. Вивчіть таблицю зі звіту. Всі ресурси, які розміщені на вашому домені, повинні бути відкриті для сканування.

Зараз Google використовує алгоритм індексації, який називається Caffeine. Він був запущений в 2009 році. Основні завдання цього алгоритму:

• Обробка сучасних сторінок, що використовують складні js і css елементи.
• Максимально швидке сканування всіх сторінок в Інтернеті.

Аналіз текст при індексації

Після поділу сторінки на зони і визначення їх важливості, алгоритм виділяє зі змісту основні елементи для подальших розрахунків. Так одним з найпопулярніших показників, які пошукова система витягує з сторінки, є частота згадки ключового слова.

Варто відзначити, що перед розрахунком частоти згадки слова, індексатор проводить спрощення слів до елементарної формі. Цей процес називається стемінг. Таке спрощення дозволяє враховувати слово в різних словоформах як одне слово.

Частота згадки (Term frecency, ТА) слова розраховується як відношення згадки слова до загальної кількості слів сторінки. Приклад: якщо на сторінці 100 слів і слово "машина" зустрічалося на ній 2 рази - частота згадки слова "машина" буде дорівнює TF = 0,02

Найпростіший пошукової індекс легко уявити у вигляді величезної таблиці, в шпальтах якої перераховані всі слова мови, а в рядках - адреси всіх сторінок. При цьому в осередках вказані частоти слів на відповідних сторінках.

Саме така таблиця дозволяє пошуковій системі швидко знаходити сторінки, які містять потрібні слова. звичайно сучасні пошукові системи враховують не тільки частоту згадки слів, але і більш складні фактори. Пошукової індекс Google значно складніше ніж наведений приклад.

Аналізуючи зміст пошукова система перевіряє унікальність сторінки. Тексти та інше утримання, яке вже було проіндексовано на інших сторінках, не несе цінності для системи, тому що не додає в базу нової інформації. А це означає, що сторінки з низькою унікальністю можуть бути не проіндексовані. Перевірити унікальність досить просто за допомогою безкоштовних інструментів .
Намагайтеся створювати максимально унікальний і корисний контент і він точно буде проіндексовано.

Від чого залежить індексація сайту?

1. Доступність сайту для індексації - якщо сканування сайту заборонено пошукова система не зможе отримати його сторінки. Детальніше про інструменти управління індексацією: youtube.com Внутрішня оптимізація: robots.txt, sitemap
2. Кількість посилань на ваш сайт - посилання, це шляхи які призводять пошукових роботів до вас на сайт. Чим більше посилань з популярних ресурсів ви отримуєте, тим частіше будуть скануватися сторінки вашого сайту.
3. Частота оновлення сайту. Пошукові системи завжди шукають новий цікавий контент, чим частіше ви публікуєте нове унікальне зміст, тим швидше пошукова система буде його сканувати.
4. Наявність сайту в інструментах пошукових систем. Відео в тему: Як зареєструвати сайт в Google Search Console .

Підведемо підсумки

• Індексація - це процес сканування і обробки змісту для зберігання в базі даних пошукової системи.
• Прискорити індексацію можна за допомогою посилань, карти сайту і налаштувань сервера.
  Щоб пошукова система розуміла ваші сторінки, всі ресурси вашого сайту повинні бути доступні пошуковому боту.

Ми можемо перевірити і налаштувати індексацію вашого сайту за вас.

SEO аудит з рекомендаціями за 10 днів.

Сподіваюся у вас більше не виникне питання: "Що таке індексація сайту".