Што такое індэксацыя сайта (Як палепшыць індэксацыю ў Google)

1. змест артыкула
2. Як праверыць індэксацыю ўсяго сайта
3. Як дадаць новы сайт у індэкс пошукавікаў?
4. Што рабіць, калі сайт дрэнна індэксуецца?
5. Як адбываецца індэксацыя сайта
6. Ёсць некалькі спосабаў стварыць карту сайта:
7. Даданне карты сайта ў Search Console:
8. Даданне sitemap ў robots.txt:
9. Этап 2: Апрацоўка дадзеных
10. Аналіз тэкст пры індэксацыі
11. Ад чаго залежыць індэксацыя сайта?
12. Падвядзем вынікі

Індэксацыя сайта - гэта працэс збору інфармацыі пошукавай сістэмай пра змесціва вашага сайта. Падчас індэксацыі пошукавыя робаты (павукі) скануе і апрацоўваюць web старонкі, малюнкі, відэа і іншыя даступныя для сканавання файлы. Сайт павінен быць праіндэксаваны каб адлюстроўвацца ў пошуку.

Старонкі, якія прайшлі сканаванне і апрацоўку, захоўваюцца ў базу дадзеных. Такая база называецца «пошукавы індэкс». Менавіта ў гэтай базе дадзеных пошукавая сістэма шукае вынікі, якія адказваюць на запыты карыстальнікаў.

Важна разумець:

• Калі гэтыя старонкі не ў пошукавым індэксе - яе немагчыма знайсці ў пошукавай сістэме.
• У кожнай пошукавай сістэмы свой пошукавай індэкс, свае пошукавыя боты.
• Пошукавай бот ад Google называецца Googlebot.

змест артыкула

Як праверыць індэксацыю старонкі?

Самы хуткі спосаб - напісаць у радок пошуку каманду site: [адрас старонкі]. Такі пошук знойдзе ўсе праіндэксаваныя старонкі сайта. Для таго, каб праглядзець дату апошняга сканавання старонкі, напішыце ў радок пошуку cache: [адрас правяранай старонкі]. Калі вам трэба праверыць індэксацыю канкрэтнай старонкі проста скапіруйце яе адрас і ўвядзі ў пошук запыт site: [адрас старонкі].

Рада: Параўнайце колькасць праіндэксаваных старонак з рэальным колькасцю старонак на сайце. Гэта дапаможа хутка ацаніць ці ёсць у вашага сайта праблемы з індэксацыяй. Да прыкладу: калі на сайце 100 тавараў, 10 раздзелаў і 10 інфармацыйных старонак (у суме 120), а ў індэксе толькі 50 старонак, гэта азначае, што пошукавая сістэма не ведае пра большай частцы вашага сайта.

Як праверыць індэксацыю ўсяго сайта

Для праверкі індэксацыі сайта трэба выканаць 2 простых кроку:

1. Даведацца колькі старонак на сайце. Для гэтага праскануюць свой сайт адмысловымі прыладамі. Калі ваш сайт да 500 старонак вам падыдзе бясплатная версія Screaming Frog , Калі гэтага недастаткова выкарыстоўвайце, бясплатны Site Analyzer . У раздзеле «HTML» вы ўбачыце агульная колькасць старонак вашага сайта.
2. Зайдзіце ў інструменты для вэбмайстроў або Google Search Console ( Што такое Google Search Consol ) Адкрыйце справаздачу "Пакрыццё» і праглядзіце колькасць старонак у статусе «Без памылак». Колькасць старонак у сканары Site Analyzer і старонак у Google Search Console павінна прыблізна супадаць. Гэта, будзе азначаць, што асноўныя старонкі сайта скануюцца. Калі частка старонак трапіла ў групу «Выключана» вы можаце вывучыць прычыны выключэння старонак. У гэтым жа справаздачы вы можаце пазнаёміцца з гісторыяй індэксацыі вашага сайта за апошнія 3, 6 або 12 месяцаў.
3. Даволі часта ў справаздачы «Пакрыццё» вы можаце ўбачыць вялікая колькасць старонак у статусе «Старонка прасканавала, але пакуль не праіндэксавана» - гэта азначае, што пошукавая сістэма ўжо атрымала дадзеныя аб вашых старонках але пакуль не апрацавала іх да канца. Гэтак жа, старонкі могуць знаходзіцца ў гэтым статусе па прычыне нізкай якасці: пустыя старонкі або старонкі з паўтаральным зместам. Калі колькасць «пакуль не праіндэксаваных» старонак не скарачаецца паспрабуйце уникализировать, дадаць ўтрыманне або павялічыць колькасць якасных знешніх спасылак на свой сайт.
4. Калі вам трэба масава праверыць індэксацыю старонак вашага сайта, скарыстайцеся онлайн інструментам https://indexchecking.com
5. Добрая ідэя праверыць свой сайт з дапамогай інструментаў https://en.ryte.com - гэта дапаможа вам зразумець якія старонкі зачыненыя ад індэксацыі. А так жа, выявіць старонкі на якіх ёсць тэхнічныя праблемы.

Як дадаць новы сайт у індэкс пошукавікаў?

Паведаміце пошукавай сістэме аб сваім сайце ў адмысловым інструменце Google або Yandex . Падзяліцеся сваім сайтам у сацыяльнай сетцы або стварыце на яго спасылку з іншага, ужо праіндэксавалі сайта.

Даведайцеся больш аб рабоце пошукавай сістэмы

Што рабіць, калі сайт дрэнна індэксуецца?

Для вырашэння праблем трэба разабрацца ў працэсе індэксацыі падрабязней. З тэхнічнага пункту гледжання "індэксацыю сайта" правільней разглядаць як два асобных працэсу:

1. Сканаванне старонак.
2. Апрацоўка старонак.

Як адбываецца індэксацыя сайта

Этап 1: Сканіраванне

Сканіраванне або "абыход" старонак - гэта асноўная задача, якую выконвае пошукавай бот. Трапляючы на ​​новую старонку, бот атрымлівае са старонкі два набору дадзеных:

1. Змест самой старонкі, інфармацыю аб серверы і службовыя дадзеныя. А менавіта: адказ сервера, html код старонкі, файлы css стыляў, скрыптоў, малюнкаў.
2. Пералік спасылак, якія знаходзяцца на старонцы.

Атрыманае ўтрыманне перадаецца для далейшай апрацоўкі і захавання ў базу. Прасканавала спасылкі гэтак жа захоўваюцца ў спецыяльны спіс - "чарга сканавання", для далейшай апрацоўкі.

Калі бот дадае ў чаргу індэксацыі старонку, якая ўжо ёсць у чарзе, гэтая старонка займае больш высокае месца ў спісе і індэксуецца хутчэй. А гэта значыць, што першы спосаб паскорыць сканаванне сайта - павялічыць колькасць спасылак на патрэбныя старонкі.

Ствараючы чаргу сканавання, google bot, як і іншыя пошукавыя боты, вывучае карту сайта sitemap і дадае ў чаргу спасылкі з гэтай карты. Другі спосаб палепшыць індэксацыю - стварыць карту сайта sitemap.xml і паведаміць пра яе пошукавай сістэме.

Ёсць некалькі спосабаў стварыць карту сайта:

• Бясплатны онлайн інструмент для сайтаў да 500 старонак www.xml-sitemaps.com .
• Праграма для сканавання сайта, з магчымасцю стварэння sitemap - xenu links .
• бібліятэка прыкладанняў для стварэння sitemap.
• Самы папулярны убудова для стварэння карты сайта для WordPress .

Каб Google даведаўся аб вашым sitemap, трэба дадаць спасылку на карту сайта ў інструментах search console або файле robots.txt

Даданне карты сайта ў Search Console:

1. зайдзіце ў https://www.google.com/webmasters/tools/
2. Дадайце свой сайт або абярыце з спісу.
3. Перайдзіце ў раздзел Сканіраванне - Файлы Sitemap.
4. Абярыце "дадаць файл sitemap", ўстаўце спасылку і дадайце карту сайта.

Даданне sitemap ў robots.txt:

1. Зайдзіце ў каранёвай каталог сайта праз ftp.
2. Адкрыйце файл robots.txt
3. Дадайце ў канец файла радок "Sitemap: [адрас сайта] /sitemap.xml" і захавайце файл.

Трэці спосаб паскорыць індэксацыю - паведаміць пошукаваму робату пра дату апошняга змены старонкі. Для атрымання даты і часу змены старонкі боты выкарыстоўваюць дадзеныя з загалоўка адказу сервера lastmod. Паведаміць наяўнасць змяненняў на старонцы можна з дапамогай кода адказу not modify.

Інструмент праверкі загалоўка lastmod і адказу сервера not modify.

Наяўнасць налад lastmod і not modify дазваляюць пошукавай сістэме хутка атрымаць інфармацыю аб тым, ці змянілася старонка з даты апошняга сканавання. Дзякуючы гэтаму пошукавай бот ставіць у прыярытэт новыя і змененыя старонкі, а новыя старонкі хутчэй індэксуюцца.

Для налады lastmod і not modify вам трэба будзе звярнуцца да вэб распрацоўніку.

Этап 2: Апрацоўка дадзеных

Перад тым як захаваць інфармацыю ў базу дадзеных, яна праходзіць апрацоўку і структурызацыі, якая неабходна для паскарэння далейшага пошуку.

У першым кроку апрацоўкі праграма-индексатор фармуе старонку з улікам усіх стыляў, скрыптоў і эфектаў. У гэты момант праграма-индексатор разумее размяшчэнне элементаў на старонцы, вызначае бачныя і нябачныя карыстачу часткі, падзяляе старонку на навігацыю і змест.

Важна каб google bot меў поўны доступ да css і js файлаў, бо без іх индексатор не зможа зразумець структуру старонкі. Для праверкі даступнасці ўсяго службовага файлаў зайдзіце ў Google Search Console, справаздачу "Паглядзець як Googlebot" у раздзеле "Сканаванне". Праверце з дапамогай гэтага інструмента асноўныя старонкі сайта, звярніце ўвагу на адрозненні паміж тым, як вашу старонку бачыць пошукавай бот і як яе бачыць карыстальнікі. Вывучыце табліцу з справаздачы. Усе рэсурсы, якія размешчаны на вашым дамене, павінны быць адкрытыя для сканавання.

Зараз Google выкарыстоўвае алгарытм індэксацыі, які называецца Caffeine. Ён быў запушчаны ў 2009 годзе. Асноўныя задачы гэтага алгарытму:

• Апрацоўка сучасных старонак, якія выкарыстоўваюць складаныя js і css элементы.
• Максімальна хуткае сканаванне ўсіх старонак у Інтэрнэце.

Аналіз тэкст пры індэксацыі

Пасля падзелу старонкі на зоны і вызначэння іх важнасці, алгарытм вылучае са зместу асноўныя элементы для далейшых разлікаў. Так адным з самых папулярных паказчыкаў, якія пошукавая сістэма здабывае з старонкі, з'яўляецца частата згадкі ключавога слова.

Варта адзначыць, што перад разлікам частоты згадкі словы, индексатор праводзіць спрашчэнне слоў да элементарнай форме. Гэты працэс называецца стеминг. Такое спрашчэнне дазваляе ўлічваць слова ў розных словаформы як адно слова.

Частата згадкі (Term frecency, ТАЯ) словы разлічваецца як стаўленне згадкі словы да агульнай колькасці слоў старонкі. Прыклад: калі на старонцы 100 слоў і слова "машына" сустракалася на ёй 2 разы - частата згадкі словы "машына" будзе роўная TF = 0,02

Самы просты пошукавай індэкс лёгка прадставіць у выглядзе вялізнай табліцы, у слупках якой пералічаныя ўсе словы мовы, а ў радках - адрасы ўсіх старонак. Пры гэтым у вочках пазначаны частоты слоў на адпаведных старонках.

Менавіта такая табліца дазваляе пошукавай сістэме хутка знаходзіць старонкі, якія ўтрымліваюць патрэбныя словы. вядома сучасныя пошукавыя сістэмы ўлічваюць не толькі частату згадвання слоў, але і больш складаныя фактары. Пошукавай індэкс Google значна складаней чым прыведзены прыклад.

Аналізуючы змест пошукавая сістэма правярае унікальнасць старонкі. Тэксты і іншае ўтрыманне, якое ўжо было праіндэксавана на іншых старонках, не нясе каштоўнасці для сістэмы, бо не дадае ў базу новай інфармацыі. А гэта значыць, што старонкі з нізкай унікальнасцю могуць быць не праіндэксаваныя. Праверыць унікальнасць дастаткова проста з дапамогай бясплатных інструментаў .
Старайцеся ствараць максімальна унікальны і карысны кантэнт і ён дакладна будзе праіндэксаваны.

Ад чаго залежыць індэксацыя сайта?

1. Даступнасць сайта для індэксацыі - калі сканаванне сайта забаронена пошукавая сістэма не зможа атрымаць яго старонкі. Больш падрабязна пра інструментах кіравання індэксацыяй: youtube.com Унутраная аптымізацыя: robots.txt, sitemap
2. Колькасць спасылак на ваш сайт - спасылкі, гэта шляхі якія прыводзяць пошукавых робатаў да вас на сайт. Чым больш спасылак з папулярных рэсурсаў вы атрымліваеце, тым часцей будуць сканавацца старонкі вашага сайта.
3. Частата абнаўлення сайта. Пошукавыя сістэмы заўсёды шукаюць новы цікавы кантэнт, чым часцей вы публікуеце новае ўнікальнае ўтрыманне, тым хутчэй пошукавая сістэма будзе яго сканаваць.
4. Наяўнасць сайта ў інструментах пошукавых сістэм. Відэа ў тэму: Як зарэгістраваць сайт у Google Search Console .

Падвядзем вынікі

• Індэксацыя - гэта працэс сканавання і апрацоўкі ўтрымання для захоўвання ў базе дадзеных пошукавай сістэмы.
• Паскорыць індэксацыю можна з дапамогай спасылак, карты сайта і налады сэрвэра.
  Каб пошукавая сістэма разумела вашыя старонкі, усе рэсурсы вашага сайта павінны быць даступныя пошукаваму робату.

Мы можам праверыць і наладзіць індэксацыю вашага сайта за вас.

SEO аўдыт з рэкамендацыямі за 10 дзён.

Спадзяюся ў вас больш не паўстане пытанне: "Што такое індэксацыя сайта".