Prin „crawling” înțelegem procesul prin care roboții motoarelor de căutare caută website-uri relevante în baza lor de date sau în index. Google, de exemplu, rulează în mod constant roboți (“spiders” sau “bots”) care caută site-uri și pagini web relevante pentru căutarile efectuate de utilizatori.
Crawling și indexare nu înseamnă același lucru în SEO. Nu toate paginile crawl-ate / citite de roboți sunt și indexate.
- Prin crawling, roboții Google citesc site-urile în întregime și efectuează acea căutare de conținut relevant pe un topic anume.
- Indexarea înseamnă că paginile web pe care le consideră relevante pe un topic sau o căutare, sunt listate în paginile de rezultate ale căutărilor.
Rata de Crawl sau Crawl Rate
Rata de Crawl se referă la numărul de interogări pe secundă pe care Googlebot îl face pe site-ul nostru. Nu putem să creștem prin setări directe această Rată de Crawl, dar putem să o limităm dacă o rată mare de crawl încetinește serverul și funcționarea site-ului. De asemenea, putem să determinăm roboții să crawl-eze paginile noi sau conținutul actualizat din site-ul nostru, folosind funcția Fetch as Google, din Search Console.
Conform precizărilor Google, Rata de Crawl nu poate fi crescută, însă există câteva bune practici SEO care pot determina o mai bună crawl-are a site-ului, completă și eficientă, astfel încât să creștem și numărul de pagini indexate / listate în paginile de rezultate Google:
- 1. adăugarea de conținut nou în site: dacă nu avem întoteauna produse noi sau conținut nou pentru prezentarea serviciilor noastre, putem să adăugăm conținut nou de tip text / imagini / video în blog sau într-o rubrică de noutăți, de 2 – 3 ori pe săptămână;
- 2. optimizarea vitezei de încărcare a paginilor site-ului: crawl-erii au un timp limitat pentru a citi o pagină din site sau un segment de conținut; dacă se blochează într-un PDF sau poze foarte mari care se încarcă greu, boții nu mai trec la paginile următoare;
- 3. crearea de fișiere Sitemap.xml: fișierele XML sunt hărți structurate pe categorii sau pe tipuri de pagini, care listează paginile importante din site, pe care vrem ca roboții să le crawl-eze;
- 4. optimizarea timpului de răspuns al serverului: conform Google, acest timp de răspuns trebuie să fie sub 200 milisecunde – „You should reduce your server response time under 200ms.” Chiar dacă paginile site-ului au o viteză bună de încărcare, dacă serverul are un timp mare de răspuns, boții Google nu vor putea să citească întregul conținut al site-ului;
- 5. conținutul duplicat: evitarea paginilor duplicate, a conținutului duplicat în site;
- 6. blocarea în Robots.txt a conținutului irelevant, paginile în construcție, platforma de administrare, arhive etc.;
- 7. optimizare imagini și video: roboții nu pot să citească / să înțeleagă imaginile; ca să le înțeleagă și să le indexeze, acestea trebuie să fie însoțite de o descriere text, de atribute ALT;
- 8. optimizarea rețelei de link-uri interne; link-urile interne fac legătura între paginile site-ului și funcționează la fel pentru toate tipurile de platforme online: site-uri de prezentare de produse sau servicii, magazine online, site-uri de informații, bloguri etc.
Sistemul de link-uri interne cuprinde toate link-urile ce fac legătura între paginile din site, între blog și site, sau leagă articolele din blog. - 9. folosirea de instrumente PING pentru conținutul nou adăugat în blog: website-urile Ping sunt instrumente online care trimit URL-urile pe care noi le înscriem, către diferite motoare de căutare, directoare, comunități online, agregatoare de conținut;
- 10. dacă avem în site tehnici și strategii de tip “black hat SEO”, acestea trebuie înlăturate; crawl-area completă a site-ului va avea impact negativ, din cauza acestor tactici de manipulare a motoarelor de căutare;
- 11. obținerea de backlink-uri de calitate: backlink-urile care aduc trafic calificat în site sunt apreciate de roboți, au efecte benefice atât pentru optimizarea Ratei de Crawl, cât și pentru indexare și ranking;
- 12. aprecierile din Social Media: aprecierile de tip share atrag o mai bună crawl-are a link-urilor.
Citeste si: Ce este SEO tehnic? Elemente de bază și 10 tehnici de optimizare tehnică a unui website
Concluzie
Rata de Crawl sau Crawl Rate nu este un factor de ranking Google; optimizarea frecvenței cu care boții Google ne vizitează site-ul și optimizarea volumului de conținut pe care aceștia pot să-l citească nu are efecte directe în indexarea site-ului și în ranking.
Principalii factori de ranking Google sunt: volumul și calitatea backlink-urilor, calitatea și relevanța conținutului, aspecte tehnice și experiența utilizatorului.
Optimizarea Ratei de Crawl, împreună cu optimizarea tehnică, de conținut și a experienței utilizatorilor site-ului, va aduce mai mult trafic organic calificat în site și semnale importante pentru indexarea și rankingul în paginile de rezultate Google.
Info și sursă foto:
- https://support.google.com/webmasters/answer/48620?hl=en
- https://support.google.com/webmasters/answer/70897?hl=en
- https://www.link-assistant.com/news/technical-seo-guide.html (Masha Maksimava, 11.09.2018)
- https://colorwhistle.com/increase-google-crawl-rate/ (ANJANA, 21.08.2017)
- https://colorwhistle.com/website-load-time-optimisation/ (ANJANA, 14.08.2017)
- https://www.searchenginejournal.com/9-tips-optimize-crawl-budget-seo/176009/ (Aleh Barysevich, 14.09.2016)
