Într-un univers digital cu miliarde de pagini web, atenția motoarelor de căutare este o resursă limitată. Mulți proprietari de site-uri se concentrează exclusiv pe calitatea conținutului, însă omit un aspect critic: cum și cât de des ajunge Google să vadă acel conținut. Aici intervine conceptul de buget de crawl sau crawl budget.
Capitole principale
Dacă asemănăm un website cu o bibliotecă virtuală, bugetul de crawl reprezintă timpul pe care un vizitator în acest caz robotul Google) îl are la dispoziție pentru a parcurge toate rafturile cu cărți. Dacă vizitatorul își pierde timpul cu pagini irelevante sau se blochează în fața unor uși închise, s-ar putea să nu ajungă niciodată la paginile cele mai valoroase ale site-ului.
În continuare, vorbim despre ce înseamnă cu adevărat bugetul de crawl, de ce este vital pentru strategia SEO și cum putem să optimizăm site-ul pentru a ne asigura că paginile importante ale site-ului sunt găsite și crawl-ate (scanate sau citite) de motoarele de căutare.
Ce este Bugetul de Crawl - Crawl Budget?
Bugetul de crawl este numărul de pagini pe care motoarele de căutare le scanează într-un site web într-un anumit interval de timp. Acesta nu se referă doar la paginile web, ci la orice document sau fișier pe care motoarele de căutare îl scanează.
Câteva exemple: fișiere JavaScript și CSS, variante de pagini pentru mobil, variante hreflang și fișiere PDF.
Conform Google Search Central, bugetul de crawl este definit ca numărul de adrese URL (pagini) dintr-un site web, pe care Googlebot poate și vrea să le crawleze, cuprinzând atât capacitatea de crawl (limitele serverului), cât și cererea de crawl (consistența și frecvența actualizărilor conținutului din paginile site-ului).
Acesta reprezintă resursele maxime pe care Google le alocă pentru indexarea unui site. Bugetul de crawl este un termen comun în SEO; aceste mai este numit și crawl space sau crawl time.
Citește și: Ce este SEO tehnic? Elemente de bază pentru optimizarea tehnică
Cum alocă motoarele de căutare bugetul de crawl site-urilor?
Motoarele de căutare nu dispun de resurse nelimitate și își distribuie resursele între milioane de site-uri web. Astfel, au nevoie de o modalitate de a prioritiza efortul de scanare. Alocarea unui buget de crawl limitat pentru fiecare site, le ajută să-și prioritizeze resursele conform unor criterii.
Bugetul de crawl se bazează pe doi factori: limita de crawl și cererea de crawl (de scanare a paginilor din site).
- Limita de crawl – cât suportă serverul care găzduiește site-ul (host load); cât de multă scanare poate suporta un site web și care sunt preferințele proprietarului.
- Cererea de crawl – programarea scanării: care sunt URL-urile ce merită cel mai mult să fie scanate în mod regulat, pe baza popularității acestora și a frecvenței cu care sunt actualizate.
Privit în acest mod, bugetul de scanare sau bugetul de crawl este o resursă finită; orice secundă de procesare consumată pe o pagină web inutilă, irelevantă sau care nu funcționează, este o secundă pierdută pentru întregul website.
Cum funcționează limita de crawl - host load?
Limita de crawl sau încărcarea serverului (host load), este o parte importantă a bugetului de crawl. Crawlerele motoarelor de căutare sunt concepute pentru a preveni supra-încărcarea unui server web cu solicitări, așa că sunt atente la acest aspect. Cum determină motoarele de căutare limita de scanare a unui site? Există o varietate de factori care influențează limita de crawl.
De exemplu:
- Semne ale unui server slab: cât de des URL-urile solicitate expiră (timeout) sau returnează erori de server 5xx.
- Numărul de site-uri care rulează pe același server: dacă site-ul tău rulează pe o platformă de hosting partajată (shared) împreună cu alte sute de site-uri și ai un site destul de mare, limita de scanare pentru site-ul tău este foarte limitată, din cauză că este determinată la nivel de gazdă. Practic împărțim bugetul de crawl al serverului cu toate celelalte site-uri pe care le găzduiește. De aceea, este recomandat să avem site-ul pe un server dedicat.
Un alt lucru de luat în considerare este existența site-urilor care au versiuni separate pentru mobil și desktop și care rulează pe același server. Acestea au, de asemenea, o limită de scanare partajată.
Citește și: Mobile SEO – optimizarea site-ului pentru mobil. Mobile SEO best practices
Cum funcționează limita de crawl - host load?
Cererea de scanare (de crawling), sau programarea scanării, se referă la determinarea valorii rescanării URL-urilor și este determinată de mai mulți factori, printre care:
- Popularitatea: câte linkuri interne și externe are o pagină (un URL), dar și numărul de interogări pentru care aceasta este poziționată în rezultatele la căutări.
- Prospețimea: cât de des este actualizat conținutul paginii.
- Tipul paginii: de exemplu, o pagină de categorie de produse va fi scanată cu o frecvență mai mare, față de o pagină de termeni și condiții.
A forța roboții de căutare Google să revină pe site-ul dvs. atunci când nu există nimic nou și important de găsit (de exemplu, o schimbare semnificativă) nu este o strategie bună, iar ei sunt destul de inteligenți în a stabili dacă frecvența modificării acestor pagini adaugă cu adevărat valoare.
Cea mai bună strategie este să vă concentrați pe a face paginile mai relevante, adăugând mai multe informații utile, îmbogățind conținutul paginilor: Aceste pagini îmbunătățite și optimizate vor declanșa în mod natural mai multe interogări în mod implicit, atâta timp cât se menține accentul pe un subiect de interes.
De ce trebuie să ne preocupe Bugetul de Crawl?
Noi vrem ca motoarele de căutare să găsească și să înțeleagă cât mai multe dintre paginile din site-ul nostru și vrem să facă acest lucru cât mai repede posibil. Când adăugăm pagini noi în site și le actualizăm pe cele existente, este important ca motoarele de căutare să le găsească și să le indexeze rapid.
Dacă irosim bugetul de crawl, motoarele de căutare nu vor putea să crawl-eze, să scaneze site-ul complet. Acestea vor consuma timpul – bugetul de crawl sau limita de scanare cu pagini din site care nu sunt importante și vor omite paginile care aduc valoare reală site-ului în ansamblu.
Care este bugetul de scanare pentru site-ul meu?
Dintre toate motoarele de căutare, Google este cel mai transparent în ceea ce privește bugetul de crawl. Nu putem să vedem o cifră fixă numită „buget de crawl”, dar putem să monitorizăm cât de intens scanează Google site-ul astfel:
- 1. Accesăm Google Search Console.
- 2. Mergem la Settings > Crawl stats > Open report
- 3. Raportul ne arată numărul total de solicitări, dimensiunea totală a datelor scanate și timpul mediu de răspuns al serverului.
De asemenea, putem să verificăm log-urile serverului, pentru a vedea cât de des crawlerele Google vizitează site-ul. Este util să comparăm aceste statistici cu cele raportate în Google Search Console.
Cum optimizăm bugetul de crawl?
Optimizarea bugetului de crawl înseamnă să ne asigurăm că limita de scanare a site-ului nu se pierde cu pagini care nu funcționează (404 error), linkuri redirectate și pagini care nu sunt importante.
Majoritatea site-urilor care pierd bugetul de crawl, au aceleași tipuri de probleme:
- URL-uri accesibile cu parametri sau filtre: un exemplu de URL cu parametru este www.example.com/toys/cars?color=black. În acest caz, parametrul este utilizat pentru a stoca selecția unui vizitator într-un filtru de produse.
- Conținut duplicat: sunt paginile care au conținut foarte apropiat sau identic; de exemplu sunt pagini copiate, pagini generate de căutările interne (în site) și pagini de etichete (tag-uri).
- Conținut de calitate slabă: pagini cu foarte puțin conținut sau pagini care nu aduc nicio valoare site-ului în ansamblu.
- Linkuri care nu funcționează și redirecționări: linkurile sau URL-urile paginilor care nu mai există (cele cu 404 error); linkurile redirecționate către alte URL-uri.
- Includerea URL-urilor incorecte în sitemap-urile XML: paginile neindexabile, cum ar fi URL-urile care afișează la interogare un cod de eroare de tipul 3xx, 4xx și 5xx, nu ar trebui incluse în fișierul sitemap XML.
- Pagini cu timp de încărcare mare / timeout: paginile care se încarcă greu sau nu se încarcă deloc au un impact negativ asupra bugetului de crawl; acestea sunt un semn pentru motoarele de căutare că site-ul nu poate gestiona solicitarea, motiv pentru care ar putea să ajusteze limita de scanare.
- Număr mare de pagini neindexabile: site-ul conține multe pagini care nu sunt indexabile.
- Structură deficitară a linkurilor interne: dacă structura linkurilor interne nu este configurată corect, motoarele de căutare s-ar putea să nu acorde suficientă atenție unora dintre paginile site-ului.
Citește și: Crawlabilitatea – ce este și cum optimizăm crawlarea site-ului?
URL-urile cu parametri
În cele mai multe cazuri, URL-urile cu parametri nu ar trebui să fie accesibile pentru motoarele de căutare, pentru că ele pot să genereze un volum infinit de URL-uri.
URL-urile cu parametri sunt utilizate în mod obișnuit la implementarea filtrelor de produse pe site-urile de tip eCommerce. În cazul acestor URL-uri generate de filtre, în magazinele online, este important să ne ne asigurăm că nu sunt accesibile motoarelor de căutare.
Cum putem să facem inaccesibile URL-urile cu parametri pentru motoarele de căutare:
- Folosim fișierul Robots.txt pentru a instrui motoarele de căutare să nu acceseze astfel de URL-uri. Dacă acest lucru nu este o opțiune din anumite motive, folosim setările de gestionare a parametrilor URL din Google Search Console și Bing Webmaster Tools pentru a instrui Google și Bing cu privire la paginile pe care să nu le scaneze.
- O altă soluțue este să avem în codul sursă al acestor pagini generate de filtre tag-ul Meta Name Robots = “noindex, follow”.
Este important să NU implementăm ambele soluții; fie blocăm paginile cu variabile (generate de filtre) din fișierul Robots.txt, fie integrăm în codul sursă un tag care blochează inddexarea acestor pagini. La fel de important este să nu combinăm aceste soluții cu tag-ul CANINICAL, pentru a evita conflictul între aceste comenzi și riscul de a dezindexa categoriile principale ale site-ului.
Dacă implementăm ambele soluții, roboții vor indexa aceste pagini care generează un conținut de tip SPAM. Problema aici este ca, fiind blocate paginile de filtre din Robots.txt, Google nu poate intra în codul fiecarei pagini să citească tagul care blochează idexarea paginilor "noindex, follow" și nici tagul CANONICAL.
Imagine generată cu Gemini AI.
CONSECINȚE
Indexarea bruscă a unui volum foarte mare de pagini de filtre (irelevante și nocive dpdv SEO) generează o problemă severă numită Index Bloat = umflarea forțată a indexului Google cu pagini artificiale, generate automat și irelevante de tip SPAM).
Acest lucru afectează în mod direct rankingul / rezultatele căutărilor, din cauza că Google își diluează încrederea (autoritatea) pe sute de mii de pagini inutile, în loc să o concentreze pe paginile corecte și relevante, de categorii și de produse.
Conținutul duplicat și conținutul de calitate slabă
Nu vrem ca motoarele de căutare să consume bugetul de crawl cu pagini care au conținut duplicat, așadar este important să reducem pe cât posibil conținutul duplicat din site, astfel:
- Configurarea redirecționărilor la nivel de site pentru toate variantele de domeniu (HTTP; HTTPS; non-WWW și WWW).
- Paginile generate la căutările în site să fie inaccesibile (ne-indexabile) pentru motoarele de căutare folosind fișierul Robots.txt.
- Dezactivarea paginilor dedicate pentru imagini (de exemplu: paginile de tip atașament din WordPress).
- O strategie clară pentru utilizarea taxonomiilor, cum ar fi categoriile și etichetele (tag-urile).
Paginile cu foarte puțin conținut sau care au conținut de calitate slabă nu sunt interesante pentru motoarele de căutare. Un exemplu de conținut de calitate slabă este o secțiune FAQ (întrebări frecvente) cu linkuri pentru a afișa întrebările și răspunsurile, unde fiecare întrebare și răspuns deschide altă pagină, cu URL separat.
Linkuri cu 404 error și redirecționări
Linkurile care nu funcționează (404 error) și lanțurile lungi de redirecționări sunt fundături pentru motoarele de căutare. Similar browserelor, Google pare să urmărească un maximum de 5 redirecționări în lanț într-o singură scanare (ar putea relua scanarea mai târziu). Nu este clar cât de bine gestionează alte motoare de căutare redirecționările subsecvente, dar este important să evităm complet lanțurile de redirecționări și să păstrăm utilizarea redirecționărilor la minimum.
Prin remedierea linkurilor cu erori și a linkurilor redirecționate, vom recupera rapid bugetul de crawl irosit. Pe lângă recuperarea bugetului de crawl, îmbunătățim semnificativ și experiența utilizatorilor.
Redirecționările, și în special lanțurile de redirecționări, necesită un timp mai mare de încărcare a paginilor web și, prin urmare, afectează experiența utilizatorilor.
Toate URL-urile incluse în fișierele sitemap XML trebuie să fie pagini indexabile. În special în cazul site-urilor mari, motoarele de căutare se bazează foarte mult pe sitemap XML pentru a găsi toate paginile. Dacă aceste fișiere sitemap XML sunt aglomerate cu pagini care, de exemplu, nu mai există sau sunt redirecționate, cu siguranță se irosește bugetul de crawl.
Trebuie să verificăm în mod regulat dacă fișierele sitemap XML listează URL-uri neindexabile care nu își au locul acolo și, de asemenea, dacă avem pagini valoroase și indexabile care lipsesc din listarea în XML.
Google Search Console
Cum găsim rapoartele cu problemele din fișierele sitemap XML în Google Search Console:
- 1. Autentifică-te în Google Search Console
- 2. Click pe Indexing > Sitemaps
- 3. Click pe sitemap XML
- 4. Click pe SEE PAGE INDEXING
Bing Webmaster Tools
- 1. Autentifică-te în contul tău Bing Webmaster Tools
- 2. Click pe fila Configure My Site
- 3. Click pe fila Sitemaps
Pagini cu timp de încărcare mare / timeout
Paginile cu timp de încărcare mare / timeout afectează procesul de scanare (de crawl)
Când paginile site-ului au timpi mari de încărcare sau expiră (timeout), motoarele de căutare pot vizita mai puține pagini în limita de crawl alocată site-ului frespectiv. Pe lângă acest dezavantaj, timpii mari de încărcare și timeout-urile afectează semnificativ experiența utilizatorilor, ducând la o rată de conversie mai mică.
Timpii de încărcare a paginii de peste 2 secunde reprezintă o problemă; în mod ideal, o pagină web se încarcă în mai puțin de o secundă. Putem să verificăm durata de încărcare a unei pagini web cu instrumente precum Pingdom, WebPagetest sau GTmetrix.
Google raportează timpul de încărcare a paginii atât în Google Analytics (la Behavior -> Site Speed), cât și în Google Search Console la Crawl -> Crawl Stats.
Google Search Console și Bing Webmaster Tools raportează ambele timeout-urile paginilor. În Google Search Console, acestea pot fi găsite la Settings -> Crawl Stats, iar în Bing Webmaster Tools la Reports & Data -> Crawl Information.
Număr mare de pagini neindexabile
Dacă un website conține un număr mare de pagini neindexabile și acestea sunt accesibile motoarelor de căutare, practic motoarele de căutare consumă bugetul de crawl să trieze paginile irelevante.
Considerăm următoarele tipuri ca fiind pagini neindexabile:
• Redirecționări (3xx)
• Pagini care nu pot fi găsite (4xx)
• Pagini cu erori de server (5xx)
• Pagini care nu sunt indexabile (pagini care conțin directiva robots noindex sau URL canonical)
Pentru a afla dacă avem un număr mare de pagini neindexabile, verificăm numărul total de pagini pe care crawlerele le-au găsit în site-ul nostru și cum sunt acestea repartizate.
Structură deficitară a linkurilor interne
Modul în care paginile din site sunt legate între ele cu linkuri interne are un rol major în optimizarea bugetului de crawl. Numim acest lucru structura de linkuri interne a site-ului. Paginile care au puține linkuri interne primesc mult mai puțină atenție de la motoarele de căutare decât paginile care primesc multe linkuri din alte pagini ale site-ului.
Pentru optimizarea bugetului de crawl, ne vom asigura că cele mai importante pagini din site primesc multe linkuri interne. Paginile care au fost scanate recent tind să se poziționeze mai bine în motoarele de căutare.
De exemplu, dacă avem un articol de blog din 2011 și care atrage mult trafic organic, ne asigurăm că păstrezi linkurile către el din alte pagini / articole. Pentru ca s-au adunat multe articole noi în blog de-a lungul anilor, acest articol din 2011 va fi împins automat mai jos, în structura de linkuri interne a site-ului.
Cum crești bugetul de scanare al site-ului tău?
În timpul unui interviu între Eric Enge și fostul șef al echipei de webspam de la Google, Matt Cutts, a fost adusă în discuție relația dintre autoritate și bugetul de scanare:
„Cel mai bun mod de a privi lucrurile este că numărul de pagini pe care le scanăm este aproximativ proporțional cu PageRank-ul tău. Deci, dacă ai multe linkuri care intră pe pagina ta principală, cu siguranță o vom scana. Apoi, pagina ta principală poate face link către alte pagini, iar acelea vor primi PageRank și le vom scana și pe acelea. Pe măsură ce ajungi tot mai adânc în site-ul tău, totuși, PageRank-ul tinde să scadă.” – Matt Cutts
Deși Google a renunțat să mai actualizeze public valorile PageRank ale paginilor, credem că (o formă de) PageRank este încă folosită în algoritmii lor. Deoarece PageRank este un termen greșit înțeles și confuz, să-l numim autoritatea paginii. Concluzia de aici este că Matt Cutts spune practic: există o relație destul de puternică între autoritatea paginii și bugetul de scanare.
Citește și: Ce înseamnă PageRank, primul algoritm de ranking Google?
Deci, pentru a crește bugetul de scanare al site-ului tău, trebuie să crești autoritatea site-ului tău. O mare parte din acest lucru se realizează prin obținerea de mai multe linkuri de la site-uri externe. Mai multe informații despre acest subiect pot fi găsite în ghidul nostru de link building.
Imagine generată cu Gemini AI.
Concluzie - optimizarea bugetului de crawl
În concluzie, optimizarea bugetului de crawl nu este doar un exercițiu tehnic de mentenanță, ci o componentă strategică a strategiei de optimizare SEO. Așa cum am văzut, Google nu are resurse infinite; el își alocă “atenția” acolo unde găsește eficiență, viteză și autoritate.
Prin eliminarea erorilor 404, gestionarea corectă a parametrilor URL și îmbunătățirea vitezei de încărcare a serverului, îi transmitem motorului de căutare că site-ul merită vizitat des.
Reține că un buget de crawl sănătos pornește de la o bază tehnică solidă, dar se hrănește din autoritate!
Cu cât site-ul oferă mai multă valoare și atrage linkuri de calitate, cu atât Google va fi mai dispus să revină și să prioritizeze conținutul din paginile site-ului.
Citește și: Ce trebuie să știm despre Link Building?
