Na jakie pytania odpowiada to hasło
- Czy crawl budget dotyczy mojej strony?
- Jak wykorzystać crawl budget lepiej?
Budżet crawlingowy (crawl budget): wyjaśnienie
Dla serwisów do kilkudziesięciu tysięcy adresów crawl budget rzadko jest problemem – Googlebot spokojnie skanuje całość. Realna optymalizacja zaczyna się przy dużych sklepach, portalach z setkami kombinacji filtrów i serwisach generujących masowo adresy (paginacja, sortowania, parametry utm, przekierowania łańcuchowe). Wtedy słabe adresy „konsumują” budżet, a kluczowe strony nowej kolekcji czekają tygodniami na przeskanowanie – i o tym nie wiesz, bo w GSC wygląda, jakby „wszystko było skanowane”.
Działania, które realnie pomagają: ograniczenie adresów z parametrami (blokady w robots.txt po przemyśleniu, kanonicalizacja sortowań), wyłączenie indeksacji stron wyników wyszukiwania wewnętrznego, spójne statusy (410/404 dla treści martwych, 301 na cel końcowy, bez pętli), szybki serwer (spadek czasu odpowiedzi podnosi częstotliwość skanowania), aktualna sitemap XML zawierająca tylko indeksowalne kanoniczne adresy. Monitoruj w GSC raport Statystyki indeksowania (Crawl Stats): tam widać odpowiedzi serwera, podział skanowania na typy stron i to, czy Googlebot nie marnuje się na duplikaty.