Na jakie pytania odpowiada to hasło
- Czy analiza logów jest potrzebna w małym SEO?
- Jak sprawdzić, jak często Googlebot skanuje moją stronę?
Logi serwera w analizie SEO: wyjaśnienie
Logi to jedyny pomiar z perspektywy serwera, a nie z narzędzia pośrednika: widzisz dokładnie, ile zapytań zrobił Googlebot, na które podstrony, z jakim statusem i co odrzucił.
W małych serwisach wystarczy proste: liczba zapytań Googlebota tygodniowo, udział błędów 5xx, czy skanuje w ogóle nowe URL-e. W dużych serwisach analiza logów jest obowiązkowa, bo tam budżet crawlingowy jest realnym zasobem: typowe znaleziska to skanowanie tysięcy URL-i z parametrami, sesyjnych i faceted (filtry, sortowanie), które spalają budżet, zanim robot dotrze do nowych treści; skanowanie 301-ek zamiast docelowych adresów; oraz podstrony z 200, do których robot nie wraca od miesięcy – to najszybszy sposób wykrycia strony umierającej indeksacyjnie.
Praktyka: logi z 30 dni, parsowanie user-agentów (Googlebot weryfikowany reverse DNS, bo udawanie bota to rutyna), grupowanie po typach URL-i i statusach.
Narzędzia: od skryptów w Pythonie po dedykowane (Screaming Frog ma moduł log analizera, istnieją też gotowe narzędzia).
Uwaga na prawo: logi zawierają IP i user-agenty, więc ich przechowywanie podlega RODO – agreguj i anonimizuj po analizie.