Na jakie pytania odpowiada to hasło
- Czy adresy z filtrami blokować w robots.txt?
- Dlaczego Google indeksuje tysiące adresów sortowań i filtrów?
Filtry i prezentacje a crawl: wyjaśnienie
Każda kombinacja filtrów (kolor, rozmiar, cena, producent) i sortowań (cena rosnąco, popularność, nowości) generuje odrębny URL. Kategoria z dziesięcioma filtrami po kilka opcji potrafi wygenerować dziesiątki tysięcy adresów z tej samej treści – a Googlebot, widząc linki do wszystkich z nich, chętnie je przeczesuje.
Efekt: budżet crawlingowy leje się na wariacje jednej kategorii, a nowe produkty i realne podstrony czekają na skanowanie. W praktyce audytów to jeden z dwóch najczęstszych powodów problemów z indeksacją obok parametrów URL – sklep "nie indeksuje się", bo robot ma tysiąc lepszych zdaniem kombinacji do skanowania.
Kolejność decyzji dla każdego typu URL-a: najpierw ustal, czy kombinacja ma realny wolumen wyszukiwań (np. "czarne buty do biegania" ma; "sortowanie po długości wkładki" nie). Kombinacje z wolumenem – dopuszczone do indeksacji, z własnym title, unikalnym tekstem i linkowaniem wewnętrznym; reszta – wyłączona z indeksu (noindex), z zakazem w robots.txt dla parametrów czysto technicznych, z rel=canonical na wersję bazową, gdzie to sensowne, i bez linków wewnętrznych prowadzących do setek wariantów sortowań (paginacja i sortowanie nie powinny generować linków dofollow do każdego wariantu).