Na jakie pytania odpowiada to hasło
- Jak powinien wyglądać poprawny robots.txt?
- Czy robots.txt może zaszkodzić SEO?
Robots.txt: wyjaśnienie
Robots.txt może zaszkodzić fatalnie – to dyrektywa o najwyższej sile: jeden błędny Disallow: / i serwis znika z możliwości skanowania (widzieliśmy to na produkcji po wdrożeniach bez review).
Zasady bezpiecznej konfiguracji: blokuj tylko to, co świadomie chcesz wyłączyć ze skanowania (obszary administracyjne, wyniki wyszukiwania wewnętrznego, endpointy techniczne bez wartości treściowej); nie blokuj CSS i JS potrzebnych do renderu; nie używaj robots.txt do deindeksacji (to zadanie noindex – bot musi wejść na stronę, żeby noindex zobaczyć); utrzymuj referencję do sitemap w pliku (Sitemap: https://.../sitemap.xml).
Testowanie: GSC ma tester robots.txt, a każde wdrożenie zmiany powinno przechodzić przez review SEO przed publikacją na produkcji.
Szczególny temat w 2026: dyrektywy dla crawlerów AI. robots.txt obsługuje różne user-agenty – możesz (i powinieneś, jeśli chcesz świadomie zarządzać widocznością w AI) decydować, czy GPTBot, ClaudeBot, PerplexityBot i Google-Extended mają dostęp do treści. Blokada wszystkich to decyzja „zero widoczności w AI”; pozwolenie to inwestycja w cytowalność.
Nasz standard dla baz wiedzy: dostęp otwarty dla crawlerów AI z zachowaniem blokad na obszary techniczne – sprawdzaj też sekcję „AI access audit” w naszych checklistach.