Crawl

Robots.txt - jak kontrolować dostęp robotów do Twojej strony?

Czym jest robots.txt, jak go skonfigurować, jakie dyrektywy są dostępne i jak unikać najczęstszych błędów blokujących indeksację.