Noindex - kiedy i jak blokować indeksację strony w Google?
Table of Contents
Co to jest noindex?
Noindex to dyrektywa skierowana do robotów wyszukiwarek, która mówi wprost: “nie dodawaj tej strony do indeksu”. Gdy Googlebot napotka noindex podczas crawlowania, przetwarza stronę, ale nie uwzględnia jej w wynikach wyszukiwania. Strona przestaje być widoczna dla użytkowników szukających informacji w Google.
To jedno z podstawowych narzędzi w technicznym SEO, które pozwala kontrolować, które podstrony serwisu pojawiają się w wynikach wyszukiwania, a które powinny pozostać wyłącznie do użytku wewnętrznego lub pomocniczego.
Warto podkreślić, że noindex nie blokuje crawlowania. Google nadal odwiedza stronę z noindex, czyta jej zawartość i podąża za linkami (chyba że dodamy osobno dyrektywę nofollow). Różnica polega na tym, że strona nie trafia do indeksu i nie wyświetla się w wynikach wyszukiwania.
Jak wdrożyć noindex?
Istnieją dwa główne sposoby wdrożenia dyrektywy noindex: meta tag w kodzie HTML oraz nagłówek HTTP X-Robots-Tag.
Meta tag robots
Najpopularniejsza metoda. Meta tag umieszczamy w sekcji <head> dokumentu HTML:
|
|
Jeśli chcemy zablokować indeksację tylko dla konkretnej wyszukiwarki, podajemy jej nazwę zamiast “robots”:
|
|
Można łączyć dyrektywy - na przykład zablokować indeksację i jednocześnie podążanie za linkami:
|
|
Wariant noindex, follow jest szczególnie przydatny, gdy chcemy wykluczyć stronę z wyników, ale zachować przepływ link juice przez linki na niej umieszczone.
Nagłówek HTTP X-Robots-Tag
Drugą metodą jest nagłówek HTTP, który serwer wysyła wraz z odpowiedzią. Ta metoda sprawdza się tam, gdzie nie mamy dostępu do kodu HTML - na przykład dla plików PDF, obrazów czy dokumentów.
Przykład konfiguracji w Apache (.htaccess) dla plików PDF:
|
|
Przykład dla Nginx:
|
|
X-Robots-Tag działa identycznie jak meta tag robots, ale daje większą elastyczność - można go stosować do dowolnego typu zasobów, nie tylko stron HTML.
Kiedy stosować noindex?
Nie każda strona w serwisie powinna być widoczna w Google. Noindex warto wdrożyć w następujących przypadkach:
- strony filtrów i nawigacji fasetowej - w sklepach internetowych kombinacje filtrów (kolor, rozmiar, cena) generują tysiące adresów URL z powtarzalną lub bardzo podobną treścią. Indeksowanie ich prowadzi do duplikacji i marnowania budżetu crawlowania,
- strony paginacji - podstrony typu /kategoria?page=2, /kategoria?page=3 itd. rzadko wnoszą unikalną wartość do indeksu. Lepiej zostawić indeksowanie stronie głównej kategorii,
- strony tagów i archiwów - automatycznie generowane listy wpisów pogrupowane po tagach lub datach, które najczęściej duplikują treści dostępne w głównych kategoriach,
- strony wewnętrzne i techniczne - strony logowania, panele administracyjne, strony z wynikami wyszukiwania wewnętrznego, strony podziękowań po formularzach,
- thin content - strony z bardzo ubogą treścią, które nie dostarczają wartości użytkownikom. Zamiast je usuwać, można tymczasowo oznaczyć noindex do czasu rozbudowania contentu,
- strony tymczasowe i testowe - landing page w fazie testów, strony w budowie, wersje staging.
Noindex a disallow w robots.txt
To jedno z najczęściej mylonych zagadnień w SEO technicznym, a różnica jest fundamentalna.
Disallow w robots.txt blokuje crawlowanie - robot wyszukiwarki nie odwiedza strony i nie czyta jej zawartości. Natomiast noindex pozwala robotowi odwiedzić i przeczytać stronę, ale zabrania dodania jej do indeksu.
Kluczowa konsekwencja: strona zablokowana przez disallow może mimo wszystko pojawić się w wynikach wyszukiwania. Jeśli inne strony linkują do zablokowanego URL-a, Google może go zaindeksować na podstawie tych linków - wyświetli wtedy w wynikach sam adres URL bez opisu, bo nie mógł przeczytać treści.
Noindex daje pewność usunięcia z indeksu, ponieważ Google musi najpierw przeczytać stronę, żeby zobaczyć dyrektywę, a po jej znalezieniu usuwa stronę z wyników.
| Disallow (robots.txt) | Noindex | |
|---|---|---|
| Crawlowanie | Zablokowane | Dozwolone |
| Odczytanie treści | Nie | Tak |
| Usunięcie z indeksu | Nie gwarantuje | Tak |
| Zastosowanie | Oszczędność budżetu crawlowania | Kontrola nad indeksacją |
Częste błędy przy stosowaniu noindex
Noindex na stronach, które powinny być indeksowane
Jeden z najgroźniejszych błędów - przypadkowe dodanie noindex do ważnych podstron, np. strony głównej, kluczowych kategorii czy stron produktowych. Zdarza się to najczęściej po migracji serwisu, gdy konfiguracja ze środowiska testowego trafia na produkcję. Warto regularnie sprawdzać w Google Search Console raport “Strony”, filtrując po statusie “Wykluczono przez tag noindex”.
Jednoczesne użycie noindex i disallow
To klasyczna pułapka. Jeśli zablokujemy stronę w robots.txt (disallow) i jednocześnie dodamy na niej meta tag noindex, Google nie będzie mógł przeczytać dyrektywy noindex, bo robots.txt uniemożliwia mu crawlowanie. W efekcie strona może nadal pojawiać się w indeksie - dokładnie odwrotnie do naszych zamierzeń.
Zasada jest prosta: jeśli chcesz usunąć stronę z indeksu, użyj noindex i pozwól robotom ją crawlować. Nie blokuj jej jednocześnie w robots.txt.
Brak weryfikacji po wdrożeniu
Po dodaniu noindex warto zweryfikować, czy dyrektywa działa poprawnie. Można to zrobić za pomocą narzędzia “Sprawdź URL” w Google Search Console lub sprawdzając nagłówki HTTP odpowiedzi serwera. Sam meta tag powinien znajdować się w sekcji <head> - umieszczenie go w <body> sprawi, że zostanie zignorowany.
FAQ
Jak szybko Google reaguje na noindex?
Nie ma gwarancji konkretnego czasu. Google musi najpierw ponownie odwiedzić (zaindeksować) stronę, żeby zauważyć dyrektywę noindex. Zwykle trwa to od kilku dni do kilku tygodni, w zależności od częstotliwości crawlowania serwisu. Można przyspieszyć ten proces, zgłaszając URL do ponownego indeksowania w Google Search Console.
Czy noindex wpływa na pozycjonowanie pozostałych stron?
Bezpośrednio nie - noindex dotyczy wyłącznie strony, na której jest umieszczony. Pośrednio jednak może pomóc, bo eliminacja słabych stron z indeksu poprawia ogólną jakość serwisu w oczach algorytmów Google. Mniej stron z thin content oznacza wyższy średni poziom jakości witryny.
Czy można cofnąć noindex?
Tak, wystarczy usunąć meta tag lub nagłówek X-Robots-Tag. Po kolejnym crawlowaniu Google zauważy brak dyrektywy i ponownie doda stronę do indeksu. Warto pamiętać, że odzyskanie poprzednich pozycji w wynikach wyszukiwania może zająć czas - nie jest gwarantowane, że strona wróci na te same pozycje, które zajmowała przed zastosowaniem noindex.
Czym różni się noindex od canonical?
Canonical wskazuje preferowaną wersję strony w przypadku duplikatów - mówi Google “zaindeksuj tamtą stronę zamiast tej”. Noindex mówi “w ogóle nie indeksuj tej strony”. Canonical jest lepszym rozwiązaniem, gdy mamy duplikaty treści i chcemy zachować jedną wersję w indeksie. Noindex stosujemy wtedy, gdy strona w ogóle nie powinna pojawiać się w wynikach wyszukiwania.
Nie masz pewności, co powinno być noindex?
Sprawdzimy indeksację, sitemapę i dyrektywy robots, żeby odblokować wartościowe strony i schować te, które marnują crawl budget.