Noindex - kiedy i jak blokować indeksację strony w Google?
Co to jest noindex?
Noindex to dyrektywa skierowana do robotów wyszukiwarek, która mówi wprost: “nie dodawaj tej strony do indeksu”. Gdy Googlebot napotka noindex podczas crawlowania, nie uwzględnia danego URL-a w wynikach Google — dotyczy to również powierzchni wyszukiwania takich jak Discover, AI Overviews i AI Mode.
To jedno z podstawowych narzędzi w technicznym SEO, które pozwala kontrolować, które podstrony serwisu pojawiają się w wynikach wyszukiwania, a które powinny pozostać wyłącznie do użytku wewnętrznego lub pomocniczego.
Warto podkreślić, że noindex nie blokuje crawlowania. Google musi odwiedzić URL i odebrać odpowiedź serwera, aby znaleźć dyrektywę. W przypadku meta tagu odczytuje ją z HTML-a, a X-Robots-Tag może rozpoznać już w nagłówkach odpowiedzi. Różnica polega na tym, że strona nie trafia do indeksu i nie wyświetla się w wynikach wyszukiwania.
Jak wdrożyć noindex?
Istnieją dwa główne sposoby wdrożenia dyrektywy noindex: meta tag w kodzie HTML oraz nagłówek HTTP X-Robots-Tag.
Meta tag robots
Najpopularniejsza metoda. Meta tag umieszczamy w sekcji <head> dokumentu HTML:
|
|
Jeśli chcemy zablokować indeksację tylko dla konkretnej wyszukiwarki, podajemy jej nazwę zamiast robots:
|
|
Można łączyć dyrektywy - na przykład zablokować indeksację i jednocześnie podążanie za linkami:
|
|
Wariant noindex, follow jest szczególnie przydatny, gdy chcemy wykluczyć stronę z wyników, ale zachować możliwość przechodzenia po umieszczonych na niej linkach i przepływ sygnałów do innych URL-i. Follow jest zachowaniem domyślnym, jednak zapisanie go wprost czytelnie dokumentuje intencję wdrożenia. W Critical stosujemy ten wariant między innymi na pomocniczych listingach, które nadal uczestniczą w nawigacji serwisu.
Google nie gwarantuje, że po długim wyindeksowaniu URL-a będzie bezterminowo traktować jego linki tak samo jak linki ze strony indeksowanej. Dlatego noindex, follow pozostaje elementem świadomej architektury, a nie zamiennikiem linkowania ważnych produktów i kategorii z indeksowalnych stron.
Nagłówek HTTP X-Robots-Tag
Drugą metodą jest nagłówek HTTP, który serwer wysyła wraz z odpowiedzią. Ta metoda sprawdza się tam, gdzie nie mamy dostępu do kodu HTML - na przykład dla plików PDF, obrazów czy dokumentów.
Przykład konfiguracji w Apache (.htaccess) dla plików PDF:
|
|
Przykład dla Nginx:
|
|
X-Robots-Tag obsługuje te same dyrektywy indeksowania i wyświetlania co meta tag robots, ale daje większą elastyczność: można go stosować do dowolnego typu zasobów, nie tylko stron HTML. Google opisuje tę metodę przede wszystkim jako sposób kontrolowania plików PDF, obrazów i innych zasobów, w których nie da się umieścić meta tagu (specyfikacja robots i X-Robots-Tag).
Nagłówek odpowiedzi dociera przed treścią dokumentu. Dzięki temu Google może zastosować noindex bez szukania dyrektywy w HTML-u oraz pominąć renderowanie i wykonywanie JavaScriptu. To realna przewaga X-Robots-Tag nad meta tagiem, szczególnie przy ciężkich dokumentach lub stronach korzystających z JavaScriptu (Google opisuje ten etap przetwarzania w dokumentacji JavaScript SEO).
Czy X-Robots-Tag odciąża Googlebota?
Zastanawiasz się, czy dzięki dyrektywie w nagłówku Googlebot ma mniej pracy? Tak, ale niewiele mniej na etapie samego crawlowania. Może rozpoznać noindex przed analizą i renderowaniem dokumentu, ale nadal musi wysłać żądanie do URL-a i odebrać odpowiedź serwera. Google wprost zaznacza, że taki URL jest pobierany, a następnie odrzucany po znalezieniu dyrektywy.
X-Robots-Tag może więc ograniczyć dalsze przetwarzanie i renderowanie, ale nie jest bezpośrednim sposobem blokowania crawlowania ani gwarantowaną metodą oszczędzania crawl budgetu. W dłuższym okresie usunięcie zbędnych URL-i z indeksu może pośrednio pomóc crawlerom skupić się na innych stronach (mity i fakty dotyczące crawlowania).
Sprawdź meta robots bez wysyłania kodu strony
Wklej źródło HTML albo otwórz lokalny plik. Inspektor pokaże dyrektywy robots i googlebot, sprzeczne deklaracje oraz meta tagi umieszczone poza sekcją <head>. Nie sprawdza nagłówka HTTP X-Robots-Tag — ten trzeba zweryfikować osobno w odpowiedzi serwera.
Analiza lokalna w przeglądarce
Sprawdź meta robots i googlebot
Inspektor pokaże dyrektywy indeksowania zapisane w HTML i wychwyci sprzeczne deklaracje.
Wynik kontroli
Wymaga uwagi
Sprawdzone pozytywnie
Czego ten test nie sprawdza
- nagłówka HTTP
X-Robots-Tag, robots.txt ani dyrektyw wysłanych przez serwer, - tego, czy Google pobrał już aktualny kod — potwierdzisz to w inspekcji URL w Search Console.
Kiedy stosować noindex?
Nie każda strona w serwisie powinna być widoczna w Google. Noindex warto wdrożyć w następujących przypadkach:
- strony filtrów i nawigacji fasetowej - w sklepach internetowych kombinacje filtrów, takich jak kolor, rozmiar i cena, potrafią wygenerować tysiące adresów URL z powtarzalną lub bardzo podobną treścią. Indeksowanie wszystkich takich kombinacji prowadzi do duplikacji i marnowania crawl budgetu.
Noindexma sens dla adresów, które powinny pozostać dostępne dla użytkownika i Googlebota, ale nie trafiać do wyników. Jeżeli problemem jest również liczba żądań, samnoindexnie wystarczy — trzeba uporządkować linkowanie i rozważyć blokowanie zbędnych wzorców wrobots.txt. Szerzej opisujemy ten wybór w poradniku o nawigacji fasetowej, - strony paginacji - podstrony typu
/kategoria?page=2i/kategoria?page=3rzadko są wartościowymi landing pages i w Critical zwykle nie chcemy, żeby konkurowały w wynikach z pierwszą stroną kategorii. Nie oznacza to jednak automatycznegonoindex: kolejne strony często są jedynym miejscem, z którego Googlebot może przejść do produktów znajdujących się głębiej na liście. Jeżeli ważne produkty są odkrywalne także przez kategorie, linkowanie wewnętrzne i sitemapę,noindexpaginacji może być uzasadniony. Jeżeli nie — pozostaw osobne URL-e, zwykłe linki i self-canonical, a w indeksie wzmacniaj stronę główną kategorii, - strony tagów i archiwów - automatycznie generowane listy wpisów pogrupowane po tagach lub datach, które najczęściej duplikują treści dostępne w głównych kategoriach,
- strony wewnętrzne i techniczne - strony logowania, panele administracyjne, strony z wynikami wyszukiwania wewnętrznego, strony podziękowań po formularzach,
- thin content i treści czekające na poprawę - strony z bardzo ubogą treścią można tymczasowo oznaczyć
noindexdo czasu rozbudowania. Nie powinno to jednak zastępować docelowej decyzji: rozbudować, scalić, przekierować czy usunąć, - strony tymczasowe i testowe - na przykład landing page przed startem kampanii, strona w budowie albo wersja staging. W przypadku stagingu i treści poufnych
noindexpowinien być tylko dodatkową warstwą; właściwą ochronę daje uwierzytelnienie albo ograniczenie dostępu.
Noindex a disallow w robots.txt
To jedno z najczęściej mylonych zagadnień w SEO technicznym, a różnica jest fundamentalna.
Disallow w robots.txt blokuje crawlowanie - robot wyszukiwarki nie pobiera strony i nie czyta jej zawartości. Natomiast noindex wymaga dostępu do odpowiedzi URL-a, aby robot mógł znaleźć dyrektywę, ale zabrania dodania zasobu do indeksu.
Kluczowa konsekwencja: strona zablokowana przez disallow może mimo wszystko pojawić się w wynikach wyszukiwania. Jeśli inne strony linkują do zablokowanego URL-a, Google może go zaindeksować na podstawie tych linków - wyświetli wtedy w wynikach sam adres URL bez opisu, bo nie mógł przeczytać treści.
Po ponownym crawlu i przetworzeniu noindex Google usuwa URL z wyników. Nie dzieje się to natychmiast: robot musi mieć dostęp do adresu i ponownie odebrać dyrektywę.
Disallow (robots.txt) |
Noindex |
|
|---|---|---|
| Crawlowanie | Zablokowane | Dozwolone |
| Odczytanie odpowiedzi URL-a | Nie | Tak; meta tag wymaga odczytu HTML-a, a X-Robots-Tag jest widoczny już w nagłówkach |
| Usunięcie z indeksu | Nie gwarantuje | Tak |
| Zastosowanie | Blokowanie crawlowania | Kontrola nad indeksacją; możliwe ograniczenie dalszego przetwarzania |
Noindex, canonical, przekierowanie czy blokada dostępu?
| Sytuacja | Właściwe rozwiązanie |
|---|---|
| Strona ma działać dla użytkownika, ale nie pojawiać się w Google | noindex |
| Kilka URL-i pokazuje tę samą lub bardzo podobną treść | canonical do preferowanego adresu |
| Stary URL ma rzeczywisty, równoważny następnik | przekierowanie 301 |
| Treść została trwale usunięta i nie ma następcy | 404 lub 410 |
| Zasób jest prywatny albo poufny | uwierzytelnienie lub ograniczenie dostępu |
| Duża klasa zbędnych URL-i nie powinna być crawlowana | robots.txt i usunięcie prowadzących do niej linków |
Nie masz pewności, które adresy powinny zostać w indeksie?
Sprawdzimy raport indeksowania, sitemapę, canonicale i dyrektywy robots, a następnie rozpiszemy decyzje dla poszczególnych klas URL-i.
Częste błędy przy stosowaniu noindex
Noindex na stronach, które powinny być indeksowane
Jeden z najgroźniejszych błędów - przypadkowe dodanie noindex do ważnych podstron, np. strony głównej, kluczowych kategorii czy stron produktowych. Zdarza się to najczęściej po migracji serwisu, gdy konfiguracja ze środowiska testowego trafia na produkcję. Warto regularnie sprawdzać w Google Search Console raport “Strony”, filtrując po statusie “Wykluczono przez tag noindex”.
Jednoczesne użycie noindex i disallow
To klasyczna pułapka. Jeśli zablokujemy stronę w robots.txt (disallow) i jednocześnie dodamy na niej meta tag noindex, Google nie będzie mógł przeczytać dyrektywy noindex, bo robots.txt uniemożliwia mu crawlowanie. W efekcie strona może nadal pojawiać się w indeksie - dokładnie odwrotnie do naszych zamierzeń.
Zasada jest prosta: jeśli chcesz usunąć stronę z indeksu, użyj noindex i pozwól robotom ją crawlować. Nie blokuj jej jednocześnie w robots.txt.
Brak weryfikacji po wdrożeniu
Po dodaniu noindex warto zweryfikować, czy dyrektywa działa poprawnie. Można to zrobić za pomocą narzędzia “Sprawdź URL” w Google Search Console lub sprawdzając nagłówki HTTP odpowiedzi serwera. Meta tag powinien znajdować się w sekcji <head>. Google deklaruje obecnie, że respektuje go również w <body>, ale nie warto opierać na tym wdrożenia: prawidłowe umieszczenie w <head> jest czytelniejsze, zgodne ze standardową strukturą dokumentu i łatwiejsze do kontrolowania.
