Otwórz plik
Wejdź na adres swojastrona.pl/robots.txt. To zwykły plik tekstowy, otwiera się w przeglądarce jak strona i każdy może go zobaczyć.
Ostatnia aktualizacja:
Budujemy Agentów AI, którzy pracują za Ciebie 24/7.
GPTBot, ClaudeBot, PerplexityBot: czy Twoja strona ich wpuszcza?
Plik robots.txt decyduje, które roboty mogą przeczytać Twoją stronę. Cztery nazwy, które warto w nim znaleźć, to GPTBot (ChatGPT), ClaudeBot (Claude), PerplexityBot (Perplexity) i Google-Extended (modele Gemini). Najpierw sprawdź wpis User-agent z gwiazdką: jeśli stoi pod nim Disallow ze znakiem ukośnika, blokada obejmuje wszystkie roboty, także te cztery, nawet gdy nie ma ich w pliku z nazwy. Wpuszczenie botów AI nie obniża Twoich pozycji w wynikach wyszukiwania Google.
- Twoje dane zostają w UE
- RODO i AI Act
- Płacisz za efekt
Zamów Sprint DiagnostycznyDostęp botów AI to jeden z punktów Sprintu Diagnostycznego. Sprawdzamy w nim także blokady poza plikiem i to, czy Twoja strona pokazuje treść bez uruchamiania skryptów.
- 3kroki wdrożenia
- 8najczęstszych pytań
Sprzedajesz, a robots.txt kasuje Cię z odpowiedzi AI?
Jeden plik tekstowy decyduje, czy model w ogóle może przeczytać Twoją ofertę. Jeśli robot nie ma wstępu, model nie ma z czego zbudować odpowiedzi o Twojej firmie, więc jej nie wymieni.
Plik leży pod adresem swojastrona.pl/robots.txt i najczęściej nikt do niego nie zaglądał od dnia, w którym powstała strona. Bywa, że blokada została z czasu budowy i nikt jej potem nie zdjął.
- 4 nazwytyle nazw botów AI warto znaleźć w pliku: GPTBot, ClaudeBot, PerplexityBot i Google-Extendedkapsuła na górze strony
- Disallow: /ten wpis pod User-agent z gwiazdką blokuje wszystkie roboty naraz, także te czterykapsuła na górze strony
- Google bez zmianwpuszczenie botów AI nie obniża Twoich pozycji w wynikach wyszukiwania Googlekapsuła na górze strony
LISTA Z NAZWY · CZĘŚĆ 1
Trzy nazwy od OpenAI, każdą ustawiasz osobno
BOTY AIGPTBot
Robot OpenAI. Pobiera treści na potrzeby modelu, czyli dla ChatGPT. To pierwsza nazwa, której warto poszukać w swoim pliku.
OAI-SearchBot
Druga nazwa OpenAI w tym samym pliku. Ustawia się ją osobno, więc wpis dla GPTBot nie przesądza o niej.
ChatGPT-User
Wchodzi na stronę wtedy, gdy użytkownik w rozmowie poprosi o sprawdzenie konkretnego adresu. To inne zachowanie niż GPTBot i też ustawia się je osobno.
LISTA Z NAZWY · CZĘŚĆ 2
Cztery kolejne roboty w tym samym pliku
BOTY AIClaudeBot
Robot Anthropic. Pobiera treści dla Claude.
PerplexityBot
Pobiera treści dla wyszukiwarki Perplexity.
Google-Extended
Decyduje o zasilaniu modeli Gemini. Nie decyduje o Twoich pozycjach w wynikach wyszukiwania, bo tam liczy się Googlebot.
Bingbot
Robot wyszukiwarki Bing. Nie ma go wśród czterech nazw z kapsuły, ale stoi w tym samym pliku i ginie razem z resztą, gdy pod wpisem z gwiazdką stoi pełna blokada.
Czy blokować boty AI w robots.txt?
W większości przypadków nie. Blokada oznacza, że modele nie mają jak przeczytać Twojej oferty, więc nie wymienią Cię w odpowiedzi. Blokadę ma sens rozważyć przy treściach płatnych i materiałach licencjonowanych.
TRZY WARIANTY · SKUTEK KAŻDEGO
Wpuścić, wpuścić częściowo czy zablokować?
DECYZJA| Wariant | Co stoi w robots.txt | Co tracisz |
|---|---|---|
| Wpuszczasz | Brak blokady dla czterech nazw botów AI | Nic w wynikach Google. Zgoda na trenowanie modeli to osobna decyzja i osobny wpis |
| Wpuszczasz częściowo | Blokada wybranych ścieżek, reszta strony otwarta | Model nie zacytuje tego, co zamkniesz, więc zamykaj wyłącznie to, co ma być zamknięte |
| Blokujesz | Disallow ze znakiem ukośnika przy nazwach botów AI | Modele nie mają jak przeczytać Twojej oferty, więc nie wymienią Cię w odpowiedzi |
GEO
Czy wpuszczenie botów AI zaszkodzi mojej pozycji w Google?
Nie. To osobne ustawienia. Google-Extended dotyczy modeli Gemini, a Twoje pozycje w wynikach wyszukiwania zależą od Googlebota.
Wpuszczenie botów AI nie obniża Twoich pozycji w wynikach wyszukiwania Google. Jeśli ktoś twierdzi inaczej, poproś go o wskazanie wpisu, który miałby to robić.
TRZY MIEJSCA POZA PLIKIEM
Co blokuje boty AI poza plikiem robots.txt?
BLOKADYCloudflare
Cloudflare potrafi blokować roboty AI zanim w ogóle dotrą do robots.txt. Wtedy poprawa samego pliku nic nie da i trzeba sprawdzić ustawienia po stronie Cloudflare.
Ochrona przed botami
Zabezpieczenia przed botami działają przed plikiem, nie po nim. Jeśli takie ustawienie odrzuca robota, wpis Allow w robots.txt niczego nie zmieni.
Strona w JavaScripcie
Jeśli treść pojawia się dopiero po uruchomieniu skryptów, część robotów zobaczy pustą stronę. Plik może być wtedy w porządku, a i tak nie ma czego zacytować.
NAZWA W JEDNYM WIERSZU · DECYZJA W DRUGIM
Gotowe wpisy do wklejenia
WZÓR| Nazwa bota | Wpuszczasz | Blokujesz |
|---|---|---|
| GPTBot | User-agent: GPTBot, w wierszu niżej Allow: / | User-agent: GPTBot, w wierszu niżej Disallow: / |
| ClaudeBot | User-agent: ClaudeBot, w wierszu niżej Allow: / | User-agent: ClaudeBot, w wierszu niżej Disallow: / |
| PerplexityBot | User-agent: PerplexityBot, w wierszu niżej Allow: / | User-agent: PerplexityBot, w wierszu niżej Disallow: / |
| Google-Extended | User-agent: Google-Extended, w wierszu niżej Allow: / | User-agent: Google-Extended, w wierszu niżej Disallow: / |
WZÓR
Trzy wiersze, które trzeba znać, zanim cokolwiek wkleisz
Nazwy botów to jedno, ale o wyniku decydują trzy wiersze, które w tym pliku znaczą najwięcej.
- User-agent z gwiazdką: wiersze pod spodem dotyczą wszystkich robotów naraz.
- Disallow ze znakiem ukośnika: pełna blokada. Pod wpisem z gwiazdką wycina także te cztery boty AI, nawet gdy nie ma ich w pliku z nazwy.
- Allow ze znakiem ukośnika: wstęp na całą stronę dla bota z wiersza wyżej.
- Plik jest publiczny, więc nie wpisuj do niego ścieżek, które mają zostać tajne.
- Jeden blok na jednego bota: nazwa, a pod nią decyzja.
Blokujesz boty AI a wpuszczasz boty AI
| Cecha | Blokujesz boty AI | Wpuszczasz boty AI |
|---|---|---|
| Twoja oferta | Model nie ma jej jak przeczytać | Model może ją przeczytać |
| Odpowiedź AI | Nie wymieni Cię w odpowiedzi | Może wymienić Twoją firmę |
| Pozycje w Google | Bez zmian | Bez zmian |
| Trenowanie modeli | Osobna decyzja i osobny wpis | Osobna decyzja i osobny wpis |
| Co ustawiasz | Disallow przy nazwie bota | Allow przy nazwie bota |
| Kiedy to sensowne | Treści płatne i licencjonowane | Oferta i treści publiczne |
Jak sam sprawdzisz swój plik robots.txt?
1 2 Najpierw wpis z gwiazdką
Poszukaj wpisu User-agent z gwiazdką i sprawdź, czy nie ma pod nim pełnej blokady. Disallow ze znakiem ukośnika obejmuje wszystkie roboty naraz, także te, których nazw w pliku nie ma.
3 Dopiero potem cztery nazwy
Szukaj kolejno: GPTBot, ClaudeBot, PerplexityBot i Google-Extended. Przy każdej sprawdzasz, czy w wierszu pod nią stoi Allow, czy Disallow.
Ile kosztuje sprawdzenie, czy wpuszczasz boty AI?
Sam plik robots.txt sprawdzisz bez nas i bez opłaty: instrukcja i wzory wpisów stoją wyżej na tej stronie. Płatny jest dopiero Sprint Diagnostyczny, w którym sprawdzamy też to, czego w pliku nie widać, czyli blokady po stronie Cloudflare i to, czy Twoja strona pokazuje treść bez uruchamiania skryptów. Cenę, czas i pełny zakres Sprintu Diagnostycznego opisaliśmy na stronie audyt widoczności w AI.
To widełki startowe, nie ostateczna faktura. Dokładną cenę poznasz na bezpłatnej diagnozie, zanim cokolwiek zamówisz. Bez ukrytych kosztów.
TRZY SYTUACJE, W KTÓRYCH BLOKUJEMY ŚWIADOMIE
Kiedy blokada botów AI jest uzasadniona?
ZASADAZASADA
Trzy sytuacje, w których blokada ma sens
Blokada nie jest błędem sama w sobie. Błędem jest blokada przypadkowa, obejmująca całą stronę razem z ofertą.
- Treści płatne: jeśli klient płaci za dostęp do materiału, nie ma powodu oddawać go robotowi za darmo.
- Dane klientów: panele, dokumenty i adresy nie należą do publicznej części strony.
- Materiały licencjonowane: teksty i zdjęcia, na które masz licencję o określonym zakresie.
- W każdej z tych trzech sytuacji blokujesz konkretne ścieżki, a nie całą stronę.
- Ofertę, cennik i opisy usług zostawiamy otwarte, bo z nich model buduje odpowiedź.
GEO
Odblokowanie botów a zgoda na trenowanie modeli
To dwie osobne decyzje i ustawia się je osobnymi wpisami. Wstęp bota na stronę nie jest zgodą na trenowanie modelu na Twoich tekstach.
Dlatego przy każdej zmianie w pliku pokazujemy obie decyzje osobno, zanim cokolwiek wdrożymy.
Konkretne zastosowania
Powiązane narzędzia i usługi
Policz to sam
Audyt strony pod AI (GEO)
Dziesięć pytań o Twojej stronie pokazuje, czy ChatGPT i Perplexity mogą ją cytować, i co naprawić najpierw.
Otwórz narzędzie
Zobacz powiązaną usługę
Pozycjonowanie pod AI: bądź cytowany w ChatGPT i Perplexity
Co dzieje się po odblokowaniu botów: treść pod cytat, autorytet poza stroną i pomiar cytowań w rytmie.
Zobacz usługęAudyt widoczności w AI: sprawdzamy, czy ChatGPT poleca Twoją firmę
Płatna diagnoza, w której dostęp botów AI jest jednym z siedmiu sprawdzanych punktów.
Zobacz usługęllms.txt: co to jest i czy naprawdę coś daje
Drugi plik, o który pytają klienci. Uczciwa odpowiedź: to pomysł na standard, a nie potwierdzona metoda, więc nie kupuj go jako skrótu.
Zobacz usługę
Najczęstsze pytania
Czy blokować boty AI w robots.txt?
W większości przypadków nie. Blokada oznacza, że modele nie mają jak przeczytać Twojej oferty, więc nie wymienią Cię w odpowiedzi. Blokadę ma sens rozważyć przy treściach płatnych i materiałach licencjonowanych.
Jak sprawdzić, czy blokuję GPTBot?
Wejdź na adres swojastrona.pl/robots.txt. Najpierw poszukaj wpisu User-agent z gwiazdką i sprawdź, czy nie ma pod nim pełnej blokady. Potem poszukaj samej nazwy GPTBot.
Czy brak nazwy bota w pliku oznacza, że ma wstęp?
Tylko wtedy, gdy nie ma ogólnej blokady. Wpis User-agent z gwiazdką i Disallow ze znakiem ukośnika blokuje wszystkie roboty, także te, których nazw w pliku nie ma.
Czym różni się GPTBot od ChatGPT-User?
GPTBot pobiera treści na potrzeby modelu. ChatGPT-User wchodzi na stronę wtedy, gdy użytkownik w rozmowie poprosi o sprawdzenie konkretnego adresu. To dwa różne zachowania i można je ustawić osobno.
Czy wpuszczenie botów AI zaszkodzi mi w Google?
Nie. To osobne ustawienia. Google-Extended dotyczy modeli Gemini, a Twoje pozycje w wynikach wyszukiwania zależą od Googlebota.
Co jeśli mam Cloudflare?
Cloudflare potrafi blokować roboty AI zanim w ogóle dotrą do robots.txt. Wtedy poprawa samego pliku nic nie da i trzeba sprawdzić ustawienia po stronie Cloudflare.
Czy strona w JavaScripcie jest widoczna dla botów AI?
Bywa problematyczna. Jeśli treść pojawia się dopiero po uruchomieniu skryptów, część robotów zobaczy pustą stronę. Sprawdzamy to w Sprincie Diagnostycznym.
Czy odblokowanie botów to zgoda na trenowanie modeli na moich tekstach?
Nie. To dwie osobne decyzje i ustawia się je osobnymi wpisami. Pokazujemy Ci obie przed wdrożeniem.
Zacznij od bezpłatnej diagnozy
Dostęp botów AI to jeden z punktów Sprintu Diagnostycznego. Sprawdzamy w nim także blokady poza plikiem i to, czy Twoja strona pokazuje treść bez uruchamiania skryptów.
Zamów Sprint DiagnostycznySam plik robots.txt sprawdzisz bez nas, instrukcja stoi wyżej na tej stronie. Płacisz dopiero za to, czego w pliku nie widać.