Jak działa ta kontrola
Scanaris pobiera Twój /robots.txt (jeśli nie istnieje albo jest HTML-em, nic nie robi) i interpretuje go grupami, tak jak robią to roboty: każda grupa to jedna lub więcej linii User-agent, a po nich ich reguły. Dla sześciu konkretnych robotów AI, GPTBot, ClaudeBot, anthropic-ai, PerplexityBot, Google-Extended i CCBot, stosuje prawdziwą regułę standardu: jeśli bot ma własną grupę, liczy się tylko ona, a symbol * jest dla niego ignorowany; jeśli jej nie ma, dziedziczy grupę *. Bot jest zablokowany, jeśli grupa, która go dotyczy, zawiera Disallow: /. Jeśli któryś jest, otwiera ustalenie informacyjne, które wymienia które i wyjaśnia, czy wynika to z własnego bloku, czy z User-agent: * z Disallow: /, który obejmuje wszystkich. Jest informacyjne, bo blokowanie ich może być uzasadnioną decyzją.
Co robi każdy bot
Nie są jednakowe i warto to wiedzieć przed decyzją. GPTBot to robot OpenAI do trenowania modeli; OpenAI ma też OAI-SearchBot, który zasila wyszukiwanie ChatGPT, oraz ChatGPT-User, który odwiedza strony, gdy prosi o to użytkownik. ClaudeBot i anthropic-ai należą do Anthropic. PerplexityBot przeszukuje dla wyszukiwarki Perplexity, która cytuje źródła. Google-Extended nie jest robotem: to przełącznik, który decyduje, czy Google może użyć tego, co już zebrał Googlebot, do trenowania Gemini; zablokowanie go nie wpływa na Twoją pozycję w wyszukiwarce. CCBot to Common Crawl, publiczne archiwum sieci, którego wiele modeli używa jako bazy treningowej.
Co zdecydować
Pytanie brzmi, czego chcesz. Jeśli chcesz pojawiać się, gdy ktoś pyta asystenta o Twoją kategorię, potrzebujesz, żeby Cię czytali: asystenci polecają to, co znają, i cytują to, co mogą odwiedzić. Jeśli martwi Cię, że Twoja treść trenuje modele bez rekompensaty, możesz zablokować boty treningowe i zostawić wyszukiwawcze; to rozróżnienie, które OpenAI umożliwia między GPTBot a OAI-SearchBot. Dla większości stron produktowych blokowanie asystentów to rezygnacja z rosnącego kanału; dla strony treściowej, której biznesem jest sama treść, odpowiedź może być inna.
Żeby dopuścić asystentów
Usuń linie Disallow: / z ich grup albo usuń grupy. Jeśli blokada pochodzi z User-agent: * z Disallow: /, ten blok wyrzuca też Google: przejrzyj go z robots i mapa witryny.
Żeby zablokować tylko trening
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /Pamiętaj, że robots.txt to prośba, nie bariera: poważne roboty go respektują, pozostałe nie. Jeśli musisz blokować naprawdę, trzeba to zrobić na serwerze lub w CDN według user agenta.
Sprawdź, czy naprawione
curl -s https://twojadomena.pl/robots.txt | grep -iE -A3 "user-agent: *(\*|gptbot|claudebot|anthropic-ai|perplexitybot|google-extended|ccbot|oai-searchbot)"Sprawdź, jakie Disallow następuje po każdej grupie. Grupa bez Disallow: / pozwala na przeszukiwanie.
Często zadawane pytania
Mój hosting lub CDN domyślnie blokuje boty AI.
Niektóre tak robią (Cloudflare oferuje to jako opcję), a tego nie widać w robots.txt: bot od razu dostaje 403. Jeśli chcesz widoczności w asystentach, wyłącz to w panelu dostawcy. Ta kontrola widzi tylko plik.
Czy blokowanie ich oszczędza transfer?
Trochę, ale mniej, niż się wydaje: te roboty są zwykle umiarkowane. Jeśli powodem jest koszt, ogranicz częstotliwość zamiast blokować.
Dopuszczam je, a asystenci i tak mnie nie znają.
Pozwolenie, żeby Cię czytali, to warunek konieczny, nie wystarczający. Resztę, obecność w źródłach, z których uczą się modele, mierzy widoczność dla AI, a dlaczego tyle stron zbudowanych z AI jest niewidocznych, wyjaśnia ten artykuł.