Como funciona esta verificação
O Scanaris descarrega o teu /robots.txt (se não existir ou for HTML, não faz nada) e interpreta-o por grupos, como fazem os rastreadores: cada grupo são uma ou várias linhas User-agent seguidas das suas regras. Para seis rastreadores de IA concretos, GPTBot, ClaudeBot, anthropic-ai, PerplexityBot, Google-Extended e CCBot, aplica a regra real do padrão: se o bot tem o seu próprio grupo, só conta esse grupo e o curinga * é ignorado para ele; se não tem, herda o grupo *. Um bot está bloqueado se o grupo que se lhe aplica contiver Disallow: /. Se algum estiver, abre um achado informativo que lista quais e explica se é por um bloco próprio ou por um User-agent: * com Disallow: / que os arrasta a todos. É informativo porque bloqueá-los pode ser uma decisão legítima.
O que faz cada bot
Não são todos iguais, e convém saber antes de decidir. O GPTBot é o rastreador da OpenAI para treinar modelos; a OpenAI tem ainda o OAI-SearchBot, que alimenta a pesquisa do ChatGPT, e o ChatGPT-User, que visita páginas quando um utilizador pede. O ClaudeBot e o anthropic-ai são os da Anthropic. O PerplexityBot rastreia para o motor de busca do Perplexity, que cita as fontes. O Google-Extended não é um rastreador: é um interruptor que controla se a Google pode usar o que já rastreou com o Googlebot para treinar o Gemini; bloqueá-lo não afeta a tua posição na pesquisa. O CCBot é o Common Crawl, um arquivo público da web que muitos modelos usam como base de treino.
O que decidir
A questão é o que queres. Se queres aparecer quando alguém pergunta a um assistente pela tua categoria, precisas que te leiam: os assistentes recomendam o que conhecem e citam o que podem visitar. Se o que te preocupa é o teu conteúdo treinar modelos sem compensação, podes bloquear os bots de treino e deixar os de pesquisa, que é a distinção que a OpenAI permite fazer com o GPTBot face ao OAI-SearchBot. Para a maioria dos sites de produto, bloquear os assistentes é renunciar a um canal que cresce; para um site de conteúdo cujo negócio é o próprio conteúdo, a resposta pode ser outra.
Para permitir os assistentes
Tira as linhas Disallow: / dos seus grupos, ou elimina os grupos. Se o bloqueio vem de um User-agent: * com Disallow: /, esse bloco também está a expulsar a Google: revê-o com robots e sitemap.
Para bloquear só o treino
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /Tem em conta que o robots.txt é um pedido, não uma barreira: os rastreadores sérios respeitam-no; os que não o são, não. Se precisas de bloquear a sério, tem de ser no servidor ou na CDN por agente de utilizador.
Confirma que está corrigido
curl -s https://teudominio.com/robots.txt | grep -iE -A3 "user-agent: *(\*|gptbot|claudebot|anthropic-ai|perplexitybot|google-extended|ccbot|oai-searchbot)"Revê que Disallow se segue a cada grupo. Um grupo sem Disallow: / permite o rastreio.
Perguntas frequentes
O meu alojamento ou a minha CDN bloqueia os bots de IA por defeito.
Alguns fazem-no (a Cloudflare oferece-o como opção), e isso não se vê no robots.txt: o bot recebe um 403 diretamente. Se queres visibilidade em assistentes, desativa-o no painel do fornecedor. Esta verificação só vê o ficheiro.
Bloqueá-los poupa largura de banda?
Alguma, mas menos do que parece: estes rastreadores costumam ser moderados. Se o motivo é o custo, limita a frequência em vez de bloquear.
Permito-os e mesmo assim os assistentes não me conhecem.
Permitir que te leiam é a condição necessária, não a suficiente. O resto, estar nas fontes com que os modelos aprendem, mede-o visibilidade perante a IA, e porque é que muitos sites feitos com IA são invisíveis explica-o este artigo.