Come funziona questo controllo
Scanaris scarica il tuo /robots.txt (se non esiste o è HTML, non fa nulla) e lo interpreta per gruppi, come fanno i crawler: ogni gruppo è una o più righe User-agent seguite dalle loro regole. Per sei crawler di IA specifici, GPTBot, ClaudeBot, anthropic-ai, PerplexityBot, Google-Extended e CCBot, applica la regola reale dello standard: se il bot ha un gruppo proprio, conta solo quello e il jolly * viene ignorato per lui; se non ce l'ha, eredita il gruppo *. Un bot è bloccato se il gruppo che gli si applica contiene Disallow: /. Se qualcuno lo è, apre un rilievo informativo che elenca quali e spiega se è per un blocco proprio o per uno User-agent: * con Disallow: / che li trascina tutti. È informativo perché bloccarli può essere una decisione legittima.
Cosa fa ogni bot
Non sono tutti uguali, e conviene saperlo prima di decidere. GPTBot è il crawler di OpenAI per addestrare i modelli; OpenAI ha anche OAI-SearchBot, che alimenta la ricerca di ChatGPT, e ChatGPT-User, che visita pagine quando un utente lo chiede. ClaudeBot e anthropic-ai sono quelli di Anthropic. PerplexityBot scansiona per il motore di Perplexity, che cita le fonti. Google-Extended non è un crawler: è un interruttore che controlla se Google può usare ciò che ha già scansionato con Googlebot per addestrare Gemini; bloccarlo non influisce sul tuo posizionamento nella ricerca. CCBot è Common Crawl, un archivio pubblico del web che molti modelli usano come base di addestramento.
Cosa decidere
La domanda è cosa vuoi. Se vuoi apparire quando qualcuno chiede a un assistente della tua categoria, hai bisogno che ti leggano: gli assistenti raccomandano ciò che conoscono e citano ciò che possono visitare. Se ciò che ti preoccupa è che il tuo contenuto addestri modelli senza compenso, puoi bloccare i bot di addestramento e lasciare quelli di ricerca, che è la distinzione che OpenAI permette tra GPTBot e OAI-SearchBot. Per la maggior parte dei siti di prodotto, bloccare gli assistenti significa rinunciare a un canale che cresce; per un sito di contenuti il cui business è il contenuto stesso, la risposta può essere diversa.
Per permettere gli assistenti
Togli le righe Disallow: / dai loro gruppi, o elimina i gruppi. Se il blocco viene da uno User-agent: * con Disallow: /, quel blocco sta tagliando fuori anche Google: rivedilo con robots e sitemap.
Per bloccare solo l'addestramento
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /Tieni presente che robots.txt è una richiesta, non una barriera: i crawler seri la rispettano; gli altri no. Se devi bloccare davvero, va fatto sul server o sulla CDN per user agent.
Verifica che sia risolto
curl -s https://tuodominio.it/robots.txt | grep -iE -A3 "user-agent: *(\*|gptbot|claudebot|anthropic-ai|perplexitybot|google-extended|ccbot|oai-searchbot)"Controlla quale Disallow segue ogni gruppo. Un gruppo senza Disallow: / permette la scansione.
Domande frequenti
Il mio hosting o la mia CDN blocca i bot di IA di default.
Alcuni lo fanno (Cloudflare lo offre come opzione), e questo non si vede nel robots.txt: il bot riceve direttamente un 403. Se vuoi visibilità negli assistenti, disattivalo nel pannello del fornitore. Questo controllo vede solo il file.
Bloccarli risparmia banda?
Un po', ma meno di quanto sembri: questi crawler di solito sono moderati. Se il motivo è il costo, limita la frequenza invece di bloccare.
Li permetto e comunque gli assistenti non mi conoscono.
Permettere che ti leggano è la condizione necessaria, non sufficiente. Il resto, stare nelle fonti da cui i modelli imparano, lo misura visibilità per l'IA, e perché molti siti fatti con l'IA sono invisibili lo spiega questo articolo.