Blocco dei crawler IA
Verifica se il tuo robots.txt blocca bot IA come GPTBot o ClaudeBot, limitando la tua visibilità nell'IA.
Cosa controlla
Questo scanner verifica se il tuo file robots.txt blocca i bot IA, come il GPTBot di OpenAI o il ClaudeBot di Anthropic. Rileva le regole che impediscono a quei crawler di accedere al tuo contenuto.
Perché è importante
Se blocchi i crawler IA, quegli assistenti non possono leggere il tuo sito né citarti nelle loro risposte, riducendo la tua visibilità proprio dove la ricerca sta crescendo. A volte questo blocco è attivo di default o nasce copiando modelli senza volerlo.
Come risolverlo
Rivedi il tuo robots.txt e rimuovi le regole che bloccano i bot IA se vuoi che il tuo contenuto compaia nelle loro risposte. Se preferisci consentirne solo alcuni, regola le direttive per dare accesso ai crawler che ti interessano.
Verificalo sul tuo sito
Scansiona il tuo sito gratis e scopri se questo e altri 44 controlli passano, con un prompt di fix per ogni problema.
Scansiona il mio sito gratis