Puoi avere un sito bellissimo che l'IA semplicemente non vede. Quando qualcuno chiede a ChatGPT, Claude o Perplexity uno strumento come il tuo, il modello non "naviga" come una persona: richiede pagine, legge ciò che riceve e decide chi citare. Se il tuo contenuto non arriva in quella lettura, per l'IA non esisti. Questa guida spiega come le IA scansionano il web, come verificare in dieci minuti se ti vedono, gli errori che più spesso lo impediscono e come correggerli a seconda di come è costruito il tuo sito.
Come un'IA scansiona il tuo sito (e perché ci sono tre bot diversi)
Ogni fornitore usa diversi crawler con scopi differenti, e conviene distinguerli perché puoi permetterne alcuni e bloccarne altri:
- Addestramento.
GPTBot(OpenAI),ClaudeBot(Anthropic),Google-Extended(controlla l'uso per Gemini, non il motore di ricerca),Bytespider(ByteDance),CCBot(Common Crawl, da cui attingono molti modelli). Raccolgono pagine per addestrare i modelli futuri. - Ricerca IA.
OAI-SearchBot(la ricerca di ChatGPT),Claude-SearchBot,PerplexityBot. Costruiscono l'indice che l'assistente consulta quando risponde con fonti. - Visita dal vivo.
ChatGPT-User,Claude-User,Perplexity-User: l'assistente apre la tua pagina sul momento perché un utente glielo ha chiesto.
Bloccare l'addestramento e permettere la ricerca è una decisione perfettamente ragionevole. Bloccare tutto per sbaglio, per colpa di un template ereditato, è quello che succede a molte app.
Vedere non è lo stesso che renderizzare
Molti vibe coder lanciano app con un frontend che si costruisce interamente nel browser con JavaScript (una SPA fatta con Vite, Lovable, Bolt o v0). Per un umano è perfetta. Ma la maggior parte dei bot IA richiede l'HTML e legge ciò che arriva prima di eseguire qualsiasi cosa; alcuni non eseguono mai JavaScript. Se il tuo contenuto compare solo dopo il JS, quei bot vedono una pagina quasi vuota: un <div id="root"> e poco altro.
Passo 1: guarda il tuo HTML grezzo
Apri il tuo sito, fai clic destro e scegli visualizza sorgente pagina (non "ispeziona", che mostra già il DOM renderizzato). Cerca il tuo titolo principale e un paio di paragrafi. Se non sono in quell'HTML, probabilmente nemmeno l'IA li vedrà. Un altro test rapido: disattiva JavaScript nel browser e ricarica. Quello che resta è, più o meno, ciò che vede un bot basilare.
Se preferisci il terminale, richiedi la pagina come farebbe il bot di ChatGPT e conta quanto testo arriva:
curl -s -A "GPTBot" https://tuodominio.com/ | sed 's/<[^>]*>//g' | wc -w
Qualche decina di parole significa che il contenuto sta nel JavaScript. Diverse centinaia, che arriva nell'HTML.
Passo 2: controlla il tuo robots.txt
Visita tuodominio.com/robots.txt. Verifica di non stare bloccando i bot IA senza volerlo. Un Disallow: / generico, un template copiato o la "modalità anti-bot" del tuo CDN possono chiudergli la porta. Se vuoi permettere la ricerca e le visite dal vivo ma non l'addestramento, il file è così:
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: *
Allow: /
Sitemap: https://tuodominio.com/sitemap.xml
Bloccare è una decisione legittima, ma che sia voluta, non accidentale. E ricorda che robots.txt è una richiesta, non una barriera: i bot rispettosi lo seguono; gli altri no.
Passo 3: offri un llms.txt
Il file llms.txt nella radice del tuo dominio è un riassunto in testo semplice (Markdown) di cosa sei e quali pagine contano. Non è obbligatorio né magico, e non tutti i modelli lo leggono ancora, ma dà al tuo sito un punto d'ingresso pulito e ti costringe a scrivere la frase che definisce il tuo prodotto. Un esempio minimo:
# Il tuo prodotto
> Il tuo prodotto è un [cos'è] per [chi] che [cosa ottiene]. Una frase, senza aggettivi.
## Pagine principali
- [Cosa fa](https://tuodominio.com/prodotto): descrizione in una riga
- [Prezzi](https://tuodominio.com/prezzi): piani e cosa include ciascuno
- [Documentazione](https://tuodominio.com/docs): come iniziare
Quella prima frase, quella che inizia con "Il tuo prodotto è…", conviene ripeterla identica nella home, nella meta description e nei dati strutturati: è quella che i modelli finiscono per citare.
Passo 4: dati strutturati che ti descrivono
Un blocco JSON-LD con Organization (nome, logo, URL, descrizione) e, se vendi qualcosa, SoftwareApplication o Product con i prezzi, dà al modello fatti senza ambiguità: cosa sei, quanto costi, dove sei. Se hai domande frequenti, marcale come FAQPage: è il formato più simile a come gli utenti interrogano l'IA.
Passo 5: chiedilo direttamente all'IA
Apri ChatGPT, Claude e Perplexity e fai a ciascuno le stesse tre domande: cos'è X, cosa fa X e alternative a X, più una quarta, più utile: consigliami uno strumento per [il problema che risolvi]. Osserva tre cose: se ti menziona, se quello che dice è corretto e se ti confonde con un altro. Annotalo con la data. Ripeti ogni mese: questo è il tuo vero punto di partenza e l'unico modo per sapere se ciò che cambi funziona.
Passo 6: dagli contenuto citabile
I modelli citano paragrafi che rispondono a una domanda senza dipendere dal resto della pagina. Questo si traduce in abitudini concrete: un titolo che è la domanda, la risposta diretta nelle prime due frasi, fatti concreti (cifre, nomi, date) invece di aggettivi, e una pagina per argomento invece di una pagina che racconta tutto. Se la tua informazione migliore sta in un video, un'immagine o un PDF, per l'IA non esiste.
Come correggere a seconda di come è costruito il tuo sito
- Next.js o Nuxt. Renderizzano già sul server se non l'hai disattivato. Verifica che le pagine marketing non usino
'use client'per tutto e non dipendano da dati che si caricano solo nel browser. - SPA con Vite (Lovable, Bolt, v0). L'HTML arriva vuoto. Le opzioni, dalla meno alla più impegnativa: pre-renderizzare le pagine pubbliche in fase di build (plugin di prerender), spostare il marketing su un sito statico a parte, o migrare la parte pubblica a un framework con SSR.
- Webflow, Framer, WordPress. Servono HTML completo; qui il problema di solito sta nel
robots.txt, in unnoindexdimenticato o nella protezione anti-bot del CDN. - Dietro un login. Ciò che richiede una sessione non lo vede nessuno. Metti la descrizione di quello che fai su una pagina pubblica.
Gli errori che più spesso lo impediscono
- Un
<meta name="robots" content="noindex">rimasto dalla fase di test. - La "modalità anti-bot" o una challenge JavaScript del CDN che blocca tutti i crawler allo stesso modo.
- Un sito che carica il contenuto con scroll infinito o dopo il clic su un pulsante.
- Testo nelle immagini: il nome del prodotto e la proposta di valore in un PNG.
- Una sola pagina lunga per tutto, senza titoli che dicano di cosa parla ogni parte.
Come misurarlo nel tempo
Guarda i log del tuo server o del tuo CDN e filtra per gli user agent qui sopra: ti dirà quali bot ti visitano, quanto spesso e quali pagine richiedono. Se non ne compare nessuno, controlla prima robots.txt e la protezione del CDN. Combinalo con il giro mensile di domande del passo 5 e avrai entrambe le metà: se ti leggono e se ti citano.
Scanaris automatizza questo controllo
Il pilastro di visibilità IA di Scanaris verifica se il tuo contenuto è leggibile senza JS, se blocchi bot IA nel robots.txt, se hai llms.txt e dati strutturati, e perfino come un modello ti descrive quando gli si chiede del tuo brand, con un fix prompt per ogni problema. Tutto in sola lettura, su informazioni pubbliche. E il tracker di visibilità controlla ogni giorno se compari quando qualcuno chiede una raccomandazione nella tua categoria.
Domande frequenti
Bloccare GPTBot mi toglie da ChatGPT?
Ti toglie dall'addestramento dei modelli futuri, non dalle risposte con ricerca, che usano OAI-SearchBot e ChatGPT-User. Se vuoi comparire quando qualcuno chiede, quei due devono essere permessi.
Quanto ci vuole perché un cambiamento si noti?
Le visite dal vivo, subito: appena l'HTML contiene il contenuto, l'assistente lo legge. Gli indici di ricerca, da giorni a settimane. La conoscenza "a memoria" del modello, fino al prossimo addestramento, che non controlli.
Serve llms.txt se ho già una sitemap?
Non è obbligatorio. La sitemap dice quali pagine esistono; llms.txt dice cosa sei e quali contano, in linguaggio naturale. Richiede dieci minuti e non dà fastidio.