llms.txt
Se esiste ed è fatto bene
Che inizi con un titolo #, che abbia un riassunto e i link alle pagine importanti. Ti avvisiamo di ciò che manca e ti mostriamo il file. Controlliamo anche se c’è un llms-full.txt.
Strumento gratuito · IA
Verifica llms.txt e crawler di IA
Il tuo sito è pronto per l’IA? Verifica se ha un llms.txt e quali assistenti possono leggerlo secondo il suo robots.txt: i 17 crawler di ChatGPT, Claude, Gemini, Perplexity e altri sette servizi, con la regola che lo decide.
Gratis · Senza registrazione · Non salviamo il risultato
01
Come verificare il llms.txt di un sito
- 01
Incolla il dominio
Scrivi l’indirizzo del sito (basta il dominio, per esempio
tuosito.it). Leggiamo i file nella sua radice:llms.txt,robots.txte la sitemap. - 02
Guarda il llms.txt
Se esiste, vedi il titolo, il riassunto, quante sezioni e quanti link contiene e gli avvisi sul formato. E puoi aprire il file così com’è.
- 03
Controlla i crawler
Una tabella con 17 crawler di IA: se possono entrare, se sono bloccati e quale regola del robots.txt lo decide.
02
Cosa controlla quando validi il llms.txt
robots.txt
17 crawler di IA
GPTBot, OAI-SearchBot, ClaudeBot, Google-Extended, PerplexityBot, CCBot, Applebot-Extended, Meta-ExternalAgent e gli altri: quali possono entrare, quali no e quale regola lo decide.
Sitemap
La mappa del sito
Se il robots.txt dichiara una sitemap e quanti URL contiene. È quello che usano i motori di ricerca, e molti assistenti, per scoprire le tue pagine.
03
Crawler di IA: addestrare non è cercare
Addestramento
GPTBot, ClaudeBot, CCBot…
Raccolgono testo per addestrare i modelli. Bloccarli non ti toglie dai risultati di ricerca degli assistenti, perché la ricerca usa altri crawler.
Ricerca
OAI-SearchBot, Claude-SearchBot, PerplexityBot
Indicizzano le pagine perché l’assistente possa citarle quando risponde. Se li blocchi, è più difficile che ti consiglino.
Visite degli utenti
ChatGPT-User, Claude-User, Perplexity-User
Entrano quando qualcuno chiede all’assistente di leggere la tua pagina. Bloccarli impedisce di leggere un link che gli viene passato.
04
Cos’è llms.txt e come crearlo
llms.txt è un file di testo in Markdown che si mette nella radice del sito (tuosito.it/llms.txt). Riassume cos’è il sito e collega le pagine che lo spiegano meglio, così un assistente di IA non deve indovinarlo tra menu, banner e codice. L’ha proposto Jeremy Howard a settembre 2024 su llmstxt.org. Non è uno standard ufficiale: alcuni assistenti lo leggono e altri no.
Un esempio:
# Studio Esempio
> Studio di web design a Barcellona. Realizziamo siti su misura per PMI e negozi online.
## Servizi
- [Web design](https://esempio.it/web-design/): siti su misura, a prezzo fisso
- [Negozi online](https://esempio.it/negozi-online/): WooCommerce e Shopify
- [Prezzi](https://esempio.it/prezzi/)
## Optional
- [Blog](https://esempio.it/blog/)- La prima riga,
# Nome, è l’unica cosa obbligatoria. - Una riga che inizia con
>con il riassunto: cosa fai e per chi, in una o due frasi. - Sezioni
##con elenchi di link- [Titolo](url): nota. La nota è facoltativa. - La sezione
## Optionalraccoglie ciò che è secondario: un assistente con poco spazio può saltarla.
Alcuni siti pubblicano anche un llms-full.txt con il testo completo delle loro pagine, in un unico file.
llms.txt e robots.txt non fanno la stessa cosa
robots.txt dice chi può entrare e da dove; llms.txt non blocca né permette nulla, orienta e basta. Se un crawler di IA è bloccato nel robots.txt, un buon llms.txt non gli apre la porta. Per questo lo strumento li guarda entrambi insieme.
05
Perché verificare llms.txt e robots.txt insieme
Molti validatori controllano solo il formato del llms.txt. Serve a poco se il robots.txt blocca i crawler che dovrebbero leggerlo, ed è più comune di quanto sembri: un Disallow: / pensato per altro, o una regola copiata da un altro sito, lascia fuori tutti.
Qui vedi, crawler per crawler, quale regola decide: un gruppo con il suo nome (User-agent: GPTBot) o la regola generale (User-agent: *). E se il sito non ha un robots.txt, te lo diciamo: in quel caso possono entrare tutti.
Controlla llms.txt, robots.txt e il resto della SEO di ogni sito che visiti, senza copiare indirizzi.
Iscriviti alla lista d’attesa06
Cosa la verifica llms.txt non può sapere
Se l’IA lo legge
robots.txt è una richiesta
I crawler seri rispettano il robots.txt, ma è una norma di cortesia: uno che non la rispetta entra lo stesso. E dall’esterno non c’è modo di sapere quale assistente ha letto il tuo llms.txt.
Blocchi sul server
Firewall e CDN
Un firewall o una CDN possono bloccare i bot senza toccare il robots.txt. Quei blocchi non si vedono nei file: li trovi nel pannello del tuo hosting o della tua CDN.
Crawler nuovi
Controlliamo 17 nomi
Quelli degli assistenti e dei modelli più usati. Ogni pochi mesi compaiono crawler nuovi; l’elenco si aggiorna con l’estensione.
07
Altri strumenti gratuiti
WordPress
Rilevatore di temi e plugin WordPress
Quale tema, quali plugin e quale page builder usa un sito, con la versione e l’indizio che lo rivela.
Analizza un sito →SEO
Simulatore SERP: anteprima su Google e sui social
Come appare una pagina su Google e quando la condividi su Facebook, X, LinkedIn e WhatsApp, con il title misurato in pixel.
Vedi l’anteprima →Estensione per Chrome
Ispettore SEO per Chrome: robots.txt, sitemap, llms.txt e altro
Le stesse cose, e molte altre, sulla pagina che hai aperta.
Vedi l’estensione →Smart Design Inspector
Questo e molto altro, su qualsiasi sito
L’estensione per Chrome lo fa sulla pagina che hai aperta, senza copiare e incollare: tecnologia, SEO, font, colori e CSS, e vede la pagina così come la mostra il tuo browser (qui leggiamo solo l’HTML che invia il server).
Cos’è il file llms.txt?
Un file di testo nella radice del sito (tuosito.it/llms.txt) che riassume cos’è il sito e collega le sue pagine più importanti, in Markdown, perché gli assistenti di IA lo capiscano meglio. È una proposta del 2024, non uno standard ufficiale.
llms.txt è obbligatorio?
No. Né Google né gli assistenti lo richiedono, e non influisce sul posizionamento su Google. Crearlo costa poco e mette ordine nelle pagine che vuoi che l’IA citi.
Come faccio a sapere se un sito blocca ChatGPT o Claude?
Incolla il suo indirizzo qui sopra. Lo strumento legge il suo robots.txt e ti dice, crawler per crawler, se può entrare, se è bloccato o se ha solo alcuni percorsi chiusi, e quale regola lo decide.
Come blocco GPTBot?
Aggiungi due righe al tuo robots.txt: «User-agent: GPTBot» e «Disallow: /». Così fermi solo l’addestramento di OpenAI; le ricerche di ChatGPT usano OAI-SearchBot e le visite richieste dagli utenti ChatGPT-User, che si bloccano a parte.
Google-Extended influisce sulla mia posizione su Google?
No. Google-Extended decide solo se Google può usare i tuoi contenuti per Gemini e per l’addestramento. La scansione di Google Search la fa Googlebot, che è un altro crawler.
È gratis?
Sì, gratis e senza registrazione. È un assaggio dell’estensione Smart Design Inspector, che lo controlla sul sito che hai aperto insieme al resto della SEO.
Salvate i siti che verifico?
No. I file vengono letti sul momento per darti il risultato e non si salvano né l’indirizzo né il risultato.
Lista d’attesa
Sii tra i primi a provarlo
Smart Design Inspector è in fase di sviluppo. Lasciaci la tua email e ti avviseremo il giorno in cui arriverà sul Chrome Web Store, con le 7 funzioni Pro gratis in accesso anticipato.
Un’email il giorno del lancio e poche altre · Disiscrizione con un clic