llms.txt
Si existeix i està ben fet
Que comenci amb un títol #, que tingui un resum i enllaços a les pàgines importants. T’avisem del que falta i et mostrem el fitxer. També comprovem si hi ha un llms-full.txt.
Eina gratuïta · IA
Comprovador de llms.txt i crawlers d’IA
La teva web està preparada per a la IA? El comprovador de llms.txt mira si en té i el valida, i llegeix el robots.txt per dir-te quins assistents la poden llegir: els 17 crawlers de ChatGPT, Claude, Gemini, Perplexity i set serveis més, amb la regla que ho decideix.
Gratis · Sense registre · No desem el resultat
01
Com es fa servir el comprovador de llms.txt
- 01
Enganxa el domini
Escriu l’adreça de la web (n’hi ha prou amb el domini, per exemple
latevaweb.com). Llegim els fitxers de l’arrel:llms.txt,robots.txti el sitemap. - 02
Mira el llms.txt
Si existeix, en veus el títol, el resum, quantes seccions i enllaços té i els avisos de format. I pots obrir el fitxer tal com és.
- 03
Revisa els crawlers
Una taula amb 17 crawlers d’IA: si hi poden entrar, si estan bloquejats i quina regla del robots.txt ho decideix.
02
Què comprova en validar el llms.txt
robots.txt
17 crawlers d’IA
GPTBot, OAI-SearchBot, ClaudeBot, Google-Extended, PerplexityBot, CCBot, Applebot-Extended, Meta-ExternalAgent i la resta: quins hi poden entrar, quins no i quina regla ho decideix.
Sitemap
El mapa de la web
Si el robots.txt declara un sitemap i quantes URL té. És el que fan servir els cercadors, i molts assistents, per descobrir les teves pàgines.
03
Crawlers d’IA: entrenar no és buscar
Entrenament
GPTBot, ClaudeBot, CCBot…
Recullen text per entrenar models. Bloquejar-los no et treu dels resultats de cerca dels assistents, perquè la cerca fa servir altres crawlers.
Cerca
OAI-SearchBot, Claude-SearchBot, PerplexityBot
Indexen les pàgines perquè l’assistent les pugui citar quan respon. Si els bloqueges, és més difícil que et recomanin.
Visites d’usuaris
ChatGPT-User, Claude-User, Perplexity-User
Entren quan algú demana a l’assistent que llegeixi la teva pàgina. Bloquejar-los li impedeix llegir un enllaç que li passen.
04
Què és llms.txt i com crear-lo
llms.txt és un fitxer de text en Markdown que es posa a l’arrel de la web (latevaweb.com/llms.txt). Resumeix què és la web i enllaça les pàgines que l’expliquen millor, perquè un assistent d’IA no ho hagi d’endevinar entre menús, bàners i codi. El va proposar Jeremy Howard el setembre de 2024 a llmstxt.org. No és un estàndard oficial: hi ha assistents que el llegeixen i d’altres que no.
Un exemple:
# Estudi Exemple
> Estudi de disseny web a Barcelona. Fem webs a mida per a pimes i botigues en línia.
## Serveis
- [Disseny web](https://exemple.com/disseny-web/): webs a mida, amb preu tancat
- [Botigues en línia](https://exemple.com/botigues-en-linia/): WooCommerce i Shopify
- [Preus](https://exemple.com/preus/)
## Optional
- [Blog](https://exemple.com/blog/)- La primera línia,
# Nom, és l’única obligatòria. - Una línia que comença amb
>amb el resum: què fas i per a qui, en una o dues frases. - Seccions
##amb llistes d’enllaços- [Títol](url): nota. La nota és opcional. - La secció
## Optionalagrupa el que és secundari: un assistent amb poc espai se la pot saltar.
Algunes webs publiquen, a més, un llms-full.txt amb el text complet de les seves pàgines, en un sol fitxer.
llms.txt i robots.txt no fan el mateix
El robots.txt diu qui hi pot entrar i per on; el llms.txt no bloqueja ni permet res, només orienta. Si un crawler d’IA està bloquejat al robots.txt, un bon llms.txt no li obre la porta. Per això aquesta eina mira tots dos alhora.
05
Per què cal mirar el llms.txt i el robots.txt junts
Molts validadors només revisen el format del llms.txt. Serveix de poc si el robots.txt bloqueja els crawlers que l’havien de llegir, i passa més sovint del que sembla: un Disallow: / pensat per a una altra cosa, o una regla copiada d’una altra web, els deixa tots fora.
Aquí veus, crawler per crawler, quina regla decideix: un grup amb el seu nom (User-agent: GPTBot) o la regla general (User-agent: *). I si la web no té robots.txt, t’ho diem: llavors tots hi poden entrar.
Revisa el llms.txt, el robots.txt i la resta del SEO de cada web que visites, sense copiar adreces.
Apunta’t a la llista d’espera06
El que el comprovador de llms.txt no pot saber
Si la IA el llegeix
El robots.txt és una petició
Els crawlers seriosos respecten el robots.txt, però és una norma de cortesia: un que no la respecti hi entra igualment. I des de fora no hi ha manera de saber quin assistent ha llegit el teu llms.txt.
Bloquejos al servidor
Tallafocs i CDN
Un tallafocs o una CDN poden bloquejar bots sense tocar el robots.txt. Aquests bloquejos no es veuen als fitxers: els veus al tauler del teu allotjament o de la teva CDN.
Crawlers nous
Revisem 17 noms
Els dels assistents i models més utilitzats. Cada pocs mesos n’apareixen de nous; la llista s’actualitza amb l’extensió.
07
Altres eines gratuïtes
WordPress
Detector de temes i plugins de WordPress
Quin tema, quins plugins i quin constructor fa servir una web, amb la versió i la pista que ho delata.
Analitzar una web →SEO
Simulador SERP: vista prèvia a Google i a les xarxes
Com surt una pàgina a Google i quan es comparteix a Facebook, X, LinkedIn i WhatsApp, amb el title mesurat en píxels.
Veure la vista prèvia →Extensió per a Chrome
Inspector SEO per a Chrome: robots.txt, sitemap, llms.txt i més
El mateix, i molt més, a la pàgina que tens oberta.
Veure l’extensió →Smart Design Inspector
Això i molt més, a qualsevol web
L’extensió per a Chrome ho fa a la pàgina que tens oberta, sense copiar i enganxar: tecnologia, SEO, fonts, colors i CSS, i veu la pàgina tal com la pinta el teu navegador (aquí només llegim l’HTML que envia el servidor).
Què és el fitxer llms.txt?
Un fitxer de text a l’arrel de la web (latevaweb.com/llms.txt) que resumeix què és la web i n’enllaça les pàgines més importants, en Markdown, perquè els assistents d’IA l’entenguin millor. És una proposta de 2024, no un estàndard oficial.
El llms.txt és obligatori?
No. Ni Google ni els assistents l’exigeixen, i no afecta el posicionament a Google. Fer-lo costa poc i deixa clar quines pàgines vols que la IA citi.
Com sé si una web bloqueja ChatGPT o Claude?
Enganxa’n l’adreça a dalt. L’eina en llegeix el robots.txt i et diu, crawler per crawler, si hi pot entrar, si està bloquejat o si només té algunes rutes tancades, i quina regla ho decideix.
Com bloquejo GPTBot?
Afegeix dues línies al teu robots.txt: «User-agent: GPTBot» i «Disallow: /». Això només frena l’entrenament d’OpenAI; les cerques de ChatGPT fan servir OAI-SearchBot i les visites que demanen els usuaris, ChatGPT-User, que es bloquegen a part.
Google-Extended afecta la meva posició a Google?
No. Google-Extended només decideix si Google pot fer servir el teu contingut per a Gemini i per entrenar models. El rastreig de Google Search el fa Googlebot, que és un altre.
És gratis?
Sí, gratis i sense registre. És una mostra de l’extensió Smart Design Inspector, que ho revisa a la web que tinguis oberta juntament amb la resta del SEO.
Deseu les webs que comprovo?
No. Els fitxers es llegeixen en el moment per donar-te el resultat i no es desa ni l’adreça ni el resultat.
Llista d’espera
Sigues dels primers a provar-lo
Smart Design Inspector està en desenvolupament. Deixa’ns el teu correu i t’avisarem el dia que surti a la Chrome Web Store, amb les 7 funcions Pro gratuïtes en accés anticipat.
Un correu el dia del llançament i pocs més · Baixa amb un clic