Comprobador de llms.txt y crawlers de IA

llms.txt es un archivo de texto en Markdown que se pone en la raíz de la web (tuweb.com/llms.txt). Resume qué es la web y enlaza las páginas que mejor la explican, para que un asistente de IA no tenga que adivinarlo entre menús, banners y código. Lo propuso Jeremy Howard en septiembre de 2024 en llmstxt.org. No es un estándar oficial: hay asistentes que lo leen y otros que no.

Un ejemplo:

# Estudio Ejemplo

> Estudio de diseño web en Barcelona. Hacemos webs a medida para pymes y tiendas online.

## Servicios
- [Diseño web](https://ejemplo.com/diseno-web/): webs a medida, con precio cerrado
- [Tiendas online](https://ejemplo.com/tiendas-online/): WooCommerce y Shopify
- [Precios](https://ejemplo.com/precios/)

## Optional
- [Blog](https://ejemplo.com/blog/)

• La primera línea, # Nombre, es lo único obligatorio.
• Una línea que empieza por > con el resumen: qué haces y para quién, en una o dos frases.
• Secciones ## con listas de enlaces - [Título](url): nota. La nota es opcional.
• La sección ## Optional agrupa lo secundario: un asistente con poco espacio se la puede saltar.

Algunas webs publican además un llms-full.txt con el texto completo de sus páginas, en un solo archivo.

llms.txt y robots.txt no hacen lo mismo

robots.txt dice quién puede entrar y por dónde; llms.txt no bloquea ni permite nada, solo orienta. Si un crawler de IA está bloqueado en robots.txt, un buen llms.txt no le abre la puerta. Por eso esta herramienta mira los dos a la vez.

Muchos validadores solo revisan el formato del llms.txt. Sirve de poco si el robots.txt bloquea a los crawlers que lo iban a leer, y es más común de lo que parece: un Disallow: / pensado para otra cosa, o una regla copiada de otra web, deja fuera a todos.

Aquí ves, crawler por crawler, qué regla decide: un grupo con su nombre (User-agent: GPTBot) o la regla general (User-agent: *). Y si la web no tiene robots.txt, te lo decimos: entonces todos pueden entrar.