Outil gratuit · IA
Votre site est-il prêt pour l’IA ? Ce vérificateur llms.txt contrôle si le site a un llms.txt et quels assistants peuvent le lire selon son robots.txt : les 17 crawlers de ChatGPT, Claude, Gemini, Perplexity et sept autres services, avec la règle qui en décide.
Gratuit · Sans inscription · Nous ne conservons pas le résultat
Saisissez l’adresse du site (le domaine suffit, par exemple votresite.com). Nous lisons ses fichiers à la racine : llms.txt, robots.txt et le sitemap.
S’il existe, vous voyez son titre, son résumé, son nombre de sections et de liens, et les alertes de format. Vous pouvez aussi ouvrir le fichier tel quel.
Un tableau de 17 crawlers d’IA : s’ils peuvent entrer, s’ils sont bloqués et quelle règle du robots.txt en décide.
llms.txt
Qu’il commence par un titre #, qu’il contienne un résumé et des liens vers les pages importantes. Nous signalons ce qui manque et vous montrons le fichier. Nous vérifions aussi s’il existe un llms-full.txt.
robots.txt
GPTBot, OAI-SearchBot, ClaudeBot, Google-Extended, PerplexityBot, CCBot, Applebot-Extended, Meta-ExternalAgent et les autres : lesquels peuvent entrer, lesquels non, et quelle règle en décide.
Sitemap
Si le robots.txt déclare un sitemap et combien d’URL il contient. C’est ce qu’utilisent les moteurs de recherche, et de nombreux assistants, pour découvrir vos pages.
Entraînement
Ils collectent du texte pour entraîner des modèles. Les bloquer ne vous retire pas des résultats de recherche des assistants, car la recherche passe par d’autres crawlers.
Recherche
Ils indexent les pages pour que l’assistant puisse les citer dans ses réponses. Si vous les bloquez, vous avez moins de chances d’être recommandé.
Visites des utilisateurs
Ils entrent quand quelqu’un demande à l’assistant de lire votre page. Les bloquer l’empêche de lire un lien qu’on lui donne.
llms.txt est un fichier texte au format Markdown placé à la racine du site (votresite.com/llms.txt). Il résume ce qu’est le site et pointe vers les pages qui l’expliquent le mieux, pour qu’un assistant d’IA n’ait pas à le deviner entre menus, bannières et code. Il a été proposé par Jeremy Howard en septembre 2024 sur llmstxt.org. Ce n’est pas un standard officiel : certains assistants le lisent, d’autres non.
Un exemple :
# Studio Exemple
> Studio de création web à Barcelone. Nous réalisons des sites sur mesure pour les PME et les boutiques en ligne.
## Services
- [Création de site web](https://exemple.com/creation-site-web/): sites sur mesure, à prix forfaitaire
- [Boutiques en ligne](https://exemple.com/boutiques-en-ligne/): WooCommerce et Shopify
- [Tarifs](https://exemple.com/tarifs/)
## Optional
- [Blog](https://exemple.com/blog/)# Nom, est le seul élément obligatoire.> avec le résumé : ce que vous faites et pour qui, en une ou deux phrases.## avec des listes de liens - [Titre](url): note. La note est facultative.## Optional regroupe le secondaire : un assistant qui manque de place peut la sauter.Certains sites publient aussi un llms-full.txt avec le texte complet de leurs pages, dans un seul fichier.
robots.txt dit qui peut entrer et par où ; llms.txt ne bloque et n’autorise rien, il oriente seulement. Si un crawler d’IA est bloqué dans robots.txt, un bon llms.txt ne lui ouvre pas la porte. C’est pourquoi cet outil examine les deux à la fois.
Beaucoup de validateurs ne contrôlent que le format du llms.txt. Cela sert peu si le robots.txt bloque les crawlers censés le lire, et c’est plus fréquent qu’on ne le croit : un Disallow: / prévu pour autre chose, ou une règle copiée d’un autre site, les exclut tous.
Ici, vous voyez crawler par crawler quelle règle décide : un groupe à son nom (User-agent: GPTBot) ou la règle générale (User-agent: *). Et si le site n’a pas de robots.txt, nous vous le disons : dans ce cas, tous peuvent entrer.
Pour bloquer GPTBot, ajoutez à votre robots.txt User-agent: GPTBot suivi de Disallow: /. Cela n’arrête que l’entraînement d’OpenAI : la recherche de ChatGPT passe par OAI-SearchBot, et les visites demandées par les utilisateurs par ChatGPT-User, qui se bloquent à part. Le vérificateur vous montre ensuite le résultat crawler par crawler.
Contrôlez llms.txt, robots.txt et le reste du SEO de chaque site que vous visitez, sans copier d’adresse.
Rejoindre la liste d’attenteSi l’IA le lit
Les crawlers sérieux respectent robots.txt, mais c’est une règle de courtoisie : un crawler qui ne la respecte pas entre quand même. Et il est impossible de savoir de l’extérieur quel assistant a lu votre llms.txt.
Blocages côté serveur
Un pare-feu ou un CDN peut bloquer des robots sans toucher au robots.txt. Ces blocages ne se voient pas dans les fichiers : vous les trouvez dans le panneau de votre hébergeur ou de votre CDN.
Nouveaux crawlers
Ceux des assistants et des modèles les plus utilisés. De nouveaux crawlers apparaissent tous les quelques mois ; la liste est mise à jour avec l’extension.
WordPress
Le thème, les extensions et le constructeur de pages d’un site, avec leur version et l’indice qui les trahit.
Analyser un site →SEO
L’apparence d’une page dans Google et lors d’un partage sur Facebook, X, LinkedIn et WhatsApp, avec le title mesuré en pixels.
Voir l’aperçu →Extension Chrome
La même chose, et bien plus, sur la page que vous avez ouverte.
Voir l’extension →Smart Design Inspector
L’extension Chrome le fait sur la page que vous avez ouverte, sans copier-coller : technologies, SEO, polices, couleurs et CSS, et elle voit la page telle que votre navigateur l’affiche (ici, nous ne lisons que le HTML envoyé par le serveur).
Un fichier texte à la racine du site (votresite.com/llms.txt) qui résume ce qu’est le site et pointe vers ses pages les plus importantes, en Markdown, pour que les assistants d’IA le comprennent mieux. C’est une proposition de 2024, pas un standard officiel.
Non. Ni Google ni les assistants ne l’exigent, et il n’a aucun effet sur le référencement dans Google. Le créer demande peu de travail et vous permet de choisir les pages que l’IA doit citer.
Collez son adresse ci-dessus. L’outil lit son robots.txt et vous dit, crawler par crawler, s’il peut entrer, s’il est bloqué ou si seuls certains chemins lui sont fermés, et quelle règle en décide.
Ajoutez deux lignes à votre robots.txt : « User-agent: GPTBot » et « Disallow: / ». Cela ne freine que l’entraînement d’OpenAI ; la recherche de ChatGPT utilise OAI-SearchBot et les visites demandées par les utilisateurs, ChatGPT-User, qui se bloquent à part.
Non. Google-Extended décide seulement si Google peut utiliser votre contenu pour Gemini et pour l’entraînement. L’exploration de Google Search est faite par Googlebot, qui est un autre crawler.
Oui, gratuit et sans inscription. C’est un aperçu de l’extension Smart Design Inspector, qui le contrôle sur le site que vous avez ouvert, avec le reste de son SEO.
Non. Les fichiers sont lus sur le moment pour vous donner le résultat, et nous ne conservons ni l’adresse ni le résultat.
Liste d’attente
Smart Design Inspector est en cours de développement. Laissez-nous votre e-mail et nous vous préviendrons le jour de sa sortie sur le Chrome Web Store, avec les 7 fonctions Pro gratuites en accès anticipé.
Un e-mail le jour du lancement et très peu d’autres · Désinscription en un clic
Cookies
Nous utilisons Google Analytics pour savoir combien de personnes visitent le site et quelles pages fonctionnent, uniquement si vous l’acceptez. Aucune publicité. Politique de cookies.