llms.txt
Ob es sie gibt und ob sie korrekt ist
Ob sie mit einem #-Titel beginnt, eine Zusammenfassung und Links zu den wichtigen Seiten enthält. Wir zeigen, was fehlt, und die Datei selbst. Außerdem prüfen wir, ob es eine llms-full.txt gibt.
Kostenloses Tool · KI
llms.txt prüfen und KI-Crawler checken
Ist Ihre Website bereit für KI? Hier können Sie die llms.txt prüfen und sehen, welche Assistenten die Website laut robots.txt lesen dürfen: die 17 Crawler von ChatGPT, Claude, Gemini, Perplexity und sieben weiteren Diensten, jeweils mit der Regel, die darüber entscheidet.
Kostenlos · Ohne Anmeldung · Wir speichern das Ergebnis nicht
01
So können Sie die llms.txt prüfen
- 01
Domain einfügen
Geben Sie die Adresse der Website ein (die Domain genügt, z. B.
ihrewebsite.de). Wir lesen die Dateien im Stammverzeichnis:llms.txt,robots.txtund die Sitemap. - 02
llms.txt ansehen
Gibt es sie, sehen Sie Titel, Zusammenfassung, Anzahl der Abschnitte und Links sowie Formathinweise. Sie können die Datei auch unverändert öffnen.
- 03
Crawler prüfen
Eine Tabelle mit 17 KI-Crawlern: ob sie hineindürfen, ob sie blockiert sind und welche Regel der robots.txt darüber entscheidet.
02
llms.txt Validator: was das Tool prüft
robots.txt
17 KI-Crawler
GPTBot, OAI-SearchBot, ClaudeBot, Google-Extended, PerplexityBot, CCBot, Applebot-Extended, Meta-ExternalAgent und die übrigen: welche hineindürfen, welche nicht und welche Regel darüber entscheidet.
Sitemap
Die Sitemap der Website
Ob die robots.txt eine Sitemap angibt und wie viele URLs sie enthält. Darüber entdecken Suchmaschinen – und viele Assistenten – Ihre Seiten.
03
KI-Crawler: Trainieren ist nicht Suchen
Training
GPTBot, ClaudeBot, CCBot …
Sie sammeln Text, um Modelle zu trainieren. Wer sie blockiert, verschwindet nicht aus den Suchergebnissen der Assistenten, denn die Suche läuft über andere Crawler.
Suche
OAI-SearchBot, Claude-SearchBot, PerplexityBot
Sie indexieren Seiten, damit der Assistent sie in seinen Antworten zitieren kann. Blockieren Sie sie, sinkt die Chance, dass er Sie empfiehlt.
Nutzeranfragen
ChatGPT-User, Claude-User, Perplexity-User
Sie kommen, wenn jemand den Assistenten bittet, Ihre Seite zu lesen. Blockieren Sie sie, kann er einen Link nicht lesen, den man ihm gibt.
04
Was ist llms.txt und wie erstellt man sie?
llms.txt ist eine Textdatei im Markdown-Format im Stammverzeichnis der Website (ihrewebsite.de/llms.txt). Sie fasst zusammen, worum es auf der Website geht, und verweist auf die Seiten, die das am besten erklären – damit ein KI-Assistent es nicht zwischen Menüs, Bannern und Code erraten muss. Vorgeschlagen hat sie Jeremy Howard im September 2024 auf llmstxt.org. Ein offizieller Standard ist sie nicht: Manche Assistenten lesen sie, andere nicht.
Ein Beispiel:
# Beispiel Studio
> Webdesign-Studio in Barcelona. Wir gestalten individuelle Websites für kleine und mittlere Unternehmen und Onlineshops.
## Leistungen
- [Webdesign](https://beispiel.de/webdesign/): individuelle Websites zum Festpreis
- [Onlineshops](https://beispiel.de/onlineshops/): WooCommerce und Shopify
- [Preise](https://beispiel.de/preise/)
## Optional
- [Blog](https://beispiel.de/blog/)- Die erste Zeile,
# Name, ist das einzige Pflichtelement. - Eine Zeile, die mit
>beginnt, mit der Zusammenfassung: was Sie tun und für wen, in ein oder zwei Sätzen. - Abschnitte mit
##und Linklisten im Format- [Titel](url): Notiz. Die Notiz ist optional. - Der Abschnitt
## Optionalsammelt Nebensächliches: Ein Assistent mit wenig Platz kann ihn überspringen.
Manche Websites veröffentlichen zusätzlich eine llms-full.txt mit dem vollständigen Text ihrer Seiten in einer einzigen Datei.
llms.txt und robots.txt haben unterschiedliche Aufgaben
Die robots.txt legt fest, wer hineindarf und wo; die llms.txt sperrt und erlaubt nichts, sie gibt nur Orientierung. Ist ein KI-Crawler in der robots.txt blockiert, öffnet ihm auch eine gute llms.txt nicht die Tür. Deshalb prüft dieses Tool beide zusammen.
05
Warum Sie llms.txt und robots.txt zusammen prüfen sollten
Viele Validatoren prüfen nur das Format der llms.txt. Das bringt wenig, wenn die robots.txt genau die Crawler blockiert, die sie lesen sollen – und das kommt häufiger vor, als man denkt: Ein Disallow: /, das für etwas anderes gedacht war, oder eine Regel, die von einer anderen Website kopiert wurde, sperrt alle aus.
Hier sehen Sie Crawler für Crawler, welche Regel entscheidet: eine Gruppe mit seinem Namen (User-agent: GPTBot) oder die allgemeine Regel (User-agent: *). Und hat die Website keine robots.txt, sagen wir es Ihnen: Dann dürfen alle hinein.
GPTBot blockieren, ohne aus ChatGPT zu verschwinden
Um GPTBot zu blockieren, ergänzen Sie in Ihrer robots.txt User-agent: GPTBot und darunter Disallow: /. Das stoppt nur das Training von OpenAI: Die Suche von ChatGPT läuft über OAI-SearchBot und die von Nutzern angeforderten Besuche über ChatGPT-User, die separat blockiert werden. Anschließend zeigt Ihnen das Tool das Ergebnis Crawler für Crawler.
Prüfen Sie llms.txt, robots.txt und das übrige SEO jeder Website, die Sie besuchen, ohne eine Adresse zu kopieren.
Auf die Warteliste06
Was der llms.txt-Check nicht wissen kann
Ob die KI sie liest
robots.txt ist eine Bitte
Seriöse Crawler halten sich an die robots.txt, aber sie ist eine Höflichkeitsregel: Ein Crawler, der sie ignoriert, kommt trotzdem hinein. Und von außen lässt sich nicht feststellen, welcher Assistent Ihre llms.txt gelesen hat.
Sperren auf dem Server
Firewall und CDN
Eine Firewall oder ein CDN kann Bots blockieren, ohne die robots.txt anzurühren. Solche Sperren sieht man nicht in den Dateien, sondern im Panel Ihres Hosters oder CDN.
Neue Crawler
Wir prüfen 17 Namen
Die der meistgenutzten Assistenten und Modelle. Alle paar Monate kommen neue Crawler hinzu; die Liste wird mit der Erweiterung aktualisiert.
07
Weitere kostenlose Tools
WordPress
WordPress Theme Detector und Plugin-Finder
Theme, Plugins und Page Builder einer Website, mit Version und dem Hinweis im Code, der sie verrät.
Website analysieren →SEO
SERP Simulator: Google- und Social-Media-Vorschau
So erscheint eine Seite bei Google und beim Teilen auf Facebook, X, LinkedIn und WhatsApp – mit dem Title in Pixeln gemessen.
Vorschau ansehen →Chrome-Erweiterung
SEO-Inspektor für Chrome: robots.txt, Sitemap, llms.txt und mehr
Dasselbe und noch viel mehr – direkt auf der Seite, die Sie geöffnet haben.
Zur Erweiterung →Smart Design Inspector
Das und noch mehr, auf jeder Website
Die Chrome-Erweiterung erledigt das auf der Seite, die Sie geöffnet haben, ohne Kopieren und Einfügen: Technologien, SEO, Schriften, Farben und CSS. Und sie sieht die Seite so, wie Ihr Browser sie darstellt (hier lesen wir nur das HTML, das der Server ausliefert).
Was ist die Datei llms.txt?
Eine Textdatei im Stammverzeichnis der Website (ihrewebsite.de/llms.txt), die in Markdown zusammenfasst, worum es auf der Website geht, und auf die wichtigsten Seiten verweist, damit KI-Assistenten sie besser verstehen. Sie ist ein Vorschlag aus dem Jahr 2024, kein offizieller Standard.
Ist llms.txt Pflicht?
Nein. Weder Google noch die Assistenten verlangen sie, und auf das Ranking bei Google hat sie keinen Einfluss. Sie ist schnell erstellt und lässt Sie festlegen, welche Seiten die KI zitieren soll.
Wie erkenne ich, ob eine Website ChatGPT oder Claude blockiert?
Fügen Sie die Adresse oben ein. Das Tool liest die robots.txt und zeigt Crawler für Crawler, ob er hineindarf, ob er blockiert ist oder ob ihm nur bestimmte Pfade verschlossen sind – und welche Regel darüber entscheidet.
Wie blockiere ich GPTBot?
Ergänzen Sie zwei Zeilen in Ihrer robots.txt: „User-agent: GPTBot“ und „Disallow: /“. Das stoppt nur das Training von OpenAI; die Suche von ChatGPT nutzt OAI-SearchBot und die von Nutzern angeforderten Besuche ChatGPT-User, die separat blockiert werden.
Beeinflusst Google-Extended meine Position bei Google?
Nein. Google-Extended entscheidet nur, ob Google Ihre Inhalte für Gemini und für das Training nutzen darf. Das Crawling für die Google-Suche übernimmt Googlebot, ein anderer Crawler.
Ist das kostenlos?
Ja, kostenlos und ohne Anmeldung. Es ist ein Vorgeschmack auf die Erweiterung Smart Design Inspector, die das auf der Website prüft, die Sie geöffnet haben, zusammen mit dem übrigen SEO.
Speichern Sie die Websites, die ich prüfe?
Nein. Die Dateien werden in dem Moment gelesen, um Ihnen das Ergebnis zu zeigen, und wir speichern weder die Adresse noch das Ergebnis.
Warteliste
Gehören Sie zu den Ersten, die es testen
Smart Design Inspector ist in Entwicklung. Hinterlassen Sie Ihre E-Mail-Adresse, und wir benachrichtigen Sie am Tag der Veröffentlichung im Chrome Web Store – mit den 7 Pro-Funktionen kostenlos im Vorabzugang.
Eine E-Mail am Starttag und nur wenige weitere · Abmeldung mit einem Klick