llms.txt 检查工具与 AI 爬虫检测

llms.txt 是放在网站根目录（yoursite.com/llms.txt）的 Markdown 文本文件。它概括网站是做什么的，并链接到最能说明网站的页面，这样 AI 助手就不必在菜单、横幅和代码中自己去猜。它由 Jeremy Howard 于 2024 年 9 月在 llmstxt.org 提出。它不是官方标准：有的 AI 助手会读取，有的不会。

示例：

# 示例工作室

> 一家网页设计工作室。我们为中小企业和网店定制网站。

## 服务
- [网页设计](https://example.com/web-design/)：定制网站，价格事先确定
- [网店](https://example.com/online-shop/)：WooCommerce 和 Shopify
- [价格](https://example.com/pricing/)

## Optional
- [博客](https://example.com/blog/)

• 第一行 # 名称是唯一必需的部分。
• 以 > 开头的一行是摘要：用一两句话说明你做什么、为谁服务。
• ## 分节包含链接列表 - [标题](url): 说明。说明可以省略。
• ## Optional 分节放次要内容：上下文空间有限的 AI 助手可以跳过它。

有些网站还会发布 llms-full.txt，把所有页面的完整文本放在一个文件里。

llms.txt 和 robots.txt 作用不同

robots.txt 规定谁可以访问、可以访问哪些路径；llms.txt 不屏蔽也不允许任何东西，只起引导作用。如果某个 AI 爬虫在 robots.txt 中被屏蔽，再好的 llms.txt 也不会为它开门。所以这个工具会同时检查两者。

很多验证工具只检查 llms.txt 的格式。如果 robots.txt 屏蔽了本该读取它的爬虫，这样的检查用处不大，而这种情况比想象中常见：一条本来另有用途的 Disallow: /，或者从别的网站照搬来的规则，就会把所有爬虫都挡在外面。

在这里，你可以逐个爬虫看到由哪条规则决定：以它的名字命名的规则组（User-agent: GPTBot），还是通用规则（User-agent: *）。如果网站没有 robots.txt，我们也会告诉你：这时所有爬虫都可以访问。