llms.txt
Se existe e está bem feito
Que comece por um título #, que tenha um resumo e links para as páginas importantes. Avisamos do que falta e mostramos o arquivo. Verificamos também se existe um llms-full.txt.
Ferramenta gratuita · IA
Verificador de llms.txt e crawlers de IA
O seu site está preparado para a IA? O verificador de llms.txt confirma se o arquivo existe e que assistentes podem ler o site segundo o robots.txt: os 17 crawlers do ChatGPT, Claude, Gemini, Perplexity e mais sete serviços, com a regra que o decide.
Grátis · Sem criar conta · Não guardamos o resultado
01
Como usar o verificador de llms.txt
- 01
Cole o domínio
Escreva o endereço do site (basta o domínio, por exemplo
oseusite.com). Lemos os arquivos da raiz:llms.txt,robots.txte o sitemap. - 02
Veja o llms.txt
Se existir, vê o título, o resumo, quantos blocos e links tem e os avisos de formato. E pode abrir o arquivo tal como está.
- 03
Reveja os crawlers
Uma tabela com 17 crawlers de IA: se podem entrar, se estão bloqueados e que regra do robots.txt o decide.
02
Como validar o llms.txt: o que verificamos
robots.txt
17 crawlers de IA
GPTBot, OAI-SearchBot, ClaudeBot, Google-Extended, PerplexityBot, CCBot, Applebot-Extended, Meta-ExternalAgent e os restantes: quais podem entrar, quais não podem e que regra o decide.
Sitemap
O mapa do site
Se o robots.txt declara um sitemap e quantos URL tem. É o que os motores de busca, e muitos assistentes, usam para descobrir as suas páginas.
03
Crawlers de IA: treinar não é pesquisar
Treinar modelos
GPTBot, ClaudeBot, CCBot…
Reúnem texto para treinar modelos. Bloqueá-los não tira o site dos resultados de pesquisa dos assistentes, porque a pesquisa usa outros crawlers.
Pesquisa
OAI-SearchBot, Claude-SearchBot, PerplexityBot
Indexam as páginas para que o assistente as possa citar nas respostas. Se os bloquear, é mais difícil que o recomendem.
Pedidos de pessoas
ChatGPT-User, Claude-User, Perplexity-User
Entram quando alguém pede ao assistente para ler a sua página. Bloqueá-los impede que leia um link que lhe enviam.
04
O que é o llms.txt e como criá-lo
O llms.txt é um arquivo de texto em Markdown colocado na raiz do site (oseusite.com/llms.txt). Resume o que é o site e aponta para as páginas que melhor o explicam, para que um assistente de IA o entenda sem adivinhar entre menus, banners e código. Foi proposto por Jeremy Howard em setembro de 2024 em llmstxt.org. Não é um padrão oficial: há assistentes que o leem e outros que não.
Um exemplo:
# Estúdio Exemplo
> Estúdio de web design em Barcelona. Fazemos sites personalizados para pequenas empresas e lojas online.
## Serviços
- [Web design](https://exemplo.com/web-design/): sites personalizados, com preço fechado
- [Lojas online](https://exemplo.com/lojas-online/): WooCommerce e Shopify
- [Preços](https://exemplo.com/precos/)
## Optional
- [Blog](https://exemplo.com/blog/)- A primeira linha,
# Nome, é a única obrigatória. - Uma linha que começa por
>com o resumo: o que faz e para quem, em uma ou duas frases. - Blocos
##com listas de links- [Título](url): nota. A nota é opcional. - O bloco
## Optionalagrupa o que é secundário: um assistente com pouco espaço pode ignorá-lo.
Alguns sites publicam também um llms-full.txt com o texto completo das suas páginas, num único arquivo.
O llms.txt e o robots.txt não fazem o mesmo
O robots.txt diz quem pode entrar e por onde; o llms.txt não bloqueia nem permite nada, apenas orienta. Se um crawler de IA estiver bloqueado no robots.txt, um bom llms.txt não lhe abre a porta. Por isso esta ferramenta olha para os dois ao mesmo tempo.
05
Por que razão o verificador de llms.txt também lê o robots.txt
Muitos validadores só verificam o formato do llms.txt. Isso serve de pouco se o robots.txt bloquear os crawlers que o iam ler, e é mais comum do que parece: um Disallow: / pensado para outra coisa, ou uma regra copiada de outro site, deixa todos de fora.
Aqui vê, crawler a crawler, que regra decide: um grupo com o seu nome (User-agent: GPTBot) ou a regra geral (User-agent: *). E, se o site não tiver robots.txt, também o indicamos: nesse caso, todos podem entrar.
Analise o llms.txt, o robots.txt e o resto do SEO de cada site que visita, sem copiar endereços.
Entrar na lista de espera06
O que o verificador de llms.txt não consegue saber
Se a IA o lê
O robots.txt é um pedido
Os crawlers sérios respeitam o robots.txt, mas é uma regra de cortesia: um que não a respeite entra na mesma. E não há forma de saber de fora que assistente leu o seu llms.txt.
Bloqueios no servidor
Firewall e CDN
Regras de firewall ou uma CDN podem bloquear bots sem mexer no robots.txt. Esses bloqueios não aparecem nos arquivos: estão no painel do seu servidor ou da sua CDN.
Crawlers novos
Verificamos 17 nomes
Os dos assistentes e modelos mais usados. Surgem crawlers novos a cada poucos meses; a lista é atualizada com a extensão.
07
Outras ferramentas gratuitas
WordPress
Detector de tema WordPress e de plugins
Que tema, que plugins e que construtor um site usa, com a versão e a pista que os denuncia.
Analisar um site →SEO
Simulador SERP: pré-visualização no Google e nas redes
Como uma página aparece no Google e como o link fica no Facebook, X, LinkedIn e WhatsApp, com o title medido em pixels.
Ver a pré-visualização →Extensão para o Chrome
Inspetor SEO para o Chrome: robots.txt, sitemap, llms.txt e mais
O mesmo, e muito mais, na página que tem aberta.
Ver a extensão →Smart Design Inspector
Isto e muito mais, em qualquer site
A extensão para o Chrome faz isto na página que tem aberta, sem copiar e colar: tecnologia, SEO, fontes, cores e CSS, e vê a página tal como o seu navegador a mostra (aqui só lemos o HTML que o servidor envia).
O que é o arquivo llms.txt?
Um arquivo de texto na raiz do site (oseusite.com/llms.txt) que resume o que é o site e aponta para as páginas mais importantes, em Markdown, para que os assistentes de IA o entendam melhor. É uma proposta de 2024, não um padrão oficial.
O llms.txt é obrigatório?
Não. Nem o Google nem os assistentes o exigem, e não afeta o posicionamento no Google. Criá-lo dá pouco trabalho e define que páginas quer que a IA cite.
Como saber se um site bloqueia o ChatGPT ou o Claude?
Cole o endereço acima. A ferramenta lê o robots.txt e diz, crawler a crawler, se pode entrar, se está bloqueado ou se só tem alguns caminhos fechados, e que regra o decide.
Como bloquear o GPTBot?
Acrescente duas linhas ao seu robots.txt: «User-agent: GPTBot» e «Disallow: /». Isso só impede que a OpenAI use o site para treinar modelos; as pesquisas do ChatGPT usam o OAI-SearchBot e as visitas pedidas pelas pessoas, o ChatGPT-User, que se bloqueiam à parte.
O Google-Extended afeta a minha posição no Google?
Não. O Google-Extended só decide se o Google pode usar o seu conteúdo no Gemini e para treinar modelos. Para o Google Search, quem rastreia é o Googlebot, que é outro.
É grátis?
Sim, grátis e sem criar conta. É uma amostra da extensão Smart Design Inspector, que faz esta análise no site que tiver aberto, junto com o resto do SEO.
Os sites que verifico ficam guardados?
Não. Os arquivos são lidos no momento para dar o resultado e não se guarda nem o endereço nem o resultado.
Lista de espera
Seja dos primeiros a experimentar
O Smart Design Inspector está em desenvolvimento. Deixe o seu email e avisamos no dia em que chegar à Chrome Web Store, com as 7 funções Pro grátis em acesso antecipado.
Um email no dia do lançamento e poucos mais · Cancele com um clique