Crawlers de IA e robots.txt: ChatGPT lendo seu site

robots.txt é um arquivo de texto na raiz do seu site (seudominio.com/robots.txt) que diz aos visitantes automáticos, chamados crawlers, quais partes do site eles podem ler. Os produtos de IA usam seus próprios crawlers. Se o seu robots.txt os bloqueia, de propósito ou porque um plugin ou configuração padrão fez isso por você, seu site pode simplesmente não estar disponível para ChatGPT, Claude ou Perplexity, e nenhum conteúdo, por melhor que seja, resolve isso.

Este é o segundo item da lista de fundamentos de marca no Lumen ("Crawlers de IA permitidos"). Aqui você vê o que cada crawler faz, como verificar seu arquivo e como corrigir. Ele se complementa com o llms.txt, que orienta os modelos depois que eles conseguem chegar até você.

Os crawlers que importam

Cada empresa usa bots diferentes para tarefas diferentes, e a diferença importa. Um bot que monta um índice de busca é o que faz você aparecer nas respostas; um que coleta dados de treinamento é outra decisão, que você pode tratar de forma distinta.

1. 01
   OAI-SearchBot (OpenAI): Indexa sites para que possam aparecer na busca do ChatGPT. É o mais importante: se você o bloqueia, seu site não aparece nos resultados de busca do ChatGPT.
2. 02
   GPTBot (OpenAI): Coleta conteúdo que pode ser usado para treinar modelos da OpenAI. Bloqueá-lo não tira você da busca do ChatGPT, que depende do OAI-SearchBot.
3. 03
   ChatGPT-User (OpenAI): Visita uma página quando uma pessoa pede ao ChatGPT que a abra ou leia. Bloqueá-lo quebra os pedidos de "leia este link".
4. 04
   ClaudeBot (Anthropic): O crawler da Anthropic para o Claude. A Anthropic documenta bots separados para busca e para visitas iniciadas por usuários, então consulte a documentação atual antes de escrever regras específicas.
5. 05
   PerplexityBot (Perplexity): Constrói o índice por trás das respostas do Perplexity e de suas citações.
6. 06
   Google-Extended (Google): Um token de robots.txt que controla se o Google pode usar seu conteúdo para o Gemini. Não afeta seu ranqueamento normal no Google Search, que depende do Googlebot.

Vale a pena permitir?

Se você quer ser recomendado quando alguém pergunta a um assistente de IA sobre a sua categoria, sim, pelo menos os crawlers de busca. Ser invisível para eles equivale a não estar no índice. Alguns veículos bloqueiam os crawlers de treinamento por razões de licenciamento, e é uma escolha legítima, mas precisa ser deliberada. O erro comum é o bloqueio acidental: uma regra geral que ninguém percebeu que deixava todos os bots de fora.

Como verificar seu robots.txt

• Abra https://seudominio.com/robots.txt no navegador. Se der 404, não há arquivo, ou seja, nada é bloqueado (e o Lumen conta como aprovado).
• Procure uma regra que bloqueie tudo, como a abaixo, seja em User-agent: * ou em um bot de IA específico.
• Procure no arquivo os nomes de bots acima. Um grupo com "Disallow: /" sob qualquer um deles é um bloqueio total.
• Lembre que um grupo específico tem prioridade sobre o genérico: permitir o OAI-SearchBot pelo nome funciona mesmo que User-agent: * seja restritivo.

User-agent: *
Disallow: /

Essas duas linhas bloqueiam todos os crawlers que não tenham uma regra própria, incluindo os bots de IA. É comum em sites de teste e acaba copiada para produção por engano.

Como é um arquivo saudável

Adicione um grupo para cada bot de IA que você quer receber e mantenha suas regras atuais para o restante. É um exemplo para adaptar, não para colar às cegas:

# Allow AI crawlers (everything else stays as it is)
User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Google-Extended
Allow: /

# Rules for everyone else
User-agent: *
Disallow: /admin/

Sitemap: https://yourdomain.com/sitemap.xml

Onde editar nas plataformas mais comuns

• WordPress: Configurações, Leitura, e confirme que "Desencorajar os mecanismos de busca a indexar este site" está desmarcado, pois adiciona um bloqueio geral. Plugins de SEO como Yoast ou Rank Math têm um editor de robots.txt.
• Shopify: edite o template robots.txt.liquid no código do tema (Loja virtual, Temas, Editar código).
• Wix: Ferramentas de SEO, Editor de Robots.txt.
• Cloudflare: confira os controles de crawlers de IA em Segurança. Dependendo da configuração, o Cloudflare pode bloquear bots de IA ou adicionar regras próprias mesmo que seu arquivo pareça correto.
• Site sob medida: edite o arquivo robots.txt na pasta pública e faça o deploy.

Verifique de novo depois da mudança

Recarregue seu robots.txt para confirmar que a nova versão está no ar (às vezes uma CDN guarda a antiga por horas). No Lumen, vá em Ações, Fundamentos de marca e clique em Verificar novamente: o item fica verde quando nenhum entre OAI-SearchBot, GPTBot, ClaudeBot, Google-Extended e PerplexityBot está bloqueado. Depois acompanhe o efeito na sua visibilidade pelas Ações GEO, lembrando que os crawlers levam dias ou semanas para revisitar um site.