Crawlers de IA y robots.txt: que ChatGPT lea tu sitio

robots.txt es un archivo de texto en la raíz de tu sitio (tudominio.com/robots.txt) que les dice a los visitantes automáticos, llamados crawlers, qué partes del sitio pueden leer. Los productos de IA usan sus propios crawlers. Si tu robots.txt los bloquea, a propósito o porque un plugin o una configuración por defecto lo hizo por vos, tu sitio puede simplemente no estar disponible para ChatGPT, Claude o Perplexity, y ningún contenido, por bueno que sea, lo va a arreglar.

Este es el segundo punto de la lista de fundamentos de marca en Lumen ("Crawlers de IA permitidos"). Acá vas a ver qué hace cada crawler, cómo revisar tu archivo y cómo corregirlo. Se complementa con llms.txt, que orienta a los modelos una vez que pueden llegar a vos.

Los crawlers que importan

Cada empresa usa bots distintos para tareas distintas, y la diferencia importa. Un bot que arma un índice de búsqueda es el que te hace aparecer en las respuestas; uno que recolecta datos de entrenamiento es otra decisión que podés tratar de forma diferente.

1. 01
   OAI-SearchBot (OpenAI): Indexa sitios para que puedan aparecer en la búsqueda de ChatGPT. Es el más importante: si lo bloqueás, tu sitio no aparece en los resultados de búsqueda de ChatGPT.
2. 02
   GPTBot (OpenAI): Recolecta contenido que puede usarse para entrenar modelos de OpenAI. Bloquearlo no te saca de la búsqueda de ChatGPT, que depende de OAI-SearchBot.
3. 03
   ChatGPT-User (OpenAI): Visita una página cuando una persona le pide a ChatGPT que la abra o la lea. Bloquearlo rompe los pedidos de "leé este enlace".
4. 04
   ClaudeBot (Anthropic): El crawler de Anthropic para Claude. Anthropic documenta bots separados para búsqueda y para visitas iniciadas por usuarios, así que revisá su documentación vigente antes de escribir reglas específicas.
5. 05
   PerplexityBot (Perplexity): Construye el índice detrás de las respuestas de Perplexity y sus citas.
6. 06
   Google-Extended (Google): Un token de robots.txt que controla si Google puede usar tu contenido para Gemini. No afecta tu posicionamiento normal en Google Search, que depende de Googlebot.

¿Conviene permitirlos?

Si querés que te recomienden cuando alguien le pregunta a un asistente de IA por tu categoría, sí, al menos a los crawlers de búsqueda. Ser invisible para ellos equivale a no estar en el índice. Algunos medios bloquean los crawlers de entrenamiento por razones de licencias, y es una decisión legítima, pero tiene que ser deliberada. El error común es el bloqueo accidental: una regla general que nadie notó que dejaba afuera a todos los bots.

Cómo revisar tu robots.txt

• Abrí https://tudominio.com/robots.txt en el navegador. Si da 404, no hay archivo, o sea que no se bloquea nada (y Lumen lo cuenta como aprobado).
• Buscá una regla que bloquee todo, como la de abajo, ya sea bajo User-agent: * o bajo un bot de IA específico.
• Buscá en el archivo los nombres de bots de arriba. Un grupo con "Disallow: /" bajo cualquiera de ellos es un bloqueo total.
• Recordá que un grupo específico tiene prioridad sobre el genérico: permitir OAI-SearchBot por nombre funciona aunque User-agent: * sea restrictivo.

User-agent: *
Disallow: /

Esas dos líneas bloquean a todos los crawlers que no tengan una regla propia, incluidos los bots de IA. Es común en sitios de prueba y se copia a producción por error.

Cómo se ve un archivo sano

Agregá un grupo por cada bot de IA que quieras recibir y mantené tus reglas actuales para el resto. Es un ejemplo para adaptar, no para pegar a ciegas:

# Allow AI crawlers (everything else stays as it is)
User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Google-Extended
Allow: /

# Rules for everyone else
User-agent: *
Disallow: /admin/

Sitemap: https://yourdomain.com/sitemap.xml

Dónde editarlo en las plataformas más comunes

• WordPress: Ajustes, Lectura, y verificá que "Disuadir a los motores de búsqueda de indexar este sitio" esté desmarcado, porque agrega un bloqueo general. Los plugins de SEO como Yoast o Rank Math tienen un editor de robots.txt.
• Shopify: editá la plantilla robots.txt.liquid en el código del tema (Tienda online, Temas, Editar código).
• Wix: Herramientas de SEO, Editor de Robots.txt.
• Cloudflare: revisá los controles de crawlers de IA en Seguridad. Según tu configuración, Cloudflare puede bloquear bots de IA o agregar sus propias reglas aunque tu archivo se vea bien.
• Sitio a medida: editá el archivo robots.txt en la carpeta pública y desplegá.

Volvé a comprobar después del cambio

Recargá tu robots.txt para confirmar que la versión nueva está publicada (a veces una CDN guarda la vieja durante horas). En Lumen, andá a Acciones, Fundamentos de marca y tocá Volver a comprobar: el ítem se pone en verde cuando ninguno de OAI-SearchBot, GPTBot, ClaudeBot, Google-Extended o PerplexityBot está bloqueado. Después seguí el efecto en tu visibilidad desde las Acciones GEO, teniendo en cuenta que los crawlers tardan días o semanas en volver a visitar un sitio.