Robots.txt para bots de IA: qué permitir y qué bloquear en 2026

Robots.txt sigue siendo la primera línea de control sobre quién crawlea tu sitio. Con la explosión de bots de IA, la decisión de qué permitir se vuelve estratégica: bloquear = no aparecer en respuestas, permitir = ser fuente. Esta guía te ayuda a decidir con criterio, como parte de tu estrategia de GEO: SEO para IA generativa. Permitir el rastreo es solo el primer paso: después necesitas contenido estructurado para IA para que esos bots te citen.

Los bots de IA principales

Training crawlers (entrenamiento de modelos)

• GPTBot (OpenAI): entrena modelos GPT.

• ClaudeBot (Anthropic): entrena Claude.

• Google-Extended: entrena Gemini.

• CCBot (Common Crawl): dataset abierto usado por muchos modelos.

• Amazonbot: usado para Alexa y modelos Amazon.

• Bytespider (ByteDance/TikTok).

Search/retrieval crawlers (tiempo real para responder)

• OAI-SearchBot (OpenAI): retrieval para ChatGPT Search.

• PerplexityBot (Perplexity).

• Google-Extended: también usado para AIO retrieval.

• Applebot-Extended: para Apple Intelligence.

• Bingbot: base de búsqueda + ChatGPT Search.

Decisión: bloquear vs permitir

Permitir retrieval bots siempre

OAI-SearchBot, PerplexityBot, Google-Extended, Bingbot: son los bots que te llevan a ser citado en respuestas. Bloquearlos = no apareces en ChatGPT Search / Perplexity / AIO. Ver estrategia GEO.

Training bots: decisión dependiente

• Publisher grande con contenido premium: puedes bloquear GPTBot/ClaudeBot para preservar valor.

• Empresa que quiere aparecer en respuestas IA: permite todos.

• Sitio con copyright sensible o riesgo legal: evalúa caso por caso.

Robots.txt recomendado para GEO

User-agent: *
Allow: /

# Retrieval bots (permitir siempre para GEO)
User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: Applebot-Extended
Allow: /

# Training bots (permitir por defecto)
User-agent: GPTBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: CCBot
Allow: /

Sitemap: https://tudominio.com/sitemap.xml

User-agent: *
Allow: /

# Retrieval bots (permitir siempre para GEO)
User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: Applebot-Extended
Allow: /

# Training bots (permitir por defecto)
User-agent: GPTBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: CCBot
Allow: /

Sitemap: https://tudominio.com/sitemap.xml

User-agent: *
Allow: /

# Retrieval bots (permitir siempre para GEO)
User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: Applebot-Extended
Allow: /

# Training bots (permitir por defecto)
User-agent: GPTBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: CCBot
Allow: /

Sitemap: https://tudominio.com/sitemap.xml

Casos de bloqueo específico

Contenido premium detrás de paywall

Si tu contenido es pagado (news publisher, research), bloquea training bots pero permite retrieval bots.

API o áreas privadas

Bloquea rutas /admin/, /api/, /account/ para todos los bots.

Contenido duplicado / staging

Bloquea subdominios staging.tudominio.com para no diluir.

Verificación

• Google Search Console → URL Inspection → verifica que Google-Extended puede leer.

• Logs del servidor: filtra por User-Agent para ver quién te crawlea.

• Herramientas: DarkVisitors, Blockmetry para analytics de bots.

Errores comunes

• Copiar robots.txt de otros sin auditar.

• Bloquear "para proteger contenido" y perder toda la visibilidad IA.

• Confundir GPTBot (training) con OAI-SearchBot (retrieval) y bloquear el equivocado.

• No incluir sitemap en robots.txt.

Preguntas frecuentes

¿Bloquear GPTBot me saca de ChatGPT Search?

No automáticamente. GPTBot es training, OAI-SearchBot es retrieval. Bloquear GPTBot solo evita que uses tu contenido para entrenar modelos futuros.

¿Es legal bloquear bots?

Sí. Robots.txt es un estándar respetado. Los bots serios lo cumplen.

¿Hay bots que ignoran robots.txt?

Sí, scrapers maliciosos. Se bloquean a nivel de firewall/WAF.

¿Cómo bloquear a un bot que ignora robots.txt?

Cloudflare, AWS WAF o headers HTTP con user-agent blocking.

Configura tu robots.txt para GEO con MHA

En MHA como agencia GEO auditamos tu robots.txt junto con la estrategia de contenido. Agenda una llamada.