# CentroPago — robots.txt
# Crawlers: tradicionales (Google/Bing) + IA (OpenAI/Anthropic/Perplexity/Google AI)

User-agent: *
Allow: /
# App pages (login required, no value for indexing)
Disallow: /app/
# La pagina de proximamente ya NO se bloquea aqui: ahora sirve
# `X-Robots-Tag: noindex, follow` desde nginx, que SI la saca del indice.
# El Disallow no lo hacia -- impide rastrear, no indexar-- y ademas
# impedia que Google leyera la cabecera. Los dos cambios van juntos.
# Personas page — B2B-first, oculta del sitemap (noindex en HTML)
Disallow: /personas.html
# Internal/shared
Disallow: /shared/app/
# Deprecated landing/blog/recursos — staged out 2026-06-03 IP-protection sweep
Disallow: /deprecated/

# AI crawlers — explicit allow, con los MISMOS Disallow que el grupo *.
# Medido 2026-08-20: estos grupos traian solo "Allow: /". robots.txt no hereda
# entre grupos — un user-agent con grupo propio ignora por completo el grupo *,
# asi que los ocho bots de IA estaban crawleando /app/, /coming-soon.html,
# /shared/app/ y /deprecated/. Verificado en vivo: /app/auth.html respondia 200.
# Si se agrega un Disallow al grupo *, hay que repetirlo en CADA grupo de abajo.

User-agent: GPTBot
Allow: /
Disallow: /app/
Disallow: /shared/app/
Disallow: /personas.html
Disallow: /deprecated/

User-agent: ChatGPT-User
Allow: /
Disallow: /app/
Disallow: /shared/app/
Disallow: /personas.html
Disallow: /deprecated/

User-agent: OAI-SearchBot
Allow: /
Disallow: /app/
Disallow: /shared/app/
Disallow: /personas.html
Disallow: /deprecated/

User-agent: ClaudeBot
Allow: /
Disallow: /app/
Disallow: /shared/app/
Disallow: /personas.html
Disallow: /deprecated/

User-agent: anthropic-ai
Allow: /
Disallow: /app/
Disallow: /shared/app/
Disallow: /personas.html
Disallow: /deprecated/

User-agent: PerplexityBot
Allow: /
Disallow: /app/
Disallow: /shared/app/
Disallow: /personas.html
Disallow: /deprecated/

User-agent: Google-Extended
Allow: /
Disallow: /app/
Disallow: /shared/app/
Disallow: /personas.html
Disallow: /deprecated/

User-agent: Applebot-Extended
Allow: /
Disallow: /app/
Disallow: /shared/app/
Disallow: /personas.html
Disallow: /deprecated/

User-agent: CCBot
Allow: /
Disallow: /app/
Disallow: /shared/app/
Disallow: /personas.html
Disallow: /deprecated/

Sitemap: https://centropago.com/sitemap.xml