¿Por qué ChatGPT, Claude o Perplexity no ven tu web? Revisa tu hosting

En resumen
Muchas veces el problema no está en tu contenido sino en la puerta: la protección antibots del hosting, un plugin de seguridad o la CDN responden con un error 403 a los rastreadores de ChatGPT, Claude o Perplexity, mientras Googlebot entra sin problema. Compruébalo simulando esos rastreadores, revisa el robots.txt que se sirve de verdad y permite al menos los rastreadores de búsqueda en el panel de seguridad. Dejar entrar o no a los rastreadores de entrenamiento es una decisión aparte.
Le preguntas a ChatGPT por tu propio negocio y responde con datos viejos o de otra web. Le pides a Claude o a Perplexity que abra tu página de precios y te dice que no puede acceder. Tu web sale en Google, así que piensas que el problema es el contenido. Muchas veces no lo es: es la puerta.
Las webs de negocios pequeños suelen estar detrás de una protección contra bots (del hosting, de un plugin o de una CDN). Esa protección deja pasar a Googlebot, pero puede rechazar a los rastreadores de los asistentes de IA. Desde fuera no se nota nada: tu web funciona para ti y para Google.
Nos pasó a nosotros: un caso real
El 8 de noviembre de 2026 revisamos nuestra propia web, web-sensei.com. El robots.txt lo permitía todo. Aun así, las reglas antibots que el hosting aplica a cada sitio respondían con un error 403 (acceso prohibido) a GPTBot, OAI-SearchBot, ClaudeBot y PerplexityBot. A la vez, Googlebot recibía un 200 (página servida con normalidad).
Lo peor: tampoco podían leer robots.txt ni llms.txt. Es decir, ni siquiera llegaban a ver que les dábamos permiso.
La solución no tuvo nada que ver con el código: permitimos esos rastreadores en el apartado de bots del panel del hosting. Después de ese cambio, todos recibían un 200.
La lección: robots.txt es una petición; el cortafuegos es una puerta cerrada. Si el servidor responde 403, lo que diga robots.txt da igual.
Qué rastreadores usa cada asistente
No todos los bots de IA hacen lo mismo. Cada empresa separa los que sirven para buscar y responder de los que recopilan contenido para entrenar modelos. Esto es lo que dice la documentación oficial de cada una:
| Empresa | Rastreador | Para qué sirve | Si lo bloqueas |
|---|---|---|---|
| OpenAI | OAI-SearchBot |
Mostrar webs en la búsqueda de ChatGPT | No apareces en las respuestas de búsqueda de ChatGPT (solo como enlace de navegación) |
| OpenAI | ChatGPT-User |
Visitas que hace ChatGPT cuando un usuario se lo pide | ChatGPT no puede abrir tu página para ese usuario |
| OpenAI | GPTBot |
Contenido que puede usarse para entrenar modelos | Tu contenido no debería usarse para entrenar |
| Anthropic | Claude-SearchBot |
Indexar contenido para mejorar los resultados de búsqueda | Menos visibilidad en las búsquedas de Claude |
| Anthropic | Claude-User |
Leer páginas cuando un usuario pregunta a Claude | Claude no puede recuperar tu contenido para responder |
| Anthropic | ClaudeBot |
Contenido que puede contribuir al entrenamiento | Se excluye tu contenido futuro del entrenamiento |
| Perplexity | PerplexityBot |
Mostrar y enlazar webs en los resultados de Perplexity (no entrena modelos) | No apareces en sus resultados |
| Perplexity | Perplexity-User |
Visitas a petición de un usuario | Perplexity no puede abrir tu página para responder |
Google-Extended |
Uso de tu contenido para entrenar Gemini y para fundamentar sus respuestas | No afecta a tu presencia ni a tu posición en la Búsqueda de Google |
Dos detalles útiles:
- OpenAI indica que cada ajuste es independiente: puedes bloquear
GPTBoty seguir permitiendoOAI-SearchBot. También avisa de que un cambio enrobots.txtpuede tardar unas 24 horas en reflejarse en su búsqueda. ChatGPT-UseryPerplexity-Useractúan a petición de una persona, y sus empresas explican querobots.txtpuede no aplicarse a ellos. Pero un 403 del servidor sí los frena.
Cómo comprobarlo tú mismo en 10 minutos
Paso 1. Mira el robots.txt que se sirve de verdad
Abre https://tuweb.es/robots.txt en el navegador. Mira el que ve el público, no el archivo que crees haber subido: algunos hostings, gestores de contenidos y plugins generan o modifican este archivo por su cuenta.
Busca bloques como User-agent: GPTBot o User-agent: PerplexityBot seguidos de Disallow: /. Ten en cuenta que, según Google, un rastreador sigue solo el grupo más específico que lo nombra: si hay un bloque para OAI-SearchBot, ese bloque manda sobre el general User-agent: *.
Paso 2. Simula a los rastreadores
Si tienes un ordenador con terminal (Mac, Linux o Windows con curl), ejecuta:
for ua in Googlebot GPTBot OAI-SearchBot \
ChatGPT-User ClaudeBot Claude-SearchBot \
Claude-User PerplexityBot Perplexity-User
do
printf "%-18s " "$ua"
curl -s -o /dev/null -w "%{http_code}\n" \
-A "$ua" https://tuweb.es/
done
Cómo leer el resultado:
- 200: la página se sirve.
- 403: acceso prohibido. Es la señal más clara de un bloqueo.
- 429 o 503: demasiadas peticiones o una página de comprobación. Hay que mirar qué protección la genera.
- 301/302: redirección; repite la prueba con la URL final.
Repite la prueba con /robots.txt y con una página interna, por ejemplo la de precios. Si Googlebot recibe 200 y los demás 403, el bloqueo está en el servidor o en la CDN, no en tu contenido.
Un aviso honesto: esta prueba solo imita el nombre del bot. Algunas protecciones también comprueban la dirección IP (Perplexity, por ejemplo, recomienda a los administradores verificar ambas cosas). Por eso el resultado puede no coincidir al 100 % con lo que recibe el bot real. Tómalo como una señal fuerte y confírmalo en el panel o en los registros.
Paso 3. Pide a un asistente que abra tu página
En ChatGPT, Claude o Perplexity escribe: «Abre https://tuweb.es/precios/ y dime qué precios aparecen». Si responde que no puede acceder o se inventa datos, es otra señal. No es una prueba definitiva, porque el asistente puede tirar de una copia antigua o de otra fuente.
Paso 4. Mira los registros del servidor
En las estadísticas o los registros de acceso de tu hosting, busca los nombres de estos rastreadores y el código que reciben. Si ves GPTBot o PerplexityBot con 403, ya tienes la confirmación.
Dónde suele estar el bloqueo
Cada hosting llama a sus opciones de una manera, así que busca por concepto:
| Dónde mirar | Qué buscar |
|---|---|
| Panel del hosting | Apartados de protección contra bots, cortafuegos o IP sospechosas, con reglas por sitio |
| Plugin de seguridad (WordPress u otro gestor) | Bloqueo de bots, de agentes de usuario o de países |
| CDN (por ejemplo Cloudflare) | Políticas para rastreadores de IA, modo de lucha contra bots, reglas del cortafuegos (WAF) |
Archivo .htaccess o configuración del servidor |
Reglas que deniegan por agente de usuario |
En Cloudflare, la documentación oficial sitúa las políticas para rastreadores y agentes de IA en Security > Settings, filtrando por tráfico de bots. Se elige una acción para tres comportamientos: búsqueda, agente y entrenamiento. Según esa documentación, en los dominios nuevos las tres vienen en «permitir», pero alguien puede haberlas cambiado. Perplexity advierte además de que el modo Bot Fight Mode de Cloudflare no se puede saltar con reglas personalizadas del cortafuegos.
Si no tienes acceso al panel, pídeselo a quien gestiona tu web con esta frase: «Necesito que GPTBot, OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot y Perplexity-User reciban un 200 y no un 403. ¿Qué regla los bloquea?».
Qué debería decir tu robots.txt
Para un negocio local que quiere aparecer en buscadores y asistentes, lo más sencillo es permitirlo todo e indicar el sitemap:
User-agent: *
Allow: /
Sitemap: https://tuweb.es/sitemap.xml
Si prefieres que tu contenido no se use para entrenar modelos, pero quieres seguir apareciendo en las búsquedas de los asistentes, añade bloques solo para los rastreadores de entrenamiento:
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: *
Allow: /
Sitemap: https://tuweb.es/sitemap.xml
Ten en cuenta que, según Google, Google-Extended controla tanto el entrenamiento de Gemini como el uso de tu contenido para fundamentar sus respuestas. Bloquearlo no te quita de la Búsqueda de Google, pero sí de ese segundo uso.
¿Bloquear el entrenamiento o no? Una decisión tuya
No hay respuesta correcta para todos. Una forma práctica de decidir:
| Si tu caso es… | Opción razonable |
|---|---|
| Negocio local cuyo objetivo es que te encuentren (taller, clínica, reformas) | Permitir búsqueda y agentes; el entrenamiento, a tu criterio |
| Tu valor está en contenido original (guías de pago, textos propios que vendes) | Permitir búsqueda y agentes; bloquear entrenamiento |
| No quieres ninguna IA en tu web | Bloquear todo, asumiendo que no aparecerás en sus respuestas |
Lo que conviene evitar es el caso más común: bloquearlo todo sin saberlo, por un ajuste por defecto o una regla que alguien activó hace años.
Preguntas frecuentes
¿Si bloqueo GPTBot desaparezco de ChatGPT? No necesariamente. Según OpenAI, la búsqueda de ChatGPT depende de OAI-SearchBot, que se controla por separado.
¿Permitir a los bots de IA afecta a mi posición en Google? Google indica que Google-Extended no influye en la inclusión ni en la posición en la Búsqueda. Lo que sí debes vigilar es no bloquear a Googlebot por error.
¿Basta con tener bien el robots.txt? No. Si el servidor o la CDN responden 403, el bot ni siquiera llega a leer el archivo. Anthropic también desaconseja bloquear sus IP en lugar de usar robots.txt, porque entonces no puede leer tus preferencias.
¿Cuánto tarda en notarse el cambio? OpenAI habla de unas 24 horas para su búsqueda. Las demás empresas no publican un plazo; vuelve a hacer las pruebas al día siguiente y revisa los registros durante la semana.
Lista de comprobación
- He abierto
tuweb.es/robots.txty sé qué dice el archivo que se sirve de verdad. - He simulado los rastreadores y ninguno de búsqueda recibe 403.
robots.txtyllms.txt(si lo tengo) también responden 200 a esos rastreadores.- He revisado la protección antibots del hosting, el plugin de seguridad y la CDN.
- He decidido de forma consciente qué hacer con
GPTBot,ClaudeBotyGoogle-Extended. - Googlebot sigue recibiendo 200.
- He repetido la prueba al día siguiente y he revisado los registros.
Desbloquear la puerta es solo el primer paso: después, lo que encuentren los asistentes tiene que ser claro y coherente. Lo explicamos en cómo conseguir que ChatGPT y otras IA recomienden tu negocio. Para un negocio local, la otra mitad es la ficha de Google: mira nuestro trabajo de visibilidad local.
Si prefieres que lo revisemos por ti, nuestra auditoría de visibilidad en IA incluye la revisión del acceso de los rastreadores (desde 350 € sin IVA; detalles en precios). O empieza por la revisión breve gratuita.
Fuentes
- OpenAI: Overview of OpenAI Crawlers (en inglés)
- Anthropic: rastreadores de Claude y cómo bloquearlos (en inglés)
- Perplexity: Perplexity Crawlers (en inglés)
- Google: Lista de rastreadores comunes de Google (Google-Extended)
- Google: Cómo interpreta Google la especificación de robots.txt
- Cloudflare: AI Crawler and Agent access policies (en inglés)
