Tu robots.txt puede estar sacando tu web de ChatGPT.
Cada IA tiene un bot que entrena y otro que busca para contestar. Si bloqueas a los dos, tu web no sale en las respuestas de ChatGPT, Claude o Perplexity; si bloqueas solo al primero, sí.
Mucha gente que no quiere que su contenido entrene modelos copia un robots.txt que bloquea «a todas las IAs». El problema es que en esa lista suelen ir también los bots con los que ChatGPT, Claude y Perplexity buscan en el momento para responder una pregunta. La web sigue en Google y desaparece de las respuestas de las IAs, que es justo donde mucha gente pregunta hoy qué contratar.
Son dos decisiones distintas y se toman por separado, con un nombre de bot cada una.
Qué hace cada bot, según sus dueños
Esto es lo que dice la documentación de cada empresa, abierta hoy:
- OpenAI:
GPTBotjunta contenido para entrenar sus modelos;OAI-SearchBotes el que hace aparecer webs en la búsqueda de ChatGPT. OpenAI lo dice con claridad: las webs que bloquean aOAI-SearchBotno se muestran en las respuestas de ChatGPT search, aunque pueden salir como enlaces de navegación. - Anthropic:
ClaudeBotes para entrenamiento;Claude-SearchBotmejora los resultados de búsqueda yClaude-Usertrae páginas cuando alguien se lo pide a Claude. Según Anthropic, bloquear cualquiera de los dos últimos puede reducir tu visibilidad en las búsquedas de sus usuarios. - Perplexity:
PerplexityBotsirve para mostrar y enlazar webs en sus resultados y, según su documentación, no se usa para entrenar modelos. - Google:
Google-Extendeddecide si tu contenido se usa para entrenar Gemini. Google aclara que no afecta tu presencia en la Búsqueda ni es una señal de posicionamiento.
Hay un tercer tipo que el robots.txt no controla bien: el que entra cuando una persona le pide a la IA que abra tu página. OpenAI dice que para ChatGPT-User las reglas de robots.txt pueden no aplicarse, y Perplexity, que Perplexity-User en general las ignora porque la visita la pidió alguien.
El robots.txt que separa las dos cosas
Si no quieres que tu web entrene modelos pero sí aparecer cuando alguien pregunta, esto va en tuweb.com/robots.txt:
# Entrenamiento: fuera
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: CCBot
Disallow: /
# Búsqueda y todo lo demás: dentro
User-agent: *
Allow: /
Sitemap: https://tuweb.com/sitemap.xmlSi te da igual que entrenen con tu web, alcanza con las tres últimas líneas. Lo que no conviene es una regla User-agent: * con Disallow: / y excepciones a mano: es fácil dejar fuera un bot nuevo de búsqueda sin darte cuenta. Desde el 30 de octubre de 2026, Anthropic reconoce además una señal legible por máquinas para la preferencia de no entrenar; si tu robots.txt nombra a ClaudeBot, esa regla tiene prioridad.
Dónde se cuela el bloqueo sin que lo pidas
- En el builder. La documentación de Lovable dice que crea un robots.txt con cada proyecto nuevo, pero no muestra qué trae. No supongas: ábrelo.
- En Cloudflare. Si activas Bot Preference Sync, Cloudflare antepone sus propias reglas a tu robots.txt; en el ejemplo de su documentación bloquea a
GPTBot,ClaudeBotyGoogle-Extended, entre otros, y deja pasar al resto. Además, si en sus políticas pones la búsqueda en Block, el bloqueo ocurre en la red y no aparece en ningún robots.txt. Para dominios nuevos, las tres políticas vienen en Allow. - En el dominio equivocado. Google recuerda que el archivo vale solo para el protocolo, el host y el puerto donde está. El robots.txt de
tuweb.lovable.appno es el detuweb.com: revisa el del dominio que compartes.
Revísalo en dos minutos
Abre https://tuweb.com/robots.txt en el navegador y busca OAI-SearchBot, Claude-SearchBot, PerplexityBot y cualquier Disallow: / debajo de User-agent: *. Si cambias algo, ten paciencia: OpenAI calcula unas 24 horas para que sus sistemas tomen el cambio y Perplexity, hasta 24.
El Slop Score Pro lee tu robots.txt y te lo separa en dos: «Bloqueas a las IAs que buscan», que es grave, y «Bloqueas a los bots que entrenan IAs», que es una decisión válida mientras sea a propósito. Revisa además que el HTML de cada página llegue con texto, porque un bot que puede entrar a una página vacía tampoco tiene qué citar. Para empezar por lo gratis, mide tu web en el Slop Score; si tu link además sale sin imagen en los chats, está la guía de la vista previa al compartir.
Fuentes
- Overview of OpenAI Crawlers, OpenAI (documentación), 8 de noviembre de 2026
- Does Anthropic crawl data from the web, and how can site owners block the crawler?, Anthropic (centro de ayuda), 8 de noviembre de 2026
- Perplexity Crawlers, Perplexity (documentación), 8 de noviembre de 2026
- Google's common crawlers, Google Search Central, 8 de noviembre de 2026
- Create and Submit a robots.txt File, Google Search Central, 8 de noviembre de 2026
- robots.txt setting, Cloudflare (documentación), 8 de noviembre de 2026
- AI Crawler and Agent access policies, Cloudflare (documentación), 8 de noviembre de 2026
- Optimize your app for SEO and AI search, Lovable (documentación), 8 de noviembre de 2026
Preguntas frecuentes
¿Si bloqueo a GPTBot dejo de aparecer en ChatGPT?
No. GPTBot es el bot de entrenamiento de OpenAI. El que decide si apareces en la búsqueda de ChatGPT es OAI-SearchBot: si lo bloqueas, OpenAI no muestra tu web en esas respuestas.
¿Bloquear Google-Extended me baja en Google?
No. Según Google, Google-Extended solo controla el uso de tu contenido para Gemini y no afecta tu presencia en la Búsqueda ni tu posición.