Comprobador de robots.txt para IA
Mira qué bots de IA pueden entrar en tu web, qué línea de tu robots.txt bloquea a cada uno y genera las reglas correctas.
GratisSin registro10 segundos
Cómo funciona
- Escribe tu dominio o la URL de una página concreta: las reglas de robots.txt pueden cambiar según la ruta.
- Leemos tu robots.txt y lo evaluamos para 14 bots con las mismas reglas que usa Google: el grupo más específico y la regla más larga.
- Ves cada bot agrupado por lo que hace (búsqueda, visitas de usuario o entrenamiento), si está permitido y la línea exacta que lo decide.
- Genera un bloque para tu robots.txt eligiendo qué permitir y qué bloquear, y cópialo o descárgalo.
¿Qué bots de IA revisa?
Revisamos 14 bots de las principales empresas de IA y buscadores, agrupados por lo que hacen:
- Búsqueda y citas: OAI-SearchBot (ChatGPT), Claude-SearchBot (Claude), PerplexityBot, Googlebot y Bingbot. Indexan tu web para mostrarla y citarla en las respuestas.
- Visitas a petición del usuario: ChatGPT-User, Claude-User y Perplexity-User. Entran cuando alguien pide a un asistente que lea una página concreta.
- Entrenamiento: GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, Meta-ExternalAgent y CCBot (Common Crawl). Recogen texto para entrenar modelos.
Los nombres cambian con el tiempo: actualizamos la lista cuando las empresas publican bots nuevos.
¿Bloquear el entrenamiento me quita de ChatGPT?
No. Bloquear GPTBot o ClaudeBot impide que tu contenido se use para entrenar futuros modelos, pero no afecta a la búsqueda: ChatGPT usa OAI-SearchBot para buscar y ChatGPT-User para leer páginas, y Claude hace lo mismo con Claude-SearchBot y Claude-User. Google-Extended controla si tu contenido se usa para mejorar Gemini y otras IA de Google; tu presencia en el buscador de Google, incluidas sus respuestas con IA, depende de Googlebot.
Si quieres aparecer en respuestas de IA, lo importante es no bloquear los bots de búsqueda ni los de visitas de usuario. Muchas webs los bloquean sin querer con una regla genérica como «User-agent: *» seguida de «Disallow: /», o con la opción de bloquear bots de IA de su CDN.
¿Cómo se leen las reglas de robots.txt?
Cada bot busca primero un grupo con su nombre («User-agent: GPTBot»). Si no lo hay, sigue el grupo general («User-agent: *»). Dentro del grupo gana la regla más larga que coincide con la ruta y, si empatan, gana Allow. El asterisco vale por cualquier texto y el signo $ marca el final de la URL.
Por eso importa la ruta: «Disallow: /blog/» bloquea tus artículos, pero no tu página de inicio. El comprobador te enseña la línea exacta que decide cada caso y la resalta en tu archivo, para que sepas qué tocar.
Para revisar el resto de señales, usa el analizador de visibilidad en IA. Si prefieres que lo hagamos nosotros, mira nuestro servicio de SEO para IA.
Preguntas frecuentes
¿Debo permitir GPTBot?
Depende de si quieres que tu contenido se use para entrenar modelos de OpenAI. No influye en que ChatGPT te cite en sus búsquedas, que depende de OAI-SearchBot y ChatGPT-User. Muchas empresas permiten los bots de búsqueda y deciden aparte sobre los de entrenamiento.
¿Dónde está mi robots.txt?
Siempre en la raíz del dominio: https://tudominio.com/robots.txt. En WordPress, Shopify o Wix se edita desde un plugin o desde la configuración de SEO; en otros casos, subiendo el archivo a tu hosting.
¿Los bots de IA respetan robots.txt?
OpenAI, Anthropic, Google, Perplexity, Apple, Meta y Common Crawl declaran que sus bots lo respetan. Aun así, robots.txt es una indicación, no un bloqueo técnico: para impedir el acceso de verdad hay que bloquearlo en el servidor o en el CDN.
¿Cada cuánto debo revisarlo?
Cada vez que cambies de web, de plugin de SEO o de CDN, y un par de veces al año, porque las empresas de IA publican bots nuevos. Algunos CDN añaden reglas para bloquear bots de IA sin que lo notes.
Sigue explorando
SEO para IA (GEO)
Que ChatGPT, Perplexity, Gemini y Google AI Overviews citen a tu empresa cuando preguntan por lo que vendes.
Analizador de visibilidad en IA
Comprueba si ChatGPT, Claude y Perplexity pueden leer y citar tu web: puntuación, arreglos por impacto y comparación.
Validador y generador de llms.txt
Valida tu llms.txt con el formato de llmstxt.org o genera un borrador desde tu sitemap, listo para copiar.
GEO (Generative Engine Optimization)
GEO (Generative Engine Optimization) es el conjunto de técnicas para que los motores de respuesta con IA, como ChatGPT, Perplexity, Gemini o los resúmenes con IA de Google, encuentren el contenido de una web, lo entiendan y lo citen o recomienden en sus respuestas.
llms.txt
llms.txt es un archivo en Markdown que se coloca en la raíz de una web (/llms.txt) para ofrecer a los modelos de lenguaje un resumen del sitio y una lista de enlaces a su contenido más importante. Lo propuso Jeremy Howard en 2024.
Elige tú la hora
30 minutos por videollamada. Sin coste y sin compromiso.
¿Prefieres que te escribamos nosotros? Déjanos tus datos.