Comprovador de robots.txt per a IA
Mira quins bots d’IA poden entrar a la teva web, quina línia del teu robots.txt bloqueja cadascun i genera les regles correctes.
GratisSense registre10 segons
Com funciona
- Escriu el teu domini o la URL d’una pàgina concreta: les regles de robots.txt poden canviar segons la ruta.
- Llegim el teu robots.txt i l’avaluem per a 14 bots amb les mateixes regles que fa servir Google: el grup més específic i la regla més llarga.
- Veus cada bot agrupat pel que fa (cerca, visites d’usuari o entrenament), si està permès i la línia exacta que ho decideix.
- Genera un bloc per al teu robots.txt triant què permetre i què bloquejar, i copia’l o descarrega’l.
Quins bots d’IA revisa?
Revisem 14 bots de les principals empreses d’IA i cercadors, agrupats pel que fan:
- Cerca i cites: OAI-SearchBot (ChatGPT), Claude-SearchBot (Claude), PerplexityBot, Googlebot i Bingbot. Indexen la teva web per mostrar-la i citar-la a les respostes.
- Visites a petició de l’usuari: ChatGPT-User, Claude-User i Perplexity-User. Entren quan algú demana a un assistent que llegeixi una pàgina concreta.
- Entrenament: GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, Meta-ExternalAgent i CCBot (Common Crawl). Recullen text per entrenar models.
Els noms canvien amb el temps: actualitzem la llista quan les empreses publiquen bots nous.
Bloquejar l’entrenament em treu de ChatGPT?
No. Bloquejar GPTBot o ClaudeBot impedeix que el teu contingut es faci servir per entrenar models futurs, però no afecta la cerca: ChatGPT fa servir OAI-SearchBot per cercar i ChatGPT-User per llegir pàgines, i Claude fa el mateix amb Claude-SearchBot i Claude-User. Google-Extended controla si el teu contingut es fa servir per millorar Gemini i altres IA de Google; la teva presència al cercador de Google, incloses les seves respostes amb IA, depèn de Googlebot.
Si vols aparèixer a les respostes d’IA, l’important és no bloquejar els bots de cerca ni els de visites d’usuari. Moltes webs els bloquegen sense voler amb una regla genèrica com «User-agent: *» seguida de «Disallow: /», o amb l’opció de bloquejar bots d’IA del seu CDN.
Com es llegeixen les regles de robots.txt?
Cada bot busca primer un grup amb el seu nom («User-agent: GPTBot»). Si no n’hi ha, segueix el grup general («User-agent: *»). Dins del grup guanya la regla més llarga que coincideix amb la ruta i, si empaten, guanya Allow. L’asterisc val per qualsevol text i el signe $ marca el final de la URL.
Per això importa la ruta: «Disallow: /blog/» bloqueja els teus articles, però no la teva pàgina d’inici. El comprovador t’ensenya la línia exacta que decideix cada cas i la ressalta al teu fitxer, perquè sàpigues què has de tocar.
Per revisar la resta de senyals, fes servir l’analitzador de visibilitat en IA. Si prefereixes que ho fem nosaltres, mira el nostre servei de SEO per a IA.
Preguntes freqüents
He de permetre GPTBot?
Depèn de si vols que el teu contingut es faci servir per entrenar models d’OpenAI. No influeix en el fet que ChatGPT et citi a les seves cerques, que depèn d’OAI-SearchBot i ChatGPT-User. Moltes empreses permeten els bots de cerca i decideixen a part sobre els d’entrenament.
On és el meu robots.txt?
Sempre a l’arrel del domini: https://elteudomini.com/robots.txt. A WordPress, Shopify o Wix s’edita des d’un plugin o des de la configuració de SEO; en altres casos, pujant el fitxer al teu hosting.
Els bots d’IA respecten el robots.txt?
OpenAI, Anthropic, Google, Perplexity, Apple, Meta i Common Crawl declaren que els seus bots el respecten. Tot i així, el robots.txt és una indicació, no un bloqueig tècnic: per impedir l’accés de debò cal bloquejar-lo al servidor o al CDN.
Cada quant l’he de revisar?
Cada vegada que canviïs de web, de plugin de SEO o de CDN, i un parell de cops l’any, perquè les empreses d’IA publiquen bots nous. Alguns CDN afegeixen regles per bloquejar bots d’IA sense que te n’adonis.
Continua explorant
SEO per a IA (GEO)
Que ChatGPT, Perplexity, Gemini i Google AI Overviews citin la teva empresa quan pregunten pel que vens.
Analitzador de visibilitat en IA
Comprova si ChatGPT, Claude i Perplexity poden llegir i citar la teva web: puntuació, correccions per impacte i comparació.
Validador i generador de llms.txt
Valida el teu llms.txt amb el format de llmstxt.org o genera un esborrany des del teu sitemap, a punt per copiar.
GEO (Generative Engine Optimization)
GEO (Generative Engine Optimization) és el conjunt de tècniques perquè els motors de resposta amb IA, com ChatGPT, Perplexity, Gemini o els resums amb IA de Google, trobin el contingut d’un web, l’entenguin i el citin o el recomanin a les seves respostes.
llms.txt
llms.txt és un arxiu en Markdown que es col·loca a l’arrel d’un web (/llms.txt) per oferir als models de llenguatge un resum del lloc i una llista d’enllaços al seu contingut més important. El va proposar Jeremy Howard el 2024.
Tria tu l’hora
30 minuts per videotrucada. Sense cost i sense compromís.
Prefereixes que t’escrivim nosaltres? Deixa’ns les teves dades.