Comprobar si las webs de empresas de limpieza dejan entrar a las IA

A quién le sirve. Dueños de webs, agencias y consultores que quieren saber si los asistentes de IA pueden leer su web o las de sus clientes.

Qué hicieron

Los autores tomaron de la lista Tranco los dominios con «cleaning» en el nombre y los filtraron hasta 18 empresas de servicios. En cada web llamaron a dos herramientas de comprobación. Una leía el robots.txt (el archivo que indica qué robots pueden entrar), las cabeceras y las redirecciones para 14 rastreadores de IA concretos. La otra revisaba 8 etiquetas de la página. La selección y el filtrado se hicieron a mano a partir de los títulos.

Cómo salió

9 de las 18 webs devolvieron su página de inicio. De esas 9, una bloquea a 12 de los 14 rastreadores, 7 no tienen imagen para compartir y solo 2 tienen las 8 etiquetas. Las otras 9 dieron un error 403, un error de la red de distribución o ninguna respuesta.

Conviene saber

Una petición rechazada o fallida no demuestra qué reciben los robots de IA, y las reglas del cortafuegos pueden bloquear robots que el robots.txt permite. Trata las 9 webs como una foto, no como una encuesta.

Qué necesitas

• La dirección de tu web, o las de tus clientes o competidores
• Un navegador, para abrir el archivo robots.txt de cada web
• Un chat con IA (Claude, ChatGPT o Gemini) para interpretar lo que encuentres
• Una hoja de cálculo para anotar el resultado de cada web

Cómo hacerlo tú, paso a paso

1. Escribe la lista de webs que quieres revisar, con su dirección completa.
2. Abre en el navegador la dirección de cada web seguida de /robots.txt. Es el archivo que dice qué robots pueden entrar.
3. Copia el contenido y pégalo en un chat con IA. Pregúntale si permite o bloquea a los rastreadores de IA principales, como GPTBot, ClaudeBot, PerplexityBot y Google-Extended.
4. Comprueba que el archivo existe de verdad: algunas webs devuelven su página de inicio en lugar de un robots.txt real. Márcalas aparte.
5. Pega también el código de la página de inicio y pide al chat que revise las etiquetas que afectan a buscadores y a IA, como la imagen para compartir.
6. Apunta todo en una hoja: web, qué rastreadores bloquea y qué etiquetas faltan.
7. Si una web te da un error, anótala como «sin datos» y no como «bloquea».

Aquí tienes una lista de [número] webs de empresas: [lista de dominios]. Para cada una, descarga el robots.txt e indica si permite o bloquea a los principales rastreadores de IA, como GPTBot, ClaudeBot, PerplexityBot y Google-Extended. Revisa también en la página de inicio las etiquetas que afectan al acceso de las IA o de los buscadores, y marca las webs que devuelvan su página de inicio en vez de un robots.txt real. Termina con una tabla única de resultados y una lista corta de los mayores fallos.

Consejos

• Una web que da error al consultarla no demuestra qué reciben los robots de IA. En el caso, la mitad de las webs falló.
• El cortafuegos o la red de distribución de una web puede bloquear robots aunque su robots.txt los permita. Ese archivo no lo cuenta todo.
• Unas pocas webs son una foto, no una encuesta. Si quieres sacar conclusiones, revisa más.

Preguntas frecuentes

Fuentes

• tools.openkrill.app ↗

En el directorio desde el 11 de octubre de 2026.