# Comprobar si las webs de empresas de limpieza dejan entrar a las IA > Un agente revisó el robots.txt para 14 rastreadores de IA y 8 etiquetas en 18 webs de limpieza; solo 9 devolvieron su página de inicio. - **Tipo:** Caso de uso - **Tema:** Marketing y anuncios - **Dificultad:** fácil - **Origen:** [tools.openkrill.app](https://tools.openkrill.app/blog/ai-crawlers-cleaning-company-sites) - **En el directorio desde:** 11 de octubre de 2026 - **URL:** https://conqueia.com/caso/comprobar-si-las-webs-de-empresas-de-limpieza-dejan-entrar-a-las-ia ## A quién le sirve Dueños de webs, agencias y consultores que quieren saber si los asistentes de IA pueden leer su web o las de sus clientes. ## Qué hicieron Los autores tomaron de la lista Tranco los dominios con «cleaning» en el nombre y los filtraron hasta 18 empresas de servicios. En cada web llamaron a dos herramientas de comprobación. Una leía el robots.txt (el archivo que indica qué robots pueden entrar), las cabeceras y las redirecciones para 14 rastreadores de IA concretos. La otra revisaba 8 etiquetas de la página. La selección y el filtrado se hicieron a mano a partir de los títulos. ## Cómo salió 9 de las 18 webs devolvieron su página de inicio. De esas 9, una bloquea a 12 de los 14 rastreadores, 7 no tienen imagen para compartir y solo 2 tienen las 8 etiquetas. Las otras 9 dieron un error 403, un error de la red de distribución o ninguna respuesta. ## Conviene saber Una petición rechazada o fallida no demuestra qué reciben los robots de IA, y las reglas del cortafuegos pueden bloquear robots que el robots.txt permite. Trata las 9 webs como una foto, no como una encuesta. ## Qué necesitas - La dirección de tu web, o las de tus clientes o competidores - Un navegador, para abrir el archivo robots.txt de cada web - Un chat con IA (Claude, ChatGPT o Gemini) para interpretar lo que encuentres - Una hoja de cálculo para anotar el resultado de cada web ## Cómo hacerlo tú, paso a paso 1. Escribe la lista de webs que quieres revisar, con su dirección completa. 2. Abre en el navegador la dirección de cada web seguida de /robots.txt. Es el archivo que dice qué robots pueden entrar. 3. Copia el contenido y pégalo en un chat con IA. Pregúntale si permite o bloquea a los rastreadores de IA principales, como GPTBot, ClaudeBot, PerplexityBot y Google-Extended. 4. Comprueba que el archivo existe de verdad: algunas webs devuelven su página de inicio en lugar de un robots.txt real. Márcalas aparte. 5. Pega también el código de la página de inicio y pide al chat que revise las etiquetas que afectan a buscadores y a IA, como la imagen para compartir. 6. Apunta todo en una hoja: web, qué rastreadores bloquea y qué etiquetas faltan. 7. Si una web te da un error, anótala como «sin datos» y no como «bloquea». ## Pruébalo con tu IA ``` Aquí tienes una lista de [número] webs de empresas: [lista de dominios]. Para cada una, descarga el robots.txt e indica si permite o bloquea a los principales rastreadores de IA, como GPTBot, ClaudeBot, PerplexityBot y Google-Extended. Revisa también en la página de inicio las etiquetas que afectan al acceso de las IA o de los buscadores, y marca las webs que devuelvan su página de inicio en vez de un robots.txt real. Termina con una tabla única de resultados y una lista corta de los mayores fallos. ``` ## Consejos - Una web que da error al consultarla no demuestra qué reciben los robots de IA. En el caso, la mitad de las webs falló. - El cortafuegos o la red de distribución de una web puede bloquear robots aunque su robots.txt los permita. Ese archivo no lo cuenta todo. - Unas pocas webs son una foto, no una encuesta. Si quieres sacar conclusiones, revisa más. ## Preguntas frecuentes ### ¿Debo dejar entrar a los robots de IA en mi web? Depende de tu negocio: si quieres que los asistentes te mencionen, bloquearlos va en contra; si te preocupa que usen tu contenido, tiene sentido bloquearlos. Decídelo a propósito y no dejes un archivo heredado. ### ¿Qué es un rastreador de IA? Un robot que visita webs para que un asistente de IA pueda leerlas o aprender de ellas, como los que usan ChatGPT, Claude o Perplexity. Cada uno tiene un nombre que puedes permitir o bloquear en el robots.txt. ## Fuentes - [tools.openkrill.app](https://tools.openkrill.app/blog/ai-crawlers-cleaning-company-sites) --- Fuente: conqueia.com/caso/comprobar-si-las-webs-de-empresas-de-limpieza-dejan-entrar-a-las-ia