¿CON QUÉ IA?
Lo contó A quién le sirve. Programadores que quieren que sus agentes de IA lean la documentación de una herramienta sin ir sacando las páginas una a una.
Qué hicieron
El autor creó pulpie-mcp, un servidor MCP (un estándar para conectar agentes con herramientas) con cuatro funciones: descargar, guardar, recorrer y listar. Ejecuta un modelo local de extracción detrás de un servicio que arranca solo. Le pidieron a Claude que recorriera una web de documentación de 60 páginas. Encontró las páginas por robots.txt y los mapas del sitio, usó cuatro procesos a la vez y escribió en disco archivos Markdown con cabecera, en lugar de devolverlos a la ventana de contexto.
Cómo salió
El tiempo total fue de unos 49 segundos: unos 10 de arranque en frío del servicio y 37 de recorrer y guardar las 60 páginas. No está probado con páginas que se construyen en el navegador del cliente, que pueden salir vacías. No admite PDF.
Conviene saber
El modelo tiene licencia CC BY-NC 4.0 (no comercial) y solo se ha probado en Linux con una GPU de NVIDIA, usando unos 420 MB de memoria de vídeo.
Qué necesitas
- Claude Code u otro agente de programación que pueda crear y ejecutar el rastreador.
- La dirección de la web de documentación y permiso para rastrearla.
- Una carpeta de salida, llamada docs-md, para los archivos Markdown, que son texto con marcas sencillas.
- Un ordenador con Python u otro entorno de programación.
- Opcional, para el montaje del autor: Linux con una tarjeta gráfica de NVIDIA y un modelo local de extracción.
Cómo hacerlo tú, paso a paso
- Elige la web de documentación y comprueba que su robots.txt permite rastrearla. Es el archivo que dice qué páginas pueden leer los programas automáticos.
- Abre tu agente de programación en una carpeta nueva para el proyecto.
- Pega el prompt de esta ficha con la dirección de la documentación. Pide que respete robots.txt y que no sobrecargue el servidor.
- Deja que construya el rastreador y lo ejecute. En el caso encontró las páginas por robots.txt y los mapas del sitio y guardó un archivo Markdown por página.
- Cuando termine, pide el número de páginas guardadas y la lista de las que han fallado.
- Abre varios archivos y comprueba que el texto está limpio, sin menús ni pie de página.
- Dile a tu agente que lea esa carpeta cuando necesite consultar la documentación.
Construye un rastreador que tome la web de documentación [dirección de la documentación], siga sus enlaces internos y guarde cada página como texto Markdown limpio, sin menús ni pie de página, en una carpeta llamada docs-md, un archivo por página. Respeta robots.txt y no sobrecargues el servidor. Habrás terminado cuando hayas recorrido toda la web y me hayas dado el número de páginas guardadas y una lista de las que han fallado.
Consejos
- Respeta las reglas de la web. Rastrear sin control puede bloquear tu dirección o incumplir sus condiciones.
- Si la documentación se construye en el navegador del lector, las páginas pueden salir vacías, y los PDF no entraron en el montaje del autor. Revisa los archivos.
- El modelo del autor tiene licencia no comercial (CC BY-NC 4.0). Si es para una empresa, busca otra opción.
Preguntas frecuentes
¿Puedo usarlo en mi empresa?
El modelo del autor tiene licencia no comercial, así que no. El prompt de la ficha no depende de él: puedes pedir a tu agente que construya un rastreador sencillo con herramientas de uso libre.
¿Por qué guardar en disco en lugar de pegar las páginas al agente?
Porque pegarlas llena la memoria de trabajo del agente, que se llama ventana de contexto. Guardadas en archivos, el agente lee solo las que necesita.
Fuentes
En el directorio desde el 6 de octubre de 2026.
@german-noob.win en Bluesky
tidydesign en Substack
Hacker News