Medir si Claude Code gasta de más al leer las pruebas

A quién le sirve. Quien quiere validar una idea de producto o una queja con datos antes de construir nada.

Qué hicieron

Estaba creando un complemento de pago para Claude Code basado en dos quejas habituales: que los resultados de las pruebas gastan mucho de tu cupo de uso y que Claude dice «terminado» cuando no lo está. Antes de lanzarlo lo comprobó en tres proyectos públicos de código. Dio a Claude la misma tarea en cada uno, registró los comandos que ejecutaba y pasó después un comprobador propio.

Cómo salió

Un resultado de pruebas con un fallo ocupa entre 10.000 y 18.000 tokens (la unidad con la que cuentan los modelos), y un filtro que conserva los fallos lo reduce un 95 a 99 %. Pero en las sesiones registradas Claude ya recortaba el resultado él mismo, y en las 16 sesiones su «hecho» coincidió con el comprobador. Por eso decidió no sacar el complemento y publicó los datos.

Conviene saber

El comprobador es más flojo que unas pruebas reales de aceptación, así que significa «no vi desacuerdo», no «no hay fallos». El autor reconoce que no puede saber si el hábito de recortar viene del modelo o de otros complementos.

Qué necesitas

• Claude Code
• Un proyecto de código con pruebas automáticas
• Un comprobador sencillo que diga si la tarea se hizo
• Un registro de los comandos que ejecuta la IA

Cómo hacerlo tú, paso a paso

1. Escribe la queja o la idea que quieres validar en una frase.
2. Elige una tarea pequeña y repítela con el mismo texto en cada ejecución.
3. Guarda cada comando que ejecuta la IA y cuánto devuelve.
4. Crea un comprobador que no dependa de lo que dice la IA.
5. Compara lo que dijo la IA con lo que dice el comprobador.
6. Decide con los datos: si el problema no aparece, no construyas la solución.

Quiero comprobar una queja antes de gastar tiempo en solucionarla. La queja es: [escribe la queja]. Propón un experimento pequeño y repetible para medirla con [número] ejecuciones en [tu proyecto]. Dime qué voy a registrar, cómo sabré que no me estoy engañando y qué resultado me haría desistir. Has terminado cuando el plan se pueda ejecutar sin que yo tenga que decidir nada más.

Consejos

• Deja claro qué no demuestra tu experimento.
• Revisa que la IA no esté saltándose pruebas para aprobar.
• Publicar el resultado negativo ahorra trabajo a otros.

Preguntas frecuentes

Fuentes

• @alrulop en DEV ↗

En el directorio desde el 2 de noviembre de 2026.