Comparar tres modelos de Claude arreglando 25 errores reales de programas

A quién le sirve. Equipos y programadores que pagan por modelos de IA para tareas de código y quieren saber si pueden gastar menos.

Qué hicieron

Un desarrollador cogió 25 errores reales de 13 programas de código abierto, arreglados por sus autores entre agosto y octubre de 2026. Dio a Claude Code, con tres modelos distintos, solo la descripción del síntoma, sin la causa ni la solución, y los dejó trabajar tres veces con cada error. Para corregir usó las propias pruebas de los autores del programa y las del proyecto, para detectar si el arreglo estropeaba otra cosa.

Cómo salió

El modelo pequeño (Haiku) dejó bien 52 de 75 intentos, el mediano 49 y el grande (Opus) 54. Por intento costó 1,9 céntimos de dólar frente a 38 céntimos. Opus fue mejor en los errores difíciles, sobre todo porque rompió menos pruebas. En tres casos, todos los modelos arreglaron el ejemplo del informe y se dejaron el mismo caso que el informe no mencionaba.

Conviene saber

Es una prueba sobre programas de código abierto y con un tamaño pequeño de muestra, así que no sirve para decidir cualquier caso. Aun así, indica que conviene probar el modelo barato antes de pagar el caro. Describe los síntomas con todos los casos que te preocupan, porque los modelos no suelen imaginar los que faltan.

Qué necesitas

• Claude Code instalado y una clave de API
• Un proyecto con pruebas automáticas
• Una lista de errores ya resueltos, con la versión anterior a cada arreglo
• Saldo para varias decenas de ejecuciones

Cómo hacerlo tú, paso a paso

1. Elige entre 10 y 25 errores que tu equipo ya haya arreglado.
2. Para cada uno, guarda la versión de antes del arreglo y escribe solo el síntoma, sin la causa.
3. Prepara el programa para que Claude Code pueda leer, editar y ejecutar pruebas, pero no instalar ni buscar en internet.
4. Ejecuta cada error tres veces con cada modelo que quieras comparar.
5. Quédate solo con los cambios en el código del programa y pasa las pruebas del arreglo original y las de todo el proyecto.
6. Cuenta arreglos limpios, intentos que rompen otras pruebas y coste, y decide qué modelo usar para cada tipo de error.

Voy a elegir entre varios modelos de IA para arreglar errores en [nombre de tu proyecto]. Toma estos [10 o 20] errores que ya resolvimos: [lista con enlaces o descripciones]. Para cada uno, vuelve al estado anterior a la solución, dale al modelo solo el síntoma (qué pasa, cómo reproducirlo y qué debería pasar) sin la causa, y deja que lo intente. Ejecuta cada error tres veces con cada modelo. Después pasa las pruebas que escribimos para ese arreglo y las pruebas completas del proyecto. Entrégame una tabla con arreglos limpios, intentos que rompieron otras pruebas y coste por modelo, y los errores donde todos fallaron. Has terminado cuando tengas la tabla y una recomendación de qué modelo usar para cada tipo de error.

Consejos

• Repite cada error varias veces: un solo intento da resultados que engañan.
• Describe en el informe todos los casos que importan, no solo el ejemplo más fácil.
• Vigila los arreglos que pasan su prueba pero rompen otra: son el verdadero coste del modelo barato.

Preguntas frecuentes

Fuentes

• @jaehyun_cho_0dff271e0d2e5 en DEV ↗

En el directorio desde el 25 de octubre de 2026.