Probar a Devin en integraciones, migraciones y seguridad

A quién le sirve. Equipos que se plantean pagar por un agente de programación y quieren probarlo con tareas reales antes. El método sirve también a quien no programa, para evaluar cualquier herramienta de IA.

Qué hicieron

Answer.AI dio a Devin unas 20 tareas reales. Devin trabaja a través de Slack en su propio entorno Docker, con navegador, editor y terminal. Entre ellas estaban generar y subir datos sintéticos a Braintrust, migrar un proyecto de Python a nbdev y revisar la seguridad de un repositorio de menos de 700 líneas. Las personas comprobaban los resultados y a menudo tomaron el relevo.

Cómo salió

La integración con Braintrust se abandonó y se rehízo en Cursor. La migración a nbdev falló ya en la configuración básica. La revisión de seguridad halló algunos problemas reales, pero también falsos positivos y otros inventados. En total hubo 14 fallos, 3 éxitos y 3 casos no concluyentes.

Conviene saber

Devin siguió empeñado en tareas imposibles durante días. Los autores sugieren una sola llamada bien enfocada a un modelo de lenguaje para algo como la revisión de seguridad de un repositorio pequeño.

Qué necesitas

• Acceso a Devin con un plan de pago, y Slack, que es por donde se le dan las órdenes.
• Una lista de unas 20 tareas reales de tu equipo, de tipo y dificultad variados.
• Una persona que compruebe cada resultado y pueda tomar el relevo.
• Una tabla donde apuntar si cada tarea salió bien, mal o no concluyente.

Cómo hacerlo tú, paso a paso

1. Haz una lista de tareas reales de tu proyecto, no de ejemplo: integraciones, migraciones, revisiones de seguridad.
2. Pon un límite de tiempo por tarea antes de empezar.
3. Da a Devin cada tarea por Slack, con el contexto necesario.
4. Comprueba cada resultado tú: ¿funciona, falla o no está claro?
5. Si el agente se atasca en algo que parece imposible, para y anótalo en lugar de dejarlo días.
6. Para tareas pequeñas, como revisar la seguridad de un repositorio corto, prueba también con una sola consulta bien enfocada a un modelo de lenguaje y compara.
7. Cuenta cuántas salieron bien, mal y no concluyentes, y decide con esos datos.

Encárgate de tres tareas en mi repositorio [nombre del repositorio]: añadir una integración con [herramienta de observabilidad], migrar [un módulo o herramienta] a [herramienta o versión de destino] y revisar el código en busca de vulnerabilidades de seguridad. En cada una, dime cómo has comprobado tus resultados y marca claramente los hallazgos que no hayas podido confirmar. Abre solicitudes de cambios separadas para el trabajo y no aceptes ninguna.

Consejos

• Pon límites de tiempo. Devin siguió empeñado en tareas imposibles durante días.
• Es difícil prever qué tareas saldrán bien, incluso las que parecen sencillas.
• Revisa los hallazgos de seguridad uno a uno. Hubo falsos positivos y otros inventados.

Preguntas frecuentes

Fuentes

• answer.ai ↗

En el directorio desde el 3 de octubre de 2026.