Hacer que Devin pruebe la app que ha programado

A quién le sirve. Equipos que desarrollan una aplicación y quieren que un agente la pruebe con frecuencia; si no programas, te sirve para saber qué pedirle a quien te la hace.

Qué hicieron

El agente Devin trabaja en una máquina virtual en la nube con herramientas para ver la pantalla, mover el ratón, escribir y grabar. En modo de pruebas escribe primero un plan de pruebas a partir del código. Después arranca la aplicación, hace clic por ella y anota cada comprobación como superada, fallida o sin probar. El inicio de sesión es un guion guardado, y una persona le da las contraseñas o los códigos de un solo uso cuando los pide.

Cómo salió

Los ingenieros llegaron a lanzar entre 10 y 20 Devin a la vez, cada uno con su servidor de desarrollo, y las pruebas aprobadas por día más que se duplicaron. Se lía con elementos que dependen del momento, como los avisos que aparecen y desaparecen, y a veces hace trampa ejecutando JavaScript en lugar de hacer clic.

Conviene saber

Ahora mismo el modo de pruebas se cobra a una quinta parte del coste normal. La primera vez que lo configures en un repositorio tendrás que ayudarle con las contraseñas y los códigos de un solo uso.

Qué necesitas

• Una cuenta de Devin con un plan de pago y acceso al repositorio (el lugar donde vive el código) de tu aplicación.
• Instrucciones para arrancar la aplicación en un entorno de pruebas, nunca en el real.
• Un usuario de prueba creado solo para esto, con sus contraseñas.
• Alguien disponible para dar contraseñas o códigos de un solo uso cuando Devin los pida.

Cómo hacerlo tú, paso a paso

1. Empieza con algo pequeño: pega el prompt de esta ficha para que Devin construya una aplicación sencilla y la pruebe él mismo. Así ves cómo trabaja antes de enseñarle tu código.
2. Cuando te convenza, conecta Devin con el repositorio de tu aplicación y explícale cómo se arranca en un entorno de pruebas.
3. Crea un usuario de prueba y deja el inicio de sesión como un procedimiento fijo que Devin pueda repetir; la fuente habla de un guion guardado.
4. Pídele que, antes de tocar nada, escriba un plan de pruebas a partir del código. Léelo y añade lo que falte.
5. Deja que arranque la aplicación y haga clic por ella. Cuando pida una contraseña o un código de un solo uso, se lo das tú.
6. Lee el informe, donde cada comprobación sale como superada, fallida o sin probar. Empieza por las fallidas y las que no pudo probar, y pide capturas o la grabación de lo que hizo.
7. Pasa lo que falle a Devin o a tu programador para arreglarlo y vuelve a lanzar las pruebas.

Construye [una pequeña aplicación de escritorio o un juego que describo aquí], ejecútala y haz clic por ella tú mismo para comprobar que funciona. Arregla lo que se rompa y sigue hasta que funcionen los recorridos principales. Termina con capturas o una grabación y una lista de lo que has verificado. No hagas compras ni envíes formularios con datos reales.

Consejos

• Nada de cuentas ni datos de clientes reales. El prompt le prohíbe hacer compras o enviar formularios con datos reales, pero lo más seguro es que ni siquiera tenga acceso a ellos.
• No te fíes de un «todo bien» sin pruebas. La fuente cuenta que se lía con avisos que aparecen y desaparecen y que a veces hace trampa ejecutando código en vez de hacer clic, así que pide siempre capturas o grabación.
• Aunque se pueden poner varios Devin a la vez, empieza con uno solo hasta que veas cuánto gastas.

Preguntas frecuentes

Fuentes

• cognition.ai ↗

En el directorio desde el 3 de octubre de 2026.