Poner a prueba a una IA que propone estrategias de inversión

A quién le sirve. Gente con conocimientos de programación y datos que quiere probar la IA como generadora de ideas con un método que las someta a prueba.

Qué hicieron

El autor creó un programa en el que la IA propone estrategias y un banco de pruebas fijo las puntúa con datos pasados, sin que la IA vea la puntuación. Lo comparó con un método sencillo, sin IA, que prueba combinaciones al azar. Cada uno tuvo 40 rondas. Usó el modelo DeepSeek V3 a través de OpenRouter, sobre 451 monedas y 76 periodos.

Cómo salió

En la primera ronda la IA perdió: sus estrategias dieron pérdidas de hasta el 99%, y el método simple halló una con unos 52% de ganancia. Tras arreglar tres fallos silenciosos del banco de pruebas, la IA ayudó a descubrir qué parte funcionaba. El propio autor avisa de que no demuestra que haya ventaja real, porque eligió los parámetros con los mismos datos.

Conviene saber

Un buen resultado en datos pasados no garantiza ganar a futuro. Cuanto más pruebas, más fácil es engañarte. Si algo así te interesa, no pongas dinero que no puedas perder y no lo tomes como consejo de inversión.

Qué necesitas

• Conocimientos de programación
• Datos históricos del mercado que quieras probar
• Acceso a un modelo de IA por su servicio para programadores
• Un banco de pruebas que puntúe cada idea con las mismas reglas

Cómo hacerlo tú, paso a paso

1. Define el formato exacto en que la IA debe proponer cada idea.
2. Crea un banco de pruebas fijo que puntúe las propuestas sin que la IA lo toque.
3. Monta un método sencillo sin IA como referencia, para saber si la IA aporta algo.
4. Haz que ambos prueben el mismo número de rondas con las mismas reglas.
5. Revisa que no haya resultados vacíos o planos: fallan en silencio y se interpretan como un mal resultado.
6. Desconfía de un resultado muy bueno y repítelo con datos que no hayas usado para elegir.

Voy a pedirte propuestas para probar [tu idea o problema]. Devuélvelas siempre como lista con campos fijos: [campo 1], [campo 2], [campo 3]. No te enseñaré el resultado de pruebas anteriores. Dame cinco propuestas distintas y para cada una explica en una frase por qué podría funcionar. Has terminado cuando entregues las cinco con todos los campos rellenos.

Consejos

• Compara siempre con un método tonto: si no gana, no hace falta la IA.
• Que un fallo avise a gritos: un error silencioso te hará creer que la idea es mala o buena sin serlo.
• Apunta cuántas combinaciones has probado: cuantas más, más se infla el mejor resultado.

Preguntas frecuentes

Fuentes

• @pavel_kkkkazantsev en DEV ↗

En el directorio desde el 22 de octubre de 2026.