Decidir con un modelo barato qué alertas merecen un aviso urgente

A quién le sirve. Equipos técnicos y empresas con sistemas propios que reciben muchas alertas y quieren decidir cuáles requieren atención inmediata.

Qué hicieron

Un equipo de DevOps Daily dio a seis modelos y dos enrutadores la misma política de guardia, escrita en pocas líneas, y las mismas 200 alertas, tres veces cada una. Para cada alerta, el modelo tenía que decidir una cosa: avisar ya a alguien, abrir un ticket o ignorarla. Compararon además con decidir solo por la etiqueta de gravedad.

Cómo salió

DeepSeek V4 Flash, Qwen3.8-Max y un enrutador general acertaron las 600 respuestas. El barato costó unos 0,16 dólares por cada 1.000 alertas y el caro 1,64. Decidir solo por la etiqueta acertó 102 de 200, aunque ellos la habían construido para engañar. Dos modelos baratos se dejaron sin avisar alertas que debían avisar.

Conviene saber

Que 200 alertas salgan bien no garantiza cero fallos: puede haber un 1,5 % de error real. El modelo barato tardó 4,4 segundos de mediana y una vez un minuto entero. Los autores recomiendan elegir mirando los avisos perdidos y la rapidez, no el precio.

Qué necesitas

• Una política escrita y corta con qué se avisa, qué se apunta y qué se ignora
• Un conjunto de alertas pasadas con la decisión correcta ya conocida
• Acceso a la API de uno o varios modelos de IA
• Un script sencillo que envíe las alertas y compare con la decisión esperada

Cómo hacerlo tú, paso a paso

1. Escribe la política de guardia en una página, con ejemplos de cada decisión.
2. Reúne unas 100 o 200 alertas reales y anota qué debió pasar con cada una.
3. Pasa cada alerta a un modelo barato con la política y pide una respuesta fija con decisión y motivo.
4. Compara con la decisión correcta y repite tres veces para ver si es estable.
5. Cuenta sobre todo los avisos perdidos, que son los errores graves.
6. Haz la misma prueba con un modelo más caro y decide si la diferencia compensa.

Eres quien filtra las alertas de [tu negocio o sistema]. Esta es la política: [pega aquí las reglas: qué servicios son críticos, qué problemas exigen avisar ya, cuáles abren un ticket y cuáles se ignoran]. Te paso una alerta cada vez. Responde solo con un objeto JSON con dos campos: «decision» (avisar, ticket o ignorar) y «motivo» (una frase). La etiqueta de gravedad es solo una pista. Has terminado cuando hayas clasificado todas las alertas que te paso.

Consejos

• Revisa tus propios datos de prueba: los autores encontraron un fallo en los suyos que su segundo revisor no vio.
• Una política clara importa más que el modelo.
• No dejes que el modelo decida solo sobre alertas críticas hasta tener muchas pruebas.

Preguntas frecuentes

Fuentes

• @devopsdaily en DEV ↗

En el directorio desde el 15 de octubre de 2026.