Jugar a Pokémon Azul con un agente de Gemini

A quién le sirve. Programadores aficionados a los videojuegos que quieren montar un agente que juegue solo. Es un proyecto de ocio y de investigación, pero enseña cómo darle memoria y ayudantes a un agente en una tarea muy larga.

Qué hicieron

Un desarrollador independiente, Joel Zhang, construyó un sistema que da a Gemini 2.5 Pro una parte de la memoria RAM de la Game Boy en forma de texto, superpuesta a una captura de pantalla. Gemini elige acciones que se convierten en pulsaciones de botones. Cada 100 turnos el sistema resume el historial, y cada 25 turnos lanza una instancia que critica lo hecho. Además ofrece subagentes para buscar rutas y resolver puzles de rocas, que son instancias de Gemini con instrucciones propias.

Cómo salió

El agente pasó Pokémon Azul en 813 horas en la primera partida y en 406,5 horas en una segunda totalmente autónoma. Entraba en bucles con contextos largos, inventaba objetos de otros juegos y manejaba mal los píxeles en bruto.

Conviene saber

El modelo leía mal los píxeles de la pantalla, por eso hizo falta traducir la memoria a texto. Además, su comportamiento empeoraba cuando el contexto superaba con holgura los 100.000 tokens (unidades en las que la IA mide el texto).

Qué necesitas

• Un emulador de Game Boy que permita leer la memoria del juego y enviar pulsaciones de botones desde un programa
• Una clave de acceso (API) de un modelo de IA con capacidad de ver imágenes (en el caso, Gemini 2.5 Pro)
• Conocimientos de programación para montar el bucle, o un asistente de programación que lo haga por ti
• Una copia del juego que tengas legalmente

Cómo hacerlo tú, paso a paso

1. Prepara el emulador y comprueba que un programa tuyo puede leer la memoria del juego y enviar botones.
2. Convierte esa memoria en texto legible y mándala al modelo junto con una captura de pantalla.
3. Pide al modelo que elija una acción y tradúcela en pulsaciones de botones.
4. Cada cierto número de turnos, resume el historial para que el modelo no se pierda. El autor lo hacía cada 100.
5. Cada pocos turnos, lanza otra instancia del modelo que critique lo que se ha hecho. El autor lo hacía cada 25.
6. Añade ayudantes con instrucciones propias para tareas concretas, como buscar rutas o resolver puzles de rocas.
7. Déjalo jugar un número de pasos y guarda lo que decidió en cada uno.

Ayúdame a construir un agente que juegue a [juego, por ejemplo Pokémon Azul] en un emulador que tengo en [ruta o configuración del emulador]. Tiene que leer el estado del juego desde [memoria RAM o capturas de pantalla], decidir una acción y enviarla como pulsaciones de botones, con una ayuda sencilla para [subtarea, por ejemplo buscar rutas]. Habrás terminado cuando pueda jugar [número] pasos por sí solo y anotar qué decidió en cada paso.

Consejos

• Traduce la memoria a texto. Al modelo le costaba leer los píxeles de la pantalla.
• Resume el historial a menudo. Con contextos muy largos, de más de 100.000 tokens (las unidades con las que la IA mide el texto), el modelo empeoraba.
• Vigila los bucles y los objetos inventados. El agente entraba en bucles e imaginaba objetos de otros juegos.

Preguntas frecuentes

Fuentes

• arXiv ↗

En el directorio desde el 3 de octubre de 2026.