¿CON QUÉ IA?
A quién le sirve. Programadores y equipos técnicos que quieren comprobar que un agente que maneja el navegador hace los clics donde debe. Si no programas, puedes pedir a un asistente de programación que monte la prueba por ti.
Qué hicieron
Guillaume Laforge montó en Java un bucle alrededor del modelo de vista previa de uso de ordenador de Gemini y Chromium sin pantalla de Playwright (una herramienta para controlar navegadores desde código), con una ventana de 1000 por 1000. Tras cada acción, el modelo recibía una captura y devolvía clics con coordenadas en una cuadrícula normalizada de 1000 por 1000. Su código las ajustaba al tamaño real de la ventana y hacía el clic. Creó un juego en el que un botón rojo cambia de sitio tras cada clic y le dijo al agente que lo pulsara 10 veces y leyera la puntuación.
Cómo salió
El agente pulsó el botón que se movía y dio una puntuación final de 10, lo que confirmó que el manejo de clics y el ajuste de coordenadas funcionaban. La fuente no menciona fallos en esta prueba.
Conviene saber
Manda al modelo una captura nueva tras cada acción y espera cerca de un segundo antes, para que la página termine de dibujarse. Si no, el modelo ve una página en blanco o a medias.
Qué necesitas
- Una clave de acceso (API) del modelo de uso de ordenador de Gemini
- Un entorno de programación (el caso usa Java) con Playwright, una herramienta para controlar navegadores desde código
- Una página sencilla con un botón rojo que cambia de sitio tras cada clic y muestra la puntuación
- Chromium, el navegador que usa Playwright, en modo sin pantalla
Cómo hacerlo tú, paso a paso
- Consigue la clave de acceso de la API de Gemini y prepara un proyecto con Playwright.
- Crea el juego: una página con un botón rojo que cambia de posición tras cada clic y cuenta los clics.
- Programa un navegador sin pantalla con una ventana de 1000 por 1000 píxeles.
- En cada vuelta, haz una captura, envíala al modelo y recibe su clic con coordenadas en una cuadrícula de 1000 por 1000.
- Ajusta esas coordenadas al tamaño real de tu ventana y haz el clic.
- Espera cerca de un segundo antes de cada captura para que la página termine de dibujarse.
- Dile al agente que pulse el botón 10 veces y lea la puntuación. Comprueba que coincide.
Usa el control del navegador para abrir [dirección de un juego web sencillo] y juégalo mirando capturas de pantalla y haciendo clic, durante unos [número] movimientos. Cuéntame si tus clics cayeron donde querías y apunta cualquier diferencia entre las coordenadas de la captura y la posición real del clic. Habrás terminado cuando acabes los movimientos y me resumas cómo ha ido.
Consejos
- Manda siempre una captura nueva después de cada acción. Si no, el modelo trabaja con una imagen vieja.
- Si no esperas al dibujado de la página, el modelo puede ver una página en blanco o a medias.
- Empieza con un juego tonto y controlado antes de apuntar el agente a una web real.
Preguntas frecuentes
¿Puedo hacerlo sin programar?
Este caso es de programación. Sin programar, pide a un asistente de programación que escriba el bucle, o prueba un agente de navegador ya hecho.
¿Para qué sirve jugar a algo tan simple?
Es una prueba controlada: si el agente pulsa bien un botón que se mueve, los clics y las coordenadas funcionan antes de usarlo en una web real.
Fuentes
En el directorio desde el 3 de octubre de 2026.
@googleai en DEV
@xundecidability en X