¿CON QUÉ IA?
A quién le sirve. Laboratorios, ingenierías y aficionados a la robótica con un robot programable que quieren que una IA coordine tareas de varios pasos mirando la cámara; no es un caso para un negocio corriente.
Qué hicieron
Los desarrolladores declaran como herramientas los controles básicos, como las API de navegación y manipulación del Spot de Boston Dynamics. Envían vídeo, audio o texto a Gemini Robotics ER 2 mediante la API Gemini Live. El modelo ordena los pasos, mira el vídeo para seguir el avance y confirmar que la tarea está terminada, y entonces pasa a la siguiente. La demostración publicada del Spot trae objetos, como un aperitivo de palomitas, con una orden hablada.
Cómo salió
En clasificación de avance, que ordena cada fotograma en cinco tramos de progreso, llegó al 57,4 % de acierto. En localizar momentos llegó al 91,3 % de acierto con una distancia media absoluta de 0,96 s. La publicación no da una tasa de éxito del Spot al atar una bolsa de basura.
Conviene saber
El código de la demostración del Spot está en GitHub, y el modelo está disponible en versión preliminar a través de la API de Gemini y Google AI Studio.
Qué necesitas
- Un robot o un simulador con controles que se puedan llamar por programa (el caso usa un Spot de Boston Dynamics)
- Acceso a Gemini Robotics ER 2 mediante la API de Gemini (la vía oficial para que tus programas usen el modelo) o Google AI Studio, en versión preliminar
- Una fuente de vídeo del robot
- Python y conocimientos de programación
Cómo hacerlo tú, paso a paso
- Empieza en un simulador y no con un robot real.
- Declara los controles básicos del robot como herramientas que el modelo puede llamar, como moverse, agarrar o soltar.
- Escribe con el prompt de esta ficha un programa en Python que divida la tarea en pasos.
- Envía el vídeo, y si quieres audio o texto, al modelo mediante la API Gemini Live.
- Tras cada paso, haz que el modelo mire el vídeo y confirme que está hecho antes de pasar al siguiente.
- Revisa el plan y el código antes de ejecutar nada en un robot real.
- Mira el código de la demostración del Spot en GitHub como referencia.
Escribe un programa en Python que divida la tarea [tarea de varios pasos, por ejemplo ordenar el banco de trabajo] en pasos para un robot o simulador que se llama [nombre del robot o simulador]. Tras cada paso, que revise un fotograma o un clip de vídeo de [fuente] para confirmar que el paso está hecho antes de pasar al siguiente. Enséñame el plan y el código antes de ejecutar nada en un robot real. Habrás terminado cuando el programa complete todos los pasos en una ejecución simulada.
Consejos
- Pon siempre un botón de parada física y a una persona supervisando cuando pruebes con un robot real.
- La clasificación del avance fue la parte más floja de las pruebas publicadas, así que añade tus propias comprobaciones.
- Es una versión preliminar y puede cambiar.
Preguntas frecuentes
¿Puedo probarlo sin un robot?
Sí, con un simulador o con vídeos de prueba. La parte interesante, que el modelo mire y confirme cada paso, se puede probar sin el robot físico.
¿Qué ha conseguido de verdad el Spot?
La demostración publicada trae objetos con una orden hablada, y la publicación no da una tasa de éxito en tareas como atar una bolsa. No esperes fiabilidad de producción.
Fuentes
En el directorio desde el 3 de octubre de 2026.
@xundecidability en X