Controlar robots con código generado por IA y órdenes de voz

A quién le sirve. Investigadores, estudiantes de robótica y programadores curiosos; no es para negocios sin un equipo técnico.

Qué hicieron

A Gemini 2.5 le dieron una API de control de robot (detectar objeto, obtener la postura de agarre, mover, abrir y cerrar la pinza) y escribió planes en Python sin ejemplos previos, por ejemplo meter un plátano en un cuenco. Para empaquetar cajas y doblar un vestido con el robot ALOHA, se añadieron al contexto 10 demostraciones que mezclaban razonamiento y acciones. Para la voz, las mismas llamadas de la API se definieron como herramientas de la Live API y se transmitió la imagen de la cámara.

Cómo salió

Gemini produjo dos planes viables para el plátano, uno de los cuales se replanteó al ver el límite de alcance del brazo derecho. ALOHA empaquetó cajas y dobló un vestido a partir de las demostraciones del contexto. La publicación no da tasas de éxito.

Conviene saber

El montaje de ALOHA está en un Colab de código abierto con demostraciones de ejemplo. La consola de voz con la Live API está en GitHub, y el acceso a Gemini Robotics-ER exige apuntarse a una lista de espera de probadores de confianza.

Qué necesitas

• Conocimientos de Python y de robótica, o alguien del equipo que los tenga.
• Un simulador de robots, o un brazo con una API de control que permita detectar objetos, mover y abrir o cerrar la pinza.
• Acceso a un modelo de Gemini. Gemini Robotics-ER exige apuntarse a una lista de espera de probadores de confianza.
• El cuaderno de Colab de código abierto del montaje ALOHA, un documento de código que se ejecuta en el navegador y trae demostraciones de ejemplo, y la consola de voz con la Live API, que está en GitHub.

Cómo hacerlo tú, paso a paso

1. Empieza en simulación: elige un simulador de robots y una tarea sencilla, como meter objetos en una caja.
2. Describe al modelo la API de tu robot: detectar un objeto, obtener la postura de agarre, mover y abrir o cerrar la pinza.
3. Pega el prompt de esta ficha con tu API y tu tarea. Pide un modelo de visión para detectar los objetos.
4. Lee el código que genera antes de ejecutarlo y ejecútalo solo en simulación.
5. Si la tarea es más compleja, como empaquetar cajas, añade al contexto, que es el texto que lee el modelo antes de responder, unas diez demostraciones que mezclen razonamiento y acciones, como hicieron con ALOHA.
6. Para añadir órdenes de voz, define las mismas llamadas como herramientas de la Live API y transmite la imagen de la cámara. La consola de ejemplo está en GitHub.
7. Repite en simulación hasta que salga bien varias veces seguidas. Solo entonces, y con alguien con experiencia, pasa a un robot real con una parada de emergencia al alcance.

Ayúdame a construir el controlador de un brazo robótico simulado en [simulador o lenguaje]. Usa un modelo de visión para detectar objetos en [imagen o cámara] y escribe código que llame a mi API del robot [descripción de la API] para [tarea, por ejemplo meter objetos en una caja]. Ejecútalo solo en simulación y enséñame el código generado antes de que corra en un robot real. Habrás terminado cuando la tarea salga bien en simulación tres veces seguidas.

Consejos

• La publicación no da tasas de éxito. Espera fallos y por eso conviene empezar en simulación.
• Un robot real con código generado por IA puede dañar objetos o personas. Usa parada de emergencia, límites de movimiento y revisión humana del código.
• El acceso a Gemini Robotics-ER pasa por una lista de espera, así que no cuentes con tenerlo ya.

Preguntas frecuentes

Fuentes

• developers.googleblog.com ↗

En el directorio desde el 3 de octubre de 2026.