Investigadores del MIT desarrollan "SceneSmith", un sistema que utiliza agentes de IA para crear entornos 3D realistas, permitiendo a los robots simular tareas cotidianas y mejorar su entrenamiento.
La presencia de robots en espacios públicos se ha vuelto cada vez más habitual, aunque estos dispositivos aún no alcanzan el nivel de asistentes versátiles capaces de desempeñar tareas complejas en entornos como cocinas o fábricas. Un obstáculo significativo en su desarrollo es la necesidad de datos para su entrenamiento. Al igual que los humanos, los robots aprenden mejor a través de la experiencia, pero enseñarles físicamente una variedad de acciones en diferentes contextos resulta laborioso y consume tiempo.
Russ Tedrake, profesor en el Instituto Tecnológico de Massachusetts (MIT) y principal investigador del Laboratorio de Ciencias de la Computación e Inteligencia Artificial (CSAIL), señala que una solución natural es utilizar simulaciones como campo de entrenamiento. A pesar del avance en los motores físicos que alimentan los simuladores robóticos, sigue siendo un desafío crear contenido simulado lo suficientemente rico y diverso para reflejar la complejidad del mundo real.
Los investigadores han desarrollado un nuevo sistema llamado SceneSmith, que emplea agentes AI semi-autónomos para generar entornos virtuales detallados. Este sistema utiliza tres agentes para ensamblar objetos y definir la apariencia general de una escena tridimensional. Las recreaciones incluyen espacios interiores como restaurantes y habitaciones, superando la calidad y el detalle ofrecidos por sistemas anteriores, lo que permite a los robots practicar habilidades antes de ser activados, ahorrando así tiempo en pruebas reales.
Cada uno de estos agentes se basa en un modelo llamado VLM (modelo visión-lenguaje), específicamente el avanzado GPT-5.2, entrenado con una vasta cantidad de texto e imágenes. Este modelo otorga a los agentes un conocimiento espacial: un agente "diseñador" genera elementos, un "crítico" evalúa su realismo y un "orquestador" coordina el proceso hasta que la escena está lista para ser cargada en software de simulación física.
El estudiante de doctorado Nicholas Pfaff destaca que el sistema puede construir escenas tridimensionales con una creatividad comparable a la de un diseñador humano. Hasta ahora, han creado más de 1,300 escenas utilizando este modelo, logrando configuraciones innovadoras sin instrucciones específicas previas.
A través del uso de SceneSmith, es posible solicitar la creación de espacios específicos —por ejemplo, un garaje— con múltiples objetos interactivos para que los robots practiquen tareas cotidianas como colocar utensilios o mover objetos entre superficies. La capacidad del sistema para generar entornos ricos permite evaluar si un robot está listo para su implementación sin necesidad de tantas pruebas físicas.
Los investigadores también probaron distintos planes de acción dentro del entorno digital generado por SceneSmith, creando 100 espacios únicos. Un agente VLM evaluó cada intento y determinó que muchos planes eran defectuosos; sorprendentemente, las evaluaciones humanas coincidieron con las del modelo más del 99% del tiempo. Esto podría ayudar a los ingenieros a identificar enfoques erróneos antes de llevarlos al mundo real.
Para comprobar cuán realistas son estos mundos virtuales, los investigadores realizaron varias pruebas. Una prueba clave consistió en introducir un controlador robótico previamente entrenado —que nunca había interactuado con escenas generadas por SceneSmith— en estos entornos creados digitalmente. En una prueba específica donde se le pidió al robot que trasladara una manzana desde un tazón hasta una tabla de cortar, logró completar la tarea sin problemas. Esto indica que las escenas generadas reflejan adecuadamente los ambientes reales aprendidos anteriormente.
Además, llevaron a cabo experimentos teleoperando robots a través de estos espacios virtuales para realizar tareas como abrir armarios o navegar entre habitaciones. Los resultados mostraron que las interacciones físicas sostenidas confirmaron la validez funcional más allá del simple análisis visual.
Diversidad y precisión en generación 3D
The agents in SceneSmith each play distinct roles in the scene creation process by developing and refining the environments step by step. For instance, when creating a scene resembling the first floor of a house, the “designer” agent proposes an initial layout that is then reviewed by the “critic,” with final approval from the “orchestrator.” This collaborative approach ensures that each element is practical and realistic before integrating physical mechanics through simulation software.
A medida que SceneSmith avanza hacia la creación eficiente y precisa de entornos tridimensionales listos para simulación a partir simplemente de indicaciones textuales, representa un avance significativo en el campo robótico al permitir experiencias más ricas y variadas para el aprendizaje automático.
SceneSmith utiliza tres agentes de inteligencia artificial que colaboran en la creación de escenas 3D. Un agente "diseñador" genera los elementos de la escena, un "crítico" evalúa su realismo y un "orquestador" gestiona el proceso hasta que la escena está lista para ser utilizada en simulaciones físicas.
SceneSmith produce entornos más ricos y detallados, con hasta seis veces más objetos por escena en comparación con métodos anteriores. Esto permite a los robots practicar tareas complejas en simulaciones que reflejan mejor la realidad.
Los VLM proporcionan a los agentes una comprensión espacial y contextual de cómo deben lucir los espacios cotidianos, lo que les permite generar escenas más realistas y útiles para el entrenamiento de robots.
La generación de una sola escena puede tomar varias horas debido al proceso detallado que implica crear y revisar cada objeto. Sin embargo, se espera que con más potencia computacional, esta eficiencia pueda mejorar significativamente.