SE3 Labs ha desarrollado una tecnología de inteligencia artificial espacial que crea modelos 3D realistas a partir de imágenes y videos, mejorando la comprensión del entorno para aplicaciones en defensa y más.
La inteligencia artificial generativa, como ChatGPT, ha demostrado su capacidad para redactar textos, crear imágenes y programar código. Sin embargo, enfrenta limitaciones significativas cuando se trata de interactuar con el mundo físico. En este contexto, el equipo de SE3 Labs ha desarrollado una innovadora tecnología de Spatial-AI que utiliza imágenes, videos y mapas para generar modelos 3D realistas del entorno. Esta tecnología ya está siendo utilizada en múltiples proyectos por la Bundeswehr (ejército alemán).
La historia de SE3 Labs comenzó en un gimnasio de escalada donde el profesor Daniel Cremers, especialista en procesamiento de imágenes e inteligencia artificial en la Tecnológica Universidad de Múnich (TUM), conoció a Lukas Köstler. Posteriormente, Köstler se unió como estudiante de doctorado al grupo del profesor Cremers, donde también se incorporó Simon Klenk. Juntos decidieron llevar su investigación a un nuevo nivel creando su propia empresa. El objetivo principal de SE3 Labs es dotar a las máquinas con un entendimiento espacial que les permita operar independientemente en su entorno, similar a cómo la IA generativa interactúa con el lenguaje.
Según Cremers, “nuestra tecnología no solo debe identificar lo que aparece en una imagen o video, sino también comprender realmente el mundo tridimensional y cómo los objetos, edificios y terrenos están relacionados entre sí”. Este entendimiento espacial puede ser utilizado por sistemas autónomos como drones y robots para navegar y actuar por sí mismos. Además, los usuarios pueden analizar y consultar el modelo digital del entorno.
La software procesa datos sensoriales en tiempo real para crear un modelo 3D continuamente actualizado del entorno. Con alta precisión, se capturan y localizan perfiles del terreno, diferencias de altura y objetos relevantes. La combinación de grandes modelos lingüísticos con visión por computadora permite que las máquinas reconozcan y comprendan información visual como lo haría un humano.
Lukas Köstler destaca que “nuestra tecnología es especialmente relevante en situaciones donde la información actual sobre el entorno es crucial, como en zonas de crisis o conflictos bélicos”. En estos escenarios, los sistemas autónomos suelen verse limitados debido a la falta de señales GPS necesarias para su operación.
El sistema de navegación desarrollado por SE3 Labs permite una navegación autónoma precisa incluso en áreas sin señal GPS. Así, crea constantemente un mapa espacial del entorno que considera cambios en tiempo real. Las fuerzas operativas pueden formular preguntas específicas basadas en este mapa 3D: ¿cuántos objetos específicos hay en una zona? ¿Qué calles son transitables? ¿Cómo ha cambiado el área desde la última evaluación?
A largo plazo, SE3 Labs vislumbra aplicaciones potenciales que abarcan desde defensa y seguridad hasta infraestructura inteligente y construcción industrial.
La tecnología utiliza imágenes, videos y mapas para procesar datos sensoriales en tiempo real, creando un modelo tridimensional continuo de la entorno. Esto permite a los sistemas autónomos entender cómo se relacionan los objetos y estructuras en el espacio.
La tecnología de SE3 Labs se está utilizando en varios proyectos de la Bundeswehr (Ejército alemán), así como en áreas como infraestructura inteligente, construcción e incluso aplicaciones industriales.
El entendimiento espacial es crucial en situaciones donde la información actual sobre el entorno es vital, como en zonas de crisis o guerra, donde las señales GPS pueden no estar disponibles. La tecnología permite una navegación autónoma precisa incluso en estas condiciones desafiantes.