Ingenieros de Penn aceleran la visión de cámaras de eventos a 440 veces por segundo
El sistema Fast Feature Field descarta los datos vacíos del sensor para ayudar a los robots a rastrear el movimiento y desplazarse más rápido en la oscuridad.
Por Letizia Giugliano
4 min de lecturaHuman-Edited, AI-Assisted
Traducido automáticamente del original en inglés Leer el original
Ingenieros de la University of Pennsylvania han desarrollado una herramienta de inteligencia artificial que procesa los datos visuales de cámaras de eventos hasta 440 veces por segundo. Esta invención de software, denominada Fast Feature Field, permite a las máquinas interpretar cambios rápidos en el entorno entre dos y cinco veces más rápido que los métodos anteriores. Presentado en la revista Science Robotics, el sistema ayuda a drones autónomos, vehículos con ruedas y robots caminantes a reaccionar con rapidez en espacios saturados de obstáculos y en condiciones de baja iluminación.
Predecir el movimiento en lugar de tareas aisladas
Las cámaras convencionales graban escenas visuales completas a intervalos regulares, pero las cámaras de eventos funcionan según un principio diferente. Cada píxel registra de forma continua los cambios en la intensidad lumínica, capturando movimientos rápidos sin necesidad de componer fotogramas tradicionales, según informa Interesting Engineering.
Dado que estos sensores emiten millones de señales dispersas en lugar de fotogramas estructurados, el software informático convencional tiene dificultades para interpretarlas sin recurrir a programas independientes para la detección de objetos, la medición de distancias o el seguimiento del movimiento. El equipo de Penn resolvió este cuello de botella con una red neuronal llamada Fast Feature Field (F³). En lugar de entrenar modelos independientes para distintas tareas visuales, los investigadores entrenaron el sistema para predecir las señales entrantes a partir de datos pasados.
«Para anticipar con precisión acontecimientos futuros basándose en los pasados, la red debe aprender a representar tanto la estructura de una escena como el movimiento que tiene lugar en ella», explicó el primer autor Richeek Das en las conclusiones detalladas por Interesting Engineering. Este modelo predictivo extrae la geometría y el movimiento en un único paso de procesamiento.
“To accurately anticipate future events based on past ones, the network must learn to represent both the structure of a scene and the motion taking place within it”
— Richeek Das, lead author, University of Pennsylvania
“Our goal is to make using an event camera as straightforward as using a conventional one”
— Pratik Chaudhari, associate professor, University of Pennsylvania
Descartar el 95 por ciento de los puntos visuales vacíos
Los sensores de eventos generan decenas de millones de señales discretas cada segundo, lo que satura con facilidad los chips informáticos móviles. Sin embargo, los investigadores observaron que aproximadamente el 95 % de las coordenadas posibles del sensor no registran ninguna actividad en un instante determinado.
F³ ignora por completo estas posiciones inactivas y concentra los cálculos únicamente en las coordenadas donde se producen variaciones de luz, según Interesting Engineering.
Este método de filtrado redujo los cálculos innecesarios. Al procesar datos de eventos en alta definición, F³ funciona a 120 veces por segundo. A una resolución VGA más baja, su velocidad se incrementa hasta 440 veces por segundo, lo que permite una percepción robótica en tiempo real.
Pruebas en robots cuadrúpedos y calles nocturnas
Los investigadores evaluaron su sistema utilizando transmisiones de sensores obtenidas de automóviles, robots de cuatro patas y drones aéreos autónomos. Los ensayos experimentales abarcaron condiciones visuales complejas, como calles urbanas oscuras de noche y pasillos interiores concurridos, según Interesting Engineering.
El software igualó o superó las pruebas de rendimiento existentes en visión robótica, a la vez que funcionó entre dos y cinco veces más rápido. Asimismo, permite a los especialistas en robótica adaptar las herramientas de visión existentes a los datos de eventos, eliminando la necesidad de diseñar software a medida para cada despliegue.
Aunque la publicación no indica un número formal de solicitud de patente, la arquitectura técnica constituye un activo de propiedad intelectual desarrollado mediante investigación académica que podría tender un puente entre los sensores experimentales y la robótica práctica.
Integración directa en hardware para drones autónomos
En la actualidad, el grupo de investigación de Penn está integrando F³ a bordo de drones aéreos autónomos diseñados para volar a través de espacios oscuros y llenos de obstáculos.
El plan a largo plazo apunta al propio hardware del sensor, según Interesting Engineering. Los ingenieros tienen previsto incorporar el modelo algorítmico directamente en los chips de la cámara, transformando los impulsos eléctricos brutos en datos visuales aprovechables a bordo.
«Nuestro objetivo es que utilizar una cámara de eventos resulte tan sencillo como usar una convencional», declaró Pratik Chaudhari, profesor asociado en la University of Pennsylvania, en comentarios recogidos por Interesting Engineering. El equipo publicó su evaluación técnica completa en la revista Science Robotics.
Lea también en The Patent: Las oficinas trilaterales de patentes se reúnen en Viena sobre cesión global e IA · Ingenieros del MIT construyen un robot blando inspirado en serpientes para explorar el intestino delgado
