Les ingénieurs de Penn accélèrent la vision par caméra événementielle à 440 fois par seconde
Le système Fast Feature Field ignore les données de capteurs vides pour aider les robots à suivre les mouvements et à naviguer plus vite dans l'obscurité.
Par Letizia Giugliano
4 min de lectureHuman-Edited, AI-Assisted
Traduit automatiquement de l’original en anglais Lire l’original
Des ingénieurs de l'University of Pennsylvania ont mis au point un outil d'intelligence artificielle capable de traiter les données visuelles issues de caméras événementielles jusqu'à 440 fois par seconde. Cette invention logicielle, baptisée Fast Feature Field, permet aux machines d'interpréter les changements environnementaux rapides deux à cinq fois plus vite que les méthodes antérieures. Présenté dans la revue Science Robotics, le système aide les drones autonomes, les véhicules à roues et les robots marcheurs à réagir rapidement dans des espaces encombrés et en conditions de faible luminosité.
Prédire le mouvement au lieu de tâches isolées
Les caméras standard enregistrent des scènes visuelles complètes à intervalles réguliers, mais les caméras événementielles fonctionnent selon un principe différent. Chaque pixel individuel enregistre en continu les variations d'intensité lumineuse, capturant les mouvements rapides sans assembler d'images traditionnelles, comme le rapporte Interesting Engineering.
Dans la mesure où ces capteurs émettent des millions de signaux dispersés plutôt que des trames structurées, les logiciels informatiques conventionnels peinent à les interpréter sans recourir à des programmes distincts pour la détection d'objets, la mesure des distances ou le suivi de trajectoire. L'équipe de Penn a résolu ce goulot d'étranglement grâce à un réseau neuronal nommé Fast Feature Field (F³). Au lieu d'entraîner des modèles distincts pour différentes tâches visuelles, les chercheurs ont entraîné le système à prédire les signaux à venir à partir des données passées.
« Pour anticiper avec précision les événements futurs sur la base des événements passés, le réseau doit apprendre à représenter à la fois la structure d'une scène et le mouvement qui s'y déroule », a expliqué le premier auteur Richeek Das dans des conclusions détaillées par Interesting Engineering. Ce modèle prédictif extrait la géométrie et le mouvement en une seule étape de traitement.
« Pour anticiper avec précision les événements futurs sur la base des événements passés, le réseau doit apprendre à représenter à la fois la structure d'une scène et le mouvement qui s'y déroule »
— Richeek Das, auteur principal, University of Pennsylvania
« Notre objectif est de rendre l'utilisation d'une caméra événementielle aussi simple que celle d'une caméra conventionnelle »
— Pratik Chaudhari, professeur associé, University of Pennsylvania
Ignorer 95 pour cent des points visuels inactifs
Les capteurs événementiels génèrent des dizaines de millions de signaux discrets chaque seconde, ce qui sature facilement les puces informatiques embarquées. Les chercheurs ont toutefois observé qu'environ 95 % des coordonnées possibles du capteur n'enregistrent aucune activité à un instant donné.
F³ ignore totalement ces positions inactives et concentre ses calculs exclusivement sur les coordonnées où des variations de lumière se produisent, selon Interesting Engineering.
Cette méthode de filtrage a permis d'éliminer les calculs superflus. Lors du traitement de données événementielles en haute définition, F³ fonctionne à une fréquence de 120 fois par seconde. À une résolution VGA inférieure, sa vitesse atteint 440 fois par seconde, ce qui permet une perception robotique en temps réel.
Essais sur des robots quadrupèdes et dans les rues la nuit
Les chercheurs ont évalué leur système à l'aide de flux de capteurs recueillis par des voitures, des robots quadrupèdes et des drones volants autonomes. Les séries expérimentales ont couvert des conditions visuelles difficiles, notamment des rues urbaines sombres la nuit et des couloirs intérieurs encombrés, selon Interesting Engineering.
Le logiciel a égalé ou dépassé les performances des références existantes en vision robotique tout en fonctionnant deux à cinq fois plus vite. Il permet également aux spécialistes de la robotique d'adapter les outils de vision existants aux données événementielles, éliminant ainsi la nécessité de concevoir des logiciels sur mesure pour chaque déploiement.
Bien que la publication ne mentionne pas de numéro officiel de demande de brevet, cette architecture technique constitue un actif de propriété intellectuelle développé dans le cadre de la recherche universitaire, capable de faire le pont entre capteurs expérimentaux et applications concrètes en robotique.
Intégration matérielle directe pour les drones autonomes
Le groupe de recherche de Penn intègre actuellement F³ à bord de drones aériens autonomes conçus pour voler dans des espaces encombrés et sombres.
Le projet à long terme cible directement le matériel du capteur, selon Interesting Engineering. Les ingénieurs prévoient d'intégrer le modèle algorithmique directement dans les puces des caméras, transformant ainsi les impulsions électriques brutes en données visuelles exploitables dès la capture.
« Notre objectif est de rendre l'utilisation d'une caméra événementielle aussi simple que celle d'une caméra conventionnelle », a déclaré Pratik Chaudhari, professeur associé à l'University of Pennsylvania, dans des propos rapportés par Interesting Engineering. L'équipe a publié son évaluation technique complète dans la revue Science Robotics.
À lire également sur The Patent : Les offices de brevets de la Coopération trilatérale se réunissent à Vienne sur le transfert mondial et l'IA · Les ingénieurs du MIT conçoivent un robot souple inspiré du serpent pour explorer l'intestin grêle
