Penn-Ingenieure beschleunigen Event-Kamera-Vision auf 440 Mal pro Sekunde
Das System Fast Feature Field überspringt leere Sensordaten, damit Roboter Bewegungen schneller verfolgen und dunkle Räume besser navigieren können.
Von Letizia Giugliano
3 Min. LesezeitHuman-Edited, AI-Assisted
Automatisch aus dem englischen Original übersetzt Original lesen
Ingenieure der University of Pennsylvania haben ein KI-Werkzeug entwickelt, das visuelle Daten von Event-Kameras mit bis zu 440 Mal pro Sekunde verarbeitet. Die Software-Erfindung namens Fast Feature Field ermöglicht Maschinen, schnelle Veränderungen der Umgebung zwei- bis fünfmal schneller zu interpretieren als frühere Methoden. Wie im Fachjournal Science Robotics berichtet wird, hilft das System autonomen Drohnen, Radfahrzeugen und laufenden Robotern, in unübersichtlichen Räumen und bei schlechten Lichtverhältnissen schnell zu reagieren.
Bewegung vorhersagen statt isolierter Aufgaben
Standardkameras zeichnen vollständige visuelle Szenen in regelmäßigen Abständen auf, doch Event-Kameras funktionieren nach einem anderen Prinzip. Jedes einzelne Pixel registriert kontinuierlich Änderungen der Lichtintensität und erfasst schnelle Bewegungen, ohne traditionelle Frames zusammenzusetzen, wie Interesting Engineering berichtet.
Da diese Sensoren Millionen verstreuter Signale statt strukturierter Frames aussenden, haben herkömmliche Computerprogramme Schwierigkeiten, sie ohne separate Programme für Objekterkennung, Entfernungsmessung oder Bewegungsverfolgung zu interpretieren. Das Penn-Team löste diesen Engpass mit einem neuronalen Netz namens Fast Feature Field (F³). Statt separate Modelle für unterschiedliche visuelle Aufgaben zu trainieren, brachten die Forscher dem System bei, kommende Signale anhand vergangener Daten vorherzusagen.
„Um zukünftige Ereignisse anhand vergangener genau vorherzusagen, muss das Netzwerk lernen, sowohl die Struktur einer Szene als auch die darin stattfindende Bewegung darzustellen“, erklärte Erstautor Richeek Das in Erkenntnissen, die Interesting Engineering ausführlich beschreibt. Dieses Vorhersagemodell extrahiert Geometrie und Bewegung in einem einzigen Verarbeitungsschritt.
„Um zukünftige Ereignisse anhand vergangener genau vorherzusagen, muss das Netzwerk lernen, sowohl die Struktur einer Szene als auch die darin stattfindende Bewegung darzustellen“
— Richeek Das, Hauptautor, University of Pennsylvania
„Unser Ziel ist es, die Nutzung einer Event-Kamera so unkompliziert zu machen wie die einer herkömmlichen Kamera“
— Pratik Chaudhari, außerordentlicher Professor, University of Pennsylvania
95 Prozent leerer visueller Punkte werden übersprungen
Event-Sensoren erzeugen jede Sekunde zig Millionen diskreter Signale, was mobile Rechenchips leicht überfordert. Die Forscher stellten jedoch fest, dass rund 95 % der möglichen Sensorkoordinaten in einem gegebenen Moment keine Aktivität registrieren.
F³ ignoriert diese inaktiven Positionen vollständig und konzentriert die Berechnungen ausschließlich auf Koordinaten, an denen Lichtveränderungen auftreten, so Interesting Engineering.
Diese Filtermethode reduzierte unnötige Berechnungen. Bei der Verarbeitung von hochauflösenden Event-Daten läuft F³ mit 120 Mal pro Sekunde. Bei niedrigerer VGA-Auflösung steigt die Geschwindigkeit auf 440 Mal pro Sekunde, was eine Echtzeit-Wahrnehmung für Roboter ermöglicht.
Tests an vierbeinigen Robotern und nächtlichen Straßen
Die Forscher bewerteten ihr System mit Sensordaten von Autos, vierbeinigen Robotern und autonomen Flugdrohnen. Die Versuchsläufe umfassten schwierige visuelle Bedingungen, darunter dunkle städtische Straßen bei Nacht und überfüllte Innenkorridore, so Interesting Engineering.
Die Software erreichte oder übertraf bestehende Benchmarks für Robotervision und lief dabei zwei- bis fünfmal schneller. Sie ermöglicht es Robotikern zudem, bestehende Vision-Werkzeuge an Event-Daten anzupassen, sodass keine maßgeschneiderte Software für jeden Einsatz entwickelt werden muss.
Obwohl die Veröffentlichung keine formale Nummer einer Patentanmeldung nennt, stellt die technische Architektur ein geistiges Eigentum dar, das aus der akademischen Forschung hervorgegangen ist und experimentelle Sensoren mit praktischer Robotik verbinden könnte.
Direkte Hardware-Integration für autonome Drohnen
Die Forschungsgruppe der Penn installiert F³ derzeit an Bord autonomer Flugdrohnen, die durch unübersichtliche, dunkle Räume fliegen sollen.
Der langfristige Plan zielt auf die Sensor-Hardware selbst ab, so Interesting Engineering. Die Ingenieure wollen das algorithmische Modell direkt in Kamera-Chips einbetten, um rohe elektrische Impulse an Bord in nutzbare visuelle Daten umzuwandeln.
„Unser Ziel ist es, die Nutzung einer Event-Kamera so unkompliziert zu machen wie die einer herkömmlichen Kamera“, erklärte Pratik Chaudhari, außerordentlicher Professor an der University of Pennsylvania, in Kommentaren, über die Interesting Engineering berichtet. Das Team veröffentlichte seine vollständige technische Auswertung im Fachjournal Science Robotics.
Lesen Sie auch bei The Patent: Trilaterale Patentämter treffen sich in Wien zu Global Assignment und KI · MIT-Ingenieure bauen einen schlangeninspirierten Soft-Roboter zur Erkundung des Dünndarms
