Gli ingegneri di Penn accelerano la visione delle event camera a 440 volte al secondo
Il sistema Fast Feature Field salta i dati vuoti dei sensori per aiutare i robot a tracciare i movimenti e a orientarsi negli spazi bui più rapidamente.
Di Letizia Giugliano
3 min di letturaHuman-Edited, AI-Assisted
Tradotto automaticamente dall’originale inglese Leggi l’originale
Gli ingegneri dell'Università della Pennsylvania hanno sviluppato uno strumento di intelligenza artificiale che elabora i dati visivi delle event camera fino a 440 volte al secondo. L'invenzione software, chiamata Fast Feature Field, consente alle macchine di interpretare i rapidi cambiamenti ambientali da due a cinque volte più velocemente rispetto ai metodi precedenti. Descritto sulla rivista Science Robotics, il sistema aiuta droni autonomi, veicoli a ruote e robot camminanti a reagire rapidamente in spazi ingombri e in condizioni di scarsa illuminazione.
Prevedere il movimento invece di compiti isolati
Le fotocamere standard registrano scene visive complete a intervalli regolari, ma le event camera funzionano secondo un principio diverso. Ogni singolo pixel registra continuamente le variazioni di intensità luminosa, catturando il movimento rapido senza comporre fotogrammi tradizionali, come riportato da Interesting Engineering.
Poiché questi sensori emettono milioni di segnali sparsi anziché fotogrammi strutturati, il software informatico convenzionale fatica a interpretarli senza programmi separati per il rilevamento degli oggetti, la misurazione delle distanze o il tracciamento del movimento. Il team di Penn ha risolto questo collo di bottiglia con una rete neurale chiamata Fast Feature Field (F³). Invece di addestrare modelli separati per compiti visivi distinti, i ricercatori hanno addestrato il sistema a prevedere i segnali futuri sulla base dei dati passati.
«Per anticipare con precisione gli eventi futuri sulla base di quelli passati, la rete deve imparare a rappresentare sia la struttura di una scena sia il movimento che vi si svolge», ha spiegato il primo autore Richeek Das nei risultati illustrati da Interesting Engineering. Questo modello predittivo estrae geometria e movimento in un unico passaggio di elaborazione.
«Per anticipare con precisione gli eventi futuri sulla base di quelli passati, la rete deve imparare a rappresentare sia la struttura di una scena sia il movimento che vi si svolge»
— Richeek Das, autore principale, Università della Pennsylvania
«Il nostro obiettivo è rendere l'uso di una event camera semplice quanto quello di una fotocamera convenzionale»
— Pratik Chaudhari, professore associato, Università della Pennsylvania
Saltare il 95 per cento dei punti visivi vuoti
I sensori a eventi generano decine di milioni di segnali discreti ogni secondo, che sovraccaricano facilmente i chip di calcolo mobili. Tuttavia, i ricercatori hanno osservato che circa il 95% delle possibili coordinate del sensore non registra alcuna attività in un dato istante.
F³ ignora completamente queste posizioni inattive e concentra i calcoli esclusivamente sulle coordinate in cui si verificano variazioni di luce, secondo Interesting Engineering.
Questo metodo di filtraggio ha ridotto i calcoli non necessari. Durante l'elaborazione di dati a eventi in alta definizione, F³ funziona a 120 volte al secondo. A una risoluzione VGA inferiore, la sua velocità sale a 440 volte al secondo, consentendo una percezione robotica in tempo reale.
Test su robot quadrupedi e strade notturne
I ricercatori hanno valutato il loro sistema utilizzando flussi di sensori raccolti da auto, robot a quattro zampe e droni autonomi. Le prove sperimentali hanno coperto condizioni visive difficili, tra cui strade urbane buie di notte e corridoi interni affollati, secondo Interesting Engineering.
Il software ha eguagliato o superato i benchmark esistenti di visione robotica funzionando da due a cinque volte più velocemente. Consente inoltre ai robotici di adattare gli strumenti di visione esistenti ai dati a eventi, eliminando la necessità di progettare software personalizzato per ogni implementazione.
Sebbene la pubblicazione non riporti un numero formale di domanda di brevetto, l'architettura tecnica rappresenta un asset di proprietà intellettuale sviluppato attraverso la ricerca accademica che potrebbe fare da ponte tra sensori sperimentali e robotica pratica.
Integrazione diretta nell'hardware per droni autonomi
Il gruppo di ricerca di Penn sta attualmente installando F³ a bordo di droni autonomi progettati per volare attraverso spazi ingombri e bui.
Il piano a lungo termine punta all'hardware dei sensori stesso, secondo Interesting Engineering. Gli ingegneri intendono incorporare il modello algoritmico direttamente nei chip delle fotocamere, trasformando gli impulsi elettrici grezzi in dati visivi utilizzabili a bordo.
«Il nostro obiettivo è rendere l'uso di una event camera semplice quanto quello di una fotocamera convenzionale», ha dichiarato Pratik Chaudhari, professore associato all'Università della Pennsylvania, in commenti riportati da Interesting Engineering. Il team ha pubblicato la valutazione tecnica completa sulla rivista Science Robotics.
Leggi anche su The Patent: Gli uffici brevetti trilaterali si incontrano a Vienna su Global Assignment e IA · Gli ingegneri del MIT costruiscono un robot morbido ispirato ai serpenti per esplorare l'intestino tenue
