Elon Musk v říjnu 2021 tweetoval, že „lidé jezdí očima a biologickými neuronovými sítěmi, takže kamery a křemíkové neuronové sítě jsou jediným způsobem, jak dosáhnout obecného řešení samořízení“. Ačkoli lidské oči a mozek stále převyšují současné technologické možnosti v detekci pohyblivých objektů a zpracování vizuálních vstupů, nový systém se snaží tuto mezeru překlenout.

Nová technologie kamer

Inovace přichází ve formě tzv. "kamer událostí". Tyto kamery napodobují biologické oči tím, že měří pouze změny jasu, nikoli celé snímky. To znamená, že každá změna jasu je zaznamenána jako událost, což výrazně snižuje množství zpracovávaných dat a umožňuje rychlejší reakční časy. Tradiční kamery by při rychlosti 30-45 fps generovaly téměř 40 terabajtů dat za hodinu, což je pro palubní počítače automobilů neudržitelné. Kamery událostí však tento problém řeší tím, že využívají mnohem méně dat.

Zdroj: Shutterstock

Hybridní systém

Gehrig a Davide Scaramuzza, profesor na univerzitě v Curychu, vyvinuli hybridní systém, který kombinuje kamery událostí s tradičními kamerami. Tento systém využívá hluboké učení k detekci objektů a funguje tak, že klasifikuje objekty na snímcích pomocí ohraničujících rámečků. Kamery událostí pak tyto detekce zpřesňují a zajišťují, že jsou zaznamenány i náhlé pohyby.

Ve scénářích, kde je potřeba rychlé reakce, jako když chodec náhle vstoupí do cesty, kamera událostí detekuje pohyb během pouhých 0,2 milisekund. Celková latence systému je výrazně snížena, což znamená, že systém může reagovat rychleji než současné technologie používané například v automobilech Tesla.

Budoucí plány

Tým plánuje dále optimalizovat svůj systém nasazením na specializovaný hardware, jako jsou neuromorfní čipy, které jsou lépe přizpůsobeny pro zpracování asynchronních dat generovaných kamerami událostí. Tato technologie by mohla dále zrychlit detekci a zvýšit přesnost systému.

Ačkoli systém kamery událostí nabízí výrazné zlepšení, Gehrig zdůrazňuje, že další senzory, jako je lidar, stále hrají důležitou roli. Integrace lidaru by mohla zvýšit přesnost a snížit složitost algoritmů, které odhadují vzdálenosti objektů.

Nový design kamery, který kombinuje tradiční a událostní kamery, představuje významný pokrok směrem k bezpečnějším a efektivnějším samořídícím vozidlům. Tým věří, že jejich práce má potenciál změnit způsob, jakým automobilový průmysl přistupuje k detekci objektů a zajišťování bezpečnosti na silnicích.