D'Elite VisionGuard
Inovatívne produkty a technológie pre investorov a partnerov
Konceptuálna vizualizácia
Vnímanie ako prvý krok k činu
D'Elite VisionGuard je softvérový modul počítačového videnia na detekciu cieľových objektov, odhad ich polohy a prenos výsledku do externej aplikácie alebo robotickej platformy.
Jadro už pracuje na lokálnom spracovaní snímok: vymeniteľné modely detekcie, živý stereo režim na dvojici kamier, návrat do mono režimu v prípade degradácie senzora a zabezpečenie pre NV/tepelné zdroje.
1
Jeden modul – rôzne praktické scenáre
Poľnohospodársky sektor
Detekcia vtákov v blízkosti plodín a nasadenie vybraných nenásilných repelentov.
Detekcia vtákov v blízkosti plodín a nasadenie vybraných nenásilných repelentov.
Mobilná robotika
Prenos súradníc a udalostí robotovi na kontrolu oblasti, vyhnutie sa prekážke alebo pokračovanie v misii.
Prenos súradníc a udalostí robotovi na kontrolu oblasti, vyhnutie sa prekážke alebo pokračovanie v misii.
Nočné monitorovanie
Možnosť pripojenia NV kamery, termokamery a infračerveného spúšte pre scenáre so slabým osvetlením.
Možnosť pripojenia NV kamery, termokamery a infračerveného spúšte pre scenáre so slabým osvetlením.
2
Ako prebieha spracovanie?
- Kamery prenášajú obrazy s časovými pečiatkami.
- Model vyhľadá objekty vybranej triedy a vyberie cieľový objekt.
- Stereopár odhaduje súradnice; v prípade jednej kamery sa vráti explicitne označený mono výsledok.
- Výsledok a stav senzorov sú k dispozícii operátorovi alebo autonómnemu obvodu.
Validácia prototypu
Čo sa už preukázalo v reálnej prevádzke
Technické riziko pre vnímacie jadro bolo eliminované na testovacej stolici: po mono kontrolách bol na dvojici kamier testovaný prototyp živého stereo režimu. Stereo režim bol stabilný, odhad vzdialenosti bol konzistentný s kontrolným meraním v prevádzkovom rozsahu, bol potvrdený výber cieľa a bezpečné zlyhanie pri strate videa.
Pre investora
Jadro stereo vnímania už bolo overené na hardvéri: detekcia, triangulácia a záložný režim fungujú. Fáza 1 je uzavretá; teraz pracujeme na cieľových modeloch a obvode senzora, po čom nasleduje pilotný projekt na zariadení zákazníka s kalibráciou pre špecifické nastavenie.
Blízky dosah
Ak je objekt odrezaný spodnou časťou rámu, stereo kotva sa prepne na hlavu (automaticky/hore) a mono upraví zdanlivú výšku – bez chýb osi z pri približovaní robota.
3
Senzory vylepšujú rôzne časti systému
Stereo RGB
Dvojica kamier už bola naživo otestovaná: synchronizácia, porovnávanie a triangulácia súradníc v spoločnom systéme.
Dvojica kamier už bola naživo otestovaná: synchronizácia, porovnávanie a triangulácia súradníc v spoločnom systéme.
NV a termokamera
Ďalšie snímky môžu zlepšiť pozorovanie za súmraku a v tme.
Ďalšie snímky môžu zlepšiť pozorovanie za súmraku a v tme.
IR senzor
Slúži ako spúšťač prítomnosti alebo pohybu a pomáha vyhnúť sa zbytočnému spusteniu úplnej analýzy.
Slúži ako spúšťač prítomnosti alebo pohybu a pomáha vyhnúť sa zbytočnému spusteniu úplnej analýzy.
Laserový diaľkomer
Môže určiť vzdialenosť od objektu, na ktorý je lúč namierený.
Môže určiť vzdialenosť od objektu, na ktorý je lúč namierený.
Podpora logiky senzorov je zabezpečená v softvérovom jadre. Hardvérové adaptéry a testovanie ďalších senzorov v teréne sa vykonáva samostatne.
4
Prepojenie s vrstvou autonómie
VisionGuard hlási, čo systém vidí. Vrstva autonómie rozhoduje o tom, ako úlohu vykonať.
Zamýšľané pripojenie: súradnice cieľa a stav senzorov sa privádzajú do robotického obvodu, ktorý iniciuje krok misie, zaznamenáva udalosti a implementuje politiku obnovy po zlyhaní.
Most ROS 2 a simulačný rámec Autonomy Layer sú oddelené. Integrácia s VisionGuard a fyzikálnou platformou ešte nie je dokončená.
5
Fázy implementácie
Fáza 1Prototyp a základná validáciaDokončené
Dokončené: mono a stereo prototyp na živých kamerách, stabilný režim = stereo, konzistentný odhad vzdialenosti v pracovnej vzdialenosti, výber cieľa a bezpečný nečinný režim.
Fáza 2Cieľové modely a senzorický obvodSúčasný
Konfigurácia vymeniteľných modelov pre špecifické triedy objektov, posúdenie kvality detekcie a pripojenie ďalších senzorov podľa scenára.
Fáza 3Pilotný integračný programPlán
Súradnice a udalosti sa prenášajú do vrstvy autonómie a misia sa overuje v simulácii a na platforme zákazníka. Stereoskopická kalibrácia páru sa vykonáva na špecifickom zariadení v rámci inštalácie, prispôsobenom geometrii kamery a nastaveniu lokality.
Fáza 4Terénne testovanie a škálovaniePlán
Overiť presnosť a robustnosť v cieľovom prostredí, pripraviť opakovateľnú implementáciu pre nové lokality a typy zariadení.
Súčasná fáza
Fáza 1 je uzavretá – cieľové modely sa vyvíjajú
Fáza 2
Fáza 1 je dokončená: stereo prototyp bol otestovaný a dosiahol požadovaný výkon. Fáza 2 momentálne prebieha – modely detekcie cieľa a rozšírenie obvodu senzorov. Kalibrácia stereo páru pre špecifické zariadenie zákazníka je zahrnutá vo fáze 3 (pilotný integračný projekt).
Pozývame záujemcov o integráciu aplikácií počítačového videnia do robotiky a iných zariadení.
Diskutujte o integrácii