D'Elite VisionGuard — Računalni vid i lokalizacija objekata

Konceptualna vizualizacija

Percepcija kao prvi korak ka djelovanju

D'Elite VisionGuard je softverski modul računalnog vida za detekciju ciljnih objekata, procjenu njihovog položaja i prijenos rezultata na vanjsku aplikaciju ili robotsku platformu.

Jezgra već radi na lokalnoj obradi kadrova: zamjenjivi modeli detekcije, stereo način rada uživo na paru kamera, povratak na mono u slučaju degradacije senzora i odredbe za NV/termalne izvore.

1

Jedan modul - različiti praktični scenariji

Konceptualna ilustracija scenarija VisionGuarda: nadzor terena, otkrivanje objekata u skladištu i noćna inspekcija perimetra robotom — Konceptualna vizualizacija scenarija. Slike nisu snimke iz VisionGuard testova.

Poljoprivredni sektor
Detekcija ptica u blizini usjeva i primjena odabranih nenasilnih repelenta.

Mobilna robotika
Prijenos koordinata i događaja robotu za provjeru područja, izbjegavanje prepreke ili nastavak misije.

Noćno praćenje
Mogućnost spajanja NV kamere, termovizijske kamere i IR okidača za uvjete slabog osvjetljenja.

2

Kako se odvija obrada?

Kamere prenose slike s vremenskim oznakama.
Model pronalazi objekte odabrane klase i odabire ciljni objekt.
Stereo par procjenjuje koordinate; s jednom kamerom, vraća se eksplicitno označen mono rezultat.
Rezultat i status senzora dostupni su operateru ili autonomnom krugu.

Validacija prototipa

Ono što je već dokazano u stvarnoj vožnji

Tehnički rizik za percepcijsku jezgru eliminiran je na ispitnom stolu: nakon mono provjera, prototip stereo signala uživo testiran je na paru kamera. Stereo način rada bio je stabilan, procjena udaljenosti bila je u skladu s kontrolnim mjerenjem na radnom dometu, potvrđen je odabir cilja i siguran kvar pri gubitku videa.

Stereo način rada ~99% Udio kadrova u stereo načinu rada u uspješnom izvršavanju predstavlja stabilnu stereo geometriju, a ne povremene slučajnosti.

Udaljenost Dogovoreno Procjena dubine za živi par odgovara kontrolnom mjerenju na operativnom dometu; stabilna točnost dometa u ciljanom scenariju prethodno je potvrđena na monobloku.

Tolerancija grešaka Sigurno neaktivno stanje Gubitak kamere → siguran način rada; nema cilja u kadru → radni način rada bez lažnog praznog hoda; nakon povratka protoka, krug nastavlja raditi.

Za investitora

Jezgra stereo percepcije već je dokazana na hardveru: detekcija, triangulacija i povratni sustav rade. Faza 1 je zatvorena; sada radimo na ciljnim modelima i senzorskom krugu, nakon čega slijedi pilot projekt na kupčevoj opremi s kalibracijom za određenu postavku.

Blizu

Ako je objekt odrezan donjim dijelom okvira, stereo sidro se prebacuje na glavu (automatski/vrh), a mono podešava prividnu visinu - manje z-grešaka pri približavanju robota.

3

Senzori poboljšavaju različite dijelove sustava

Stereo RGB
Par kamera je već testiran uživo: sinkronizacija, usklađivanje i triangulacija koordinata u zajedničkom sustavu.

NV i termovizijska kamera
Dodatne slike mogu poboljšati promatranje u sumrak i tamnim uvjetima.

IR senzor
Služi kao okidač prisutnosti ili kretanja i pomaže u izbjegavanju nepotrebnog pokretanja potpune analize.

Laserski daljinomjer
Može odrediti udaljenost do objekta na koji je snop usmjeren.

Podrška za logiku senzora osigurana je u softverskoj jezgri. Hardverski adapteri i terensko testiranje dodatnih senzora izvode se odvojeno.

4

Povezivanje sa slojem autonomije

VisionGuard izvještava što sustav vidi. Sloj autonomije odlučuje kako izvršiti misiju.

Predviđena veza: koordinate cilja i status senzora šalju se robotskom krugu, koji pokreće korak misije, bilježi događaje i provodi politiku oporavka od kvara.

ROS 2 most i okvir za simulaciju Autonomy Layer su odvojeni. Integracija s VisionGuardom i platformom za fiziku još nije dovršena.

Prikaz sloja autonomije

5

Faze implementacije

Faza 1Prototip i osnovna validacijaZavršeno

Završeno: mono- i stereo prototip na kamerama uživo, stabilan način rada = stereo, konzistentna procjena dometa na radnom dometu, odabir cilja i sigurno stanje mirovanja.

Faza 2Ciljni modeli i senzorni krugTrenutni

Konfiguriranje zamjenjivih modela za određene klase objekata, procjena kvalitete detekcije i povezivanje dodatnih senzora prema scenariju.

Faza 3Pilot-projekt integracijePlan

Koordinate i događaji prenose se u sloj autonomije, a misija se provjerava u simulaciji i na platformi kupca. Stereoskopska kalibracija para izvodi se na određenom uređaju unutar instalacije, prilagođenom geometriji kamere i postavkama lokacije.

Faza 4Terensko testiranje i skaliranjePlan

Provjerite točnost i robusnost u ciljanom okruženju, pripremite ponovljivu implementaciju za nove lokacije i vrste opreme.

Trenutna faza

Faza 1 je zatvorena - ciljni modeli su u izradi

Faza 2

Faza 1 je završena: stereo prototip je testiran i postigao je potrebne performanse. Faza 2 je trenutno u tijeku - modeli za detekciju ciljeva i proširenje senzorskog kruga. Kalibracija stereo para za specifični uređaj kupca uključena je u fazu 3 (pilot integracija).