D'Elite VisionGuard — računalniški vid in lokalizacija objektov

Konceptualna vizualizacija

Zaznavanje kot prvi korak k dejanju

D'Elite VisionGuard je programski modul za računalniški vid, ki zaznava ciljne objekte, ocenjuje njihov položaj in prenaša rezultat zunanji aplikaciji ali robotski platformi.

Jedro že deluje na lokalni obdelavi sličic: zamenljivi modeli zaznavanja, stereo način v živo na paru kamer, vrnitev na mono v primeru degradacije senzorjev in možnosti za NV/termične vire.

1

En modul - različni praktični scenariji

Konceptualna ilustracija scenarijev VisionGuard: nadzor na terenu, zaznavanje objektov v skladišču in nočni pregled oboda s strani robota — Konceptualna vizualizacija scenarijev. Slike niso posnetki testov VisionGuard.

Kmetijski sektor
Zaznavanje ptic v bližini poljščin in uporaba izbranih nenasilnih repelentov.

Mobilna robotika
Pošiljanje koordinat in dogodkov robotu za preverjanje območja, izogibanje oviri ali nadaljevanje misije.

Nočno spremljanje
Možnost priključitve NV kamere, termovizijske kamere in IR sprožilca za scenarije slabe svetlobe.

2

Kako poteka obdelava?

Kamere prenašajo slike s časovnimi žigi.
Model poišče objekte izbranega razreda in izbere ciljni objekt.
Stereo par oceni koordinate; pri eni kameri se vrne izrecno označen mono rezultat.
Rezultat in stanje senzorjev sta na voljo operaterju ali avtonomnemu vezju.

Validacija prototipa

Kar je bilo že dokazano v resnični vožnji

Tehnično tveganje za zaznavno jedro je bilo odpravljeno na preskusni mizi: po mono preverjanjih je bil prototip v živo stereo preizkušen na paru kamer. Stereo način je bil stabilen, ocena razdalje je bila skladna z meritvijo kontrolne razdalje na delovnem območju, potrjena pa je bila izbira cilja in varna odpoved ob izgubi videa.

Stereo način ~99% Delež sličic v načinu = stereo v uspešnem izvajanju je stabilna stereo geometrija, ne pa občasna naključja.

Razdalja Dogovorjeno Ocena globine za aktivni par se ujema s kontrolno meritvijo na delovnem območju; stabilna natančnost razdalje v ciljnem scenariju je bila predhodno potrjena na monoklonski sondi.

Toleranca napak Varno nedejavnost Izguba kamere → varni način; ni cilja v kadru → delovni način brez lažnega mirovanja; po vrnitvi pretoka vezje nadaljuje z delovanjem.

Za investitorja

Jedro stereo zaznavanja je bilo že preizkušeno na strojni opremi: zaznavanje, triangulacija in rezervni način delovanja delujejo. Faza 1 je zaključena; zdaj delamo na ciljnih modelih in senzorskem vezju, sledi pa pilotni projekt na opremi stranke s kalibracijo za specifično nastavitev.

Bližnji doseg

Če spodnji del okvirja odreže predmet, stereo sidro preklopi na glavo (samodejno/zgoraj), mono pa prilagodi navidezno višino – manj z-napak pri približevanju robota.

3

Senzorji izboljšujejo različne dele sistema

Stereo RGB
Par kamer je bil že preizkušen v živo: sinhronizacija, ujemanje in triangulacija koordinat v skupnem sistemu.

NV in termovizijska kamera
Dodatne slike lahko izboljšajo opazovanje v mraku in temi.

IR senzor
Služi kot sprožilec prisotnosti ali gibanja in pomaga preprečiti nepotrebno izvajanje popolne analize.

Laserski daljinomer
Lahko določi razdaljo do predmeta, na katerega je usmerjen žarek.

Podpora za logiko senzorjev je zagotovljena v programskem jedru. Strojni adapterji in terensko testiranje dodatnih senzorjev se izvajajo ločeno.

4

Povezovanje s plastjo avtonomije

VisionGuard poroča, kaj sistem vidi. Avtonomna plast odloča, kako izvesti misijo.

Predvidena povezava: koordinate cilja in stanje senzorjev se posredujejo robotskemu vezju, ki sproži korak misije, zabeleži dogodke in izvede politiko okrevanja po napaki.

Most ROS 2 in simulacijski okvir Autonomy Layer sta ločena. Integracija z VisionGuardom in fizikalno platformo še ni končana.

Ogled sloja avtonomije

5

Faze izvajanja

1. fazaPrototip in osnovna validacijaDokončano

Dokončano: mono- in stereo prototip na kamerah v živo, stabilen način = stereo, dosledna ocena razdalje na delovnem razdalji, izbira cilja in varno stanje mirovanja.

2. fazaCiljni modeli in senzorično vezjeTrenutni

Konfiguriranje zamenljivih modelov za specifične razrede objektov, ocenjevanje kakovosti zaznavanja in povezovanje dodatnih senzorjev glede na scenarij.

3. fazaPilotni projekt integracijeNačrt

Koordinate in dogodki se prenesejo v avtonomno plast, misija pa se preveri v simulaciji in na platformi stranke. Stereoskopska kalibracija para se izvede na določeni napravi znotraj instalacije, prilagojeni geometriji kamere in nastavitvi lokacije.

Faza 4Terensko testiranje in skaliranjeNačrt

Preverite natančnost in robustnost v ciljnem okolju ter pripravite ponovljivo implementacijo za nova mesta in tipe opreme.

Trenutna faza

1. faza je zaključena - ciljni modeli so v teku

2. faza

1. faza je zaključena: stereo prototip je bil preizkušen in je dosegel zahtevano zmogljivost. Trenutno poteka 2. faza – modeli za zaznavanje ciljev in razširitev senzorskih vezij. Kalibracija stereo para za specifično napravo stranke je vključena v 3. fazo (pilotni projekt integracije).