D'Elite VisionGuard — komputerowe widzenie i lokalizacja obiektów

Wizualizacja koncepcyjna

Percepcja jako pierwszy krok do działania

D'Elite VisionGuard to moduł oprogramowania do przetwarzania obrazu komputerowego, który służy do wykrywania obiektów docelowych, szacowania ich położenia i przesyłania wyników do zewnętrznej aplikacji lub platformy robotycznej.

Rdzeń już obsługuje lokalne przetwarzanie klatek: wymienne modele detekcji, tryb stereo na żywo w dwóch kamerach, powrót do trybu mono w przypadku degradacji czujnika oraz obsługa źródeł NV/termicznych.

1

Jeden moduł – różne scenariusze praktyczne

Ilustracja koncepcyjna scenariuszy VisionGuard: nadzór terenowy, wykrywanie obiektów w magazynie i nocna inspekcja obwodowa przez robota — Wizualizacja koncepcyjna scenariuszy. Obrazy nie są nagraniami z testów VisionGuard.

Sektor rolniczy
Wykrywanie ptaków w pobliżu upraw i stosowanie wybranych, niegroźnych repelentów.

Robotyka mobilna
Przesyłanie współrzędnych i zdarzeń do robota w celu sprawdzenia obszaru, ominięcia przeszkody lub kontynuowania misji.

Monitorowanie nocne
Możliwość podłączenia kamery NV, kamery termowizyjnej i wyzwalacza IR na potrzeby zastosowań przy słabym oświetleniu.

2

Jak przebiega przetwarzanie?

Kamery przesyłają obrazy ze znacznikami czasu.
Model wyszukuje obiekty wybranej klasy i wybiera obiekt docelowy.
Para stereo szacuje współrzędne; w przypadku pojedynczej kamery zwracany jest wyraźnie oznaczony wynik mono.
Operator lub układ autonomiczny mają dostęp do wyników i stanu czujników.

Walidacja prototypu

Co już zostało udowodnione w praktyce

Ryzyko techniczne dla rdzenia percepcji zostało wyeliminowane na stanowisku testowym: po testach monofonicznych, prototyp stereofoniczny został przetestowany na żywo na parze kamer. Tryb stereo był stabilny, oszacowanie odległości było zgodne z pomiarem kontrolnym w zasięgu operacyjnym, potwierdzono wybór celu i bezpieczną awarię w przypadku utraty obrazu.

Prototyp stereo został przetestowany i osiągnął założone parametry.

Dwie kamery, stała baza stereo, nagrywanie na żywo i detekcja YOLO: tryb = stereo, głębokość = stereo, szacowanie głębokości jest zgodne z rzeczywistym położeniem obiektu w typowej odległości roboczej. W przypadku niepowodzenia dopasowania, kontrolowany powrót do trybu mono.

Tryb stereo ~99% Proporcja klatek w trybie stereo w udanym przebiegu to stabilna geometria stereo, a nie sporadyczne zbiegi okoliczności.

Dystans Zgoda Oszacowanie głębokości dla żywej pary zgadza się z pomiarem kontrolnym w zasięgu operacyjnym; stabilna dokładność zasięgu w scenariuszu docelowym została wcześniej potwierdzona w przypadku mono.

Odporność na błędy Bezpieczny bezczynność Utrata kamery → tryb awaryjny; brak celu w kadrze → tryb pracy bez fałszywego bezczynności; po powrocie przepływu obwód kontynuuje pracę.

Dla inwestora

Rdzeń percepcji stereoskopowej został już sprawdzony w sprzęcie: detekcja, triangulacja i funkcja powrotu do poprzedniego stanu działają. Faza 1 jest zamknięta; teraz pracujemy nad modelami docelowymi i obwodem czujników, a następnie przeprowadzamy pilotaż na sprzęcie klienta z kalibracją dla konkretnej konfiguracji.

Z bliskiej odległości

Jeżeli obiekt zostanie przycięty od dołu klatki, tryb stereo przełącza się na głowę (auto/góra), a tryb mono dostosowuje widoczną wysokość – zmniejszając liczbę błędów w osi Z podczas zbliżania się robota.

3

Czujniki ulepszają różne części systemu

Stereo RGB
Dwie kamery zostały już przetestowane na żywo: synchronizacja, dopasowywanie i triangulacja współrzędnych we wspólnym układzie.

NV i kamera termowizyjna
Dodatkowe obrazy mogą poprawić obserwację w warunkach zmierzchu i ciemności.

Czujnik podczerwieni
Służy jako wyzwalacz obecności lub ruchu i pomaga uniknąć niepotrzebnego przeprowadzania pełnej analizy.

Dalmierz laserowy
Można określić odległość do obiektu, na który skierowana jest wiązka światła.

Obsługa logiki czujników jest zapewniona w rdzeniu oprogramowania. Adaptery sprzętowe i testy terenowe dodatkowych czujników są przeprowadzane oddzielnie.

4

Łączenie się z warstwą autonomii

VisionGuard raportuje to, co widzi system. Warstwa autonomii decyduje, jak wykonać misję.

Przewidziane połączenie: współrzędne celu i stan czujników są przekazywane do układu robota, który inicjuje misję, rejestruje zdarzenia i wdraża politykę odzyskiwania po awarii.

Most ROS 2 i platforma symulacyjna Autonomy Layer są niezależne. Integracja z VisionGuard i platformą fizyczną nie została jeszcze ukończona.

Wyświetl warstwę autonomii

5

Fazy wdrażania

Faza 1Prototyp i podstawowa walidacjaZakończony

Ukończono: prototyp mono- i stereo na kamerach pracujących na żywo, stabilny tryb = stereo, spójne oszacowanie zasięgu w zasięgu roboczym, wybór celu i bezpieczny tryb bezczynności.

Faza 2Modele docelowe i obwód sensorycznyAktualny

Konfigurowanie wymiennych modeli dla określonych klas obiektów, ocena jakości wykrywania i podłączanie dodatkowych czujników zgodnie ze scenariuszem.

Faza 3Pilot integracyjnyPlan

Współrzędne i zdarzenia są przesyłane do warstwy autonomicznej, a misja jest weryfikowana w symulacji i na platformie klienta. Kalibracja stereoskopowa pary odbywa się na specjalnym urządzeniu w instalacji, dostosowanym do geometrii kamery i konfiguracji miejsca.

Faza 4Testowanie w terenie i skalowaniePlan

Sprawdź dokładność i solidność w środowisku docelowym, przygotuj powtarzalną implementację dla nowych lokalizacji i typów sprzętu.

Obecny etap

Faza 1 zamknięta – modele docelowe są w trakcie realizacji

Faza 2

Faza 1 zakończona: prototyp stereo został przetestowany i osiągnął wymaganą wydajność. Obecnie trwa faza 2 – modele detekcji celu i rozbudowa obwodów czujników. Kalibracja pary stereo dla konkretnego urządzenia klienta jest uwzględniona w fazie 3 (pilotaż integracyjny).