D'Elite VisionGuard — Visi Komputer dan Lokalisasi Objek

Visualisasi konseptual

Persepsi sebagai langkah pertama menuju tindakan

D'Elite VisionGuard adalah modul perangkat lunak visi komputer untuk mendeteksi objek target, memperkirakan posisinya, dan mengirimkan hasilnya ke aplikasi eksternal atau platform robotik.

Inti sistem ini sudah berfungsi pada pemrosesan bingkai lokal: model deteksi yang dapat diganti, mode stereo langsung pada sepasang kamera, pengembalian ke mono jika terjadi degradasi sensor, dan penyediaan untuk sumber NV/termal.

1

Satu modul - berbagai skenario praktis

Ilustrasi konseptual skenario VisionGuard: pengawasan lapangan, deteksi objek di gudang, dan inspeksi perimeter malam hari oleh robot. — Visualisasi konseptual dari berbagai skenario. Gambar-gambar ini bukan cuplikan dari uji coba VisionGuard.

Sektor pertanian
Deteksi burung di dekat tanaman dan penggunaan penolak hama non-kekerasan yang dipilih.

Robotika bergerak
Mengirimkan koordinat dan kejadian ke robot untuk memeriksa suatu area, menghindari rintangan, atau melanjutkan misi.

Pemantauan malam hari
Kemampuan untuk menghubungkan kamera penglihatan malam (NV), pencitra termal, dan pemicu IR untuk skenario cahaya rendah.

2

Bagaimana proses pengolahannya berlangsung?

Kamera-kamera tersebut mengirimkan gambar dengan cap waktu.
Model tersebut menemukan objek dari kelas yang dipilih dan memilih objek target.
Sepasang gambar stereo digunakan untuk memperkirakan koordinat; dengan kamera tunggal, hasil mono yang diberi label secara eksplisit akan dikembalikan.
Hasil dan status sensor tersedia bagi operator atau sirkuit otonom.

Validasi prototipe

Apa yang sudah terbukti dalam uji coba nyata

Risiko teknis terhadap inti persepsi dihilangkan pada bangku uji: setelah pemeriksaan mono, prototipe stereo langsung diuji pada sepasang kamera. Mode stereo stabil, estimasi jarak konsisten dengan pengukuran kontrol pada jangkauan operasi, pemilihan target dan kegagalan yang aman saat kehilangan video dikonfirmasi.

Prototipe stereo telah diuji dan mencapai karakteristik yang ditargetkan.

Dua kamera, basis stereo tetap, pengambilan gambar langsung, dan deteksi YOLO: mode=stereo dengan depth_source=stereo, estimasi kedalaman konsisten dengan posisi objek sebenarnya pada jarak kerja tipikal. Jika terjadi kegagalan pencocokan, akan dilakukan fallback terkontrol ke mono.

Mode stereo ~99% Proporsi frame dalam mode=stereo pada eksekusi yang berhasil adalah geometri stereo yang stabil, bukan kebetulan yang terjadi sesekali.

Jarak Sepakat Estimasi kedalaman untuk pasangan aktif sesuai dengan pengukuran kontrol pada jarak operasi; akurasi jarak yang stabil dalam skenario target sebelumnya telah dikonfirmasi pada mono.

Toleransi kesalahan Aman dalam keadaan diam Kehilangan sinyal kamera → mode aman; tidak ada target dalam bingkai → mode kerja tanpa idle palsu; setelah aliran kembali, sirkuit terus bekerja.

Untuk investor

Inti persepsi stereo telah terbukti pada perangkat keras: deteksi, triangulasi, dan fallback berfungsi. Fase 1 telah selesai; sekarang kami sedang mengerjakan model target dan rangkaian sensor, diikuti oleh uji coba pada peralatan pelanggan dengan kalibrasi untuk pengaturan spesifik.

Jarak dekat

Jika objek terpotong oleh bagian bawah bingkai, jangkar stereo beralih ke bagian kepala (otomatis/atas), dan mono menyesuaikan ketinggian yang tampak - mengurangi kesalahan z pada pendekatan robot.

3

Sensor meningkatkan berbagai bagian sistem.

Stereo RGB
Sepasang kamera telah diuji secara langsung: sinkronisasi, pencocokan, dan triangulasi koordinat dalam sistem umum.

NV dan pencitraan termal
Gambar tambahan dapat meningkatkan pengamatan dalam kondisi senja dan gelap.

Sensor IR
Berfungsi sebagai pemicu kehadiran atau pergerakan dan membantu menghindari menjalankan analisis lengkap secara tidak perlu.

Pengukur jarak laser
Dapat menentukan jarak ke objek yang menjadi sasaran pancaran sinar.

Dukungan logika sensor disediakan dalam inti perangkat lunak. Adaptor perangkat keras dan pengujian lapangan sensor tambahan dilakukan secara terpisah.

4

Menghubungkan dengan Lapisan Otonomi

VisionGuard melaporkan apa yang dilihat sistem. Lapisan Otonomi memutuskan bagaimana menjalankan misi tersebut.

Koneksi yang dimaksud: koordinat target dan status sensor dimasukkan ke sirkuit robot, yang memulai langkah misi, mencatat peristiwa, dan menerapkan kebijakan pemulihan kegagalan.

ROS 2 bridge dan kerangka kerja simulasi Autonomy Layer terpisah. Integrasi dengan VisionGuard dan platform fisika belum selesai.

Lihat Lapisan Otonomi

5

Tahapan implementasi

Fase 1Prototipe dan validasi dasarSelesai

Selesai: prototipe mono dan stereo pada kamera langsung, mode stabil = stereo, estimasi jarak yang konsisten pada jarak kerja, pemilihan target, dan mode siaga aman.

Fase 2Model target dan sirkuit sensorikSaat ini

Mengkonfigurasi model yang dapat dipertukarkan untuk kelas objek tertentu, menilai kualitas deteksi, dan menghubungkan sensor tambahan sesuai dengan skenario.

Fase 3Proyek percontohan integrasiRencana

Koordinat dan peristiwa ditransfer ke Lapisan Otonomi, dan misi diverifikasi dalam simulasi dan pada platform pelanggan. Kalibrasi stereoskopik pasangan tersebut dilakukan pada perangkat khusus di dalam instalasi, yang disesuaikan dengan geometri kamera dan pengaturan lokasi.

Fase 4Pengujian lapangan dan penskalaanRencana

Verifikasi akurasi dan ketahanan di lingkungan target, persiapkan implementasi yang dapat diulang untuk lokasi dan jenis peralatan baru.

Tahap saat ini

Fase 1 telah selesai - model target sedang dalam proses pengerjaan.

Fase 2

Fase 1 telah selesai: prototipe stereo telah diuji dan mencapai kinerja yang dibutuhkan. Fase 2 sedang berlangsung—model deteksi target dan perluasan sirkuit sensor. Kalibrasi pasangan stereo untuk perangkat khusus pelanggan termasuk dalam Fase 3 (uji coba integrasi).