تجسم مفهومی
ادراک به عنوان اولین گام برای اقدام
D'Elite VisionGuard یک ماژول نرم‌افزاری بینایی کامپیوتر برای تشخیص اشیاء هدف، تخمین موقعیت آنها و انتقال نتیجه به یک برنامه خارجی یا پلتفرم رباتیک است.
هسته از قبل روی پردازش فریم محلی کار می‌کند: مدل‌های تشخیص قابل تعویض، حالت استریوی زنده روی یک جفت دوربین، بازگشت به حالت مونو در صورت خرابی حسگر، و تمهیداتی برای منابع NV/حرارتی.
1
یک ماژول - سناریوهای عملی مختلف
بخش کشاورزی
تشخیص پرندگان در نزدیکی محصولات کشاورزی و استفاده از دافعه‌های غیرتهاجمی منتخب.
تشخیص پرندگان در نزدیکی محصولات کشاورزی و استفاده از دافعه‌های غیرتهاجمی منتخب.
رباتیک سیار
انتقال مختصات و رویدادها به ربات برای بررسی یک منطقه، جلوگیری از برخورد با مانع یا ادامه ماموریت.
انتقال مختصات و رویدادها به ربات برای بررسی یک منطقه، جلوگیری از برخورد با مانع یا ادامه ماموریت.
نظارت شبانه
قابلیت اتصال دوربین NV، تصویربردار حرارتی و تریگر IR برای سناریوهای کم‌نور.
قابلیت اتصال دوربین NV، تصویربردار حرارتی و تریگر IR برای سناریوهای کم‌نور.
2
پردازش چگونه انجام می‌شود؟
- دوربین‌ها تصاویر را با برچسب زمانی ارسال می‌کنند.
- مدل، اشیاء کلاس انتخاب شده را پیدا کرده و شیء هدف را انتخاب می‌کند.
- یک جفت دوربین استریو مختصات را تخمین می‌زند؛ با یک دوربین تکی، یک نتیجه مونو با برچسب صریح برگردانده می‌شود.
- نتیجه و وضعیت حسگرها برای اپراتور یا مدار خودران در دسترس است.
اعتبارسنجی نمونه اولیه
آنچه قبلاً در یک مسابقه واقعی ثابت شده است
ریسک فنی برای هسته ادراک در میز آزمایش برطرف شد: پس از بررسی‌های مونو، یک نمونه اولیه استریو زنده روی یک جفت دوربین آزمایش شد. حالت استریو پایدار بود، تخمین فاصله با اندازه‌گیری کنترل در محدوده عملیاتی سازگار بود، انتخاب هدف و خرابی ایمن در صورت از دست دادن ویدیو تأیید شد.
برای سرمایه گذار
هسته ادراک استریو قبلاً روی سخت‌افزار آزمایش شده است: تشخیص، مثلث‌بندی و بازیابی در حال کار هستند. فاز ۱ بسته شده است؛ اکنون ما روی مدل‌های هدف و مدار حسگر کار می‌کنیم و پس از آن یک آزمایش آزمایشی روی تجهیزات مشتری با کالیبراسیون برای یک چیدمان خاص انجام می‌شود.
فاصله نزدیک
اگر جسم توسط پایین قاب قطع شود، لنگر استریو به سر (خودکار/بالا) تغییر می‌کند و لنگر مونو ارتفاع ظاهری را تنظیم می‌کند - خطاهای z کمتری در رویکرد ربات ایجاد می‌شود.
3
حسگرها بخش‌های مختلف سیستم را تقویت می‌کنند
استریو RGB
یک جفت دوربین قبلاً به صورت زنده آزمایش شده‌اند: همگام‌سازی، تطبیق و مثلث‌بندی مختصات در یک سیستم مشترک.
یک جفت دوربین قبلاً به صورت زنده آزمایش شده‌اند: همگام‌سازی، تطبیق و مثلث‌بندی مختصات در یک سیستم مشترک.
NV و تصویرگر حرارتی
تصاویر اضافی می‌توانند رصد در شرایط گرگ و میش و تاریکی را بهبود بخشند.
تصاویر اضافی می‌توانند رصد در شرایط گرگ و میش و تاریکی را بهبود بخشند.
حسگر مادون قرمز
به عنوان یک محرک حضور یا حرکت عمل می‌کند و به جلوگیری از اجرای غیرضروری یک تحلیل کامل کمک می‌کند.
به عنوان یک محرک حضور یا حرکت عمل می‌کند و به جلوگیری از اجرای غیرضروری یک تحلیل کامل کمک می‌کند.
فاصله‌یاب لیزری
می‌تواند فاصله تا جسمی که پرتو به سمت آن نشانه گرفته می‌شود را مشخص کند.
می‌تواند فاصله تا جسمی که پرتو به سمت آن نشانه گرفته می‌شود را مشخص کند.
پشتیبانی منطقی حسگر در هسته نرم‌افزار ارائه می‌شود. آداپتورهای سخت‌افزاری و آزمایش میدانی حسگرهای اضافی به‌طور جداگانه انجام می‌شوند.
4
اتصال با لایه خودمختاری
VisionGuard آنچه سیستم می‌بیند را گزارش می‌دهد. لایه خودمختاری تصمیم می‌گیرد که چگونه ماموریت را انجام دهد.
اتصال مورد نظر: مختصات هدف و وضعیت حسگر به مدار رباتیک داده می‌شود که مرحله ماموریت را آغاز می‌کند، رویدادها را ثبت می‌کند و یک سیاست بازیابی خرابی را پیاده‌سازی می‌کند.
پل ROS 2 و چارچوب شبیه‌سازی لایه خودمختاری از هم جدا هستند. ادغام با VisionGuard و پلتفرم فیزیک هنوز کامل نشده است.
5
مراحل پیاده‌سازی
فاز ۱نمونه اولیه و اعتبارسنجی اولیهتکمیل شده
تکمیل‌شده: نمونه اولیه مونو و استریو روی دوربین‌های زنده، حالت پایدار=استریو، تخمین برد ثابت در محدوده کاری، انتخاب هدف و حالت بی‌حرکت ایمن.
فاز ۲مدل‌های هدف و مدار حسیفعلی
پیکربندی مدل‌های قابل تعویض برای کلاس‌های خاص اشیاء، ارزیابی کیفیت تشخیص و اتصال حسگرهای اضافی طبق یک سناریو.
فاز ۳طرح آزمایشی ادغامطرح
مختصات و رویدادها به لایه خودمختاری منتقل می‌شوند و ماموریت در شبیه‌سازی و روی پلتفرم مشتری تأیید می‌شود. کالیبراسیون استریوسکوپی این جفت بر روی یک دستگاه خاص در داخل نصب، متناسب با هندسه دوربین و تنظیمات سایت، انجام می‌شود.
فاز ۴آزمایش میدانی و مقیاس‌بندیطرح
دقت و استحکام را در محیط هدف تأیید کنید، پیاده‌سازی تکرارپذیر را برای سایت‌ها و انواع تجهیزات جدید آماده کنید.
مرحله فعلی
فاز ۱ بسته شده است - مدل‌های هدف در حال پیشرفت هستند
فاز ۲
فاز ۱ تکمیل شد: نمونه اولیه استریو آزمایش شده و به عملکرد مورد نیاز دست یافته است. فاز ۲ در حال حاضر در حال انجام است - مدل‌های تشخیص هدف و توسعه مدار حسگر. کالیبراسیون جفت استریو برای دستگاه خاص مشتری در فاز ۳ (آزمایشی یکپارچه‌سازی) گنجانده شده است.
ما از سرمایه‌گذاران و مشتریان علاقه‌مند دعوت می‌کنیم تا برنامه‌های بینایی کامپیوتر را در رباتیک و سایر دستگاه‌ها ادغام کنند.
بحث در مورد ادغام