D'Elite VisionGuard — Компютърно зрение и локализация на обекти

Концептуална визуализация

Възприятието като първа стъпка към действие

D'Elite VisionGuard е софтуерен модул за компютърно зрение, който открива целеви обекти, оценява тяхната позиция и предава резултата към външно приложение или роботизирана платформа.

Ядрото вече работи върху локална обработка на кадри: сменяеми модели за детекция, стерео режим на живо на двойка камери, връщане към моно в случай на деградация на сензора и осигуряване на NV/термални източници.

1

Един модул - различни практически сценарии

Концептуална илюстрация на сценарии на VisionGuard: наблюдение на място, откриване на обекти в склада и нощна проверка на периметъра от робот — Концептуална визуализация на сценарии. Изображенията не са кадри от тестове на VisionGuard.

Селскостопански сектор
Откриване на птици в близост до посеви и разполагане на подбрани неагресивни репеленти.

Мобилна роботика
Предаване на координати и събития към робота за проверка на зона, избягване на препятствие или продължаване на мисията.

Нощно наблюдение
Възможност за свързване на NV камера, термовизионна камера и инфрачервен спусък за сценарии със слаба светлина.

2

Как протича обработката?

Камерите предават изображения с времеви отпечатъци.
Моделът намира обекти от избрания клас и избира целевия обект.
Стереодвойката оценява координатите; при единична камера се връща изрично обозначен моно резултат.
Резултатът и състоянието на сензорите са достъпни за оператора или автономната верига.

Валидиране на прототип

Това, което вече е доказано в реален опит

Техническият риск за ядрото на възприятието беше елиминиран на тестовия стенд: след моно проверки, прототип на живо стерео беше тестван на две камери. Стерео режимът беше стабилен, оценката на разстоянието беше в съответствие с контролното измерване в работния диапазон, потвърден беше изборът на цел и безопасният отказ при загуба на видеосигнал.

Прототипът на стерео системата е тестван и е постигнал целевите характеристики.

Две камери, фиксирана стерео основа, заснемане на живо и YOLO детекция: mode=stereo с depth_source=stereo, оценката на дълбочината е в съответствие с действителната позиция на обекта на типично работно разстояние. В случай на неуспех при съвпадение, контролирано връщане към моно.

Стерео режим ~99% Пропорцията на кадрите в режим=стерео в успешен цикъл е стабилна стерео геометрия, а не случайни съвпадения.

Разстояние Съгласен/а Оценката на дълбочината за активна двойка съвпада с контролното измерване в работния обхват; стабилната точност на обхвата в целевия сценарий беше потвърдена преди това на моноблока.

Толерантност към грешки Безопасен режим на празен ход Загуба на камера → безопасен режим; няма цел в кадъра → работен режим без фалшив празен ход; след възстановяване на потока, веригата продължава да работи.

За инвеститора

Ядрото за стерео възприятие вече е доказано на хардуер: детекцията, триангулацията и резервният режим работят. Фаза 1 е затворена; сега работим върху целевите модели и сензорната верига, последвано от пилотен проект на оборудването на клиента с калибриране за конкретна настройка.

Близко разстояние

Ако обектът е отрязан от долната част на кадъра, стерео котвата превключва към главата (автоматично/отгоре), а моно настройва видимата височина - по-малко z-грешки при приближаването на робота.

3

Сензорите подобряват различни части на системата

Стерео RGB
Двойка камери вече са тествани на живо: синхронизация, съпоставяне и триангулация на координати в обща система.

NV и термовизионен фотоапарат
Допълнителните изображения могат да подобрят наблюдението при сумрак и тъмни условия.

Инфрачервен сензор
Служи като спусък за присъствие или движение и помага да се избегне ненужно извършване на пълен анализ.

Лазерен далекомер
Може да се определи разстоянието до обекта, към който е насочен лъчът.

Поддръжката на сензорната логика е осигурена в софтуерното ядро. Хардуерните адаптери и полевите тестове на допълнителни сензори се извършват отделно.

4

Свързване със слоя за автономност

VisionGuard докладва какво вижда системата. Автономният слой решава как да изпълни мисията.

Предвидената връзка: координатите на целта и състоянието на сензорите се подават към роботизираната схема, която инициира стъпката на мисията, записва събитията и прилага политика за възстановяване след повреда.

Мостът ROS 2 и рамката за симулация на Autonomy Layer са отделни. Интеграцията с VisionGuard и физическата платформа все още не е завършена.

Преглед на слоя за автономност

5

Фази на внедряване

Фаза 1Прототип и основна валидацияЗавършено

Завършено: моно- и стерео прототип на камери на живо, стабилен режим=стерео, постоянна оценка на обхвата в работно разстояние, избор на цел и безопасен покой.

Фаза 2Целеви модели и сензорна веригаТекущ

Конфигуриране на взаимозаменяеми модели за специфични класове обекти, оценка на качеството на детекция и свързване на допълнителни сензори според сценарий.

Фаза 3Пилотен проект за интеграцияПлан

Координатите и събитията се прехвърлят към слоя за автономност, а мисията се проверява в симулация и на платформата на клиента. Стереоскопичното калибриране на двойката се извършва на специфично устройство в рамките на инсталацията, съобразено с геометрията на камерата и настройката на обекта.

Фаза 4Полеви тестове и мащабиранеПлан

Проверете точността и надеждността в целевата среда, подгответе повторяемо внедряване за нови обекти и типове оборудване.

Текущ етап

Фаза 1 е затворена - целевите модели са в процес на разработка

Фаза 2

Фаза 1 е завършена: стерео прототипът е тестван и е постигнал необходимата производителност. В момента е в ход Фаза 2 – модели за откриване на цели и разширяване на сензорната верига. Калибрирането на стерео двойката за специфичното устройство на клиента е включено във Фаза 3 (пилотна интеграция).