感知是行动的第一步
D'Elite VisionGuard 是一款计算机视觉软件模块,用于检测目标物体、估计其位置并将结果传输到外部应用程序或机器人平台。
该核心已经实现了本地帧处理:可替换的检测模型、一对摄像头的实时立体模式、传感器性能下降时回滚到单声道,以及对夜视/热成像源的支持。
一个模块——不同的实际场景
探测农作物附近的鸟类,并部署选定的非暴力驱鸟剂。
将坐标和事件传输给机器人,以便检查区域、避开障碍物或继续执行任务。
能够连接夜视相机、热成像仪和红外触发器,用于弱光环境。
处理过程是如何进行的?
- 摄像机传输的图像带有时间戳。
- 该模型查找所选类别的对象,并选择目标对象。
- 立体图像对用于估计坐标;而使用单个相机时,则返回一个明确标记的单声道结果。
- 操作员或自主电路可以获得传感器的结果和状态。
实际运行已经证明了这一点
在测试台上,感知核心的技术风险已消除:单声道测试后,使用两台摄像机对立体原型机进行了实时测试。立体模式稳定,距离估计与工作范围内的控制测量结果一致,目标选择和视频丢失时的安全失效机制均已得到验证。
立体感知核心已在硬件上得到验证:检测、三角测量和回退功能均已实现。第一阶段已完成;目前我们正在开发目标模型和传感器电路,之后将在客户设备上进行试点测试,并针对特定设置进行校准。
如果物体被画面底部截断,立体锚点会切换到头部(自动/顶部),单声道会调整表观高度,从而减少机器人接近时的 z 轴误差。
传感器增强了系统的不同部分。
一对摄像机已经过现场测试:在通用系统中进行同步、匹配和坐标三角测量。
多张图像可以改善黄昏和黑暗条件下的观察效果。
可作为存在或移动触发器,有助于避免不必要地进行全面分析。
可以指定光束照射到的物体的距离。
软件核心已提供传感器逻辑支持。硬件适配器和额外传感器的现场测试需单独进行。
与自治层连接
VisionGuard负责报告系统所观察到的情况。自主层则决定如何执行任务。
预期连接:目标坐标和传感器状态被馈送到机器人电路,机器人电路启动任务步骤,记录事件,并实施故障恢复策略。
ROS 2桥接器和自主层仿真框架是独立的。与VisionGuard和物理平台的集成尚未完成。
实施阶段
已完成:在实时摄像机上实现单声道和立体原型,稳定模式=立体,在工作范围内实现一致的距离估计,目标选择和安全空闲。
根据场景配置特定对象类别的可互换模型,评估检测质量,并连接其他传感器。
坐标和事件被传输到自主层,并在仿真环境和客户平台上验证任务。对这对摄像头进行立体校准是在安装环境中的专用设备上完成的,该设备根据摄像头几何形状和场地设置量身定制。
在目标环境中验证准确性和稳健性,为新站点和设备类型准备可重复的实施方案。
第一阶段已结束——目标模型正在开发中
第一阶段已完成:立体视觉原型机已通过测试并达到所需性能。第二阶段正在进行中——目标检测模型和传感器电路扩展。第三阶段(集成试点)包括针对客户特定设备的立体视觉对校准。
我们诚邀有兴趣的投资者和客户将计算机视觉应用集成到机器人和其他设备中。
讨论整合