D'Elite VisionGuard — コンピュータビジョンと物体位置特定

概念的な視覚化

認識は行動への第一歩

D'Elite VisionGuardは、対象物を検出し、その位置を推定し、その結果を外部アプリケーションまたはロボットプラットフォームに送信するコンピュータビジョンソフトウェアモジュールです。

コア部分は既にローカルフレーム処理に対応しており、交換可能な検出モデル、一対のカメラでのライブステレオモード、センサー劣化時のモノラルへのロールバック、暗視／熱源への対応などが可能です。

1

1つのモジュール - さまざまな実践的なシナリオ

VisionGuardのシナリオの概念図：現場監視、倉庫内の物体検出、ロボットによる夜間の境界検査 — シナリオの概念的な視覚化。画像はVisionGuardのテスト映像ではありません。

農業部門
農作物付近の鳥類を検知し、選定した非暴力的な忌避剤を散布する。

モバイルロボット
ロボットに座標やイベントを送信して、エリアの確認、障害物の回避、またはミッションの継続を行う。

夜間監視
暗視カメラ、サーマルイメージャー、および低照度環境用の赤外線トリガーを接続できる機能。

2

処理はどのように行われるのですか？

カメラはタイムスタンプ付きの画像を送信する。
このモデルは、選択されたクラスのオブジェクトを検索し、対象オブジェクトを選択します。
ステレオペアでは座標が推定されますが、シングルカメラの場合は、明示的にラベル付けされたモノクロの結果が返されます。
センサーの結果と状態は、オペレーターまたは自律回路が利用できる。

プロトタイプの検証

実際の走行ですでに証明されていること

知覚コアに対する技術的リスクはテストベンチ上で排除されました。モノラルチェックの後、2台のカメラでライブステレオプロトタイプのテストを実施しました。ステレオモードは安定しており、動作範囲における距離推定は制御測定値と一致し、ターゲット選択と映像喪失時の安全な故障も確認されました。

ステレオ試作機は試験され、目標とする特性を達成した。

2台のカメラ、固定ステレオベース、ライブキャプチャ、およびYOLO検出：モード=ステレオ、深度ソース=ステレオの場合、深度推定は標準的な作業距離における実際の物体の位置と一致します。マッチングに失敗した場合は、制御されたフォールバックでモノラルに切り替わります。

ステレオモード ~99% 正常に実行された際のモードがステレオのフレームの割合は、安定したステレオジオメトリを示しており、偶然の一致ではありません。

距離同意します実弾ペアの深度推定値は、動作範囲における制御測定値と一致します。目標シナリオにおける安定した距離精度は、以前にモノラルで確認されています。

耐障害性セーフアイドルカメラが故障した場合→セーフモード。フレーム内にターゲットがない場合→偽アイドル状態のない動作モード。フローが復旧した後、回路は動作を継続します。

投資家にとって

ステレオ認識の中核部分は既にハードウェア上で実証済みです。検出、三角測量、フォールバック機能は正常に動作しています。フェーズ1は完了し、現在はターゲットモデルとセンサー回路の開発に取り組んでいます。その後、お客様の機器を用いたパイロットテストを実施し、特定の設定に合わせてキャリブレーションを行います。

近距離

対象物がフレームの下部で切れている場合、ステレオアンカーはヘッド（自動/上）に切り替わり、モノラルは見かけの高さを調整します。これにより、ロボットの接近時のZ軸誤差が軽減されます。

3

センサーはシステムのさまざまな部分を強化します

ステレオRGB
既に2台のカメラを用いた実地試験が実施されており、共通システムにおける同期、マッチング、座標の三角測量などが確認されている。

暗視装置とサーマルイメージャー
追加画像を用いることで、薄暮時や暗闇での観察精度を向上させることができる。

赤外線センサー
存在や動きを検知するトリガーとして機能し、不必要に本格的な分析を実行することを回避するのに役立ちます。

レーザー距離計
ビームの照射対象物までの距離を指定できます。

センサーロジックのサポートはソフトウェアコアに組み込まれています。ハードウェアアダプタおよび追加センサーのフィールドテストは別途実施されます。

4

自律レイヤーとの接続

VisionGuardはシステムが捉えた情報を報告する。自律レイヤーは任務の遂行方法を決定する。

意図された接続：目標座標とセンサーの状態がロボット回路に入力され、ロボット回路はミッションステップを開始し、イベントを記録し、障害回復ポリシーを実行します。

ROS 2ブリッジと自律系シミュレーションフレームワークは別々に開発されています。VisionGuardおよび物理プラットフォームとの統合はまだ完了していません。

自律性レイヤーを表示

5

実施段階

フェーズ1プロトタイプと基本的な検証完了

完了：ライブカメラでのモノラルおよびステレオプロトタイプ、安定モード＝ステレオ、作業範囲での一貫した距離推定、ターゲット選択、およびセーフアイドル。

フェーズ2ターゲットモデルと感覚回路現在

特定の対象物クラスに合わせて交換可能なモデルを構成し、検出品質を評価し、シナリオに応じて追加のセンサーを接続する。

フェーズ3統合パイロットプラン

座標とイベントは自律システム層に転送され、ミッションはシミュレーションと顧客プラットフォーム上で検証されます。カメラの形状と設置場所のセットアップに合わせて、設置場所内の特定のデバイス上で、2つのカメラの立体視キャリブレーションが実行されます。

フェーズ4現場試験と規模拡大プラン

対象環境における正確性と堅牢性を検証し、新しいサイトや機器タイプ向けに再現可能な実装を準備する。

現在の段階

フェーズ1は終了しました - ターゲットモデルの作成が進行中です

フェーズ2

フェーズ1は完了しました。ステレオプロトタイプのテストは完了し、要求される性能を達成しました。現在、フェーズ2が進行中です。ターゲット検出モデルの開発とセンサー回路の拡張を行っています。フェーズ3（統合パイロット）では、顧客固有のデバイス向けにステレオペアのキャリブレーションを実施します。