D'Elite VisionGuard — Thị giác máy tính và định vị đối tượng

Hình dung khái niệm

Nhận thức là bước đầu tiên dẫn đến hành động.

D'Elite VisionGuard là một mô-đun phần mềm thị giác máy tính dùng để phát hiện các đối tượng mục tiêu, ước tính vị trí của chúng và truyền kết quả đến một ứng dụng bên ngoài hoặc nền tảng robot.

Cốt lõi đã hoạt động trên việc xử lý khung hình cục bộ: các mô hình phát hiện có thể thay thế, chế độ stereo trực tiếp trên một cặp camera, khả năng chuyển về mono trong trường hợp cảm biến bị suy giảm và các tính năng hỗ trợ nguồn nhìn đêm/nhiệt.

1

Một mô-đun - nhiều tình huống thực hành khác nhau

Hình minh họa khái niệm về các kịch bản sử dụng VisionGuard: giám sát hiện trường, phát hiện vật thể trong kho và kiểm tra khu vực xung quanh vào ban đêm bằng robot. — Hình ảnh minh họa mang tính khái niệm về các kịch bản. Các hình ảnh này không phải là đoạn phim từ các bài kiểm tra VisionGuard.

Ngành nông nghiệp
Phát hiện chim gần khu vực trồng trọt và triển khai các biện pháp xua đuổi không gây hại đã được lựa chọn.

Robot di động
Truyền tọa độ và sự kiện đến robot để kiểm tra khu vực, tránh chướng ngại vật hoặc tiếp tục nhiệm vụ.

Giám sát ban đêm
Có khả năng kết nối camera nhìn đêm, camera ảnh nhiệt và bộ kích hoạt hồng ngoại cho các tình huống thiếu sáng.

2

Quá trình xử lý diễn ra như thế nào?

Các camera truyền tải hình ảnh kèm theo dấu thời gian.
Mô hình tìm các đối tượng thuộc lớp đã chọn và chọn đối tượng mục tiêu.
Một cặp ảnh lập thể ước tính tọa độ; với một camera duy nhất, kết quả đơn sắc được ghi nhãn rõ ràng sẽ được trả về.
Kết quả và trạng thái của các cảm biến đều có sẵn cho người vận hành hoặc mạch tự động.

Xác thực nguyên mẫu

Điều này đã được chứng minh trong một cuộc thử nghiệm thực tế.

Rủi ro kỹ thuật đối với lõi xử lý hình ảnh đã được loại bỏ trên bàn thử nghiệm: sau khi kiểm tra đơn sắc, một nguyên mẫu âm thanh nổi thực tế đã được thử nghiệm trên một cặp camera. Chế độ âm thanh nổi ổn định, ước lượng khoảng cách nhất quán với phép đo điều khiển trong phạm vi hoạt động, việc lựa chọn mục tiêu và khả năng xử lý lỗi an toàn khi mất tín hiệu video đã được xác nhận.

Nguyên mẫu hệ thống âm thanh nổi đã được thử nghiệm và đạt được các đặc tính mục tiêu.

Hai camera, một đế stereo cố định, chụp ảnh trực tiếp và phát hiện YOLO: chế độ = stereo với depth_source = stereo, ước tính độ sâu phù hợp với vị trí thực tế của vật thể ở khoảng cách làm việc thông thường. Trong trường hợp không khớp, sẽ tự động chuyển sang chế độ mono.

Chế độ âm thanh nổi ~99% Tỷ lệ khung hình ở chế độ stereo trong một lần chạy thành công là hình học stereo ổn định, chứ không phải là sự trùng hợp ngẫu nhiên.

Khoảng cách Đồng ý Ước tính độ sâu cho một cặp cảm biến đang hoạt động phù hợp với phép đo kiểm soát ở phạm vi hoạt động; độ chính xác phạm vi ổn định trong kịch bản mục tiêu đã được xác nhận trước đó trên cảm biến đơn.

Khả năng chịu lỗi Chế độ không tải an toàn Mất tín hiệu camera → chế độ an toàn; không có đối tượng trong khung hình → chế độ hoạt động không báo lỗi; sau khi tín hiệu trở lại, mạch tiếp tục hoạt động.

Đối với nhà đầu tư

Cốt lõi nhận thức lập thể đã được chứng minh trên phần cứng: phát hiện, định vị tam giác và dự phòng đều hoạt động. Giai đoạn 1 đã kết thúc; hiện tại chúng tôi đang nghiên cứu các mô hình mục tiêu và mạch cảm biến, tiếp theo là thử nghiệm trên thiết bị của khách hàng với hiệu chuẩn cho một cấu hình cụ thể.

Cự ly gần

Nếu vật thể bị cắt bởi phần dưới của khung hình, điểm neo stereo sẽ chuyển sang đầu (tự động/trên), và mono sẽ điều chỉnh chiều cao hiển thị - giảm thiểu lỗi trục z khi robot tiếp cận.

3

Cảm biến giúp tăng cường hiệu quả hoạt động của các bộ phận khác nhau trong hệ thống.

RGB âm thanh nổi
Một cặp camera đã được thử nghiệm trực tiếp: đồng bộ hóa, khớp nối và xác định vị trí bằng phương pháp tam giác hóa trong một hệ quy chiếu chung.

Máy ảnh NV và ảnh nhiệt
Việc chụp thêm ảnh có thể giúp cải thiện khả năng quan sát trong điều kiện chạng vạng và tối.

Cảm biến hồng ngoại
Nó đóng vai trò như một công cụ kích hoạt sự hiện diện hoặc chuyển động và giúp tránh việc chạy phân tích đầy đủ một cách không cần thiết.

Máy đo khoảng cách laser
Có thể chỉ định khoảng cách đến vật thể mà chùm tia nhắm tới.

Việc hỗ trợ logic cảm biến được cung cấp trong lõi phần mềm. Các bộ chuyển đổi phần cứng và việc kiểm tra thực địa các cảm biến bổ sung được thực hiện riêng biệt.

4

Kết nối với Lớp Tự trị

VisionGuard báo cáo những gì hệ thống quan sát được. Lớp Tự động hóa sẽ quyết định cách thực hiện nhiệm vụ.

Mối liên hệ dự kiến: tọa độ mục tiêu và trạng thái cảm biến được truyền đến mạch robot, mạch này sẽ khởi động bước thực hiện nhiệm vụ, ghi lại các sự kiện và triển khai chính sách phục hồi khi xảy ra lỗi.

Cầu nối ROS 2 và khung mô phỏng Lớp Tự động (Autonomy Layer) là hai thành phần riêng biệt. Việc tích hợp với VisionGuard và nền tảng vật lý vẫn chưa hoàn tất.

Xem lớp tự chủ

5

Các giai đoạn thực hiện

Giai đoạn 1Nguyên mẫu và xác thực cơ bảnHoàn thành

Đã hoàn thành: nguyên mẫu đơn sắc và âm thanh nổi trên camera trực tiếp, chế độ ổn định = âm thanh nổi, ước lượng phạm vi nhất quán ở phạm vi hoạt động, lựa chọn mục tiêu và chế độ chờ an toàn.

Giai đoạn 2Mô hình mục tiêu và mạch cảm giácHiện hành

Cấu hình các mô hình có thể thay thế cho các lớp đối tượng cụ thể, đánh giá chất lượng phát hiện và kết nối thêm các cảm biến theo từng kịch bản.

Giai đoạn 3Thí điểm tích hợpKế hoạch

Tọa độ và sự kiện được chuyển đến Lớp Tự động hóa, và nhiệm vụ được xác minh trong mô phỏng và trên nền tảng của khách hàng. Hiệu chuẩn lập thể của cặp được thực hiện trên một thiết bị chuyên dụng trong hệ thống, được thiết kế riêng cho hình học camera và cấu hình địa điểm.

Giai đoạn 4Thử nghiệm thực địa và mở rộng quy môKế hoạch

Kiểm tra độ chính xác và tính ổn định trong môi trường mục tiêu, chuẩn bị quy trình triển khai có thể lặp lại cho các địa điểm và loại thiết bị mới.

Giai đoạn hiện tại

Giai đoạn 1 đã kết thúc - các mô hình mục tiêu đang được tiến hành.

Giai đoạn 2

Giai đoạn 1 đã hoàn thành: nguyên mẫu âm thanh nổi đã được thử nghiệm và đạt được hiệu suất yêu cầu. Giai đoạn 2 hiện đang được tiến hành — mô hình phát hiện mục tiêu và mở rộng mạch cảm biến. Việc hiệu chuẩn cặp âm thanh nổi cho thiết bị cụ thể của khách hàng được bao gồm trong Giai đoạn 3 (thử nghiệm tích hợp).