D'Elite VisionGuard — Visão Computacional e Localização de Objetos

Visualização conceitual

A percepção como primeiro passo para a ação.

O D'Elite VisionGuard é um módulo de software de visão computacional para detectar objetos-alvo, estimar sua posição e transmitir o resultado para um aplicativo externo ou plataforma robótica.

O núcleo já funciona com processamento de quadros local: modelos de detecção substituíveis, modo estéreo ao vivo em um par de câmeras, reversão para mono em caso de degradação do sensor e recursos para fontes de visão noturna/térmicas.

1

Um módulo - diferentes cenários práticos

Ilustração conceitual de cenários do VisionGuard: vigilância de campo, detecção de objetos em armazém e inspeção noturna de perímetro por um robô. — Visualização conceitual de cenários. As imagens não são gravações de testes do VisionGuard.

Setor agrícola
Detecção de aves perto de plantações e aplicação de repelentes não violentos selecionados.

Robótica móvel
Transmitir coordenadas e eventos para o robô para verificar uma área, evitar um obstáculo ou continuar a missão.

Monitoramento noturno
Possibilidade de conectar uma câmera de visão noturna, uma câmera termográfica e um disparador infravermelho para situações de baixa luminosidade.

2

Como ocorre o processamento?

As câmeras transmitem imagens com registro de data e hora.
O modelo encontra objetos da classe selecionada e escolhe o objeto alvo.
Um par estéreo estima as coordenadas; com uma única câmera, é retornado um resultado mono explicitamente rotulado.
O resultado e o estado dos sensores ficam disponíveis para o operador ou para o circuito autônomo.

Validação do protótipo

O que já foi comprovado em uma corrida real

O risco técnico para o núcleo de percepção foi eliminado na bancada de testes: após verificações em mono, um protótipo estéreo em funcionamento foi testado em um par de câmeras. O modo estéreo mostrou-se estável, a estimativa de distância foi consistente com a medição de controle no alcance operacional, e a seleção de alvos e a falha segura em caso de perda de vídeo foram confirmadas.

O protótipo estéreo foi testado e atingiu as características desejadas.

Duas câmeras, uma base estéreo fixa, captura ao vivo e detecção YOLO: modo=estéreo com fonte_de_profundidade=estéreo, a estimativa de profundidade é consistente com a posição real do objeto a uma distância de trabalho típica. Em caso de falha na correspondência, o sistema retorna automaticamente ao modo mono.

Modo estéreo ~99% A proporção de frames no modo estéreo em uma execução bem-sucedida representa uma geometria estéreo estável, e não coincidências ocasionais.

Distância Acordado A estimativa de profundidade para um par vivo corresponde à medição de controle no alcance operacional; a precisão estável do alcance no cenário alvo foi previamente confirmada no monocristal.

Tolerância a falhas Marcha lenta segura Perda de sinal da câmera → modo de segurança; nenhum alvo no enquadramento → modo de operação sem falsos alarmes; após o retorno do fluxo, o circuito continua a funcionar.

Para o investidor

O núcleo de percepção estéreo já foi testado em hardware: detecção, triangulação e fallback estão funcionando. A Fase 1 está concluída; agora estamos trabalhando nos modelos de destino e no circuito do sensor, seguido por um projeto piloto no equipamento do cliente com calibração para uma configuração específica.

Curto alcance

Se o objeto for cortado pela parte inferior do quadro, a âncora estéreo muda para a cabeça (automático/superior) e o modo mono ajusta a altura aparente, reduzindo os erros no eixo z durante a aproximação do robô.

3

Os sensores aprimoram diferentes partes do sistema.

Estéreo RGB
Um par de câmeras já foi testado em funcionamento: sincronização, correspondência e triangulação de coordenadas em um sistema comum.

Visão noturna e câmera térmica
Imagens adicionais podem melhorar a observação em condições de crepúsculo e escuridão.

Sensor infravermelho
Serve como um gatilho de presença ou movimento e ajuda a evitar a execução desnecessária de uma análise completa.

telêmetro a laser
É possível especificar a distância até o objeto para o qual o feixe está direcionado.

O suporte à lógica dos sensores é fornecido no núcleo do software. Adaptadores de hardware e testes de campo de sensores adicionais são realizados separadamente.

4

Conectando-se à Camada de Autonomia

O VisionGuard relata o que o sistema vê. A Camada de Autonomia decide como executar a missão.

A conexão pretendida: as coordenadas do alvo e o estado dos sensores são enviados ao circuito robótico, que inicia a etapa da missão, registra os eventos e implementa uma política de recuperação de falhas.

A ponte ROS 2 e a estrutura de simulação da Camada de Autonomia são separadas. A integração com o VisionGuard e a plataforma de física ainda não está completa.

Visualizar Camada de Autonomia

5

Fases de implementação

Fase 1Protótipo e validação básicaConcluído

Concluído: protótipo mono e estéreo em câmeras ao vivo, modo estável = estéreo, estimativa de alcance consistente na área de operação, seleção de alvo e modo ocioso seguro.

Fase 2Modelos-alvo e circuito sensorialAtual

Configurar modelos intercambiáveis para classes de objetos específicas, avaliar a qualidade da detecção e conectar sensores adicionais de acordo com um cenário.

Fase 3Projeto piloto de integraçãoPlano

As coordenadas e os eventos são transferidos para a Camada de Autonomia, e a missão é verificada em simulação e na plataforma do cliente. A calibração estereoscópica do par é realizada em um dispositivo específico dentro da instalação, adaptado à geometria da câmera e à configuração do local.

Fase 4Testes de campo e escalonamentoPlano

Verificar a precisão e a robustez no ambiente alvo, preparar uma implementação repetível para novos locais e tipos de equipamentos.

Estágio atual

A Fase 1 está concluída - os modelos-alvo estão em andamento.

Fase 2

A Fase 1 está concluída: o protótipo estéreo foi testado e atingiu o desempenho necessário. A Fase 2 está em andamento — modelos de detecção de alvos e expansão do circuito do sensor. A calibração do par estéreo para o dispositivo específico do cliente está incluída na Fase 3 (piloto de integração).