Um drone terrestre de entrega autônomo atropelou um pedestre em uma faixa de pedestres. As investigações iniciais apontam para uma falha de segmentação 3D no sistema de percepção. Para esclarecer o sinistro, foi extraída a nuvem de pontos LiDAR nativa capturada milissegundos antes do impacto e a cena foi recriada no Unreal Engine 5. O objetivo é determinar se a roupa refletiva da vítima fez com que o algoritmo classificasse erroneamente o pedestre como um objeto estático do ambiente, como uma placa ou um poste.
Fluxo de trabalho técnico: Open3D, Foxglove Studio e Unreal Engine 5 🛠️
O processo forense começa com a extração da nuvem de pontos bruta usando Python e Open3D, filtrando o ruído ambiental e isolando o quadro crítico anterior ao impacto. Esta nuvem é exportada no formato PLY para análise. Com o Foxglove Studio, os dados do sensor LiDAR são visualizados sincronizados com a telemetria do veículo, permitindo identificar a trajetória do pedestre e a resposta do sistema de planejamento. Posteriormente, a cena é importada para o Unreal Engine 5, onde a geometria urbana é recriada e a nuvem de pontos é posicionada. Um filtro de refletividade é então aplicado sobre os pontos, simulando o comportamento do material têxtil do pedestre. Os resultados mostram que os pontos correspondentes à jaqueta refletiva apresentam uma intensidade anômala, semelhante à das sinalizações viárias, o que levou o modelo de segmentação 3D a agrupá-los na classe de objetos estáticos, ignorando seu movimento.
Lições para a segurança na percepção autônoma ⚠️
Este caso demonstra que a refletividade do material não afeta apenas o alcance do sensor, mas pode induzir erros fatais na classificação semântica. A reconstrução no Unreal Engine 5 permite visualizar o ponto cego algorítmico que o veículo teve. Para sistemas futuros, recomenda-se implementar uma validação cruzada entre a nuvem de pontos e dados de câmera térmica ou de eventos, bem como treinar os modelos com conjuntos de dados que incluam pedestres com roupas de alta visibilidade. A combinação do Open3D para análise forense e do Foxglove Studio para depuração em tempo real se consolida como o padrão para a investigação de acidentes em robótica móvel.
É possível determinar, por meio de simulação forense 3D, se a reconstrução da falha do LiDAR coincide com a trajetória real do pedestre na faixa de pedestres, ou é necessária uma análise adicional da nuvem de pontos anterior ao impacto?
(PS: Na análise de cenas, cada testemunha de escala é um pequeno herói anônimo.)