Un dron terrestre de reparto autónomo atropelló a un peatón en un paso de cebra. Las investigaciones iniciales apuntan a un fallo de segmentación 3D en el sistema de percepción. Para esclarecer el siniestro, se ha extraído la nube de puntos LiDAR nativa captada milisegundos antes del impacto y se ha recreado la escena en Unreal Engine 5. El objetivo es determinar si la ropa reflectante de la víctima provocó que el algoritmo clasificara erróneamente al peatón como un objeto estático del entorno, como una señal o un poste.
Flujo de trabajo técnico: Open3D, Foxglove Studio y Unreal Engine 5 🛠️
El proceso forense comienza con la extracción de la nube de puntos cruda mediante Python y Open3D, filtrando el ruido ambiental y aislando el frame crítico previo al impacto. Esta nube se exporta en formato PLY para su análisis. Con Foxglove Studio, se visualizan los datos del sensor LiDAR sincronizados con la telemetría del vehículo, permitiendo identificar la trayectoria del peatón y la respuesta del sistema de planificación. Posteriormente, la escena se importa a Unreal Engine 5, donde se recrea la geometría urbana y se posiciona la nube de puntos. Se aplica entonces un filtro de reflectividad sobre los puntos, simulando el comportamiento del material textil del peatón. Los resultados muestran que los puntos correspondientes a la chaqueta reflectante presentan una intensidad anómala, similar a la de las señales viales, lo que llevó al modelo de segmentación 3D a agruparlos dentro de la clase de objetos estáticos, ignorando su movimiento.
Lecciones para la seguridad en percepción autónoma ⚠️
Este caso demuestra que la reflectividad del material no solo afecta al alcance del sensor, sino que puede inducir errores fatales en la clasificación semántica. La reconstrucción en Unreal Engine 5 permite visualizar el punto ciego algorítmico que tuvo el vehículo. Para futuros sistemas, se recomienda implementar una validación cruzada entre la nube de puntos y datos de cámara térmica o eventos, así como entrenar los modelos con datasets que incluyan peatones con ropa de alta visibilidad. La combinación de Open3D para el análisis forense y Foxglove Studio para la depuración en tiempo real se consolida como el estándar para la investigación de accidentes en robótica móvil.
Es posible determinar mediante simulación forense 3D si la reconstrucción del fallo LiDAR coincide con la trayectoria real del peatón en el paso de cebra, o se necesita un análisis adicional de la nube de puntos previa al impacto?
(PD: En el análisis de escenas, cada testigo de escala es un pequeño héroe anónimo.)