Un drone terrestre de livraison autonome a renversé un piéton sur un passage piéton. Les enquêtes initiales pointent vers une défaillance de segmentation 3D dans le système de perception. Pour élucider le sinistre, le nuage de points LiDAR natif capturé quelques millisecondes avant l'impact a été extrait et la scène a été recréée dans Unreal Engine 5. L'objectif est de déterminer si les vêtements réfléchissants de la victime ont amené l'algorithme à classer par erreur le piéton comme un objet statique de l'environnement, comme un panneau ou un poteau.
Flux de travail technique : Open3D, Foxglove Studio et Unreal Engine 5 🛠️
Le processus forensique commence par l'extraction du nuage de points brut à l'aide de Python et Open3D, en filtrant le bruit ambiant et en isolant l'image critique précédant l'impact. Ce nuage est exporté au format PLY pour analyse. Avec Foxglove Studio, les données du capteur LiDAR sont visualisées en synchronisation avec la télémétrie du véhicule, permettant d'identifier la trajectoire du piéton et la réponse du système de planification. Ensuite, la scène est importée dans Unreal Engine 5, où la géométrie urbaine est recréée et le nuage de points est positionné. Un filtre de réflectivité est alors appliqué sur les points, simulant le comportement du matériau textile du piéton. Les résultats montrent que les points correspondant à la veste réfléchissante présentent une intensité anormale, similaire à celle des panneaux de signalisation, ce qui a conduit le modèle de segmentation 3D à les regrouper dans la classe des objets statiques, ignorant leur mouvement.
Leçons pour la sécurité dans la perception autonome ⚠️
Ce cas démontre que la réflectivité du matériau n'affecte pas seulement la portée du capteur, mais peut induire des erreurs fatales dans la classification sémantique. La reconstruction dans Unreal Engine 5 permet de visualiser l'angle mort algorithmique qu'a eu le véhicule. Pour les futurs systèmes, il est recommandé de mettre en œuvre une validation croisée entre le nuage de points et les données de caméra thermique ou d'événements, ainsi que d'entraîner les modèles avec des ensembles de données incluant des piétons portant des vêtements à haute visibilité. La combinaison d'Open3D pour l'analyse forensique et de Foxglove Studio pour le débogage en temps réel se consolide comme la norme pour l'investigation des accidents en robotique mobile.
Est-il possible de déterminer par simulation forensique 3D si la reconstruction de la défaillance LiDAR coïncide avec la trajectoire réelle du piéton sur le passage piéton, ou une analyse supplémentaire du nuage de points précédant l'impact est-elle nécessaire ?
(PS : Dans l'analyse des scènes, chaque témoin d'échelle est un petit héros anonyme.)