Ein autonomer Lieferroboter erfasste einen Fußgänger an einem Zebrastreifen. Erste Untersuchungen deuten auf einen Fehler in der 3D-Segmentierung des Wahrnehmungssystems hin. Zur Aufklärung des Unfalls wurde die native LiDAR-Punktwolke, die Millisekunden vor dem Aufprall erfasst wurde, extrahiert und die Szene in Unreal Engine 5 nachgebildet. Ziel ist es, festzustellen, ob die reflektierende Kleidung des Opfers dazu führte, dass der Algorithmus den Fußgänger fälschlicherweise als statisches Objekt der Umgebung, wie ein Schild oder einen Pfosten, klassifizierte.
Technischer Workflow: Open3D, Foxglove Studio und Unreal Engine 5 🛠️
Der forensische Prozess beginnt mit der Extraktion der rohen Punktwolke mittels Python und Open3D, wobei Umgebungsrauschen gefiltert und der kritische Frame vor dem Aufprall isoliert wird. Diese Punktwolke wird im PLY-Format für die Analyse exportiert. Mit Foxglove Studio werden die LiDAR-Sensordaten synchron mit der Fahrzeugtelemetrie visualisiert, was die Identifizierung der Fußgängertrajektorie und der Reaktion des Planungssystems ermöglicht. Anschließend wird die Szene in Unreal Engine 5 importiert, wo die urbane Geometrie nachgebildet und die Punktwolke positioniert wird. Es wird dann ein Reflektivitätsfilter auf die Punkte angewendet, der das Verhalten des Textilmaterials des Fußgängers simuliert. Die Ergebnisse zeigen, dass die Punkte, die der reflektierenden Jacke entsprechen, eine anomale Intensität aufweisen, ähnlich der von Verkehrsschildern, was das 3D-Segmentierungsmodell dazu veranlasste, sie in die Klasse der statischen Objekte einzuordnen und ihre Bewegung zu ignorieren.
Lehren für die Sicherheit in der autonomen Wahrnehmung ⚠️
Dieser Fall zeigt, dass die Reflektivität des Materials nicht nur die Reichweite des Sensors beeinflusst, sondern auch fatale Fehler in der semantischen Klassifizierung verursachen kann. Die Rekonstruktion in Unreal Engine 5 ermöglicht es, den algorithmischen toten Winkel des Fahrzeugs zu visualisieren. Für zukünftige Systeme wird empfohlen, eine Kreuzvalidierung zwischen der Punktwolke und Daten von Wärmebild- oder Event-Kameras zu implementieren sowie die Modelle mit Datensätzen zu trainieren, die Fußgänger mit hochsichtbarer Kleidung enthalten. Die Kombination von Open3D für die forensische Analyse und Foxglove Studio für das Echtzeit-Debugging etabliert sich als Standard für die Unfallforschung in der mobilen Robotik.
Ist es möglich, durch forensische 3D-Simulation festzustellen, ob die Rekonstruktion des LiDAR-Fehlers mit der tatsächlichen Flugbahn des Fußgängers am Zebrastreifen übereinstimmt, oder ist eine zusätzliche Analyse der Punktwolke vor dem Aufprall erforderlich?
(PS: In der Szenenanalyse ist jeder Maßstabszeuge ein kleiner, anonymer Held.)