Беспилотный наземный курьерский робот сбил пешехода на пешеходном переходе. Первоначальные расследования указывают на ошибку 3D-сегментации в системе восприятия. Для выяснения обстоятельств происшествия было извлечено исходное облако точек LiDAR, зафиксированное за миллисекунды до удара, и воссоздана сцена в Unreal Engine 5. Цель — определить, не привела ли светоотражающая одежда жертвы к тому, что алгоритм ошибочно классифицировал пешехода как статический объект окружающей среды, например, знак или столб.
Технический рабочий процесс: Open3D, Foxglove Studio и Unreal Engine 5 🛠️
Криминалистический процесс начинается с извлечения необработанного облака точек с помощью Python и Open3D, фильтрации шума окружающей среды и выделения критического кадра, предшествующего удару. Это облако экспортируется в формат PLY для анализа. С помощью Foxglove Studio визуализируются данные датчика LiDAR, синхронизированные с телеметрией транспортного средства, что позволяет определить траекторию пешехода и реакцию системы планирования. Затем сцена импортируется в Unreal Engine 5, где воссоздается городская геометрия и позиционируется облако точек. После этого к точкам применяется фильтр отражательной способности, имитирующий поведение текстильного материала одежды пешехода. Результаты показывают, что точки, соответствующие светоотражающей куртке, имеют аномальную интенсивность, схожую с дорожными знаками, что привело к тому, что модель 3D-сегментации сгруппировала их в класс статических объектов, игнорируя их движение.
Уроки для безопасности автономного восприятия ⚠️
Этот случай демонстрирует, что отражательная способность материала влияет не только на дальность действия датчика, но и может вызывать фатальные ошибки в семантической классификации. Реконструкция в Unreal Engine 5 позволяет визуализировать алгоритмическую слепую зону, которая была у транспортного средства. Для будущих систем рекомендуется внедрить перекрестную проверку между облаком точек и данными тепловизионной камеры или камеры событий, а также обучать модели на наборах данных, включающих пешеходов в одежде повышенной видимости. Сочетание Open3D для криминалистического анализа и Foxglove Studio для отладки в реальном времени становится стандартом для расследования аварий в мобильной робототехнике.
Можно ли с помощью криминалистической 3D-симуляции определить, совпадает ли реконструкция сбоя LiDAR с фактической траекторией пешехода на пешеходном переходе, или требуется дополнительный анализ облака точек, предшествующего удару?
(P.S.: В анализе сцен каждый масштабный свидетель — маленький безымянный герой.)