자율주행 지상 배달 드론이 횡단보도에서 보행자를 충격했습니다. 초기 조사 결과, 인식 시스템의 3D 분할 오류가 원인으로 지목되었습니다. 사고를 규명하기 위해 충격 수 밀리초 전에 캡처된 원시 LiDAR 포인트 클라우드를 추출하고, Unreal Engine 5에서 장면을 재현했습니다. 목표는 피해자의 반사 의복이 알고리즘으로 하여금 보행자를 신호등이나 기둥과 같은 정적 환경 객체로 잘못 분류하게 했는지 확인하는 것입니다.
기술 워크플로우: Open3D, Foxglove Studio 및 Unreal Engine 5 🛠️
법의학 프로세스는 Python과 Open3D를 사용하여 원시 포인트 클라우드를 추출하고, 환경 노이즈를 필터링하며, 충격 직전의 중요 프레임을 분리하는 것으로 시작됩니다. 이 포인트 클라우드는 분석을 위해 PLY 형식으로 내보내집니다. Foxglove Studio를 사용하여 LiDAR 센서 데이터를 차량 원격 측정과 동기화하여 시각화함으로써 보행자의 궤적과 계획 시스템의 응답을 식별할 수 있습니다. 그런 다음 장면을 Unreal Engine 5로 가져와 도시 지오메트리를 재현하고 포인트 클라우드를 배치합니다. 그런 다음 포인트에 반사율 필터를 적용하여 보행자 직물 재료의 동작을 시뮬레이션합니다. 결과는 반사 재킷에 해당하는 포인트가 도로 표지판과 유사한 비정상적인 강도를 나타내어 3D 분할 모델이 이를 정적 객체 클래스로 그룹화하고 움직임을 무시하도록 유도했음을 보여줍니다.
자율 인식 안전을 위한 교훈 ⚠️
이 사례는 재료의 반사율이 센서 범위에 영향을 미칠 뿐만 아니라 의미론적 분류에서 치명적인 오류를 유발할 수 있음을 보여줍니다. Unreal Engine 5의 재구성을 통해 차량이 가졌던 알고리즘적 사각지대를 시각화할 수 있습니다. 향후 시스템을 위해서는 포인트 클라우드와 열화상 또는 이벤트 카메라 데이터 간의 교차 검증을 구현하고, 고가시성 의복을 입은 보행자를 포함한 데이터 세트로 모델을 훈련하는 것이 좋습니다. 법의학 분석을 위한 Open3D와 실시간 디버깅을 위한 Foxglove Studio의 조합은 모바일 로봇 공학 사고 조사의 표준으로 자리 잡고 있습니다.
3D 법의학 시뮬레이션을 통해 LiDAR 오류 재구성이 횡단보도에서 보행자의 실제 궤적과 일치하는지 확인할 수 있습니까, 아니면 충격 전 포인트 클라우드에 대한 추가 분석이 필요합니까?
(추신: 장면 분석에서 모든 스케일 증인은 작지만 이름 없는 영웅입니다.)