Ein Roboterarm, der für die automatisierte Obsternte entwickelt wurde, begann systematisch die Baumstämme in einer intelligenten Farm zu beschädigen. Das Stereovisionssystem des Roboters, das für die genaue Berechnung des Abstands zu den Ästen zuständig war, versagte auf kritische Weise. Während der technischen Begutachtung wurde festgestellt, dass die von den Kameras erzeugte Disparitätskarte optische Artefakte enthielt. Ziel der forensischen Analyse war es, festzustellen, ob die Reflexion der Sonne auf den Blättern den Tiefenerkennungsalgorithmus getäuscht hatte.
Forensische Analyse der Disparitätskarte mit MATLAB 🛠️
Der erste Schritt der Begutachtung bestand darin, die Rohbilder der Stereokameras des Roboters zu extrahieren. Mit MATLAB und seiner Computer Vision Toolbox wurde die Disparitätskarte der Szene rekonstruiert. Die Ergebnisse zeigten Regionen mit anomalen Disparitätswerten, insbesondere in den Bereichen, in denen die Blätter eine starke Helligkeit aufwiesen. Die Sonnenreflexion erzeugte gesättigte Pixel, die der Stereo-Korrespondenzalgorithmus als Objekte in einer viel geringeren Tiefe als der tatsächlichen interpretierte. Dies führte dazu, dass der Roboterarm bei der Berechnung der Greifbahn eine zu nahe am Stamm liegende Greiferbewegung programmierte und gegen die Rinde prallte. Mit SolidWorks wurde die Kinematik des Arms modelliert und die Geometrie zur Bereinigung des Netzes der Aufprallpunkte nach MeshLab exportiert, wodurch die systematische Kollision an den fehlerhaften Koordinaten bestätigt wurde.
Praktische Lösungen und Simulation in Unity 🎯
Um zukünftige Vorfälle zu vermeiden, werden zwei Korrekturansätze vorgeschlagen. Der erste ist die Installation von Polarisationsfiltern an den Linsen der Stereokameras, um spiegelnde Sonnenreflexionen zu reduzieren. Der zweite, fortgeschrittenere Ansatz besteht darin, ein neuronales Netzwerk für monokulare Tiefenschätzung als Rückfallebene zu implementieren, das darauf trainiert ist, Helligkeitsartefakte zu ignorieren. Zur Validierung dieser Lösungen wurde die gesamte Szene in Unity nachgebildet, wobei dynamisches Sonnenlicht und das Verhalten des Roboterarms simuliert wurden. Die Simulation zeigte, dass bei aktiviertem virtuellem Polarisationsfilter die Disparitätskarte stabil blieb und der Roboter die Früchte erntete, ohne den Stamm zu beschädigen. Diese Fallstudie unterstreicht die Notwendigkeit, in der Agrarrobotik robuste Vision-Systeme zu integrieren, die widrigen Umgebungsbedingungen standhalten.
Wie kann ein 3D-Gutachten feststellen, ob der Tiefenfehler bei einem Erntedrohnen auf eine fehlerhafte Kalibrierung des LiDAR-Sensors oder auf eine Fehlinterpretation der Stammgeometrie im Computervision-Modell zurückzuführen ist?
(PS: Roboter zu simulieren macht Spaß, bis sie beschließen, deinen Befehlen nicht zu folgen.)