Modelos lidar en segmentación semántica mediante destilación de conocimiento

[3dpoder]

La adaptación de modelos de segmentación semántica basados en lidar a diferentes sensores representa un desafío significativo en aplicaciones de autonomía. Cuando un modelo entrenado con datos de un lidar específico se enfrenta a otro con distintas características de resolución, patrón de escaneo o niveles de ruido, su rendimiento disminuye considerablemente. Este problema surge porque los modelos se especializan demasiado en las particularidades del sensor original, perdiendo capacidad de generalización ante variaciones en la captura de datos.

Aprovechamiento de Vision Foundation Models para transferencia de conocimiento

La investigación demuestra que los Vision Foundation Models ofrecen una solución elegante mediante destilación de conocimiento no supervisada imagen a lidar. Estos modelos proporcionan representaciones visuales robustas que mantienen estabilidad entre dominios diferentes, permitiendo que el modelo lidar aprenda características invariantes sin necesidad de etiquetas en el nuevo dominio. El proceso implica que el modelo de imagen actúa como profesor, generando señales ricas que el estudiante lidar intenta emular durante el preentrenamiento, estableciendo así una base sólida para la generalización cruzada entre sensores.

Arquitectura eficiente para adaptación multi-dominio

La arquitectura del backbone lidar emerge como el factor más crítico para el éxito de la transferencia. Ciertas estructuras neuronales absorben mejor las características transferidas desde los VFMs y mantienen su robustez cuando cambian las especificaciones del sensor. La metodología propuesta permite pre-entrenar un único backbone utilizando destilación y datos no etiquetados, pudiendo reutilizarse en múltiples escenarios de cambio de dominio sin repetir el proceso completo. Para preservar las propiedades de generalización adquiridas, el backbone permanece congelado durante la adaptación final, mientras que solo una pequeña cabeza MLP se entrena para la tarea específica de segmentación en el nuevo dominio lidar.

Este enfoque ha demostrado superioridad sobre el estado del arte en cuatro escenarios de referencia particularmente desafiantes, incluyendo transiciones entre lidars de diferente densidad y patrones de escaneo. En situaciones prácticas como la migración de un vehículo autónomo desde un lidar rotatorio de 64 líneas a uno de 32 líneas, el backbone congelado extrae características resistentes a la reducción de densidad, mientras la cabeza MLP aprende rápidamente a mapear estas características a clases semánticas sin requerir anotaciones manuales adicionales. La combinación de destilación de imagen/lidar, backbone único reutilizable y cabeza ligera de adaptación constituye una solución eficiente y escalable para los desafíos de generalización en percepción robótica.

Parece que finalmente los modelos lidar están aprendiendo lo que los humanos sabemos desde hace tiempo: cambiar de herramienta no significa tener que reaprender todo desde cero, solo adaptarse inteligentemente a las nuevas condiciones.