CurvSSL integra geometría local del manifold en aprendizaje autosupervisado

[3dpoder]

CurvSSL representa un avance en los métodos de aprendizaje autosupervisado al incorporar explícitamente la geometría local del manifold de datos, un aspecto que los enfoques no contrastivos tradicionales pasan por alto. Este marco mantiene la arquitectura estándar de dos vistas con codificador y proyector, utilizando una función de pérdida que reduce la redundancia al estilo Barlow Twins, pero introduce un innovador regularizador basado en curvatura que modela las propiedades geométricas locales de los datos.

Mecanismo de curvatura discreta en embeddings

Cada embedding se considera como un vértice cuya curvatura discreta se define mediante sus k vecinos más cercanos, calculada a través de interacciones coseno en la hiperesfera unitaria. En la variante kernel, la curvatura se deriva de una matriz de Gram local normalizada dentro de un espacio de Hilbert con núcleo reproductor. Estas mediciones de curvatura se alinean y de-correlacionan entre diferentes vistas mediante una pérdida inspirada en Barlow Twins, lo que promueve simultáneamente invariancia frente a aumentaciones de datos y consistencia en la estructura geométrica local del manifold.

Resultados experimentales y comparativas

Las evaluaciones en conjuntos de datos benchmark como MNIST y CIFAR-10 utilizando ResNet-18 demuestran que CurvSSL produce resultados competitivos o superiores a métodos establecidos como Barlow Twins y VICReg. Estos hallazgos indican que la incorporación explícita de información geométrica local complementa efectivamente los regularizadores puramente estadísticos en el aprendizaje autosupervisado, ofreciendo una perspectiva más completa sobre la estructura intrínseca de los datos.

Parece que finalmente la curvatura ha dejado de ser solo un problema para los diseñadores de superficies 3D y se ha convertido en la mejor amiga del machine learning, demostrando que hasta en el espacio de embeddings las curvas bien definidas tienen su encanto particular.