El efecto que describes se llama borde espejo o efecto de reflejo de borde, y la distorsión asociada suele lograrse con una deformación de onda o ondulación. En programas de edición de video, este es un efecto compuesto que combina un reflejo especular en los bordes con un filtro de distorsión como "ondulación", "onda de luz" o "distorsión de desplazamiento".
Para lograrlo hoy, puedes usar Adobe After Effects, que es el estándar profesional. Dentro de After Effects, puedes usar efectos como "CC RepeTile" para crear el espejado en los bordes y luego aplicar "Wave Warp" o "CC Lens" para la distorsión. Otra opción muy potente y actual es DaVinci Resolve, que es gratuito en su versión básica. En su página de Fusion, puedes usar herramientas como "Mirror" y "Ripple" o "Wave" para crear el mismo resultado combinándolas.
Si buscas algo más sencillo y rápido, puedes utilizar plugins específicos. Un plugin muy popular y actual para After Effects que crea este estilo de manera preconfigurada se llama "RE:Map" de RE:Vision Effects, que incluye funciones de espejo y distorsión avanzada. Para usuarios de software gratuito, Blender con su editor de video también es una alternativa muy capaz donde puedes usar modificadores de malla y nodos de composición para simular el efecto.