En 3DS Max debes ajustar el aspecto del mapa de bits en el editor de UVs para que coincida con tu proporción deseada. El problema de que las UVs se achatén ocurre porque la ventana de visualización es cuadrada (1:1) pero tu mapa es rectangular (1:2).
Abre el editor de UVs. En el menú superior, ve a Options y luego a Preferences.... Se abrirá una ventana. En la pestaña Viewport Settings, busca la sección Bitmap Options. Allí verás Use Custom Bitmap Size. Activa esta opción.
Ahora, en los campos de ancho (Width) y alto (Height), ingresa las dimensiones de tu mapa, que son 512 y 1024 respectivamente. Haz clic en Aceptar. Esto hará que la cuadrícula de fondo en el editor UV cambie a una proporción rectangular de 1:2.
Con esto solucionado, tus UVs ya no se verán achatadas al trabajar. La visualización se adaptará a la forma real de tu textura. Recuerda que al exportar o renderizar, debes asegurarte de que la imagen de textura final tenga exactamente esas dimensiones, 512x1024 píxeles, para que el mapeado sea correcto.
Si necesitas reajustar las UVs porque ya se deformaron, con la proporción corregida puedes usar las herramientas de relajado (Relax) o escalar y mover los vértices manualmente dentro de los límites correctos.