Entiendo que te da out of memory porque estas exportando el modelo de Mudbox en el máximo nivel. Exportarlo en nivel 2 por ejemplo, y crea los mapas de desplazamiento y normales. En tu nivel 2 de Mudbox aún no habrá demasiado detalle ni poligonización, por lo que no deberías de tener problemas al exportar.
Luego le aplicas un material al modelo donde le pones el mapa de desplazamiento y el de normales y debería estar listo. Un saludo.
Pásalo con menos densidad de geometría y luego en 3ds Max le aplicas todas iteraciones de TurboSmooth que quieras.