Mudbox, como
ZBrush, Sculptor y
3dcoat, son programas para esculpir, (Voxel Sculpting, Sculpting software.) a grandes rasgos y resumiendolo, para hacer modelado orgánico, las arrugas, los músculos, (Evidentemente pueden hacer muchas más cosas, usarse también para modelado no orgánico, etc.) La malla es de millones de polígonos, muy pesada.
El
3dsmax, como el Maya, Softimage, Modo, etc. Modelas, texturizas, pones luces, materiales, pones huesos, animas, haces el render, (Y más cosas) pero no esculpes como en los anteriores.
La diferencia es notable, si voy a hacer un escenario, lo haré directamente, por ejemplo, con el
3DS Max, si voy a hacer un personaje, la cabeza de una gargola, un extraterrestre lleno de tentáculos, usare el Mudbox, o el ZBrush, o el 3dcoat.
Puedes hacer desde cero un modelo desde el Mudbox, pero también puedes modelar la estuctura básica en 3ds Max, con polígonos, llevartela al Mudbox, para, a partir de ahí, ir esculpiendo.
Si buscas video tutoriales, también encontraras casos así.
Si el fin es llevarte el modelo a UDK, tiene que ser un modelo con pocos polígonos, no te sirve el modelo en alta, con muchos polígonos que has hecho en el Mudbox.
Tendrás que hacer una retopología.
Sobre el UDK, no sé qué es lo mejor de lo que preguntas, porque el UDK apenas lo conozco.