El problema que describes con la herramienta Mesh > Boole > Difference (Diferencia) en Maya es común. Al aplicar un Smooth o renderizar, los polígonos se distorsionan o muestran artefactos porque las operaciones booleanas a menudo crean topología irregular, caras no planares o vértices con normales desordenadas.
La solución más efectiva hoy es limpiar y retopologizar la malla resultante. Después de la operación booleana, no apliques Smooth directamente. Primero, selecciona el objeto y ve al menú Mesh > Cleanup (Limpiar). Usa las opciones para eliminar geometría no plana o caras con más de 4 lados. Esto corrige algunos problemas básicos.
Luego, aplica la herramienta Mesh > Reduce (Reducir) con un valor bajo para simplificar y uniformizar la topología. También puedes usar la herramienta Remesh en el menú Mesh para recrear una malla más limpia a partir de tu modelo.
Si el problema persiste, considera usar el modo Modeling Toolkit y la herramienta Multi-Cut para manualmente conectar bordes y limpiar áreas problemáticas. Finalmente, aplica el Smooth con divisiones moderadas. Para renderizar, asegúrate de que las Normals (Normales) estén correctas usando Mesh Display > Conform o Reverse si es necesario.