El problema que describes suele ocurrir cuando los bordes de la malla no están correctamente alineados o tienen topología irregular, lo que impide que las herramientas de limpieza funcionen bien. Para solucionarlo, necesitas retopologizar esa zona manualmente.
Primero, en tu software de modelado 3D (como Blender 3D, que es gratuito y actual), debes seleccionar y eliminar las caras problemáticas en la esquina. Usa el modo de selección de caras y borra esa área irregular.
Luego, activa la herramienta de creación de caras (la herramienta "Crear Caras" o "Make Face", a menudo con la tecla F). Selecciona los vértices del borde del agujero en el orden correcto, siguiendo la curva de la forma original, y ve creando caras de una en una o en pares. Es crucial que sigas el flujo de los bordes existentes.
Si la malla es muy irregular, puede ser necesario usar la herramienta "Cuchillo" (Knife) para cortar y definir nuevos bordes guía, o la herramienta "Bisel" (Bevel) para suavizar un borde demasiado afilado. El objetivo es que la nueva topología tenga cuadriláteros lo más regulares posibles.
Finalmente, aplica un modificador "Subdivisión de superficie" (Subdivision Surface) para verificar que la curva se suaviza correctamente. Si persisten irregularidades, ajusta la posición de los vértices manualmente con el modo de edición.