En poly > Edge > remove. Fijarse si no quedan vértices por ahí flotando. En ese caso, lo mimsmo: poly > vertex > remove.
Si mantienes pulsada la tecla control del teclado mientras pulsas remove en una arista, también borra los vértices huérfanos que puedan quedar (es sencillo y ahorra mucho tiempo).
Si como dices pasándolo a Edit Poly se quitan alguna, ya lo había probado, pero aun, así como dejo en la imagen siguen apareciendo aristas diagonales que no quiero seleccionar.
Es lo que tiene el modelado poligonal, puedes usar polígonos de n lados sin necesidad de incluir aristas interiores cuando es un polígono cerrado, pero para una estructura como el marco de una ventana que tiene un hueco en su centro, la única forma de hacerlo con un solo polígono es que este se pliegue sobre si mismo lo que dará lugar siempre a una arista (
mira este enlace). Si no la haces tú, el programa la hará donde le de la gana (como esa arista larga que te sale en la ventana izquierda), así que, es mejor crearla por nuestra cuenta donde nos venga mejor (y borrar luego las que se hayan creado de forma automática). En tu caso te recomendaría crear aristas en las cuatro esquinas del marco, de la misma forma que la que tienes en la ventana derecha (o igual que la imagen del enlace que he puesto). De esta forma tendrías polígonos de cuatro lados, lo que no te dará problemas a la hora de aplicar algún tipo de suavizado o biselado.