3ds Max 5 funcionará en Windows 98, pero no es recomendable para ningún uso real hoy en día. Todo ese ecosistema (Windows 98, 3ds Max 4 o 5, Brazil/Vray antiguos) está completamente obsoleto, es incompatible con hardware moderno y tiene graves problemas de seguridad y estabilidad.
La mejor solución actual es cambiar a software moderno. Para modelado y render 3D profesional, la opción estándar es Autodesk 3ds Max 2025 (de pago) con V-Ray 6 o Corona Renderer. Si necesitas una alternativa gratuita y poderosa, usa Blender (gratuito, de código abierto), que incluye los motores de render Cycles y Eevee. Estos programas requieren una versión moderna de Windows (10 o 11) o Linux/macOS.
Si tu objetivo es solo aprender o trabajar con escenas antiguas, instalar un sistema virtualizado con Windows 98/XP es más seguro que usar hardware real. Para un uso productivo, actualizar tu sistema operativo y software es la única opción viable.