Granja de render remota

Hola amigos, después de un largo paréntesis (varios años) vuelvo a mi amado 3d. Las cosas han evolucionado bastante, de modo que no os sorprendais si pregunto alguna tontería.

Bueno, al lío.

Resulta que tenemos permiso para utilizar como granja de render, dos aulas de informática, con 10 y 15 ordenadores Core 2 Duo cada una, pero están a 8 km de nuestro trabajo, y la idea es acceder a ellas remotamente desde internet, descargar el proyecto y distribuir el render.

Que sistema me recomendáis para poder realizar esto de modo rápido y fiable?
Por otro lado, no queremos interferir en el uso de las aulas, de modo que planteamos la posibilidad de crear en las máquinas un usuario cuyo interfaz de Windows sea lo más pelado posible, solo para que funcione el buckburner de 3ds Max. Es esto posible? Saludos y gracias por vuestras aportaciones.

Jos.

Por partes:
-Necesitarás controlar remotamente los equipos y poder iniciar sesión en ellos sin que halla nadie al otro lado (asumiendo que están encendidos). Para esto existen programas como ntr connect, vnc.

La parte de los usuarios puede tener más miga. Puedes crear un perfil que el escritorio este limpio, eso no tienes problemas. Pero lo ideal (creo yo) seria hacer un perfil de hardware que tenga los dispositivos que no necesites deshabilitados y así ahorrar algo de Ram, aunque quizá es mínimo y ni merece la pena.

El problema de eso es que los perfiles de hardware hay que seleccionarlos antes de llegar a Windows y, por tanto, antes de que cargue cualquier programa de control remoto que puedas buscar.

Eso sin contar con que casi cualquier programa que vayas a usar, necesitara un puerto y un protocolo por el que conectarse a los equipos, este puerto deberá ser habilitado en el router/firewall de tu universidad o no habrá conexión posible. Saludos.

Gracias por la respuesta Mario. Te cuento: La idea es utilizar wol (wake on Lan) desde internet, pasando por el routermoden y de este al router que controla todas las máquinas. A través de internet solo accedemos remotamente a una máquina, y desde esta al resto utilizando la Lan.

En teoría el wol desde internet esta medio claro (falta probarlo,) pero para arrancar las 25 máquinas nos gustaría usar algún proceso automatizado, y no tener que despertar a las máquinas una a una, que es un coñazo.

Configurar las máquinas para que arranquen con el usuario adecuando y carguen solo justo para el render.

Volcar el proyecto en la máquina manager y a renderizar.

Esta es la idea, si funcionara, en teoría sí, pero, quien sabe? Por eso os pido ayuda, por si alguien ya ha intentado esto y que tal ha funcionado.

Como alternativa, nos cogemos el coche y punto, pero a las 2 de la mañana no vas a estar entrando y saliendo de las aulas :-((.

Bueno, que os parece? Sería posible? Gracias y saludos.

Jos.

Vaya, eso ya suena a bastante más complicado. Esto que te cuento ya es todo en teoría. Si te conectas a una máquina con wol, conociendo las Mac del resto de máquinas sería más fácil despertar a las otras máquinas con un programa que gestiones desde el equipo al que te has conectado.

Seguro que puedes crear algún tipo de script (un.bat) para mandar el comando de turno a toda una lista de Mac almacenada en un fichero de texto.

Volcar el proyecto es fácil, lo puedes enviar directamente o usar una conexión a un ftp.

El Backburner no lo he usado nunca, así que, poco te puedo contar, pero supongo que, seria cuestión de ponerlo en la carpeta de inicio para que se ejecutara al iniciar Windows de forma automática. Una vez que los nodos estén online el manager debería detectarlos y poder mandarle el proceso. Pero eso ya, se me escapa.

Gracias de nuevo Mario.

Si te conectas a una máquina con wol, conociendo las Mac del resto de máquinas sería más fácil despertar a las otras máquinas con un programa que gestiones desde el equipo al que te has conectado.

Seguro que puedes crear algún tipo de script (un.bat) para mandar el comando de turno a toda una lista de Mac almacenada en un fichero de texto.

Justamente esto que comentas es lo que nos tienen un poco perdidos, vamos, que no tenemos ni idea de cómo resolverlo :-(en teoría todo el planteamiento es posible, pero nuestros conocimientos no llegan a tanto, por eso pedimos ayuda en el foro.

Alguien se anima a orientarnos? Saludos y gracias.

No sé cómo será con el Backburner ni que acceso tendrás, te comento como lo estamos haciendo aquí. Estamos utilizando el drqueue, un pequeño gestor de render, pero que nos permite acceder a el y enviar trabajos por las librerías que tiene en Python, también hemos descargado una serie de librerías que permiten conectarse a diversos sistema de mensajería instantánea como el messeger, el aol o más, creando un bot con un usuario predefinido podemos desde cualquier ordenador mandar mensajes por ese sistema de mensajería de modo que nos de los stats, mandar renders, testear cosas y todo eso, estamos acabando de implementarlo, pero no es algo demasiado complicado.

Vaya Larryvm, masmatao. Todo eso suena muy complicado para nuestras pobres mentes, :-(:-(. El principal inconveniente lo tenemos en despertar todas las máquinas automáticamente con el usuario adecuando. Imagino que esto será una mezcla de administración de redes y de Windows, pero nos viene muy cuesta arriba.

Alguna sugerencia? Saludos y gracias.

Para el wol había mirado y hay varios programas ya preparados para eso, lo único que no sé si a través de internet funcionaran, creo que solo el red local, pero bueno, si tienes uno encendido y accedes a el puedes encender los demás.

Una pista sobre esos programas.

No me acuerdo cuales eran, lo siento, pero fue buscando en Google wol programas o algo así.

Gracias Larry, voy a ver.

Podrías ver en esta página. el arte de programar: 2005/06 - 2005/07.

Y par controlar el PC, bueno, te lo debo, pero de esos si hay muchos.

Sobre wol no sé nada, pero sobre Backburner en internet sí he tenido mis experiencias. Básicamente es lo mismo que lanzar en una red local, solo que hay que tener especial cuidado con la enrutación.

Para empezar, tendrás que apuntar la IP del manager en todos los servers. Para acceder a ella, si no es pública, tendrás que habilitar los puertos que usa Backburner en el router, y realizar una enrutación de la IP pública a la privada, para que los servers vean al manager.

Es decir, lanzas el manager en una sola máquina (idealmente la que estés manejando) y los servers en el resto (incluyendo el manager, si quieres).

Si has hecho bien las cosas, empezaras a ver conexiones satisfactorias de los servers al manager, y con el queue manager podrás ver los trabajos, asociarlos a máquinas.

En realidad, es muy sencillo de usar y es bastante eficiente para trabajos relativamente sencillos.

Un problema que puedes encontrarte es el hecho de que el proyecto con sus texturas tiene que copiarse a cada ordenador, y como sea muy grande, a través de internet tardará bastante en ser enviada, pero una vez enviada cada server tendrá una copia del proyecto y trabajara en local.

Importante que las rutas de archivo, o bien las especifiques a un ftp (es algo complicado, pero posible) o bien en local (todas las máquinas tienen que tener la misma dirección creada, por ejemplo, c:\proyecto_tal\stills\) sino fallara a la hora de grabar cada archivo.
¿Lo ideal? Que todas las imágenes se graben en un directorio común para todas (dando una dirección de red de una de las máquinas) y ese directorio común esté disponible en un ftp para su acceso directo.

Parece un poco lioso, pero una vez establecido todo, es fácil su gestión.

Actpower, una pregunta, ya había escuchado de que las texturas debían estar en cada máquina, pero no es posible tener una ruta de acceso en común para éstas y así no tener que copiarlas?

Actpower, también puedes tener el manager en un servidor en tu oficina, que se encargara de gestionar los servidores de la red local, de esta manera desde tu equipo de trabajo, localizado fuera de la oficina, solo necesitarás ver la IP del servidor, y no la de los servidores, envías el trabajo hacia el manager del servidor, y el ya se encarga de gestionar, además, así ya tienes una máquina que no renderiza, disponible para gestionar además del Backburner, el directorio de destino de los renders, común para todos los servidores, si además en el servidor tienes una biblioteca de materiales igual que la que usas en tu equipo de trabajo, no tendrás que enviar al manager el trabajo con texturas, solo envías el trabajo, evidentemente, los servidores deben tener en 3ds Max, los Path de texturas configurados al directorio del servidor, de esta manera, ahorras mucho tráfico en los envíos, agilizando, y si generas una textura nueva, puedes enviarla al servidor antes de lanzar el render.

Si, lo más eficiente es tener un sitio común donde meter todas las texturas y a la hora de lanzar render, simplemente las texturas las buscara en el sitio adecuando en todas las máquinas.

Pero también me ha sucedido que en determinados proyectos la misma textura es diferente en cuanto a contenido, pero igual en nombre (ya me ha ocurrido unas cuantas veces). Si hay dos nombres iguales de ficheros, cada máquina pillara el que le convenga, por eso yo siempre lanzo los trabajos con todas las texturas y nunca fuerzo a que use un Path común. Supongo que es evitable, pero es tema de costumbre.

Veo que ha despertado vuestro interés, eso está bien. Alexander, gracias por el enlace, muy interesante. Bueno, la idea es conectar por remoto a una de las máquinas de la red, descargar en ella todo el proyecto, y después desde esta máquina, ya por la red local, copiar el proyecto en cada una de las máquinas de la red. Haciéndolo así, una vez empecemos el render, el transito se limita solo a las imágenes, por lo que saturamos menos la red local, o al menos eso esperamos. Todos los servers guardarían las imágenes en el mismo disco duro, de modo que solo tendríamos que ir a por él, usar un ftp también es una opción, pero teniendo en cuenta que solo son 8 km, casi es más rápido ir a por el disco que esperar a descargarlo del ftp. Pero es algo a tener en cuenta. Gracias por vuestras aportaciones.

Tal vez ya es un poco tarde para hablar sobre este tema, seguro lo tienen resuelto. Pero no creo que esté de más dar mi opinión al respecto.

Yo instalaría renderpal client en todas las estaciones que, apoyaran para el renderizado.

En el servidor instalaría el renderpal server, vnc y un servidor ftp. Además, de compartir en red la carpeta del servidor ftp y crear unidades lógicas en todas las máquinas cliente.

Una vez configurado todo eso, podrás subir tus proyectos por ftp, después conectarse por vnc al servidor y lanzar el render en todas las máquinas conectadas. Lo único que faltaría es usar algún pequeño programa que te sirva para hacer un wol en las PC clientes, o puedes enviar a alguien a que las prenda, para apagarlas las puedes apagar con el render pal.

Una vez terminado el proyecto, adquieres todos los cuadros desde la carpeta en el ftp. Y listo.

Eso es lo que yo haría, espero que sirva de algo. Saludos.

Hola nosotros tenemos un problema, pero no sabíamos que una posible solución era una granja remota: ayuda: preproducción película - Buscamos ayuda en Valencia con granja de renders - Foros 3dpoder.. Gracias.

Mario mazzolli.