Modelos 3d extraídos de una sola fotografía

[Caronte]

Parece que los chicos de la universidad de carnegie mellon han conseguido hacer un algoritmo que permite extraer la información 3d de una imagen 2d basándose en como lo hace nuestro cerebro, esta nueva técnica abrirá (cuando esté disponible al público) todo un abanico de posibilidades que hasta ahora se creían imposibles.
http://www.cmu.edu/pr/releases06/060613_3d.html.

[mikimoto]

Hace un par de años leí un paper del estilo, pero desde luego no daba esos resultados. No sé, como todo habrá que verlo para creerlo.

[Klópes]

Parece bastante impresionante, yo creo que este es el camino.

[Caronte]

Para cagarse. http://www.cs.cmu.edu/~dhoiem/projects/popup/index.html.

[Pepius]

Que interesante. Siempre he reflexionado sobre cómo actúa el ser humano en ciertas circunstancias y cómo se podría aplicar a la informática, para la i. A, (aunque sin llegar a plasmarlo, como es evidente) y esto da algunas respuestas a mis pensamientos.

Muy bueno, por mucho que este verde me parece un gran avance.

[damiles]

Ok, la técnica es bonita, pero no tiene ningún misterio. En ciudad real os la cuento, lástima Caronte, a ti por una cerveza te la cuento.

[Caronte]

Ok, la técnica es bonita, pero no tiene ningún misterio.

A ver, hace años que se viene haciendo esto (yo lo he usado), pero con intervención humana, lo increíble y dónde está realmente la innovación, es en que sea todo automático.

El hecho de que en 1980 se llegase a la conclusión de que hacer esto era o imposible o computacionalmente inviable, creo que ya lo dice todo, porque han pasado nada menos que 26 años.

[Josich]

Me parece realmente increíble. Con esta herramienta se abre un amplio avanico de posibilidades. Para un fondo animado, por ejemplo, hechas la fotografía de un bonito paisage y ale una integración en movimiento bien convincente.

Me parece genial la verdad. Un saludo.

[elGordo]

En este sentido, hay un plugin para Adobe Photoshop (ya buscaré por la red a ver cuál era) que extrae áreas de la imagen en un proceso similar a cómo lo hace la mente humana y que dicen que da unos resultados espectaculares, y es un plugin comercial de hace un año más o menos. Un saludo.

[LuisF]

Pues está bien, pero tampoco me parece demasiado espectacular. Hace una segmentación de la imagen y supone que hay un suelo, lo cual facilita mucho el resto de las cosas. Entonces la zona segmentada inferior es el suelo y lo plancha en un plano horizontal. El resto de los objetos lo pone en planos perpendiculares con el del suelo.

A partir de ahí, viene lo más complicado, a mi juicio, que es buscar líneas/patrones en los objetos elevados para buscar la orientación en el otro eje. Pero con las imágenes de ejemplo del video no es muy complicado. Esos objetos son edficicios u objetos con líneas rectas largas y definidas (los bordes del tren o del barco, por no hablar de esos edificios cuadriculados) y una perspectiva muy marcada. Que prueben con una fotografía del Guggenheim a ver qué pasa.

Simplemente resultón, imho.

L.

[Klópes]

Sí, Luis, los resultados que vemos son muy simples, pero la gracia es la técnica empleada, que presupuestopone que, con más aprendizaje (y también más desarrollo, que aún está en pañales), quizá sea posible desarrollar el Guggenheim.

En cuanto a lo del barco, no veo una línea definida con el agua, ¿eh?

[LuisF]

Que presupuestopone que, con más aprendizaje.

Es que mis experiencias con todos estos temas de aprendizaje. Son temas estos que están muy pisados ya. Se pueden obtener buenos resultados con ciertas imágenes, presupuestoponiendo cosas como la existencia del suelo. Lo de imágenes con pocos objetos y enormes también ayuda.

De hecho, no es la primera vez que veo algo así. Por ejemplo, criminisi tiene algunos trabajos similares al respecto en el 2001 o por ahí: http://research, Microsoft.com/visió...e/3d/3dart.htm.

En cuanto a lo del barco, no veo una línea definida con el agua, ¿eh?

Pues está bien clara, tanto en la intersección con el agua como, sobre todo, la que forma la cubierta. Un filtro simple con una detección de bordes, con el algoritmo de prewitt mismamente y una transformada de hough después de encuentra esas líneas sin dificultad.

L.

[Quel]

Yo me debo estar haciendo viejo y tal. Porque no descarto en absoluto que esa técnica tenga enormes, pero de por medio o que sea un fake.

[Caronte]

Yo me debo estar haciendo viejo y tal. Porque no descarto en absoluto que esa técnica tenga enormes, pero de por medio o que sea un fake.

No he entendido nada.

[Klópes]

No he entendido nada.

Enormes peros de por medio, o que sea un fake. Está bien, pero hay que entonarlo.

[Caronte]

Ah, no conocía esa expresión. No creo que sea un fake viendo de dónde viene.

[Airbrush]

Como dicen por ahí, no tiene mucho misterio la parte del 3d. Creo que se podría conseguir ese resultado con el max, partiendo de una fotografía.

Es decir, construir dos vistas extremas y todas las intermedias.

El proceso conllevaría desplazar puntos de la imagen para crear el efecto deseado en la perspectiva. Si aplicamos un efecto proporcional en el eje Z, obtenemos la imagen en 3d. Eso es un poco lo básico.

Lo innovador de esta gente no es obtener 3d de 2d, sino hacer que sea el ordenador el que decida que puntos de la imagen elegir y dónde situarlos. Parece que han ido alimentando el programa con cuanta más información mejor para que elija entre distintas opciones.

Si es así habrá que esperar nuevas versiones. A lo mejor flipo mucho, pero ese sistema está bien para objetos que claramente tienen planos verticales y horizontales bien definidos, como edificios y cosas así.

Si le presentamos al programa algo orgánico seguro que manifiesta sus limitaciones a la hora de hacer una reproducción 3d plausible. Saludos.

[LuisF]

Lo innovador de esta gente no es obtener 3d de 2d, sino hacer que sea el ordenador el que decida que puntos de la imagen elegir y dónde situarlos. Parece que han ido alimentando el programa con cuanta más información mejor para que elija entre distintas opciones.

El entrenamiento lo hacen en la fase de lo que ellos llaman superpixeles, que es una agrupación de unos píxeles según unas caracterísitcas/descriptores. O sea, una segmentación. En el paper no entran mucho en detalle, pero se entrevé que el entrenamiento ha ido orientado a decidir cuales de las características que manejan dan mejores superpixeles. Dicho de otro modo, deciden cuales de las caracterísitcas segmentan mejor la imagen y se quedan con unas 25. Estas cosas se llevan haciendo años.

Si le presentamos al programa algo orgánico seguro que manifiesta sus limitaciones a la hora de hacer una reproducción 3d plausible.

Es que aquí es donde yo veo la exageración. Hablan de modelos 3d y no hacen eso. Segmentan objetos a muy grandes rasgos: una fachada, un tren, un barco, el suelo, el mar, y los ponen en planos 3d con la orientación correcta. Podríamos pensar que aplicando el mismo método a cada plano podríamos tener un modelado más complejo.

Pero ahí las presupuestonciones de suelos y demás no vale, no podríamos distinguir algo pintado en una pared de algo tridimensional sobre ella.

De hecho, un humano tampoco puede. Si ves una fotografía de una pared (de frente) con una ventana no puedes decir seguro 100% que esa ventana existe en 3d o es un póster bien colocado.

Para reconstruir un modelo se necesitan al menos tres fotografías desde distintos puntos (y si no recuerdo mal, mejor seis para simplificar los cálculos en imágenes complejas).

Vamos, que no se puede ir más, allá de los límites físicos. Puedes conseguir resultados pintones para cierto conjunto de imágenes, pero sin decir que es un fake, si que me parece un poco exagerado eso de reconstrucción 3d.

Luis.

[Klópes]

Vale. Es que no me leí el paper, gracias por la explicación. La verdad es que defrauda un poco después del primer susto que la geometría sean un par de planos, pero creo que ha base de métodos así se puede conseguir refinar un poco el detalle. Por lo menos se tendría que poder llegar a extraer las columnas del edificio grande.

Posdata: sigo sin ver límite definido en la parte de abajo del barco (en la de arriba sí claro).

[actpower]

En el propio paper dicen que el resultado de la técnica es igual que los libros esos que al abrirlos se despliegan en perspectiva. Como una especie de recortables, pero con profundidad, vamos.

Imagino que de aquí a 15/20 años este tipo de cosas se habrán extrapolado incluso a cámaras digitales y podrás elegir capturar la escena en 2d o en 3d (de hecho, ya existe algún prototipo por ahí).

[Caronte]

En el propio paper dicen que el resultado de la técnica es igual que los libros esos que al abrirlos se despliegan en perspectiva. Como una especie de recortables, pero con profundidad, vamos.

Imagino que de aquí a 15/20 años este tipo de cosas se habrán extrapolado incluso a cámaras digitales y podrás elegir capturar la escena en 2d o en 3d (de hecho, ya existe algún prototipo por ahí).

Hace años que existe una cámara de video profesional que graba junto con el video la información de profundidad (Zbuffer), por lo que los chromas, Dof blur, etc son perfectos sin necesidad de un fondo azul o verde, así que, el usar esta información para pasar el video a 3d es bastante sencillo, solo hace falta que avance tanto como para que la miniaturicen.

[actpower]

Si, conozco la cámara en cuestión, vi unos cuantos videos pues no hace demasiado, y me quedé alucinado, realmente el futuro se nos antoja prometedor.

[Caronte]

Si, conozco la cámara en cuestión, vi unos cuantos videos pues no hace demasiado, y me quedé alucinado, realmente el futuro se nos antoja prometedor.

Si lo que me extraña es que esté tardando tanto en implantarse, porque yo no hablo de algo muy reciente, ya que lo vi (y no era un prototipo) hace 2 o puede que 3 años.

[LuisF]

Posdata: sigo sin ver límite definido en la parte de abajo del barco (en la de arriba sí claro).

Vaya. Mira, el contraste y cambio de color es tan grande entre el agua y el barco que ese borde barco-agua se detecta muy fácil. Con el ángulo de ese borde con la horizontal ya tienes la orientación del plano del barco.

Bueno, para que creas, tomas no me comí mucho la cabeza, es el primer resultado de un filtro de prewitt, sin más. La resolución es pequeña, porque está sacado del video. Aun así, se intuyen las dos líneas, de la cubierta y de la línea del mar, ¿no?

-- IMÁGENES ADJUNTAS --

[[Dn]KiKe]

Eso era algo de lo que se hacía con un software llamado facade hace varios años ya y que migro al real Viz http://www.Realviz.com/products/im/index.php, será algo de lo mismo?

[Caronte]

Kike]eso era algo de lo que se hacía con un software llamado facade hace varios años ya y que migro al real Viz http://www.Realviz.com/products/im/index.php, será algo de lo mismo?

No, no es lo mismo. El modeler de Realviz saca modelos más detallados, pero a partir de varias fotografías y además con intervención humana (o sea que hay muchos programas que hacen eso mismo).

[Klópes]

Bueno, para que creas, tomas no me comí mucho la cabeza, es el primer resultado de un filtro de prewitt, sin más. La resolución es pequeña, porque está sacado del video. Aun así, se intuyen las dos líneas, de la cubierta y de la línea del mar, ¿no?

Bueno, bueno. Así lo veo mejor, debieron de ser las gafas de pasta que me confunden los tonos pastel.

Viendo esa imagen, también es curioso que no tenga en cuenta la proa del barco, que sí es bien nítida y limita el barco con el fondo. Supongo que considerara la zona izquierda como frontal por ser continua con el resto del cielo. En cualquier caso, el principio de los superpixeles puede ser muy simple, pero yo no sabría ni cómo empezar.