A11yShape permite modelar incluso con ceguera o baja visión
A11yShape es una herramienta de investigación creada por un equipo universitario para que programadores ciegos o con baja visión puedan crear, inspeccionar y modificar modelos 3D de forma independiente. Combina el editor de modelado por código OpenSCAD con un modelo de lenguaje multimodal (GPT-4o) que actúa como ojos y describe todo en lenguaje natural.
Cómo funciona el flujo adaptado
El usuario escribe comandos de OpenSCAD que definen la geometría. A11yShape genera renderizados desde múltiples vistas, como al frente, atrás, lateral, superior y demás, pasando esas imágenes junto al código a GPT-4o. Luego GPT-4o produce descripciones en lenguaje natural que detallan cada parte, su forma, posición y relación con otras piezas. También responde preguntas del usuario sobre dimensiones o conexiones.
El sistema vincula automáticamente las selecciones, si el usuario elige un componente en el árbol jerárquico, se resalta el fragmento de código, la parte en el render y su descripción correspondiente. Además, incorpora control de versiones para comparar cambios, revertir o validar ediciones sugeridas.
Evaluación con usuarios y desafíos identificados
Para probar A11yShape, el equipo realizó un estudio con cuatro programadores ciegos o con baja visión sin experiencia previa en modelado 3D. Tras unas sesiones de introducción, los participantes completaron doce modelos distintos, como helicópteros, robots u objetos cotidianos, con éxito.
La usabilidad alcanzó una puntuación media de 80,6 sobre 100 en la escala System Usability Scale, lo que refleja una alta aceptación.
Entre los retos detectados destacan la sobrecarga cognitiva causada por descripciones extensas, la dificultad de percibir ciertas relaciones espaciales sin retroalimentación táctil y algunos desajustes en la alineación de componentes.
El equipo sugiere que futuras versiones podrían ofrecer descripciones más concisas, autocompletado de código, integración con dispositivos hápticos o impresión 3D para proporcionar retroalimentación física.
A11yShape demuestra que aunque los modelos 3D parezcan un reino exclusivo de la vista, con las herramientas adecuadas hasta quien no ve puede ver en código y estructura.
umich.edu
