Une équipe de l'Université Technique de Munich a présenté un système robotique conçu pour localiser des objets quotidiens égarés, comme des lunettes ou une télécommande. Il combine la création de cartes 3D en temps réel avec des connaissances contextuelles extraites d'internet. L'objectif est que le robot ne se contente pas de naviguer, mais interprète l'environnement avec une logique similaire à celle humaine pour optimiser la recherche.
La fusion de la vision spatiale et des modèles de langage 🤖
Le robot, équipé d'une caméra de profondeur, construit une carte tridimensionnelle détaillée de l'espace, en étiquetant les objets et les meubles. L'innovation réside dans l'intégration de deux systèmes d'IA : l'un pour la reconnaissance visuelle et l'autre, un grand modèle de langage. Ce dernier apporte des connaissances générales sur l'utilisation des espaces, permettant au robot de déduire où il est plus probable de trouver un objet. Ainsi, il priorise la recherche de clés sur une table plutôt que dans le réfrigérateur.
Adiós à chercher les lunettes... qui sont sur ton front 😅
Avec ce développement, nous pourrons peut-être bientôt déléguer à un robot cette recherche frénétique des lunettes qui, invariablement, sont sur notre tête. L'ironie serait que, après avoir minutieusement cartographié la maison et appliqué son sens commun artificiel, le robot nous pointe du doigt avec son bras mécanique tout en émettant un doux bip de déception. Un rappel technologique de notre propre distraction.