뮌헨 공과대학의 한 팀이 안경이나 리모컨 같은 일상적인 물건을 잃어버린 경우 찾도록 설계된 로봇 시스템을 발표했습니다. 실시간 3D 맵 생성과 인터넷에서 추출된 맥락적 지식을 결합합니다. 목표는 로봇이 단순히 탐색하는 것이 아니라 인간과 유사한 논리로 환경을 해석하여 검색을 최적화하는 것입니다.
공간 비전과 언어 모델의 융합 🤖
깊이 카메라를 장착한 로봇은 공간의 상세한 3차원 맵을 구축하며, 물건과 가구를 라벨링합니다. 혁신은 두 AI 시스템의 통합에 있습니다: 하나는 시각 인식용이고, 다른 하나는 대형 언어 모델입니다. 후자는 공간 사용에 대한 일반 지식을 제공하여 로봇이 물건을 찾을 가능성이 높은 위치를 추론할 수 있게 합니다. 따라서 로봇은 냉장고보다는 테이블에서 열쇠를 먼저 찾습니다.
이제 안경 찾기 그만... 이마에 있는데 😅
이 개발로 인해 곧 로봇에게 항상 머리 위에 있는 안경을 미친 듯이 찾는 일을 맡길 수 있을지도 모릅니다. 아이러니하게도 집을 세심하게 매핑하고 상식 인공지능을 적용한 후, 로봇이 기계 팔로 우리를 가리키며 실망스러운 부드러운 삐 소리를 낼 것입니다. 우리의 산만함을 상기시켜주는 기술적 알림입니다.