Исследователи из Университета Корнелла создали умное кольцо под названием SpellRing, которое использует искусственный интеллект для мгновенной интерпретации буквения на американском языке жестов (ASL). Это инновационное устройство использует микросонар внутри кольца, напечатанного на 3D-принтере, размером примерно с монету. Его компактный дизайн и продвинутые функции делают его ценным инструментом для улучшения коммуникации.
Компактная и эффективная технология
SpellRing оснащено микрофоном, динамиком и миниатюрным гироскопом, которые совместно регистрируют движения рук и пальцев. Эти данные обрабатываются с помощью алгоритма глубокого обучения, что позволяет переводить буквение в текст. В проведенных тестах устройство достигло точности от 82% до 92% при интерпретации более 20 000 слов разной длины.
Устройство, предназначенное для сообщества глухих
Хёнчуль Лим, ведущий автор исследования и аспирант по наукам об информации, отметил, что многие предыдущие технологии не были приняты сообществом глухих из-за их размера и отсутствия функциональности. SpellRing дискретно и легко в использовании, что делает его многообещающим инструментом для облегчения коммуникации. Этот прорыв будет представлен на международной конференции по взаимодействию человека и компьютера в Японии.
Вызовы и технологические улучшения
Одним из главных вызовов проекта стало обучение системы искусственного интеллекта распознавать 26 форм рук, соответствующих буквам алфавита. Поскольку пользователи ASL модифицируют формы для большей плавности, это добавило сложности процессу. В настоящее время устройство позволяет вводить текст в электронные устройства посредством буквения, идеально для собственных имен и технических терминов на ASL.
Комплексный подход к будущему
Несмотря на то что буквение является важной частью ASL, оно не представляет полный язык. Джейн Лу, соавтор исследования, отметила, что буквение охватывает только малую часть ASL и не покрывает его целиком. Для улучшения интерпретации языка команда планирует интегрировать систему микросонара в очки, чтобы захватывать движения тела и мимику, что значительно расширит возможности устройства.
Сотрудничество и институциональная поддержка
Этот проект был разработан в лаборатории Интеллектуальных Вычислительных Интерфейсов для Будущих Взаимодействий Университета Корнелла при финансовой поддержке Национального научного фонда. Исследователи тесно сотрудничали с пользователями ASL, как экспертами, так и новичками, чтобы убедиться, что устройство функционально и практично для сообщества глухих. Такой совместный подход гарантирует, что технология удовлетворяет реальные потребности пользователей.