Forscher der Cornell University haben einen intelligenten Ring namens SpellRing entwickelt, der Künstliche Intelligenz nutzt, um das Fingerspelling in der Amerikanischen Gebärdensprache (ASL) instantan zu interpretieren. Dieses innovative Gerät verwendet Mikrosonar in einem 3D-gedruckten Ring, der die Größe einer Münze hat. Sein kompaktes Design und die fortschrittlichen Funktionen positionieren es als wertvolles Werkzeug zur Verbesserung der Kommunikation.
Eine kompakte und effektive Technologie
Der SpellRing verfügt über ein Mikrofon, einen Lautsprecher und ein Miniatur-Gyroskop, die zusammenarbeiten, um die Bewegungen von Händen und Fingern zu erfassen. Diese Daten werden durch einen Deep-Learning-Algorithmus verarbeitet, was die Übersetzung des Fingerspellings in Text ermöglicht. In den durchgeführten Tests erreichte das Gerät eine Genauigkeit von 82% bis 92% bei der Interpretation von mehr als 20.000 Wörtern unterschiedlicher Längen.
Ein Gerät für die gehörlose Gemeinschaft
Hyunchul Lim, Hauptautor der Studie und Doktorand in Informationswissenschaften, betonte, dass viele frühere Technologien von der gehörlosen Gemeinschaft nicht übernommen wurden aufgrund ihrer Größe und mangelnden Funktionalität. Der SpellRing ist diskret und einfach zu bedienen, was ihn zu einem vielversprechenden Werkzeug zur Erleichterung der Kommunikation macht. Dieser Fortschritt wird auf einer internationalen Konferenz über Mensch-Computer-Interaktion in Japan präsentiert.
Herausforderungen und technologische Verbesserungen
Eine der Haupt Herausforderungen des Projekts war das Training des KI-Systems, um die 26 Handformen zu erkennen, die den Buchstaben des Alphabets entsprechen. Da ASL-Nutzer die Formen für mehr Flüssigkeit modifizieren, fügte dies dem Prozess Komplexität hinzu. Derzeit ermöglicht das Gerät die Eingabe von Text in elektronische Geräte durch Fingerspelling, ideal für Eigennamen und technische Begriffe in ASL.
Ein umfassender Ansatz für die Zukunft
Obwohl das Fingerspelling ein wichtiger Teil der ASL ist, repräsentiert es nicht die gesamte Sprache. Jane Lu, Mitautorin der Studie, wies darauf hin, dass das Fingerspelling nur einen Bruchteil der ASL abdeckt und nicht ihre Gesamtheit umfasst. Um die Interpretation der Sprache zu verbessern, plant das Team, das Mikrosonar-System in Brillen zu integrieren, um Körperbewegungen und Mimik zu erfassen, was die Fähigkeiten des Geräts erheblich erweitern wird.
Zusammenarbeit und institutionelle Unterstützung
Dieses Projekt wurde im Labor für Intelligente Computing-Interfaces für Zukünftige Interaktionen der Cornell University entwickelt, mit finanzieller Unterstützung der National Science Foundation. Die Forscher arbeiteten Hand in Hand mit ASL-Nutzern, sowohl Experten als auch Anfängern, um sicherzustellen, dass das Gerät funktional und praktisch für die gehörlose Gemeinschaft ist. Dieser kollaborative Ansatz gewährleistet, dass die Technologie die realen Bedürfnisse der Nutzer erfüllt.