Um die Inklusion bei den Asian Games und den Asian Para Games in Hangzhou zu fördern, hat Alibaba Cloud einen virtuellen Gebärdensprachdolmetscher eingeführt. Dieser soll Menschen mit Hörbeeinträchtigungen die bessere Teilnahme an den Spielen ermöglichen.
„Cloud-basierte Technologien tragen dazu bei, die nachhaltige und inklusive Entwicklung der Asian Games voranzutreiben. Gemeinsam mit unseren Partnern wollen wir die Technologie nutzen, um die Spiele für alle zugänglicher zu machen,“ sagt Jingren Zhou, CTO von Alibaba Cloud Intelligence.
Digitaler Avatar erleichtert Kommunikation für Hörbeeinträchtigte
Nach Angaben der Weltgesundheitsorganisation (WHO) leben derzeit mehr als 1,5 Milliarden Menschen (fast 20 Prozent der Weltbevölkerung) mit Hörverlust. Um die Inklusion bei den Asian Para Games, die vom 22. bis 28. Oktober 2023 stattfinden, zu fördern, hat Alibaba Cloud seinen digitalen Avatar Xiaomo vorgestellt, der als Gebärdendolmetscher fungiert.
Alibaba Cloud integriert Xiaomo in eine Mini-App auf der Bezahlplattform Alipay. Die Mini-App unterstützt die Zwei-Wege-Übersetzung zwischen Gebärdensprache und gesprochenem Chinesisch. Nutzer können Sprachnachrichten eingeben, die der virtuelle Avatar in Gebärdensprache übersetzt. Umgekehrt kann die Mini-App die Gebärdensprache in gesprochene Sprache übersetzen und so eine nahtlose Kommunikation zwischen Hörenden und Hörgeschädigten ermöglichen.
Die Gebärdensprache mit ihrer einzigartigen Mischung aus Gesten, Ausdrücken und Körperbewegungen hat eine eigene Phonetik, einen eigenen Wortschatz und eine eigene Grammatik, die sich von der gesprochenen Sprache unterscheiden. Um dieser Komplexität gerecht zu werden, hat Alibaba Cloud eine chinesische Gebärdenübersetzungsdatenbank mit 25.000 Gebärden zusammengestellt, die von Gebärdensprachlern und Hörbeeinträchtigten gesammelt und kommentiert wurden.
Alibaba Cloud nutzt seinen fortschrittlichen visuellen Erkennungsalgorithmus und seine Bewegungsverfolgungsfunktionen, um die Bewegungen der Hörgeschädigten zu erfassen und die Gebärdensprache mithilfe eines hochmodernen Sprachübersetzungsmodells in natürliche Sprache zu übersetzen. Um die natürliche Sprache in Gebärdensprache umzuwandeln, hat Alibaba Cloud außerdem ein tiefes neuronales Netzwerk und ein Modul zur Erzeugung von Lippenbewegungen entwickelt, damit der digitale Avatar die Gebärdensprache präzise ausführen kann.
„Durch die Integration von Technologien für die Verarbeitung natürlicher Sprache, maschinellen Sehens und maschinellen Lernens haben wir ein Übersetzungssystem für Gebärdensprache entwickelt. Diese Innovation soll die Asian Para Games inklusiver und zugänglicher für Menschen mit Hörbehinderungen machen“, sagt Matt Zhang, Algorithm Engineer bei Alibaba Cloud.
Der KI-Gebärdensprachdolmetscher Xiaomo wurde auch in den Nachrichtenkanal der Asian Para Games integriert, um die Barrierefreiheit zu verbessern. Während der Asian Para Games kann Xiaomo hörgeschädigten Teilnehmern bei der Interaktion mit freiwilligen Helfern an den Austragungsorten helfen, wie beispielsweise bei Fragen nach dem Weg, der Suche nach medizinischer Hilfe und der Anzeige von Spielen.
