Realatare werden bald auf unseren Bildschirmen erscheinen
Der Zugang zu Informationen, Kommunikation und Wissen ist enorm wichtig für eine volle und gleichwertige Teilnahme Gehörloser an der Gesellschaft. Die Richtlinie über audiovisuelle Mediendienste(öffnet in neuem Fenster) soll sicherstellen, dass EU-Mitgliedstaaten den Beitrag der Mediendienste zu Gleichstellung und Barrierefreiheit der Inhaltsverbreitung und -zugänglichkeit gewährleisten. Doch Inhalte mit Gebärdensprache zu produzieren ist kostspielig und viele Unternehmen bieten nur wenige Sendungen mit Gebärdensprache an, die meist spät abends ausgestrahlt werden. Das EU-finanzierte Projekt Content4All(öffnet in neuem Fenster) will dies ändern und Inhalte über einen automatischen Arbeitsablauf für Übersetzungen in Gebärdensprache mit einem fotorealistischen menschlichen 3D-Avatar für TV-Ausstrahlungen zugänglicher für Gehörlose machen. „Wir hatten zwei Hauptziele. Das erste war eine kostengünstige Lösung zur Produktion von Versionen mit Gebärdensprache der für hörendes Publikum produzierten Inhalte, ohne das Fernseherlebnis des aktuellen Publikums einzuschränken. Das zweite war die Erstellung von Datensätzen und Algorithmen zur Untersuchung der automatisierten Inhaltserstellung in Gebärdensprache“, merkt Giacomo Inches an, Projektkoordinator und Innovationstechnologe bei der Fincons Group.
Das ist Realatar, der Avatar
Der Avatar wird mit einem innovativen Multikamerastudio erstellt, in dem Bewegungen(öffnet in neuem Fenster) echter Menschen aufgenommen und dann mithilfe von KI-Algorithmen verarbeitet werden. Das Endergebnis ist ein fotorealistischer 3D-Avatar namens Realatar, der über Video-Streams verbreitet werden kann. Inches erklärt weiter: „Die automatische Erzeugung von Gebärdensprache war ein technologischer Versuch im Labor, der nicht für die Vermarktung gedacht war. Gleichzeitig untersuchten wir das neue Konzept eines ‚Fernstudios‘ für Fernsehveranstalter, bei dem Übersetzende arbeiten können, ohne zum Standort des Senders reisen zu müssen.“ Die so gesparte Zeit könnte dann für mehr Inhalte in Gebärdensprache genutzt werden. Die im Projekt eingesetzten Technologien beruhen auf fortschrittlichem Deep Learning und Algorithmen maschinellen Lernens. Mit ihnen kann ein Computer große Datenmengen aufnehmen und von Befehlen über Beispiele das gewünschte Ergebnis produzieren. „Im Projekt halfen die Algorithmen, eine echte Person in Echtzeit als virtuellen Menschen zu reproduzieren, mit einer dafür entwickelten HbbTV-App(öffnet in neuem Fenster)“, betont Inches. Mit dieser Lösung können Fernsehveranstalter günstig und nachhaltig Sendungen mit Gebärdensprache produzieren, was letztendlich zu mehr Produktion führen wird.
Erste beachtliche Erfolge
„Der innovative Charakter dieses Konzepts wurde auf der Broadcast Engineering and Information Technology Conference 2020 mit dem renommierten NAB Technology Innovation Award(öffnet in neuem Fenster) ausgezeichnet“, berichtet Inches. Zusätzlich konnte sich das Projekt mit Unterstützung der Partnervertreterorganisationen mit Gehörlosen in Belgien und der Schweiz austauschen, um die technologischen Komponenten zu validieren. Dank dieser Diskussionen konnte das Projekt eine Initiative im Rahmen der COST-Aktion ins Leben rufen, LEAD-ME(öffnet in neuem Fenster), die europäische Interessengruppen im Bereich der Medienzugänglichkeit zusammenbringt. Zwei weitere Projekte, EASIER(öffnet in neuem Fenster) und SignON(öffnet in neuem Fenster), werden sich auf die Projekterfolge von Content4All stützen und diese erweitern, indem sie die Datensammlung direkt einsetzen. Außerdem untersucht die Fincons Group, Koordinator und führender Industriepartner, konkrete Möglichkeiten, die Projektergebnisse in ihrem Netzwerk einzusetzen. Inches meint abschließend: „Ein langfristiges, konkretes Ergebnis des Projekts wäre der Einsatz der Sammlung an Text mit Gebärdensprachevideos in der Forschung und für vorkommerzielle Zwecke. Dadurch würde es zur zukünftigen Entwicklung der verschiedenen Algorithmen für die Erkennung von Gebärdensprache beitragen.“