CORDIS - Forschungsergebnisse der EU
CORDIS

Automatic music transcription of polyphonic audio

Article Category

Article available in the following languages:

App, die Töne in Noten verwandelt, lässt Musikindustrie aufhorchen

Eine Hybridtechnologie, die von virtuellen Assistenten und Apps wie bspw. Google Translate inspiriert ist, steht jetzt Musikern aus aller Welt zur Verfügung. Die Nutzung der App ermöglicht es, Töne mit einer nie dagewesenen Genauigkeit in Musiknotation zu übertragen.

Digitale Wirtschaft icon Digitale Wirtschaft

Für Laien, die einfach Musik in ihrem Fahrzeug oder auf ihren Kopfhörern genießen möchten, war die Komplexität der Musiknotation stets wenig einladend. Es ist nicht nur so, dass sich das Lesen einer Notation schwierig gestaltet, das flüssige Schreiben von Noten ist noch komplizierter, insbesondere wenn es um polyphone musikalische Töne geht. Nichtsdestoweniger handelt es sich dabei um einen entscheidenden Prozess: viele Musiker würden die Auffassung teilen, dass die Notation eine bessere Musik ermöglicht. Für diese Musiker wäre etwas so revolutionär Einfaches wie Google Translate im Bereich der Musiknotation wie ein wahr gewordener Traum, hebt Prof. Sven Ahlbäck vom schwedischen Unternehmen DoReMIR Music Research AB hervor. „Musikalische Ideen, Lieder oder Melodien können plötzlich vor dem geistigen Auge auftauchen, und wenn dies geschieht, ist es wichtig, die Idee schnell festzuhalten, bevor sie verschwindet. Das Notieren von Musik von Hand oder auf dem Computer ist stets ein langwieriger Prozess gewesen, dessen Meisterung Zeit in Anspruch nimmt und eine Analyse der Musiksyntax erforderlich macht, damit Zeitsignatur, Tempo, Tonart usw. erkannt werden können. Die Möglichkeit, von der musikalischen Idee direkt zur Musiknotation überzugehen, würde für viele Musiker wichtige Zeitersparnisse bedeuten.“ Die Suche hat ein Ende: ScoreCloud, ein virtueller Notationsassistent, der als PC/Mac-Software und als iOS-App verfügbar ist, steht jetzt dank der Unterstützung unter dem KMU-Instrument als kostenlose Version wie auch als Version mit monatlichen Beiträgen zum Download bereit. Man kann sich das Programm wie Amazons Alexa oder Apples Siri als virtuellen Assistenten vorstellen, der mit einer Instant-Übertragungsfunktion ausgestattet ist: Beim Singen oder Spielen eines Instruments wird ScoreCloud die Musik für Sie notieren, davon ausgehend können Sie Ihre Ideen dann in der App zu Arrangements und Kompositionen ausarbeiten. Dank des my.scorecloud-Webservice können Sie Ihre Notationen sogar mit der Welt teilen. „Ich habe viele Jahre lang erforscht, wie Menschen musikalische Strukturen wahrnehmen und festgestellt, dass diese Forschung zur Entwicklung einer Computersoftware genutzt werden könnte, die automatisch Musiknotationen erstellt“, erklärt Prof. Ahlbäck. „So entstand ScoreCloud, als Hilfe für alle Musiker – von Anfängern und Musikamateuren bis hin zu Profis –, die auf andere angewiesen sind, um ihre Musik einspielen zu lassen oder die sie per Musiknotation entwickeln möchten.“ Auch musikalische Komplexität stellt kein Hindernis dar. Laut Prof. Ahlbäck ahmt die kognitive Modellierung von ScoreCloud nach, wie wir Musik wahrnehmen und wird versucht, eine Musiknotation hervorzubringen, die nicht nur präzise, sondern auch lesbar ist. Es wird zwischen mehreren Stimmen unterschieden und die Partitur wird vereinfacht, ganz so wie bei einem menschlichen Musiker, der Musik notiert. Die Möglichkeit, ScoreCloud in die Lage zu versetzen, es mit dieser Komplexität aufzunehmen, ist tatsächlich der ausschlaggebende Grund dafür gewesen, dass für DoReMIR EU-Fördermittel beantragt wurden. „Ein großes Problem für die automatische Musiknotation ist die Analyse polyphoner musikalischer Töne gewesen, bei denen mehr als eine Note gleichzeitig hörbar ist. Noch vor wenigen Jahren war das Leistungsniveau für die Erkennung der Tonhöhe bei weitem nicht ausreichend für die Erschaffung von Partituren aus polyphonen Instrumenten wie z. B. dem Klavier oder der Gitarre. Wir wollten sehen, ob wir dieses Hindernis durch Nutzung der modernsten Technologie in Kombination mit kognitiver Modellierung überwinden könnten, um die automatische Musiktranskription von polyphonen Tönen Realität werden zu lassen. Die EU-Fördermittel gaben uns diese Möglichkeit“, sagt Prof. Ahlbäck. In der Rückbetrachtung übertraf das im Zuge des DoReMIR (Automatic music transcription of polyphonic audio)-Projekts entwickelte Transkriptionssystem für polyphone Tonhöhen die ursprünglichen Erwartungen. Prof. Ahlbäck spricht von einer Weltrekordleistung. „Betatests führten dazu, dass Menschen ScoreCloud als den ,missing link‘ zwischen ertönender Musik und Musiknotation beschrieben. Wir haben auch Interesse von anderen Softwareunternehmen erhalten, die unsere Technologie nutzen möchten“, erklärt Prof. Ahlbäck begeistert. Auch wenn das Projekt im September 2017 abgeschlossen wurde, haben Prof. Ahlbäck und sein Team „eine lange Produktlinie“ in der Pipeline, die plattformübergreifende Apps beinhaltet, welche auf Sänger, Songwriter oder Kinder ausgerichtet sind, die mehr über Musik erfahren möchten. „Diese Technologie macht es möglich, musikalische Inhalte in einer nie dagewesenen Weise zu analysieren, was wiederum die Tür für Anwendungen im Bereich der musikalischen Inhaltssuche oder in Musikempfehlungssystemen usw. öffnet. Wir veröffentlichen zudem momentan eine musikalische Mitteilungs-App, welche die Nachrichtenübermittlung musifiziert. Die Möglichkeiten sind grenzenlos“, schlussfolgert Prof. Ahlbäck.

Schlüsselbegriffe

DOREMIR, ScoreCloud, App, Musiknotation, Google Translate, Software, virtueller Assistent

Entdecken Sie Artikel in demselben Anwendungsbereich