Musiktranskription mit Machine-Learning

Ziel dieser Bachelorarbeit ist die Entwicklung einer Smartphone-App zur automatischen Musiktranskrip- tion. Konkret kann mit dieser App Klavier- oder Trompetenmusik aufgenommen und an einen Server gesendet werden, wo die Rohdaten in Musiknoten umgewandelt werden (Transkription). Schliesslich wird das vollständige Notenblatt auf der App angezeigt, kann dort gespeichert und mit anderen Musikern geteilt werden. Zur Transkription der Musikaufnahmen setzten wir das künstliche neuronale Netz Onsets and Frames ein. Dieses Netz analysiert die zeitdiskreten Musiksignale (WAV) und transformiert diese Daten in ein eventbasiertes Standardprotokoll (MIDI). Die von Onsets and Frames ausgegebene Beschreibung der Musik ist hinsichtlich der Notation für Musiker unbrauchbar. Aus diesem Grund implementierten wir ein Postprocessing, welches grundlegende Regeln der Musiknotation berücksichtigt, um den Output von Onsets and Frames in ein qualitativ hochstehendes Notenblatt zu überführen. Der vor- liegende Bericht beschreibt den Prozess der Entwicklung eines Minimum-Viable-Products und diskutiert die erreichten Ergebnisse.

Studiengang
Systemtechnik
Art der Arbeit
Bachelorarbeit
Verfasser/in
Benjamin Frei
Tizian Ulber
Florian Müller
Jahr
2020
Projekteingabe:
08.09.2020
zurück