Algorithmen zur Synchronisation von Musikdaten im Partitur-, MIDI- und PCM-Format

Abstract

Digitalisierung und weltweite Vernetzung haben zu einer Flut von Daten höchst unterschiedlichen Inhalts und Formats geführt, die es durch gezielte multimediale Techniken sinnvoll zu nutzen gilt. Dabei stellen allerdings die Inhomogenität und Komplexität der vorliegenden Daten große Problemen dar.<br /> Zum Beispiel können im Fall des Datentyps Audio, um den es in der vorliegenden Arbeit geht, verschiedene Versionen ein und desselben Musikstücks in unterschiedlichen Datenformaten vorliegen; hier seien z.B. Partiturformat, MIDI-Format oder wellenformbasierte Datenformate wie das PCM-Format genannt. Für die inhaltsbasierte Suche in inhomogenen Musikdatenbänken werden Synchronisationsalgorithmen benötigt, die solche Daten unterschiedlicher Formate automatisch verlinken. Hierbei verstehen wir unter Synchronisation ein Verfahren, das zu einer bestimmten Position innerhalb einer Darstellung eines Musikstücks (z.B. in einem PCM-Datensatz) die entsprechende Stelle innerhalb einer anderen Darstellung (z.B. MIDI-Datensatz) bestimmen kann.<br /> In unserem Verfahren extrahieren wir vor der eigentlichen Synchronisation unter Verwendung von Multiraten-Filterbänken und Notenschablonen eine geeignete Menge an Notenereignissen (Kandidaten für Einsatzzeiten und Tonhöhen) aus der PCM-Darstellung, um so die PCM-Daten mit partiturähnlichen Daten überhaupt erst vergleichbar und algorithmisch zugänglich zu machen. Um die Synchronisation robust gegenüber unscharfen (impliziten) Notenereignissen in der Partitur (wie z.B. Triller, Arpeggien oder Verzierungen) zu machen, werden diese mittels sogenannter Fuzzy-Noten modelliert und gesondert behandelt. MIDI-Dateien und die PCM-Extraktionsdaten müssen aus technischen Gründen sowie zur Steigerung der Robustheit zeitquantisiert werden. Auf den so vorverarbeiteten Daten werden nun auf der Basis geeigneter Kostenfunktionen mittels dynamischer Programmierung kostenoptimale zeitliche Verlinkungen (Matchings) berechnet.<br /> Unser Verfahren wurde in MATLAB implementiert und anhand zahlreicher Beispiele unterschiedlicher Komplexität getestet.