Score-Informed Audio Parameterization of Music Signals (MU 2686/6-1)
Third party funded individual grant
Acronym:
MU 2686/6-1
Start date :
01.12.2013
End date :
31.08.2017
Website:
https://www.audiolabs-erlangen.de/fau/professor/mueller/projects/siamus
Project details
Short description
In this project, we developed robust and practical methods for the automated parameterization of music signals. In particular, the goal was to identify and reconstruct signal components that correspond to individual notes events or entire melodic and instrumental voices—a task being closely related to what is commonly known as source separation in general audio signal processing. In the case of music, a key challenge is to allow complex superpositions of closely related musical sources including singing/instrumental voices and accompaniments in music such as piano songs or operas. Without additional knowledge, a decomposition of a one- or two-channel audio recording into such voices is hardly possible. Therefore, in this project, we followed an informed approach, where additional score information is exploited in the audio parameterization process. On the basis of automatically computed score–audio alignments, the score information was used to specify and guide the parameterization process as well as to support the signal analysis and reconstruction steps. In addition to fundamental research on signal modeling and parameter optimization, this project was also concerned with the development of novel applications demonstrating the practical relevance and ensuring the sustainability of the project.
Scientific Abstract
Dieses Projekt widmet sich der Erforschung und Umsetzung von robusten und praktikablen Verfahren zur automatisierten Parametrisierung von Musiksignalen. Hierbei geht es insbesondere um die Erfassung und Rekonstruktion von Signalkomponenten, die einzelnen Notenereignissen oder ganzen Melodie- und Instrumentalstimmen entsprechen - eine Aufgabenstellung, die im übergeordneten Bereich der Audiosignalverarbeitung einen engen Bezug zum Quellentrennungsproblem hat. Im Fall von Musik besteht eine wesentliche Herausforderung darin, komplexe Überlagerungen von in enger Beziehung stehenden musikalischen Stimmen zu erlauben (z. B. Gesangsstimmen, Instrumentalstimmen und Begleitstimmen in Klavierliedern oder Opern). Ohne Zusatzwissen ist eine Zerlegung einer ein- oder zweikanaligen Audioaufnahme in solche Stimmen kaum lösbar. Daher soll in diesem Projekt ein informierter Ansatz verfolgt werden, bei dem zusätzlich ein Notentext für die Audioparametrisierung herangezogen wird. Auf Basis von automatisiert berechneten Verküpfungen zwischen Notentext und Signal soll dabei die Notentextinformation zur Spezifikation und Steuerung des Parametrisierungsprozesses sowie zur Unterstützung der Signalanalyse und -rekonstruktion zum Einsatz kommen. Neben grundsätzlichen Fragestellungen der Signalmodellierung und Parameteroptimierung, sollen auch neuartige Anwendungen zur Audioeditierung realisiert werden, um somit den Praxisbezug und die Nachhaltigkeit des Projekts sicherzustellen.
Involved:
Contributing FAU Organisations:
Funding Source
