Advancing Music Processing for Concert Band and Wind Music (MPW)

Logo_DFG Teaser_MPW Logo_FAU

The aim of the MPW project is to advance music processing in the context of concert band and wind music, a domain deeply integrated into Germany's cultural landscape. The project is funded by the German Research Foundation. On this website, we summarize the project's main objectives and provide links to project-related resources (data, demonstrators, websites) and publications.

Project Description

Advancing Music Processing for Concert Band and Wind Music

This project aims to advance music processing in the context of concert band and wind music, a domain deeply integrated into Germany's cultural landscape yet significantly overlooked in the research field of Music Information Retrieval (MIR). Focusing on brass and woodwind instruments across a broad musical range, from classical to contemporary compositions, we aim to explore extensive possibilities for data-driven music and audio processing research. In particular, the project addresses two main objectives: achieving technical advancements in MIR and applying these advancements within a culturally significant amateur music context.

On the technical research side, our general objective is to expand the scope of current MIR techniques, which have largely focused on mainstream popular music or data-rich scenarios like piano music. We aim to explore the unique realm of concert band and wind music, systematically evaluating, refining, and customizing data-driven MIR methods. Our specific areas of focus include automatic music transcription, instrument recognition, music source separation, and generative music sound synthesis. As part of our overarching conceptual strategy, we will study suitably tailored loss terms and conditioning techniques to account for prior musical knowledge. Furthermore, we will investigate multi-task strategies for multi-instrument music transcription, incorporating analysis-by-synthesis approaches based on differentiable digital signal processing and source separation techniques. In this context, one main goal is to investigate, understand, and mitigate the impact of confounding factors, such as co-occurring instruments, instrument-specific musical motifs, or recording conditions, that cause models to respond to patterns not directly related to the desired musical or acoustical attributes.

On the music application side, our objective is to investigate how advanced MIR techniques can transform music education and rehearsal practices within amateur concert band and wind music communities. This effort encompasses more than just data organization and collection; it includes creating tools to help amateur musicians become familiar with the repertoire and to spark enthusiasm for this music among new generations.

Beyond these primary objectives, the project adopts open-source principles and fosters collaborations between engineers, computer scientists, musicians, conductors, and amateur concert bands. These collaborations will enable us to create music test sets and conduct real-world evaluations. Consequently, our holistic approach aims to drive substantial progress in MIR research by delving into a seldom-explored musical landscape, while supporting cultural heritage and enhancing music education.

Projektbeschreibung

Fortschritte in der Musikverarbeitung für Blasorchester und Blasmusik

Dieses Projekt zielt darauf ab, die Musikverarbeitung im Kontext von Blasmusik und Konzertmusik voranzutreiben, ein Bereich, der tief in Deutschlands Kulturlandschaft integriert ist, aber im Forschungsfeld des Music Information Retrieval (MIR) bisher kaum Beachtung findet. Mit dem Fokus auf Blech- und Holzblasinstrumente über ein breites musikalisches Spektrum von klassischer bis zeitgenössischer Musik möchten wir neue Forschungsrichtungen für die datengetriebene Musik- und Audioverarbeitung einschlagen. In diesem Projekt verfolgen wir zwei Hauptziele: technische Fortschritte im MIR-Bereich und die Anwendung dieser Fortschritte im kulturell bedeutenden Kontext der Amateurblasmusik.

Auf der technischen Seite besteht unser Ziel darin, aktuelle MIR-Techniken weiterzuentwickeln, die sich bisher weitgehend auf populäre Musik oder weit verbreitete Musikszenarien wie Klaviermusik konzentrieren, in denen viele Daten verfügbar sind. Insbesondere wollen wir systematisch datengetriebene Methoden für die automatische Musiktranskription, Instrumentenerkennung, Musikquellentrennung und generative Musikklangsynthese erforschen und diese im Kontext der Blasmusik evaluieren, verfeinern und anpassen. Als übergreifendes Konzept sollen neuartige Kostenfunktionen und Konditionierungstechniken zur Berücksichtigung musikalischen Vorwissens erforscht werden. Weiterhin sollen Multitask-Strategien für instrumentenspezifische Musiktranskription unter Einbeziehung von Analyse-durch-Synthese-Ansätzen. In diesem Kontext besteht ein zentrales Ziel darin, die Auswirkungen von Störfaktoren wie gleichzeitig auftretende Instrumente, instrumentenspezifische musikalische Motive und Aufnahmebedingungen besser zu verstehen. Insbesondere wollen wir durch die oben genannten Strategien den Einfluss solcher Faktoren mindern, die dazu führen, dass Modelle auf Muster reagieren, die nicht den gewünschten musikalischen oder akustischen Attributen entsprechen.

Auf der Anwendungsseite möchten wir untersuchen, wie fortschrittliche MIR-Techniken die Musikerziehung und Probenpraxis innerhalb von Amateurorchestern und Blasmusikgruppen unterstützen können. Dabei geht es nicht nur um die Organisation und Sammlung von Daten, sondern auch um die Entwicklung von Werkzeugen, die Amateurmusikern helfen, sich mit dem Repertoire vertraut zu machen und Begeisterung für diese Musik bei neuen Generationen zu wecken.

Über diese Hauptziele hinaus verfolgt das Projekt Open-Source-Prinzipien und fördert die Zusammenarbeit zwischen Ingenieuren, Informatikern, Musikern, Dirigenten und Amateur-Blasorchestern. Diese Kooperation ermöglicht es uns, realistische Datensätze für Experimente zu erstellen und praxisrelevante Evaluierungen durchzuführen. Unser ganzheitlicher Ansatz zielt darauf ab, bedeutende Fortschritte in der MIR-Forschung zu machen, indem wir ein bisher wenig erforschtes musikalisches Gebiet erkunden, das kulturelle Erbe fördern und die Musikausbildung unterstützen.

Projected-Related Resources and Demonstrators

The following list provides an overview of the most important publicly accessible sources created in the MPW project:

Projected-Related Publications

The following publications reflect the main scientific contributions of the work carried out in the MPW project.

    Projected-Related Ph.D. Theses

      Links