International Audio Laboratories Erlangen

Computergestützte Analyse von Musikaufnahmen – ein Beispiel für interdisziplinäre Forschung

Teaser_01_MusicRepr Teaser_02_FourierTr Teaser_05_ChordReco Teaser_05_ScaleWalkuere


This is an invited workshop organized by Trimberg Research Academy (TRAc) in the context of Woche der Forschung 2019 at Otto-Friedrich-Universität Bamberg.

Content [German]

Dieser Workshop ist für ein allgemeines, fächerübergreifendes Publikum konzipiert und soll einen Einblick in die computergestützte Analyse von Audiodaten vermitteln. Solche Methoden können für die Bereiche "Angewandte Informatik" und "Medieninformatik", aber auch für "Computing in the Humanities" von großem Interesse sein. Durch die Berücksichtigung von Tonaufnahmen (z. B. gesprochene Sprache) lassen sich völlig neue Wege des Erkenntnisgewinns erschließen, beispielsweise in den Kommunikations- und Sprachwissenschaften, sowie insbesondere in der Musikwissenschaft. Neben digitalisierten Texten und Partituren spielen dort zunehmend auch Musikaufnahmen eine Rolle. Dieser Workshop soll ein Gefühl für die Komplexität von Audiodaten vermitteln und automatisierte Verarbeitungstechniken vorstellen. Es wird gezeigt, wie Aufnahmen musikalisch analysiert und relevante Informationen extrahiert werden können. Die Anwendung auf große Musikkorpora unter Einbeziehung des maschinellen Lernens zeigt das Potential der computergestützten Methoden. Deren kritische Diskussion aus Sicht der verschiedenen Disziplinen soll Vorbehalte, Herausforderungen und Chancen interdisziplinärer Forschung verdeutlichen.

Inhalte

  • Vortrag: Annotation von Taktgrenzen in Richard Wagners „Ring“
  • Anwendung: Audio-Annotationen und Analysen mit Sonic Visualizer
  • Vortrag: Versionsübergreifende Analyse von Akkorden und Tonarten
  • Programmierübung: Chromamerkmale und Tonartvisualisierung
  • Vortrag: Maschinelles Lernen und Korpusanalysen in klassischer Musik und Jazz
  • Diskussion: Herausforderungen und Chancen interdisziplinärer Forschung

Lernziele

Grundprinzipien der Verarbeitung von Audiodaten, Maschinelles Lernen und Korpusanalyse, Herausforderungen und Chancen interdisziplinärer Forschung am Beispiel der computergestützten Musikanalyse

Voraussetzungen für die Teilnahme

Der Workshop ist für ein allgemeines, fächerübergreifendes Publikum konzipiert (Master-Studierende, Promovierende und PostDocs). Die technischen Methoden können besonders für die Bereiche Angewandte Informatik / Medieninformatik / Computing in the Humanities von Interesse sein. Der Umgang mit Audiodaten ist für die Musikwissenschaft, die Kommunikationswissenschaft sowie für Sprachwissenschaften (Analyse gesprochener Sprache) relevant.

Einen Eindruck von den Inhalten vermittelt folgendes Video, produziert im Zusammenhang mit dem KlarText-Preis 2018 der Klaus-Tschira-Stiftung:

Playing back this video will transmit data to the service provider. To activate the video player, please press the button below.

Material

  • Slides (PDF),
  • Handouts (6 slides per page) (PDF)

Tools

Dissertation

Christof Weiß
Computational Methods for Tonality-Based Style Analysis of Classical Music Audio Recordings
See [1] for details.

Textbook

Cover_Mueller_FMP_small

Meinard Müller
Fundamentals of Music Processing
Audio, Analysis, Algorithms, Applications
ISBN: 978-3-319-21944-8
Springer, 2015

Further Literature

  1. Christof Weiß
    Computational Methods for Tonality-Based Style Analysis of Classical Music Audio Recordings
    PhD Thesis, Ilmenau University of Technology, 2017. PDF Presentation 
    @PhdThesis{Weiss17_StyleAnalysis_PhD,
author           = {Christof Wei{\ss}},
title            = {Computational Methods for Tonality-Based Style Analysis of Classical Music Audio Recordings},
school           = {Ilmenau University of Technology},
address          = {Ilmenau, Germany},
year             = {2017},
url              = {http://www.db-thueringen.de/receive/dbt_mods_00032890},
url-pdf          = {http://www.db-thueringen.de/servlets/MCRFileNodeServlet/dbt_derivate_00039054/ilm1-2017000293.pdf},
url-presentation = {2017_Weiss_PhD-Defense_TUIlmenau.pdf}
}
  2. Meinard Müller
    Fundamentals of Music Processing — Audio, Analysis, Algorithms, Applications
    Springer Verlag, ISBN: 978-3-319-21944-8, 2015. Details 
    @book{Mueller15_FundamentalsMusicProcessig_SPRINGER,
author    = {Meinard M\"{u}ller},
title     = {Fundamentals of Music Processing -- Audio, Analysis, Algorithms, Applications},
type      = {Monograph},
year      = {2015},
isbn      = {978-3-319-21944-8},
publisher = {Springer Verlag},
url-details={http://www.music-processing.de}
}
  3. Christof Weiß, Matthias Mauch, Simon Dixon, and Meinard Müller
    Investigating Style Evolution of Western Classical Music: A Computational Approach
    Musicae Scientiae, 2018. PDF Details DOI 
    @article{WeissMDM18_StyleEvolution_MusicaeScientiae,
author  = {Christof Wei{\ss} and Matthias Mauch and Simon Dixon and Meinard M{\"u}ller},
title   = {Investigating Style Evolution of Western Classical Music: A Computational Approach},
journal = {Musicae Scientiae},
volume  = {0},
number  = {0},
pages   = {0},
year    = {2018},
doi     = {10.1177/1029864918757595},
url-pdf = {2017_WeissMDM_StyleClustering_MS.pdf},
url-details = {https://www.audiolabs-erlangen.de/resources/MIR/cross-era/}
}
  4. Christof Weiß, Frank Zalkow, Meinard Müller, Stephanie Klauk, and Rainer Kleinertz
    Computergestützte Visualisierung harmonischer Verläufe: Eine Fallstudie zu Wagners Ring
    In Proceedings of the 47. Jahrestagung der Gesellschaft für Informatik (GI): 205–217, 2017. PDF 
    @inproceedings{WeissZMKK_WagnerRing_GI,
author    = {Christof Wei{\ss} and Frank Zalkow and Meinard M{\"u}ller and Stephanie Klauk and Rainer Kleinertz},
title     = {{C}omputergest{\"u}tzte {V}isualisierung harmonischer {V}erl{\"a}ufe: {E}ine {F}allstudie zu {W}agners {R}ing},
booktitle = {Proceedings of the 47. Jahrestagung der Gesellschaft f{\"{u}}r Informatik ({GI})},
pages     = {205--217},
address   = {Chemnitz, Germany},
year      = {2017},
url-pdf   = {https://scholar.google.de/scholar?oi=bibs&cluster=2644185005337595181&btnI=1&hl=de}
}
  5. Christof Weiß, Rainer Kleinertz, and Meinard Müller
    Möglichkeiten der computergestützten Erkennung und Visualisierung harmonischer Strukturen — eine Fallstudie zu Richard Wagners Die Walküre''
    In Bericht zur Jahrestagung der Gesellschaft für Musikforschung (GfM) 2015 in Halle/Saale, 2016. PDF 
    @inproceedings{WeissKM16_Wagner_GfM,
author    = {Christof Wei{\ss} and Rainer Kleinertz and Meinard M{\"u}ller},
title     = {{M}{\"o}glichkeiten der computergest{\"u}tzten {E}rkennung und {V}isualisierung harmonischer {S}trukturen -- eine {F}allstudie zu {R}ichard {W}agners ``{D}ie {W}alk{\"u}re''},
booktitle = {{B}ericht zur {J}ahrestagung der {G}esellschaft f{\"u}r {M}usikforschung ({GfM}) 2015 in Halle/Saale},
editor    = {Wolfgang Auhagen and Wolfgang Hirschmann},
publisher = {{S}chott {C}ampus},
address   = {Mainz, Germany},
year      = {2016},
url-pdf   = {2016_WeissKM_HarmStrukturWalkuere_SchottCampus.pdf}
}
  6. Frank Zalkow, Christof Weiß, and Meinard Müller
    Exploring Tonal-Dramatic Relationships in Richard Wagner's Ring Cycle
    In Proceedings of the 18th International Society for Music Information Retrieval Conference (ISMIR): 642–648, 2017. PDF 
    @inproceedings{ZalkowWM17_WagnerHarmony_ISMIR,
author    = {Frank Zalkow and Christof Wei{\ss} and Meinard M{\"u}ller},
title     = {Exploring Tonal-Dramatic Relationships in {R}ichard {W}agner{'}s {R}ing Cycle},
booktitle = {Proceedings of the 18th International Society for Music Information Retrieval Conference ({ISMIR})},
pages     = {642--648},
address   = {Suzhou, China},
year      = {2017},
url-pdf   = {http://ismir2017.smcnus.org/wp-content/uploads/2017/10/132_Paper.pdf}
}
  7. Christof Weiß, Vlora Arifi-Müller, Thomas Prätzlich, Rainer Kleinertz, and Meinard Müller
    Analyzing Measure Annotations for Western Classical Music Recordings
    In Proceedings of the International Conference on Music Information Retrieval (ISMIR): 517–523, 2016. PDF 
    @inproceedings{WeissAPKM16_Measure_ISMIR,
author    = {Christof Wei{\ss} and Vlora Arifi-M{\"u}ller and Thomas Pr{\"a}tzlich and Rainer Kleinertz and Meinard M{\"u}ller},
title     = {Analyzing Measure Annotations for Western Classical Music Recordings},
booktitle = {Proceedings of the International Conference on Music Information Retrieval ({ISMIR})},
address   = {New York, USA},
year      = {2016},
pages     = {517--523},
url-pdf   = {2016_WeissAPKM_MeasureAnnotation_ISMIR_ePrint.pdf}
}
  8. Christof Weiss and Meinard Müller
    Tonal Complexity Features for Style Classification of Classical Music
    In Proceedings of the IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP): 688–692, 2015. PDF 
    @inproceedings{WeissM15_TonalComplexity_ICASSP,
author    = {Christof Weiss and Meinard M{\"u}ller},
title     = {Tonal Complexity Features for Style Classification of Classical Music},
booktitle  = {Proceedings of the {IEEE} International Conference on Acoustics, Speech, and Signal Processing ({ICASSP})},
address  = {Brisbane, Australia},
year       = {2015},
pages    = {688--692},
url-pdf   = {2015_WeissMueller_TonalComplexity_ICASSP.pdf}
}
  9. Christof Weiß and Meinard Müller
    Quantifying and Visualizing Tonal Complexity
    In Proceedings of the 9th Conference on Interdisciplinary Musicology (CIM): 184–187, 2014. PDF 
    @inproceedings{WeissM14_TonalComplexity_CIM,
author    = {Christof Wei{\ss} and Meinard M{\"u}ller},
title     = {Quantifying and Visualizing Tonal Complexity},
booktitle = {Proceedings of the 9th Conference on Interdisciplinary Musicology ({CIM})},
pages     = {184--187},
address   = {Berlin, Germany},
year      = {2014},
url-pdf   = {CIM14_WeissMueller_TonalComplexity.pdf}
}
  10. Christof Weiß and Julian Habryka
    Chroma-Based Scale Matching for Audio Tonality Analysis
    In Proceedings of the 9th Conference on Interdisciplinary Musicology (CIM): 168–173, 2014. PDF 
    @inproceedings{WeissH14_LocalKeys_CIM,
author    = {Christof Wei{\ss} and Julian Habryka},
title     = {Chroma-Based Scale Matching for Audio Tonality Analysis},
booktitle = {Proceedings of the 9th Conference on Interdisciplinary Musicology ({CIM})},
pages     = {168--173},
address   = {Berlin, Germany},
year      = {2014},
url-pdf   = {CIM14_WeissHabryka_ScaleMatching.pdf}
}
  11. Julian Habryka and Christof Weiß
    Zum Scherzo aus Hans Rotts 1. Sinfonie
    In Ariane Jeßulat (ed.): Mythos Handwerk?, Königshausen & Neumann: 187–212, 2015. 
    @incollection{HabrykaW15_LocalKey_KOENIGSHAUSEN,
author    = {Julian Habryka and Christof Wei{\ss}},
title     = {{Z}um {S}cherzo aus {H}ans {R}otts 1. {S}infonie},
publisher = {{K}{\"o}nigshausen {\&} {N}eumann},
editor    = {Ariane Je{\ss}ulat},
booktitle = {{M}ythos {H}andwerk?},
pages     = {187--212},
address   = {W{\"u}rzburg, Germany},
year      = {2015}
}
  12. Chris Cannam, Christian Landone, and Mark B. Sandler
    Sonic Visualiser: An Open Source Application for Viewing, Analysing, and Annotating Music Audio Files
    In Proceedings of the International Conference on Multimedia: 1467–1468, 2010. 
    @inproceedings{CannamLS10_SonicVisualizer_ICMC,
author    = {Chris Cannam and Christian Landone and Mark B. Sandler},
title     = {Sonic Visualiser: An Open Source Application for Viewing, Analysing, and Annotating Music Audio Files},
booktitle = {Proceedings of the International Conference on Multimedia},
address   = {Florence, Italy},
month     = {October},
pages     = {1467--1468},
year      = {2010},
}