MIRages: an account of music audio extractors, semantic description and context-awareness, in the three ages of MIR

Abstract

This tesis reports on research carried out and published during the last twenty years on different problems of Music Information Retrieval (MIR). We organize the text as a personal account and critical reflection along four hypothesized ages that have shaped the evolution of MIR. In the age of feature extractors, we present work on features to describe sounds and music, especially timbre and tonal aspects. In the age of semantic descriptors work on describing music with high-level concepts, such as mood, instruments, similarities, cover versions or genres, usually inferred with machine learning from annotated collections is reported. In the age of context-aware systems we report on user models for recommendation and for avatar generation, in addition to factors that influence music listening decisions. We finally discuss the possibility of a more recent age of creative systems where MIR features, classifiers, models and evaluation methodologies aid to enhance or expand music creation.

Aquesta tesi informa sobre recerca realitzada i publicada durant els últims vint anys en diferents problemes de Recuperació d'Informació Musical (MIR). Organitzem el text com a visió personal i reflexió crítica i utilitzant quatre hipotètiques edats que han configurat l'evolució del MIR. A l'edat dels extractors de característiques, presentem treballs sobre trets per a descriure sons i música, especialment timbre i aspectes tonals. A l'edat dels descriptors semàntics es treballa en la descripció de música amb conceptes d'alt nivell, com l'estat d'ànim, els instruments, les similituds, les versions musicals o els gèneres, generalment deduïts amb l'aprenentatge automàtic a partir de col·leccions anotades. En l'era dels sistemes sensibles al context, informem sobre models d'usuaris amb l’objectiu de fer recomanacions musicals i generació d'avatars, a més de factors que influeixen en les decisions d'escoltar música. S’esmenta, finalmente, una posible i més recent edat dels sistemes creatius on els descriptors, classificadors, models i metodologies d'avaluació de MIR ajuden a potenciar o ampliar la creació musical.