Les emocions en la música: estudi de l’efecte de la veu, la instrumentació i la producció en el reconeixement d’emocions

Abstract

En aquest treball abordem la caracterització i classificació d'emocions expressades en la música. Ho fem dins d'un context sonològic, ja que ens preguntem si aquesta comunicació d'emocions és diferent quan escoltem diferents materials que s'integren dins d'una cançó (veu sola, instrumentació, veu i instrumentació) que quan escoltem la peça completament produïda. A partir de la revisió de la literatura sobre el tema, proporcionem una visió general de les característiques i problemàtiques més destacables en la classificació d’emocions expressades en la música. Per a tal fi, es crea una col·lecció de fragments musicals d’estils i estímuls emocionals variats, dels quals s’extreuen quatre variants diferents: veu, instrumental, veu + instrumental i mescla; cadascun d’aquests fragments és avaluat per diferents subjectes amb relació a les emocions percebudes en cada fragment. Les respostes són analitzades estadísticament i s’estableixen relacions entre els fragments i les emocions, tant a nivell de la predominança d’una emoció com de la relació entre elles en cadascun dels fragments.

En aquest sentit, s’ha pogut observar com, d’una banda, les emocions positives (alegria, animació) tendeixen a obtenir resultats de percepció més alts que les emocions negatives (irritació, menyspreu) i, d’altra banda, com els diferents elements que integren una cançó tenen un efecte rellevant en la percepció de les emocions. A continuació, es fa una anàlisi acústica i s’extreuen els descriptors i característiques musicals més rellevants de cadascun d’ells per a ser utilitzats en uns models que permetin predir quines seran les emocions percebudes pels oients en altres fragments i per a les diferents condicions musicals esmentades anteriorment.

En aquest sentit, les emocions negatives han obtingut els millors valors de predicció, principalment en la condició mescla, la qual ha vist incrementada la seva efectivitat de predicció en combinació amb els elements de les condicions veu i instrumental.

En este trabajo abordamos la caracterización y clasificación de emociones expresadas en la música. Lo hacemos desde un contexto sonológico, ya que nos preguntamos si esta comunicación de emociones es diferente cuando escuchamos los distintos materiales que se integran en una canción (voz sola, instrumentación, voz + instrumentación) que cuando escuchamos la pieza completamente producida.

A partir de la revisión de la literatura sobre el tema, proporcionamos una visión general de las características y problemáticas más destacables en la clasificación de emociones expresadas en la música. Para tal fin, se crea una colección de fragmentos musicales de estilos y estímulos emocionales variados, de los cuales se extraen cuatro variantes diferentes: voz, instrumental, voz + instrumental y mezcla; cada uno de estos fragmentos es evaluado por diferentes sujetos en relación con las emociones percibidas.

Las respuestas son analizadas estadísticamente y se establecen relaciones entre los fragmentos y las emociones, tanto a nivel de predominio de una emoción como de la relación entre ellas en cada fragmento. En este sentido, se ha podido observar cómo, por un lado, las emociones positivas (alegría, animación) tienden a obtener valores de percepción más altos que las emociones negativas (irritación, desprecio) y, por otro lado, cómo los diferentes elementos que integran una canción tienen un efecto relevante en la percepción de las emociones.

A continuación, se realiza un análisis acústico de cada fragmento y se extraen los descriptores y características musicales más relevantes para ser utilizados en modelos que permitan predecir qué emociones serán percibidas por los oyentes en otros fragmentos y bajo las diferentes condiciones musicales mencionadas anteriormente.

En este sentido, las emociones negativas han obtenido los mejores valores de predicción, principalmente en la condición mezcla, la cual ha visto incrementada su efectividad de predicción cuando se combina con los elementos de las condiciones de voz e instrumentación.

This project addresses the characterization and classification of emotions expressed in music. The analysis has been carried out from a sonological perspective, with the aim of investigating whether these emotions are perceived differently when listening to the individual components of a song (voice, instrumentation, voice + instrumentation) compared to listening to the fully produced piece.

After reviewing the existing literature, we have provided a comprehensive overview of the most relevant features and challenges in the categorization of emotions expressed by music. To this end, we created a collection of musical excerpts from various styles designed to elicit different emotional responses. From these, four different versions were extracted: voice, instrumentation, voice + instrumentation, and a full mix. The emotions perceived in each excerpt were evaluated by a diverse group of participants through a survey.

The responses were analyzed statistically, establishing connections between each excerpt and the emotions perceived, considering both the predominant emotion and the relationships among emotions within each excerpt. In this analysis, we observed that positive emotions (e.g., happiness, animation) tend to be perceived more strongly than negative emotions (e.g., irritation, contempt). Furthermore, the individual elements of a song were found to significantly influence the perception of emotions.

Subsequently, an acoustic analysis of each excerpt was conducted, and the most relevant musical descriptors and features were extracted. These features were then used to develop models capable of predicting which emotions would be perceived by listeners in other excerpts and under the various musical conditions described above.

In this context, negative emotions yielded the highest prediction accuracy, particularly in the mixed condition. Moreover, the predictive effectiveness of the mixed condition increased when combined with the features of the voice and instrumental conditions.