Bowing the violin: a case study for auditory-motor pattern modelling in the context of music performance

Abstract

Aquest projecte adreça reptes metodològics i tècnics en el desenvolupament de mètodes d’adquisició i anàlisi de dades multi-models per a la representació de tècniques instrumentals en la interpretació musical mitjançant models de patrons auditorimotors. El cas d’estudi és la interpretació del violí: s’ha construït una base de dades multi-modal amb músics tocant diferents exercicis al violí i enregistrant-los amb diferents instruments. El conjunt d’exercicis i el protocol d’enregistrament s’han dissenyat per mostrejar l’espai definit per la dinàmica (de piano a forte) i el to (de sul tasto a sul ponticello), per cada tipus d’arcada tocada en cadascuna de les quatre cordes (i tres notes diferents per corda) a dos tempi diferents. Les dades, que contenen fonts d’àudio, vídeo i captura de moviment, s’han processat i segmentat per facilitar anàlisis posteriors. A partir de les dades de moviment adquirides, la posició dels límits de les cordes de l’instrument i de les cerdas de l’arc es segueixen i processen per tal d’obtenir un nombre de descriptors de l’arc, que permeten fer una descripció i anàlisi detallada dels patrons de moviment de l’arc durant l’acte interpretatiu. De manera similar, es calculen uns quants atributs perceptuals a partir de les fonts d’àudio. A part de la metodologia i implementació d’un conjunt d’eines per a l’adquisició de dades, aquest projecte introdueix resultats preliminars fruit de l’anàlisi de la tècnica de l’arc en una base de dades multi-modal amb interpretacions de violí única en la seva espècie. Una altra contribució del projecte són les dades en si mateixes, que es posaran a disposició de la comunitat científica mitjançant la plataforma Repovizz.

En este proyecto se abordan retos metodológicos y técnicos en el desarrollo de métodos de adquisición y análisis de datos multi-modales para la representación de técnicas instrumentales en la interpretación musical mediante modelos de patrones auditorio-motores. El caso de estudio es la interpretación del violín: se ha construido una base de datos multi-modal con músicos tocando diferentes ejercicios al violín grabados con distintos dispositivos. El conjunto de ejercicios y el protocolo de grabación han sido diseñados para muestrear el espacio definido por la dinámica (de piano a forte) y el tono (de sul tasto a sul ponticello), por cada tipo de arcada tocada en cada una de las cuatro cuerdas (y con tres notas distintas por cuerda) a dos tempi distintos. Los datos, que contienen fuentes de audio, vídeo y captura de movimiento, se han procesado y segmentado para facilitar posteriores análisis. A partir de los datos de movimiento adquiridos, se sigue la posición de los límites de las cuerdas del instrumento y de las cerdas del arco para procesarlas y obtener unos descriptores del arco, que permiten hacer una descripción y análisis detallado de los patrones de movimiento del arco durante la interpretación. De forma similar, se calculan atributos perceptuales a partir de las fuentes de audio. Aparte de la metodología e implementación de un conjunto de herramientas para la adquisición de datos, este proyecto introduce resultados preliminares fruto del análisis de la técnica de arco en una base de datos multi-modal sobre la interpretación del violín única en su especie. Otra contribución del proyecto son los datos en sí mismos, que se publicarán para su uso en la comunidad científica mediante la plataforma Repovizz.

This project addresses methodological and technological challenges in the development of multi-modal data acquisition and analysis methods for the representation of instrumental playing technique in music performance through auditory-motor patterning models. The case study is violin performance: a multi-modal database of violin performances has been constructed by recording different musicians while playing short exercises on different violins. The exercise set and recording protocol have been designed to sample the space defined by dynamics (from piano to forte) and timbre (from sul tasto to sul ponticello), for each type of bow stroke performed on each of the four strings (three different pitches per string) at two different tempi. The data, containing audio, video, and motion capture streams, has been processed and segmented to facilitate subsequent analyses. From the acquired motion data, the positions of the instrument string ends and the bow hair ribbon ends are tracked and processed to obtain a number of bowing descriptors that allow a detailed description and analysis of the bow motion patterns occurring during performance. Likewise, a number of perceptual audio attributes are computed from the audio streams. Besides the methodology and the implementation of a number of data acquisition tools, this project introduces preliminary results from analyzing bowing technique on a multi-modal violin performance database that is unique in its kind. A further contribution of this project is the data itself, which will be made available to the scientific community through the Repovizz platform.