DESARROLLO DE UN SISTEMA DE RENDERIZADO AUDIOVISUAL DE LA ESCENA SONORA BASADO EN SEPARACIÓN DE FUENTES

Abstract

[ES] Este proyecto consiste en el desarrollo de una escena de realidad virtual en la que el usuario pueda revivir un evento musical interaccionando con las fuentes que se encuentran en dicha escena. Para la experiencia auditiva, además de usar unas gafas VR como soporte, se utilizarán los principios de síntesis binaural para obtener una sensación sonora de audio 3D. Además, se utilizarán técnicas de separación de fuentes basadas en Non-Negative Matrix Factorization (NMF) mediante las cuales se obtendrá, a partir de una señal monoaural, las diferentes fuentes de instrumentos y voz que serán distribuidas por la escena virtual. Los resultados del procesamiento de señal serán integrados junto con la escena virtual en una aplicación Android para que el usuario, finalmente, pueda acceder a ella y experimentar la sensación que se perseguía en un principio con el diseño de este proyecto. [EN] This project deals with the development of a virtual reality scene in which an user can relive a musical event interacting with the sources found in that scene. For auditory experience, besides using VR glasses as a support, the principles of binaural synthesis will be used to obtain a 3D audio sound sensation. In addition, source separation techniques based on Non-Negative Matrix Factorization (NMF) will be used through which the different instrument and voice sources that will be distributed through the virtual scene will be obtained from a monaural signal. The results of signal processing will be integrated together with the virtual scene in an Android application. Finally, that user can access it and experience the sensation that was initially pursued with the design of this project.