Matrices óptimas de mezcla y uso de descorreladores en el procesamiento de audio espacial.

Un aparato para generar una señal de salida de audio que tiene dos o más canales de salida de audio a partir de una señal de entrada de audio que tiene dos o más canales de entrada de audio,

el cual comprende:

un proveedor (110) para proporcionar primeras propiedades de covarianza de la señal de entrada de audio, y un procesador de señales (120) para generar la señal de salida de audio mediante la aplicación de una regla de mezcla en por lo menos dos de los dos o más canales de entrada de audio,

en el que el procesador de señales (120) está configurado para determinar la regla de mezcla sobre la base de las primeras propiedades de covarianza de la señal de entrada de audio y sobre la base de las segundas propiedades de covarianza de la señal de salida de audio, en donde las segundas propiedades de covarianza son distintas de las primeras propiedades de covarianza

Matrices óptimas de mezcla y uso de descorreladores en el procesamiento de audio espacial

[1] La presente invención se refiere al procesamiento de señales de audio y, en particular, a un aparato y un procedimiento que emplea matrices óptimas de mezcla y, además, al uso de descorreladores en el procesamiento de audio espacial.

[2] El procesamiento de audio es cada vez más importante. En el procesamiento perceptual de audio espacial, un supuesto típico es que el aspecto espacial de un sonido reproducido por un parlante es determinado especialmente por las potencias y las dependencias alineadas en tiempo entre los canales de audio en bandas de frecuencia perceptuales. Esto se basa en la noción de que estas características, cuando son reproducidas por parlantes, se transfieren a diferencias de nivel interaural, diferencias de tiempo interaural y coherencias interaurales, las cuales son las señales binaurales de percepción espacial. A partir de este concepto han surgido diversos procedimientos de procesamiento espacial, incluyendo la mezcla ascendente, véase

[1] C. Faller, "Multiple-Loudspeaker Playback of Stereo Signáis", Journal of the Audio Engineering Society, Vol. 54, N° 11, pp. 151-164, junio de 26, microfonía espacial, véase, por ejemplo,

[2] V. Pulkki, "Spatial Sound Reproduction with Directional Audio Coding", Journal of the Audio Engineering Society, Vol. 55, N° 6, pp. 53-516, junio de 27, y

[3] C. Tournery, C. Faller, F. Küch, J. Herre, "Converting Stereo Microphone Signáis Directly to MPEG Surround", 128th AES Convention, mayo de 21;

y transmisión estéreo y multicanal eficiente, véase, por ejemplo,

[4] J. Breebaart, S. van de Par, A. Kohlrausch and E. Schuijers, "Parametric Coding of Stereo Audio", EURASIP Journal on Applied Signal Processing, Vol. 25, N° 9, pp. 135-1322, 25; y

[5] J. Herre, K. Kjórling, J. Breebaart, C. Faller, S. Disch, H. Purnhagen, J. Koppens, J. Hilpert, J. Ródén, W. Oomen, K. Linzmeier and K. S. Chong, "MPEG Surround - The ISO/MPEG Standard for Efficient and Compatible Multichannel Audio Coding", Journal of the Audio Engineering Society, Vol. 56, N° 11, pp. 932-955, noviembre de 28.

Las pruebas de escucha han confirmado el beneficio del concepto en cada aplicación, véase, por ejemplo, [1, 4, 5] y, por ejemplo,

[6] J. Vilkamo, V. Pulkki, "Directional Audio Coding: Virtual Microphone-Based Synthesis and Subjective Evaluation", Journal of the Audio Engineering Society, Vol. 57, N° 9, pp. 79-724, septiembre de 29.

[3] Todas estas tecnologías, si bien tienen distinta aplicación, tienen la misma tarea central, que consiste en generar a partir de un conjunto de canales de entrada un conjunto de canales de salida con potencias y dependencias definidas en función del tiempo y la frecuencia, que se puede suponer que es la tarea común subyacente en el procesamiento de audio perceptual y espacial. Por ejemplo, en el contexto de la Codificación de Audio Direccional (DirAC) véase, por ejemplo, [2], los canales de origen son típicamente señales de micrófono de primer orden, que se procesan por medio de mezcla, panoramización de amplitud y descorrelación, para aproximarse perceptual mente a un campo de sonido medido. En la mezcla ascendente (véase [1]), los canales de entrada estéreo, nuevamente en función del tiempo y la frecuencia, son distribuidos adaptativamente a una configuración de sonido envolvente.

[4] Un objetivo de la presente invención consiste en proporcionar conceptos mejorados para generar a partir de un conjunto de canales de entrada un conjunto de canales de salida con propiedades definidas. El objetivo de la presente invención se resuelve por medio de un aparato de acuerdo con la reivindicación 1, un procedimiento de acuerdo con la reivindicación 25 y un programa informático de acuerdo con la reivindicación 26.

[5] Se proporciona un aparato para generar una señal de salida de audio que tiene dos o más canales de salida de audio a partir de una señal de entrada de audio que tiene dos o más canales de entrada de audio. El aparato comprende un proveedor y un procesador de señales. El proveedor está adaptado para proporcionar primeras propiedades de covarianza de la señal de entrada de audio. El procesador de señales está adaptado para generar la señal de salida de audio mediante la aplicación de una regla de mezcla en por lo menos dos de los dos o más canales de entrada de audio. El procesador de señales está configurado para determinar la regla de mezcla sobre la base de las primeras propiedades de covarianza de la señal de entrada de audio y sobre la base de las segundas propiedades de covarianza de la señal de salida de audio, en donde las segundas propiedades de covarianza son distintas de las primeras propiedades de covarianza.

[6] Por ejemplo, las potencias de los canales y las dependencias alineadas en tiempo pueden ser expresadas por la parte real de una matriz de covarianza de la señal, por ejemplo, en bandas de frecuencia perceptuales. A continuación se expone un concepto generalmente aplicable para procesar un sonido espacial en este dominio. El concepto comprende una solución de mezcla adaptativa para alcanzar propiedades de covarianza de destino dadas (las segundas propiedades de covarianza), por ejemplo, una matriz de covarianza de destino dada, por el mejor uso de los componentes independientes en los canales de entrada. En una forma de realización se pueden prever medios para inyectar la cantidad necesaria de potencia de sonido descorrelacionado, cuando el objetivo no se logra de otro modo. Dicho concepto es robusto en su función y puede ser aplicado en numerosos casos de uso. Las propiedades de covarianza de destino pueden ser proporcionadas, por ejemplo, por un usuario. Por ejemplo, un aparato de acuerdo con una forma de realización puede tener medios de modo que un usuario pueda introducir las propiedades de covarianza.

[7] De acuerdo con una forma de realización, el proveedor puede adaptarse para proporcionar las primeras propiedades de covarianza, en donde las primeras propiedades de covarianza tienen un primer estado para un primer intervalo de tiempo-frecuencia, y en donde las primeras propiedades de covarianza tienen un segundo estado, diferente del primer estado, para un segundo intervalo de tiempo-frecuencia, diferente del primer intervalo de tiempo-frecuencia. El proveedor no tiene que llevar a cabo necesariamente el análisis para obtener las propiedades de covarianza, pero puede proporcionar estos datos de un almacenamiento, una entrada de usuario o fuentes similares.

[8] En otra forma de realización, el procesador de señales puede adaptarse para determinar la regla de mezcla sobre la base de las segundas propiedades de covarianza, en donde las segundas propiedades de covarianza tienen un tercer estado para un tercer intervalo de tiempo-frecuencia, y en donde las segundas propiedades de covarianza tienen un cuarto estado, que es diferente del tercer estado para un cuarto intervalo de tiempo-frecuencia, que es diferente del tercer intervalo de tiempo-frecuencia.

[9] De acuerdo con otra forma de realización, el procesador de señales está adaptado para generar la señal de salida de audio mediante la aplicación de la regla de mezcla de modo que cada uno de los dos o más canales de salida de audio depende de cada uno de los dos o más canales de entrada de audio.

[1] En otra forma de realización, el procesador de señales puede adaptarse para determinar la regla de mezcla de modo que una medida de error se reduce al mínimo. Una medida de error puede ser, por ejemplo, una señal de diferencia absoluta entre una señal de salida de referencia y una señal de salida real.

[11] En una forma de realización, una medida de error puede ser, por ejemplo, una media que depende de

llyref-yll2

en donde y es la señal de salida de audio, en donde

yref = Qx,

en donde x especifica la señal de entrada de audio y en donde Q es una matriz de mapeo, que puede ser específica de la aplicación, de modo que yref especifica una señal de salida de audio de destino de referencia.

[12] De acuerdo con una forma de realización adicional, el procesador de señales puede adaptarse para determinar la regla de mezcla de modo que

£ = £[||yref-y||2]

se reduce al mínimo, en donde E es un operador de expectativa, en donde yref es un punto de referencia definido, y en donde y es la señal de salida de audio.

[13] De acuerdo con otra forma de realización, el procesador de señales puede estar configurado para determinar la regla de mezcla mediante la determinación de las segundas propiedades de covarianza, en donde el procesador de señales puede estar configurado para determinar las segundas propiedades... [Seguir leyendo]

1. Un aparato para generar una señal de salida de audio que tiene dos o más canales de salida de audio a partir de una señal de entrada de audio que tiene dos o más canales de entrada de audio, el cual comprende:

un proveedor (11) para proporcionar primeras propiedades de covarianza de la señal de entrada de audio, y un procesador de señales (12) para generar la señal de salida de audio mediante la aplicación de una regla de mezcla en por lo menos dos de los dos o más canales de entrada de audio,

en el que el procesador de señales (12) está configurado para determinar la regla de mezcla sobre la base de las primeras propiedades de covarianza de la señal de entrada de audio y sobre la base de las segundas propiedades de covarianza de la señal de salida de audio, en donde las segundas propiedades de covarianza son distintas de las primeras propiedades de covarianza.

2. Un aparato de acuerdo con la reivindicación 1, en el cual el proveedor (11) está adaptado para proporcionar las primeras propiedades de covarianza, en donde las primeras propiedades de covarianza tienen un primer estado para un primer Intervalo de tiempo-frecuencia, y en donde las primeras propiedades de covarianza tienen un segundo estado, diferente del primer estado, para un segundo Intervalo de tiempo-frecuencia, diferente del primer intervalo de tiempo-frecuencia.

3. Un aparato de acuerdo con la reivindicación 1 o 2, en el que el procesador de señales (12) está adaptado para determinar la regla de mezcla sobre la base de las segundas propiedades de covarianza, en donde las segundas propiedades de covarianza tienen un tercer estado para un tercer intervalo de tiempo-frecuencia, y en donde las segundas propiedades de covarianza tienen un cuarto estado, que es diferente del tercer estado para un cuarto intervalo de tiempo-frecuencia, que es diferente del tercer intervalo de tiempo-frecuencia.

4. Un aparato de acuerdo con una de las reivindicaciones anteriores, en el cual el procesador de señales (12) está adaptado para generar la señal de salida de audio mediante la aplicación de la regla de mezcla de modo que cada uno de los dos o más canales de salida de audio depende de cada uno de los dos o más canales de entrada

de audio.

5. Un aparato de acuerdo con una de las reivindicaciones anteriores, en el cual el procesador de señales (12) está adaptado para determinar la regla de mezcla de modo que una medida de error se reduce al mínimo.

6. Un aparato de acuerdo con la reivindicación 5, en el cual el procesador de señales (12) está adaptado para determinar la regla de mezcla de modo que la regla de mezcla depende de

llyref-y||2

en el cual

yref = Qx,

en donde x es la señal de entrada de audio, en donde Q es una matriz de mapeo, y en donde y es la señal de salida de audio.

7. Un aparato de acuerdo con una de las reivindicaciones anteriores, en el cual el procesador de señales (12) está configurado para determinar la regla de mezcla mediante la determinación de las segundas propiedades de covarianza, en donde el procesador de señales (12) está configurado para determinar las segundas propiedades de covarianza sobre la base de las primeras propiedades de covarianza.

8. Un aparato de acuerdo con una de las reivindicaciones anteriores, en el cual el procesador de señales (12) está adaptado para determinar una matriz de mezcla como la regla de mezcla, en donde el procesador de señales (12) está adaptado para determinar la matriz de mezcla sobre la base de las primeras propiedades de covarianza y sobre la base de las segundas propiedades de covarianza.

9. Un aparato de acuerdo con una de las reivindicaciones anteriores, en el cual el proveedor (11) está adaptado para proporcionar las primeras propiedades de covarianza mediante la determinación de una primera matriz de covarianza de la señal de entrada de audio y en donde el procesador de señales (12) está configurado para determinar la regla de mezcla sobre la base de una segunda matriz de covarianza de la señal de salida de audio como las segundas propiedades de covarianza.

1. Un aparato de acuerdo con la reivindicación 9, en el cual el proveedor (11) está adaptado para determinar la primera matriz de covarianza, de modo que cada valor de la diagonal de la primera matriz de covarianza Indica

una potencia de uno de los canales de entrada de audio, y de modo que cada valor de la primera matriz de covarianza, que no es un valor de diagonal indica una correlación entre canales entre un primer canal de entrada de audio y un segundo canal de entrada de audio diferente.

11. Un aparato de acuerdo con la reivindicación 9 o 1, en el cual el procesador de señales (12) está configurado para determinar la regla de mezcla sobre la base de la segunda matriz de covarianza, en donde cada valor de la diagonal de la segunda matriz de covarianza Indica una potencia de uno de los canales de salida de audio, y en donde cada valor de la segunda matriz de covarianza, que no es un valor de la diagonal, Indica una correlación entre canales entre un primer canal de salida de audio y un segundo canal de salida de audio.

12. Un aparato de acuerdo con una de las reivindicaciones anteriores, en el cual el procesador de señales (12) está adaptado para determinar una matriz de mezcla como regla de mezcla, en donde el procesador de señales (12) está adaptado para determinar la matriz de mezcla sobre la base de las primeras propiedades de covarianza y sobre la base de las segundas propiedades de covarianza, en donde el proveedor (11) está adaptado para proporcionar las primeras propiedades de covarianza mediante la determinación de una primera matriz de covarianza de la señal de entrada de audio, y en donde el procesador de señales (12) está configurado para determinar la regla de mezcla sobre la base de una segunda matriz de covarianza de la señal de salida de audio como las segundas propiedades de covarianza, en donde el procesador de señales (12) está adaptado para determinar la matriz de mezcla, de modo que:

M = KyPK^1,

de modo que

k,k;=c

KyK( =Cy

en donde M es la matriz de mezcla, en donde Cx es la primera matriz de covarianza, en donde Cy es la segunda matriz de covarianza, en donde Kx es una primera matriz transpuesta de una primera matriz descompuesta Kx, en

donde Ky es una segunda matriz transpuesta de una segunda matriz descompuesta Ky, en donde K"x' es una matriz Inversa de la primera matriz descompuesta Kx, y en donde P es una primera matriz unitaria.

13. Un aparato de acuerdo con la reivindicación 12, en el cual el procesador de señales (12) está adaptado para determinar la regla de mezcla de modo que

M = KyPK"\

en el cual

P = vaut,

en donde UT es una tercera matriz transpuesta de una segunda matriz unitaria U, en donde V es una tercera matriz unitaria, en donde A es una matriz de identidad añadida con ceros, en donde

USVT=K*QTKy,

en donde QT es una cuarta matriz transpuesta de la matriz de mapeo Q,

en donde VT es una quinta matriz transpuesta de la tercera matriz unitaria V, y en donde S es una matriz de la diagonal.

14. Un aparato de acuerdo con la reivindicación 1, en el cual el procesador de señales (12) está adaptado para determinar una matriz de mezcla como la regla de mezcla, en donde el procesador de señales (12) está adaptado para determinar la matriz de mezcla sobre la base de las primeras propiedades de covarianza y sobre la base de las segundas propiedades de covarianza,

en el cual el proveedor (11) está adaptado para proporcionar las primeras propiedades de covarianza mediante la determinación de la primera matriz de covarianza de la señal de entrada de audio, y

en el cual el procesador de señales (12) está configurado para determinar la regla de mezcla sobre la base de una segunda matriz de covarianza de la señal de salida de audio como las segundas propiedades de covarianza. en el cual el procesador de señales (12) está adaptado para determinar la regla de mezcla mediante la modificación de por lo menos algunos valores de la diagonal de una matriz de la diagonal Sx cuando los valores de 5 la matriz de la diagonal Sx son cero o menores que un valor umbral, de modo que los valores son mayores que o ¡guales al valor umbral,

en el cual la matriz de la diagonal depende de la primera matriz de covarianza.

15. Un aparato de acuerdo con la reivindicación 14, en el cual el procesador de señales (12) está configurado 1 para modificar dichos por lo menos algunos valores de la diagonal de la matriz de la diagonal Sx, en donde

T

Kx = UXSXVXT , y en donde Cx = KXKX , en donde Cx es la primera matriz de covarianza, en donde Sx es la matriz de la diagonal, en donde Ux es una segunda matriz, Vx es una tercera matriz transpuesta, y en donde Kx es una cuarta matriz transpuesta de la quinta matriz Kx,y en donde Vx y Ux son matrices unitarias.

16. Un aparato de acuerdo con la reivindicación 14 o 15, en el cual el procesador de señales (12) está

adaptado para generar la señal de salida de audio mediante la aplicación de la matriz de mezcla en por lo menos dos de los dos o más canales de entrada de audio para obtener una señal intermedia y mediante la adición de una señal residual r a la señal intermedia para obtener la señal de salida de audio.

17. Un aparato de acuerdo con la reivindicación 14 o 15, en el cual el procesador de señales (12) está

adaptado para determinar la matriz de mezcla sobre la base de una matriz de ganancia de la diagonal G y una

A ''V

matriz intermedia M , de modo queM'= GM, en donde la matriz de ganancia de la diagonal tiene el valor

G (i, i)

Cy(M)

Cy(Í,Í)

en donde Cv = MCrMT ,

y x

en donde M' es la matriz de mezcla, en donde G es la matriz de ganancia de la diagonal, en donde Cy es la segunda matriz de covarianza y en donde MT es una quinta matriz transpuesta de la matriz intermedia M.

18. Un aparato de acuerdo con la reivindicación 1, en el cual el procesador de señales (12) comprende:

un módulo de formulación de la matriz de mezcla (42; 53; 63; 73; 83; 13) para generar una matriz de mezcla como la regla de mezcla sobre la base de las primeras propiedades de covarianza, y un módulo de aplicación de la matriz de mezcla (43; 54; 64; 74; 84; 14) para aplicar la matriz de mezcla en 35 la señal de entrada de audio para generar la señal de salida de audio.

19. Un aparato de acuerdo con la reivindicación 18, en el cual el proveedor (11) comprende un módulo de análisis de la matriz de covarianza (41; 75; 85; 15) para proporcionar las propiedades de covarianza de entrada de la señal de entrada de audio para obtener un resultado de análisis como las primeras propiedades de

covarianza, y

en el cual el módulo de formulación de la matriz de mezcla (42; 53; 63; 73; 83; 13) está adaptado para generar la matriz de mezcla sobre la base del resultado del análisis.

2. Un aparato de acuerdo con la reivindicación 18 o 19, en el cual el módulo de formulación de la matriz de 45 mezcla (42; 53; 63; 73; 83; 13) está adaptado para generar la matriz de mezcla sobre la base de un criterio

de error.

21. Un aparato de acuerdo con una de las reivindicaciones 18 a 2, en el cual el procesador de señales (12) comprende además un módulo de determinación de datos espaciales (52; 62) para determinar los datos de

información de configuración que comprenden los datos espaciales de sonido envolvente, los datos de la correlación entre canales o los datos del nivel de la señal de audio, y

en el cual el módulo de formulación de la matriz de mezcla (42; 53; 63; 73; 83; 13) está adaptado para generar la matriz de mezcla sobre la base de los datos de la información de configuración.

22. Un aparato de acuerdo con una de las reivindicaciones 18 a 2, en el cual el procesador de señales (12) comprende además un módulo de formulación de la matriz de covarlanza de destino (73; 118) para generar una matriz de covarianza de destino sobre la base del resultado del análisis, y

en el cual el módulo de formulación de la matriz de mezcla (42; 53; 63; 73; 83; 13) está adaptado para generar una matriz de mezcla sobre la base de la matriz de covarianza de destino.

23. Un aparato de acuerdo con la reivindicación 22, en el cual el módulo de formulación de la matriz de covarianza de destino (118) está configurado para generar la matriz de covarianza de destino sobre la base de una configuración de parlante.

24. Un aparato de acuerdo con la reivindicación 18 a 19, en el cual el procesador de señales (12) comprende además un módulo de mejoramiento (815) para la obtención de datos de la correlación entre canales de salida sobre la base de los datos de la correlación entre canales de entrada, diferentes de los datos de la correlación entre canales de entrada, y

en el cual el módulo de formulación de la matriz de mezcla (42; 53; 63; 73; 83; 13) está adaptado para generar la matriz de mezcla sobre la base de los datos de la correlación entre canales de salida.

25. Un procedimiento para generar una señal de salida de audio que tiene dos o más canales de salida de audio a partir de una señal de entrada de audio que tiene dos o más canales de entrada de audio, el cual comprende:

proporcionar primeras propiedades de covarianza de la señal de entrada de audio, y

generar la señal de salida de audio mediante la aplicación de una regla de mezcla en por lo menos dos de los dos o más canales de entrada de audio,

en el cual la regla de mezcla está determinada sobre la base de las primeras propiedades de covarianza de la señal de entrada de audio y sobre la base de las segundas propiedades de covarianza de la señal de salida de audio, distintas de las primeras propiedades de covarianza.

26. Un programa de computadora adaptado para aplicar el procedimiento de acuerdo con la reivindicación 25 cuando se ejecuta en una computadora o procesador.