Aparato y método para combinar múltiples fuentes de audio codificadas paramétricamente.

Generador (100) de señal de audio para generar una señal de salida de audio,

que comprende:

un receptor (102) de señal de audio para recibir:

una primera señal (110) de audio que comprende un primer canal (110a) de mezcla descendente que tiene información sobre dos o más primeros canales originales, y que comprende al menos un parámetro (110b) original asociado con uno de los primeros canales originales que describe una propiedad de uno de los primeros canales originales con respecto a un canal de referencia; y

una segunda señal (112) de audio que comprende un segundo canal (112a) de mezcla descendente que tiene información sobre al menos un segundo canal original;

un combinador (104) de canales para derivar un canal (114) de mezcla descendente combinado combinando el primer canal (110a) de mezcla descendente y el segundo canal (112a) de mezcla descendente utilizando una combinación lineal del primer canal (110a) de mezcla descendente y el segundo (112b), en el que los coeficientes de la combinación lineal dependen de la energía E(sA 2(n)) dentro del primer canal (110a) de mezcla descendente y de la energía E(sB 2(n)) dentro del segundo canal (112a) de mezcla descendente; y

un calculador (106) de parámetro para derivar, utilizando la energía E(sA 2(n)} del primer canal (110a) de mezcla descendente, la energía E{sB 2(n)} del segundo canal (112b) de mezcla descendente y el al menos un parámetro (110b) original, un primer parámetro (116a) combinado que describe la propiedad de uno de los primeros canales originales con respecto a un canal de referencia común, y

un segundo parámetro (116b) combinado que describe o bien la propiedad de otro de los primeros canales originales con respecto al canal de referencia común o bien la propiedad del al menos un segundo canal original con respecto al canal de referencia común; y

una interfaz de salida para producir la señal (120) de salida de audio que comprende el canal (114) de mezcla descendente combinado, los parámetros combinados primero (116a) y segundo (116b).

Aparato y método para combinar múltiples fuentes de audio codificadas paramétricamente.

Campo de la invención La presente invención se refiere a codificación de audio multicanal y, en particular, a un concepto para combinar flujos de audio codificados paramétricamente de una manera flexible y eficaz.

Antecedentes de la invención y técnica anterior El reciente desarrollo en el área de la codificación de audio ha dado lugar a varias técnicas de codificación de audio paramétrica para codificar conjuntamente una señal de audio multicanal (por ejemplo, 5.1 canales) en uno (o más) canales de mezcla descendente más un flujo de información lateral. En general, el flujo de información lateral tiene parámetros relacionados con las propiedades de los canales originales de la señal multicanal, ya sea con respecto a otros canales originales de la señal multicanal o con respecto al canal de mezcla descendente. La definición particular de los parámetros del canal de referencia al que se refieren estos parámetros, depende de la implementación específica. Algunas de las técnicas conocidas en la técnica son "codificación de indicación binaural", "codificación de audio espacial" y "estéreo paramétrico".

Para detalles de estas implementaciones particulares, con la presente se hace referencia a las publicaciones relacionadas. Por ejemplo, la codificación de indicación binaural se detalla en:

C. Faller y F. Baumgarte, "Efficient representation of spatial audio using perceptual parametrization", IEEE WASPAA, Mohonk, NY, octubre de 2001; F. Baumgarte y C. Faller, "Estimation of auditor y spatial cues for binaural cue coding", ICASSP, Orlando, FL, mayo de 2002; C. Faller y F. Baumgarte, "Binaural cue coding: a novel and efficient representation of spatial audio", ICASSP, Orlando, FL, mayo de 2002; C. Faller y F. Baumgarte, "Binaural cue coding applied to audio compression with flexible rendering", AES 113th Convention, Los Íngeles, preimpresión 5686, octubre de 2002; C. Faller y F. Baumgarte, "Binaural cue coding - Part II: Schemes and applications", IEEE Trans. On Speech and Audio Proc., vol., 11, nº 6, noviembre de 2003, y J. Herre, C. Faller et al., "Spatial Audio Coding: Next-generation efficient and compatible coding of multi-channel audio", Audio Engineering Society Convention Paper, octubre de 28, 2004, San Francisco, CA, EE.UU.

Aunque la codificación de indicación binaural utiliza múltiples canales originales, el estéreo paramétrico es una técnica relacionada para la codificación paramétrica de una señal estéreo de dos canales que da como resultado una señal mono transmitida e información lateral de parámetro, como se considera, por ejemplo, en las siguientes publicaciones:

J. Breebaart, S. van de Par, A. Kohlrausch, E. Schuijers, "High-Quality Parametric Spatial Audio Coding at Low Bitrates", AES 116th Convention, Berlín, preimpresión 6072, mayo de 2004; E. Schuijers, J. Breebaart, H. Purnhagen, J. Engdegard, "Low Complexity Parametric Stereo Coding", AES 116th Convention, Berlín, preimpresión 6073, mayo de 2004.

Otras tecnologías se basan en la multiplexación de números arbitrarios de fuentes u objetos de audio en un solo canal de audio de transmisión. Los esquemas basados en multiplexación se introducen, por ejemplo, como "presentación flexible" en publicaciones relacionadas con BCC (codificación de indicación binaural) o, más recientemente, mediante un esquema llamado "codificación de fuente conjunta" (JSC) . Las publicaciones relacionadas son, por ejemplo: C. Faller, "Parametric Joint Coding of Audio Sources", Convention Paper 6752, 120th AES Convention, París, mayo de 2006. De manera similar a los esquemas de codificación de indicación binaural y estéreo paramétrica, estas técnicas están previstas para codificar múltiples objetos (canales) de audio originales para la transmisión por menos canales de mezcla descendente. Mediante la derivación adicional de los parámetros basados en objetos para cada canal de entrada, que pueden codificarse a una tasa de transmisión de datos muy baja y que también se transmiten a un receptor, estos objetos pueden separarse en el lado del receptor y presentarse (mezclarse) a un cierto número de dispositivos de salida, como por ejemplo, auriculares, altavoces estéreo de dos canales o instalaciones de altavoz multicanal. Este procedimiento permite un ajuste de nivel y redistribución (panorámica) de los diferentes objetos de audio hacia diferentes ubicaciones en la instalación de reproducción, es decir, en el lado del receptor.

Básicamente, tales técnicas operan como transmisor M-k-N, siendo M el número de objetos de audio en la entrada, siendo k el número de canales de mezcla descendente transmitidos, normalmente k es < 2. N es el número de canales de audio en la salida de presentación, es decir, por ejemplo, el número de altavoces. Es decir, N = 2 para una presentación estéreo o N = 6 para una instalación de altavoz multicanal 5.1. En términos de eficiencia de compresión, los valores típicos son, por ejemplo, 64 kbps o menos para un canal de mezcla descendente codificado de manera perceptiva (que consiste en k canales de audio) y aproximadamente 3 kbps para parámetros de objeto por objeto de audio transmitido.

Los escenarios de aplicación para las técnicas anteriores son, por ejemplo, la codificación de escenas de audio espacial relacionadas con producciones de cine-películas para permitir una reproducción espacial del sonido en un sistema de cine en casa. Ejemplos comunes son las pistas de sonido envolvente 5.1 y 7.1 ampliamente conocidas en un medio de película tal como DVD y similar. Las producciones de películas se están haciendo cada vez más complejas con respecto a las escenas de audio, previstas para proporcionar una experiencia de escucha espacial y que por tanto tienen que mezclarse con mucho cuidado. A diferentes ingenieros de sonido se les puede encargar la mezcla de diferentes fuentes envolventes o efectos de sonido y, en consecuencia, es deseable la transmisión de escenarios multicanal codificados paramétricamente entre los ingenieros de sonido individuales para transportar los flujos de audio de los ingenieros de sonido individuales de manera eficaz.

Otro escenario de aplicación para tal tecnología es la teleconferencia con múltiples hablantes en cada extremo de una conexión punto a punto tal como se describe en el documento US2005/0062843. Para ahorrar ancho de banda, la mayoría de las instalaciones de teleconferencia funcionan con transmisión monofónica. Utilizando, por ejemplo, codificación de fuente conjunta o una de las otras técnicas de codificación multicanal para la transmisión, puede lograrse una redistribución y alineación de nivel de los diferentes hablantes en el extremo receptor (cada extremo) y por tanto se mejora la inteligibilidad y el equilibrio de los hablantes gastando una tasa de transmisión de bits ligeramente aumentada en comparación con un sistema monofónico. La ventaja de la inteligibilidad aumentada se hace particularmente evidente en el caso especial de asignar a cada individuo participante de la conferencia un solo canal (y por tanto hablante) de una instalación de hablante multicanal en un extremo receptor. Sin embargo, éste es un caso especial. En general, el número de participantes no igualará al número de hablantes en el extremo receptor. Sin embargo, utilizando la instalación de hablante existente es posible presentar la señal asociada con cada participante de manera que parezca que se origina desde cualquier posición deseada. Es decir, el participante individual no sólo se reconoce por su voz diferente, sino también por la ubicación de la fuente de audio relacionada con el participante hablante.

Aunque las técnicas del estado de la técnica implementan conceptos acerca de cómo codificar de manera eficaz múltiples canales u objetos de audio, todas las técnicas actualmente conocidas carecen de la posibilidad de combinar dos o más de estos flujos de audio transmitidos de manera eficaz para derivar un flujo de salida (señal de salida) , que es una representación de todos los flujos de audio de entrada (señales de audio de entrada) .

El problema surge, por ejemplo, cuando se considera un escenario de teleconferencia con más de dos ubicaciones, teniendo cada ubicación uno o más hablantes. Entonces, se requiere una instancia intermedia para recibir las señales de entrada de audio de las fuentes individuales y para generar una señal de salida de audio para cada ubicación de teleconferencia que tenga solamente la información de las ubicaciones de teleconferencia restantes.... [Seguir leyendo]

1. Generador (100) de señal de audio para generar una señal de salida de audio, que comprende:

un receptor (102) de señal de audio para recibir:

una primera señal (110) de audio que comprende un primer canal (110a) de mezcla descendente que tiene información sobre dos o más primeros canales originales, y que comprende al menos un parámetro (110b) original asociado con uno de los primeros canales originales que describe una propiedad de uno de los primeros canales originales con respecto a un canal de referencia; y una segunda señal (112) de audio que comprende un segundo canal (112a) de mezcla descendente que tiene información sobre al menos un segundo canal original;

un combinador (104) de canales para derivar un canal (114) de mezcla descendente combinado combinando el primer canal (110a) de mezcla descendente y el segundo canal (112a) de mezcla descendente utilizando una combinación lineal del primer canal (110a) de mezcla descendente y el segundo (112b) , en el que los coeficientes de la combinación lineal dependen de la energía E (sA2 (n) ) dentro del primer canal (110a) de mezcla descendente y de la energía E (sB2 (n) ) dentro del segundo canal (112a) de mezcla descendente; y un calculador (106) de parámetro para derivar, utilizando la energía E (sA2 (n) } del primer canal (110a) de mezcla descendente, la energía E{sB2 (n) } del segundo canal (112b) de mezcla descendente y el al menos un parámetro (110b) original,

un primer parámetro (116a) combinado que describe la propiedad de uno de los primeros canales originales con respecto a un canal de referencia común, y un segundo parámetro (116b) combinado que describe o bien la propiedad de otro de los primeros canales originales con respecto al canal de referencia común o bien la propiedad del al menos un segundo canal original con respecto al canal de referencia común; y una interfaz de salida para producir la señal (120) de salida de audio que comprende el canal (114) de mezcla descendente combinado, los parámetros combinados primero (116a) y segundo (116b) .

2. Generador (100) de señal de audio según la reivindicación 1, en el que el combinador (104) de canales es operativo para utilizar una combinación lineal que tiene un coeficiente gA para el primer canal de mezcla descendente, y un coeficiente gB para el segundo canal de mezcla descendente derivado utilizando la siguiente ecuación:

3. Generador (100) de señal de audio según las reivindicaciones 1 ó 2, en el que el combinador (104) de canales es operativo para utilizar una combinación lineal que tiene coeficientes que dependen del número U de los primeros canales originales y del número V de los segundos canales originales.

4. Generador (100) de señal de audio según la reivindicación 3, en el que el combinador (104) de canales es operativo para utilizar una combinación lineal que tiene un coeficiente gA del primer canal (110a) de mezcla descendente y un coeficiente gB del segundo canal (112a) de mezcla descendente derivado según una de las siguientes ecuaciones:

o

5. Generador (100) de señal de audio según las reivindicaciones 1 a 4, en el que el calculador (106) de parámetro es operativo para utilizar un canal predeterminado de los primeros canales originales o del al menos un segundo canal original como canal de referencia común.

6. Generador (100) de señal de audio según las reivindicaciones 1 a 4, en el que el calculador (106) de parámetro es operativo para utilizar el canal de referencia de la primera señal (110) de audio como canal de referencia común.

7. Generador (100) de señal de audio según las reivindicaciones 1 a 4, en el que el calculador (106) de parámetro es operativo para utilizar el canal (114) de mezcla descendente combinado como canal de referencia común.

8. Generador (100) de señal de audio según las reivindicaciones 1 a 4, en el que el calculador (106) de parámetro es operativo para utilizar el canal original como canal de referencia común que tiene la energía más alta.

9. Generador (100) de señal de audio según cualquiera de las reivindicaciones anteriores, en el que el calculador (106) de parámetro es operativo para calcular la energía E{sAref} del canal de referencia derivando la energía E{sA2} del primer canal (110a) de mezcla descendente y parámetros ai{i = 1, ..., n} asociados a canales diferentes del canal de referencia según la ecuación:

10. Generador (100) de señal de audio según cualquiera de las reivindicaciones anteriores, en el que el calculador (106) de parámetro es operativo para utilizar el canal de referencia como canal de referencia común y el al menos un parámetro original a2 como primer parámetro combinado yu y para derivar el segundo parámetro combinado yu+1 para el al menos un segundo canal original con respecto al canal de referencia.

11. Generador (100) de señal de audio según la reivindicación 1, en el que el calculador (106) de parámetro es operativo para utilizar además los coeficientes gA asociados al primer canal (110a) de mezcla descendente y gB asociados al segundo canal (112a) de mezcla descendente, los coeficientes utilizados para la combinación lineal de la primera y segunda mezcla descendente utilizada por el combinador (104) de canales.

12. Generador (100) de señal de audio según la reivindicación 13, en el que el calculador (106) de parámetro es operativo para calcular el segundo parámetro combinado yu+1 para el al menos un segundo canal original según la siguiente ecuación:

en la que es la energía del canal de referencia derivada utilizando la energía del primer canal de mezcla descendente según la siguiente fórmula:

en la que a2 es el al menos un parámetro original que relaciona un primer canal original con el canal de referencia.

13. Generador (100) de señal de audio según cualquiera de las reivindicaciones anteriores, en el que el calculador (106) de parámetro es operativo para procesar las partes de frecuencia del primer y el segundo canal de mezcla descendente asociados con intervalos de frecuencia discretos de tal manera que los parámetros combinados se derivan para cada intervalo de frecuencia discreto.

14. Generador (100) de señal de audio según cualquiera de las reivindicaciones anteriores, en el que el receptor de señal de audio es operativo para recibir señales (110, 112) de audio que comprenden canales (110a, 112a) de mezcla descendente representados por parámetros de muestreo muestreados con una frecuencia de muestra predeterminada.

15. Método para generar una señal de salida de audio, comprendiendo el método:

recibir una primera señal (110) de audio que comprende un primer canal (110a) de mezcla descendente que tiene información sobre dos o más primeros canales originales, y que comprende al menos un parámetro (110b) original asociado con uno de los primeros canales originales que describe una propiedad de uno de los primeros canales originales con respecto a un canal de referencia y una segunda señal (112) de audio que comprende un segundo canal (112a) de mezcla descendente que tiene información sobre al menos un segundo canal original;

derivar un canal (114) de mezcla descendente combinado combinando el primer canal (110) de mezcla descendente y el segundo canal (112) de mezcla descendente utilizando una combinación lineal del primer canal (110a) de mezcla descendente y el segundo (110b) , en el que los coeficientes de la combinación lineal dependen de la energía E (sA2 (n) ) dentro del primer canal (110a) de mezcla descendente y de la energía E{sB2 (n) } dentro del segundo canal (112a) de mezcla descendente; y derivar, utilizando la energía E{sA2 (n) } del primer canal (110a) de mezcla descendente, la energía E{sB2 (n) } del segundo canal (112b) de mezcla descendente y el al menos un parámetro (110b) original, un primer parámetro (116a) combinado que describe la propiedad de uno de los primeros canales originales con respecto a un canal de referencia común, y un segundo parámetro (116b) combinado que describe o bien la propiedad de otro de los primeros canales originales con respecto al canal de referencia común o bien la propiedad del al menos un segundo canal original con respecto a un canal de referencia común; y producir la señal (120) de salida de audio que comprende el canal (114) de mezcla descendente combinado y los parámetros combinados primero (116a) y segundo (116b) .

16. Sistema de conferencia que comprende un generador (100) de señal de audio para generar una señal de salida de audio según la reivindicación 1.

17. Programa informático para implementar, cuando se ejecute en un ordenador, un método según la reivindicación 15.