Aparato para determinar una señal de audio espacial convertida.

Aparato (300) adaptado para determinar una señal de audio espacial convertida combinada,

presentando la señal de audio espacial convertida combinada al menos una primera componente combinada y una segunda componente combinada, a partir de unas señales de audio espacial de entrada primera y segunda, presentando la primera señal de audio espacial de entrada una primera representación de audio de entrada (P) y una primera dirección de llegada de entrada (eDOA), presentando la segunda señal espacial de entrada una segunda representación de audio de entrada y una segunda dirección de llegada de entrada (eDOA), que comprende:

un primer medio (101) adaptado para determinar una primera señal convertida, presentando la primera señal convertida una primera componente omnidireccional (W) y al menos una componente direccional (X, Y, Z), a partir de la primera señal de audio espacial de entrada, comprendiendo el primer medio (101) un estimador (110) adaptado para estimar una primera representación de onda, comprendiendo la primera representación de onda una primera medida de campo de onda (β(k,n)P(k,n)) y una primera medida de dirección de llegada de onda (eDOA,x, eDOA,y, eDOA,z), donde el estimador está adaptado para estimar la primera representación de onda a partir de la primera representación de audio de entrada (P) y la primera dirección de llegada de entrada (eDOA); y

un procesador (120) adaptado para tratar la primera medida de campo de onda (β (k,n)P(k,n)) y la primera medida de dirección de llegada de onda (eDDA,x, eDOA,y, eDOA,z), para obtener la al menos una componente direccional (X, Y, Z), donde la primera componente omnidireccional (W) corresponde a la primera representación de audio de entrada;

en el cual el primer medio (101) está adaptado para suministrar la primera señal convertida que presenta la primera componente omnidireccional (W) y la al menos una componente direccional (X, Y, Z);

un segundo medio (102) adaptado para suministrar una segunda señal convertida a partir de la segunda señal de audio espacial de entrada que presenta una segunda componente omnidireccional y al menos otra componente direccional, comprendiendo el segundo medio (102) otro estimador adaptado para estimar una segunda representación de onda, comprendiendo la segunda representación de onda una segunda medida de campo de onda y una segunda medida de dirección de llegada de onda, donde el otro estimador está adaptado para estimar la segunda representación de onda a partir de la segunda representación de audio de entrada y de la segunda dirección de llegada de entrada; y

otro procesador adaptado para tratar la segunda medida de campo de onda y la segunda medida de dirección de llegada de onda, para obtener la al menos otra componente direccional, donde la segunda componente omnidireccional corresponde a la segunda representación de audio de entrada;

en el cual el segundo medio (101) está adaptado para suministrar la segunda señal convertida que presenta la segunda componente omnidireccional y la al menos otra componente direccional;

un generador de efecto de audio (301, 302, 303) adaptado para suministrar la primera componente omnidireccional, para obtener una primera componente representada, o para suministrar la al menos una componente direccional, para obtener la primera componente representada, donde el generador de efecto de audio (301, 302, 303) está adaptado para reverberar la primera componente omnidireccional o la al menos una componente direccional, para obtener la primera componente representada;

un primer combinador (311) adaptado para combinar la primera componente representada, la primera componente omnidireccional y la segunda componente omnidireccional, o para combinar la primera componente representada, la al menos una componente direccional y la al menos otra componente direccional, para obtener la primera componente combinada; y un segundo combinador (312, 313) adaptado para combinar la al menos una componente direccional y la al menos otra componente direccional, o para combinar la primera componente omnidireccional y la segunda componente omnidireccional, para obtener la segunda componente combinada.

Aparato para determinar una señal de audio espacial convertida.

[1] La presente invención es concerniente con el campo de procesamiento de audio, especialmente procesamiento de audio espacial y conversión de diferentes formatos de audio espacial.

[2] La codificación de audio de DirAC (DirAC = Codificación de Audio Direccional) es un procesamiento para la reproducción y procesamiento de audio espacial. Los sistemas convencionales aplican DirAC en la reproducción de alta calidad bidimensional y tridimensional de sonido grabado, aplicaciones de teleconferencia, micrófonos direccionales y mezcla ascendente de estéreo a surround, por ejemplo V. Pulkki y C. Faller, Directional audio coding: Filterbank and STFT-based design, in 12th AES Convention, May 2-23, 26, Paris, France May 26, V. Pulkki and C. Faller, Directional audio coding in spatial sound reproduction and stereo upmixing, in AES 28th International Conference, Pitea, Sweden, June 26, V. Pulkki, Spatial sound reproduction with directional audio coding, Journal of the Audio Engineering Society, 55(6):53-516, June 27, Jukka Añonen, V. Pulkki and Tapio Lokki, Teleconference application and B-format microphone array for directional audio coding, in 3th AES International Conference.

[3] Otras aplicaciones convencionales que usan DirAC son, por ejemplo, el formato de codificación universal y cancelación de ruido. En DirAC, algunas propiedades direccionales del sonido son analizadas en bandas de frecuencia dependientes del tiempo. Los datos de análisis son transmitidos junto con los datos de audio y sintetizados para diferentes propósitos. El análisis se hace comúnmente utilizando señales de formato B, aunque teóricamente DirAC no está limitado a este formato. El formato B, ver Michael Gerzon, Surround sound psychoacoustics, in Wireless World, volume 8, pages 483-486, December 1974, fue desarrollado en el trabajo de Ambisonics, un sistema desarrollado por investigadores británicos en los 7s para traer el sonido surround a salas de concierto a salas de estar. El formato B consiste de cuatro señales, es decir w(t),x(t),y(t) y z(t). Las primeras tres corresponden a la presión medida por un micrófono omnidireccional, mientras que las últimas tres son lecturas de presión de micrófonos que tienen patrones de captación de cifra de ocho dirigidos hacia los tres ejes de un sistema de coordenadas Cartesiano. Las señales x(t),y(t) y z(t) son proporcionales a los componentes del vector de velocidad de partículas dirigidos hacia x,y y z respectivamente.

[4] La corriente de DirAC consiste de 1-4 canales de audio con metadatos direccionales. En teleconferencla y en algunos otros casos, la corriente consiste de solamente un solo canal de audio con metadatos, llamado una corriente de DirAC mono. Esta es una manera muy compacta para describir audio espacial, ya que solamente un solo canal de audio necesita ser transmitido junto con información lateral, que por ejemplo, da buena separación espacial entre los parlantes. Sin embargo, en tales casos algunos tipos de sonido, tales como escenarios de sonido reverberado o sonido ambiente pueden ser reproducidos con calidad limitada. Para producir mejor calidad en estos casos, canales de audio adicionales necesitan ser transmitidos.

[5] La conversión del formato B a DirAC es descrita en V. Pulkki, A method for reproducing natural or modlfied spatial impression in multichannel listening, PatentWO 24/77884 Al, September 24. La Codificación de Audio Direccional es un procedimiento eficiente para el análisis y reproducción de sonido espacial. DirAC utiliza una representación paramétrica de campos de sonido basados en los elementos que son relevantes para la percepción de sonido espacial, es decir la DOA (DOA = dirección de llegada) y difusividad del campo de sonido en sub-bandas de frecuencia. En efecto, DirAC supone que las diferencias de tiempo interaurales (ITD) y diferencias de nivel interaural (ILD) son percibidas correctamente cuando la DOA de un campo de sonido es reproducida correctamente, mientras que la coherencia interaural (IC) es percibida correctamente, si la difusividad es reproducida exactamente. Estos parámetros, es decir DOA y difusividad, representan información lateral que acompaña una señal mono en lo que es denominada como una corriente de DirAC mono.

[6] La Figura 7 muestra el codificador de DirAC, del cual señales de micrófono apropiadas calcula un canal de audio mono e información lateral, es decir difusividad ip(k,n) y dirección de llegada eDoA(k,n). La Figura 7 muestra un codificador de DirAC 2, que es apto para calcular un canal de audio mono e información lateral de señales de micrófono apropiadas. En otras palabras, la Figura 7 ilustra un codificador de DirAC 2 para determinar la difusividad y dirección de llegada de señales de micrófono. La Figura 7 muestra un codificador de DirAC 2 que comprende una unidad de estimación P/U 21, en donde P(k,n) representa una señal de presión y U(k,n) representa un vector de velocidad de partícula. La unidad de estimación de P/U recibe las señales de micrófono como información de entrada, en la cual la estimación de P/U está basada. Una etapa de análisis energético 22 permite la estimación de la dirección de llegada y el parámetro de a difusividad de la corriente de DirAC mono.

[7] Los parámetros de DirAC, como por ejemplo una representación de audio mono W{k,n), un parámetro de difusividad ip(k,n) y una dirección de llegada (DOA) eooA (k,n), pueden ser obtenidos a partir de una representación de frecuencia-tiempo de las señales de micrófono. Por consiguiente, los parámetros son dependientes del tiempo y de la frecuencia. En el lado de reproducción, esta información permite la presentación espacial exacta. Para recrear el sonido espacial en una posición de escucha deseada, se requiere un montaje de múltiples altavoces. Sin

embargo, su geometría puede ser arbitraria. En efecto, los canales de los altavoces pueden ser determinados como función de los parámetros de DirAC.

[8] Hay diferencias sustanciales entre DirAC y codificación de audio de multicanal paramétrica, tal como MPEG Surround, véase Lars Villemocs, Juergen Herre, Jeroen Breebaart, Gerard Hotho, Sascha Disch, Heiko Purnhagen and Kristofer Kjrling, MPEG surround: The forthcoming ISO standard for spatial audio coding, in AES 28th International Conference, Pitea, Sweden, June 26, aunque comparten estructuras de procesamiento similares. Mientras que MPEG Surround está basado en un análisis de tiempo/frecuencia de los diferentes canales de altavoces, DirAC toma como entrada los canales de micrófonos coincidentes, que describen efectivamente el campo de sonido en un punto. Así, DirAC también representa una técnica de grabación eficiente para audio espacial.

[9] Otro sistema que trata con audio espacial es SAOC (SAOC = Codificación de Objeto de Audio Espacial), véase Joñas Engdegard, Barbara Resch, Cornelia Falch, Oliver Hellmuth, Johannes Hilpert, Andreas Hoelzer, Leonid Terentiev, Jeroen Breebaart, Jeroen Koppens, Erik Schuijers, and Werner Oomen, Spatial audio object (SAOC) the upcoming MPEG standard on parametric object based audio coding, in 12th AES Convention, May 17-2, 28, Amsterdam, The Netherlands, 28, actualmente bajo normalización de ISO/MPEG. Se integra sobre el motor de presentación de MPEG Surround y trata diferentes fuentes de sonido como objetos. Esta codificación de audio ofrece eficiencia muy alta en términos de proporción de bits y da libertad sin precedentes de interacción en el lado de reproducción. Este procedimiento promete nuevos elementos componentes y funcionalidad en sistemas heredados, también como varias otras nuevas aplicaciones.

[1] US 26/45275 A1 da a conocer un procedimiento para procesar datos de audio y un dispositivo de adquisición de sonido que lleva a cabo este procedimiento. El procedimiento comprende la codificación de señales que representan un sonido que se propaga en el espacio tridimensional utilizando componentes expresados en una base armónica esférica, y la aplicación de una compensación de un efecto de campo próximo a estos componentes.

[11] US 6.259.759 B1 describe un procedimiento y aparato para procesar audio especializado, donde se aplica la función de transferencia relacionada con al menos una cabeza a cada componente espacial para producir una serie de señales de transmisión. Las señales de transmisión se transmiten a múltiples usuarios, donde se determina una orientación actual de un usuario actual.

[12] La publicación técnica " Spatial Sound Reproduction with Directional Audio Coding ", V. Pulkki, J. Audio Ing. Soc, Vol. 55, No. 6, junio de 27 da a conocer detalles sobre la codificación de audio direccional (DirAc).

[13] La publicación técnica " A distributed... [Seguir leyendo]

1. Aparato (3) adaptado para determinar una señal de audio espacial convertida combinada, presentando la señal de audio espacial convertida combinada al menos una primera componente combinada y una segunda componente combinada, a partir de unas señales de audio espacial de entrada primera y segunda, presentando la primera señal de audio espacial de entrada una primera representación de audio de entrada (P) y una primera dirección de llegada de entrada (eDOA), presentando la segunda señal espacial de entrada una segunda representación de audio de entrada y una segunda dirección de llegada de entrada (eDOA), que comprende:

un primer medio (11) adaptado para determinar una primera señal convertida, presentando la primera señal convertida una primera componente omnidireccional (W) y al menos una componente direccional (X, Y, Z), a partir de la primera señal de audio espacial de entrada, comprendiendo el primer medio (11) un estimador (11) adaptado para estimar una primera representación de onda, comprendiendo la primera representación de onda una primera medida de campo de onda (P(k,n)P(k,n)) y una primera medida de dirección de llegada de onda (eDOA.x, eDOA.y, eDOA,z), donde el estimador está adaptado para estimar la primera representación de onda a partir de la primera representación de audio de entrada (P) y la primera dirección de llegada de entrada (eDOA); y

un procesador (12) adaptado para tratar la primera medida de campo de onda (p (k,n)P(k,n)) y la primera medida de dirección de llegada de onda (eDDA.x, eDOA.y, eDOA,z), para obtener la al menos una componente direccional (X, Y, Z), donde la primera componente omnidireccional (W) corresponde a la primera representación de audio de entrada;

en el cual el primer medio (11) está adaptado para suministrar la primera señal convertida que presenta la primera componente omnidireccional (W) y la al menos una componente direccional (X, Y, Z); un segundo medio (12) adaptado para suministrar una segunda señal convertida a partir de la segunda señal de audio espacial de entrada que presenta una segunda componente omnidireccional y al menos otra componente direccional, comprendiendo el segundo medio (12) otro estimador adaptado para estimar una segunda representación de onda, comprendiendo la segunda representación de onda una segunda medida de campo de onda y una segunda medida de dirección de llegada de onda, donde el otro estimador está adaptado para estimar la segunda representación de onda a partir de la segunda representación de audio de entrada y de la segunda dirección de llegada de entrada; y

otro procesador adaptado para tratar la segunda medida de campo de onda y la segunda medida de dirección de llegada de onda, para obtener la al menos otra componente direccional, donde la segunda componente omnidireccional corresponde a la segunda representación de audio de entrada; en el cual el segundo medio (11) está adaptado para suministrar la segunda señal convertida que presenta la segunda componente omnidireccional y la al menos otra componente direccional;

un generador de efecto de audio (31, 32, 33) adaptado para suministrar la primera componente omnidireccional, para obtener una primera componente representada, o para suministrar la al menos una componente direccional, para obtener la primera componente representada, donde el generador de efecto de audio (31, 32, 33) está adaptado para reverberar la primera componente omnidireccional o la al menos una componente direccional, para obtener la primera componente representada; un primer combinador (311) adaptado para combinar la primera componente representada, la primera componente omnidireccional y la segunda componente omnidireccional, o para combinar la primera componente representada, la al menos una componente direccional y la al menos otra componente direccional, para obtener la primera componente combinada; y

un segundo combinador (312, 313) adaptado para combinar la al menos una componente direccional y la al menos otra componente direccional, o para combinar la primera componente omnidireccional y la segunda componente omnidireccional, para obtener la segunda componente combinada.

2. Aparato (3) según la reivindicación 1, en el cual el estimador está adaptado para estimar la primera medida de campo de onda en términos de una amplitud de campo de onda y de una fase de campo de onda, o en el cual el otro estimador está adaptado para estimar la segunda medida de campo de onda en términos de una amplitud de campo de onda y de una fase de campo de onda.

3. Aparato (3) según cualquiera de las reivindicaciones 1 ó 2, en el cual la primera señal de audio espacial de entrada comprende por otro lado un primer parámetro de difusión (¥) y en el cual el estimador está adaptado para estimar la primera medida de campo de onda por otro lado a partir del primer parámetro de difusión (lP), o en el cual la segunda señal de audio espacial de entrada comprende por otro lado un segundo parámetro de difusión, y en el cual el otro estimador está adaptado para estimar la segunda medida de campo de onda por otro lado a partir del segundo parámetro de difusión.

4. Aparato (3) según la reivindicación 3, en el cual la al menos una componente direccional comprende unas componentes direccionales primera (X), segunda (Y) y tercera (Z), y en el cual el procesador está adaptado para tratar aún más la primera medida de campo de onda y la primera medida de dirección de llegada de onda, para obtener las componentes direccionales primera (X), segunda (Y) y tercera (Z) para la primera señal convertida, o en el cual la al menos otra componente direccional comprende unas componentes direccionales adicionales primera, segunda y tercera, y en el cual el otro procesador está adaptado para tratar aún más la segunda medida de campo

de onda y la segunda medida de dirección de llegada de onda, para obtener les componentes dlrecclonales adicionales primera, segunda y tercera para la segunda señal convertida.

5. Aparato (3) según la reivindicación 4, en el cual el estimador está adaptado para determinar la primera medida 5 de campo de onda a partir de una primera fracción determinada como (3i(/c,/7), de la primera representación de audio

de entrada determinada como Pi(ic,n), donde k designa un Indice de tiempo y n designa un Indice de frecuencia, o en el cual el otro estimador está adaptado para determinar la segunda medida de campo de onda a partir de una segunda fracción determinada como \i2(k,n), de la segunda representación de audio de entrada determinada como P2(k,n), donde k designa un Indice de tiempo y n designa un Indice de frecuencia.

6. Aparato (3) según la reivindicación 5, en el cual el procesador está adaptado para obtener una medida

compleja de la primera componente direccional como Xi(k,n) y/o de la segunda componente direccional como Yi(k,n) y/o de la tercera componente direccional como Zi(k,n) y/o de la primera componente omnidireccional como Wi(k,n) para la primera señal convertida por

W1{k,n) = P1(k,n)

X,(k,n) = V2#(k,n) P^k, n) eDA ^(k.n)

Y,(k,n) = J2ft( k,n) - P^k.n) - eDAy1{k,n)

Z^k, n) = k, n) P^k, n) eDA z ^k.n)

donde eDOA,x,i(k,n) es una componente de un vector unitario eDOA,i(k,n), que es la primera dirección de llegada de entrada en el eje x de un sistema de coordenadas cartesianas, eDOA,y,i(k,n) es una componente de eDOA,i(k,n) en el eje e y eDOA,z,i(k,n) es una componente de eDOA,i(k,n) en el eje z, o 2 en el cual el otro procesador está adaptado para obtener una medida compleja de la primera otra componente direccional como Xi(k,n) y/o la segunda otra componente direccional como Y2{k,n) y/o la tercera otra componente direccional como Z2(k,n) y/o la segunda componente omnidireccional como W2(k,n) para la segunda señal convertida por

Wz(k,n) = P2(k,n)

X2(k,n) = V2&(k,n) Pa(kpn) eDAy2(k,n)

Y2(k,n) = V2/?2(k,n)'P2(k,n)'eDOAy2{k,n)

Z2(k, n) = y/2& (k, n) P, (k, n) eDOAA2 (k, n)

donde eDOA,x,2(k,n) es una componente de un vector unitario eDOA,2(k,n) que es la segunda dirección de llegada de entrada en el eje x de un sistema de coordenadas cartesianas, eDOA,y,2(k,n) es una componente de eDOA,2(k,n) en el eje y y eDOA,z,2(k,n) es una componente de eDOA,2(k,n) en el eje z.

7. Aparato (3) según cualquiera de las reivindicaciones 5 o 6, en el cual el estimador está adaptado para estimar 3 la primera fracción pi(k,n) a partir del primer parámetro de difusión dado como 'Pi(k,n), según

&(&,«) = V1 ^

o en el cual el otro estimador está adaptado para estimar la segunda fracción P2(k,n) a partir del segundo parámetro de difusión dado como ¥2(k,n), según

8. Aparato (3) según cualquiera de las reivindicaciones 5 o 6, en el cual el estimador está adaptado para estimar la primera fracción pi(/c,n) a partir del primer parámetro de difusión dado como ¥1 (k,n), según

o en el cual el otro estimador está adaptado para estimar la segunda fracción P2(k,n) a partir del segundo parámetro de difusión dado como Y2(k,n), según

9. Dispositivo (3) según cualquiera de las reivindicaciones 1 a 8, en el cual la primera señal de audio espacial de entrada corresponde a una señal audio codificada DlrAc y en el cual el procesador está adaptado para obtener la primera componente omnidireccional (W) y la al menos una componente dlreccional (X; Y; Z) en términos de una señal de formato B, o en el cual la segunda señal de audio espacial de entrada corresponde a una señal audio codificada DirAc y en el cual el otro procesador está adaptado para obtener la segunda componente omnidireccional y la al menos otra componente direccional en términos de una señal de formato B.

1. Aparato (3) según cualquiera de las reivindicaciones 1 a 9, en el cual el generador de efecto de audio (31) está adaptado para suministrar una combinación de la primera componente omnidireccional y de la segunda componente omnidireccional, o para suministrar una combinación de la al menos una componente direccional y de la al menos otra componente direccional, para obtener la primera componente representada.

11. Aparato (3) según cualquiera de las reivindicaciones 1 a 1, que comprende por otro lado una primera fase de retardo y de puesta a escala (321), para retardar y/o poner a escala la primera componente omnidireccional y/o la al menos una componente direccional, y/o una segundo fase de retardo y de puesta a escala (322), para retardar y/o poner a escala la segunda componente omnidireccional y/o la al menos otra componente direccional.

12. Aparato (3) según cualquiera de las reivindicaciones 1 a 11, que comprende una pluralidad de medios (1) para convertir una pluralidad de señales audio espaciales de entrada, comprendiendo la pluralidad de medios (1) para convertir una pluralidad de señales audio espaciales de entrada el primer medio (11) y el segundo medio (12), comprendiendo el aparato (3) por otro lado una pluralidad de generadores de efecto de audio, en el cual el número total de generadores de efecto de audio es inferior al número total de medios (1).

13. Procedimiento para determinar una señal de audio espacial convertida combinada, presentando la señal de audio espacial convertida combinada al menos una primera componente combinada y una segunda componente combinada, a partir de unas señales de audio espacial de entrada primera y segunda, presentando la primera señal de audio espacial de entrada una primera representación de audio de entrada y una primera dirección de llegada de entrada, presentando la segunda señal de audio espacial de entrada una segunda representación de audio de entrada y una segunda dirección de llegada de entrada, que comprende las etapas consistentes en

determinar una primera señal convertida, presentando la primera señal convertida una primera componente omnidireccional (W) y al menos una componente direccional (X; Y; Z), a partir de la primera señal de audio espacial de entrada, con ayuda de las sub-etapas consistentes en

fi2{k,n) 1 ^ (k,n).

estimar una primera representación de onda, comprendiendo la primera representación de onda una primera medida de campo de onda y una primera medida de dirección de llegada de onda, donde la primera representación de onda es estimada a partir de la primera representación de audio de entrada y de la primera dirección de llegada de entrada; y

tratar la primera medida de campo de onda y la primera medida de dirección de llegada de onda, para obtener la al menos una componente dlrecclonal (X; Y; Z), donde la primera componente omnldlreccional (W) corresponde a la primera representación de audio de entrada;

suministrar la primera señal convertida que presenta la primera componente omnidireccional y la al menos una componente direccional;

determinar una segunda señal convertida, presentando la segunda señal convertida una segunda componente omnidireccional y al menos otra componente direccional, a partir de la segunda señal de audio espacial de entrada, con ayuda de las sub-etapas consistentes en

estimar una segunda representación de onda, comprendiendo la segunda representación de onda una segunda medida de campo de onda y una segunda medida de dirección de llegada de onda, donde la segunda representación de onda es estimada a partir de la segunda representación de audio de entrada y de la segunda dirección de llegada de entrada; y

tratar la segunda medida de campo de onda y la segunda medida de dirección de llegada de onda, para obtener la al menos otra componente direccional, donde la segunda componente omnidireccional corresponde a la segunda representación de audio de entrada;

suministrar la segunda señal convertida que presenta la segunda componente omnidireccional y la al menos otra componente direccional; suministrar la primera componente omnidireccional, para obtener una primera componente representada, o suministrar la al menos una componente direccional, para obtener la primera componente representada, donde la etapa de representación comprende el hecho de reverberar la primera componente omnidireccional o la al menos una componente direccional, para obtener la primera componente representada;

combinar la primera componente representada, la primera componente omnidireccional y la segunda componente omnidireccional, o combinar la primera componente representada, la al menos una componente direccional y la al menos otra componente direccional, para obtener la primera componente combinada; y

combinar la al menos una componente direccional y la al menos otra componente direccional, o combinar la primera componente omnidireccional y la segunda componente omnidireccional, para obtener la segunda componente combinada.

14. Programa de ordenador que tiene un código de programa para realizar el procedimiento según la reivindicación 13 cuando el código de programa se ejecuta en un procesador de ordenador.