Renderización binaural de una señal de audio multicanal.

Un aparato para la renderización binaural de una señal de audio multicanal (21) en una señal de salida binaural (24),

la señal de audio multicanal (21) comprende una señal (18) de conversión estereofónica de multicanal a estéreo hacia donde una pluralidad de señales de audio (141-14N) se convierte de multicanal a estéreo, e información conexa (20) que comprende una información de conversión de multicanal a estéreo (DMG, DCLD) que indica, para cada señal de audio, hasta qué punto la respectiva señal de audio se ha mezclado en un primer canal (L0) y un segundo canal (R0) de la señal (18) de conversión estereofónica de multicanal a estéreo, respectivamente, así como información sobre el nivel de objeto (ANTERIOR) de la pluralidad de señales de audio e información de correlación cruzada entre objetos (IOC) que describe las semejanzas entre pares de señales de audio de la pluralidad de señales de audio, el aparato estando configurado para:

computar (47), basado en una primera prescripción de renderización (Gl, m) según la información de correlación cruzada entre objetos, la información sobre el nivel de objeto, la información de conversión de multicanal a estéreo, información de renderización que relaciona cada señal de audio con una posición de altavoz virtual y parámetros HRTF, una señal (54) de salida binaural preliminar de los primeros y segundos canales de la señal (18) de conversión estereofónica de multicanal a estéreo;

generar (50), a partir de la señal (18) de conversión estereofónica de multicanal a estéreo, una señal no correlacionada ( n k d X , ) como un equivalente perceptual con una conversión monoaural de multicanal a estéreo (58) de los primeros y segundos canales de la señal (18) de conversión estereofónica de multicanal a estéreo que es, sin embargo, decorrelacionada a la conversión monoaural de multicanal a estéreo (58);

computar (52), según una segunda prescripción de renderización (P2 l, m) según la información de correlación cruzada

entre objetos, la información sobre el nivel de objeto, la información de conversión de multicanal a estéreo, la información de renderización y los parámetros HRTF, una señal (64) de salida binaural correctiva de la señal (62) no correlacionada; y

mezclar (53) la señal (54) de salida binaural preliminar con la señal (64) de salida binaural correctiva de obtener la señal de salida binaural (24).

Renderización binaural de una señal de audio multicanal

[1] La presente solicitud se relaciona con la renderización binaural de una señal de audio multicanal.

[2] Muchos algoritmos de codificación de audio han sido propuestos a fin de codificar con eficacia o comprimir datos de audio de un canal, es decir, señales monoarurales. Usando la psicoacústica, las muestras de audio son apropiadamente modificadas a escala, cuantificadas o conjunto ni siquiera al cero a fin de retirar la irrelevancia de, por ejemplo, el PCM señal de audio codificada. La eliminación de redundancia también es llevada a cabo.

[3] Como una etapa adicional, las semejanzas entre el canal derecho e izquierdo de señales de audio estéreo han sido explotadas a fin de codificar/comprimir con eficacia señales de audio estéreo.

[4] Sin embargo, las aplicaciones próximas plantean demandas adicionales en algoritmos de codificación de audio. Por ejemplo, en teleconferencia, vídeojuegos, desempeño de música y lo similar, varias señales de audio que son parcialmente o incluso completamente no correlacionadas tienen que transmitirse en paralelo. A fin de mantener la velocidad binaria necesaria para codificar estas señales de audio bastante bajo a fin de ser compatible a aplicaciones de transmisión de tasa con el bajo bit, recientemente, codeos de audio ha sido propuesta que conversión de multicanal a estéreo múltiples señales de audio de entrada en una señal de conversión de multicanal a estéreo, como una señal de conversión monoaural de multicanal a estéreo estéreo o ni siquiera. Por ejemplo, las conversiones de multicanal a estéreo de norma de Sonido envolvente de MPEG los canales de entrada en la señal de conversión de multicanal a estéreo en una manera prescrita por norma. La conversión de multicanal a estéreo se lleva a cabo por el uso de llamados bloques de TTP1 y OTT1 para la conversión de multicanal a estéreo dos señales en una y tres señales en dos, respectivamente. A fin de a la conversión de multicanal a estéreo más de tres señales, una estructura jerárquica de estos bloques se usa. Cada bloque de OTT-1 salidas, además de la señal de conversión monoaural de multicanal a estéreo, diferencias de nivel de canal entre los dos canales de entrada, así como coherencia entre canales / parámetros de correlación cruzada que representan la coherencia o la correlación cruzada entre los dos canales de entrada. Los parámetros son enviados junto con la señal de conversión de multicanal a estéreo del codificador de Sonido envolvente de MPEG dentro del tren de datos de Sonido envolvente de MPEG. De forma similar, cada bloque de TTP1 transmite coeficientes de predicción de canal que habilitan recuperar los tres canales de entrada de la señal de conversión estereofónica de multicanal a estéreo resultante. Los coeficientes de predicción de canal también son transmitidos como la información conexa dentro del tren de datos de Sonido envolvente de MPEG. Las conversiones de estéreo a multicanal de Decodificador de sonido envolvente de MPEG la señal de conversión de multicanal a estéreo por el uso de la información conexa transmitida y recuperan, la entrada de canales original en el codificador de Sonido envolvente de MPEG.

[5] Sin embargo, el Sonido envolvente de MPEG, lamentablemente, no realiza todos los requerimientos planteados por muchas aplicaciones. Por ejemplo, el Decodificador de sonido envolvente de MPEG es dedicado para convertir de estéreo a multicanal la señal de conversión de multicanal a estéreo del codificador de Sonido envolvente de MPEG el que los canales de entrada del codificador de Sonido envolvente de MPEG son recuperados como éstos son. En otras palabras, el tren de datos de Sonido envolvente de MPEG es dedicado para ser puesto por el uso de la configuración de altavoz que se ha usado para la codificación, o por configuraciones comunes como el estéreo.

[6] Sin embargo, según algunas aplicaciones, sería favorable si la configuración de altavoz pudiera cambiarse en el lado del decodificador libremente.

[7] A fin de encargarse a las últimas necesidades, la codificación espacial del objeto de audio (SAOC) la norma es diseñada actualmente. Cada canal se somete a tratamiento como un objeto individual, y todos los objetos se convierten de multicanal a estéreo en una señal de conversión de multicanal a estéreo. Es decir los objetos son manejados como señales de audio que son independientes de entre sí sin adherirse a cualquier configuración de altavoz específica, pero con la capacidad de colocar los altavoces (virtuales) en el lado del decodificador arbitrariamente. Los objetos individuales pueden comprender fuentes de sonido individuales como p.ej documentos o pistas vocales. Diferenciándose del Decodificador de sonido envolvente de MPEG, el decodificador SAOC está libre para convertir de estéreo a multicanal individualmente la señal de conversión de multicanal a estéreo para volver a jugar los objetos individuales en cualquier configuración de altavoz. A fin de habilitar el decodificador SAOC para recuperar los objetos individuales que tienen sido codificado en el tren de datos SAOC, objetan diferencias de nivel y, para objetos que forman conjuntamente un estéreo (o multicanal) señal, los parámetros de correlación cruzados entre objetos se transmiten como la información conexa dentro del tren de bits SAOC. Además de esto, el decodificador/transcodificador SAOC se proporciona con la información que revela como los objetos individuales se han convertido de multicanal a estéreo en la señal de conversión de multicanal a estéreo. Así, en el lado del decodificador, es posible recuperar los canales SAOC individuales y renderizar estas señales en cualquier configuración de altavoz utilizando la información de renderización controlada por el usuario.

[8] Sin embargo, aunque los codeos ya mencionados, es decir Sonido envolvente de MPEG y SAOC, sean capaces de transmitir y renderizar el contenido de audio multicanal en configuraciones de altavoz que tienen a más de dos altavoces, el interés creciente en audífonos ya que el sistema de reproducción de audio requiere esto estos codeos también son capaces de renderizar el contenido de audio en audífonos. En contraste con el pregrabado de altavoz, el contenido de audio estéreo reproducido sobre audífonos es percibido dentro el cabezal. La ausencia del efecto de la vía acústica de fuentes las a ciertas posiciones físicas a los tímpanos hacen que la imagen espacial parezca no natural ya que las señales de aviso que determinan el acimut percibido, elevación y distancia de una fuente de sonido es esencialmente ausente o muy inexacta. Así, para resolver la etapa de sonido no natural causada por señales de aviso de localización de fuente de sonido inexactas o ausentes en audífonos, diversos métodos han sido propuestos para simular una configuración de altavoz virtual. La idea es superimponer señales de aviso de localización de fuente de sonido en cada señal de altavoz. Esto se logra filtrando señales de audio con llamadas funciones de transferencia relacionadas por el cabezal (HRTFs) o respuestas a impulsos de cuarto binaurales (BRIRs) si el cuarto propiedades acústicas se incluye en estos datos de cuantificación. Sin embargo, filtrar cada señal de altavoz con las funciones sólo mencionadas requeriría una cantidad considerablemente más elevada de la energía de cálculo en el lado de decodificador/reproducción. En términos particulares, la renderización la señal de audio multicanal en las ubicaciones de altavoz "virtuales" tendría que llevarse a cabo primero donde, luego, cada señal de altavoz así obtenida, es filtrada con la respectiva función de transferencia o respuesta a impulsos para obtener el canal derecho e izquierdo de la señal de salida binaural. Incluso peor: la señal de salida binaural obtenida tendría una calidad de audio mala debido a que a fin de lograr las señales de altavoz virtuales, un relativamente la gran cantidad de señales de decorrelación sintéticas tendría que mezclarse en las señales convertidas de estéreo a multicanal a fin de compensar la correlación entre señales de entrada de audio al principio no correlacionadas, la correlación que resulta a partir de la conversión de multicanal a estéreo la pluralidad de señales de entrada de audio en la señal de conversión de multicanal a estéreo.

[9] En la versión actual del codeo SAOC, los parámetros SAOC dentro de la información conexa permiten la renderización espacial interactiva por el usuario de los objetos de audio usando cualquier configuración de pregrabado con, en principio, incluyendo audífonos. La renderización binaural a audífonos permite el control espacial de posiciones de objeto virtuales en el espacio en... [Seguir leyendo]

1. Un aparato para la renderización binaural de una señal de audlo multicanal (21) en una señal de salida blnaural (24), la señal de audlo multicanal (21) comprende una señal (18) de conversión estereofónlca de multicanal a estéreo hacia donde una pluralidad de señales de audio (14i-14n) se convierte de multicanal a estéreo, e información conexa (2) que comprende una Información de conversión de multicanal a estéreo (DMG, DCLD) que indica, para cada señal de audio, hasta qué punto la respectiva señal de audio se ha mezclado en un primer canal (LO) y un segundo canal (R) de la señal (18) de conversión estereofónica de multicanal a estéreo, respectivamente, así como información sobre el nivel de objeto (ANTERIOR) de la pluralidad de señales de audlo e Información de correlación cruzada entre objetos (IOC) que describe las semejanzas entre pares de señales de audlo de la pluralidad de señales de audio, el aparato estando configurado para:

computar (47), basado en una primera prescripción de renderización (G'- m) según la Información de correlación cruzada entre objetos, la información sobre el nivel de objeto, la Información de conversión de multicanal a estéreo, información de renderización que relaciona cada señal de audio con una posición de altavoz virtual y parámetros HRTF, una señal (54) de salida binaural preliminar de los primeros y segundos canales de la señal (18) de conversión estereofónica de multicanal a estéreo;

generar (5), a partir de la señal (18) de conversión estereofónica de multicanal a estéreo, una señal no

correlacionada ( d ) como un equivalente perceptual con una conversión monoaural de multicanal a estéreo (58) de los primeros y segundos canales de la señal (18) de conversión estereofónica de multicanal a estéreo que es, sin embargo, decorrelacionada a la conversión monoaural de multicanal a estéreo (58);

computar (52), según una segunda prescripción de renderización (P^-m) según la Información de correlación cruzada entre objetos, la información sobre el nivel de objeto, la Información de conversión de multicanal a estéreo, la información de renderización y los parámetros HRTF, una señal (64) de salida blnaural correctiva de la señal (62) no correlacionada; y

mezclar (53) la señal (54) de salida binaural preliminar con la señal (64) de salida binaural correctiva de obtener la señal de salida binaural (24).

2. Aparato según la reivindicación 1, en donde el aparato está configurado adicionalmente para, en la generación de

2£n,k

la señal no correlacionada ( d ), sumar el primer y segundo canal de la señal (18) de conversión estereofónica de multicanal a estéreo y decorrelacionar la suma para obtener la señal (62) no correlacionada.

3. Aparato según la reivindicación 1 o 2, adicionalmente configurado para:

estimar (8) un valor de coherencia entre canales binaural actual de la señal (54) de salida binaural preliminar; determinar (82) un valor de coherencia entre canales binaural con especificidad de objetivo; y conformar (84) una proporción de mezcla determinante a cual grado la señal de salida binaural (24) es bajo la influencia de los primeros y segundos canales de la señal (18) de conversión estereofónica de multicanal a estéreo como procesado por el cálculo (47) de la señal (54) de salida binaural preliminar y los primeros y segundos canales de la señal (18) de conversión estereofónica de multicanal a estéreo como procesado por la generación (5) de una señal no correlacionada y el cálculo (52) de la señal (64) de salida binaural correctiva, respectivamente, basada en el valor de coherencia entre canales binaural actual y el valor de coherencia entre canales binaural con especificidad de objetivo.

4. Aparato según la reivindicación 3, en donde el aparato está configurado adlclonalmente para, en la configuración de la proporción de mezcla, determinar la proporción de mezcla determinando la primera prescripción de renderización (G4 m) y la segunda prescripción de renderización (P m) basado en el valor de coherencia entre canales binaural actual y el valor de coherencia entre canales binaural con especificidad de objetivo.

5. Aparato según la reivindicación 3 o 4, en donde el aparato está configurado adlclonalmente para, al determinar el valor de coherencia entre canales binaural con especificidad de objetivo, llevar a cabo la determinación basada en componentes de una matriz de covariancia con especificidad de objetivo F = A E A\ con denotando transpuesto conjugado, A siendo una matriz de renderización binaural con especificidad de objetivo que relaciona las señales de audlo con los primeros y segundos canales de la señal de salida blnaural, respectivamente, y estando exclusivamente determinada por la información de renderización y los parámetros HRTF, y E siendo una matriz que es exclusivamente determinada por la información de correlación cruzada entre objetos y la información sobre el nivel de objeto.

6. Aparato según la reivindicación 5, en donde el aparato está configurado adlclonalmente para, al computar la señal (54) de salida binaural preliminar, llevar a cabo el cálculo de modo que:

X, =GX

en donde X es un vector 2x1 cuyos componentes corresponden a los primeros y segundos canales de la señal (18)

Y

de conversión estereofónica de multicanal a estéreo, 1 es un vector 2x1 cuyos componentes corresponden a los

primeros y segundos canales de la señal (54) de salida binaural preliminar, G es una primera matriz de renderización que representa la primera prescripción de renderización y que tiene un tamaño de 2x2 con:

f

G =

donde, con x{1,2}:

4>x =

arg

P\ cos((3 + a)exp(/' -y)

P2, cos((3 - oc)exp(- y-y

\ R

P2 cos((3 + oc)exp(/^-) ^ P2 cos((3 - a)exp(- y-y-)

px = Jm.

1 l y vx 5

te)

Si aplica una condición En caso contrario

f f f

en donde 11, 12 y 22 son coeficientes de matrices de covariancia con especificidad de objetivo P del tamaño 2x2 con: P = A Ex A*,

X I _Jl

, , e,i ey\d]+df )\d\+df

en donde: 11 11

Y d'

J\d)+dt

son coeficientes de la matriz de NxN £*, N siendo la cantidad de señales de

audio, e¡j son coeficientes de la matriz £ siendo de tamaño NxN, y información de conversión de multicanal a estéreo, donde

d-

son exclusivamente determinados por la

indica el grado al cual la señal de audio i ha sido

d2

mezclada dentro del primer canal de la señal (18) de conversión estereofónica de multicanal a estéreo y 1 define hasta qué punto la señal de audio ¡ ha sido mezclada dentro del segundo canal de la señal de salida estéreo (18),

vx VX=DXEÍDX T+e dx

en dondev es un escalar con V ¡ y D* es una matriz 1xN cuyos coeficientes son ,

en donde el aparato está configurado adicionalmente para, al computar una señal de salida binaural correctiva (64), llevar a cabo el cálculo de modo que:

x2=P2xd

y

en donde Xd es la señal no correlacionada, 2 es un vector 2x1 cuyos componentes corresponden a primeros y segundos canales de la señal (64) de salida binaural correctiva, y P2 es una segunda matriz de renderización que representa la segunda prescripción de renderización y que tiene un tamaño 2x2 con:

^ PL sinfe +a )exp(/ argj^)

P,si4_a)e/,4J)J

en donde Pl y Pr de ganancias se definen como:

P2 =

P /Ü! P - IC22 J L "V v *R V V

en donde cu y C22 son coeficientes de una matriz 2x2 C de covariancia de la señal (54) de salida binaural preliminar

con:

C = GDEDG*

en donde V es un escalar con

V = WEW +e

,Wes una matriz de conversión monoaural de multicanal a

dx d = (D[) ^

estéreo del tamaño 1xN cuyos coeficientes son exclusivamente determinados por: 'i£>2 2 y

f pl exp(/4) Pl"''2 exp(/xh

GUm =

es

' Pr exp(- jX) P¡ exp(- j)j

en donde el aparato está configurado adicionalmente para, al estimar el valor de coherencia entre canales binaural actual, determinar el valor de coherencia entre canales binaural actual como:

f

pc = min

= ,1

22 y

en donde el aparato está configurado adicionalmente para, al determinar el valor de coherencia entre canales binaural con especificidad de objetivo, determinar el valor de coherencia entre canales binaural con especificidad de objetivo como:

p7 = min

\f2\

\

,1

y

y

en donde el aparato está configurado adicionalmente para, en la configuración de la proporción de mezcla, determinar los ángulos de los rotadores a y p según:

a =(arccos(pr) - arccos(pc

P = arctan

tan(oc)

P*-Pl'

Pl+Prj

con e denotando una constante pequeña para evitar divisiones por cero, respectivamente.

7. Aparato según la reivindicación 1, donde el aparato está configurado adicionalmente para, al computar la señal (54) de salida binaural preliminar, llevar a cabo el cálculo de modo que:

X, = G X

en donde X es un vector 2x1 cuyos componentes corresponden a los primeros y segundos canales de la señal (18)

v

de conversión estereofónica de multicanal a estéreo, 1 es un vector 2x1 cuyos componentes corresponden a los primeros y segundos canales de la señal (54) de salida binaural preliminar, G es una primera matriz de renderización que representa la primera prescripción de renderización y que tiene un tamaño de 2x2 con:

G =

AED*(DED*)\

en donde £ es una matriz siendo exclusivamente determinada por la información de correlación cruzada entre objetos y la información sobre el nivel de objeto;

n d

u es una matriz 2xN cuyos coeficientes v están exclusivamente determinados por la información de conversión

d,

de multicanal a estéreo, en donde 3 indica el grado al cual la señal de audio j se ha mezclado dentro del primer

í/9,

canal de la señal (18) de conversión estereofónica de multicanal a estéreo y 3 define hasta qué punto la señal de audio j se ha mezclado dentro del segundo canal de la señal de salida estéreo (18);

A es una matriz de renderización binaural con especificidad de objetivo relación de las señales de audio a los primeros y segundos canales de la señal de salida binaural, respectivamente, y es exclusivamente determinada por la información de renderización y los parámetros HRTF,

en donde el aparato está configurado adicionalmente para, al computar una señal de salida binaural correctiva (64), llevar a cabo el cálculo de modo que:

X2=P-Xd

x

en donde Xd es la señal no correlacionada, 2 es un vector 2x1 cuyos componentes corresponden a primeros y segundos canales de la señal (64) de salida binaural correctiva, y P es una segunda matriz de renderización que representa la segunda prescripción de renderización y que tiene un tamaño 2x2 y se determina de modo que: PPS *

= AR

AR = AEA* -GDED*G* G a

con u u con u = 'J

8. Aparato según la reivindicación 1, en donde el aparato está configurado adicionalmente para, al calcular la señal (54) de salida binaural preliminar, llevar a cabo el cálculo de modo que:

Xx =G X

en donde X es un vector 2x1 cuyos componentes corresponden a los primeros y segundos canales de la señal (18)

X

de conversión estereofónica de multicanal a estéreo, 1 es un vector 2x1 cuyos componentes corresponden a los primeros y segundos canales de la señal (54) de salida binaural preliminar, G es una primera matriz de renderización que representa la primera prescripción de renderización y que tiene un tamaño de 2x2 con:

G = (GoDED'Go *)1 (Go DED'Go* AEA* Go DED'Go *)1/2 (Go DED'Go *)1 Go con Go = AED* (DED *)1

en donde £ es una matriz que es exclusivamente determinada por la información de correlación cruzada entre objetos y la información sobre el nivel de objeto;

t\ d

u es una matriz 2xN cuyos coeficientes v son exclusivamente determinados por la información de conversión de

d,,

multicanal a estéreo, en donde 3 indica el grado al cual la señal de audio j se ha mezclado dentro del primer canal

dn.

de la señal (18) de conversión estereofónica de multicanal a estéreo y 3 define hasta qué punto la señal de audio j se ha mezclado dentro del segundo canal de la señal de salida estéreo (18);

A es una matriz de renderización binaural con especificidad de objetivo relación de las señales de audio a los primeros y segundos canales de la señal de salida binaural, respectivamente, y es exclusivamente determinado por la información de renderización y los parámetros HRTF,

en donde el aparato está configurado adicionalmente para, al computar una señal de salida binaural correctiva (64), lleve a cabo el cálculo de modo que:

X2=P-Xd

x

en donde Xd es la señal no correlacionada, 2 es un vector 2x1 cuyos componentes corresponden a primeros y segundos canales de la señal (64) de salida binaural correctiva, y P es una segunda matriz de renderización que representa la segunda prescripción de renderización y que tiene un tamaño 2x2 y se determina el que PPS *= (AEA* - GDED'G*) / V con V que es un escalar.

9. Aparato según cualquiera de las reivindicaciones anteriores, en donde la información de conversión de multicanal a estéreo (DMG, DCLD) es dependiente del tiempo, y la información sobre el nivel de objeto (ANTERIOR) y la información de correlación cruzada entre objetos (IOC) es dependiente de tiempo y frecuencia.

1. Método para la renderización binaural de una señal de audio multicanal (21) en una señal de salida binaural (24), la señal de audio multicanal (21) que comprende una señal (18) de conversión estereofónica de multicanal a estéreo hacia donde una pluralidad de señales de audio (14i-14n) se convierte de multicanal a estéreo, e información conexa (2) que comprende una información de conversión de multicanal a estéreo (DMG, DCLD) indicando, para cada señal de audio, hasta qué punto la respectiva señal de audio se ha mezclado dentro de un primer canal (LO) y un segundo canal (R) de la señal (18) de conversión estereofónica de multicanal a estéreo, respectivamente, así como información sobre el nivel de objeto (ANTERIOR) de la pluralidad de señales de audio e información de correlación cruzada entre objetos (IOC) que describe las semejanzas entre pares de señales de audio de la pluralidad de señales de audio, en donde el método comprende:

computar, basado en una primera prescripción de renderización (& m) según la información de correlación cruzada entre objetos, la Información sobre el nivel de objeto, la Información de conversión de multicanal a estéreo, Información de renderización que relaciona cada señal de audio con una posición de altavoz virtual y parámetros HRTF, una señal (54) de salida binaural preliminar de los primeros y segundos canales de la señal (18) de conversión estereofónica de multicanal a estéreo;

generar, a partir de la señal (18) de conversión estereofónica de multicanal a estéreo, una señal no correlacionada

( d ) como un equivalente perceptual con una conversión monoaural de multicanal a estéreo (58) de los primeros y segundos canales de la señal (18) de conversión estereofónica de multicanal a estéreo que es, sin embargo, decorrelaclonada a la conversión monoaural de multicanal a estéreo (58);

computar, según una segunda prescripción de renderización (P21 m) según la información de correlación cruzada entre objetos, la información sobre el nivel de objeto, la información de conversión de multicanal a estéreo, la información de renderización y los parámetros HRTF, una señal (64) de salida binaural correctiva de la señal (62) no correlacionada; y

mezclar la señal (54) de salida binaural preliminar con la señal (64) de salida binaural correctiva de obtener la señal de salida binaural (24).

11. Programa de computadora que tiene instrucciones para llevar a cabo, cuando se ejecuta en una computadora, el método según la reivindicación 1.