Sistema y método de procesamiento de señal de audio.

Un aparato para procesar una pluralidad de señales de audio de entrada,

que comprende:

una pluralidad de terminales de entrada (60) dispuestos para aceptar una pluralidad de señales de entrada (15, 16,17, 18, 19),

un reverberador multi-entrada multi-salida (14) dispuesto para aceptar la pluralidad de señales de entrada ydispuesto para generar un conjunto de señales de salida (80), correspondiendo cada señal de salida delreverberador a una dirección de llegada de sonido en un entorno de escucha e incluyendo componentes de ecoretrasadas (80) dispuestas para simular los ecos que un oyente es probable que escuche de la direccióncorrespondiente en el entorno de escucha, y

un filtro multi-entrada de dos salidas (20, 21, 22, 23, 24, 12-L, 12-R) con entradas acopladas a las salidas delreverberador, acopladas además las entradas a la pluralidad de terminales de entrada, una salida de filtro (47) parael oído izquierdo y una salida de filtro (48) para el oído derecho, dispuesto el filtro para implementar un cierto númerode pares de filtros de función de transferencia relacionada con la cabeza (20, 21, 22, 23, 24), denominados pares defiltros HRTF, correspondiendo cada par de filtros HRTF a una dirección HRTF de llegada de sonido en el entorno deescucha, reproducibles las dos salidas a través de auriculares, incluyendo cada par de filtros HRTF (20) un filtroHRTF de oído izquierdo (30) y un filtro HRTF de oído derecho (31), formando la suma de las salidas del filtro HRTFde oído izquierdo la salida de oído izquierdo (47), y formando la suma de las salidas del filtro HRTF de oído derechola salida de oído derecho (48) del filtro multi-entrada de dos salidas;

en el que el reverberador incluye una pluralidad de trayectorias de señal de retroalimentación (63, 70), (64, 71), (65,72), (66, 73), (66, 74), una para cada dirección HRTF para el oyente, de tal manera que el acoplamiento de lassalidas del reverberador al filtro multi-entrada de dos salidas está dispuesto para acoplar cada una de lastrayectorias de señal de retroalimentación tanto al filtro HRTF de oído izquierdo como al filtro HRTF de oído derechode un correspondiente par de los pares de filtros HRTF, y en el que el reverberador además incluye un mezcladormulti-entrada multi-salida (62) con entradas acopladas a los terminales de entrada (60) y a las salidas de lastrayectorias de señal de retroalimentación, dispuesto el mezclador para mezclar su pluralidad de entradas,acopladas las salidas del mezclador a las trayectorias de señal de retroalimentación, descriptible la mezcla por unamatriz no diagonal, de tal manera que al menos una salida de mezclador se genera combinando una pluralidad deentradas de mezclador,

dispuesto el aparato de tal manera que cada sonido directo correspondiente a una entrada y cada eco separadogenerado por una correspondiente salida de reverberador se procesan por ambos filtros HRTF de un par de lospares de filtros HRTF, de tal forma que cada salida de reverberador se asocia con una correspondiente direcciónconvertida en biaural de llegada de sonido,

dispuesto además el aparato de tal forma que un oyente que escucha las señales de salida izquierda y derecha enel entorno de escucha a través de auriculares tiene la sensación de escuchar a la pluralidad de señales de audio deentrada como si emanaran desde una pluralidad de altavoces ubicados espacialmente en respectivas ubicacionesde altavoz en el entorno de escucha para formar la pluralidad de direcciones para el oyente.

Sistema y método de procesamiento de señal de audio

Solicitud relacionada La presente invención reivindica prioridad de la solicitud provisional de patente de EE.UU. número de serie 60/519786 presentada el 12 de noviembre de 2003, titulada AUDIO SIGNAL PROCESSING SYSTEM AND METHOD, de los inventores Reilly y otros.

Antecedentes La presente invención se refiere al campo de la simulación de efectos de audio tridimensionales (3D) espacializados alrededor de un oyente a través de auriculares o similares y, en particular, describe un sistema compacto para la simulación de audio.

Se han propuesto diversos sistemas para la simulación de efectos de audio “fuera de la cabeza” para oyentes con auriculares. La mayoría de las disposiciones de auriculares tradicionales no incluyen este procesamiento, de modo que, cuando un oyente escucha en los auriculares una pista de audio diseñada para ser reproducida en altavoces estéreo o altavoces multi-formato, el sonido parece emanar desde el interior de la cabeza del oyente.

Se han propuesto y son bien conocidos un cierto número de sistemas para proporcionar el efecto de espacializar las señales de audio, incluyendo dar a un oyente que usa auriculares la ilusión de que está escuchando fuentes de sonido situadas alrededor del oyente. Un ejemplo de tales sistemas se puede encontrar en la patente de EE.UU.

6.574.649, expedida el 3 de junio de 2003, para el inventor McGrath, en la solicitud de patente de EE.UU. 09/647360, presentada el 6 de enero de 1999 para los inventores McGrath y otros, y la solicitud de la patente internacional publicada como WO 99/14983.

Se sabe que las verdaderas salas de escucha producen reverberación. Es deseable que un sistema de espacialización de auriculares incluya una simulación de las reverberaciones que se producen en un entorno de escucha. Es deseable además proporcionar espacialización de auriculares y simulación realista de la reverberación a un coste razonable, por ejemplo con procesamiento que tenga pocas exigencias computacionales.

Por ejemplo, un oyente, cuando escucha una señal de audio adecuadamente procesada generada por el sistema de espacialización y emitida por auriculares estándar, debe tener la impresión de que hay un altavoz -llamado altavoz “virtual”- situado en una posición apropiada con respecto a la cabeza del oyente. El oyente además debe tener la impresión de que está escuchando en un entorno de escucha deseado. Así, el proceso de espacialización implementado por el sistema de espacialización debe proporcionar una simulación de ecos acústicos en un entorno de escucha deseado que suene natural. Por ejemplo, el patrón de ecos acústicos creados por el proceso debe tener diferentes tiempos de llegada que no se correlacionen para cada una de las múltiples señales virtuales a fin de proporcionar una sensación realista y natural de acústica de sala. Además, se desea que tal sistema de espacialización estipule que se simulen múltiples posiciones de altavoz virtual de una vez con el sistema aceptando una pluralidad de señales de audio de entrada cada una de las cuales se va a “virtualizar” en una ubicación diferente.

El documento WO 99/14983, mencionado anteriormente, describe un aparato para crear, utilizando un par de altavoces de auricular opuestamente contrarios, la sensación de que una fuente de sonido está espacialmente distante del área entre el par de auriculares, comprendiendo el aparato: (a) una serie de entradas de audio que representan señales de audio proyectadas desde una fuente de sonido idealizada situada en una ubicación espacial respecto al oyente idealizado, (b) unos primeros medios matriciales de mezcla interconectados a las entradas de audio y una serie de entradas de retroalimentación para presentar a la salida una combinación predeterminada de las entradas de audio como señales intermedias de salida; (c) un sistema de filtro que filtra las señales intermedias de salida y presenta a la salida señales intermedias de salida filtradas y la serie de entradas de retroalimentación, incluyendo el sistema de filtro filtros separados para filtrar la respuesta directa y la respuesta de tiempo corto y una 55 aproximación a la respuesta reverberante, además del filtrado de respuesta de retroalimentación para producir las entradas de retroalimentación; y (d) unos segundos medios matriciales de mezcla que combinan las señales intermedias de salida filtradas para producir salidas estéreo de canales izquierdo y derecho.

Sumario Un objeto de la presente invención es la espacialización del audio alrededor de un oyente cuando se utilizan dispositivos de auriculares o similares, incluyendo la espacialización la simulación de los ecos que es probable que se produzcan en un entorno de escucha.

Este objeto se logra por la invención según las reivindicaciones independientes. Realizaciones preferidas de la invención se definen en las reivindicaciones dependientes.

Aquí se describe un aparato dispuesto para procesar una pluralidad de señales de audio de entrada. El aparato incluye una pluralidad de terminales de entrada para aceptar una pluralidad de señales de entrada. El aparato incluye además un reverberador multi-entrada multi-salida que acepta la pluralidad de señales de entrada y 5 dispuesto para generar un conjunto de señales de salida que incluyen componentes retrasadas formadas de reverberación que simulan la reverberación que un oyente es probable que escuche en un entorno de escucha. El aparato incluye además un filtro multi-entrada de dos salidas con entradas acopladas a las salidas del reverberador. Las entradas del filtro también se acoplan a la pluralidad de terminales de entrada. El filtro proporciona dos salidas, una para el oído izquierdo y una para el oído derecho, y está dispuesto para implementar un conjunto de funciones de transferencia relacionadas con la cabeza correspondientes a un entorno de escucha y un conjunto de direcciones de un oyente en el entorno de escucha. Las dos salidas son reproducibles a través de auriculares. Un oyente escuchando las señales de salida izquierda y derecha en el entorno de escucha a través de auriculares tiene la sensación de escuchar la pluralidad de señales de audio de entrada como si emanaran de una pluralidad de altavoces ubicados espacialmente en el entorno de escucha para formar una correspondiente pluralidad de direcciones para el oyente.

En una realización del reverberador, el reverberador se dispone para formar las componentes de reverberación, y la formación de al menos una de las componentes de reverberación incluye combinar una pluralidad de las señales de entrada aceptadas. En tal realización, el reverberador se dispone para procesar cada una de las señales de entrada de forma diferente.

También se describe aquí un método para procesar una pluralidad de señales de audio de entrada. El método incluye aceptar una pluralidad de señales de entrada, y generar un conjunto de señales de salida de reverberador a partir de la pluralidad de señales de entrada. La generación incluye formar componentes retrasadas de reverberación simulando las reverberaciones que un oyente es probable que escuche en un entorno de escucha. El método incluye además filtrar combinaciones de las señales de entrada y señales de salida de reverberador para producir dos salidas, una para el oído izquierdo y una para el oído derecho. El filtro implementa un conjunto de funciones de transferencia relacionadas con la cabeza que corresponden a un entorno de escucha y un conjunto de direcciones de un oyente en el entorno de escucha. Las dos salidas son reproducibles a través de auriculares. Un oyente escuchando las señales de salida izquierda y derecha en el entorno de escucha a través de auriculares tiene la sensación de escuchar la pluralidad de señales de audio de entrada como si emanaran de una pluralidad de altavoces ubicados espacialmente en el entorno de escucha para formar una correspondiente pluralidad de direcciones para el oyente.

Además, aquí se describe un medio portador que lleva al menos un segmento de código legible por ordenador para dar instrucciones a un procesador de un sistema de procesamiento para implementar un método para procesar una pluralidad de señales de audio de entrada. El método incluye los pasos descritos en el párrafo anterior.

Breve descripción de los dibujos Realizaciones preferidas de la presente invención serán descritas ahora con referencia a los dibujos que se acompañan.

La figura 1 es una ilustración esquemática de un entorno de escucha, y describe alguna de las funciones de 45 transferencia relacionadas con la cabeza para un oyente que escucha un sonido desde una ubicación.

1. Un aparato para procesar una pluralidad de señales de audio de entrada, que comprende:

una pluralidad de terminales de entrada (60) dispuestos para aceptar una pluralidad de señales de entrada (15, 16, 17, 18, 19) ,

un reverberador multi-entrada multi-salida (14) dispuesto para aceptar la pluralidad de señales de entrada y dispuesto para generar un conjunto de señales de salida (80) , correspondiendo cada señal de salida del reverberador a una dirección de llegada de sonido en un entorno de escucha e incluyendo componentes de eco retrasadas (80) dispuestas para simular los ecos que un oyente es probable que escuche de la dirección correspondiente en el entorno de escucha, y

un filtro multi-entrada de dos salidas (20, 21, 22, 23, 24, 12-L, 12-R) con entradas acopladas a las salidas del

reverberador, acopladas además las entradas a la pluralidad de terminales de entrada, una salida de filtro (47) para el oído izquierdo y una salida de filtro (48) para el oído derecho, dispuesto el filtro para implementar un cierto número de pares de filtros de función de transferencia relacionada con la cabeza (20, 21, 22, 23, 24) , denominados pares de filtros HRTF, correspondiendo cada par de filtros HRTF a una dirección HRTF de llegada de sonido en el entorno de escucha, reproducibles las dos salidas a través de auriculares, incluyendo cada par de filtros HRTF (20) un filtro HRTF de oído izquierdo (30) y un filtro HRTF de oído derecho (31) , formando la suma de las salidas del filtro HRTF de oído izquierdo la salida de oído izquierdo (47) , y formando la suma de las salidas del filtro HRTF de oído derecho la salida de oído derecho (48) del filtro multi-entrada de dos salidas;

en el que el reverberador incluye una pluralidad de trayectorias de señal de retroalimentación (63, 70) , (64, 71) , (65,

72) , (66, 73) , (66, 74) , una para cada dirección HRTF para el oyente, de tal manera que el acoplamiento de las salidas del reverberador al filtro multi-entrada de dos salidas está dispuesto para acoplar cada una de las trayectorias de señal de retroalimentación tanto al filtro HRTF de oído izquierdo como al filtro HRTF de oído derecho de un correspondiente par de los pares de filtros HRTF, y en el que el reverberador además incluye un mezclador multi-entrada multi-salida (62) con entradas acopladas a los terminales de entrada (60) y a las salidas de las trayectorias de señal de retroalimentación, dispuesto el mezclador para mezclar su pluralidad de entradas, acopladas las salidas del mezclador a las trayectorias de señal de retroalimentación, descriptible la mezcla por una matriz no diagonal, de tal manera que al menos una salida de mezclador se genera combinando una pluralidad de entradas de mezclador,

dispuesto el aparato de tal manera que cada sonido directo correspondiente a una entrada y cada eco separado generado por una correspondiente salida de reverberador se procesan por ambos filtros HRTF de un par de los pares de filtros HRTF, de tal forma que cada salida de reverberador se asocia con una correspondiente dirección convertida en biaural de llegada de sonido,

dispuesto además el aparato de tal forma que un oyente que escucha las señales de salida izquierda y derecha en el entorno de escucha a través de auriculares tiene la sensación de escuchar a la pluralidad de señales de audio de entrada como si emanaran desde una pluralidad de altavoces ubicados espacialmente en respectivas ubicaciones de altavoz en el entorno de escucha para formar la pluralidad de direcciones para el oyente.

2. Un aparato según la reivindicación 1, en el que el reverberador está dispuesto en la formación de al menos una de las componentes de eco para combinar una pluralidad de las señales de entrada aceptadas, y en el que el reverberador además está dispuesto para procesar cada una de las señales de entrada diferentemente.

3. Un aparato según cualquiera de las reivindicaciones anteriores, que además comprende: un primer conjunto de combinadores (61, 86, 87, 88, 89) acoplados a las entradas del reverberador y a los terminales de entrada, dispuestos para combinar la pluralidad de entradas con el conjunto de salidas del reverberador para generar un conjunto de entradas para el filtro multi-entrada multi-salida.

4. Un aparato según cualquiera de las reivindicaciones anteriores, en el que el filtro está dispuesto para generar dos

conjuntos de salidas, un conjunto para el oído izquierdo y un conjunto para el oído derecho, y en el que el filtro incluye un segundo conjunto de combinadores dispuestos para combinar el conjunto de salidas de oído izquierdo y el conjunto de salidas de oído derecho para formar la señal de salida de oído izquierdo y la señal de salida de oído derecho, respectivamente.

5. Un aparato según cualquiera de las reivindicaciones anteriores, en el que el reverberador está dispuesto de tal forma que las componentes de reverberación incluyen una serie de versiones mezcladas, retrasadas y filtradas de las señales de entrada aceptadas.

6. Un aparato según cualquiera de las reivindicaciones anteriores, en el que la matriz es una matriz unitaria dentro

de cada entrada que es multiplicada por una respectiva ganancia descriptible por pre-multiplicación por una matriz diagonal y/o dentro de cada salida que es multiplicada por una respectiva ganancia descriptible por postmultiplicación por una matriz diagonal.

7. Un aparato según la reivindicación 4-6, en el que el acoplamiento de las entradas del mezclador a las terminales de entrada está dispuesto para ser a través de un tercer conjunto de combinadores dispuestos para combinar las entradas con versiones de filtros retrasados de las salidas del mezclador, de tal forma que el reverberador incluye una pluralidad de trayectorias de señal de retroalimentación, incluyendo al menos una trayectoria de señal de retroalimentación un retraso y un filtro.

8. Un aparato según cualquiera de las reivindicaciones anteriores, en el que cada una de las trayectorias de señal de retroalimentación incluye un retraso y un filtro, para producir cada respectivo filtro una tasa de decaimiento deseada que varía con la frecuencia para los ecos producidos por la respectiva trayectoria de señal de retroalimentación, y seleccionándose cada respectivo retraso para proporcionar un patrón de reverberación deseada para el entorno de escucha.

9. Un aparato según la reivindicación 8, en el que cada filtro se selecciona para lograr un tiempo de reverberación deseado a bajas frecuencias y un tiempo de reverberación deseado a altas frecuencias.

10. Un aparato según la reivindicación 8 o la reivindicación 9, en el que los retrasos de las diferentes trayectorias de señal de retroalimentación se seleccionan para ser diferentes sin ningún factor común.

11. Un aparato según una cualquiera de las reivindicaciones 8 a 10, en el que cada uno de los retrasos de las diferentes trayectorias de señal de retroalimentación se selecciona para ser aproximadamente igual al tiempo de retraso de la primera llegada de eco en el entorno de escucha.

12. Un aparato según una cualquiera de las reivindicaciones 8 a 11, en el que cada uno de los retrasos de las diferentes trayectorias de señal de retroalimentación se selecciona de modo que los patrones de ecos no están correlacionados para cada trayectoria de señal de retroalimentación.

13. Un aparato según una cualquiera de las reivindicaciones 8 a 12, en el que el número de direcciones HRTF es menor que el número de señales de entrada en la pluralidad de señales de entrada de audio.

14. Un aparato según una cualquiera de las reivindicaciones 8 a 12, en el que el número de direcciones HRTF es mayor que el número de señales de entrada en la pluralidad de señales de entrada de audio.

15. Un aparato según cualquiera de las reivindicaciones anteriores, en el que el aparato incluye además una memoria dispuesta para almacenar al menos un conjunto de parámetros para al menos un entorno de escucha, suficiente cada conjunto para simular un entorno de escucha.

16. Un aparato según la reivindicación 15, en el que la memoria está cargada con una pluralidad de conjuntos de parámetros para una pluralidad de conjuntos de entornos de escucha.

17. Un aparato según las reivindicaciones anteriores, en el que el filtro y el reverberador se implementan por un sistema DSP que tiene una memoria.

18. Un método para procesar una pluralidad de señales de audio de entrada, que comprende:

aceptar una pluralidad de señales de entrada,

generar un conjunto de señales de salida de reverberador desde la pluralidad de las señales de entrada, correspondiendo cada señal de salida de reverberador a una dirección de llegada de sonido en un entorno de escucha e incluyendo componentes de eco retrasado dispuestos para simular los ecos que un oyente es probable que escuche de la dirección correspondiente en un entorno de escucha, y

filtrar combinaciones de las señales de entrada y las señales de salida de reverberador para producir dos salidas de 55 filtro, una salida de filtro para el oído izquierdo y una salida de filtro para el oído derecho, implementando el filtro un número de pares de filtros de función de transferencia relacionada con la cabeza, denominados pares de filtros HRTF, correspondiendo cada par de filtros HRTF a una dirección HRTF de llegada de sonido en el entorno de escucha, reproducibles las dos salidas a través de auriculares, incluyendo cada par de filtros HRTF un filtro HRTF de oído izquierdo y un filtro HRTF de oído derecho, formando la suma de las salidas de filtro HRTF de oído izquierdo una salida de oído izquierdo como una de dichas dos salidas de filtro, y formando la suma de las salidas de filtro HRTF de oído derecho la salida de oído derecho como la otra de dichas dos salidas de filtros;

en el que la generación del conjunto de señales de salida de reverberador incluye formar una pluralidad de trayectorias de señal de retroalimentación, una para cada dirección HRTF para el oyente, de tal forma que cada una 65 de las trayectorias de señal de retroalimentación se acopla tanto al filtro HRTF de oído izquierdo como al filtro HRTF de oído derecho de un par correspondiente de los pares de filtros HRTF, y en el que la generación del conjunto de señales de salida de reverberador incluye además generar una pluralidad de salidas del mezclador mezclando una pluralidad de entradas del mezclador, siendo las entradas del mezclador combinaciones de las señales de entrada aceptadas y las salidas de las trayectorias de señal de retroalimentación, descriptible la mezcla por una matriz nodiagonal, de tal forma que al menos una salida del mezclador se genera combinando una pluralidad de entradas de mezclador, y

de tal forma que cada sonido directo correspondiente a una entrada y cada eco separado en una correspondiente señal de salida de reverberador se procesan por ambos filtros HRTF de una par de los pares de filtros HRTF, de tal forma que cada señal de salida de reverberador se asocia con una correspondiente dirección convertida en biaural

de llegada de sonido,

de tal forma que un oyente que escucha las señales de salida izquierda y derecha en el entorno de escucha a través de auriculares tiene la sensación de escuchar la pluralidad de señales de audio de entrada como si emanaran de una pluralidad de altavoces espacialmente ubicados en respectivos ubicaciones de altavoz en el entorno de escucha para formar la pluralidad de direcciones para el oyente.

19. Un método según la reivindicación 18, en el que la formación de al menos una de las componentes de eco incluye combinar una pluralidad de las señales de entrada aceptadas, y en el que la generación de un conjunto de señales de salida de reverberador procesa distintas señales de entrada diferentemente.

20. Un método según la reivindicación 18 ó 19, que comprende además: combinar la pluralidad de entradas con el conjunto de señales de salida de reverberador para generar un conjunto de entradas para la generación del conjunto de señales de salida del reverberador.

21. Un método según una cualquiera de las reivindicaciones 18 a 20, en el que las componentes de eco incluyen una serie de versiones mezcladas, retrasadas y filtradas de las señales de entrada aceptadas.

22. Un método según una cualquiera de las reivindicaciones 18 a 21, en el que la matriz es una matriz unitaria dentro de cada entrada que es multiplicada por una respectiva ganancia descriptible por pre-multiplicación por una matriz diagonal y/o dentro de cada salida que es multiplicada por una respectiva ganancia descriptible por postmultiplicación por una matriz diagonal.

23. Un método según una cualquiera de las reivindicaciones 18 a 22, comprendiendo además el método acoplar

cada una de las trayectorias de señal de retroalimentación a uno correspondiente de los pares de filtros HRTF. 35

24. Un método según la reivindicación 23, en el que cada una de las trayectorias de señal de retroalimentación incluye retraso y filtrado, en el que cada paso de filtro es para producir una tasa de decaimiento deseada que varia con la frecuencia para los ecos producidos por la respectiva trayectoria de señal de retroalimentación, y en el que cada respectivo paso de retraso incluye aplicar un retraso respectivo seleccionado para proporcionar un patrón de reverberación deseado para el entorno de escucha.

25. Un método según la reivindicación 24, en el que el filtrado en cada trayectoria de señal de retroalimentación se selecciona para lograr un tiempo de reverberación deseado a bajas frecuencias y un tiempo de reverberación deseado a altas frecuencias.

26. Un método según la reivindicación 24 ó 25, en el que los retrasos de las diferentes trayectorias de señal de retroalimentación se seleccionan para ser diferentes sin ningún factor común.

27. Un método según una cualquiera de las reivindicaciones 24 a 26, en el que cada uno de los retrasos de las

diferentes trayectorias de señal de retroalimentación se selecciona para ser aproximadamente igual al tiempo de retraso de la primera llegada de eco en el entorno de escucha.

28. Un método según una cualquiera de las reivindicaciones 24 a 27, en el que cada uno de los retrasos de las diferentes trayectorias de señal de retroalimentación se selecciona de tal forma que los patrones de los ecos no se 55 correlacionan con cada trayectoria de señal de retroalimentación.

29. Un método según una cualquiera de las reivindicaciones 24 a 28, en el que el número de direcciones HRTF es menor que el número de señales de entrada en la pluralidad de señales de audio de entrada.

30. Un método según una cualquiera de las reivindicaciones 24 a 28, en el que el número de direcciones HRTF es mayor que el número de señales de entrada en la pluralidad de señales de entrada de audio.

31. Un medio de almacenamiento legible por ordenador en el cual está almacenado al menos un segmento de código que, cuando se ejecuta por al menos un procesador de un sistema de procesamiento, ocasiona llevar a cabo 65 un método como se ha expuesto en cualquier reivindicación precedente de método.