Sistema y método de ajuste de retardo audio/vídeo que comprende las siguientes etapas:

extraer parámetros característicos de una fuente de audio (3); introducir los parámetros extraídos de la fuente de audio (3) en el video procedente de una fuente de video (1); extraer de la señal de audio, tras el procesado del video, los mismos parámetros extraídos en la primera etapa; obtener de la señal de video, tras el procesado del video, los parámetros de audio introducidos en la segunda etapa; comparar los parámetros de audio extraídos en la tercera etapa y obtenidos en la cuarta; calcular el retardo existente entre los parámetros de audio comparados; almacenar el retardo calculado; y finalmente retardar la señal de audio un valor de retardo configurable en función del retardo calculado y del retardo almacenado procedente de una ejecución anterior del método

Sistema y método de ajuste de retardo audio/vídeo.

Campo de la invención

La presente invención pertenece al campo de las comunicaciones digitales para la producción y difusión de señales de televisión.

Estado de la técnica

La utilización de tecnologías digitales en los equipos encargados del tratamiento del audio y del vídeo de los procesos de producción para televisión ha originado una serie de problemas de desfase audio y vídeo debido a los distintos retardos introducidos por la utilización de estas tecnologías. Una de las razones de esta diferencia en los retardos en la producción es debida a que, mientras en el mundo analógico los equipos apenas introducían retardos en la señal, en el digital es necesario almacenar la información de cada cuadro para poder tratar la imagen y transmitirla posteriormente a su salida. Por tanto, el almacenamiento y procesado de una imagen que tenga 25 cuadros por segundo sin entrelazar, significa que se introduce en la salida un retardo 1/25 segundos (40 ms), sin tener en cuenta el tiempo de procesado. Si el número de procesos que intervinieran en la operación fueran constantes, un simple retardo en el audio de Nx40 ms solucionaría el problema, siendo N el número de procesos por los que pasa la señal. Sin embargo, el número de procesos difiere dependiendo de la aplicación que se pretende realizar y de la forma de operar de los técnicos que la lleven a cabo.

Además de lo anteriormente expuesto, el retardo entre el audio y el vídeo puede sufrir modificaciones en el control de realización puesto que se utilizan mezcladores de vídeo. Los mezcladores de vídeo son los encargados de mezclar las diferentes señales que entran en el control y se caracterizan por tener varias etapas de procesado de imagen, en cada una de las cuales se pueden realizar operaciones de mezcla ó de inserción de imágenes. De esta forma, cuando una señal pasa por tres etapas de procesado, caso típico en los mezcladores profesionales, la señal de salida es retardada 120 ms con respecto al audio. Así, la salida de un estudio presentaría un margen de desincronización audio/vídeo entre 40 y 120 ms.

El problema se agrava cuando la señal ha de pasar por varios controles o por entornos de distribución, tales como las redes IP en las que el camino de audio es diferente del vídeo que hacen que el retardo sea ingobernable.

Los métodos de sincronización audio/vídeo conocidos principalmente tratan los retardos derivados de la transferencia de vídeo en baja calidad en las redes IP. Uno de los métodos más utilizados hoy en día se basa en el procesamiento de imágenes, con el fin de detectar los labios del interlocutor, y en el procesamiento del audio, con el fin de ajustar lo máximo posible el sonido al movimiento de los labios. Sin embargo, este método presenta un problema importante que se trata del consumo de CPU requerido para el tratamiento de señales.

Por otro lado, el procesamiento digital del audio permite detectar y clasificar sonidos como sonoros o sordos. En los sonoros, existe una frecuencia fundamental con una amplitud que destaca sobre otras componentes de frecuencias de menor amplitud, sin embargo, en los sordos hay muchas frecuencias que influyen en la tonalidad con amplitudes similares y no hay ninguna frecuencia que se imponga al resto. Un ejemplo de vocal sonora es la "a" que tiene como frecuencia dominante una frecuencia alrededor de los 780 hercios y como segunda componente una frecuencia alrededor de los 1600 hercios. El reconocimiento de voz en este caso se basa tanto en el análisis de la envolvente espectral (frecuencias formadoras) como en su evolución en el tiempo. En este contexto, a la voz humana se la puede considerar como "estacionaria a trozos" con periodos estacionarios de 20 o 40 ms y generándose de 5 a 20 fonemas por segundo. Este reconocimiento de voz, junto con el estudio de la imagen focalizando el interés sobre la ubicación de los labios, se usa para corregir las desincronizaciones sin embargo, este procesamiento implica una carga computacional elevada lo cual supone una limitación considerable.

Era por tanto deseable un método de ajuste de retardo de audio/vídeo que solucionara los problemas existentes en el estado de la técnica en este sector.

Descripción de la invención

La presente invención propone un método de ajuste de retardo de audio/vídeo con el fin de paliar los problemas expuestos en el estado de la técnica.

Para ello, el método realiza una inserción de datos de audio en el vídeo con el fin de sincronizar el audio y el vídeo Concretamente, el método se basa en la introducción de elementos significativos del audio dentro de la señal de vídeo cuando el audio es de tipo voz. Este método no es invasivo puesto que los datos de audio no se insertan o mezclan con los datos de imagen sino que se introducen en campos de datos libres del propio stream de vídeo. El método tampoco requiere una gran capacidad para realizar el procesado puesto que únicamente estudia el sonido y los campos de datos del flujo de vídeo, es decir, no necesita tratar la imagen y por tanto reduce la carga computacional asociada a dicho procesamiento. De esta forma, con este método es posible analizar el flujo de audio y de vídeo, detectar el retardo de la imagen con respecto al audio y, una vez detectado dicho retardo, ajustar de forma escalonada una línea de retardo del audio para evitar posibles cortes o saltos en el sonido. Este ajuste escalonado del retardo se puede realizar mediante saltos de retardo en tiempos preestablecidos. Como ejemplo si se tiene un vídeo con un retardo de 200 ms respecto al audio, este ajuste se puede realizar añadiendo retardos de audio de 50 en tramos de 500 ms, de forma que en 1,5 segundos el audio y el vídeo estarán sincronizados, o añadiendo saltos de 100 ms en tramos de 500 ms, en cuyo caso en 0,5 segundos estaría sincronizado. El salto podría ser del retardo completo, de esta forma el sincronizado del audio y del vídeo no presentaría demoras.

El método parte de una fuente de vídeo a cuya salida se añade el resultado de procesar y extraer parámetros de audio de la fuente de audio. Preferentemente, se extraerá la envolvente en frecuencias junto con las amplitudes del sonido sonoro que en ese momento se esté produciendo, estos datos acompañarían al vídeo en toda su trayectoria.

A partir del momento en el que el vídeo tiene la referencia de su audio asociado con esas marcas de sincronización, tanto el vídeo como el audio podrán pasar por los diferentes elementos de producción de programas, mezcladores, sincronizadores de cuadro, etc.

Una vez finalizados los procesos de producción, el vídeo estará retardado con respecto al audio en un número variable de cuadros que variará con el tiempo y dependerá de los diferentes procesos y formas de operación por los que hayan pasado las señales.

Para corregir este retardo, la señal de audio resultante del proceso de producción es tratada por un procesador que extrae el parámetro definido (envolvente de frecuencias y amplitudes). Dicho parámetro es comparado con los parámetros que tiene el flujo de datos del vídeo, resultado de la inserción realizada antes de los procesos de producción, obteniendo tras la comparación un valor del retardo real del vídeo con respecto al audio, de forma que será necesario retardar el audio para la sincronización, esto se realiza mediante el mismo comparador que controla una línea de retardo variable, el comparador controla de forma remota el tiempo de retardo que añade la línea de retardo variable a la señal de audio. El comparador enviará los retardos necesarios para ajustar de forma escalonada la línea de retardo en el audio para evitar posibles cortes o saltos en el sonido. Finalmente, se obtiene en la salida dos señales totalmente síncronas: la señal de audio y la señal de vídeo

En la creación de material audiovisual hay diferentes tipos de fuentes y procesos de producción de vídeo. A continuación se particulariza la implementación de este método para cada uno de ellos:

- El resultado de la captura de imágenes con una única cámara: en este caso, el método detecta e introduce la envolvente de frecuencias y amplitudes de los sonidos sonoros en el flujo de datos del vídeo.

- El resultado de la edición de imágenes: en este caso, cuando se inserta audio y vídeo de una misma secuencia, se copian también los datos de la envolvente de frecuencias que tenga la imagen original, en la imagen resultante de la edición, puesto que al ser una copia de audio y vídeo,...

1. Método de ajuste de retardo audio/vídeo, caracterizado porque comprende las siguientes etapas:

2. Método de ajuste de retardo audio/vídeo, según la reivindicación 1, caracterizado porque la extracción de parámetros característicos comprende la extracción de la envolvente espectral y de las amplitudes del sonido sonoro de la fuente de audio (3) en el momento de extracción.

3. Método de ajuste de retardo audio/vídeo, según cualquiera de las reivindicaciones anteriores, caracterizado porque en procesos en los que el vídeo procede de distintas fuentes de vídeo (1):

4. Método de ajuste de retardo audio/vídeo, según cualquiera de las reivindicaciones anteriores, caracterizado porque el vídeo y el audio proceden de distintas fuentes de vídeo (1) y de audio (3), comprendiendo, las siguientes etapas:

5. Método de ajuste de retardo audio/vídeo, según cualquiera de las reivindicaciones anteriores, caracterizado porque la introducción de los parámetros extraídos de la fuente de audio (3) en el vídeo (1) se realiza dentro del campo de datos especificado en cada uno de los estándares.

6. Método de ajuste de retardo audio/vídeo, según cualquiera de las reivindicaciones anteriores, caracterizado porque retardar la señal de audio comprende las siguientes etapas:

7. Método de ajuste de retardo audio/vídeo, según la reivindicación 6, caracterizado porque la selección del salto de retardo se realiza entre los divisores del tiempo de cuadro.

8. Sistema de ajuste de retardo audio/vídeo, caracterizado porque comprende:

9. Sistema de ajuste de retardo audio/vídeo, según la reivindicación 8, caracterizado porque los medios de procesamiento comprenden un bloque de procesado de audio (4) configurado para la extracción de parámetros característicos mediante la extracción de la envolvente espectral y de las amplitudes del sonido sonoro de la fuente de audio (3) en el momento de extracción.

10. Sistema de ajuste de retardo audio/vídeo, según cualquiera de las reivindicaciones 8-9, caracterizado porque el vídeo procede de distintas fuentes de vídeo (1), donde:

11. Sistema de ajuste de retardo audio/vídeo, según cualquiera de las reivindicaciones 8-10, caracterizado porque el vídeo y el audio proceden de distintas fuentes de vídeo (1) y de audio (3), estando los medios de procesamiento configurados para realizar, en cada entrada de vídeo, las siguientes etapas:

12. Sistema de ajuste de retardo audio/vídeo, según cualquiera de las reivindicaciones 8-11, caracterizado porque los medios de procesamiento están configurados para introducir los parámetros extraídos de la fuente de audio (3) en el vídeo (1) dentro del campo de datos especificado en cada uno de los estándares.

13. Sistema de ajuste de retardo audio/vídeo, según cualquiera de las reivindicaciones 8-12, caracterizado porque el comparador de audio (2) está configurado para realizar las siguientes etapas:

14. Sistema de ajuste de retardo audio/vídeo, según la reivindicación 13, caracterizado porque el comparador de audio (2) está configurado para seleccionar el salto de retardo entre los divisores del tiempo de cuadro.

15. Sistema de ajuste de retardo audio/vídeo, según cualquiera de las reivindicaciones 8-14, caracterizado porque el comparador de audio (2) está configurado para: