DISPOSITIVO Y SISTEMA ESCALABLE PARA LA SOBREIMPRESIÓN DE FLUJOS DE VÍDEO.

Dispositivo y sistema escalable que permite la alteración dinámica de flujos de vídeo minimizando su recodificación para la inserción de imágenes en fotogramas,

tales como los logos identificativos de canales de televisión ("mosca"), sobreimpresión de múltiples canales (multi picture-in-picture), sobreimpresión de imágenes personalizadas, entre otras. Comprende un recortador (20), un sintetizador (30), un mezclador (40) y un controlador (10). El recortador (20) recorta regiones en los fotogramas de un flujo de vídeo (50) según un patrón de recorte (52) para producir un flujo recortado (60) y flujos de recortes (70) y/o escalados (74). El sintetizador (30) sintetiza flujos de vídeo coincidentes con los recortes según un patrón de síntesis (32) para producir flujos con recortes sintetizados (80) a partir de (70, 74). El mezclador (40) mezcla los flujos (60, 80) según un patrón de mezcla (42) para producir flujos de vídeo con recortes sobreimpresos (90). El controlador (10) coordina el funcionamiento conjunto.

Dispositivo y sistema escalable para la sobreimpresión de flujos de vídeo.

Sector de la Técnica La presente invención pertenece al campo del tratamiento de flujos de vídeo en redes de comunicaciones, particularmente en Internet.

Antecedentes de la invención En el estado de la técnica se conocen diversas propuestas relacionadas con la presente invención.

En el documento US 6, 573, 945 se divulga un método para la sobreimpresión de imágenes durante el proceso de codificación. En cambio, la presente invención se realiza sobre vídeo ya codificado, minimizando la recodificación de las partes afectadas y permitiendo la generación bajo demanda de las imágenes insertadas.

El documento US 6, 658, 057 divulga un método para la inserción de logos en un flujo de datos. Se limita únicamente a la inserción de logos (no permite imágenes arbitrarias, ni múltiples regiones, ni combinaciones de otros flujos de vídeo) , intenta reaprovechar la información de movimiento original para recodificar los bloques afectados. No está pensada para ser escalable con elevados volúmenes de canales y usuarios diferentes.

US 6, 226, 041 divulga un método para insertar logos según una técnica que se apoya en la inserción de logos sólo en fotogramas/bloques prescindibles que no son referenciados en otros fotogramas. Por tanto, esta propuesta no es general, ni es adecuada para escalar con un volumen de canales y usuarios elevado.

WO2001033861 propone una aproximación similar a la presente invención pero nuevamente está orientado a imágenes estáticas, no a imágenes generadas bajo demanda. Además, no permite escalar con un volumen de canales y usuarios elevado.

El artículo de Yu Liu; Gulling Li; Qiang Tang; JiChang Guo; , "DCT domain logo insertion of MPEG-2 transcoding, " (Electrical and Computer Engineering, 2003. IEEE CCECE 2003. Canadian Conference on , vol.2, no., pp. 12191222 vol.2, 4-7 May 2003, doi: 10.1109/CCECE.2003.1226118) , evita por completo la recodificación del flujo de vídeo comprimido mediante la inserción de imágenes en el espacio transformado, por tanto tiene una aproximación totalmente diferente.

Actualmente, se puede concluir que la sobreimpresión de imágenes en flujos de vídeo se resuelve mediante las siguientes acciones:

-Descodificar todos los flujos de entrada.

- Sobre-imponer los flujos sintéticos (esto es, flujos de vídeo cuyos fotogramas son generados por ordenador) para cada usuario sobre los fotogramas descodificados.

- Recodificar los fotogramas descodificados modificados por cada usuario.

- Enviar el vídeo comprimido codificado de forma individualizada para cada usuario. En la práctica, esta solución presenta dos grandes dificultades que provocan su inviabilidad en sistemas reales: a) Coste computacional. b) Pérdida de calidad debido a las re-codificaciones.

Descripción de la invención A la luz de lo anterior, sería deseable diseñar un sistema que supere las dificultades apuntadas. Por tanto, se ha de conseguir una reducción del coste computacional y evitar la pérdida de calidad resultante de la recodificación. Para ello, la presente invención emplea técnicas basadas en computación distribuida:

a) Computación distribuida para el recorte y mezcla de vídeo digital en espacio transformado, en la medida de lo posible.

b) Computación distribuida para repartir el coste de generación de flujos sintéticos que serán sobreimpuestos.

La invención tiene, entre otras, como aplicaciones inmediatas las siguientes:

- Inserción de imágenes, como los logos identificativos de los canales de televisión (“mosca”) , en tiempo real minimizando la recodificación.

- Sobreimpresión de múltiples canales (multi picture-in-picture) .

- Sobreimpresión de publicidad y anuncios personalizados por usuario.

- Sobreimpresión de aplicaciones interactivas sobre canales de televisión existentes.

Para ello se propone un dispositivo para la sobreimpresión de flujos de vídeo que comprende un recortador, un sintetizador, un mezclador y un controlador.

El recortador recorta en los fotogramas de al menos un flujo de vídeo de entrada, al menos una región rectangular según un patrón de recorte para producir:

- Un flujo de vídeo recortado que comprende una pluralidad de bloques correspondientes a una pluralidad de fotogramas recortados.

- Una pluralidad de flujos de vídeo de recortes, que comprende una pluralidad de bloques correspondientes a una pluralidad de fotogramas de recortes;

- Una pluralidad de flujos de vídeo escalados, que comprende una pluralidad de bloques correspondientes al fotograma de entrada redimensionado a un tamaño distinto.

El recortador además asocia el flujo de vídeo recortado y los flujos de vídeo de recortes mediante la asignación de un número de secuencia a cada pareja compuesta por un fotograma recortado y los fotogramas de recorte correspondientes.

El sintetizador sintetiza dinámicamente flujos de vídeo coincidentes con los agujeros del flujo de vídeo recortado según una operación de síntesis establecida para producir flujos de vídeo con recortes sintetizados.

El mezclador mezcla los fotogramas con un mismo número de secuencia del flujo de vídeo recortado y de los flujos de vídeo de recortes sintetizados de acuerdo con una operación de mezcla para generar flujos de vídeo con recortes sobreimpresos.

Opcionalmente, el recortador puede rectificar la pluralidad de bloques de cada fotograma inter del flujo de vídeo de entrada recortado, si dichos bloques comprimidos tienen vectores de movimiento referenciando a bloques pertenecientes a las regiones definidas por el patrón de recorte que lo produjo.

Opcionalmente, el recortador puede rectificar la pluralidad de bloques de cada fotograma inter del flujo de vídeo de recortes, si dichos bloques comprimidos tienen vectores de movimiento referenciando a bloques no pertenecientes a la región descrita en el patrón de recorte que lo produjo.

Opcionalmente, la operación de síntesis realizada por el sintetizador para producir flujos de vídeo con recortes sintetizados puede ser escalar el recorte a un tamaño diferente, modificar la calidad del recorte, reemplazar por un color uniforme, reemplazar por una imagen estática o dinámica, reemplazar por una imagen que representa un texto en una fuente y tamaño dado, transformar un recorte (voltear horizontalmente/verticalmente, girar) , modificar colores del recorte (modificar balance de color, modificar brillo y contraste, modificar tono y saturación, transformar colores, invertir colores) , aplicar un filtro sobre un recorte (posterizar, saturar, enfocar, desenfocar, realzar, distorsionar, añadir luces y sombras, añadir ruido, detectar bordes) , o combinación de las anteriores.

Opcionalmente, el mezclador comprende una memoria intermedia (o buffer) para mitigar los desfases temporales entre flujos de vídeo para resincronizar dichos flujos de vídeo utilizando el número de secuencia asignado por el recortador.

Es también objeto de la invención un sistema para la sobreimpresión de flujos de vídeo caracterizado por que comprende una pluralidad de dispositivos con sus elementos en cluster. Cada recortador individual de un dispositivo está configurado para recortar un subconjunto de los flujos de vídeo de entrada, de acuerdo con un subconjunto de patrones de recorte asociados para producir al menos los flujos de vídeo recortados, flujos de vídeo de recortes y flujos de vídeo escalados correspondientes a exclusivamente dicho subconjunto de flujos de vídeo de entrada.

Opcionalmente en el sistema anterior, los sintetizadores de cada dispositivo están distribuidos en cluster y cada sintetizador individual está configurado para recibir los flujos de vídeo de recortes y flujos de vídeo escalados correspondientes con un subconjunto de flujos de vídeo de entrada para producir un subconjunto de flujos de vídeo con recortes sintetizados de acuerdo con unos patrones de síntesis asociados.

Opcionalmente en el sistema anterior, los mezcladores de cada dispositivo están distribuidos en cluster y cada mezclador individual está configurado para recibir los flujos de vídeo recortados y los flujos con recortes sintetizados correspondientes con un subconjunto de flujos de vídeo de entrada para producir un subconjunto de flujos de vídeo con recortes sobreimpresos.

Opcionalmente el sistema puede incluir un controlador configurado para recibir un patrón de sobreimposición asociado a un usuario para construir los correspondientes patrones de recorte, síntesis y mezcla, con los que configurar el recortador, el sintetizador...

1. Dispositivo escalable para la sobreimpresión de flujos de vídeo caracterizado por que comprende:

- un recortador (20) configurado para recortar en los fotogramas (51) de al menos un flujo de vídeo de entrada (50) , al menos una región rectangular según un patrón de recorte (52) para producir:

- un flujo de vídeo recortado (60) que comprende una pluralidad de bloques correspondientes a una pluralidad de fotogramas recortados (61) ;

-una pluralidad de flujos de vídeo de recortes (70) , que comprende una pluralidad de bloques correspondientes a una pluralidad de fotogramas de recortes (71) ;

-y una pluralidad de flujos de vídeo escalados (74) , que comprende una pluralidad de bloques correspondientes al fotograma de entrada (51) redimensionado a un tamaño distinto;

donde el recortador (20) está además configurado para asociar ambos flujos de vídeo (60, 70) mediante la asignación de un número de secuencia a cada pareja compuesta por un fotograma recortado (61) y los fotogramas de recorte (71) correspondientes;

- un sintetizador (30) configurado para sintetizar dinámicamente flujos de vídeo coincidentes con los agujeros del flujo de vídeo recortado (60) según una operación de síntesis establecida (32) para producir flujos de vídeo con recortes sintetizados (80) ;

- un mezclador (40) configurado para mezclar los fotogramas (61, 81) con un mismo número de secuencia del flujo de vídeo recortado (60) y de los flujos de vídeo de recortes sintetizados (80) de acuerdo con una operación de mezcla (42) para generar flujos de vídeo con recortes sobreimpresos (90) .

2. Dispositivo de acuerdo con la reivindicación 1, caracterizado por que el recortador (20) está configurado además para rectificar la pluralidad de bloques de cada fotograma inter del flujo de vídeo de entrada recortado (60) , si dichos bloques comprimidos tienen vectores de movimiento referenciando a bloques pertenecientes a las regiones definidas por el patrón de recorte (52) que lo produjo.

3. Dispositivo de acuerdo con la reivindicación 2, caracterizado por que el recortador (20) está configurado para rectificar la pluralidad de bloques de cada fotograma inter del flujo de vídeo de recortes (70) , si dichos bloques comprimidos tienen vectores de movimiento referenciando a bloques no pertenecientes a la región descrita en el patrón de recorte (52) que lo produjo.

4. Dispositivo de acuerdo con una cualquiera de las reivindicaciones anteriores, caracterizado por que la operación de síntesis (33) realizada por el sintetizador (30) para producir flujos de vídeo con recortes sintetizados (80) comprende al menos una de las siguientes:

- escalar el recorte a un tamaño diferente,

- modificar la calidad del recorte,

- reemplazar por un color uniforme

- reemplazar por una imagen estática o dinámica,

- reemplazar por una imagen que representa un texto en una fuente, color y tamaño dado,

- transformar un recorte: voltear horizontalmente/verticalmente, girar.

- modificar colores del recorte: modificar balance de color, modificar brillo y contraste, modificar tono y saturación, transformar colores, invertir colores.

- aplicar un filtro sobre un recorte: posterizar, saturar, enfocar, desenfocar, realzar, distorsionar, añadir luces y sombras, añadir ruido, detectar bordes.

o combinación de las anteriores.

5. Dispositivo de acuerdo con una cualquiera de las reivindicaciones anteriores, caracterizado por que el mezclador

(40) comprende una memoria intermedia (buffer) para mitigar los desfases temporales entre flujos de vídeo (60, 80) y por que el mezclador (40) está configurado para resincronizar dichos flujos de vídeo (60, 80) utilizando el número de secuencia asignado por el recortador (20) .

6. Sistema escalable para la sobreimpresión de flujos de vídeo caracterizado por que comprende una pluralidad de dispositivos de acuerdo con una cualquiera de las reivindicaciones anteriores 1 a 5, donde los recortadores de cada dispositivo están distribuidos en cluster y cada recortador individual (20) de un dispositivo está configurado para recortar un subconjunto de los flujos de vídeo de entrada (50) , de acuerdo con un subconjunto de patrones de recorte (52) asociados para producir al menos los flujos de vídeo recortados (60) , flujos de vídeo de recortes (70) y flujos de vídeo escalados (74) correspondientes a exclusivamente dicho subconjunto de flujos de vídeo de entrada (50) .

7. Sistema de acuerdo con la reivindicación 6, caracterizado por que los sintetizadores (30) de cada dispositivo están distribuidos en cluster y cada sintetizador individual (30) está configurado para recibir los flujos de vídeo de recortes

(70) y flujos de vídeo escalados (74) correspondientes con un subconjunto de flujos de vídeo de entrada (50) para producir un subconjunto de flujos de vídeo con recortes sintetizados (80) de acuerdo con unos patrones de síntesis

(32) asociados.

8. Sistema de acuerdo con la reivindicación 7, caracterizado por que los mezcladores (40) de cada dispositivo están distribuidos en cluster y cada mezclador individual (40) está configurado para recibir los flujos de vídeo recortados

(60) y los flujos con recortes sintetizados (80) correspondientes con un subconjunto de flujos de vídeo de entrada

(50) para producir un subconjunto de flujos de vídeo con recortes sobreimpresos (90) destinados a un subconjunto de usuarios.

9. Sistema de acuerdo con la reivindicación 8, caracterizado por que comprende un controlador configurado para recibir un patrón de sobreimposición (12) asociado a un usuario para construir los correspondientes patrones de recorte (52) , síntesis (32) y mezcla (42) , con los que configurar el recortador (20) , el sintetizador (30) y el mezclador (40) , respectivamente, para enviar la pluralidad de flujos de vídeo con recortes sobreimpresos (90) por una red de telecomunicaciones a una pluralidad de direcciones destino asignadas a dichos usuarios.

10. Sistema de acuerdo con la reivindicación 9, caracterizado por que la red de telecomunicaciones es Internet.