PROCEDIMIENTO Y SISTEMA QUE PERMITEN A UN USUARIO MEZCLAR EN TIEMPO REAL IMAGENES DE SINTESIS CON IMAGENES DE VIDEO.

Procedimiento que permite a un usuario: (i) producir en una unidad de tratamiento informático (2),

compuesta de circuitos electrónicos estándar, un flujo de imágenes de síntesis (3), y (ii) trazar una escena (4) creando interacciones visuales entre dicho flujo de imágenes de síntesis (3) y al menos un flujo de imágenes de vídeo (5), de manera que se mejora la calidad de la escena (4) y se disminuye el tiempo de tratamiento; en donde dicha unidad de tratamiento informático (2) comprende: - una placa base (7), - una tarjeta gráfica (8) de representación y de visualización de dicha escena (4), que incluye un procesador de aceleración de los tratamientos 2D/3D (9), al menos una zona de memoria que incluye un búfer de trabajo (10) ("back buffer") y una memoria de textura (11), - un medio de adquisición (12) que permite adquirir, en tiempo real, imágenes de vídeo (13), en un búfer de vídeo (14); en donde dicho medio de adquisición (12) se presenta en particular bajo la forma de: * una adquisición de vídeo integrada en dicha tarjeta gráfica (8), y/o * una adquisición de vídeo integrada en dicha placa base (7), y/o * una adquisición de vídeo, a través de una tarjeta de adquisición dedicada; en donde dicho procedimiento comprende el paso de efectuar una repre-sentación específica de dicha escena (4), ES 2 348 853 T3 - creando, antes de la representación específica, una textura dedicada (19) en dicha memoria de textura (11) de dicha tarjeta gráfica (8); en donde dicha textura dedicada (19) tiene el tamaño de dicho búfer de vídeo (14); en donde dicha textura dedicada (19) está dedicada para copiar dicho búfer de vídeo (14) en dicha memoria de textura (11); - copiando, durante cada representación de dicha escena (4), dicho búfer de vídeo (14) en dicha textura dedicada (19), - trazando dichas imágenes de síntesis (16) en dicho búfer de trabajo (10) de la tarjeta gráfica (8) y trazando completamente dicha escena (4), utilizando dicha textura dedicada (19) para texturizar algunos de los polígonos (20) de dicha escena (4)

Preámbulo de la descripción

Ámbito considerado, problema planteado

La presente invención se refiere a un procedimiento y a un sistema que permiten a un usuario mezclar en tiempo real imágenes de síntesis con imágenes de vídeo. 5

Problema planteado

La invención tiene más precisamente por objeto un procedimiento y un sistema que permiten a un usuario:

(i) producir en una unidad de tratamiento informático, compuesta de circuitos electrónicos estándar, un flujo de imágenes de síntesis, y 10

(ii) trazar una escena creando interacciones visuales entre el flujo de imágenes de síntesis y al menos un flujo de imágenes de vídeo.

La solución a este problema aportada por la invención permite mejorar la calidad de la escena y disminuir el tiempo de tratamiento, sin servirse de unidades de tratamiento informático patentadas y costosas. 15

Técnica anterior

Se ha representado en la Figura 1 un equipo según la técnica anterior que permite crear realidad mejorada. Este equipo comprende:

- una estación de trabajo gráfico STG,

- un equipo en bastidor modular (en inglés "rack") de tipo "insertador croma" (en 20 inglés "chroma keyer") RCK,

- un equipo en bastidor modular de tipo "retardo de imagen" RRI.

Las leyendas C y SV indican respectivamente una cámara y una salida de vídeo.

La estación de trabajo gráfico STG se utiliza únicamente para generar 25 imágenes de síntesis. La estación de trabajo gráfico STG ha sido desarrollada específicamente o bien es una estación Silicon GraphicsTM. Las imágenes de síntesis son generadas sobre un fondo de color uniforme (color clave).

El equipo en bastidor modular de tipo "insertador croma" RCK se utiliza para mezclar la imagen de vídeo de la cámara (C) con la imagen de síntesis generada por 30 la estación gráfica STG. El color clave es reemplazado por la imagen de vídeo.

El equipo en bastidor modular de tipo "retardo de imagen" RRI se utiliza para compensar el tiempo de tratamiento del generador de imágenes.

Inconvenientes de la tecnología anterior:

Los equipos de acuerdo con la técnica anterior presentan inconvenientes en 35 términos de precio y de calidad de imagen y de funcionalidad.

Inconvenientes en términos de precio:

El precio de coste de los equipos de acuerdo con la técnica anterior es muy elevado. En efecto, el equipo en bastidor modular para "retardo de imagen" RRI es un equipo en bastidor modular profesional, el equipo en bastidor modular para "insertador croma" RCK es un equipo en bastidor modular profesional y la estación gráfica STG es 5 una estación profesional. La solución precedente de acuerdo con la técnica anterior no es transportable (está compuesta de tres módulos separados: generador de imágenes/retardo de imágenes/insertador croma).

Inconvenientes en términos de calidad de imagen y de funcionalidad:

La interactividad visual entre el vídeo y las imágenes de síntesis es limitada. De 10 hecho, a la salida del "insertador croma" RCK el vídeo ha quedado insertado en lugar del color clave. No es posible tener reflexiones del vídeo sobre las imágenes de síntesis o viceversa. El vídeo no puede ser tratado como una textura. Por ejemplo, no puede haber en el mismo efectos de reflejos entre las imágenes reales (imágenes de vídeo) y los objetos de síntesis. El mismo principio de la inserción croma (en inglés 15 "chroma key") puede producir artefactos; limita la elección en la paleta de colores de las imágenes de síntesis, y hace problemática la representación (en inglés "rendering") de objetos de síntesis que presenten transparencias.

Las prestaciones de las estaciones gráficas específicas se ven superadas rápidamente por las prestaciones de las tarjetas gráficas para el público general que 20 son cada vez más potentes (la potencia gráfica de los equipos para el público general se duplica cada seis meses más o menos).

La solución precedente es cara en términos de mantenimiento (los tres aparatos que la componen implican un contrato de mantenimiento específico).

La solución precedente no puede funcionar en un ordenador portátil y no es 25 móvil.

La solución precedente es restrictiva en cuanto a tiempos de ajuste de todos sus elementos.

No es posible ningún tratamiento de la imagen de vídeo:

- no se puede utilizar el vídeo para texturizar localmente un elemento de la escena 30 virtual,

- no se puede deformar el vídeo (por ejemplo es imposible la corrección de las distorsiones ópticas),

- no se pueden realizar tratamientos en el vídeo (por ejemplo para el tratamiento de tipo "inserción croma"). 35

Solución

Procedimiento

La unidad de tratamiento informático de acuerdo con la invención, en particular de tipo "ordenador PC" para el público general, comprende:

- una placa base, 5

- una tarjeta gráfica de representación y de visualización de la escena.

El significado de escena en el sentido de la presente invención se explicita más adelante haciendo referencia a la Figura 2.

La tarjeta gráfica de representación y de visualización de la escena incluye un procesador de aceleración de los tratamientos 2D/3D, un búfer o memoria de 10 almacenamiento intermedio de trabajo (en inglés "back buffer") y una memoria de textura.

El equipo informático comprende asimismo un medio de adquisición que permite adquirir en tiempo real imágenes de vídeo en un búfer de vídeo. El medio de adquisición se presenta en particular bajo la forma: 15

* de una adquisición de vídeo integrada en la tarjeta gráfica, y/o

* de una adquisición de vídeo integrada en la placa base, y/o

* de una adquisición de vídeo, a través de una tarjeta de adquisición dedicada (por ejemplo una tarjeta de la marca PinnacleTM conocida con el nombre de PCTV). 20

El procedimiento de acuerdo con la invención comprende el paso de efectuar una representación específica de la escena

- copiando, durante cada representación de la escena, el búfer de vídeo en una zona de memoria de la tarjeta gráfica,

- trazando las imágenes de síntesis en dicho búfer de trabajo de la tarjeta gráfica. 25

Para efectuar una representación específica, el procedimiento comprende un paso de inicialización previo a la representación específica, consistente en crear una textura dedicada en la memoria de textura de la tarjeta gráfica. La textura dedicada tiene el tamaño del búfer de vídeo. La textura está dedicada para copiar el búfer de vídeo en la memoria de la textura. 30

El procedimiento comprende además:

- el paso de copiar el búfer de vídeo en la textura dedicada,

- el paso de trazar completamente la escena, utilizando la textura dedicada para texturizar algunos de los polígonos de la escena.

Cuando el búfer de vídeo contiene líneas de vídeo entrelazadas, para copiar 35 durante cada representación de la escena el búfer de vídeo en la textura dedicada,

preferiblemente de acuerdo con la invención, el procedimiento comprende:

- el paso de copiar las líneas de vídeo pares, durante una primera representación, y

- el paso de copiar las líneas de vídeo impares, durante la representación siguiente,

- el paso de aplicar una traslación del búfer de vídeo de más o menos una media línea en la representación de la escena. 5

Esta traslación del búfer de vídeo se realiza:

- o bien modificando las coordenadas de textura de la textura dedicada,

- o bien modificando las coordenadas de los polígonos texturizados por la textura dedicada.

De esta manera se mejora la calidad de la imagen. 10

Es posible copiar el búfer de vídeo en la zona de memoria de la tarjeta gráfica...

1. Procedimiento que permite a un usuario:

(i) producir en una unidad de tratamiento informático (2), compuesta de circuitos electrónicos estándar, un flujo de imágenes de síntesis (3), y 5

(ii) trazar una escena (4) creando interacciones visuales entre dicho flujo de imágenes de síntesis (3) y al menos un flujo de imágenes de vídeo (5),

de manera que se mejora la calidad de la escena (4) y se disminuye el tiempo de tratamiento;

en donde dicha unidad de tratamiento informático (2) comprende: 10

- una placa base (7),

- una tarjeta gráfica (8) de representación y de visualización de dicha escena (4), que incluye un procesador de aceleración de los tratamientos 2D/3D (9), al menos una zona de memoria que incluye un búfer de trabajo (10) ("back buffer") y una memoria de textura (11), 15

- un medio de adquisición (12) que permite adquirir, en tiempo real, imágenes de vídeo (13), en un búfer de vídeo (14); en donde dicho medio de adquisición (12) se presenta en particular bajo la forma de:

* una adquisición de vídeo integrada en dicha tarjeta gráfica (8), y/o

* una adquisición de vídeo integrada en dicha placa base (7), y/o 20

* una adquisición de vídeo, a través de una tarjeta de adquisición dedicada;

en donde dicho procedimiento comprende el paso de efectuar una repre-sentación específica de dicha escena (4),

- creando, antes de la representación específica, una textura 25 dedicada (19) en dicha memoria de textura (11) de dicha tarjeta gráfica (8); en donde dicha textura dedicada (19) tiene el tamaño de dicho búfer de vídeo (14); en donde dicha textura dedicada (19) está dedicada para copiar dicho búfer de vídeo (14) en dicha memoria de textura (11);

- copiando, durante cada representación de dicha escena (4), dicho búfer 30 de vídeo (14) en dicha textura dedicada (19),

- trazando dichas imágenes de síntesis (16) en dicho búfer de trabajo (10) de la tarjeta gráfica (8) y trazando completamente dicha escena (4), utilizando dicha textura dedicada (19) para texturizar algunos de los polígonos (20) de dicha escena (4). 35

2. Procedimiento según la reivindicación precedente, en donde dicho búfer de

vídeo (14) incluye líneas de vídeo entrelazadas, para copiar, durante cada representación de dicha escena (4), en dicha textura dedicada (19), en donde dicho procedimiento comprende:

- el paso de copiar dichas líneas de vídeo pares (17), durante una primera representación, y 5

- el paso de copiar dichas líneas de vídeo impares (18), durante la representación siguiente,

- el paso de aplicar una traslación del búfer de vídeo (14) de más o menos una media línea en la representación de dicha escena (4):

* o bien modificando las coordenadas de textura de la textura 10 dedicada (19),

* o bien modificando las coordenadas de los polígonos (20) texturizados por la textura dedicada (19).

3. Procedimiento según la reivindicación 1 o la reivindicación 2, en donde dicho medio de adquisición (12) incluye un controlador (22) que presenta un nuevo búfer de 15 vídeo (14) para cada nueva imagen de vídeo; en donde la representación de dicha escena (4) es efectuada de manera sincrónica con la presentación de cada nuevo búfer de vídeo (14).

4. Procedimiento según la reivindicación 1 o la reivindicación 2, en donde dicho medio de adquisición (12) incluye un controlador (22) que presenta un nuevo búfer de 20 vídeo (14) para cada nueva imagen de vídeo; en donde dicho procedimiento comprende los pasos siguientes:

- el paso de llenar una memoria tampón (23) con cada nuevo búfer de vídeo, haciendo uso de una unidad de ejecución (24) ("thread") de captura de vídeo, 25

- el paso de copiar uno de los búferes de vídeo (14) contenido en dicha memoria tampón (23) a dicha memoria de textura (11) de la tarjeta gráfica (8),

- el paso de efectuar la representación de dicha escena (4) de manera asincrónica con respecto a la presentación de cada nuevo búfer de 30 vídeo (14).

5. Procedimiento según una cualquiera de las reivindicaciones 1 a 4, en donde dicho procedimiento comprende el paso de aplicar una función de corrección del efecto de dentado durante el trazado de dicha escena (4).

6. Procedimiento según una cualquiera de las reivindicaciones 1 a 5, en donde 35 dicho procedimiento comprende el paso de aplicar una función de transparencia

durante el trazado de dicha escena (4).

7. Procedimiento según una cualquiera de las reivindicaciones 1 a 6, en donde dicho procedimiento comprende el paso de aplicar deformaciones no lineales al búfer de vídeo (14) texturizando polígonos (20) de dicha escena (4) por medio de dicha textura dedicada (19). 5

8. Procedimiento según una cualquiera de las reivindicaciones 1 a 7, en donde dicho procedimiento comprende el paso de aplicar al búfer de vídeo (14) funciones de sombreado de píxeles que permiten, en particular, un tratamiento de tipo inserción croma.

9. Procedimiento según una cualquiera de las reivindicaciones 1 a 8, en donde 10 dicha unidad de tratamiento informático (2) comprende dos medios de adquisición (12) que tienen cada uno un búfer de vídeo (14); en donde dicho procedimiento comprende los pasos siguientes:

- el paso de copiar el búfer de vídeo (14) de uno de dichos medios de adquisición (12) en una segunda textura dedicada de la tarjeta gráfica (8), 15

- el paso de texturizar al menos en parte dicha escena (4) utilizando dicha segunda textura dedicada.

10. Procedimiento según una cualquiera de las reivindicaciones 1 a 9, en donde dicho procedimiento comprende:

- el paso de retardar la copia de uno de los búferes de vídeo (14) 20 contenido en una memoria tampón (23) a dicha memoria de textura (11) de la tarjeta gráfica (8).

11. Sistema que permite a un usuario:

(i) producir en una unidad de tratamiento informático (2), compuesta de circuitos electrónicos estándar, un flujo de imágenes de síntesis (3), y 25

(ii) trazar una escena (4) creando interacciones visuales entre dicho flujo de imágenes de síntesis (3) y al menos un flujo de imágenes de vídeo (5),

de manera que se mejora la calidad de la escena (4) y se disminuye el tiempo de tratamiento;

en donde dicha unidad de tratamiento informático (2) incluye: 30

- una placa base (7),

- una tarjeta gráfica (8) de representación y de visualización de dicha escena (4), que incluye un procesador de aceleración de los tratamientos 2D/3D (9), al menos una zona de memoria que incluye un búfer de trabajo (10) ("back buffer") y una memoria de textura (11), 35

- un medio de adquisición (12) que permite adquirir, en tiempo real,

imágenes de vídeo (13), en un búfer de vídeo (14); en donde dicho medio de adquisición (12) se presenta en particular bajo la forma de:

* una adquisición de vídeo integrada en dicha tarjeta gráfica (8), y/o

* una adquisición de vídeo integrada en dicha placa base (7), y/o

* una adquisición de vídeo, a través de una tarjeta de adquisición 5 dedicada;

para efectuar una representación específica de dicha escena (4):

- en donde dicha placa base (7) incluye además medios de tratamiento informático (26) que comprenden medios de inicialización (32) que crean, antes de la representación específica, una textura dedicada (19) en dicha 10 memoria de textura (11) de dicha tarjeta gráfica (8); en donde dicha textura dedicada (19) tiene el tamaño de dicho búfer de vídeo (14);

- en donde dichos medios de tratamiento informático (26) comprenden además primeros medios de copia (33) para copiar dicho búfer de vídeo (14) en dicha textura dedicada (19), 15

- en donde dicho procesador de aceleración de los tratamientos 2D/3D (9) incluye medios de trazado para trazar dichas imágenes de síntesis (16) en dicho búfer de trabajo (10) de dicha tarjeta gráfica (8) y primeros medios de cálculo (34) para trazar completamente dicha escena (4), utilizando dicha textura dedicada (19) para texturizar algunos de los polígonos (20) de 20 dicha escena (4).

12. Sistema según la reivindicación precedente, en donde dicho búfer de vídeo (14) incluye líneas de vídeo entrelazadas; en donde dichos primeros medios de copia (33) de dicho búfer de vídeo (14) en dicha textura dedicada (19) 25 comprenden:

- primeros medios de selección y de copia (35) de dichas líneas de vídeo pares (17), durante una primera representación, y

- segundos medios de selección y de copia (36) de dichas líneas de vídeo impares (18), durante la representación siguiente, 30

- segundos medios de cálculo (37) para aplicar una traslación (21) del búfer de vídeo (14) de más o menos una media línea en la representación de dicha escena (4):

* o bien modificando las coordenadas de textura de dicha textura dedicada (19), 35

* o bien modificando las coordenadas de los polígonos (20)

texturizados por dicha textura dedicada (19).

13. Sistema según la reivindicación 11 o la reivindicación 12, en donde dicho medio de adquisición (12) incluye un controlador (22) que presenta un nuevo búfer de vídeo (14) para cada nueva imagen de vídeo; en donde dichos medios de tratamiento informático (26) efectúan la representación de dicha escena (4) de manera sincrónica 5 con la presentación de cada nuevo búfer de vídeo (14).

14. Sistema según la reivindicación 11 o la reivindicación 12, en donde dicho medio de adquisición (12) incluye un controlador (22) que presenta un nuevo búfer de vídeo (14) para cada nueva imagen de vídeo; en donde dichos medios de tratamiento informático (26) comprenden: 10

- medios de transferencia para llenar una memoria tampón (23) con cada nuevo búfer de vídeo (14), haciendo uso de una unidad de ejecución (24) ("thread") de captura de vídeo,

- segundos medios de copia (38) para copiar uno de los búferes de vídeo (14) contenido en dicha memoria tampón (23) a dicha 15 memoria de textura (11) de la tarjeta gráfica (8),

en donde dichos medios de tratamiento informático (26) efectúan la representación de dicha escena (4) de manera asincrónica con respecto a la presentación de cada nuevo búfer de vídeo (14).

15. Sistema según una cualquiera de las reivindicaciones 11 a 14, en donde 20 dichos medios de tratamiento informático (26) permiten aplicar una función de corrección del efecto de dentado durante el trazado de dicha escena (4).

16. Sistema según una cualquiera de las reivindicaciones 11 a 15, en donde dichos medios de tratamiento informático (26) permiten aplicar una función de transparencia durante el trazado de dicha escena (4). 25

17. Sistema según una cualquiera de las reivindicaciones 11 a 16, en donde dichos medios de tratamiento informático (26) permiten aplicar deformaciones no lineales al búfer de vídeo (14) texturizando polígonos (20) de dicha escena (4) por medio de dicha textura dedicada (19).

18. Sistema según una cualquiera de las reivindicaciones 11 a 17, en donde 30 dichos medios de tratamiento informático (26) permiten aplicar al búfer de vídeo (14) funciones de sombreado de píxeles que permiten, en particular, un tratamiento del tipo inserción croma.

19. Sistema según una cualquiera de las reivindicaciones 11 a 18, en donde dicha unidad de tratamiento informático (2) comprende dos medios de adquisición que 35 tienen cada uno un búfer de vídeo (14); en donde dichos medios de tratamiento

informático (26) permiten copiar el búfer de vídeo (14) de uno de dichos medios de adquisición en una segunda textura dedicada de la tarjeta gráfica (8),

en donde dicho procesador de aceleración de tratamiento 2D/3D (9) permite texturizar al menos en parte dicha escena (4) utilizando dicha segunda textura dedicada.

20. Procedimiento según una cualquiera de las reivindicaciones 11 a 19, en 5 donde dichos medios de tratamiento informático (26) permiten retardar la copia de uno de los búferes de vídeo (14) contenido en una memoria tampón (23) a dicha memoria de textura (11) de la tarjeta gráfica (8).