ESTROBOSCOPIA AUTOMÁTICA DE VIDEO-SECUENCIA.

Procedimiento informático para generar una representación estroboscópica de imágenes en al menos una secuencia de video original,

en el que: (a) se extrae una parte de primer plano de las imágenes, dando como resultado una secuencia de primer plano (b) al menos un elemento a incluir en la secuencia estroboscópica se selecciona a partir de la secuencia de primer plano, dando como resultado una secuencia de primer plano seleccionada; (d) la secuencia de primer plano seleccionada se sintetiza sobre una secuencia de fondo, dando como resultado una secuencia sintetizada; caracterizado porque (e) la representación estroboscópica se renderiza como una secuencia de video animada, en la que dicho al menos un elemento se inserta de forma permanente en el fondo cuando se alcanzan instantes de activación y en la que, entre instantes de activación, dicho al menos un elemento deja un rastro semitransparente

Campo técnico

La presente invención se refiere a técnicas para generar imágenes estroboscópicas.

Antecedentes de la invención 5

Un estroboscopio es un dispositivo para analizar movimientos rápidos; debido a las propiedades de latencia en la retina humana, un objeto en movimiento visto a través de un obturador de conmutación rápida se percibe como una serie de imágenes estáticas a lo largo de la trayectoria del objeto. En fotografía, puede conseguirse un efecto de estroboscopio exponiendo repetidamente la misma película por medio de un obturador de conmutación periódica, para obtener, en la imagen final, copias repetidas del objeto a lo largo de su trayectoria. Los mismos efectos se consiguen si, en lugar de un 10 obturador de conmutación repetida, se usa una fuente de iluminación de conmutación repetida. Dicha fuente de iluminación se denomina habitualmente una “luz estroboscópica”.

En eventos deportivos, las técnicas estroboscópicas son interesantes para analizar la evolución en el tiempo y en el espacio del gesto o postura de un atleta, u otros tipos de movimiento tales como trayectorias de objetos, por ejemplo de pelotas, raquetas, palos y similares. Las técnicas fotográficas estáticas ya se están usando, proporcionando una 15 “sinopsis visual” de una acción deportiva rápida tal como, por ejemplo, la carrera de los 100 metros. Dado que, habitualmente, el campo de visión de una cámara fotográfica estática no puede abarcar toda la extensión espacial del recorrido del atleta, se han empleado soluciones relativamente engorrosas, en las que se sitúan varias cámaras a lo largo de la trayectoria del atleta y se sincronizan para hacer una foto de la trayectoria cuando el atleta pasa por delante. Las imágenes sucesivas resultantes pueden reunirse para componer una visión global del evento en el espacio y en el 20 tiempo.

El documento US-A-5.923.365 describe un sistema de manipulación de video de eventos deportivos para manipular una emisión de un evento deportivo, incluyendo el editor deportivo un capturador de campo de video para capturar al menos un campo de video que incluye un convertidor A/D de imágenes de video operativo para digitalizar un campo de video capturado, un rastreador de objetos operativo para rastrear un objeto a través de una pluralidad de campos de video 25 sucesivos, un marcador de objetos que recibe información de entrada desde el rastreador de objetos y operativo para marcar el objeto rastreado en cada uno de la pluralidad de campos de video sucesivos, un convertidor de imágenes D/A operativo para convertir la salida del marcador de objetos en un formato de video estándar y un monitor de visualización de video.

El documento DE-A1-4135385 describe un aparato de grabación, así como las partes principales, por ejemplo lentes de 30 enfoque, zoom, ajustador de inclinación, etc., en el que los movimientos se inician mediante la señal de partida de la primera secuencia de movimiento registrada y su proceso también se almacena, ya que son las señales de enlace producidas durante la actual secuencia de movimiento. Esto permite registrar y almacenar una última secuencia de movimiento de acuerdo con una seleccionada previamente.

Resumen de la invención 35

Los inventores han reconocido que el metraje de video estándar, incluso de una única cámara de video puede usarse para obtener, de manera automatizada, una secuencia estroboscópica generalizada de un evento deportivo, por ejemplo. La noción de una secuencia estroboscópica generalizada incluye una imagen estática de naturaleza fotográfica, por ejemplo del tipo generado mediante técnicas estroboscópicas conocidas como se ha descrito anteriormente. Además, una secuencia estroboscópica generalizada puede ser una secuencia de video en la que el 40 movimiento de la cámara sigue estando presente, en cuyo caso la secuencia de video puede renderizarse como un movimiento de cámara panorámico sobre una foto estroboscópica o como una secuencia estroboscópica animada en la que el objeto en movimiento deja un rastro posterior de copias a lo largo de su trayectoria. Pueden usarse múltiples cámaras para un campo de visión expandido o para comparar múltiples secuencias, por ejemplo.

Breve descripción de los dibujos 45

La figura 1es un diagrama de bloques esquemático de un aparato para estroboscopía automatizada.

Las figuras 2a-2cson fotogramas de una secuencia estroboscópica de un triple salto Toe loop de patinaje sobre hielo.

La figura 3es una imagen estroboscópica de un salto con lanzamiento por parejas de patinaje sobre hielo.

Las figuras 4a-4cson fotogramas de una secuencia estroboscópica de un evento futbolístico.

Descripción detallada 50

La figura 1 muestra un aparato ejemplar para producir una secuencia estroboscópica a partir de una secuencia de video de fuente única según una realización preferida de la invención.

La secuencia de video de una cámara estándar se introduce en un Módulo de Extracción de Fondo y Primer Plano 101 para separar la información de video en una secuencia/flujo BG de imágenes de fondo y una secuencia/flujo FG de imágenes de primer plano, con una imagen de fondo y una imagen de primer plano para cada fotograma de la secuencia de video original.

La misma secuencia de video se introduce también en un Módulo de Estimación del Movimiento de una Cámara 102 5 para extraer un flujo MP de parámetros de movimiento de la cámara. Si la cámara está equipada con sensores de detección del movimiento, el Módulo 102 puede recibir una entrada adicional desde la cámara.

El flujo de información de video de primer plano FG se introduce en un Módulo de Activación 110, para seleccionar desde el flujo FG múltiples ejemplos FG1 de representaciones de uno o más elementos de primer plano para que aparezcan en la secuencia estroboscópica, por ejemplo objetos, individuos, partes del cuerpo o perfiles. Por ejemplo, en 10 un partido de fútbol, el balón y varios jugadores pueden seleccionarse para la estroboscopía. Para el balón, la estroboscopía puede ser interesante para cada fotograma, mientras que pueden colocarse copias de los jugadores solamente en los momentos clave de la acción. Por lo tanto, en instantes de activación diferentes, la selección de elementos puede diferir en cuanto a su número y calidad.

Las imágenes de primer plano FG1 junto con el flujo de imágenes de fondo BG y los parámetros de movimiento MP son 15 procesadas adicionalmente mediante un Módulo de Síntesis 120 que, según una estrategia estroboscópica prescrita, procesa la información visual en los flujos FG1 y BG para producir flujos FG2 y BG2 en los que está incluida una descripción paramétrica compuesta de la secuencia estroboscópica.

Finalmente, siguiendo una estrategia de renderización prescrita, un Módulo de Renderización 130 transforma la representación incluida y la información visual de los flujos FG2 y BG2 en una secuencia de salida adecuada para 20 visualizarse en un dispositivo de video o medio de impresión fotográfica.

El Módulo de Extracción de Primer plano 101, Módulo de Estimación de Cámara 102, Módulo de Activación 110, Módulo de Síntesis 120 y Módulo de Renderización 130 se describen a continuación con más detalle.

A. Módulos de Parámetros de Movimiento y Extracción de Fondo-Primer Plano

En primer lugar, en la producción de una secuencia estroboscópica, en la estimación de fondo-primer plano, los objetos 25 en movimiento en primer plano se segmentan desde el fondo, y, a menos que se conozcan a partir de los instrumentos de la cámara, se estiman los parámetros de movimiento de la cámara. La estimación de primer plano-fondo identifica el(los) objeto(s) en movimiento en los fotogramas de video, por ejemplo el(los) atleta(s) y equipo de primer plano (por ejemplo un balón de fútbol) frente al campo de deportes de fondo. Los parámetros de movimiento proporcionan una referencia visual común para la secuencia de video, para permitir la mezcla conjunta de sucesivos fotogramas de la 30 secuencia de video. La estimación de primer plano-fondo y movimiento de la cámara puede realizarse usando técnicas de procesado de video establecidas, de forma parcial o totalmente automatizada.

B. Módulo de Activación

El Módulo de Activación 110 sirve para seleccionar aquellos elementos de...

1. Procedimiento informático para generar una representación estroboscópica de imágenes en al menos una secuencia de video original, en el que:

(a) se extrae una parte de primer plano de las imágenes, dando como resultado una secuencia de primer plano 5

(b) al menos un elemento a incluir en la secuencia estroboscópica se selecciona a partir de la secuencia de primer plano, dando como resultado una secuencia de primer plano seleccionada;

(d) la secuencia de primer plano seleccionada se sintetiza sobre una secuencia de fondo, dando como resultado una secuencia sintetizada;

caracterizado porque 10

(e) la representación estroboscópica se renderiza como una secuencia de video animada, en la que dicho al menos un elemento se inserta de forma permanente en el fondo cuando se alcanzan instantes de activación y en la que, entre instantes de activación, dicho al menos un elemento deja un rastro semitransparente.

2. Procedimiento según la reivindicación 1, en el que las imágenes son de un campo de visión fijo.

3. Procedimiento según la reivindicación 1, en el que la etapa (a) comprende estimar el movimiento de la cámara al 15 realizar la secuencia de video original.

4. Procedimiento según la reivindicación 3, en el que el movimiento de la cámara se estima con sensores con los que está equipada la cámara.

5. Procedimiento según la reivindicación 3, en el que la estimación del movimiento de la cámara se realiza usando técnicas de procesado de video. 20

6. Procedimiento según la reivindicación 1, en el que la etapa (b) comprende seleccionar a un intervalo de fotogramas fijo.

7. Procedimiento según la reivindicación 1, en el que la etapa (b) comprende seleccionar a intervalos de tiempo medidos.

8. Procedimiento según la reivindicación 1, en el que la etapa (b) comprende seleccionar en eventos de primer plano 25 especificados.

9. Procedimiento según la reivindicación 1, en el que la etapa (b) comprende aceptar entradas del elemento a seleccionar.

10. Procedimiento según la reivindicación 1, en el que la etapa (c) comprende seleccionar un campo de visión para la representación estroboscópica. 30

11. Procedimiento según la reivindicación 10, en el que el campo de visión es el mismo que un campo de visión original.

12. Procedimiento según la reivindicación 10, en el que el campo de visión es mayor que un campo de visión original.

13. Procedimiento según la reivindicación 10, en el que el campo de visión abarca todos los movimientos de primer plano.

14. Procedimiento según la reivindicación 10, en el que el campo de visión es menor que un campo de visión original. 35

15. Procedimiento según la reivindicación 1, en el que la etapa (e) comprende renderizar múltiples representaciones de al menos un elemento de primer plano, estando las representaciones separadas.

16.Procedimiento según la reivindicación 15, en el que la separación de las representaciones es según una función de tiempo.

17.Procedimiento según la reivindicación 15, en el que la separación de las representaciones corresponde a su 40 verdadero desplazamiento espacial.

18. Procedimiento según la reivindicación 15, en el que la separación de las representaciones es para el desenrollado espacial de forma contigua de una acción de un objeto que gira sobre un eje.

19. Procedimiento según la reivindicación 1, en el que la secuencia de fondo representa un fondo sintético.

20. Procedimiento según la reivindicación 1, en el que la etapa (e) comprende controlar la persistencia del elemento de 45 primer plano.

21. Procedimiento según la reivindicación 20, en el que el control es para que las representaciones más antiguas de un elemento de primer plano aparezcan cada vez más transparentes en función del tiempo.

22. Procedimiento según la reivindicación 1, en el que la etapa (e) comprende asignar un brillo/color distintivo a al menos un elemento de primer plano.

23. Procedimiento según la reivindicación 22, en el que el brillo/color se selecciona en función del tiempo. 5

24. Procedimiento según la reivindicación 1, en el que la etapa (e) comprende la reconstrucción tridimensional de la representación estroboscópica.

25. Procedimiento según la reivindicación 1, en el que la al menos una secuencia de video original es de un evento deportivo.

26. Procedimiento según la reivindicación 1, que comprende además difundir la representación estroboscópica. 10

27. Procedimiento según la reivindicación 1, que comprende además suministrar la representación estroboscópica a través de Internet.

28. Sistema para generar una representación estroboscópica de imágenes en al menos una secuencia de video original, que comprende:

(a) medios (101) para extraer una parte de primer plano de las imágenes, dando como resultado una secuencia de 15 primer plano;

(b) medios para seleccionar a partir de la secuencia de primer plano al menos un elemento a incluir en la secuencia estroboscópica, dando como resultado una secuencia de primer plano seleccionada;

(d) medios (120) para sintetizar la secuencia de primer plano seleccionada en una secuencia de fondo, dando como resultado una secuencia sintetizada; 20

caracterizado por

(e) medios (130) para renderizar la representación estroboscópica como una secuencia de video animada, en la que dicho al menos un elemento se inserta de forma permanente en el fondo cuando se alcanzan instantes de activación y en la que, entre instantes de activación, dicho al menos un elemento deja un rastro semitransparente.