SISTEMA QUE PERMITE LA APLICACIÓN DE EFECTOS VISUALES EN OBJETOS O SUJETOS ESTÁTICOS O EN MOVIMIENTO EN TIEMPO REAL SIN NECESIDAD DE MARCAS.

La presente invención se basa en un sistema que permite la aplicación de efectos visuales en objetos o sujetos estáticos o en movimiento en tiempo real sin necesidad de marcas logrando una interacción natural entre el objeto o el sujeto y los dispositivos de entrada y de salida para lo que se utilizan técnicas de visión por computador.

El sistema comprende un dispositivo de entrada que permita la captura de imágenes, en cualquier formato y en tiempo real, un escenario configurado de tal forma que la iluminación y el fondo estén controlados, un módulo de procesamiento de imágenes en tiempo real y detección de movimiento a través de la implementación de filtros y un dispositivo de salida donde se proyectan las imágenes procesadas con el efecto visual correspondiente.

Sistema que permite la aplicación de efectos visuales en objetos o

sujetos estáticos o en movimiento en tiempo real sin necesidad de

marcas

s Sector de la técnica

Implementaciones en ordenador. Visión por computador.

Introducción

El presente documento describe un sistema de interacción entre objetos o sujetos

10 y determinados efectos visuales preprogramados que son proyectados en el propio

objeto o sujeto simulando el funcionamiento de un espejo. El usuario puede apreciar en

tiempo real dichos efectos visuales proyectados sobre cuerpos estáticos o en

movimiento.

Este sistema está compuesto por un escenario con luces y fondo controlado,

15 sensores de entrada como puede ser una cámara de vídeo, una CPU, como puede ser un

ordenador, una serie de filtros de detección y proyección basados en visión por

computador, así como un dispositivo de salida que puede ser un proyector, una

televisión, una pantalla de ordenador, etc.

La ventaja fundamental del sistema se basa en la detección del movimiento del

20 sujeto u objeto sin la necesidad de marcas como colores especiales, sensores, etc. en

dicho cuerpo, ni de condiciones especiales de entrenamiento en comportamientos o en

movimientos predeterminados.

Tanto la detección del movimiento como la proyección de determinados efectos

visuales sobre un sujeto u objeto se realizan mediante una serie de filtros

25 implementados en computador utilizando técnicas de visión por computador y análisis y

tratamiento de imágenes en tiempo real. La solución presentada trabaja con estos filtros

identificando zonas de análisis y zonas de aplicación de dichos efectos visuales.

Asimismo, el sistema permite el reconocimiento de acciones o eventos predefinidos y la

aplicación de filtros diseñados y relacionados a los mismos.

30

Estado de la técnica

Existen dispositivos y procesos para la generación de contenido, animaciones o

efectos visuales en el contorno interior delimitado por la silueta de un objeto o sujeto.

5 Estos dispositivos y procesos permiten que el usuario conozca, por ejemplo, la

apariencia que tiene ese objeto o sujeto cuando se le cambian determinadas condiciones.

Son utilizados en moda, de tal forma que un sujeto puede comprobar cómo le

sientan, por ejemplo, unas determinadas gafas sin necesidad de disponer fisicamente de

las mismas, sino que se muestra en una pantalla el aspecto que tendría si las utilizase.

1º De igual forma, se utilizan para la interacción con distintos tipos de peinado, o de

prendas de vestir. La utilización de este tipo de sistemas tiene usos diversos, en

automoción, por ejemplo, para observar la apariencia externa o interna de un vehículo,

color, tapizado, disponiendo sólo de un único elemento fisico, etc.

Sin embargo, estos dispositivos presentan el inconveniente que los efectos

15 visuales mostrados o bien no se ajustan a sujetos u objetos cuando estos se encuentran

en movimiento o bien para la detección del movimiento es necesario que el sujeto u

objeto disponga de determinadas marcas como prendas de un color determinado,

sensores en el cuerpo, etc.

Se conocen algunos documentos donde se describen procedimientos o sistemas

20 que tratan de abordar esta cuestión.

En el documento US200212609Al se tiene como objetivo la navegación en la

pantalla a través de un cursor dependiendo del estado de un objeto detectado por una

cámara. El sistema de control controla en movimiento del cursor en la pantalla y

determina cuando este cursor fue seleccionado mediante el estado de un objeto. De esa

25 forma se pretende mover el cursor y navegar en un rango de movimientos equiparac!os a

acciones del ratón. Sin embargo, solo se aplica a una parte detectada como objeto,

cogen un punto de referencia y fijan los límites, y desde ahí calculan el movimiento

realizando proyecciones basadas en los puntos de referencia. No aplican efectos

especiales ni utilizan la técnica del análisis y procesamiento de imágenes con filtros de

30 optimización en tiempo real, como ocurre en US5986660A, donde se describe un

sistema de este tipo pero que tampoco trabaja en tiempo real, realizando las operaciones

sobre datos pregrabados. En esta caso se utilizan 3, 4 o más dimensiones y las convierten

a distintas perspectivas dimensionales.

Por otro lado, otros sistemas que utilizan las mencionadas marcas de referencia

se observan en US2003076293Al, donde se describe un sistema que utiliza marcas de

referencia activas y pasivas por identificadores como guates, pintar el cuerpo. Además,

5 los movimientos detectados se realizan con respecto al punto de referencia en matrices

de 4x4 dimensiones utilizando varias cámaras de entrada y reconociendo los

movimientos con una base de datos de gestos.

De forma similar en W0200497612A2 se describe un dispositivo que utiliza

1º para la detección del movimiento al menos 2 imágenes provenientes desde distintos

ángulos para determinar las posiciones en 3D del cuerpo de una persona y se realiza

una representación de su volumen. La estructura de la solución implica la utilización de

contendido 3D en los sensores, la adquisición, procesamiento, modelado, extracción de

parámetros, calibración, etc. La solución propuesta en el presente documento es una

15 solución 2D que requiere únicamente un solo dispositivo de entrada.

En otros campos de la técnica se conocen sistemas como el descrito en

US2006184003A donde se remite a una base de datos de imágenes provenientes de

resonancia magnética que proveen de los puntos de referencia asociadas al sujeto. Se

20 describe la utilización de dispositivos externos como marcas al sujeto que permiten

identificar la zona donde se actuará. Se utiliza para la visualización de intervenciones,

mediante el empleo de realidad aumentada. En este caso, además de la visión

estereoscópica se necesita un pre-procesamiento de las imágenes de referencia y

nuevamente las marcas sobre el objeto o sujeto para el reconocimiento del movimiento.

25

Respecto a la proyección de los efectos visuales se conoce el sistema descrito en

JP2001034381 que utiliza dibujos asociados a movimientos del cuerpo humano, que a

su vez son empleados con el fin de controlar la interacción con el sistema. La diferencia

principal con la propuesta actual es que en este caso se plantea la posibilidad de

30 disparar y calcular los efectos visuales sobre la imagen del usuario objeto o usuario

detectado por el dispositivo de entrada calculando su posición y utilizando máscaras

como parámetros de referencia.

5 1º Finalmente, se conoce el sistema descrito en JP2005339100 que pretende el análisis de movimiento del cuerpo humano y plantea un método para realizar este análisis. De las imágenes detectadas por el dispositivo de entrada se extrae el cuerpo y esta silueta se transforma en un esqueleto. La diferencia entre el citado documento y la presente invención se sitúa en que el procesamiento de la identificación del movimiento se realiza a partir de este esqueleto, no sobre las imágenes o silueta detectada. Dado que pretende analizar el ritmo del movimiento plantea la separación en partes de ese esqueleto y el análisis de la cantidad y frecuencia de movimiento que existe en cada parte. Para lograrlo se crea un vector que analiza la cantidad de movimiento mediante la utilización de técnicas como la transformación lineal de Hough, filtro de Kalman para el seguimiento del tiempo, transformada de Fourier para la extracción de las caracterís~icas del movimiento y frecuencia, etc., difiriendo conceptos y planteamiento con nuestra invención.

15 Descripción de la invención

20 La presente invención se basa en un sistema que permite la aplicación de efectos visuales en objetos o sujetos estáticos o en movimiento en tiempo real sin necesidad de marcas, logrando una interacción natural entre el objeto o el sujeto ylos dispositivos de entrada y de salida para lo que se utilizan técnicas de visión por computador.

El sistema comprende:

25 30 -Un dispositivo de entrada que permita la captura de imágenes, en cualquier formato y en tiempo real, que disponga de una interfaz de acceso al flujo de datos capturado. Dependiendo del tipo de dispositivo, se puede controlar y realizar ajustes en tiempo real sobre el flujo de datos capturado, tales como: resolución, tamaño y calidad de la entrada, así como propiedades como, brillo, contraste, saturación, etc. -Un escenario configurado de tal forma que la iluminación y el fondo estén controlados. El escenario debe contener la iluminación y el fondo que serán... [Seguir leyendo]

1. Sistema que permite la aplicación de efectos visuales en objetos o sujetos estáticos o en movimiento en tiempo real sin necesidad de marcas caracterizado por:

Un dispositivo de entrada que permite la captura de imágenes Un escenario configurado con iluminación y fondo controlado Un dispositivo de procesamiento de imágenes en tiempo real y detección de movimiento. Un conjunto procedimientos utilizados para detectar, analizar y aplicar efectos visuales en los objetos o sujetos en tiempo real que comprende la aplicación de:

1. Filtros de detección,

ii. Filtros de proyección. Un dispositivo de salida donde se proyectan las imágenes procesadas.

2. Sistema que permite la aplicación de efectos visuales en objetos o sujetos estáticos o en movimiento en tiempo real sin necesidad de marcas según reivindicación 1 donde los filtros de detección comprenden:

Un filtro objeto que permite la detección de la zona ocupada por el objeto. Un filtro de movimiento que permite la detección de aCCIOnes o movimientos desarrollados por el objeto.

3. Sistema que permite la aplicación de efectos visuales en objetos o sujetos estáticos o en movimiento en tiempo real sin necesidad de marcas según reivindicación 2 donde se emplea un filtro de movimiento para detectar la acción de beber realizada por un sujeto.

4. Sistema que permite la aplicación de efectos visuales en objetos o sujetos estáticos o en movimiento en tiempo real sin necesidad de marcas según reivindicación 1 donde los filtros de proyección comprenden:

Un filtro para la aplicación del efecto halo.

Un filtro para la aplicación del efecto desaturado. Un filtro para la reproducción de una animación en una zona interior del contorno del objeto que acompaña al movimiento.

5. Procedimiento para la aplicación de efectos visuales en cuerpos o sujetos estáticos o en movimiento en tiempo real sin necesidad de marcas mediante el uso de un sistema según la reivindicación 1 caracterizado por las siguientes etapas:

- Etapa O: Control y definición de las condiciones iniciales de: iluminación, resolución del dispositivo de entrada, fondo y situación del objeto en el lugar predefinido. -Etapa 1: Detección en tiempo real de la imagen captada por el dispositivo de entrada, considerando color y/o movimiento mediante la aplicación de filtros de proyección y detección. -Etapa 2: Análisis en tiempo real de la imagen para la separación de la silueta del sujet%bjeto del fondo mediante la aplicación de filtros de proyección y detección. -Etapa 3: Reconocimiento y almacenamiento de la silueta del sujet%bjeto. -Etapa 4: Aplicación de máscaras sobre la silueta del sujet%bjeto mediante la aplicación de filtros de proyección y detección. -Etapa 5: Detección de las secuencias de eventos/acciones preprogramadas. -Etapa 6: Según las acciones/eventos que se hayan detectado, determinación de los efectos visuales y activación de los mismos.

- Etapa 7: Aplicación de efectos visuales en la silueta que permite la generación de efectos visuales sobre la imagen del sujet%bjeto.

6. Procedimiento para la aplicación de efectos visuales en cuerpos o sujetos estáticos o en movimiento en tiempo real sin necesidad de marcas mediante el uso de un sistema según la reivindicación 2 caracterizado por las siguientes etapas:

~Etapa 'o: Control y definición de las condiciones iniciales de: iluminación, resolución del dispositivo de entrada, fondo y situación del objeto en el lugar predefinido. -Etapa 1: Detección en tiempo real de la imagen captada por el dispositivo de

entrada, considerando color y/o movimiento mediante la aplicación de filtros de proyección y detección. -Etapa 2: Análisis en tiempo real de la imagen para la separación de la silueta del sujet%bjeto del fondo mediante la aplicación de filtros de proyección y detección lO-Etapa 3: Reconocimiento y almacenamiento de la silueta del sujet%bjeto. -Etapa 4: Aplicación de máscaras sobre la silueta del sujet%bjeto mediante la aplicación de filtros de proyección y detección. -Etapa 5: Detección de las secuencias de eventos/acciones preprogramadas. -Etapa 6: Según las acciones/eventos que se hayan detectado, determinación de los efectos visuales y activación de los mismos. -Etapa 7: Aplicación de efectos visuales en la silueta que permite la generación de efectos visuales sobre la imagen del sujet%bjeto. "

DIBUJOS

lO

Figura 1

c.Si:' ~1.. sl¡/Uk'flU>_pctll<lM ~I~tn ", ¡nonde 41»: lJ}·O' (l·/'I

Figura 2

Etapa O. Condiciones iniciales

Escenario

-Fondo controlado -Iluminación controlada -Cámara/sensor -Sujet%bjeto en condiciones predeterminadas

Etapa 1. Detección yanálisis de imagen en tiempo real (visión por computador)

Silueta Detección del sujet%bjeto basada en color y/ó movimiento. Análisis de la imagen para separación de la silueta del sujet%bjeto del fondo Recorte de silueta Etapa 2. Aplicación de máscaras ala silueta !

Máscaras

-Aplicación de máscaras sobre la silueta del sujet%bjeto recortada.

Etapa 3. Detección de la secuenciade eventos/acciones

Eventos

-Detección de secuencia de eventos/acciones preprogramadas -Activación del disparo de la secuencia de eventos/efectos encadenados

Etapa 4. Aplicación de efectos visuales sobre la silueta ~

Efectos

-Generación en tiempo real de efectos visuales y animaciones sobre la imagen del sujet%bjeto