METODO Y SISTEMA PARA SEGMENTACION DE PRIMER PLANO DE IMAGENES EN TIEMPO REAL.

Método y sistema para segmentación de primer plano de imágenes en tiempo real.

El método comprende:

- generar un conjunto de funciones de coste para modelos o clases de segmentación de primer plano, de segundo plano y de sombra, en el que los modelos de segmentación de segundo plano y de sombra son una función de distorsión cromática y distorsión de brillo y color, y en el que dichas funciones de coste están relacionadas con medidas de probabilidad de que una región o un pixel dado pertenezca a cada una de dichas clases de segmentación; y

- aplicar a datos de pixeles de una imagen dicho conjunto de funciones de coste generadas;

El método comprende además definir dichos funcionales de coste de segmentación de segundo plano y de sombra introduciendo información de profundidad de la escena que ha adquirido dicha imagen.

El sistema comprende medios de cámara previstos para adquirir, a partir de una escena, información de color y profundidad, y medios de procesamiento previstos para llevar a cabo dicha segmentación de primer plano mediante elementos de hardware y/o software que implementan el método.

MÉTODO Y SISTEMA PARA SEGMENTACIÓN DE PRIMER PLANO DE S

EN TIEMPO L

La presente invención se refiere, en general, en un primer aspecto, a un método para segmentación de primer plano de imágenes en tiempo real, basándose en la aplicación de un conjunto de funciones de coste y, más en particular, a un método que comprende definir dichas funciones de coste introduciendo información de color y profundidad de la escena que han adquirido la imagen o imágenes analizadas.

Un segundo aspecto de la invención se refiere a un sistema adaptado para implementar el método del primer aspecto, preferiblemente mediante procesamiento paralelo.

Estado de la técnica anterior

La segmentación de primer plano es una clave de

funcionamiento para un amplio intervalo de aplicaciones

multimedia. Entre otras, la reconstrucción en 3D basada en

siluetas y la estimación de profundidad en tiempo real para

videoconferencias en 3D son aplicaciones que pueden beneficiarse mucho de segmentaciones de primer plano sin parpadeo con precisión en los bordes y flexibles respecto a los cambios de ruido y sombra de primer plano. Sin embargo, la segmentación de primer plano basada en colores simples, aunque puede basarse en diseños de algoritmo de una robustez interesante, puede tener problemas en regiones con sombras sobre el segundo plano o en áreas de primer plano con una baja diferencia de color con respecto al segundo plano. El uso adicional de información de profundidad puede tener una importancia clave con el fin de solucionar tales situaciones ambiguas.

Además, la segmentación basada sólo en profundidad no puede proporcionar un contorno de primer plano preciso y tiene problemas en regiones oscuras. Esto se ve influido en gran medida por la calidad de los datos Z/de profundidad obtenidos

por sistemas de adquisición de profundidad actuales tales como cámaras ToF (Time of Flight, Tiempo de Vuelo) tales como SR4000. Además, sin información de color, las sombras de modelado se convierten en un desafío significativo.

Antecedentes técnicos/tecnología existente La segmentación de primer plano se ha estudiado desde una serie de puntos de vista (véanse las referencias [3, 4, 5, 6, 7]) , cada uno con sus ventajas y desventajas en cuanto a la robustez y las posibilidades para adecuarse apropiadamente a una GPGPU. Los modelos de clasificación locales, basados en píxeles y basados en umbrales [3, 4] pueden aprovechar las capacidades paralelas de arquitecturas de GPU ya que pueden adecuarse muy fácilmente a éstas. Por otro lado, carecen de robustez frente al ruido y sombras. Enfoques más elaborados que incluyen un postprocesamiento morfológico [5], aunque son más robustos, puede que no les resulte fácil aprovechar las GPU debido a su naturaleza de procesamiento secuencial. Además, utilizan suposiciones fuertes con respecto a la estructura de los objetos, lo que se convierte en una segmentación errónea cuando el objeto de primer plano incluye huecos cerrados. Enfoques basados de manera más global pueden adecuarse mejor tal como en el documento [6]. Sin embargo, el marco estadístico propuesto es demasiado simple y conlleva a inestabilidades temporales del resul tacto segmentado. Finalmente, modelos de segmentación muy elaborados que incluyen seguimiento temporal [7] pueden ser demasiado complejos para adecuarse a sistemas en tiempo real. Ninguna de estas técnicas puede segmentar apropiadamente primeros planos con grandes regiones con colores similares al segundo plano.

• [2, 3, 4, 5, 6]: son técnicas basadas en intensidad/color para segmentación de primer plano, de segundo plano y de sombra. La mayoría de los algoritmos se basan en modelos de color que separan el brillo de la componente de cromaticidad, o se basan en la sustracción de segundo

plano que pretende hacer frente a cambios de iluminación local, tales como sombras y zonas iluminadas, así como cambios de iluminación global. Algunos enfoques usan etapas de reconstrucción morfológica con el fin de reducir

el ruido y una incorrecta clasificación suponiendo que las formas de los objetos se definen apropiadamente a lo largo de la mayor parte de sus contornos tras la detección inicial, y considerando que los objetos son contornos cerrados sin orificios en su interior. En algunos casos,

se introduce una etapa de optimización global con el fin de maximizar la probabilidad de una clasificación apropiada. En cualquier caso, ninguna de estas técnicas puede segmentar apropiadamente los primeros planos con grandes regiones con colores similares al segundo plano.

e hecho, situaciones ambiguas en las que el primer plano y el segundo plano tienen colores similares conducirán a clasificaciones erróneas.

• [13, 12] : introducen de cierta manera el uso de profundidad en su segmentación de primer plano. En los mismos, no obstante, se supone completamente que la profundidad determina el primer plano. De hecho, suponen que cuanto más está un objeto en la parte frontal, más probable será que se encuentre en el primer plano. En la práctica, esto puede ser incorrecto en muchas aplicaciones puesto que el segundo plano (que se entiende que son las componentes estáticas o permanentes en una escena) puede tener objetos que están más cerca de la cámara que el primer plano (u objeto de interés que va a segmentarse) . Además, éstos carecen de una fusión de información de profundidad y color al no aprovechar la disponibilidad de información visual multimodal.

Problemas con las soluciones existentes En general, las soluciones actuales presentan problemas a la hora de integrar una segmentación de primer plano buena,

robusta y flexible con eficacia computacional. O bien los métodos disponibles son demasiado simples, o bien son demasiado complejos, intentando tener en cuenta demasiados factores en la decisión de si cierta cantidad de datos de imagen es de primer plano o de segundo plano. Éste es el caso en la visión general del estado de la técnica que se ha expuesto en el presente documento. Véase un comentario individualizado:

• [2, 3, 4, 5, 6]: ninguna de estas técnicas puede segmentar apropiadamente primeros planos con grandes regiones con colores similares al segundo plano. De hecho, situaciones ambiguas en las que el primer plano y el segundo plano tienen colores similares conducirán a clasificaciones erróneas.

• [13, 12 J : introducen de cierta manera el uso de profundidad en su segmentación de primer plano. En los mismos, no obstante, se supone completamente que la profundidad determina el primer plano. De hecho, suponen que cuanto más está un objeto en la parte frontal, más probable será que se encuentre en el primer plano. En la práctica, esto puede ser incorrecto en muchas aplicaciones puesto que el segundo plano (que se entiende que son las componentes estáticas o permanentes en una escena) puede tener objetos que están más cerca de la cámara que el primer plano (u objeto de interés que va a segmentarse) . Además, éstos carecen de una fusión de información de profundidad y color al no aprovechar la disponibilidad de información visual multimodal. Todas estas técnicas no pueden solucionar la segmentación

cuando el primer plano contiene grandes regiones con colores que son muy similares al segundo plano.

Descripción de la invención Es necesario ofrecer una alternativa al estado de la técnica que rellene los vacíos que se encuentran en el mismo,

superando las limitaciones expresadas anteriormente en el presente documento, que permita tener un marco de segmentación para hardware habilitado en GPU con calidad mejorada y un alto

rendimiento y teniendo en cuenta la información tanto de

profundidad como de color.

Con este fin, la presente invención proporciona, en un

primer aspecto, un método para segmentación de primer plano de

imágenes en tiempo real, que comprende:

- generar un conjunto de funciones de coste para clases de

segmentación de primer plano, de segundo plano y de sombra, en

el que los costes de segmentación de segundo plano y de sombra se basan en distorsión cromática y distorsión de brillo y color, y en el que dichas funciones de coste están relacionadas con medidas de probabilidad de que una región o píxel dado pertenezca a cada una de dichas clases de segmentación; y

aplicar a los datos de píxeles de una imagen dicho conjunto de funciones de coste generadas.

El método del primer aspecto de la invención difiere, de manera característica, de los métodos de la técnica anterior,...

l. Método para segmentación de primer plano de imágenes en tiempo real, que comprende: -generar un conjunto de funciones de coste para modelos o clases de segmentación de primer plano, de segundo plano y de sombra, en el que los funcionales de coste de segmentación de segundo plano y de sombra son una función de distorsión cromática y distorsión de brillo y color, y en el que dichas funciones de coste están relacionadas con medidas de probabilidad de que una región o un píxel dado pertenezca a cada una de dichas clases de segmentación; y -aplicar a datos de píxeles de una imagen dicho conjunto de funciones de coste generadas; estando dicho método caracterizado porque comprende definir dichos modelos de segmentación de segundo plano y de sombra introduciendo información de profundidad de la escena que ha adquirido dicha imagen.

2. Método según la reivindicación 1, que comprende definir dichos modelos de segmentación según una formulac ión bayesiana.

3. Método según la reivindicación 2, que comprende, además de un modelado local de clases de primer plano, de segundo plano y de sombra llevado a cabo por dichas funciones de coste en el que la estructura de imagen se aprovecha localmente, aprovechar la estructura espacial de contenido de al menos dicha imagen de una manera más global.

4. Método según la reivindicación 3, en el que dicho aprovechamiento de la estructura espacial local de contenido de al menos dicha imagen se lleva a cabo estimando los costes como un promedio sobre regiones de color homogéneo.

5. Método según cualquiera de las reivindicaciones anteriores, que comprende aplicar una operación de algoritmo a las expresiones de probabilidad, o funciones de coste, generadas para derivar costes aditivos.

6. Método según cualquiera de las reivindicaciones

anteriores, que comprende definir dicha distorsión de

brillo como:

donde C-+ = {Cr , C g, Cb} es un color de segmento o pixel con componentes rgb, y

es la media entrenada correspondiente para el color de segmento o pixel en un modelo de segundo plano entrenado.

7. Método según la reivindicación 6, que comprende definir dicha distorsión cromática como:

CD (C) = j ( (Cr -BD (C) . Crm ) 2 + (Cg -BD (C) .

... Cgm ) 2 + (Cb -BD (C) . Cbm ) 2) .

8. Método según la reivindicación 7, que comprende definir dicha función de coste para la clase de segmentación de segundo plano como:

110 -Oml1 2 CD (0) 2

CostBC (O)

+ 2 +

. a m • K 1 5 . a C Drn . K 2

IIToF -ToFm 11 2

. afoF'm . K5

donde K1 , K2 Y Ks son constantes de proporcionalidad ajustable correspondientes a las distancias en uso en (72

rn

dicha función de coste de primer plano, representa la varianza de ese pixel o segmento en un modelo de segundo plano entrenado, aCDrn es la correspondiente a la distorsión cromática, es la varianza de un modelo de profundidad de segundo plano entrenado, ToF es la profundidad medida y ToFm es la media de profundidad entrenada para un segmento o pixel dado en el segundo plano.

9. Método según la reivindicación 8, que comprende definir dicha función de coste para la clase de segmentación de primer plano corno:

16.64· K3

CostFC (C)

donde K3 es una constante de proporcionalidad ajustable correspondiente a las distancias en uso en dicha función de coste de primer plano.

10. Método según la reivindicación 9, que comprende definir dicha función de coste para la clase de sombra corno:

-+ 2

-+ CD (C) 5· K4CostSH (C)

K + -+2+

·O"CDm.· 2 BD (C)

IIToF -ToFml.

2. log (1 _ 1 5 ·O"foFtn • K5 y'2 . 1f' . O"~ oKJ o donde K4 Y K5 son constantes de proporcionalidad ajustable 20 correspondientes a las distancias en uso en dicha función de coste de sombra.

11. Método según la reivindicación 4, el que dicha estimación de costes de píxeles se lleva a cabo mediante las siguientes acciones secuenciales:

i) sobresegmentar la imagen usando un criterio de color homogéneo basado en un enfoque de k-medias; ii) forzar una correlación temporal sobre centroides de color de k-medias, con el fin de garantizar la estabilidad y consistencia temporal de segmentos homogéneos,

iii) calcular dichas funciones de coste por segmento de color homogéneo; y en el que dicho aprovechamiento de la estructura espacial de contenido de al menos dicha imagen de una manera más global se lleva a cabo mediante la siguiente acción:

iv) usar un algoritmo de optimización para encontrar la

mejor solución global posible optimizando costes.

12. Método según la reivindicación 11, en el que dicho algoritmo de optimización es un algoritmo de propagación de creencias jerárquica.

13. Método según la reivindicación 11 ó 12, que comprende,

después de que dicha etapa iv) se haya llevado a cabo, tomar la decisión final píxel a píxel o región a región sobre costes promediados finales calculados sobre regiones de color uniforme para refinar adicionalmente los límites de primer plano.

14. Método según la reivindicación 11, 12 ó 13, en el que dicho enfoque de k-medias es una segmentación basada en agrupamiento de k-medias modificada para adaptarse a una arquitectura de unidad de procesamiento gráfico, o GPU.

15. Método según la reivindicación 14, en el que modificar dicha segmentación basada en agrupamiento de k-medias comprende restringir el conjunto de asignación inicial

(, , - (1) " , , (1») a 1 a n rk arquitectura paralela de la GPU por medio de un número de conjuntos que también dependen del tamaño de la imagen, mediante la división de la entrada en una rejilla de n x n cuadrados, donde n se refiere al tamaño de bloque usado en la ejecución de núcleos de proceso dentro (MxN)

de la GPU, logrando agrupamientos, donde N y M son n2

las dime nsiones de imagen, y Pi es la media de puntos en el conjunto de muestras y calcular la etapa de actualización inicial de dicha segmentación basada en agrupamiento de k-medias a partir de los píxeles en dichas regiones cuadradas, de manera que un algoritmo que implementa dicha segmentación basada en agrupamiento de kmedias modificada converge en un número inferior de iteraciones.

16. Método según la reivindicación 15, en el que modificar dicha segmentación basada en agrupamiento de k-medias comprende además, en la etapa de asignación de dicha

segmentación basada en agrupamiento de k-medias, restringir los agrupamientos a los que cada píxel puede cambiar la asignación de agrupamiento a un agrupamiento de k-medias estrictamente vecino, de manera que se garantiza la continuidad espacial.

17. Método según la reivindicación 16, en el que dichas restricciones llevan a la siguiente etapa de asignación modificada:

donde N (i) es el vecindario del agrupamiento i, y Xj es un vector que representa una muestra de píxel (R, G, B, x, y) , donde R, G, B representan componentes de color en cualquier espacio de color seleccionado y x, y son la posición espacial de dicho píxel en una de dichas

imágenes.

18. Método según cualquiera de las reivindicaciones anteriores, en el que se aplica a una pluralidad de imágenes correspondientes a fotogramas diferentes y consecutivos de una secuencia de vídeo.

19. Método según la reivindicación 18, cuando depende de la reivindicación 17, en el que para secuencias de vídeo en las que hay una fuerte correlación temporal de un fotograma a otro, el método comprende usar centroides resultantes finales después de la segmentación de k-medias de un

fotograma para inicializar la sobresegmentación del siguiente, consiguiendo así dicho forzado de una correlación temporal sobre centroides de color de k-medias, con el fin de garantizar la estabilidad y consistencia temporal de segmentos homogéneos.

20. Método según la reivindicación 19, que comprende usar los resultados de la etapa iv) para llevar a cabo una clasificación basándose o bien de píxel a píxel o de región a región con una reproyección en el espacio de segmentación con el fin de mejorar la precisión de los límites de dicho

primer plano.

21. Método según cualquiera de las reivindicaciones

anteriores, en el que dicha información de profundidad es

información de profundidad procesada obtenida adquiriendo

5 información de profundidad preliminar con una cámara de

tiempo de vuelo, ToF, y procesándola para

desdistorsionarla, rectificarla y ajustarla a escala de

manera ascendente para adecuarla con contenido de color,

con respecto a dicha imagen, capturada con una cámara a

10 color.

22. Método según cualquiera de las reivindicaciones 1 a 20,

conque comprende adquirir tanto contenido de color,

respecto a dicha imagen, como dicha información de

profundidad con una única cámara que puede adquirir y

15 suministrar información de color y profundidad.

23. Sistema para segmentación de primer plano de imágenes en

tiempo real, que comprende medios de cámara previstos para

adquirir imágenes a partir de una escena, incluyendo

información de color, medios de procesamiento conectados a

20 dicha cámara para recibir imágenes adquiridas por la misma

y para procesarlas con el fin de llevar a cabo una

segmentación de primer plano de imágenes en tiempo real,

caracterizado porque dichos medios de cámara están

previstos también para adquirir, a partir de dicha escena,

25 información de profundidad, y porque dichos medios de

procesamiento están previstos para llevar a cabo dicha

segmentación de primer plano mediante elementos de hardware

y/o software que implementan al menos dicha aplicación de

dichas funciones de coste del método según cualquiera de

30 las reivindicaciones 1 a 22.

24. Sistema según la reivindicación 23, en el que dichos

elementos de hardware y/o software implementan dichas

etapas i) a iv) del método según cualquiera de las

reivindicaciones 11 a 22.

26. Sistema según la reivindicación 23 ó 24, en el que dichos medios de cámara comprenden una única cámara que puede adquirir y suministrar información de color y profundidad.

27. Sistema según la reivindicación 23, que comprende una pantalla conectada a la salida de dichos medios de procesamiento, estando estos últimos previstos también para generar imágenes tridimensionales reales y/o virtuales, a partir de siluetas generadas a partir de dicha segmentación de primer plano de imágenes, y visualizarlas a través de dicha pantalla.

28. Sistema según la reivindicación 27, caracteri zado porque constituye o forma parte de un sistema de telepresencia.

Figura 1