Un método para el procesamiento de vídeo, que comprende las etapas de:

mantener un modelo de fondo para dicho vídeo;

detectar una diana en tal vídeo; detectar si dicha diana es una diana estacionaria, que comprende las etapas de:

determinar propiedades de movimiento general y de cambio de tamaño de dicha diana; caracterizado por

determinar propiedades de movimiento independiente de dicha diana, en el que tal movimiento independiente es un movimiento de fotograma a fotograma en el que la determinación de las propiedades de movimiento independiente de dicha diana comprende además:

determinar una proporción media del número de píxeles en movimiento de dicha diana con respecto al área de píxeles de la diana; y

determinar una desviación estándar de la proporción del número de tales píxeles en movimiento de dicha diana con respecto al área de píxeles de la diana,

en el que tales píxeles en movimiento experimentan un movimiento independiente, y

determinar si dicha diana es estacionaria en base a tales propiedades de movimiento general y cambio de tamaño y tales propiedades de movimiento independiente; y

clasificar dicha diana estacionaria como una inserción en tal modelo de fondo o eliminación de tal modelo de fondo.

Mantenimiento de fondo de escena de vídeo utilizando detección y clasificación de cambios.

Campo de la invención La presente invención se dirige al campo general del procesamiento de vídeo y al campo más específico del procesamiento de vídeo segmentado. En particular, la invención se refiere al mantenimiento de modelos de fondo en vídeo segmentado y a la clasificación de cambios del modelo de fondo.

Técnica relacionada

Muchas aplicaciones de procesamiento de vídeo requieren segmentación de objetos de vídeo (es decir, la diferenciación de objetos que realmente se mueven de la escena de fondo estática representada en una secuencia de vídeo) . Tales aplicaciones incluyen, por ejemplo, construcción de mosaico de vídeo, compresión de vídeo basada en objetos, edición de vídeo basada en objetos y vigilancia automatizada de vídeo. Muchos algoritmos de segmentación de objetos de vídeo utilizan modelos de fondo de escena de vídeo (los cuales pueden denominarse simplemente como "modelos de fondo") como una ayuda. La idea general es que cada fotograma de una secuencia de vídeo puede registrarse con el modelo de fondo y compararse, píxel por píxel, con el modelo de fondo. Los píxeles que muestran una diferencia suficiente se consideran píxeles de primer plano o móviles. Sin embargo, existen una amplia gama de fenómenos que pueden causar cambios a nivel de píxel, tales como: fondos inestables (por ejemplo, agua con ondas, hojas agitadas por el viento, etc.) ; fenómenos de iluminación (por ejemplo, nubes moviéndose por delante del sol, sombras, etc.) ; y fenómenos de cámara (por ejemplo, control automático de ganancia (AGC) , iris automático, autoenfoque, etc.) .

Utilizando segmentación de objetos de vídeo (o una variación de la misma) , habitualmente pueden detectarse objetos, o partes de objetos, los cuales muestran un movimiento independiente. La patente US 6.424.370 describe un método para proporcionar indexado automático de vídeo en base al contenido a partir del movimiento del objeto. Los objetos en movimiento en un vídeo de una cámara de vigilancia son detectados en la secuencia de vídeo utilizando métodos de segmentación del movimiento mediante un segmentador de movimiento. Los objetos son rastreados mediante datos segmentados en un rastreador de objetos y se genera una representación simbólica del vídeo en forma de un gráfico anotado que describe los objetos y su movimiento. Un analizador del movimiento analiza los resultados del rastreo de objetos y anota el movimiento del gráfico con índices que describen varios eventos. El gráfico se indexa a continuación utilizando un esquema de clasificación basado en normas para identificar eventos de interés, tales como aparición/desaparición. Hay dos problemas básicos que surgen cuando los objetos en una escena permanecen estacionarios durante un largo periodo de tiempo, y cualquiera de estos dos fenómenos puede degradar el rendimiento de la segmentación de objetos de vídeo para cualquier aplicación.

En primer lugar, si un objeto permanece estacionario durante un largo periodo de tiempo, el objeto podría ser detectado "permanentemente" como un objeto de primer plano. Sin embargo, a todos los efectos prácticos, el objeto se ha convertido en parte del fondo. En la figura 1A, este problema se ilustra para un coche 11 que entra en la secuencia de vídeo y aparca en ella. El coche es monitorizado de forma continua como un objeto de primer plano 12 pero realmente se ha convertido en parte del fondo (es decir, segmentación "permanente") .

En segundo lugar, si un objeto, inicialmente estacionario, es parte del modelo de fondo (por ejemplo, se "incrusta") y a continuación se mueve, el objeto deja expuesta una región del modelo de fondo (por ejemplo, fondo estático) que no ha sido modelada. La región expuesta del modelo de fondo es detectada erróneamente como un objeto de primer plano. En la figura 1B, este problema se ilustra para un coche aparcado 13 que sale de la secuencia de vídeo. El coche 13 deja un "agujero" en forma de coche 14 segmentado en el modelo de fondo.

Tal como se ha descrito, por ejemplo, en la Solicitud de Patente de Estados Unidos Nº de Serie 09/472.162, titulada "Method, Apparatus, and System for Compressing/Decompressing Digital Video Data", presentada el 27 de diciembre 1999, y la Patente de Estados Unidos Nº 6738424, titulada "Scene Model Generation from Video for Use in Video Processing", presentada el 3 de julio de 2000 (ambas de asignación común) , cuando se construyen mosaicos de fotografías, mosaicos de vídeo o modelos de escena de vídeo, a menudo es deseable extraer aquellas partes de las imágenes fuente que representan fondo "verdadero". Por ejemplo, un coche aparcado en una secuencia de vídeo (o cualquier otra colección de imágenes) que permanece aparcado durante la duración de la secuencia de vídeo puede considerarse fondo verdadero. Sin embargo, un coche en una secuencia de vídeo que inicialmente está aparcado y después se aleja en algún punto en la secuencia de vídeo debe considerarse apropiadamente "no fondo".

Si no se tiene cuidado para identificar regiones de fondo verdadero, se producirán aberraciones. Si el objetivo es producir un mosaico o imagen de fondo, los objetos de primer plano pueden "incrustarse" y el modelo de fondo daría como resultado imágenes de aspecto innatural. Si el objetivo es construir un modelo de escena como base para segmentación de vídeo, los resultados pueden ser segmentaciones malas, donde partes de objetos de primer plano no se detectan, y donde algunas regiones de fondo expuestas se detectan como objetos de primer plano.

La figura 2 ilustra un ejemplo de la técnica anterior de permitir que objetos de primer plano corrompan un modelo de fondo. La secuencia de vídeo representa a un golfista preparado para dar el golpe inicial. Un subconjunto 21 de las imágenes fuente de la secuencia de vídeo representa una parte de esta secuencia de vídeo. Las imágenes fuente se utilizan para generar un modelo de fondo 22 y objetos de primer plano 23. Sin embargo, el modelo de fondo 22 contiene objetos de primer plano 23 (por ejemplo, el golfista a la izquierda y parte de la camiseta del golfista a la derecha) incrustados en el modelo de fondo 22, y los objetos de primer plano 23 están segmentados de forma incompleta (por ejemplo, parte del torso del golfista y parte del palo de golf) .

Resumen de la invención

La invención emplea la detección y clasificación de cambios para mantener un modelo de fondo de una secuencia de vídeo. Además, la invención mantiene un modelo de fondo de una secuencia de vídeo y clasifica cambios en el modelo de fondo.

La invención incluye un método según la reivindicación 1.

La invención incluye un sistema informático para llevar a cabo el método anterior. Un sistema para la invención incluye un sistema informático que incluye un medio legible por ordenador que presenta software para hacer funcionar un ordenador de acuerdo con la invención.

Según un aspecto adicional de la invención, se proporciona un sistema informático para procesar vídeo según la reivindicación 12.

Características y ventajas adicionales de la invención, así como la estructura y el funcionamiento de diversas realizaciones de la invención, se describen con detalle a continuación con referencia a los dibujos adjuntos.

Definiciones Un "ordenador" se refiere a cualquier aparato que es capaz de aceptar una entrada estructurada, procesar la entrada estructurada según normas prescritas, y producir resultados del procesamiento como una salida. Los ejemplos de un ordenador incluyen: un ordenador; un ordenador de utilización general; un superordenador; una unidad principal; un super mini-ordenador; un mini-ordenador; una estación de trabajo; un micro-ordenador; un servidor; una televisión interactiva; un dispositivo de Web; un dispositivo de telecomunicaciones con acceso a Internet; una combinación híbrida de un ordenador y una televisión interactiva; y hardware específico de aplicación para emular a un ordenador y/o software. Un ordenador puede ser fijo o portátil. Un ordenador puede presentar un único procesador o múltiples procesadores, los cuales pueden funcionar en paralelo y/o no en paralelo. Un ordenador también se refiere a dos o más ordenadores conectados juntos mediante una red para transmitir o recibir información entre los ordenadores. Un ejemplo de tal ordenador incluye un sistema informático distribuido para procesar información mediante ordenadores enlazados mediante una red.

Un... [Seguir leyendo]

1. Un método para el procesamiento de vídeo, que comprende las etapas de:

mantener un modelo de fondo para dicho vídeo;

detectar una diana en tal vídeo; detectar si dicha diana es una diana estacionaria, que comprende las etapas de:

determinar propiedades de movimiento general y de cambio de tamaño de dicha diana;

caracterizado por

determinar propiedades de movimiento independiente de dicha diana, en el que tal movimiento independiente es un movimiento de fotograma a fotograma en el que la determinación de las propiedades de movimiento independiente de dicha diana comprende además:

determinar una proporción media del número de píxeles en movimiento de dicha diana con respecto al área de píxeles de la diana; y determinar una desviación estándar de la proporción del número de tales píxeles en movimiento de dicha diana con respecto al área de píxeles de la diana, en el que tales píxeles en movimiento experimentan un movimiento independiente, y determinar si dicha diana es estacionaria en base a tales propiedades de movimiento general y cambio de tamaño y tales propiedades de movimiento independiente; y clasificar dicha diana estacionaria como una inserción en tal modelo de fondo o eliminación de tal modelo de fondo.

2. Un método según la reivindicación 1, en el que tales propiedades de movimiento general y cambio de tamaño comprenden propiedades estadísticas de una trayectoria centroidal de dicha diana y propiedades estadísticas de un área de dicha diana.

3. Un método según la reivindicación 1, en el que tal movimiento independiente comprende propiedades estadísticas de píxeles en movimiento de dicha diana.

4. Un método según la reivindicación 1, en el que la determinación de si dicha diana es estacionaria se basa, además, en el envejecimiento de dicha diana.

5. Un método según la reivindicación 1, en el que la clasificación de dicha diana estacionaria comprende las etapas de:

determinar una intensidad del borde en tal modelo de fondo a lo largo de un límite de dicha diana estacionaria;

determinar una intensidad del borde en un fotograma actual de la secuencia de vídeo a lo largo de tal límite de dicha diana estacionaria; y determinar si dicha diana estacionaria es tal inserción o tal eliminación en base a tal intensidad del borde en tal modelo de fondo y tal intensidad del borde en tal fotograma actual.

6. Un método según la reivindicación 5, en el que la determinación de tal intensidad del borde en tal modelo de fondo se basa en un píxel centroide de dicha diana estacionaria y píxeles del perímetro a lo largo de tal límite de dicha diana estacionaria.

7. Un método según la reivindicación 5, en el que la determinación de tal intensidad del borde en tal fotograma actual se basa en un píxel centroide de dicha diana estacionaria y píxeles del perímetro a lo largo de tal límite de dicha diana estacionaria.

8. Un método según la reivindicación 1, en el que la clasificación de dicha diana estacionaria comprende, además, clasificar dicha diana estacionaria como una inserción en tal modelo de fondo, una eliminación de tal modelo de fondo, o como inidentificable como tal inserción o tal eliminación.

9. Un método según la reivindicación 1, que comprende además la etapa de:

determinar si dicha diana se detectó previamente como una diana estacionaria.

10. Un sistema informático que comprende un medio legible por ordenador que presenta un software para hacer funcionar un ordenador según el método de la reivindicación 1.

11. Un medio legible por ordenador que presenta software para hacer funcionar un ordenador según el método de la reivindicación 1.

12. Un sistema informático para el procesamiento de vídeo, que comprende:

un modelo de fondo de tal vídeo;

una unidad de clasificación de píxeles basada en un modelo de fondo adaptada para producir una máscara de cambio e imágenes en base a tal vídeo y tal modelo de fondo;

una unidad de actualización del modelo de fondo adaptada para actualizar tal modelo de fondo en base a tal máscara de cambio y tales imágenes;

una unidad de clasificación de píxeles basada en el movimiento adaptada para producir una máscara de movimiento;

una unidad de generación de blobs adaptada para producir al menos un blob en base a tal máscara de cambio y tal máscara de movimiento;

una unidad de rastreo de blobs adaptada para producir al menos una diana en base a tales blobs;

una unidad de detección y clasificación de una diana estacionaria para producir una descripción de la diana estacionaria en base a cada diana, tal descripción de la diana estacionaria para identificar a cada diana como una inserción en tal modelo de fondo o una eliminación de tal modelo de fondo; y una unidad de actualización local del modelo de fondo adaptada para actualizar tal modelo de fondo en base a cada descripción de dicha diana estacionaria;

caracterizado porque tal unidad de clasificación de píxeles basada en el movimiento está adaptada para determinar propiedades de movimiento independiente de dicha diana, en el que tal movimiento independiente es un movimiento de fotograma a fotograma y en el que tal unidad de clasificación de píxeles basada en el movimiento está adaptada para determinar propiedades de movimiento independiente de dicha diana, determinando una proporción media del número de píxeles en movimiento de dicha diana con respecto al área de píxeles de la diana y determinar una desviación estándar de la proporción del número de tales píxeles en movimiento de dicha diana con respecto al área del píxel, en el que tales píxeles en movimiento experimentan un movimiento independiente, estando tal unidad de clasificación de píxeles basada en el movimiento adaptada, además, para producir tal máscara de movimiento en base a tal vídeo y tales propiedades de movimiento independiente.

13. Un sistema informático según la reivindicación 12, en el que tales descripciones de la diana estacionaria identifican, además, a cada una de dichas dianas como una inserción en tal modelo de fondo, una eliminación de tal modelo de fondo o como inidentificable como tal inserción o tal eliminación.

14. Un sistema informático según la reivindicación 12, que comprende, además, una unidad monitora de la diana estacionaria adaptada para ordenar a tal unidad de rastreo de blobs que rastree una diana que fue detectada como una inserción y a continuación detectada como una eliminación.

DOCUMENTOS INDICADOS EN LA DESCRIPCIÓN

En la lista de documentos indicados por el solicitante se ha recogido exclusivamente para información del lector, y no es parte constituyente del documento de patente europeo. Ha sido recopilada con el mayor cuidado; sin embargo, la EPA no asume 5 ninguna responsabilidad por posibles errores u omisiones.

Documentos de patente indicados en la descripción

● US 6424370 B [ 0003] ● US 6625310 B [ 0028] 10 ● US 47216299 A [ 0006] ● US 6954498 B [ 0032] [ 0036]

● US 6738424 B