Reducción de ruido compensada en profundidad.

Procedimiento para eliminar el ruido en vídeo de vistas múltiples obtenidas mediante la observación de una escena desde múltiples cámaras (C1,

C2, C3, C4, C5), caracterizado porque comprende las siguientes etapas:

Elegir una vista de referencia,

normalizar el color y la intensidad de las imágenes de acuerdo con dicha vista de referencia,

mapear cada píxel de la vista de referencia a las otras vistas de cámara mediante la utilización de mapas de profundidad dados dependiente de la vista, en el que dichos mapas de profundidad están disponibles, obteniendo de este modo múltiples píxeles correspondientes (1, 2, 4, 5) para cada dicho píxel de referencia,

determinar la visibilidad de cada píxel correspondiente (1, 2, 4, 5) mediante la comparación de su valor de profundidad con el valor de profundidad del píxel de referencia de la vista de referencia, obteniendo de este modo un conjunto de observaciones visibles (4, 5),

comprobar si los valores RVA de las observaciones visibles (4, 5) están dentro de un rango predeterminado de valores RVA con respecto al valor RVA del píxel de referencia y su almacenamiento en un vector cuando están dentro de este rango,

entre los valores RVA almacenados, obtener el valor medio y asignar este valor al píxel de referencia y todos los restantes píxeles correspondientes visibles.

Reducción de ruido compensada en profundidad.

Ámbito técnico de la invención [0001] Esta invención se refiere a un método para la reducción de ruido en vídeo de vistas múltiples que se obtiene a través de observación de una escena desde múltiples cámaras 5

Técnica anterior [0002] En el área de procesamiento de vistas múltiples, la mayor parte de la investigación se ha centrado en el modelo de estimación 3D tales como mapa de profundidad, representaciones por capas, renderizado basado en profundidad con el fin de obtener imágenes de alta calidad desde ubicaciones de cámara arbitrarias para la aplicación de TV de visión libre y codificación de vistas múltiples para transmitir datos altamente redundantes en 10 forma optimizada. De esa manera, estos tres problemas están en los esfuerzos de normalización. Teniendo en cuenta los logros en el procesamiento de multivisión, son cruciales para la tecnología de futuros dispositivos de visualización que proporcionen vistas múltiples creando al mismo tiempo una sensación 3D.

La mejora de la imagen de vistas múltiples se considera en el contexto de la ecualización del histograma entre las diferentes vistas con el fin de obtener imágenes consistentes de color profundo, como en el histograma 15 basado pre-filtrado para compensación de luminancia y crominancia de video de vistas múltiples, IEEE Transactions on Circuits and Systems for Video Technology, vol. 18, No. 9, septiembre de 2008. Sin embargo, otras técnicas de mejora, tales como mejora de la nitidez o la reducción de ruido aún no han recibido mucha atención. La idea de la utilización de múltiples observaciones se aplica en algoritmos de eliminación de ruido basados en movimiento en videos (mono vista) tradicionales, tales como vectores de movimiento estimado entre tramas consecutivas 20 proporcionan múltiples observaciones de un pixel. Por lo tanto, estas observaciones adicionales se utilizan inteligentemente para estimar el componente de ruido y eliminarlo. De esa manera, hay una pluralidad de algoritmos de eliminación ruido basados en movimiento en la técnica anterior que proporcionan los vídeos mono menos ruidosos. La idea principal subyacente de eliminación de ruido compensada en movimiento es filtrar valores de intensidad de los píxeles utilizando los píxeles correspondientes coincidentes en las tramas anteriores y siguientes. 25 De esta manera, se obtienen tramas temporalmente consistentes y menos ruidosas.

En el documento US 5.604.856, se revela un método y sistema para eliminación de ruido en imágenes de vídeo generadas por ordenador consecutiva con la ayuda de campo de movimiento estimado y estructura 3D conocida. La estructura 3D se utiliza una aplicación para decidir la visibilidad de píxeles y sus correspondientes parejas en las otras tramas. Teniendo en cuenta las regiones visibles en las otras tramas, los valores de intensidad 30 de los píxeles se actualizan filtrando entre múltiples observaciones, siempre y cuando los píxeles sean visibles. El campo de movimiento estimado es la herramienta que asigna píxeles entre las diferentes tramas.

Existen diferencias fundamentales entre la presente invención y los documentos de la técnica anterior, tales como la solicitud de patente con número de publicación US 2007/0047021. En primer lugar, el presente método se aplica a múltiples vistas de cámara en un instante temporal con la estructura 3D conocida, tal como profundidad, 35 mientras que la oferta de técnicas anteriores con vídeo de vista única y utilizando instantes temporales consecutivos para obtener múltiples observaciones con campo de movimiento conocido. De esa manera, en la presente invención el ruido se elimina de múltiples vistas en un instante de tiempo, mientras que las técnicas anteriores lograr la reducción de ruido temporal para vista única entre los diferentes instantes temporales. En segundo lugar, mediante el algoritmo en la presente invención se obtiene vistas exentas de ruido entre diferentes vistas de cámara que 40 incluyen diferentes parámetros de la cámara, estructuras de ruido a pesar de que observan la misma escena. En otras palabras, el principio de funcionamiento de las técnicas anteriores se basa en una vista de cámara única con parámetros de cámara y estructura de ruido constantes, a través de tramas consecutivas. Por tanto, las propiedades de reflectancia, la iluminación es más eficaz en los problemas de eliminación de ruido de vistas múltiples que para video de cámara única. 45

La eliminación de ruido espacial de una imagen es aún una técnica de mejora aplicada ampliamente para eliminación de ruido de observación única. En la solución de este problema existen aproximaciones muy diferentes tales como la comprobación de adyacentes de un píxel y regiones suaves que no implican ninguna superficie con textura, o el análisis para la resolución múltiple, los métodos basados en frecuencia, etc. Las mismas ideas se pueden aplicar también a eliminación de ruido de imagen de vistas múltiples, filtrando cada vista de forma 50 independiente; sin embargo, este método carece de observaciones adicionales de otras cámaras e implica las mismas desventajas de eliminación de imagen única.

En un reciente artículo de conferencia un se presento un algoritmo de eliminación de ruido de vistas múltiples como "Multiple View Image Denoising " por Li Zhang et al en "Computer Vision and Pattern Recognition (conferencia sobre visión por ordenador y reconocimento de patrones) , Julio de 2009. Este trabajo se extiende un 55 solo algoritmo de eliminación de ruido de imagen de vistas múltiples explotando la ventaja de aumento en los datos observados. El algoritmo se basa en procesamiento no local que en realidad extrae parches de ventana similares y los agrupa como una clase, luego realiza el componente principal o análisis de tensor. La utilización de mapa de profundidad no es significativa, ya que para un parche ventana presente en una de las vistas se ejecuta una búsqueda para detectar parches de ventana similares en las otras vistas. El mapa de profundidad se explota para comprobar si los parches detectados tienen distribución en profundidad similar. Así, una herramienta importante que es la visibilidad no se considera en este trabajo, además el análisis de componente principal y análisis tensor son 5 métodos complejos para la electrónica de consumo y no pueden ser implementados en tiempo real. Las distorsiones geométricas tales como deformaciones planas de los parches usados no se consideran que puedan causar desajustes y errores adicionales durante la reducción de ruido.

El documento BUADES T et al: "A note on multi-image denoising", LOCAL AND NON-LOCAL APPROXIMATION IN IMAGE PROCESSING, 2009. LNLA 2009. INTERNATIONAL WORKSHOP ON, IEEE, 10 PISCATAWAY, NJ, USA, 19 Agosto 2009, páginas 1-15, ISBN: 978-1-4244-5167, da a conocer un método para la eliminación de ruido de imagen múltiple. En este documento, varias imágenes son tomadas por una cámara en un modo de ráfaga y se realiza una eliminación de ruido para estas imágenes a fin de obtener una imagen nítida y sin ruido. Según este documento, varias imágenes tomadas en un modo de ráfaga se comparan entre si píxel a píxel y se genera una imagen exenta de ruido. Del mismo modo, el documento de patente con número WO2008119480A2 15 , revela eliminación de ruido de una trama de imagen utilizando tramas de imágenes secuenciales. En este documento, las imágenes secuenciales son comparadas y se genera una imagen exenta de ruido. Sin embargo, en estos documentos las imágenes comparadas se toman desde el mismo punto en diferentes períodos de tiempo. Además, estos documentos no comparan los objetos de primer plano/ plano fondo de una imagen.

Hasta ahora, no se ha realizado eliminación de ruido de imagen de vistas múltiples basado en mapas de 20 profundidad excluyendo el artículo reciente (Multiple View Image Denoising) , que no explota el mapa de profundidad tan intensamente como para limitar la visibilidad en 3D. Además, la complejidad del algoritmo es tan alta debido a un paso de búsqueda de parche entre todas las vistas de cámara. Aunque los resultados presentados son prometedores, el algoritmo es propenso a fallar cuando las diferencias de calibración de cámara internas entre cámaras resultan en cambios en la gama de colores de las diferentes vistas, que es un caso común en realidad. De esa manera, el estudio 25 se puede considerar como una pequeña extensión de procesamiento no local basada en algoritmos de eliminación de ruido de imagen única con las vistas adicionales desde diferentes ubicaciones, con una restricción débil en la estructura 3D. En cambio, algunos de los métodos bien conocidos tales como eliminación de ruido de imagen... [Seguir leyendo]

1. Procedimiento para eliminar el ruido en vídeo de vistas múltiples obtenidas mediante la observación de una escena desde múltiples cámaras (C1, C2, C3, C4, C5) , caracterizado porque comprende las siguientes etapas:

Elegir una vista de referencia, normalizar el color y la intensidad de las imágenes de acuerdo con dicha vista de referencia, 5

mapear cada píxel de la vista de referencia a las otras vistas de cámara mediante la utilización de mapas de profundidad dados dependiente de la vista, en el que dichos mapas de profundidad están disponibles, obteniendo de este modo múltiples píxeles correspondientes (1, 2, 4, 5) para cada dicho píxel de referencia, determinar la visibilidad de cada píxel correspondiente (1, 2, 4, 5) mediante la comparación de su valor de profundidad con el valor de profundidad del píxel de referencia de la vista de referencia, obteniendo de este modo un 10 conjunto de observaciones visibles (4, 5) , comprobar si los valores RVA de las observaciones visibles (4, 5) están dentro de un rango predeterminado de valores RVA con respecto al valor RVA del píxel de referencia y su almacenamiento en un vector cuando están dentro de este rango, entre los valores RVA almacenados, obtener el valor medio y asignar este valor al píxel de referencia y todos los 15 restantes píxeles correspondientes visibles.

2. Procedimiento de acuerdo con la reivindicación 1, en el que dicha vista de referencia es elegida como la vista de la cámara (C3) en el medio de la regulación.

3. Procedimiento de acuerdo con la reivindicación 1, en el que, antes de la reducción de ruido entre las diferentes cámaras, se lleva a cabo una primera eliminación de ruido para cada cámara de forma independiente mediante la 20 utilización de cualquier algoritmo de eliminación de ruido mono vista, operando sobre tramas consecutivas.

4. Procedimiento de acuerdo con la reivindicación 1, en el que los píxeles mapeados en las otras vistas se marcan como "visitado" en un mapa de verificación.

5. Procedimiento de acuerdo con la reivindicación 4, en el que, después de ser visitados todos los píxeles de la vista de referencia, se visitan los píxeles no visitados en las otras vistas. 25

6. Procedimiento de acuerdo con la reivindicación 5, en el que las etapas son repetidas hasta que todos los píxeles de cada vista son visitados.

7. Procedimiento de acuerdo con la reivindicación 6, en el que las etapas se repiten para cada instante temporal para obtener reducción de ruido para el video de vistas múltiples completo.