Método para la clasificación de vídeos.

Un método para clasificar un vídeo respecto a una característica subjetiva,

comprendiendo el método:

- medir una pluralidad de características básicas (11) por fotograma obteniendo así una pluralidad de mediciones de características básicas;

- crear una pluralidad de características de segundo nivel agrupando (12) dichas mediciones de características básicas (11) usando una pluralidad de estadísticas de dichas mediciones de características básicas en un periodo de tiempo determinado de metraje;

- crear una pluralidad de características de vídeo agrupando (13) dicha pluralidad de características de segundo nivel usando una pluralidad de estadísticas de dichas características de segundo nivel a lo largo de la duración del vídeo;

- elegir al menos una característica de vídeo de dicha pluralidad de características de vídeo para clasificar un vídeo respecto a una característica subjetiva.

MÉTODO PARA LA CLASIFICACIÓN DE VÍDEOS

CAMPO TÉCNICO

La presente invención se refiere a la valoración y evaluación de vídeos. Más particularmente la presente invención se refiere a la clasificación de vídeos basándose en sus características técnicas.

DESCRIPCIÓN DE LA TÉCNICA ANTERIOR

En el mundo digital de hoy en día existe el reto de desarrollar herramientas eficaces de gestión de datos multimedia que permitan a los usuarios organizar y buscar contenido multimedia a partir de repositorios cada vez mayores de medios digitales. Las capacidades de almacenamiento crecientes a precios bajos combinado con dispositivos generalizados para capturar imágenes digitales y vídeos permiten la generación y el archivado de cantidades sin precedentes de contenido multimedia personal. Por ejemplo, en mayo de 2009, se cargaron aproximadamente 20 horas de metraje de vídeo (la mayoría generado por usuarios) en el popular sitio de vídeos compartidos YouTube cada minuto [R. Junee, "20 hours of Vídeo Uploaded Ever y minute!", htt¡;:l/yputube-gjobal.bloqsoot.coml, 2009]. Además, se espera que el número de creadores de vídeos generados por usuarios crezca en los EE.UU. en un 77% desde 2008 hasta 2013 [P.

Verna, "A spotlíght on UGC Partícípants", httQ:I/www.emarketer.com/Article.asg_x?R=1006914, 2009].

Los planteamientos de búsqueda de vídeos e imágenes basada en consultas de texto se basan en gran medida en la similitud entre la consulta textual introducida y los metadatos textuales (por ejemplo: etiquetas, comentarios, etc.) que se han añadido previamente al contenido por los usuarios. La relevancia ciertamente es crítica para la satisfacción de los usuarios con los resultados de su búsqueda, aunque no suficiente. Por ejemplo, cualquier persona que visite YouTube avalará el hecho de que los resultados de búsqueda más relevantes incluyen hoy en día una gran cantidad de datos generados por los usuarios de calidad estética variable (entendiendo estética como la creación y apreciación de la belleza) ; el filtrado y la nueva clasificación de estos datos con una medida de su valor estético probablemente mejoraría las experiencias y satisfacción de los usuarios. Además de mejorar los resultados de búsqueda, otro reto al que se enfrentan los sitios de vídeos compartidos es el de atraer publicidad al contenido generado por usuarios, particularmente dado que parte del mismo se considera que no se

En [Tong, H., U, M, Zhang, H.J., He, J., Zhang, C., "Ciassífícatíon of digital photos taken by photographers or home users", 2004], Tong et al utilizaron un planteamiento basado en características en el que se extrajeron muchas características, incluyendo medidas de color, energía, textura y forma, de las imágenes y se propuso un clasificador de dos clases (alto frente a bajo atractivo estético) y se evaluó usando una gran base de datos de imágenes con fotos de COREL y Microsoft Office Online (alto atractivo estético) y del personal en Microsoft Research Asia (bajo atractivo estético) . Un inconveniente de este planteamiento es que algunas de las características seleccionadas carecían de justificación fotográfica/perceptiva.

Además, su conjunto de datos suponía que los usuarios domésticos son peores fotógrafos que los profesionales, lo que puede no ser siempre cierto.

En un intento por tender un puente entre los planteamientos centrados en datos y centrados en la fotografía, Datta et al propusieron un algoritmo de estética computacional para imágenes que extrajo un gran conjunto de características basándose en reglas fotográficas. Usando un conjunto de datos de una comunidad de imágenes compartidas online, los autores extrajeron las 15 características principales en cuanto a su rendimiento de validación cruzada con respecto a las clasificaciones de imágenes. El vector de características global se formó usando un planteamiento basado en filtrar y envolver (tí/ter and wrapper) . Los autores notificaron una clasificación (alta frente a baja precisión de atractivo estético del 70, 12%.

Ke et al utilizaron un planteamiento descendente, en el que se extrajo un pequeño conjunto de características basándose en reglas fotográficas (por ejemplo, distribución de bordes, recuento de tonalidades, borrosidad) . Se usó un conjunto de datos obtenido rastreando en DPChallenge.com y se utilizó la clasificación promedio de la foto como realidad de campo. En su trabajo, Luo y Tang promovieron el planteamiento propuesto en el trabajo de Ke et al mediante la extracción de la zona del objeto principal (usando un mapa de nitidez) en la fotografía. Se sometió a prueba un pequeño conjunto de características en la misma base de datos que en la contribución de Ke, y se demostró que su planteamiento tenía un mejor rendimiento que el de Datta et al y Ke et al.

Sólo el trabajo de Luo y Tang ha abordado...

1. Un método para clasificar un vídeo respecto a una característica subjetiva, comprendiendo el método:

• medir una pluralidad de características básicas (11) por fotograma obteniendo así una pluralidad de mediciones de características básicas;

• crear una pluralidad de características de segundo nivel agrupando (12) dichas mediciones de características básicas (11) usando una pluralidad de estadísticas de dichas mediciones de características básicas en un periodo de tiempo determinado de metraje;

• crear una pluralidad de características de vídeo agrupando (13) dicha pluralidad de características de segundo nivel usando una pluralidad de estadísticas de dichas características de segundo level a lo largo de la duración del vídeo;

• elegir al menos una característica de vídeo de dicha pluralidad de características de vídeo para clasificar un vídeo respecto a una característica subjetiva.

2. El método según la reivindicación 1 , en el que dicha pluralidad de mediciones de características básicas (11) comprende al menos una de las siguientes mediciones de características:

• al menos una de las siguientes mediciones de características de movimiento: razón de movimiento y razón de tamaño, en el que dicha razón de movimiento es la razón de las magnitudes de movimiento entre las zonas en primer plano y en segundo plano del vídeo y dicha razón de tamaño es la razón de los tamaños de dichas zonas en primer plano y en segundo plano;

• una medición del enfoque de la región de interés;

• una medición del colorido;

• una medición de la luminancia;

• una medición de la armonía de color, en el que dicha medición considera el efecto que tiene la combinación de diferentes colores sobre el valor de cada fotograma;

• una medición de la calidad de distorsión por bloques, en el que dicha distorsión por bloques es la consecuencia de que partes de un fotograma se dividen en pequeños cuadrados;

• una medición de la regla de los tercios, en el que dicha característica de la regla de los tercios da cuenta de cómo deben situarse elementos

composicionales importantes de la imagen.

3. El método según la reivindicación 2, en el que dichas características de movimiento se calculan de la siguiente manera:

• realizar una estimación de movimiento, mediante filtrado paso bajo del fotograma de vídeo y submuestreo de dicho fotograma de vídeo en un factor de 2;

• calcular para cada ubicación de píxel en dicho fotograma, la magnitud del vector de movimiento;

• ejecutar un algoritmo de k-medias con 2 agrupamientos para segregar los vectores de movimiento en dos clases;

• obtener un histograma, dentro de cada una de dichas clases, de las magnitudes de los vectores de movimiento y elegir la magnitud del vector de movimiento que corresponde al máximo del histograma;

• la razón de movimiento se calcula como f2 = (mb+ 1) / (m, + 1) , en el que m, y mb indican la magnitud de los vectores de movimiento para cada una de dichas clases;

• la razón de tamaño se calcula como f3 = (sb+ 1 ) / (s, + 1 ) , donde s, y sb indican el tamaño (en píxeles) de cada una de dichas zonas en primer plano y en segundo plano respectivamente.

4. El método según la reivindicación 2, en el que dicha medición del enfoque sobre la región de interés se calcula mediante la extracción de dicha región de interés y el ajuste de la mediana del nivel de enfoque de dicha región de interés.

5. El método según la reivindicación 2, en el que se usan los valores de rojo, verde y azul (RGB) del fotograma en las siguientes expresiones: a=R-8, ~=0, 5x (R+G) -B, ¡..ta=E[a], ¡..t~=E[~], cr2a=E[ (a-¡..ta) 2], y cr2~=E[ (~-¡..t~) 2] donde, E es el operador esperanza, 11 es la media y a la desviación estándar, para calcular dicha medición de la característica de colorido como: fs= \}aza + Q"2~ + 0, 3 X \}¡..t2a+¡..t2~;

6. El método según la reivindicación 2, en el que dicha medición de la luminancia se calcula como el valor medio de la luminancia dentro de un fotograma.

7. El método según la reivindicación 2, en el que dicha medición de la armonía de color se calcula de la siguiente manera:

• calcular el histograma de tonalidades normalizado de cada fotograma;

8.

9.

1O.

11.

12.

13.

tonalidad, saturación, valor (HSV) ;

• seleccionar el máximo de dicha convolución como una medida de la similitud del histograma del fotograma con respecto a una de dichas plantillas particulares;

• seleccionar el valor máximo de dichas medidas de la similitud como el valor de

la característica de armonía de color. El método según la reivindicación 2, en el que dicha medición de la calidad de distorsión por bloques se calcula buscando artefactos de distorsión por bloques. El método según la reivindicación 2, en el que dicha medición de la regla de los tercios se calcula como la distancia mínima del centroide de la región de interés a una de las cuatro intersecciones de las líneas que dividen la imagen en nueve rectángulos iguales. El método según cualquier reivindicación anterior, en el que dicha pluralidad de estadísticas de mediciones de características básicas (11) usadas para crear dichas características de segundo nivel comprende al menos uno de los siguientes: media, mediana, mínimo, máximo, primer cuartil y tercer cuartil. El método según cualquier reivindicación anterior, en el que dicha pluralidad de estadísticas de mediciones de características de segundo nivel usadas para crear características de vídeo comprende el promedio y la desviación estándar. El método según cualquier reivindicación anterior, en el que se crea una característica de vídeo adicional midiendo la tasa de fotogramas real de dicho vídeo. El método según la reivindicación 12, en el que dicha tasa de fotogramas real se calcula usando un algoritmo de índice de similitud estructural (SSIM) como una medida de la similitud entre fotogramas. El método según las reivindicaciones 1 a 13, en el que se seleccionan la tasa de fotogramas real junto con las siguientes características de vídeo para caracterizar un vídeo como de alto/bajo atractivo, haciéndose referencia a dichas características de vídeo siguientes como estadística de característica-estadística de segundo nivel de característica-básica:

• Media -tercer cuartil -colorido

• Desviación estándar-mediana-regla de los tercios

• Media-primer cuartil -enfoque de la región de interés

• Media-máximo -luminancia

• Media-primer cuartil -calidad de distorsión por bloques