Procedimiento y dispositivo para resaltar objetos seleccionados en mensajes de imagen y video.

Procedimiento para resaltar objetos seleccionados en datos de imagen y/o de vídeo almacenados en mensajes,

estando guardados dichos mensajes en un sistema digital de mensajería, en el que se almacenan múltiples mensajes vinculados con personas en una memoria, estando provistos dichos mensajes de la dirección del remitente,

- identificación (80) de zonas de la imagen con rostros y/o personas en los datos digitales de la imagen o en los datos de vídeo en los mensajes del sistema digital de mensajería, que presenten la misma dirección del remitente;

- determinación de zonas de la imagen (90) relevantes del remitente, que representan la persona del remitente, a partir de zonas identificadas de la imagen, basándose en imágenes de referencia que están almacenadas en una memoria, y/o

basándose en procedimientos de reconocimiento de voz, procedimientos de verificación del interlocutor o procedimientos de identificación del interlocutor (70), teniendo en cuenta los datos de voz y los datos de imagen del mensaje, los datos de voz de referencia y/o

los datos de voz en los datos de vídeo, que se comparan entre sí,

y/o

determinando la frecuencia de aparición de las zonas de la imagen en mensajes con la misma dirección de remitente;

- Modificación de los datos de imagen y/o de vídeo del mensaje recibido, resaltando la zona de la imagen relevante del remitente.

Procedimiento y dispositivo para resaltar objetos seleccionados en mensajes de imagen y de vídeo La presente invención hace referencia a un sistema de mensajes de vídeo y/o de imagen, y en particular se refiere a un procedimiento y a una cierta disposición, mediante los cuales poder transmitir a un destinatario mensajes en el marco del sistema, por ejemplo mediante un buzón de correo electrónico, comprendiendo dichos mensajes información de imagen del interlocutor. En lo que concierne a los mensajes transmitidos al destinatario, se respeta su originalidad en la medida de lo posible, y se proporcionan mejorando su contenido de información, poniendo especial relieve en el interlocutor del mensaje de imagen y/o de vídeo.

ESTADO DE LA TÉCNICA

Hace largo tiempo que los sistemas de mensajería (Mobilbox, Voicemail) son conocidos en el mercado (véase por ejemplo, http://www.tmobile.de/mobilbox) . En función de la estructura del sistema, asimismo a menudo se almacenan mensajes de voz, imagen, y/o vídeo adjuntos a mensajes de texto (adjuntos de correo electrónico junto con datos del remitente (por ejemplo, reconocimiento del remitente (por ejemplo, CLI, HLR, dirección del remitente, entre otros) ) como mensajes de vídeo completos en buzones de correo electrónico de vídeo, basándose en la videotelefonía, análogamente a los buzones de correo electrónico de voz existentes desde hace largo tiempo, o a los contestadores digitales automáticos de llamadas.

Asimismo, como estado de la técnica conocido en general se presupone la utilización de avatares en aplicaciones animadas por ordenador, dotados de funcionalidades que posibilitan emitir textos utilizando la síntesis de voz, derivándose y visualizándose convenientemente el movimiento de los labios. Con medios para la detección facial y el establecimiento de partes del rostro que queden rellenadas con elementos faciales determinados (por ejemplo, labios) , es posible introducir el movimiento registrado con una cámara de los labios de un interlocutor en la zona de los labios de una foto inmóvil, que puede adoptar el rol de un avatar (véase http://www.logitech.com/index.cfm/ webcam_communications/webcams/devices/3056&cl=de, de; Video Effects) .

En el documento EP1648151A1 se publica que para el procesado posterior se almacenan mensajes destinados a un sistema de traducción automática de mensajes adicionales. Sin embargo, el punto fuerte a este respecto reside en la evaluación de la información textual y fonética, contenida en los mensajes almacenados. Ello es válido asimismo para mensajes de imagen, que en caso necesario contienen textos en la imagen o en metadatos. A este respecto, no se describe la modificación automática del contenido de la imagen.

La visualización de las imágenes en los mensajes de imagen y en los mensajes de vídeo se lleva a cabo en dos dimensiones, puesto que el procedimiento de grabación utilizado en los terminales de telecomunicaciones se basa en el equipamiento de dicho terminal con una única cámara. Un equipamiento adicional con más de dos cámaras, en combinación con procedimientos de transmisión que requieran un mayor ancho de banda, es fácil de comprender, pero ello no es aconsejable en las unidades compactas, debido a su reducido ancho de la base y a la reducida calidad en 3D a consecuencia de ello. De este modo, la visualización tridimensional del interlocutor de un mensaje de imagen y/o de vídeo es posible únicamente con una elevada pérdida de calidad.

Asimismo, el aumento de visualización de avatares bidimensionales, que tal como se describe anteriormente se pueden generar a partir de fotografías, en animaciones 3D con ayuda de dos imágenes tomadas simultáneamente, únicamente puede realizarse con restricciones y con pérdida de calidad.

Al mismo tiempo, los procedimientos para la visualización tridimensional de imágenes y/o vídeos revelan avances cada vez más notorios (véase http://www.elektroniknet.de/?id=3200&type=98) , de modo que asimismo en este caso surge la necesidad de la visualización tridimensional de mensajes de vídeo / imagen.

Asimismo, es conocida la visualización bidimensional de avatares animados generados virtualmente, que internamente en el sistema existen como modelos tridimensionales completos, y que por ejemplo reproducen textos en un sistema que comprende una pantalla y un altavoz, sin que a este respecto sea necesario generar simultáneamente una imagen derecha y una imagen izquierda (DE102004014189A1) .

A partir del documento WO 2006/047347, se conoce un procedimiento mediante el que el usuario puede asignar individualmente un AVATAR a un mensaje. Sin embargo, ni dicho planteamiento está automatizado, ni se modifican los datos existentes de la imagen.

La visualización tridimensional auténtica de objetos o de imágenes se basa en proporcionar casi simultáneamente dos imágenes bidimensionales, estando prefijada una imagen para el ojo izquierdo y una segunda imagen para el ojo derecho.

La grabación con cámaras desplazadas lateralmente para la generación de imágenes tridimensionales es un proceso conocido en general, por lo que en este documento no se describirá. Asimismo, existen métodos destinados a la generación de imágenes tridimensionales artificiales a partir de una única imagen bidimensional y partiendo de modelos existentes, mediante cuya base se conforma un modelo tridimensional completo de objetos bidimensionales registrados / analizados manualmente, que se representa con las coordenadas tridimensionales de un mayor número de puntos en la superficie de los objetos. Algunos ejemplos de ello pueden encontrarse en los documentos EP1412917B1 y EP0991023B1.

Para la observación de la visualización tridimensional existen distintos procedimientos provistos de medios auxiliares, por ejemplo, mallas lenticulares, métodos de anaglifos, lentes polarizantes, etc. Asimismo, con la visión cruzada o la visión paralela es posible la observación mediante dos imágenes prefijadas para los ojos izquierdo y derecho sin tener que utilizar medios auxiliares.

En el documento US4925294A1 se ha intentado describir un procedimiento general para la generación de una imagen tridimensional a partir de una única imagen bidimensional, para ello separando distintos elementos frontales y del fondo de la imagen, y mediante el conocimiento de sus características tridimensionales, a partir de la imagen bidimensional generando respectivamente una imagen derecha y una izquierda. En la descripción siguiente, siempre se requieren dos imágenes bidimensionales para el proceso de generación de la imagen tridimensional; a partir de las imágenes bidimensionales se genera respectivamente una imagen bidimensional derecha y una imagen bidimensional izquierda, es decir, en el procedimiento descrito posteriormente no es preciso disponer del conocimiento descrito de las propiedades de los objetos o de los modelos de objetos individuales.

RESUMEN DE LA INVENCIÓN

El objetivo de la presente invención es resaltar la persona que emite el mensaje, como interlocutor virtual, buscando imágenes a partir de mensajes adicionales y de su animación.

Dicho objetivo se alcanza mediante una invención con las características de las reivindicaciones independientes.

En particular, se visualizan los interlocutores en una representación tridimensional, y en el sistema descrito a continuación basándose el interlocutor real en la emisión simultánea o casi simultánea (intervalo de unos pocos milisegundos, apenas perceptible para el observador) de dos imágenes bidimensionales del interlocutor del mensaje, prefijándose una imagen para el ojo izquierdo y una segunda imagen para el ojo derecho.

A fin de resaltar la representación de un interlocutor, se buscan mensajes de actualidad con imágenes bidimensionales procedentes de antiguos mensajes de imagen y/o de vídeo del mismo interlocutor y disponibles en un sistema de buzón de correo electrónico, para ello evaluando los datos del remitente, se extraen dichos datos de las imágenes y se adapta su tamaño a un tamaño unitario de visualización del interlocutor. A este respecto, se procesan distintas perspectivas (imágenes de la izquierda y de la derecha) de las grabaciones bidimensionales del interlocutor, adaptando las diferencias existentes cromáticas y/o de brillo, a fin de generar una imagen tridimensional. Para

a) la visualización tridimensional de un interlocutor de un mensaje actual de vídeo bidimensional, se extraen imágenes de dicho interlocutor procedentes de imágenes individuales de un mensaje de vídeo y/o adicionalmente de antiguos mensajes de vídeo / imagen del mismo interlocutor (evaluando los datos del remitente) , se adapta su tamaño a un tamaño... [Seguir leyendo]

1. Procedimiento para resaltar objetos seleccionados en datos de imagen y/o de vídeo almacenados en mensajes, estando guardados dichos mensajes en un sistema digital de mensajería, en el que se almacenan múltiples mensajes vinculados con personas en una memoria, estando provistos dichos mensajes de la dirección del remitente,

- identificación (80) de zonas de la imagen con rostros y/o personas en los datos digitales de la imagen o en los datos de vídeo en los mensajes del sistema digital de mensajería, que presenten la misma dirección del remitente;

- determinación de zonas de la imagen (90) relevantes del remitente, que representan la persona del remitente, a partir de zonas identificadas de la imagen, basándose en imágenes de referencia que están almacenadas en una memoria, y/o basándose en procedimientos de reconocimiento de voz, procedimientos de verificación del interlocutor o procedimientos de identificación del interlocutor (70) , teniendo en cuenta los datos de voz y los datos de imagen del mensaje, los datos de voz de referencia y/o los datos de voz en los datos de vídeo, que se comparan entre sí, y/o determinando la frecuencia de aparición de las zonas de la imagen en mensajes con la misma dirección de remitente;

- Modificación de los datos de imagen y/o de vídeo del mensaje recibido, resaltando la zona de la imagen relevante del remitente.

2. Procedimiento según la reivindicación anterior, de modo que el receptor pueda cancelar la modificación y volver al estado anterior, para ello preferentemente proporcionando un diálogo de selección.

3. Procedimiento según una o varias de las reivindicaciones anteriores, empleándose las zonas de la imagen identificadas a fin de generar un modelo tridimensional

4. Procedimiento según la reivindicación anterior, caracterizado porque en el caso de identificar una zona de la imagen como relevante del remitente 40, se realizan los pasos siguientes:

- Almacenamiento de la zona de la imagen bidimensional relevante del remitente que se haya identificado, junto con la dirección de remitente y parámetros que caractericen la perspectiva de la imagen de dicho remitente,

- Transmisión de la zona de la imagen bidimensional relevante del remitente, así como de zonas adicionales relevantes del remitente procedentes de antiguos mensajes almacenados en la memoria, a un módulo a fin de generar datos de la imagen tridimensionales,

- Determinación de la perspectiva / orientación de la imagen bidimensional, a partir de proporciones corporales representadas,

- Búsqueda de una segunda imagen bidimensional para la percepción tridimensional; con una segunda orientación necesaria y evaluando las proporciones corporales, estando dicha orientación caracterizada por parámetros que describen una perspectiva adicional en el mismo plano horizontal.

- Adaptación del tamaño y del color de la imagen encontrada y que se debe insertar,

- Generación de por lo menos una representación tridimensional del interlocutor del mensaje, complementando la imagen bidimensional original con una segunda imagen copiada de dicha imagen, en la que se haya recortado la imagen del interlocutor y se haya reemplazado por una imagen desde otra perspectiva.

5. Procedimiento según la reivindicación anterior, de modo que en la búsqueda de una segunda imagen bidimensional, en primer lugar se busque en el mensaje actual las imágenes desde otra perspectiva, preferentemente empleando procedimientos de reconocimiento facial en el caso de la presencia de diversas personas, y en el caso de que en el mensaje actual no existan imágenes adicionales aprovechables desde otra perspectiva, la búsqueda se efectúa en la memoria, y a este respecto se realiza preferentemente una verificación de las proporciones de características de la imagen del remitente y/o si las imágenes encontradas adicionalmente desde otra perspectiva cumplen con los límites prefijados, en particular, unos valores límite que describan un plano de grabación horizontal, especialmente un ángulo de grabación en la vertical, y un plano de grabación vertical, especialmente un ángulo de grabación en la horizontal.

6. Procedimiento según una o varias de las reivindicaciones anteriores, comparándose los datos de voz del mensaje y los datos de voz del mensaje de vídeo, y/o comparándose entre sí múltiples datos de voz de los mensajes de

vídeo, a fin de encontrar la zona de la imagen relevante o las imágenes relevantes del mensaje de vídeo, si los mensajes de voz están superpuestos.

7. Procedimiento según una o varias de las reivindicaciones anteriores, de modo que la generación tridimensional, el reconocimiento de la voz y el reconocimiento facial se ejecutan totalmente o en parte en un terminal o en un servidor accesible a través de una red, quedando almacenados los datos que caracterizan las distintas perspectivas de las imágenes de remitente de los mensajes en la memoria de un servidor o localmente en una memoria de un terminal móvil.

8. Procedimiento según una o varias de las reivindicaciones anteriores, de modo que el modelo tridimensional comprende múltiples imágenes bidimensionales, que se almacenan junto con ciertos datos, que describen la perspectiva/orientación de una imagen bidimensional individual.

9. Procedimiento según una o varias de las reivindicaciones anteriores, de modo que se selecciona la inserción de otro fondo en función del paradero predeterminado del remitente del mensaje.

10. Sistema digital de mensajería para resaltar objetos seleccionados en datos de imagen y/o de vídeo, en el que se almacenan múltiples mensajes vinculados con personas en una memoria, estando provistos dichos mensajes de la dirección del remitente, de modo que una parte de los mensajes comprende asimismo datos digitales de imagen o datos de vídeo, con los componentes:

- unidad para la identificación (80) de las zonas de la imagen con rostros y/o personas en los datos digitales de imagen o de vídeo de los mensajes, que presentan la misma dirección del remitente.

- unidad para la determinación de zonas de la imagen relevantes del remitente (90) , que representan la persona del remitente, a partir de zonas identificadas de la imagen, basándose en imágenes de referencia que están almacenadas en una memoria, y/o basándose en procedimientos de reconocimiento de voz, teniendo en cuenta los datos de voz del mensaje, en datos de voz de referencia y/o los datos de voz en los datos de vídeo, que se comparan entre sí, y/o determinando la frecuencia de aparición de las zonas de la imagen en mensajes con la misma dirección de remitente;

- unidad para la modificación de los datos de imagen y/o de vídeo del mensaje recibido, resaltando la zona de la imagen relevante del remitente.

11. Sistema digital de mensajería según las reivindicaciones del sistema anteriores, de modo que existen unos medios para que el receptor pueda cancelar la modificación y volver al estado anterior, para ello preferentemente proporcionando un diálogo de selección.

12. Sistema digital de mensajería según cualquiera de las reivindicaciones del sistema anteriores, caracterizado por

- una interfaz para el almacenamiento de la zona de la imagen bidimensional relevante del remitente que se haya identificado, junto con la dirección de remitente y parámetros que caractericen la perspectiva de la imagen de dicho remitente,

- una interfaz para la transmisión de la zona de la imagen bidimensional relevante del remitente, así como de zonas adicionales relevantes del remitente procedentes de antiguos mensajes almacenados en la memoria, a un módulo a fin de generar datos de la imagen tridimensionales,

- unos medios para la determinación de la perspectiva / orientación de la imagen bidimensional, a partir de proporciones corporales representadas,

-unos medios para la búsqueda de una segunda imagen bidimensional para la percepción tridimensional; con una segunda orientación necesaria y evaluando las proporciones corporales, estando dicha orientación caracterizada por parámetros que describen una perspectiva adicional en el mismo plano horizontal,

- unos medios para la generación de por lo menos una representación tridimensional del interlocutor del mensaje, complementando la imagen bidimensional original con una segunda imagen copiada de dicha imagen, en la que se haya recortado la imagen del interlocutor y se haya reemplazado por una imagen desde otra perspectiva.

13. Sistema digital de mensajería según las reivindicaciones del sistema anteriores, estando diseñado el sistema de búsqueda, de modo que en la búsqueda de una segunda imagen bidimensional, en primer lugar se busque en el mensaje actual las imágenes desde otra perspectiva, preferentemente empleando procedimientos de reconocimiento facial en el caso de la presencia de diversas personas, y en el caso de que en el mensaje actual no existan imágenes adicionales aprovechables desde otra perspectiva, la búsqueda se efectúa en la memoria de archivo permanente del sistema de correo electrónico, y a este respecto se realiza preferentemente una verificación de las

proporciones de características de la imagen del remitente y/o si las imágenes encontradas adicionalmente desde otra perspectiva cumplen con los límites prefijados, en particular, unos valores límite que describan un plano de grabación horizontal, especialmente un ángulo de grabación en la vertical, y un plano de grabación vertical, especialmente un ángulo de grabación en la horizontal.

14. Sistema digital de mensajería según una o varias de las reivindicaciones del sistema anteriores, que comprende unos medios para la comparación de los datos de voz del mensaje y los datos de voz del mensaje de vídeo, y/o la comparación entre sí de múltiples datos de voz de los mensajes de vídeo, a fin de encontrar la zona de la imagen relevante o las imágenes relevantes del mensaje de vídeo, si los mensajes de voz están superpuestos.

15. Sistema digital de mensajería según una o varias de las reivindicaciones del sistema anteriores, disponiéndose los medios para la generación tridimensional, el reconocimiento de la voz y el reconocimiento facial totalmente o en parte en un terminal o en un servidor accesible a través de una red, quedando almacenados los datos que caracterizan las distintas perspectivas de las imágenes de remitente de los mensajes en la memoria de un servidor o en una memoria de un terminal móvil.

16. Sistema digital de mensajería según una o varias de las reivindicaciones del sistema anteriores, comprendiendo el modelo tridimensional múltiples imágenes bidimensionales, que se almacenan en la memoria del sistema junto con ciertos datos, que describen la perspectiva/orientación de una imagen bidimensional individual.

17. Sistema digital de mensajería según una o varias de las reivindicaciones del sistema anteriores, proporcionándose un sistema de inserción que inserta otro fondo en función del paradero predeterminado del remitente del mensaje.

REFERENCIAS CITADAS EN LA MEMORIA DESCRIPTIVA

La lista siguiente de los documentos mencionados por parte del solicitante ha sido realizada exclusivamente a fin de informar al lector y no forma parte del documento de patente europeo. Ha sido elaborada con mucho esmero; sin embargo, la Oficina Europea de Patentes no asume ninguna responsabilidad en el caso de errores u omisiones eventuales.

Documentos de patente citados en la memoria descriptiva

• EP 1648151 A1 • EP 0991023 B1

• DE 102004014189 A1 • US 4925294 A1

• WO 2006047347 A • DE 69628662 T2

• EP 1412917 B1