RENDERIZACIÓN NO-FOTORREALISTA DE UNA REALIDAD AUMENTADA.

Un método de renderizar (interpretar) una imagen digital capturada,

captada por una cámara y definida por una pluralidad de pixeles de imagen como una imagen NPR renderizada (interpretada) de manera no-fotorrealista definida por una pluralidad de pixeles de imagen NPR cada uno de los cuales tiene un valor de transparencia NPR asociado, en el que el valor de transparencia de al menos algunos de los pixeles de imagen NPR es determinado con dependencia de correspondientes pixeles de la imagen capturada, incluyendo el método renderizar (interpretar) un objeto virtual detrás de la imagen NPR

La presente invención se refiere a un método de renderizar (interpretar) imágenes, en particular para proporcionar indicaciones de oclusión, por ejemplo presentaciones visuales de realidad médica aumentada.

La realidad aumentada (RA) se está convirtiendo en una herramienta valiosa en las operaciones quirúrgicas. El hecho de proporcionar datos pre-operativos grabados en tiempo real durante una operación quirúrgica elimina la necesidad de referirse a imágenes fuera de línea y ayuda a la grabación de éstas para el tejido real. La visualización de los objetos de interés resulta accesible a través de la visión de “penetración” que proporciona la RA.

En años recientes, están siendo utilizados de manera creciente robots médicos en Cirugía Mínimamente Agresiva (CMA). Con CMA robótica asistida, se mejora la destreza mediante muñecas mecánicas controladas por microprocesador, permitiendo la graduación del movimiento para reducir bastos movimientos manuales y el comportamiento de tareas de micro-escala que no son de otro modo posibles.

El establecimiento operacional único del robot quirúrgico proporciona una plataforma ideal para mejorar el campo visual con imágenes pre-operativas/intra-operativas o gráficos generados por ordenador. La efectividad y el beneficio clínico de la RA han sido bien reconocidos en neurocirugía y cirugía ortopédica. Su aplicación a cirugía cardiotorácica

o gastrointestinal, sin embargo, permanece limitada, ya que la complejidad de la deformación del tejido impone retos significativos a la presentación de la RA.

La síntesis sin juntura de la RA depende de cierto número de factores relativos al modo en el que aparecen los objetos visuales e interactúan visualmente con una escena real. Uno de los mayores problemas de la RA es la manipulación correcta de la oclusión. Aunque la manipulación de oclusión parcial del entorno virtual y real puede ser conseguida mediante reconstrucción exacta en 3D de la escena quirúrgica, particularmente con el advenimiento de técnicas recientes para recuperación de deformación de tejido en 3D en tiempo real, la mayoría de las aplicaciones quirúrgicas de RA implican la superposición de estructuras anatómicas detrás de la superficie de tejido expuesta. Esto es importante, por ejemplo, para bypass coronario, para el cual la visualización anatómica y funcional mejorada permite más exacta navegación intra-operativa y extirpación de vasos. En prostatectomía, la visualización en 3D de la anatomía circundante puede dar lugar a preservación mejorada del haz neurovascular e índices de continencia y potencia mejorados.

Aunque proporciona una referencia útil en plano en entornos de visión estéreo, la tradicionalmente superpuesta RA adolece de percepción inexacta en profundidad. Incluso si el objeto es renderizado (interpretado) a la profundidad correcta, el cerebro percibe el objeto como flotando sobre la superficie (Véase, por ejemplo, Johnson LG, et al, La transparencia superficial hace impredecible las superposiciones estéreo: las implicaciones para realidad aumentada, Studies in Health Technology and Informatics 2003, 94:131-6; y Swan JE, el al, Juicios de Profundidad Egocéntricos en Optica, Realidad Aumentada de Penetración, IEEE Transactions on Visualization and Computer Graphics 2007, 13(3):429-42). Esta impresión es mejorada por una renderización (interpretación) (interpretación) estilizada; véase por ejemplo Ficher et al, Realidad Aumentada Estilizada para Inmersión Mejorada, Proc. of VR 2005, IEEE, Bonn, Alemania, 12-16-3-2005, p. 195-202, 325, xp010836683.

Para objetos que se han de percibir como embebidos en el tejido, nuestros cerebros esperan algún grado de oclusión. Para enfrentarse al problema de la percepción profunda en RA, han sido desarrolladas técnicas de renderización (interpretación) (interpretación) y estrategias de presentación para permitir la percepción exacta de profundidad en 3D de las estructuras virtuales con respecto a la superficie de tejido expuesta. En Sielhorst T, el al, Percepción de Profundidad – Una Cuestión Importante en RA Médica: Estudio de Evaluación por Veinte Cirujanos, Medical Image Computing and Computer-Assisted Intervention – MICCAI 2006 2006:364-72, ha sido estudiado el tejido de percepción en profundidad en RA médica. De acuerdo con las dos referencias citadas anteriormente, se encontró que la percepción de profundidad es pobre si el objeto de RA se renderiza (interpreta) de manera opaca cuando parece flotar sobre la superficie exterior del cuerpo incluso aunque se renderiza (interpreta) a la profundidad correcta detrás de ella. Se identificaron dos modos de mejorar la percepción de profundidad: renderizar (interpretar) tanto la superficie del cuerpo como el objeto de RA como transparentes o renderizar (interpretar) la superficie del cuerpo con una ventana definida dentro de él de tal manera que la ventana proporciona una pista de oclusión por la que el objeto de RA pueda ser visto dentro de la ventana, pero esté de otro modo ocluido por la superficie del cuerpo. Con respecto al primer enfoque [renderización (interpretación) transparente], aunque esto puede da lugar a una percepción de profundidad mejorada para algunas superficies, en general renderizar (interpretar) dos superficies transparentes superpuestas da lugar a indicaciones visuales conflictivas desde la oclusión de tal manera que es pobre la percepción de profundidad (Véase, por ejemplo, Johnson et al citado anteriormente). El último enfoque (renderización (interpretación) de una ventana) tiene la desventaja de que se pierde toda la información acerca de la superficie del cuerpo dentro de la ventana.

En Ventana Virtual para Percepción de Profundidad Mejorada en RA Médica: C. Bichimeir, N. Navab, Taller Internacional sobre entornos para Formación de Imágenes Médicas y Cirugía ayudada por Ordenador (AMI-ARCS 2006), Copenhagen, Dinamarca, octubre de 2006 (disponible en línea en http://ar.in.tum.de/pub/bichlmeier2006window/bichlmeier2006window.pdf) han sido estudiados varios enfoques para mejorar la percepción de profundidad obtenida con el enfoque de ventana mientras se mantiene información acerca de la superficie del cuerpo dentro de la ventana. Han sido considerados los siguientes enfoques: adaptar la forma de ventana a la forma de la superficie del cuerpo, renderizar (interpretar) la superficie de la ventana parecida a vidrio utilizando efectos de luz máxima debido a una fuente de luz virtual, mapear el plano de ventana con una textura estructurada única, simular una estructura finitamente dimensionad para la ventana y fijar el fondo de los objetos de RA ya sea transparentes u opacos. Una desventaja de todos los enfoques, excepto el último, es que debe ser conocido un modelo de 3D de la superficie del cuerpo para que el contorno o superficie de la ventana se pueda renderizar (interpretar) correspondientemente. Un tal modelo de 3D puede ser difícil de obtener de manera fiable, en particular si la superficie del cuerpo se está deformando o cambiando de otros modos durante la formación de imagen.

De acuerdo con un aspecto de la invención, se proporciona un método de renderizar (interpretar) una imagen digital capturada como se define en la reivindicación 1.

Ventajosamente, estableciendo valores de transparencia de una imagen correspondiente renderizada (interpretada) de manera no-fotorrealista (NPR: non-photorealistically rendered) basada en la propia imagen capturada, es posible definir una ventana parcialmente transparente que conserve algo de la estructura de la imagen para proporcionar indicaciones de oclusión tales que hagan posible la percepción de profundidad [en el caso de una renderización (interpretación) bidimensional de la imagen] o ayudada [en el caso de renderización (interpretación) tridimensional de la imagen]. Esta solución no requiere un modelo de la escena subyacente a la imagen según está basado en los propios datos de imagen.

Como se ha mencionado anteriormente, la imagen NPR puede ser renderizada (interpretada) como una vista bidimensional o una segunda imagen puede ser capturada para definir una vista estereoscópica. En cualquier caso, puede ponerse detrás de la imagen capturada un objeto virtual (por ejemplo la RA).

La asignación de los valores de transparencia se puede hacer dentro de una ventana de tal manera que la imagen NPR capturada permanezca opaca fuera de la ventana, ocluyendo el objeto cuando no se ve a través de la ventana. Para una apariencia más natural de la escena o para ayudar a fundir las dos ventanas en una vista estereoscópica,... [Seguir leyendo]

1 Un método de renderizar (interpretar) una imagen digital capturada, captada por una cámara y definida por una pluralidad de pixeles de imagen como una imagen NPR renderizada (interpretada) de manera no-fotorrealista definida por una pluralidad de pixeles de imagen NPR cada uno de los cuales tiene un valor de transparencia NPR asociado, en el que el valor de transparencia de al menos algunos de los pixeles de imagen NPR es determinado con dependencia de correspondientes pixeles de la imagen capturada, incluyendo el método renderizar (interpretar) un objeto virtual detrás de la imagen NPR.

2. Un método según la reivindicación 1, que incluye renderizar (interpretar) una imagen adicional capturada como una imagen NPR adicional para definir una vista estereoscópica.

3. Un método según la reivindicación 1 o la 2, que incluye definir una ventana dentro de la imagen NPR y asignar los valores de transparencia dentro de la ventana con dependencia de los correspondientes pixeles de imagen capturada.

4. Un método según la reivindicación 3, que incluye definir una posición de ventana con dependencia con dependencia de la mirada de un usuario.

5. Un método según una cualquiera de las reivindicaciones precedentes, que incluye determinar los valores de transparencia como una función de un gradiente de intensidad de imagen normalizado en correspondientes lugares en la imagen capturada.

6. Un método según una cualquiera de las reivindicaciones precedentes, que incluye definir un mapa de prioridad o saliencia para una zona de la imagen NPR y asignar un valor de transparencia a un píxel de la imagen NPR como una función de un valor correspondiente del mapa de prioridad.

7. Un método según la reivindicación 6, que incluye asignar un valor de color a un píxel de la imagen NPR como una función de una valor correspondiente valor del mapa de prioridad, en el que los valores de transparencia y de color son asignados de tal manera que un objeto renderizado (interpretado) detrás de la imagen NPR está siendo percibido como siendo visto a través de la zona en la que valores del mapa de prioridad son inferiores mientras está siendo ocluido donde el mapa de prioridad tiene valores más altos.

8. Un sistema para renderizar (interpretar) una imagen digital capturada, captada por una cámara y definida por una pluralidad de pixeles de imagen como una imagen NPR definida por una pluralidad de pixeles de imagen NPR, cada uno de los cuales tiene un valor de transparencia asociado, incluyendo el sistema un calculador de transparencia dispuesto para calcular el valor de transparencia de al menos algunos de los pixeles de imagen NPR con dependencia de correspondientes pixeles de la imagen capturada, siendo además el sistema operable para renderizar (interpretar) un objeto virtual detrás de la imagen NPR.

9. Un sistema según la reivindicación 8, el cual está dispuesto para renderizar (interpretar) una imagen adicional capturada usando el calculador de transparencia como una imagen NPR adicional para definir una vista estereoscópica.

10. Un método según la reivindicación 8 o la 9, en el que el calculador de transparencia está dispuesto para asignar los valores de transparencia dentro de una ventana dentro de la imagen NPR.

11. Un sistema según una cualquiera de las reivindicaciones 8 a 10, que incluye un módulo de formación de ventana que tiene una entrada representativa de la mirada de un usuario para definir una posición de ventana con dependencia de la mirada del usuario.

12. Un sistema según una cualquiera de las reivindicaciones 8 a 11, en el que el calculador de transparencia está dispuesto para determinar los valores de transparencia como una función de un gradiente de intensidad de imagen normalizado en respectivos lugares correspondientes en la imagen capturada.

13. Un sistema según una cualquiera de las reivindicaciones 8 a 12, en el que el calculador de transparencia está dispuesto para definir un mapa de prioridad para una zona de la imagen capturada y para asignar un valor de transparencia a un píxel de la imagen NPR como una función de un valor correspondiente del mapa de prioridad.

14. Un sistema según la reivindicación 13, que incluye un calculador de color dispuesto para asignar un valor de color a un píxel de la imagen NPR capturada como una función de un valor correspondiente del mapa de prioridad, en el que el calculador de transparencia y el calculador de color están dispuestos apara asignar los respectivos valores de tal manera que un objeto renderizado (interpretado) detrás de la imagen NPR capturada está siendo percibido como

siendo visto a través de la zona en la que el mapa de prioridad tiene valores inferiores mientras está siendo ocluido donde el mapa de prioridad tiene valores más altos.

15. Una consola de cirugía robótica para cirugía mínimamente agresiva que incluye un endoscopio estereoscópico

5 para capturar imágenes estereoscópicas de una escena quirúrgica y una disposición de visión estereoscópica para ver las imágenes capturadas, incluyendo la consola un sistema según una cualquiera de las reivindicaciones 8 a 14 dispuesto para renderizar (interpretar) imágenes recibidas desde el endoscopio estereoscópico y presentarlas en la disposición de visión estereoscópica.

16. Un medio legible por ordenador o señal portadora que codifica un programa de ordenador que, cuando se ejecuta en un ordenador, realiza en la práctica un método según una cualquiera de las reivindicaciones 1 a 7.