Sistema automatizado y procedimiento para la obtención de imágenes totalmente focalizadas con microscopios de elevada magnificación.

La presente invención comprende tanto el procedimiento como la instrumentación para la obtención de imágenes con microscopios de elevada magnificación, enfocadas en todo el rango focal que nos interese, independientemente del objetivo utilizado y manteniendo totalmente estable la cromaticidad del objeto observado.

Para ello se utiliza una metodología que permite obtener imágenes parcialmente focalizadas a diferentes distancias objetivo-objeto para luego extraer la parte focalizada de cada imagen y generar por acumulación, la imagen global del objeto.

Su ventaja consiste en que permite automatizar los microscopios ópticos monoculares, binoculares o trioculares para obtener imágenes ópticas perfectamente focalizadas y con todo el rango cromático.

SISTEMA AlITOMATIZADO y PROCEDIMIENTO PARA LA OBTENCIÓN DE IMÁGENES TOTALMENTE FOCALIZADAS CON MICROSCOPIOS DE ELEVADA MAGNIFICACIÓN.

Sectores de la técnica

G02B2l/00M4A7F, G02B2l/00M4A7

Generalidades

La utilización de un microscopio óptico de elevada magnificación para la realización de micrografías de objetos tridimensionales presenta enormes problemas generados por la escasa profundidad de foco que es posible obtener en el rango de la radiación visible, es decir en el rango de la radiación electromagnética que va de los 370 nanómetros a los 770 nanómetros. En concreto y a modo de ejemplo, mediante un objetivo de 10X (10 aumentos) , la profundidad de foco (también llamada DOF del inglés Depth Of Field) tiene un valor aproximado de 6 micrómetros. Esto implica que no será factible la observación focalizada de una muestra que presente rugosidades superficiales con desniveles a lo largo del eje óptico y dentro del campo de observación superiores a 6 micrómetros. Este valor del DOF varía con el cuadrado de la distancia focal por lo que la utilización de objetivos de mayores magnificaciones (menores distancias focales) , conlleva una drástica disminución de la profundidad de foco o DOF, de forma que cuanto mayor sea la magnificación tanto mayores serán los requerimientos de planitud en las muestras para su correcta observación focalizada.

La metodología y la instrumentación que aquí se propone consigue salvar esta barrera ya que permite la obtención de imágenes enfocadas en todo el rango focal que nos interese, independientemente del objetivo utilizado y manteniendo totalmente estable la cromaticidad del objeto observado.

Estado de la técnica

Existen algunos sistemas y diseños experimentales que abordan de forma parcial esta problemática tanto en el campo de la microfotografía (imágenes obtenidas a través de un microscopio) , como en el de la macrofotografía (fotografía clásica pero utilizando lentes especiales para la fotografía de pequeños objetos) .

Algunos de estos sistemas son únicamente aplicables a la obtención de imágenes convencionales, no digitalizadas, que permiten la obtención de imágenes cromáticas de objetos con dimensiones centimétricas. En este caso se encuentra el sistema que utiliza como sistema de iluminación un proyector de luz especialmente adaptado para emitir un plano de luz perpendicular al eje óptico formado por el sistema de observación y el objeto a observar y situado justo a la distancia de focalización del objetivo de forma que sólo están iluminadas las partes del objeto que se encuentran a la distancia de focalización. Para conseguir obtener una imagen focalizada del objeto es preciso efectuar múltiples exposiciones sobre el mismo fotograma sincronizadas con el desplazamiento del objeto a fotografiar a lo largo del eje óptico definido por la cámara. Este sistema presenta severas complicaciones de uso por la necesidad de eliminar vibraciones o movimientos indeseados tanto de la cámara como del objeto así como de la iluminación secundaria de las partes del objeto fuera del plano de iluminación debidas a las reflexiones generadas por las zonas iluminadas y por la difracción de la luz generadas en los elementos limitantes del proyector usados para definir el plano de iluminación. Un ejemplo de este tipo de sistemas es posible encontrar en la patente "Method of and apparatus for the expansion of the range of the depth of focus beyond the limit given by conventional images" (patente nO U54, 141, 032, ) , en el que las imágenes obtenidas de forma convencional son mostradas en un monitor una vez que se le han aplicado filtros para eliminar las zonas no focal izadas de las imágenes obtenidas en cada exposición al sistema de captura de imágenes.

En el caso de la fotografía digital y aplicado a la microfotOgrafí~no_~e los sistemas más exitosos es el de los microscopios confocales. El microscopio ~ocatx', s un microscopio óptico que utiliza como fuente de iluminación un láser altamente foc~izado e incorpora dos diafragmas: (a) un diafragma o pinhole (en terminología inglesa) de iluminación que se encuentra localizado tras la fuente luminosa, cuya utilidad es delimitar la iluminación del objeto a un ~opunto justo en el punto de focalización y (b) un diafragma o pinhole de detección Si~~Odelante del fotodetector cuya utilidad es restringir la captación de luz únicamente a aquella proveniente del punto del objeto situado justo en el punto de iluminación correspondiente al punto focal delimitado por el diafragma de iluminación. Dado que tanto la iluminación como la observación están restringidas a un único punto, la generación de una imagen del objeto a fotografiar implica recorrer toda la superficie del mismo en las tres direcciones del espacio mediante un desplazamiento micrométrico del objeto a fotografiar según una secuencia de planos a diferentes distancias del objetivo, detectando en cada plano únicamente los puntos situados en el punto focal. Las imágenes así obtenidas son muy nítidas pero monocromáticas ya que el sistema utiliza como fuente de iluminación un láser altamente monocromático. Este es un problema de gran importancia de la microscopia confocal y de hecho se han estudiado diversas técnicas para obtener una solución que mejore la calidad de las imágenes obtenidas. Una de las opciones más utilizadas es el uso de reactivos fluorescentes (fluorocromos) para resaltar zonas de interés de la imagen. Los fluorocromos son sustancias que tienen la propiedad de emitir luz de una longitud de onda deteI1Jl~da cuando son iluminados con una radiación de una longitud de onda característica. AÜr y así, el uso de fluorocromos en microscopia presenta diversos problemas, como son (b1) la pérdida de fluorescencia debido a las grandes iFlte~ades de luz empleadas, p~r lo que l~ muestra~ estudiadas con ~s~~ técnica no pue~~yadas durante largos penodo de tlempo debido a la desapanclon de la fluorescencia, proceso denominado "fluorescence fading" y (b2) la imagen obtenida no representa a la cromaticidad real del objeto sino a la cromaticidad del fluorocromo superpuesta a la correspondiente a la de la radiación láser. Por tanto, el problema de obtener imágenes policromáticas utilizando esta técnica no queda resuelto, lo que limita su uso. A pesar de ello, no es raro encontrar artículos científicos en diversos campos de la ciencia, sobre todo en los campos de la biología, la geología y la ciencia de los materiales, en los que el empleo de la microscopía confocal está muy extendido. Como ejemplo, podemos citar las siguientes referencias bibliográficas:

1. "Viscoelastic properties of high pressure and heat induced tofu gels", Saowapark,

S. et al, Food Chemistr y , Vol. 107 (2008) .

2. "Laser scanning confocal arthroscopy of a fresh cadaveric knee joint", Jones, C.W. Et al, Osteorarthritis and Cartilage, Vol. 15 (2007) .

3. "Betanin a betacyanin pigment purified from fruits of Opuntia ficus-indica induces apoptosis in human chronic myeloid leukemia Cellline-K562", Sreekanth, D. et al, Phytomedicine, Vol. 14 (2007) .

4. "A triphasic ceramic-coated porous nydroxyapatite for tissue engineering application", Acta Biomaterialia, Vol. 4 (2008) .

Podemos observar en estas referencias el uso de microscopia confocal para la obtención de imágenes focalizadas. La actualidad de los trabajos citados indica la necesidad de contar con un sistema que proporcione imágenes focal izadas más allá del límite impuesto por la focalización con lentes convexas y, por tanto, el sistema que aquí presentamos y que es objeto de la patente de invención será de gran utilidad en muchos campos científicos.

Además, de estas referencias que nos muestra que el problema que conseguimos resolver con el sistema y procedimiento que presentamos en esta patente es de gran importancia en la investigación actual, también podemos observar en la bibliografía de patentes de las últimas décadas la presencia de varios sistemas que intentan resolver este mismo problema, con lo que se redunda en la idea de que el sistema que en este documento presentamos puede ser un avance de gran interés. Todos estos sistemas aportan unas mejoras con respecto a la microscopia óptica clásica, pero no resuelven en toda su extensión el problema, y presentan ciertas deficiencias que nuestro sistema supera. A continuación, se exponen algunos sistemas que podemos encontrar en la bibliografía, y se comparan con el que aquí se presenta:

1. Patente nO GB 2 385... [Seguir leyendo]

1. Procedimiento para la obtención de imágenes totalmente focal izadas con microscopios de elevada magnificación, basado en la extracción y apilamiento de la parte focal izada de un conjunto de imágenes secuenciales capturadas digitalmente y parcialmente focal izadas, mediante la aplicación de un algoritmo que contempla la varianza matemática en los valores cromáticos de cada píxel de cada imagen parcialmente focalizada y con la condición de que el desplazamiento objetivo-objeto entre cada dos imágenes consecutivas será inferior a la profundidad de foco de la lente objetivo, caracterizado porque:

• Calcula el desplazamiento máximo de la distancia objetivo-objeto entre cada par de imágenes consecutivas:

a) Determinando cual es la profundidad de foco de la lente objetivo utilizada en la observación mediante la fórmula matemática DOF= 166.433*EXP[-X/2.385) +4.530*EXP[- (X2) /26.070) , siendo X el factor de aumento del objetivo y la distancia DOF se obtiene en micras.

b) Multiplicando el valor obtenido para DOF por 0.95, siendo el resultado el valor máximo de desplazamiento objetivo-objeto que debe existir entre cada dos imágenes consecutivas parcialmente focal izadas.

• Extrae la parte focalizada de cada imagen parcialmente focal izada

c) Descomponiendo cada imagen digital parcialmente focal izada en sus componentes RGB (Red, Green y Blue) .

d) Descomponiendo cada imagen digital parcialmente focalizada en sus componentes HSL (Hue, Saturation y Luminance) .

e) Obteniendo una nueva imagen como suma de las componentes R, G, B, H, S Y L obtenidos según se indica en los apartados c y d, multiplicando cada componente por un factor de peso estadístico comprendido en el rango 0-1.

f) Determinando, para la imagen obtenida según el apartado e, los píxeles que cumplen el criterio de focalización, expresado éste en función del valor estadístico de la varianza de cada uno de los píxeles de la imagen y los de su entorno perimetral, respecto a un determinado límite.

g) Extrayendo de cada imagen parcialmente focal izada los píxeles que han superado el criterio de focalización expresado en el punto f, que por sustitución de los mismos en una imagen negra de referencia, genera la imagen final prefocalizada.

h) Determinando cual de las imágenes parcialmente focal izada presenta la máxima focalización mediante la maximización del valor de la varianza global de cada imagen, calculando dicho valor mediante la aplicación de alguno de los siguientes criterios:

• El criterio expuesto en el punto f referido al punto central de la imagen y usando como entorno perimetral todos los píxeles de la imagen.

• La suma de los valores de varianza obtenida para cada uno de los píxeles de la imagen según lo expuesto en el punto f y usando como entorno perimetral los 8 píxeles más próximos al píxel considerado.

• La suma de los valores de varianza obtenida para cada uno de los píxeles de la imagen según lo expuesto , en el punto f y usando como entorno perimetral un número de píxeles a determinar por el usuario.

i) Rellenando los píxeles que un estuviesen cubiertos en la imagen final prefocalizada obtenida según se expresa en el apartado g, con los píxeles equivalentes de la imagen parcialmente focal izada de mejor focalización determinada según el criterio expuesto en el punto h.

• Permite al usuario modificar determinadas variables de contorno para conformar una imagen, a partir de los píxeles que presenten mejor focalización de cada una de las imágenes parCialmente focal izadas, entre las que se incluyen:

• El peso estadístico de cada una de las componentes R, G, B, H, S Y L de las imágenes parcialmente focalizadas.

• La amplitud del número de capas perimetrales que se emplea para determinar la varianza característica de cada píxel.

• El valor umbral que determina cuando la varianza es tal que el píxel debe ser considerado como píxel focalizado.

Figura 1

30

Ajuste exponencial decreciente de 2° orden

.

E ::t 20 u..

O

O

Datos teóricos

o

O 20 40 60 80 100

Magnificadón

Figura 2

"

.

.. -_-e

- ,

...

, .. , ' ,

/ ""."...

1/ , , '

">~.:

( ( // ...

\ ......

~ . " .

'., -.

" " , .

/' j;-'.'. ~ ~.J , , ' , / , ~":,

.' "

>-, '~\

"'\' " .,

......

........ ;'

- . ~... -.

- , ' '"

~ .. ."..

'" , '\, ", :

~ \, ;.; " r

.~ ...

\,

, -, , . ".i~.;¡ ........

., h..

r·

• , '. ', 'J'

, , L ', ' ..,

·, ·' ... r.

, liLo. '.:i', ", ..;.'

"

', : 1;", '

.'1""., , 'l'

• ', .., .j :1', 1 ~

''¡ ,

....

'.

~ :'1.\

, , ~, \ ~ "!

• 1., .

......a·.

- ~--:-.:...:...

-- , "'

1I -~.

, .1 ....

. \ " I

, ~~\' \

p,

"'1"

"~

Figura 3a Figura3b

\... '\ ., ....'~.

, '..... ~>~.f"':... ~.... -.~~. ...

.t~~\.>~:· f. '" , .r~''''·

• -~ 1 , ~

_._--------_.~, :~\ ,

. ¡:: .... :::::':J., \. "r;:; -.. t

_-_-.;, ."':;:;--~ l~.

, , ' ;:: ......

r~:'--. . --, .".

", -, , , --" \.

, "!r '---., "'1 ~ t -__ ''to.

'___ ••;---...... " o

< :;..._.

., ..:.", , ', "'_' __ ... _'l., "'

..

.".. '\

.r j

r;~ ;..., ;;.: .::, -:, :, -, , ,

.:*

"---. ;" / .

, .' .

" ...

". .

, . . .....

/' .a:-" \ ~ ( ...

, rI~ \"', ' r~ .", . ';:.~

"

- {"

l'

'-.

... --. '\

Figura3a Figura3b

Figura 4 Figura 5

OFICINA ESPAÑOLA DE PATENTES Y MARCAS

@ N.O solicitud: 200801517 ESPAÑA

@ Fecha de presentación de la solicitud: 23.05.2008 @ Fecha de prioridad:

INFORME SOBRE EL ESTADO DE LA TECNICA

@ Int.CI.: G02B 21/00 (2006.01) G06T 5/50 (2006.01)

DOCUMENTOS RELEVANTES

® Documentos citados

X "US 20060038144 A1 (MADDISON, J.) 23.02.2006, resumen; párrafos [0008]-[0010], [0026]-[0037]; figuras 1-3.

Categoría

A ., /

US 20020181762 A1 (SILBER, A.) 05.12.2002, todo el documento.

A / US 4661986 A (ADELSON, E.) 28.04.1987, todo el documento.

A ) EP 1336888 A1 (FAIRFIELD IMAGING Ud.) 20.08.2003, todo el documento.

Reivindicaciones afectadas

1. 11, 13-15, 18, 19

1. 11, 13-15, 18, 19

1. 11, 13-15, 18, 19

1. 11, 13-15, 18, 19

El presente informe ha sido realizado ~ para todas las reivindicaciones D para las reivindicaciones nO:

Fecha de realización del informe

Examinador

Página

20.04.2010

O. González Peñalba

1/4

N° de solicitud: 200801517

INFORME SOBRE EL ESTADO DE LA TÉCNICA

Documentación minima buscada (sistema de clasificación seguido de los símbolos de clasificación) G02B, G06T, G01V Bases de datos electrónicas consultadas durante la búsqueda (nombre de la base de datos y, si es posible, términos de búsqueda

utilizados) INVENES, EPODOC, WPI, INSPEC

Informe sobre el Estado de la Técnica (hoja adicional)

Página 2/4

OPINiÓN ESCRITA

N° de solicitud: 200801517

Fecha de Realización de la Opinión Escrita: 20.04.2010 Declaración

Se Considera que la solicitud cumple con el requisito de aplicación industrial. Este requisito fue evaluado durante la fase de examen formal y técnico de la solicitud (Artículo 31.2 Ley 11/1986) .

Base de la Opinión.

La presente opinión se ha realizado sobre la base de la solicitud de patente tal y como ha sido publicada.

Consideraciones:

La presente invención se refiere, respectivamente de acuerdo con sus reivindicaciones 1, 18 Y 19, a un sistema, procedimiento y uso de dicho sistema, para la obtención de imágenes totalmente enfocadas con microscopios de gran aumento, el cual se basa en la captación secuencial de imágenes digitalizadas parcialmente enfocadas, tomadas a diferentes alturas de observación, con un desplazamiento entre ellas inferior a la profundidad de foco de la lente de objetivo, de tal manera que se extrae la parte enfocada de cada una de las imágenes captadas mediante la aplicación de un algoritmo que contempla la varianza matemática en los valores cromáticos de cada píxel de imagen parcialmente enfocada, y se genera una imagen global por apilamiento de las partes enfocadas. La reivindicación 2 recoge los elementos necesarios para el funcionamiento de dicho sistema y la ejecución de dicho procedimiento. En las reivindicaciones 3-11, dependientes de la 1, se recogen componentes y detalles que constituyen requisitos obvios o sobradamente conocidos para el funcionamiento de tal sistema y que, por tanto, son de contenido técnico no esencial. Así, por ejemplo, la reivindicación 6 cubre las posibles alternativas evidentes para la ya aludida captación de imágenes digitalizadas: o bien el subsistema de captación capta imágenes digitales, o bien éstas se digitalizan en un sistema adicional. Otro ejemplo de estas reivindicaciones que no aportan características esenciales para la invención que no resulten obvias de reivindicaciones anteriores es la 7, de contenido superfluo porque, tal y como está redactada, se limita a afirmar que el subsistema de modificación de la distancia entre objeto y lente de objetivo modifica, efectivamente, la distancia entre estos elementos. Sí se recogen características técnicas esenciales que forman parte del objeto de la invención en la reivindicación 12, que define el procedimiento para determinar el desplazamiento óptimo entre dos imágenes parcialmente enfocadas consecutivas, consistente en determinar la profundidad focal de la lente de objetivo mediante una expresión matemática, y multiplicar este valor por un coeficiente preestablecido para obtener dicho desplazamiento óptimo. Las reivindicaciones 13-15 son, sin embargo, también redundantes respecto a otras anteriores, pues se limitan a abundar en conceptos ya presentados, remachándolos con un nuevo giro en su explicación. Por ejemplo, la determinación de zonas enfocadas de imágenes parcialmente enfocadas que realiza el algoritmo según la reivindicación 14, y su composición en una imagen completa y enfocada, es equivalente, expresada de otra manera, a la generación de una imagen global enfocada por apilamiento de las partes enfocadas de las distintas imágenes parcialmente enfocadas, lo que ya se ha mencionado en la primera reivindicación. Otro tanto puede decirse del análisis píxel por píxel de la reivindicación 15, ya aludido de forma más concreta como una comparación de varianzas de cada píxel en la primera reivindicación. Se llega así a la reivindicación 16, que desarrolla con gran detalle el algoritmo de varianza máxima utilizado en la presente invención, y que permite los ajustes por parte del usuario recogidos en la reivindicación 17.

Informe sobre el Estado de la Técnica (Opinión escrita) Página 3/4

OPINiÓN ESCRITA

N° de solicitud: 200801517

1. Documentos considerados.

A continuación se relacionan los documentos pertenecientes al estado de la técnica tomados en consideración para la realización de esta opinión.

l I I I

Documento Número Publicación o Identificación Fecha Publicación 1L-__~0~01~__~I~U~S~2~00~6~/0~0~38~1~4~4~A~1________________________~l____~2~3.~0~2.=20~0=6____~1

2. Declaración motivada según los artículos 29.6 y 29.7 del Reglamento de ejecución de la Ley 11/1986, de 20 de marzo, de Patentes sobre la novedad y la actividad inventiva; citas y explicaciones en apoyo de esta declaración

Se considera que la invención recogida en las reivindicaciones 1 -11, 13-15, 18 Y 19 carece de novedad por haber sido divulgada idénticamente en el estado de la técnica,

En efecto, considerando el documento 001, citado en el Informe sobre el Estado de la Técnica (IET) con la categoría X para dichas reivindicaciones, como el estado de la técnica más próximo al objeto de su Solicitud, se describe en él un sistema automatizado ("bajo el control de una computadora" -párrafo [0027]) para la obtención de imágenes totalmente enfocadas ("imágenes óptimas" -párrafo [0028]) , basado en la captación secuencial (la plataforma se mueve secuencialmente de uno a otro planos de enfoque situados a diferentes profundidades -párrafo [0027]) de imágenes digitales parcialmente enfocadas (el enfoque parcial es una consecuencia óptica del propio diseño estructural del microscopio cuando observa un campo de visión suficientemente profundo o "grueso") y a diferentes alturas de observación, con un desplazamiento entre ellas inferior a la profundidad focal de la lente de objetivo (esta condición es obvia para obtener conjuntos de imágenes suficientemente relacionadas entre sí) , a partir de las cuales se extrae la parte que está enfocada de cada una de las imágenes captadas y parcialmente enfocadas (se combinan los "elementos mejor enfocados de la pluralidad de N imágenes del campo de visión" párrafo [0036]) mediante la aplicación de un algoritmo que contempla la varianza matemática en los valores cromáticos de cada píxel de cada imagen parcialmente enfocada ("algoritmos matemáticos para determinar el píxel con varianza de intensidad más alta" -párrafo [0035]) , generando la imagen global enfocada por apilamiento ("confluencia" de las imágenes para crear una imagen "aplanada" -párrafos [0034] y [0036]) de las partes enfocadas. Como se observa, el objeto técnico definido en la primera reivindicación de su Solicitud se halla idénticamente recogido en el documento 001, hasta el punto de que el sistema descrito en este documento puede exponerse con análoga redacción a la de esta reivindicación, que carece, por tanto, de novedad. Un análisis similar puede hacerse respecto al resto de reivindicaciones con características relevantes anteriormente referidas, y las reivindicaciones de contenido irrelevante carecen también, obviamente, de novedad con respecto a 001. No se ha encontrado en el estado de la técnica, sin embargo, el método de cálculo del desplazamiento óptimo definido en la reivindicación 12 en una aplicación de tratamiento de datos de imagen como la de la presente Solicitud, como tampoco el algoritmo de extracción de la parte enfocada de cada imagen en un grado de detalle como el recogido en la reivindicación 16 y con las posibilidades de modificación de la reivindicación 17, por lo que puede afirmarse, en consecuencia, que ambos aspectos, método de cálculo y algoritmo de selección, constituyen la parte inventiva de la presente Solicitud.

Informe sobre el Estado de la Técnica (Opinión escrita) Página 4/4