Hardware para cómputo de la imagen integral.

La presente invención, según se expresa en el enunciado de esta memoria descriptiva

, consiste en hardware de señal mixta para cómputo de la imagen integral en el plano focal mediante una agrupación de celdas básicas de sensado-procesamiento cuya interconexión puede ser reconfigurada mediante circuitería periférica que hace posible una implementación muy eficiente de una tarea de procesamiento muy útil en visión artificial como es el cálculo de la imagen integral en escenarios tales como monitorización de espacios naturales, robótica, ayuda a la navegación aérea no tripulada, etc.

El área científico-técnica de la invención es la de tecnologías físicas, concretamente microelectrónica. Su marco de aplicación general sería el de sistemas electrónicos de muy bajo consumo de potencia diseñados para llevar a cabo tareas de visión artificial, es decir, captura de imágenes, análisis de las mismas y actuación en caso de que los resultados de dicho análisis así lo requieran. Como aplicaciones específicas de estos dispositivos se podrían proponer a su vez numerosos ejemplos: monitorización de procesos industriales, monitorización de espacios naturales, vigilancia automatizada de lugares públicos, robótica, ayuda a la navegación aérea no tripulada, etc.

Tipo: Patente de Invención. Resumen de patente/invención. Número de Solicitud: P201400224.

Solicitante: UNIVERSIDAD DE SEVILLA.

Nacionalidad solicitante: España.

Inventor/es: RODRIGUEZ VAZQUEZ,ANGEL, CARMONA GALÁN,Ricardo, FERNÁNDEZ BERNI,Jorge, DEL RÍO FERNÁNDEZ,Rocío.

Fecha de Publicación: .

Clasificación Internacional de Patentes:

  • SECCION H — ELECTRICIDAD > TECNICA DE LAS COMUNICACIONES ELECTRICAS > TRANSMISION DE IMAGENES, p. ej. TELEVISION > Detalles de los sistemas de televisión (detalles... > H04N5/335 (que utiliza sensores de imagen de estado sólido [SIES] (H04N 5/32, H04N 5/33  tiene prioridad))
  • SECCION H — ELECTRICIDAD > ELEMENTOS ELECTRICOS BASICOS > DISPOSITIVOS SEMICONDUCTORES; DISPOSITIVOS ELECTRICOS... > H01L27/00 (Dispositivos que consisten en una pluralidad de componentes semiconductores o de otros componentes de estado sólido formados en o sobre un sustrato común (detalles H01L 23/00, H01L 29/00 - H01L 51/00; conjuntos que consisten en una pluralidad de dispositivos de estado sólido individuales H01L 25/00))
google+ twitter facebookPin it
Hardware para cómputo de la imagen integral.

Fragmento de la descripción:

Hardware para cómputo de la imagen integral.

OBJETO DE LA INVENCION

La presente invención, según se expresa en el enunciado de esta memoria descriptiva, consiste en hardware de señal mixta para cómputo de la imagen integral en el plano focal mediante una agrupación de celdas básicas de sensado-procesamiento cuya interconexión puede ser reconfigurada mediante circuitería periférica que hace posible una implementación muy eficiente de una tarea de procesamiento muy útil en visión artificial como es el cálculo de la imagen integral en escenarios tales como monitorización de espacios naturales, robótica, ayuda a la navegación aérea no tripulada etc.

El área científico-técnica de la invención es la de tecnologías físicas, concretamente microelectrónica. Su marco de aplicación general sería el de sistemas electrónicos de muy bajo consumo de potencia diseñados para llevar a cabo tareas de visión artificial, es decir, captura de imágenes, análisis de las mismas y actuación en caso de que los resultados de dicho análisis así lo requieran. Como aplicaciones específicas de estos dispositivos se podrían proponer a su vez numerosos ejemplos: monitorización de procesos industriales, monitorización de espacios naturales, vigilancia automatizada de lugares públicos, robótica, ayuda a la navegación aérea no tripulada etc.

ESTADO DE LA TÉCNICA

El hardware objeto de la presente invención se localizaría físicamente dentro de sistemas empotrados de visión artificial, es decir, sistemas compactos capaces de analizar visualmente una escena de manera autónoma y extraer conclusiones sobre la misma. En concreto, formaría parte del dispositivo fotosensible encargado de capturar las imágenes que son posteriormente procesadas por el resto de elementos del sistema. Este dispositivo, conocido como sensor de imagen, no solo se limitaría a capturar imágenes y, posiblemente, a realizar tareas de mejora de calidad de las mismas-como por ejemplo filtrado de ruido- sino que también podría llevar a cabo el cómputo de las imágenes integrales correspondientes a las imágenes capturadas gracias al hardware propuesto en este documento. Cada pixel de una imagen integral se obtiene como la suma de los pixeles

situados por encima y a la izquierda de ese pixel en la imagen original, de acuerdo a la definición establecida en la especificación industrial OpenVX [OpenVX [Provisional] Specif¡catión, versión 1.0, KhronosGrouDhttDs:// www.khronos.ora/oDenvx . noviembre 2013].

Se podrían citar muchos ejemplos, tanto comerciales como reportados en artículos de investigación, de sensores de imagen "inteligentes" capaces de pre-procesar imágenes como valor añadido a su funcionalidad básica, esto es, captura de imágenes con la mayor calidad posible. Sin embargo, este número se reduce considerablemente cuando el modo de operación de dichos sensores inteligentes se restringe al del hardware objeto de esta invención. Hablamos de una operación basada en una agrupación matricial de celdas básicas de sensado-procesamiento interconectadas entre sí dentro de un circuito integrado, también comúnmente conocido como chip. Estas celdas explotan el uso de circuitería de señal mixta para llevar a cabo, de forma masivamente paralela, determinadas tareas de bajo nivel sobre las imágenes sensadas. Alrededor de esta matriz se localiza circuitería periférica que realiza labores de control, polarización y configuración de dicha matriz. A nivel comercial, el mejor exponente de esta estructura hardware son los sensores inteligentes diseñados por la compañía "Innovaciones Microelectrónica S.L", comercialmente conocida como Anafocus [Innovaciones Microelectrónicas S.L, www.anafocus.comí A nivel académico, numerosos grupos de investigación de diferentes países han propuesto sensores inteligentes que integran elementos fotosensibles, como por ejemplo fotodiodos, con circuitería a nivel de pixel capaz de manejar tanto señales analógicas como digitales (señal mixta) con el objeto de pre-procesar imágenes [Nilchi A, Aziz J, Genov R. *Focal- planealgorithmically-multiplying CMOS computationalimage sensor," IEEE J. Solid- StateCircuits 2009; 44(6).1829-1839];[ Jendemalik W, Blakiewicz G, Jakusz J, Szczepanski S, Piotrowski R. "Ananalog sub-miliwatt CMOS image sensor with pixel- levelconvolutionprocessing," IEEE Trans. CircuitsSyst. I 2013; 60(2):279-289];[ Femández- Bemi J, Carmona-Galan R. "AII-MOS implementation of RC networksfor time- controiiedGaussianspatialFiltering," Int. J. of CircuitTheory and Applications 2012; 40(8):859- 876];[Gottardi M, Massari N, Jawed SA. `A 100W 12864 pixelscontrast-

basedasynchronousbinaryvisión sensor for sensor networksapplications," IEEE J. Solid- StateCircuits 2009; 44(5):1582-1592];[ Leñero-Bardallo JA, Serrano-Gotarredona T, Linares- Barranco B. "A 3.6us latencyasynchronousframe-freeevent-drivendynamic-vision-sensor," IEEE J. Solid-StateCircuits 2011; 46(6):1443-1455].

Si nos centramos exclusivamente en la operación de cómputo de la imagen integral basada en la arquitectura de sensado-procesamiento que acabamos de describir, no hemos encontrado ninguna referencia proponiendo una implementación remotamente similar. Sí se pueden citar dos ejemplos de incorporación del cálculo de la imagen integral sobre un sensor inteligente [Hoseini YD, Sayedi SM, Sadri S. "A novel CMOS image sensor for high speed parallel integral image computation," 21 st Iranian Conference on Electrical Engineering (ICEE), 2013];[Jing-Shan Liang, Chien-Hong Lin, Tzu-Fang Lee, Kuo-Yu Chuang. "Image sensor having output of integral image," US patent US 2010/0238312 A1], pero en ambos casos la operación no está basada en una matriz de elementos de sensado- procesamiento donde el procesamiento se realice de forma masivamente paralela. En estos chips, los sensores conforman una matriz exclusivamente de sensado, enviándose la información que captan a la periferia de dicha matriz donde se procesa de forma agregada.

DESCRIPCIÓN DE LA INVENCIÓN

A modo de descripción de la invención, la estructura básica del hardware propuesto consiste en una distribución espacial regular bidimensional de celdas de sensado-procesamiento localmente interconectadas. Esta interconexión es reconfigurada de manera independiente para cada par de filas y columnas adyacentes mediante circuitería de control periférica.

En ella se presenta una agrupación de celdas elementales de sensado-procesamiento de señal mixta interconectadas entre sí localmente. Esta interconexión puede ser activada o desactivada para cada par de columnas y filas adyacentes por medio de señales enviadas desde la periferia de la agrupación. La celda elemental de sensado-procesamiento incluye, al menos, la circuitería elemental de procesamiento para cómputo de la imagen integral, que se debe incluir en cada celda interior de la distribución espacial regular referida. Las celdas situadas en los bordes derecho e inferior de la distribución presentarían solamente un interruptor conectando al sur o al este respectivamente. La celda de la esquina inferior derecha no presentaría ningún interruptor.

El valor de cada pixel se representa mediante el voltaje Vi¡ asociado a un condensador conectado a la entrada no inversora de un amplificador operacional cuya salida se conecta a su entrada inversora de manera que éste quede configurado como buffer analógico. Este buffer realiza la copia del voltaje ^ en la tensión VClj de un segundo condensador conectado a su salida. La operación de copia solo se realiza cuando es activada por la señal CP_EN.

Una vez completada la copia y desactivada esta señal, se activarían convenientemente las señales ENcon..+1 y ENcon^+i. La activación de estas señales, generadas de forma

independiente para cada par...

 


Reivindicaciones:

1.- Hardware para cómputo de la imagen integral formado por una pluralidad de celdas elementales (1) de procesamiento de señal mixta interconectadas entre sí localmente, de tal forma que cada celda está solamente interconectada con las celdas vecinas existentes al norte, sur, este y oeste, no habiendo interacción directa más allá de esa periferia; y que se caracteriza porque cada celda comprende al menos un condensador (4) cuyo voltaje representa el valor de pixel; y donde este condensador (4) se conecta al terminal no inversor de un amplificador operacional (5) cuya salida se conecta a su entrada inversora de manera que éste quede configurado como buffer analógico; y donde este amplificador operacional incorpora una señal de control que habilita la copia de la tensión de pixel fijada en el condensador (4) a su tensión de salida; y donde un condensador (6) conectado a la salida del amplificador operacional mantiene dicha copia del valor de pixel; y donde el condensador (6) se interconecta mediante interruptores (7,8) con celdas vecinas existentes al este y sur; y donde la activación/desactivación de los interruptores se realiza mediante señales digitales de control generadas en la periferia de la pluralidad de forma independiente para cada par de filas y columnas adyacentes de celdas de dicha pluralidad; y donde se produce una redistribución de la carga almacenada en el condensador (6) con los correspondientes condensadores de las celdas vecinas cuando se active cualquiera de los interruptores (7,8); y donde el valor final de tensión en el condensador (6) tras esta redistribución de carga constituye un valor directamente proporcional al de un determinado pixel de la imagen integral.

2.- Hardware para cómputo de la imagen integral según reivindicación 1, caracterizado por que el valor de la tensión del condensador (4), que representa el valor de un pixel de la imagen, puede ser copiado en cualquier momento al valor de tensión del condensador (6) mediante la activación de un señal de control del amplificador operacional (5) que los interconecta.

3.- Hardware para cómputo de la imagen integral según una cualquiera de las reivindicaciones 1 a 2, caracterizado por incorporar un condensador (6) que mantiene una copia del valor de pixel representado por la tensión en el condensador (4) y se conecta mediante interruptores (7,8) con celdas vecinas existentes al este y sur.

4.- Hardware para cómputo de la imagen integral según una cualquiera de las reivindicaciones 1 a 3, caracterizado por llevar a cabo la activación/desactivación de los interruptores (7,8) mediante señales digitales de control.

5.- Hardware para cómputo de la imagen integral según una cualquiera de las reivindicaciones 1 a 4 caracterizado por que las señales digitales de activación/desactivación de los interruptores (7,8) se generan en la periferia de la pluralidad, de manera independiente por cada par de filas y columnas adyacentes de celdas de dicha pluralidad.

6.- Método para cómputo de la imagen integral que opera sobre una pluralidad de celdas elementales (1) de procesamiento de señal mixta interconectadas entre sí localmente, de tal forma que cada celda está solamente interconectada con las celdas vecinas existentes al norte, sur, este y oeste, no habiendo interacción directa más allá de esa periferia, implementado en un hardware según se define en las reivindicaciones anteriores, caracterizado por una primera etapa de copia del valor de pixel representado por la tensión del condensador (4) en la tensión del condensador (6), haciendo uso de un amplificador operacional (5); y por una segunda etapa en la que se lleva a cabo un proceso de redistribución de la carga almacenada en el condensador (6) con la carga almacenada en otras celdas de la pluralidad determinado por señales de activación de los interruptores (7,8) provenientes de la periferia y establecidas de manera independiente por cada par de filas y columnas adyacentes de celdas de dicha pluralidad.

7.- Método para cómputo de la imagen integral según reivindicación 6, caracterizado por que la activación de los interruptores (7,8) conlleva un proceso de redistribución de la carga almacenada en la tensión del condensador (6) de cada una de las celdas de la pluralidad interconectadas por los interruptores activados.

8.- Método para cómputo de la imagen integral según una cualquiera de las reivindicaciones 6 a 7, caracterizado por que el proceso de redistribución de carga iniciado por la activación de los interruptores (7,8) conduce a un estado final de las tensiones del condensador (6) de las celdas implicadas tal que el valor de dicha tensión es el mismo para todas las celdas y coincide con el valor promedio de esas mismas tensiones antes de la activación de los interruptores.

9.- Método para cómputo de la imagen integral según una cualquiera de las reivindicaciones 6 a 8, caracterizado porque el valor promedio de tensión mantenido por el condensador (6) tras el proceso de redistribución de carga habilitado por la activación de los interruptores 5 (7,8) constituye un valor directamente proporcional al de un determinado pixel de la imagen

integral, cuya localización vendrá determinada por las filas y columnas adyacentes interconectadas mediante las señales provenientes de la periferia que controlan la activación/desactivación de los interruptores (7,8).