Procedimiento y sistema de guiado para la recolección automática de producto hortícola basado en modelado digital 3D.

Procedimiento y sistema de guiado para la recolección automática de producto hortícola basado en modelado digital 3D.

La invención consiste en un procedimiento para la selección de productos hortofrutícola que comprende la creación de un modelo 3D así como un sistema para el guiado de un manipulador robótico para la recolección de productos hortícolas que lleva a cabo dicho procedimiento de selección.

Procedimiento y sistema de guiado para la recolección automática de producto hortícola basado en modelado digital 3D

SECTOR DE APLICACIÓN DE LA INVENCIÓN

La presente invención se enmarca dentro del sector técnico de la mecanización agraria y conlleva la aplicación práctica de técnicas de modelado digital tridimensional.

ESTADO DE LA TÉCNICA

Automatización en la recolección de productos agrícolas La automatización de la recolección de productos hortofrutícolas es una de las aspiraciones de la mecanización agraria. Sin embargo aún hoy en día existen cultivos y productos, como el espárrago verde y morado, cuya mecanización no ha sido exitosa. En estos cultivos la recolección manual todavía es mayoritaria debido a los costes de las máquinas recolectoras y a los problemas de pérdidas que presentan.

La creciente demanda del mercado y el encarecimiento de la mano de obra a lo largo de los años ha llevado a que algunos cultivos se abandonen es países como España y se relocalicen en zonas geográficas de menores costes de mano de obra de recolección.

Con independencia del coste de la mano de obra, la recogida manual de los productos hortofrutícolas requiere muchas veces adoptar posturas incómodas que causan dolencias, riesgos y cansancio sumo en los operarios de recolección.

Los dos hechos anteriores son especialmente críticos en aquellos casos en los que la cosecha no puede realizarse en una única pasada. En este caso, se requiere más mano de obra y que la recolección de cada pasada no dañe el producto que queda pendiente de desarrollo para la siguiente pasada de recolección.

Desde mediados del siglo pasado son numerosas las iniciativas para automatizar esta recolección. Hay propuestas que van desde una semi-automatización hasta la automatización completa. Así, en ES2014148 se describe una máquina cosechadora que abre y cierra los caballones donde se sitúan los vástagos (retoños o turiones) de espárrago blanco, para que en el intermedio del proceso de apertura y cierre sean cortados y recogidos manualmente. Otras patentes como US4, 288, 970 y US4, 918, 909 describen sistemas totalmente mecánicos de selección y corte, en los que la selección siempre se realiza por la altura del espárrago y el corte mediante la entrada de los tallos en estrechas calles donde sensores electromecánicos o electroópticos son los encargados de dar la señal de corte.

En ES2148654 T3 (EP96116737.6) se describe un sistema centrado en determinar la posición para el caso del espárrago blanco aún no emergido y que se basa en sensores con capacidad de detección subterránea dado que el espárrago blanco se cultiva bajo el nivel del suelo, enterrado, para que no le afecte la luz solar. En este caso se proponen técnicas de infrarrojo, ultrasonidos y un sistema marcador o de señalización física de la posición.

En US8, 136, 336 se describe un recolector selectivo de espárragos que posee un sistema de sensores-recolectores que actúan en unas calles o bandas relativamente estrechas. Cada sensor comanda un recolector mecánico, por lo que el sistema es complejo y costoso.

También existen máquinas de recolección en el mercado, un ejemplo es la cosechadora Geiger SP-2012 (Geiger Manufacturing, Stockton, California, USA) , pero sus pérdidas (del 20% al 40%) son todavía elevadas comparadas con la recolección manual, se generan daños colaterales a los turiones que quedan y su precio es elevado. En este caso la detección de los turiones se realiza por medio de dos haces de láseres que determinan si la altura del espárrago es adecuada y un cabezal óptico con 16 canales, cada cual de tres pulgadas, que se corresponden con 16 cilindros de corte.

En EP0053994 B1 se describe un robot completamente automatizado en el movimiento y corte, y cuya parte sensora se compone de una cámara y de una fuente de iluminación, ambas contrapuestas y paralelas al caballón. En este caso la posición del espárrago se obtiene de dos tomas de la cámara en posiciones distintas que permiten determinar el desplazamiento del robot hasta situarse perpendicular al turión para realizar el corte. También se describe la posibilidad de usar dos cámaras, una junto a otra, con diferente amplitud del campo de visión y persistencia para conseguir una doble toma que permita determinar la posición del espárrago y comandar el desplazamiento y corte del robot.

Irie y colaboradores [Irie N., Taguchi N., Horie T., Ishimatsu, T. (2009) , Development of Asparagus Harvester Coordinated with 3-D Vision Sensor, en Journal of Robotics and Mechatronics, Vol.21, No.5, pp. 583-589] describen un carro sobre raíles que, junto al sistema de procesado, posee dos proyectores láser que marcan el nivel mínimo y máximo de altura sobre el vástago y una cámara de televisión con los que determinan si el turión debe ser cortado y también generan las órdenes de control del brazo robotizado. Lewis [Lewis, A., (2013) , Automated Asparagus Harvester Feasibility Study, en Master of Engineering Management ENMG 680] propone un sistema de reconocimiento de formas (alto y ancho) basado en dos cámaras digitales y un sistema de iluminación artificial basado en diodos LED.

En la actualidad se están desarrollando numerosas aplicaciones dentro del campo denominado agricultura de precisión. En la agricultura de precisión se conjuga el conocimiento preciso de la posición de las máquinas agrícolas por medio de tecnologías de navegación global por satélites (GNSS) como es el caso del GPS (Global Positioning System) , con actuaciones particulares (p.e. abonado, siembra, tratamientos fitosanitarios, etc.) sobre cada posición de la parcela agrícola o sobre plantas concretas (p.e sobre un olivo determinado) , para lo que se utilizan sistemas de actuadores convencionales (p.e. sistemas eléctricos, hidráulicos, etc.) .

En la patente WO2007088225, se describe un sistema de visión artificial para recolectar pequeños frutos en cultivos hidropónicos en alto y en hileras, en entornos estructurados como un invernadero. Esta invención consiste en un sistema de visión que permite el guiado preciso de un dispositivo robótico para la aprehensión, corte y almacenamiento del fruto, designando el punto de corte del pedúnculo. El sistema de visión básico está compuesto por: dos cámaras de color, una matriz de diodos láser ópticos puntuales y un diodo láser adicional capaz de proyectar un haz óptico plano o en abanico de forma que le permita diferenciar y localizar los frutos individuales en los racimos o grupos a partir de la reconstrucción tridimensional de los spots o marcas proyectadas en el racimo por el conjunto de láseres ópticos puntuales dispuestos en matriz. Este sistema presenta varias limitaciones respecto a la invención que se propone: a) solo utiliza sensores que trabajan en el espectro visible, lo que limita la selección del fruto a una comparación de sus características geométricas y de color sin poder evaluar el estado fisiológico real, b) el sistema está concebido para su utilización en el entorno estructurado de un cultivo hidropónico sin sustrato donde los frutos están en alto y preorganizados espacialmente y donde existe un fondo artificial que facilita la detección esta concepción no es válida para su aplicación en campo abierto, c) el sistema organiza la corta de frutos colgantes de péndulos (punto de corte sobre el fruto) mientras que para la casuística en la que se centra esta patente el punto de corte es inferior y se puede ver afectado por la variabilidad del terreno, d) el sistema no genera un modelo 3D sino parches de mediciones sobre frutos, tal que esta concepción no es válida para su aplicación en campo abierto, . e) el sistema de cámaras se reduce a 2 y su posicionamiento respecto a los frutos sería exclusivamente “lateral” mientras que en nuestra propuesta el número de cámaras sería mayor y su disposición “envolvente”, es decir cubriríamos los 360 grados de horizonte que rodean a los espárragos antes de su corte.

Modelado 3D

Los modelos digitales 3D de superficie (en adelante “m3D”) son una representación numérica y digital, de carácter métrico, de una realidad como la superficie de un terreno o de una edificación. Para la creación de m3D existen actualmente 3 tipos de sistemas: a) pasivos (cámaras fotográficas) , b) activos (escáneres láser) , c) pasivo/activo (cámara de profundidad como Kinect® de Microsoft®) .

Sistemas pasivos Dentro del primer tipo de sistemas, están los basados en fotogrametría. La fotogrametría es una técnica que permite reconstruir en 3D un objeto a partir de una serie de fotografías hechas desde distintos puntos de vista y en las que aparezca dicho objeto...

1. Procedimiento para la selección de productos hortofrutícolas que comprende la creación de un modelo 3D que contiene información sobre la superficie del suelo, junto con parámetros geométricos, biológicos y de actividad biológica de elementos de producto que determinan su estado fisiológico 2. Procedimiento según reivindicación anterior caracterizado porque los parámetros geométricos del producto empleados comprenden la localización, altura, diámetro, los parámetros biológicos comprenden el peso, color y textura; y los parámetros de actividad biológica comprenden la fuerza de cizalla máxima y la energía de corte.

3. Procedimiento según reivindicación anterior que comprende las siguientes etapas:

a. Generación de un modelo 3D correspondiente a una escena en la que se identifican las características geométricas del terreno, la localización y disposición del producto en el terreno y las características geométricas y de actividad biológica de cada producto, a partir de datos obtenidos mediante sensores formadores de imagen que trabajan en el espectro visible y en el infrarrojo.

b. Extracción de los parámetros correspondientes a cada elemento producto.

c. Selección para el corte basada en reglas de decisión previamente definidas.

d. Corte y recolección.

4. Procedimiento según reivindicación anterior en el que la primera etapa el modelo 3D se genera a partir de los datos obtenidos mediante sensores formadores de imagen que trabajan en el espectro visible y en el infrarrojo; y datos obtenidos mediante sensores medidores de distancia para aumentar la precisión.

5. Procedimiento según reivindicaciones 3 o 4 que comprende los siguientes pasos:

• Adquisición de imágenes de la escena, tanto el espectro visible como en el espectro infrarrojo térmico y, opcionalmente, medición de distancias empleando sensores medidores de distancia.

• Generación, mediante técnicas de fotogrametría, de un modelo 3D de la escena genera a partir de los datos obtenidos mediante sensores que trabajan en el espectro visible y en el infrarrojo y, opcionalmente, incluyendo los datos obtenidos mediante sensores medidores de distancia.

• Extracción de objetos del modelo 3D.

• Determinación, de parámetros geométricos (altura, diámetro, volumen, peso) asociados a cada objeto identificado a partir del modelo 3D de la escena

• Determinación se determinan los atributos color y textura a partir de las imágenes obtenidas por los medios sensores que trabajan en el espectro visible.

• Determinación de uno o más de los parámetros de actividad biológica y del estado fisiológico (opcionalmente, fuerza de cizalla máxima y/o energía de corte) a partir de las imágenes obtenidas mediante los sensores formadores de imagen que trabajan en el espectro infrarrojo.

• Comparación de los parámetros determinados en los pasos anteriores con las reglas de decisión predefinidas y selección de los elementos del producto presentes en la escena que son aptos para recolectar.

• Corte y recolección individual de cada uno de los elementos del producto seleccionados en paso anterior.

6. Sistema para el guiado de un manipulador robótico para la recolección de productos hortícolas que comprende:

• Medios sensores formadores de imagen que trabajan en el espectro visible y en el infrarrojo y, opcionalmente, medios sensores medidores de distancia.

• Medios de almacenamiento de información para almacenar los datos recogidos por los medios sensores y las reglas predeterminadas sobre los parámetros adecuados para la recolección de un producto.

• Medios de procesamiento de información para ejecutar un programa de ordenador que comprende instrucciones para hacer que un ordenador lleve a cabo el procedimiento según cualquiera de las reivindicaciones anteriores.

7. Sistema según reivindicación anterior caracterizado porque la base de los sensores formadores de imágenes son sistemas CDD o CMOS dispuestos en forma de matriz.

8. Sistema según cualquiera de las reivindicaciones 6 o 7, que además comprende medios generadores de luz estructurada.

9. Sistema según cualquiera de las reivindicaciones 6, 7 u 8, que además comprende medios para la autocalibración.

10. Manipulador robótico para la recolección de productos hortofrutícolas que comprende un sistema según cualquiera de las reivindicaciones 6 a 9.

11. Programa de ordenador que comprende instrucciones para hacer que un ordenador lleve a cabo el procedimiento según cualquiera de las reivindicaciones 1 a 5.

12. Medio de almacenamiento legible por un ordenador que comprende instrucciones de programa capaces de hacer que un ordenador lleve a cabo el procedimiento según cualquiera de las reivindicaciones 1 a 5.

13. Señal transmisible que comprende instrucciones de programa capaces de hacer que un ordenador lleve a cabo el procedimiento según cualquiera de las reivindicaciones 1 a 5.

Figura 1

Figura 2 Figura 3