EP4152924A1 - Procede et systeme de controle de traitement agricole - Google Patents

Procede et systeme de controle de traitement agricole

Info

Publication number
EP4152924A1
EP4152924A1 EP21727139.4A EP21727139A EP4152924A1 EP 4152924 A1 EP4152924 A1 EP 4152924A1 EP 21727139 A EP21727139 A EP 21727139A EP 4152924 A1 EP4152924 A1 EP 4152924A1
Authority
EP
European Patent Office
Prior art keywords
agricultural
treatment
image
processing
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP21727139.4A
Other languages
German (de)
English (en)
Inventor
Gérald GERMAIN
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carbon Bee SAS
Original Assignee
Carbon Bee SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carbon Bee SAS filed Critical Carbon Bee SAS
Publication of EP4152924A1 publication Critical patent/EP4152924A1/fr
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01M—CATCHING, TRAPPING OR SCARING OF ANIMALS; APPARATUS FOR THE DESTRUCTION OF NOXIOUS ANIMALS OR NOXIOUS PLANTS
    • A01M7/00—Special adaptations or arrangements of liquid-spraying apparatus for purposes covered by this subclass
    • A01M7/0089—Regulating or controlling systems
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Definitions

  • the present invention relates to methods and systems for agricultural process control.
  • Crop rotations was one of the first methods theorized at the start of the 20th century, as described in the document “Clyde E. Leighty, 1938 Yearbook of Agriculture”, consisting of an alternation of autumn and spring crops in order to break certain biological cycles of weeds;
  • Chemical weed control as described in the document “Spraying in field crops.
  • the keys to success Arvalis, avoids weed emergence in the culture.
  • the phytosanitary products dedicated to chemical weed control are suitable either for a pre-emergence treatment to prevent the germination of weeds present in the seed state, or for a post-emergence treatment, to destroy the weeds that have emerged in the crop.
  • Chemical weed control is either selective, making it possible to treat a type of weed, or non-selective, making it possible to destroy all the plants present in the plot at the time of treatment.
  • the repeated use of the same chemical group of weedkiller leads to the appearance of resistance of weeds, as well as phytotoxicity having an impact on the yield of the crop.
  • Chemical weedkillers are applied to the plot by means of a sprayer;
  • the cultivator a tool suitable for a wide range of soil
  • Arvalis in pre-emergence or post-emergence, allows to destroy either the weed seedlings or the weeds to a more advanced stage. This weeding process improves soil structure and also disrupts the cycle of some pests.
  • the tools used for mechanical weeding are tine harrows or rotary hoes for complete weeding or tine cultivators for inter-row or under-row treatment;
  • Treatments whether chemical, mechanical or alternative, are performed by a machine, usually attached to a motorized vehicle that moves through the crop.
  • Control system for agricultural spreading describes a spreading control system comprising a set of spreading nozzles, means for mapping plants to be treated using, in one embodiment , cameras, and means for controlling the spreading according to the mapping data produced.
  • This control system requires a first pass of the system in the agricultural plot in order to produce a map of this agricultural plot used in a second pass for the application of the treatment.
  • Document FR 3063206 requires a distance measurement system used to acquire information in real time of the distance to the ground from the camera. In the agricultural sector, however, attempts are made as much as possible to limit the use of on-board electronic components as much as possible, which are subjected to severe strain in this environment, which also involves significant maintenance and the associated costs.
  • the invention relates to a computerized method of controlling an agricultural treatment.
  • a reception module receives at least one two-dimensional image of an agricultural area acquired by a sensor.
  • a processing module determines an image projected in the horizontal plane of the agricultural processing device from said two-dimensional image.
  • the processing module determines a virtual portion of the agricultural area identified as requiring agricultural processing in the horizontal plane of the agricultural processing device using a neural network processing said projected image.
  • the processing module determines an average time corresponding to a processing time of said virtual portion of the agricultural zone using a relative location of an agricultural processing device and the sensor, and a movement speed of the sensor.
  • the processing module determines a lower limit and an upper limit of a time interval of activation of the agricultural treatment device for the agricultural treatment of a portion of the agricultural area identified as requiring agricultural treatment at said average time being within the activation time interval of predetermined duration such that the time interval includes a processing time of the portion of the agricultural area.
  • the invention thus allows real-time treatment of the agricultural plot, which is sized at the scale of the portions actually needing to be treated.
  • the two-dimensional image comprises at least one diffraction comprising hyperspectral characteristics, and in which the neural network processes said hyperspectral information.
  • the neural network also processes a non-diffracted two-dimensional image of the agricultural zone.
  • the processing module implements a projection taking into account the instantaneous orientation of the sensor.
  • the senor acquires the two-dimensional image of the agricultural zone, and transmits the bidirectional image to the reception module [28]
  • the invention relates to an agricultural treatment method, in which this computerized agricultural treatment control method is applied, and in which an agricultural treatment is applied during the determined time interval.
  • an agricultural treatment device is selected from among a plurality of agricultural treatment devices from the locations of a plurality of agricultural treatment devices.
  • the invention relates to a computer program comprising program code instructions for executing this method when the program is executed on a computer.
  • the invention relates to a computerized agricultural treatment control system comprising:
  • a reception module suitable for receiving at least one two-dimensional image of an agricultural area acquired by a sensor
  • a processing module adapted to determine an image projected in the horizontal plane of an agricultural processing device from said two-dimensional image, a virtual portion of the agricultural area identified as requiring agricultural processing in the horizontal plane of the agricultural processing device by using a neural network processing said projected image, an average instant corresponding to an instant of processing of said virtual portion of the agricultural zone using a relative location of an agricultural processing device and of the sensor, and a speed of movement of the sensor, a lower limit and an upper limit of an activation time interval of the agricultural treatment device for the agricultural treatment of a portion of the agricultural area identified as requiring agricultural treatment, said mean time being within of the activation time interval of predetermined duration so that the time includes a processing time of the agricultural area portion.
  • the invention relates to an agricultural machine comprising such a computerized agricultural processing control system, a sensor adapted to acquire the two-dimensional image, and an agricultural processing device adapted to treat the agricultural plot during the time interval determined by the computerized agricultural processing control system.
  • FIG. 1 a schematic representation of the complete device
  • FIG. 2 a structural schematic representation of the elements of the device of FIG. 1;
  • FIG. 3 a schematic front view of a device for capturing a hyperspectral image according to one embodiment of the invention
  • [38] - [Fig. 4] a structural schematic representation of the elements of the device of FIG. 3;
  • FIG. 5 a structural schematic representation of the elements of a capture and detection device in a hyperspectral scene according to one embodiment of the invention
  • FIG. 6 an alternative structural schematic representation of the elements of the device of FIG. 5;
  • FIG. 7 a schematic representation of the diffractions obtained by the acquisition device of FIG. 5;
  • FIG. 8 a schematic representation of the architecture of the neural network in Fig. 5;
  • FIG. 9 a structural schematic representation of the elements of a capture and detection device in a hyperspectral scene according to one embodiment of the invention.
  • FIG. 10 a schematic representation of the architecture of the neural network in Fig. 9.
  • FIG. 11 a structural schematic representation, view in projection, of the elements of the device of FIG. 1.
  • FIG. 1 illustrates a cooperative agricultural treatment control device intended to be mounted on an agricultural machine 1, said agricultural machine 1 comprising at least one controllable agricultural treatment device 3; said agricultural treatment control device comprising at least one detection system 2 of weeds or leaf symptoms of deficiency or disease, each being mechanically adapted for attachment to the agricultural machine 1 and having an angle of sight of the objective d 'acquisition in the direction of the direction of advance of said agricultural machine 1.
  • the agricultural machine moves in the agricultural plot 5 in a direction advancement.
  • the detection systems 2 can be arranged spaced apart from each other in a horizontal direction transverse to the direction of advance. They can for example be carried by a transverse beam of the agricultural machine.
  • the agricultural treatment device 3 is controllable to treat an area to be treated downstream of the area imaged by the detection system 2 of weeds or leaf symptoms of deficiencies or diseases along the movement of the agricultural machine.
  • the detection systems 2 of weeds or leaf symptoms of deficiencies or diseases are attached to the agricultural machine so as to capture the visual information of the agricultural plot 5.
  • the detection systems 2 d 'Weeds or leaf deficiency symptoms or diseases present a field of vision oriented in the direction of travel of the agricultural machine.
  • the detection systems 2 for weeds or leaf deficiency symptoms or diseases are above the ground. Therefore, the detection systems 2 of weeds or leaf deficiency symptoms or diseases are oriented so that their focal axis is inclined with respect to the horizontal plane. For example, an orientation of 30 °, an orientation of 45 °, or an orientation of 60 ° relative to the horizontal plane is provided.
  • a hyperspectral sensor as described in document FR1873313, “Hyperspectral acquisition detection device” or in document FR1901202, “Device for hyperspectral detection by fusion of sensors”, or in document FR1905916, “Detection device hyperspectral ”, or in document WO2019EP85847,“ Device for hyperspectral detection ”, can be used for each of said detection systems 2 of weeds or of leaf symptoms of deficiencies or diseases.
  • the detection system 2 of weeds or leaf symptoms of deficiencies or diseases comprises a capture device 10 and a computerized characterization module 21.
  • FIG. 3 illustrates a capture device 10 comprising three juxtaposed sensors 11-13.
  • FIG. 3 is presented in the inclined plane formed by the parallel focal axes of the three sensors.
  • a first sensor 11 makes it possible to obtain a compressed image 14 ′ of a focal plane P1 T of an observed scene. As illustrated in FIG. 4, this first sensor 11 comprises a first converging lens 30 which focuses the focal plane P1 on an opening 31.
  • a collimator 32 captures the rays passing through the opening 31 and transmits these rays to a diffraction grating 33.
  • a second converging lens 34 focuses these rays coming from the diffraction grating 33 on a capture surface 35.
  • the structure of this optical network is relatively similar to that described in the scientific publication “Computed-tomography imaging spectrometer: experimental calibration and reconstruction results”, published in APPLIED OPTICS, volume 34 (1995) number 22.
  • This optical structure makes it possible to obtain a compressed image 14 ′, illustrated in FIG. 7, presenting several R0-R7 diffractions of the focal plane P1 T arranged around a non-diffracted image of small size.
  • the compressed image presents eight distinct R0-R7 diffractions obtained with two diffraction axes of the diffraction grating 33 arranged as far apart as possible from each other in a normal plane to the optical axis, that is to say substantially orthogonal to one another.
  • the capture surface 35 can correspond to a CCD sensor (for “charge-coupled device” in the English literature, that is to say a charge transfer device), to a CMOS sensor (for “Complementary metal-oxide-semiconductor” in the Anglo-Saxon literature, a technology for manufacturing electronic components), or to any other known sensor.
  • CCD sensor for “charge-coupled device” in the English literature, that is to say a charge transfer device
  • CMOS sensor for “Complementary metal-oxide-semiconductor” in the Anglo-Saxon literature, a technology for manufacturing electronic components
  • any other known sensor for example, the scientific publication “Practical Spectral Photography”, published in Eurographics, volume 31 (2012) number 2, proposes to associate this optical structure with a standard digital camera to capture the compressed image.
  • each pixel of the compressed image 14 ’ is coded on 8 bits thus making it possible to represent 256 colors.
  • a second sensor 12 makes it possible to obtain an undiffracted image 17 'of a focal plane P12' of the same observed scene, but with an offset induced by the offset between the first 11 and the second sensor 12.
  • This second sensor 12 corresponds to an RGB sensor, that is to say a sensor making it possible to code the influence of the three colors Red, Green and Blue of the focal plane P12 ′. It makes it possible to account for the influence of the use of a blue filter F 1, a green filter F2 and a red filter F3 on the observed scene.
  • This sensor 12 can be produced by a CMOS or CCD sensor associated with a Bayer filter.
  • any other sensor can be used to acquire this RGB image 17 ′.
  • each color of each pixel of the RGB image 17 ' is coded on 8 bits.
  • each pixel of the RGB image 17 ′ is coded on 3 times 8 bits.
  • a monochrome sensor could be used.
  • a third sensor 13 makes it possible to obtain an infrared image 18 ′, IR, of a third focal plane P13 ′ of the same scene observed with also an offset with the first 11 and the second sensors 12. This sensor 13 allows to give an account of the influence of the use of an infrared filter F4 on the observed scene.
  • Any type of known sensor can be used to acquire this IR image 18.
  • each pixel of the IR image 18 is coded on 8 bits.
  • only one or the other of the sensor 12 and the sensor 13 is used.
  • the distance between the three sensors 11-13 can be less than 1 cm so as to obtain a significant overlap of the focal planes P1 T-P13 'by the three sensors 11-13.
  • the sensors are for example aligned along the x axis.
  • the topology and the number of sensors can vary without changing the invention.
  • the sensors 11-13 can acquire an image of the same observed scene by using semi-transparent mirrors to transmit the information of the observed scene to the different sensors 11-13.
  • FIG. 3 illustrates a device 10 comprising three sensors 11-13.
  • other sensors can be mounted on device 10 to augment the information contained in the hyperspectral image.
  • the device 10 can integrate a sensor whose wavelength is between 0.001 nanometers and 10 nanometers or a sensor whose wavelength is between 10,000 nanometers and 20,000 nanometers.
  • the device 10 also includes a processing module 16 from the different diffractions R0- R7 of the diffracted image 14 ’and the non-diffracted images 17’, 18 ’.
  • a preprocessing step is performed to extract a focal plane P11-P13 present on each of the images 14 ', 17'-18' acquired by the three sensors 11-13.
  • This preprocessing consists, for each focal plane P1 T-P13 ', in isolating 25 the common part of the focal planes P1 -P13' then in extracting 26 this common part to form the image 14, 17-18 of each focal plane P11- P13 observed by specific sensor 11-13.
  • the part of each image 14 ', 17'-18' to be isolated can be defined directly in a memory of the capture device 10 according to the positioning choices of the sensors 11-13 between them, or a learning step can be used to identify the part to be isolated 25.
  • the 17'-18 'images from RGB and IR sensors are cross-checked using two-dimensional cross-correlation.
  • the extraction of the focal plane of the diffracted image 14 ' is calculated by interpolation of the shifts in x and y between the sensors 12-13 brought back to the position of the sensor 11 of the diffracted image knowing the distance between each sensor 11- 13.
  • This preprocessing step is not always necessary, in particular, when the sensors 11-13 are configured to capture the same focal plane, for example with the use of semi-transparent mirrors.
  • the capture device 202 may include a first converging lens 241 which focuses the focal plane 303 on a mask 242.
  • a collimator 243 captures the rays passing through the mask 242 and transmits these rays to a prism 244.
  • a second converging lens 245 focuses these rays coming from the prism 244 on a capture surface 246.
  • the mask 242 defines a coding for the image 211.
  • the capture surfaces 35 or 246 may correspond to the photographic acquisition device of a computer or any other portable device including a photographic acquisition device, by adding the capture device 202 of the hyperspectral scene in front of the photographic acquisition device.
  • the acquisition system may comprise a compact mechanical embodiment which can be integrated into a portable and autonomous device and the detection system is included in said portable and autonomous device.
  • the sensing surfaces 35 or 246 can be a device whose sensed wavelengths are not in the visible part.
  • the device 202 can integrate sensors whose wavelength is between 0.001 nanometers and 10 nanometers or a sensor whose wavelength is between 10,000 nanometers and 20,000 nanometers, or a sensor whose length is between 10,000 nanometers and 20,000 nanometers.
  • wave is between 300 nanometers and 2000 nanometers. It could be an infrared device.
  • the reception module of the agricultural processing control system receives the two-dimensional image (s) acquired by the acquisition system.
  • each detection system 2 can include a location system, of the type comprising an inertial unit and / or a geolocation system.
  • the location system is used to determine the location of the weed or leaf symptom of deficiencies or diseases in a terrestrial frame of reference attached to the agricultural machine.
  • R R z. R y . R x
  • Img pr0jetée is I e tensor containing pixels of the projected image
  • - R is the matrix containing the rotations of the sensor along the three axes of roll, pitch and yaw with respect to the terrestrial frame of reference;
  • angles a, b, and g correspond respectively to the current yaw, roll and pitch angles of the capture device 10 as calculated from the raw data of the inertial unit on board the capture device 10; this roll, pitch and yaw information is continuously calculated and kept up to date by the detection system 2 of weeds or leaf symptoms of deficiencies or diseases considered by means of an attitude estimation algorithm using the raw information of said inertial unit on board the capture device 10 considered.
  • the acquired lmg matrix is a rectangular matrix whose dimensions are the dimensions of the sensor. This matrix corresponds to a substantially trapezoidal area of the ground.
  • the proposed lmg matrix is a matrix comprising an area close to a trapezoid. The large side of the trapezoid substantially corresponding to the highest pixels of the sensor, capturing the image of the part furthest from the ground, while the small side of the trapezoid substantially corresponding to the lowest pixels of the sensor, capturing the image of the part closest to the ground.
  • the non-zero area is trapezoidal if two of the yaw, roll, and pitch angles are adversely affected. Most often, these angles will indeed be close to zero.
  • the matrix is completed with pixels of zero intensity so as to form a rectangular matrix.
  • the projection defined above makes it possible to determine a matrix lmg projected in a horizontal plane.
  • the ortho-projection of the image information acquired from the agricultural plot 5 traversed makes it possible to obtain the projected images 7.1 and 7.2 from the images 6.1 and 6.2.
  • the projected images 7.1 or 7.2 represent a virtual portion of the agricultural area in a horizontal plane.
  • the detection system 2 implements a neural network 212 to detect a feature in the observed scene from the information from the 'compressed image 211.
  • This neural network 212 aims to determine the probability of the presence of the desired feature for each pixel located at the x and y coordinates of the observed hyperspectral scene.
  • the neural network 212 comprises an input layer 230, able to extract the information from the projected image 211 and an output layer 231, able to process this information so as to generate an image whose intensity of each pixel at x and y coordinates, corresponds to the probability of presence of the feature at x and y coordinates of the hyperspectral scene.
  • the input layer 230 is populated from the pixels forming the compressed image.
  • the input layer is a tensor of order three, and has two spatial dimensions of size X M AX and Y M AX, and a depth dimension of size D M AX, corresponding to the number of subsets of l 'compressed image copied to the input layer.
  • the invention uses the nonlinear relation f (x t , y t , d t ) (x img , yi mg ) defined for x t e [0..X M AX [, y t e [0..YMAX [and d t e [0 ..
  • the input layer 230 can be populated as follows:
  • X offset x (n) corresponding to the offset along the x axis of the diffraction n
  • y offsetY (n) corresponding to the offset along the y axis of diffraction n.
  • Mod represents the mathematical operator modulo.
  • each slice, in depth, of the third order input tensor of the neural network receives a part of a diffraction lobe corresponding substantially to an interval of wavelengths.
  • the invention makes it possible to correlate the information contained in the different diffractions of the diffracted image with information contained in the non-diffracted central part of the image.
  • the compressed image obtained by the optical system contains the focal plane of the non-diffracted scene at the center, as well as the projections diffracted along the axes of the different diffraction filters.
  • the neural network uses, for the direct detection of the particularities sought, the following information from said at least one diffracted image:
  • the input layer 230 can be populated as follows:
  • CASSI measured compressed image
  • Img Selected image whose pixel is copied.
  • the architecture of said neural network 212 is composed of a set of convolutional layers assembled linearly and alternately with decimation (pooling) or interpolation (unpooling) layers.
  • a convolutional layer of depth d is defined by d convolution kernels, each of these convolution kernels being applied to the volume of the input tensor of order three and of size Xi nput , yi nput , di nput ⁇
  • the convolutional layer thus generates an output volume, tensor of order three, having a depth d.
  • An ACT activation function is applied to the calculated values of the output volume of this convolutional layer.
  • the parameters of each convolutional kernel of a convolutional layer are specified by the learning procedure of the neural network.
  • this function can be a ReLu function, defined by the following equation:
  • a decimation layer reduces the width and height of the input third order tensor for each depth of said third order tensor. For example, a MaxPool (2,2) decimation layer selects the maximum value of a sliding tile on the surface of 2x2 values. This operation is applied to all the depths of the input tensor and generates an output tensor having the same depth and a width divided by two, as well as a height divided by two.
  • An interpolation layer increases the width and height of the input third order tensor for each depth of said third order tensor.
  • a MaxUnPool (2.2) interpolation layer copies the input value of a sliding point on the surface by 2x2 output values. This operation is applied to all the depths of the input tensor and generates an output tensor having the same depth and a width multiplied by two, as well as a height multiplied by two.
  • a neural network architecture allowing the direct detection of features in the hyperspectral scene can be as follows:
  • the number of layers of CONV convolution (d) and MaxPool decimation (2.2) can be modified in order to facilitate the detection of features having a higher semantic complexity.
  • a higher number of convolutional layers makes it possible to process more complex signatures of shape, texture, or spectral characteristics of the particularity sought in the hyperspectral scene.
  • the number of CONV deconvolution (d) and MaxUnpool interpolation (2, 2) layers can be changed to facilitate reconstruction of the output layer.
  • d CONV deconvolution
  • MaxUnpool interpolation (2, 2) layers can be changed to facilitate reconstruction of the output layer.
  • a higher number of deconvolution layers makes it possible to reconstruct an output with greater precision.
  • the CONV convolution layers (64) may have a different depth than 64 in order to handle a different number of local features. For example, a depth of 128 makes it possible to locally process 128 different features in a complex hyperspectral scene.
  • the MaxUnpool interpolation layers (2, 2) can be of different interpolation dimension.
  • a MaxUnpool layer (4, 4) can increase the processing dimension of the top layer.
  • the ACT activation layers of ReLu (i) type inserted following each convolution and deconvolution can be of different type.
  • the MaxPool decimation layers (2, 2) can be of different decimation size.
  • a MaxPool layer (4, 4) makes it possible to reduce the spatial dimension more quickly and to concentrate the semantic research of the neural network on the local particularities.
  • fully connected layers can be inserted between the two central convolution layers at line 6 of the description in order to process detection in a higher mathematical space.
  • three fully connected layers of size 128 can be inserted.
  • the dimensions of the CONV convolution layers (64), MaxPool decimation (2, 2), and MaxUnpool interpolation (2, 2) can be adjusted on one or more layers, in order to accommodate the architecture of the neural network as close as possible to the type of particularities sought in the hyperspectral scene.
  • the weights of said neural network 212 are calculated by means of training. For example, learning by backpropagation of the gradient or its derivatives from training data can be used to calculate these weights.
  • the neural network 212 can determine the probability of the presence of several distinct features within the same observed scene.
  • the last convolutional layer will have a depth corresponding to the number of distinct features to be detected.
  • the convolutional layer CONV (1) is replaced by a convolutional layer CONV (u), where u corresponds to the number of distinct features to be detected.
  • the device for capturing a hyperspectral scene comprises a set of sensors making it possible to obtain at least one compressed image in two dimensions 211 or 213, at least one standard image 312 of the hyperspectral focal plane of the observed scene, and at least one infrared image thereof, the data then being placed at the input of the network of neurons 20.
  • the device 301 for acquiring a hyperspectral scene comprises a set of sensors making it possible to obtain at least one compressed image in two dimensions 211 and one image compressed in two dimensions 213 and at least one standard image 312 of a hyperspectral focal plane 303 of an observed scene.
  • the capture device 102 can thus comprise a device for acquiring an uncompressed “standard” image, comprising a converging lens 331 and a capture surface 232.
  • the capture device 102 can also comprise a device for capturing an uncompressed image. acquisition of a compressed image as described above with reference to FIG. 6, and a device for acquiring a compressed image as described above with reference to FIG. 5.
  • the device for acquiring the standard image and the device for acquiring the compressed image are arranged juxtaposed with parallel optical axes, and optical beams overlapping at least partially. Thus, a portion of the hyperspectral scene is imaged at the same time by the acquisition devices.
  • the focal planes of the various image acquisition sensors are offset with respect to each other transversely to the optical axes of these sensors.
  • a set of partially reflecting mirrors is used so as to capture a standard non-diffracted image 312 and said at least one compressed image 211, 213 of the same hyperspectral scene 203 on several sensors simultaneously.
  • the sensing surface 232 can be a device whose sensed wavelengths are not in the visible part.
  • the device 202 can integrate sensors whose wavelength is between 0.001 nanometers and 10 nanometers or a sensor whose wavelength is between 10,000 nanometers and 20,000 nanometers, or a sensor whose length is between 10,000 nanometers and 20,000 nanometers.
  • wave is between 300 nanometers and 2000 nanometers.
  • the detection means implements a neural network 214 to detect a feature in the observed scene from the information of the compressed images 211 and 213, and standard image 312.
  • This neural network 214 aims to determine the probability of presence of the desired feature for each pixel located at the x and y coordinates of the observed hyperspectral scene.
  • the neural network 214 comprises an encoder 251 for each compressed image and for each uncompressed image; each encoder 251 has an input layer 250, able to extract the information from the image 211, 312 or 213.
  • the neural network merges the information coming from the different encoders 251 by means of convolution layers or of fully connected layers 252 (particular case shown in the figure).
  • a 253 decoder and its layer output 350 capable of processing this information so as to generate an image of which the intensity of each pixel, at the x and y coordinate, corresponds to the probability of the presence of the feature at the x and y coordinates of the hyperspectral scene, is inserted following the merger of information.
  • the input layer 250 of an encoder 251 is filled with the various diffractions of the compressed image 211 as described above.
  • the population described above corresponds to the population of the first input (“Input1") of the neural network, according to the architecture presented below.
  • the population of the input layer relative to the "standard” image is populated by directly copying the "standard” image into the neural network.
  • the third input "Input3" of the neural network is populated as described above for the compressed image 213.
  • a neural network architecture allowing the direct detection of features in the hyperspectral scene can be as follows:
  • CONV (64) in the fifth line of the architecture operates the fusion of information.
  • the line “CONV (64)” in the fifth line of the information fusion architecture can be replaced by a fully connected layer having as input all the MaxPool outputs (2, 2) of the processing paths of all the inputs “input1”, “input2” and “input3” and at output a tensor of order one serving as input to the next layer “CONV (64)” presented in the sixth line of l 'architecture.
  • the fusion layer of the neural network takes into account the offsets of the focal planes of the various image acquisition sensors, and integrates the homographic function making it possible to merge the information from the various sensors by taking into account the parallaxes of the images. different images.
  • the weights of said neural network 214 are calculated by means of training. For example, learning by backpropagation of the gradient or its derivatives from training data can be used to calculate these weights.
  • the neural network 214 can determine the probability of the presence of several distinct features within the same observed scene.
  • the last convolutional layer will have a depth corresponding to the number of distinct features to be detected.
  • the convolutional layer CONV (1) is replaced by a convolutional layer CONV (u), where u corresponds to the number of distinct features to be detected.
  • part of the compressed image 211 comprises a “standard” image of the hyperspectral scene. This relates in particular to the image portion C described above. In this case, we can use this image portion "C" of the compressed image 211 as an image.
  • the neural network 214 uses, for the direct detection of the particularities sought, the following information from said at least one compressed image: - the light intensity in the central and non-diffracted part of the focal plane of the scene at the x and y coordinates; and
  • a detected feature of the hyperspectral scene is determined from a two-dimensional image whose value of each pixel at the coordinates x and y corresponds to the probability of presence of a feature at the same x and y coordinates of the hyperspectral focal plane of the scene.
  • the feature corresponds to a feature potentially indicative of the presence of a weed or a leaf symptom of deficiency or disease in this pixel.
  • This two-dimensional image is used to determine the location, in the frame of reference of the projected image, of the adventitious or leaf symptom of deficiency or disease.
  • the location is for example determined as the barycenter of a set of juxtaposed pixels for which the detection probability intensity is greater than a predetermined threshold.
  • Each weed, each leaf symptom of deficiency or disease can be characterized by one or more peculiarities.
  • the detection system then combines the results of the detection of each peculiarity associated with a weed or leaf deficiency or disease symptom to determine a likelihood of the presence of the weed or leaf deficiency symptom or disease. If necessary, this process is repeated for all weeds or leaf symptoms of predetermined deficiency or disease sought in the plot.
  • One can, however, alternatively, provide, according to the embodiments of the invention, the detection of other features. According to one example, such another feature can be obtained from the image from the neural network presented above. For this, the neural network 212, 214, can have a subsequent layer, suitable for processing the image in question and determining the desired feature.
  • the neural network can also be architected to determine this particularity and its location in the frame of reference of the projected image without going through the determination of an image of probabilities of presence. of the particularity in each pixel.
  • the detection system described above is considered as a single detection system, even if it uses different sensors whose information is merged to detect an adventitia or a syndrome. leaf deficiency or disease.
  • the plurality of said at least one controllable agricultural treatment device 3 is also fixed on the agricultural machine so as to be able to treat the target plants 4.
  • the agricultural treatment devices 3 can be arranged spaced with respect to each other in a horizontal direction transverse to the direction of advance. They can for example be carried by a transverse beam of the agricultural machine, where appropriate by the same beam which carries the detection systems 2. In addition, they can be spaced from them in the transverse direction.
  • the agricultural treatment control device further comprises a system for locating the agricultural treatment devices.
  • the location system can be shared with the location system of the detection systems 2 if the relative position of the agricultural treatment devices 3 and of the detection systems 2 is known.
  • the agricultural treatment control device further comprises a communication system connecting the detection systems 2 of weeds or leaf symptoms of deficiencies or diseases.
  • the agricultural treatment device further comprises a communication system suitable for exchanging data between the detection systems 2 of weeds or leaf symptoms of deficiencies or diseases and the agricultural treatment devices 3.
  • the number of controllable agricultural treatment devices 3 need not be the same as the number of detection systems 2 for weeds or leaf symptoms of deficiency or disease. Indeed, according to one example, the collaborative treatment decision is transmitted to the controllable agricultural treatment device 3 having the least distance from the target plant.
  • FIG. 11 illustrates the device, provided with two detection systems 2 of weeds or leaf symptoms of deficiencies or diseases, mounted on an agricultural machine 1, in which each of the detection systems 2 of weeds or leaf symptoms of deficiencies or diseases , is directed at an angle towards the ground of the agricultural plot 5, and having an overlap of their respective detection zones.
  • the first detection system will be characterized by the reference “.1”
  • the second detection system will be characterized by the reference “.2”.
  • said detection system 2.1 of weeds or leaf symptoms of deficiencies or diseases takes a picture 6.1 of the area of agricultural plot 5 facing its objective; said detection system 2.2 of weeds or leaf symptoms of deficiencies or diseases, takes a snapshot 6.2 of the area of agricultural plot 5 facing its objective; said zones facing the optical objectives 9 of said detection systems 2.1 and 2.2 of weeds or leaf symptoms of deficiencies or diseases, have a common acquisition zone.
  • Said projected image data are used to detect the presence of weeds or leaf symptoms of deficiencies or diseases from the peculiarities of weeds or leaf symptoms of deficiencies or diseases determined by one of the above methods, in order to detect the areas, identified at the coordinates of the projected image X ta rget and Y tar get, in said projected image data in which the target plants 4 are present.
  • a target plant 4 is a plant for which the detection device detects a weed or a leaf symptom of deficiency or disease.
  • - sensor angia is a predetermined angle measured between the vertical and the average viewing angle of the detection system 2 of weeds or leaf symptoms of deficiencies or diseases
  • - sensor height is a predetermined distance from the detection system 2 of weeds or leaf symptoms of deficiencies or diseases to a horizontal reference plane which is intended to correspond to a mean horizontal plane of the soil;
  • ratiopixel2meter is the ratio between one pixel in the image and one meter on the ground
  • - X detect is the x coordinate, in pixels, of the center of the detection in the projected image
  • - Y detect is the y coordinate, in pixels, of the center of the detection in the projected image
  • - X target is the relative longitudinal coordinate in meters of the target plant 4 detected in the projected image
  • - Y target is the relative coordinate in meters facing said detection system 2 of weeds or leaf symptoms of deficiencies or diseases of the target plant 4 detected in the projected image.
  • Each of the systems for detecting weeds or leaf symptoms of deficiencies or diseases continuously calculates the instantaneous speed of movement by means of said location information of the system for detecting weeds or leaf symptoms of deficiencies or diseases obtained by continuous by means of the tracking system.
  • the speed information is necessary in order to estimate the control time of the agricultural treatment device and to anticipate the treatment time according to the agricultural treatment device.
  • the instantaneous speed of movement is obtained by the control system by communication with the controller of the agricultural machine.
  • the control device determines the or the processing devices to be actuated, and the temporal characteristics (instant, duration, etc.) of this actuation.
  • the treatment module determines an activation time interval of the agricultural treatment device 3 for the agricultural treatment of the portion of the agricultural area identified as requiring agricultural treatment.
  • the time interval has a predetermined duration including an instant of treatment of the portion of the agricultural area around an average instant determined for a portion of the agricultural area identified as requiring agricultural treatment determined in the horizontal plane of the implement. treatment.
  • the instant determined for the portion of the agricultural area identified as requiring agricultural treatment determined in the horizontal plane of the treatment tool is called instant
  • the processing time interval can for example comprise a lower limit and an upper limit, the average of which corresponds to the “average” instant.
  • the time interval is determined to last sufficient time for the agricultural treatment device 3 to process an agricultural zone which includes the target plant 4, independently of the exact location of the target plant 4 in the terrestrial frame of reference.
  • - X D is a predetermined value representing the abscissa of the processing device 3 in the horizontal plane of the processing tool in the frame of reference of the agricultural machine;
  • - X m1 is a predetermined value corresponding to an upstream offset
  • - X m2 is a predetermined value corresponding to a downstream offset.
  • the Y Detect coordinate can be taken into account to choose the agricultural treatment device 3 from among several agricultural treatment devices spaced in the y direction.
  • the rotation matrix only takes into account the orientation of the sensor. Thus, for a given orientation of the sensor in the terrestrial frame of reference T, the same transformation is applied to the matrix representing the acquired image in order to obtain the projected image.
  • the projected image is considered to be obtained substantially above the target plant in the horizontal plane of movement of the treatment tool.
  • the time interval corresponding to the activation of the agricultural treatment device 3 is long enough for the agricultural treatment to take place when the activated agricultural treatment device 3 treats the area to be treated.
  • the above determination makes it possible to determine the position of the weed in an instantaneous horizontal plane of the treatment tool.
  • this orientation may be taken into account when calculating the projected image.
  • the horizontal plane of the treatment tool is then a plane parallel to the ground.
  • the piloting commands are transmitted to said at least one agricultural processing device by means of the means of communication between said detection systems. 'weeds or leaf symptoms of deficiencies or diseases and said agricultural treatment device.
  • the agricultural treatment devices are actuated for a period which includes the instant when the agricultural treatment device is above the target plant.
  • the command to be sent to each of said at least one agricultural treatment device 3 is a pressure and flow control taking into account the presence of a target plant during the time interval in the spray zone of said spreading nozzle.
  • the command to be sent to each of said at least one agricultural treatment device 3 is a command of transverse and longitudinal offsets, and of lighting power. taking into account the presence of a target plant during the time interval in the range of said LASER.
  • the command to be sent to each of said at least one agricultural treatment device 3 is a pressure and flow control taking into account counts the presence of a target plant during the time interval in the range zone of the injection nozzle of the high pressure water.
  • the command to be sent to each of said at least one agricultural treatment device 3 is an activation command taking into account the presence of a target plant during the time interval in the area of said mechanical hoeing weed control tool.
  • the command to be sent to each of said at least one agricultural treatment device 3 is an activation command taking into account the presence of a target plant during the time interval in the area of said electric weed control tool.
  • the acquired image is first projected in a given frame of reference, then the detection of weed or leaf deficiency symptom or disease is implemented for the projected image.
  • said communication system between said at least two detection systems 2 of weeds or leaf symptoms of deficiencies or diseases and said au at least one agricultural treatment device 3 is a wired Ethernet 1 Gigabit per second network thus allowing each of said at least two detection systems 2 of weeds or leaf symptoms of deficiencies or diseases to communicate with the other detection systems 2 of weeds or leaf symptoms of deficiencies or diseases as well as with said at least one agricultural treatment device 3.

Landscapes

  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Environmental Sciences (AREA)
  • Zoology (AREA)
  • Wood Science & Technology (AREA)
  • Pest Control & Pesticides (AREA)
  • Insects & Arthropods (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Catching Or Destruction (AREA)
  • Guiding Agricultural Machines (AREA)

Abstract

Procédé informatisé de contrôle d'un traitement agricole dans lequel; un module de réception reçoit une image bidimensionnelle d'une zone agricole acquise par un capteur, un module de traitement (16) détermine un intervalle de temps d'activation d'un dispositif de traitement agricole pour le traitement agricole d'une portion de la zone agricole identifiée comme nécessitant un traitement agricole avec un réseau de neurones (20) traitant l'image. L'intervalle de temps présente une durée prédéterminée qui inclut un instant de traitement de la portion de la zone agricole autour d'un instant moyen déterminé pour une portion virtuelle de la zone agricole identifiée comme nécessitant un traitement agricole déterminée dans le plan horizontal du dispositif de traitement agricole (3).

Description

PROCEDE ET SYSTEME DE CONTROLE DE TRAITEMENT AGRICOLE
[1] DOMAINE DE L’INVENTION
[2] La présente invention se rapporte aux procédés et aux systèmes de contrôle de traitement agricole.
[3] ARRIERE-PLAN TECHNOLOGIQUE
[4] Les cultures agricoles nécessitent un entretien régulier afin d’optimiser la production agricole. Les traitements de fertilisation, de désherbage, de lutte contre les carences, ou de lutte contre les maladies ou nuisibles sont nécessaires afin d’optimiser le rendement de production de ces cultures.
[5] Les techniques culturales modernes tendent à réduire les intrants et traitements, dans cet objectif, elles proposent différentes méthodes afin de traiter ces problématiques.
[6] Les mesures prophylactiques, dont l’objectif est de réduire au maximum le nombre d’adventices présents sur une parcelle agricole entrant en concurrence avec la culture sont largement employées dans les itinéraires techniques des grandes cultures et cultures maraîchères. Les méthodes suivantes sont recommandées dans cet objectif :
- Les rotations de cultures fut l’une des premières méthodes théorisée dès le début du XXe siècle, tel que décrit dans le document « Clyde E. Leighty, 1938 Yearbook of Agriculture », consistant en une alternance des cultures automnales et printanières cela afin de rompre certains cycles biologiques des adventices ;
- le labour permet de réduire le nombre d’adventices dans la culture par enfouissement des graines de ceux-ci ;
- le faux semis, tel que décrit dans le document « Evaluating Cover Crops for Benefits, Costs and Performance within Cropping System Niches. » Agronomy Journal 97 (1). American Society of Agronomy: 322-32, en faisant lever des adventices à levée rapide, détruits avant le semis de la culture permet également de réduire le taux d’adventices présents dans la culture.
[7] Les mesures curatives, dont l’objectif est d’éviter les levées d’adventices dans la culture, et d’avoir une incidence sur le rendement de celle-ci recommandées sont les suivantes :
- Le désherbage chimique, tel que décrit dans le document « Pulvérisation en grandes cultures. Les clés de la réussite », Arvalis, permet d’éviter les levées d’adventices dans la culture. Les produits phytosanitaires dédiés au désherbage chimique sont adaptés soit à un traitement pré-levée permettant d’éviter la germination des adventices présents à l’état de graines, soit à un traitement post-levée, permettant de détruire les adventices ayant levé dans la culture. Le désherbage chimique est soit sélectif, permettant de traiter une typologie d’adventice, soit non-sélectif, permettant de détruire l’ensemble des végétaux présent dans la parcelle au moment du traitement. L’utilisation répétée d’un même groupe chimique de désherbant entraîne l’apparition de résistances des adventices, ainsi qu’une phytotoxicité ayant un impact sur le rendement de la culture. Les désherbants chimiques sont appliqués sur la parcelle au moyen d’un pulvérisateur ;
- le désherbage mécanique tel que décrit dans le document « La bineuse, un outil adapté à une large gamme de sol », Arvalis, en pré-levée ou post-levée, permet de détruire soit les plantules d’adventices, soit les adventices à un stade plus avancé. Ce procédé de désherbage améliore la structure du sol et perturbe également le cycle de certains ravageurs. Les outils employés pour un désherbage mécanique sont les herses étrilles ou houes rotatives pour un désherbage complet ou les bineuses à dents pour un traitement inter-rang ou sous le rang ;
- des méthodes alternatives sont développées, tel que décrit dans le document «Alternative methods in weed management to the use of glyphosate and other herbicide », pesticide action network europe, 2018 (second édition), avec notamment, le traitement des adventices par injection d’un courant électrique, consistant à détruire chaque adventice levé par éclatement des cellules biologiques en provoquant une évaporation de l’eau contenue dans celles-ci, les traitements des adventices par chaleur, dont les procédés sont basés sur l’utilisation de laser, ou d’eau chaude haute pression, permettent de détruire sélectivement les adventices par un apport calorique suffisant à la destruction des cellules biologiques de l’adventice.
[8] Les méthodes de traitement des carences et des maladies ou de lutte contre les nuisibles recommandées sont essentiellement basées sur des traitements chimiques.
[9] Les traitements, qu’ils soient chimiques, mécaniques ou alternatifs, sont exécutés par un engin, généralement attachée à un véhicule motorisé qui se déplace dans la culture.
[10] Ces traitements, sont traditionnellement larges et ne prennent pas en compte la présence ou non d’adventices, des nuisibles, des carences ou des maladies, en traitant la totalité de la parcelle agricole de façon homogène. Ce mode de contrôle est peu précis et entraîne une surutilisation des produits phytosanitaires lorsque le traitement est chimique, ou un débit de chantier réduit lorsque le traitement est mécanique ou alternatif. [11] Dans ce contexte, la thèse « Segmentation d’images pour la localisation d’adventices. Application à la réalisation d’un système de vision pour une pulvérisation spécifique en temps réel », Jérémie Bossu, Université de Bourgogne/CNRS 5158, 4 décembre 2007, décrit un dispositif expérimental de pilotage d’épandage comprenant une caméra montée sur un engin agricole, une unité centrale de détection et de calcul de l’instant optimal de pulvérisation, prenant en compte la position des plantes dans les images acquises par la caméra. Le prototype est testé sur une route peinte.
[12] Le document WO2012/032245, « Système de commande pour épandage agricole », décrit un système de commande d’épandage comprenant un ensemble de buses d’épandage, des moyens de cartographie de plantes à traiter utilisant, dans une forme de réalisation, des caméras, et des moyens pour piloter l’épandage en fonction des données de cartographie produite. Ce système de commande, nécessitent un premier passage du système dans la parcelle agricole afin de produire une cartographie de cette parcelle agricole utilisée dans un deuxième passage pour l’application du traitement.
[13] Le document WO2012/122988, « Rampe de pulvérisation pour pulvériser de manière sélective une composition désherbante sur des dicotylédones », décrit un procédé permettant de discerner une catégorie d’adventices parmi d’autres adventices afin de sélectivement traiter les adventices concernées par la détection. Ce procédé utilise une caméra stéréoscopique afin de discerner les adventices, et ne permet pas de discerner les adventices de la même famille, par exemple dicotylédones, à des stades précoces. De la même façon, ce procédé n’est pas adapté à une détection de symptômes foliaires de carences ou maladies.
[14] Le document US2018/0240228, « Sélective plant détection and treatment using green luminance photometric machine vision scan with real time chromaticity operations and image parameter floors for low Processing load », décrit un procédé permettant la détection de végétaux dans une image et de cibler ceux-ci dans un traitement. Ce procédé n’est pas adapté à une détection sélective des familles d’adventices, ni à la détection de symptômes foliaires de carences ou maladies.
[15] Le document FR 3063206 nécessite un système de mesure de distance utilisé pour acquérir en temps réel une information de la distance au sol de la caméra. Dans le domaine agricole, on tente toutefois tant que possible de limiter au maximum l’utilisation de composants électroniques embarqués, qui sont soumis à rude épreuve dans cet environnement, ce qui implique également une maintenance importante et les coûts associés.
[16] RESUME DE L’INVENTION [17] Plus précisément, l’invention se rapporte à un procédé informatisé de contrôle d’un traitement agricole.
[18] Un module de réception reçoit au moins une image bidimensionnelle d’une zone agricole acquise par un capteur.
[19] Un module de traitement détermine une image projetée dans le plan horizontal du dispositif de traitement agricole à partir de ladite image bidimensionnelle. Le module de traitement détermine une portion virtuelle de la zone agricole identifiée comme nécessitant un traitement agricole dans le plan horizontal du dispositif de traitement agricole en utilisant un réseau de neurones traitant ladite image projetée. Le module de traitement détermine un instant moyen correspondant à un instant de traitement de ladite portion virtuelle de la zone agricole en utilisant une localisation relative d’un dispositif de traitement agricole et du capteur, et une vitesse de déplacement du capteur.
[20] Le module de traitement détermine une borne inférieure et une borne supérieure d’un intervalle de temps d’activation du dispositif de traitement agricole pour le traitement agricole d’une portion de la zone agricole identifiée comme nécessitant un traitement agricole ledit instant moyen étant à l’intérieur de l’intervalle de temps d’activation de durée prédéterminée de sorte que l’intervalle de temps inclut un instant de traitement de la portion de la zone agricole.
[21] L’invention permet ainsi un traitement en temps réel de la parcelle agricole, qui soit dimensionné à l’échelle des portions nécessitant réellement d’être traitées.
[22] Grâce à ces dispositions, un traitement contrôlé de la parcelle agricole est possible.
[23] Selon différents aspects, il est possible de prévoir l’une et/ou l’autre des dispositions ci-dessous.
[24] Selon une réalisation, l’image bidimensionnelle comprend au moins une diffraction comprenant des caractéristiques hyperspectrales, et dans lequel le réseau de neurones traite lesdites informations hyperspectrales.
[25] Selon une réalisation, le réseau de neurones traite en outre une image bidimensionnelle non diffractée de la zone agricole.
[26] Selon une réalisation, le module de traitement met en œuvre une projection prenant en compte l’orientation instantanée du capteur.
[27] Selon une réalisation, le capteur acquière l’image bidimensionnelle de la zone agricole, et transmet l’image bidirectionnelle au module de réception [28] Selon un aspect, l’invention se rapporte à un procédé de traitement agricole, dans lequel on applique ce procédé informatisé de contrôle de traitement agricole, et dans lequel on applique un traitement agricole pendant l’intervalle de temps déterminé.
[29] Selon une réalisation, on sélectionne un dispositif de traitement agricole parmi une pluralité de dispositifs de traitement agricole à partir des localisations d’une pluralité de dispositifs de traitement agricole.
[30] Selon un aspect, l’invention se rapporte à un programme d’ordinateur comprenant des instructions de code de programme pour l’exécution de ce procédé lorsque le programme est exécuté sur un ordinateur.
[31] Selon un aspect, l’invention se rapporte à un système informatisé de contrôle d’un traitement agricole comprenant :
. un module de réception adapté pour recevoir au moins une image bidimensionnelle d’une zone agricole acquise par un capteur,
. un module de traitement adapté pour déterminer une image projetée dans le plan horizontal d’un dispositif de traitement agricole à partir de ladite image bidimensionnelle, une portion virtuelle de la zone agricole identifiée comme nécessitant un traitement agricole dans le plan horizontal du dispositif de traitement agricole en utilisant un réseau de neurones traitant ladite image projetée, un instant moyen correspondant à un instant de traitement de ladite portion virtuelle de la zone agricole en utilisant une localisation relative d’un dispositif de traitement agricole et du capteur, et une vitesse de déplacement du capteur, une borne inférieure et une borne supérieure d’un intervalle de temps d’activation du dispositif de traitement agricole pour le traitement agricole d’une portion de la zone agricole identifiée comme nécessitant un traitement agricole, ledit instant moyen étant à l’intérieur de l’intervalle de temps d’activation de durée prédéterminée de sorte que l’intervalle de temps inclut un instant de traitement de la portion de la zone agricole .
[32] Selon un aspect, l’invention se rapporte à une machine agricole comprenant un tel système informatisé de contrôle de traitement agricole, un capteur adapté pour acquérir l’image bidimensionnelle, et un dispositif de traitement agricole adapté pour traiter la parcelle agricole pendant l’intervalle de temps déterminé par le système informatisé de contrôle de traitement agricole.
[33] BREVE DESCRIPTION DES DESSINS
[34] Des modes de réalisation de l’invention seront décrits ci-dessous par référence aux dessins, décrits brièvement ci-dessous :
[35] - [Fig. 1] : une représentation schématique du dispositif complet ; et [36] - [Fig. 2] : une représentation schématique structurelle des éléments du dispositif de la Fig. 1 ;
[37] - [Fig. 3] : une représentation schématique de face d'un dispositif de capture d'une image hyperspectrale selon un mode de réalisation de l'invention ; [38] - [Fig. 4] : une représentation schématique structurelle des éléments du dispositif de la figure 3 ;
[39] - [Fig. 5] : une représentation schématique structurelle des éléments d’un dispositif de capture et de détection dans une scène hyperspectrale selon un mode de réalisation de l’invention ; [40] - [Fig. 6] : une représentation schématique structurelle alternative des éléments du dispositif de la Fig. 5 ;
[41] - [Fig. 7] : une représentation schématique des diffractions obtenues par le dispositif d’acquisition de la Fig. 5 ;
[42] - [Fig. 8] : une représentation schématique de l’architecture du réseau de neurones de la Fig. 5 ;
[43] - [Fig. 9] : une représentation schématique structurelle des éléments d’un dispositif de capture et de détection dans une scène hyperspectrale selon un mode de réalisation de l’invention ;
[44] - [Fig. 10] : une représentation schématique de l’architecture du réseau de neurones de la Fig. 9.
[45] - [Fig. 11] : une représentation schématique structurelle, vue en projection, des éléments du dispositif de la Fig. 1.
[46] Sur les dessins, des références identiques désignent des objets identiques ou similaires. [47] DESCRIPTION DETAILLEE
[48] La Fig. 1 illustre un dispositif de contrôle de traitement agricole coopératif destiné à être monté sur une machine agricole 1, ladite machine agricole 1 comprenant au moins un dispositif de traitement agricole contrôlable 3 ; ledit dispositif de contrôle de traitement agricole comprenant au moins un système de détection 2 d’adventices ou de symptômes foliaires de carences ou maladie, chacun étant adapté mécaniquement pour une fixation sur la machine agricole 1 et présentant un angle de visée de l’objectif d’acquisition en direction du sens d’avancement de ladite machine agricole 1. Comme on peut le voir en particulier sur la figure 1, la machine agricole se déplace dans la parcelle agricole 5 selon une direction d’avancement. Les systèmes de détection 2 peuvent être disposés espacés les uns par rapport aux autres selon une direction horizontale transversale à la direction d’avancement. Ils peuvent être par exemple portés par une poutre transversale de la machine agricole. Pour fixer les idées, on peut définir l’axe « x » comme l’axe d’avancement de la machine agricole, et « y » l’axe horizontal transversal (sensiblement parallèle à la direction principale de la poutre). Le dispositif de traitement agricole 3 est contrôlable pour traiter une zone à traiter en aval de la zone imagée par le système de détection 2 d’adventices ou de symptômes foliaires de carences ou de maladies le long du déplacement de la machine agricole.
[49] Tel qu’illustré sur la Fig. 2, les systèmes de détection 2 d’adventices ou de symptômes foliaires de carences ou maladies sont fixés sur la machine agricole de façon à capturer les informations visuelles de la parcelle agricole 5. Dans l’exemple de réalisation, les systèmes de détection 2 d’adventices ou de symptômes foliaires de carence ou maladies présentent un champ de vision orienté dans le sens d’avancement de la machine agricole.
De plus, les systèmes de détection 2 d’adventices ou de symptômes foliaires de carence ou maladies sont au-dessus du sol. Par conséquent, les systèmes de détection 2 d’adventices ou de symptômes foliaires de carence ou maladies sont orientés de sorte que leur axe focal est incliné par rapport au plan horizontal. On prévoit par exemple une orientation de 30°, une orientation de 45°, ou une orientation de 60° par rapport au plan horizontal. Par exemple, un capteur hyperspectral, tel que décrit dans le document FR1873313, « Dispositif de détection à acquisition hyperspectrale » ou dans le document FR1901202, « Dispositif de détection hyperspectrale par fusion de capteurs », ou dans le document FR1905916, « Dispositif de détection hyperspectrale », ou dans le document WO2019EP85847, « Dispositif de détection hyperspectrale », peut être utilisé pour chacun desdits systèmes de détection 2 d’adventices ou de symptômes foliaires de carences ou maladies.
[50] Selon un premier mode de réalisation, le système de détection 2 d’adventices ou de symptômes foliaires de carences ou maladies comprend un dispositif de capture 10 et un module informatisé de caractérisation 21. La figure 3 illustre un dispositif de capture 10 comportant trois capteurs juxtaposés 11-13. La figure 3 est présentée dans le plan incliné formé par les axes focaux parallèles des trois capteurs. Un premier capteur 11 permet d'obtenir une image compressée 14' d'un plan focal P1 T d'une scène observée. Tel qu'illustré sur la figure 4, ce premier capteur 11 comporte une première lentille convergente 30 qui focalise le plan focal P1 sur une ouverture 31. Un collimateur 32 capte les rayons traversant l'ouverture 31 et transmet ces rayons à un réseau de diffraction 33. Une seconde lentille convergente 34 focalise ces rayons issus du réseau de diffraction 33 sur une surface de captation 35. [51] La structure de ce réseau optique est relativement similaire à celle décrite dans la publication scientifique « Computed-tomography imaging spectrometer : expérimental calibration and reconstruction results », publiée dans APPLIED OPTICS, volume 34 (1995) nombre 22.
[52] Cette structure optique permet d'obtenir une image compressée 14’, illustrée sur la figure 7, présentant plusieurs diffractions R0-R7 du plan focal P1 T disposées autour d'une image non diffractée de petite taille. Dans l'exemple des figures 3, 4 et 7, l'image compressée présente huit diffractions R0-R7 distinctes obtenues avec deux axes de diffraction du réseau de diffraction 33 disposés aussi éloignés que possible l’un de l’autre dans un plan normal à l’axe optique, c’est-à-dire sensiblement orthogonaux l’un à l’autre.
[53] La surface de captation 35 peut correspondre à un capteur CCD (pour « charge- coupled device » dans la littérature anglo-saxonne, c'est-à-dire un dispositif à transfert de charge), à un capteur CMOS (pour « complementary metal-oxide-semiconductor » dans la littérature anglo-saxonne, une technologie de fabrication de composants électroniques), ou à tout autre capteur connu. Par exemple, la publication scientifique « Practical Spectral Photography », publiée dans Eurographics, volume 31 (2012) nombre 2, propose d'associer cette structure optique à un appareil photo numérique standard pour capter l'image compressée.
[54] De préférence, chaque pixel de l'image compressée 14’ est codé sur 8 bits permettant ainsi de représenter 256 couleurs.
[55] Un second capteur 12 permet d'obtenir une image non diffractée 17' d'un plan focal P12' de la même scène observée, mais avec un décalage induit par le décalage entre le premier 11 et le second capteur 12. Ce second capteur 12 correspond à un capteur RVB, c'est-à-dire un capteur permettant de coder l'influence des trois couleurs Rouge, Verte et Bleue du plan focal P12'. Il permet de rendre compte de l'influence de l'utilisation d'un filtre bleu F 1 , d'un filtre vert F2 et d'un filtre rouge F3 sur la scène observée.
[56] Ce capteur 12 peut être réalisé par un capteur CMOS ou CCD associé à filtre de Bayer. En variante, tout autre capteur peut être utilisé pour acquérir cette image RVB 17'. De préférence, chaque couleur de chaque pixel de l'image RVB 17' est codée sur 8 bits. Ainsi, chaque pixel de l'image RVB 17' est codé sur 3 fois 8 bits. En variante, on pourrait utiliser un capteur monochrome.
[57] Un troisième capteur 13 permet d'obtenir une image infrarouge 18', IR, d'un troisième plan focal P13' de la même scène observée avec également un décalage avec le premier 11 et le second capteurs 12. Ce capteur 13 permet de rendre compte de l'influence de l'utilisation d'un filtre infrarouge F4 sur la scène observée. [58] Tout type de capteur connu peut être utilisé pour acquérir cette image IR 18. De préférence, chaque pixel de l'image IR 18 est codé sur 8 bits. En variante, on utilise seulement l’un ou l’autre du capteur 12 et du capteur 13.
[59] La distance entre les trois capteurs 11-13 peut être inférieure à 1 cm de sorte à obtenir un recoupement important des plans focaux P1 T-P13' par les trois capteurs 11-13. Les capteurs sont par exemple alignés selon l’axe x. La topologie et le nombre des capteurs peuvent varier sans changer l'invention.
[60] Par exemple, les capteurs 11-13 peuvent acquérir une image de la même scène observée en utilisant des miroirs semi-transparents pour transmettre les informations de la scène observée aux différents capteurs 11-13. La figure 3 illustre un dispositif 10 comportant trois capteurs 11-13. En variante, d'autres capteurs peuvent être montés sur le dispositif 10 pour augmenter les informations contenues dans l'image hyperspectrale. Par exemple, le dispositif 10 peut intégrer un capteur dont la longueur d'onde est comprise entre 0,001 nanomètre et 10 nanomètres ou un capteur dont la longueur d'onde est comprise entre 10000 nanomètres et 20000 nanomètres.
[61] Tel qu'illustré sur la figure 4, le dispositif 10 comporte également un module de traitement 16 à partir des différentes diffractions R0- R7 de l'image diffractée 14’ et des images non-diffractées 17’, 18’.
[62] Dans l'exemple des figures 3 et 4, dans lequel les capteurs 11-13 sont juxtaposés, une étape de prétraitement est réalisée pour extraire un plan focal P11-P13 présent sur chacune des images 14', 17'-18' acquises par les trois capteurs 11-13. Ce prétraitement consiste, pour chaque plan focal P1 T-P13', à isoler 25 la partie commune des plans focaux P1 -P13' puis à extraire 26 cette partie commune pour former l'image 14, 17- 18 de chaque plan focal P11-P13 observé par le capteur 11-13 spécifique. La partie de chaque image 14', 17'-18' à isoler peut être définie directement dans une mémoire du dispositif de capture 10 en fonction des choix de positionnement des capteurs 11-13 entre eux, ou une étape d'apprentissage peut être utilisée pour identifier la partie à isoler 25.
[63] De préférence, les images 17'-18' issues de capteurs RVB et IR sont recoupées en utilisant une corrélation croisée en deux dimensions. L'extraction du plan focal de l'image diffractée 14' est calculée par interpolation des décalages en x et y entre les capteurs 12-13 ramenés à la position du capteur 11 de l'image diffractée en connaissant la distance entre chaque capteur 11-13. Cette étape de prétraitement n'est pas toujours nécessaire, notamment, lorsque les capteurs 11-13 sont configurés pour capturer le même plan focal, par exemple avec l'utilisation de miroirs semi-transparents. [64] En variante, tel qu'illustré sur la Fig. 6, le dispositif de capture 202 peut comporter une première lentille convergente 241 qui focalise le plan focal 303 sur un masque 242. Un collimateur 243 capte les rayons traversant le masque 242 et transmet ces rayons à un prisme 244. Une seconde lentille convergente 245 focalise ces rayons issus du prisme 244 sur une surface de captation 246. Le masque 242 définit un codage pour l’image 211.
[65] La structure de cet assemblage optique est relativement similaire à celle décrite dans la publication scientifique « Compressive Coded Aperture Spectral Imaging », IEEE Signal Processing Magazine, Volume 31, Issue 1, Gonzalo R. Arce, David J. Brady, Lawrence Carin, Henry Arguello, and David S. Kittle.
[66] En variante, les surfaces de captation 35 ou 246 peuvent correspondre au dispositif d'acquisition photographique d'un ordiphone ou tout autre dispositif portable incluant un dispositif d'acquisition photographique, en ajoutant le dispositif de capture 202 de la scène hyperspectrale devant le dispositif d'acquisition photographique.
[67] En variante, le système d’acquisition peut comprendre une réalisation mécanique compacte et intégrable dans un dispositif portable et autonome et le système de détection est inclus dans ledit dispositif portable et autonome.
[68] En variante, les surfaces de captation 35 ou 246 peuvent être un dispositif dont les longueurs d'ondes captées ne sont pas dans la partie visible. Par exemple, le dispositif 202 peut intégrer des capteurs dont la longueur d'onde est comprise entre 0,001 nanomètre et 10 nanomètres ou un capteur dont la longueur d'onde est comprise entre 10000 nanomètres et 20000 nanomètres, ou un capteur dont la longueur d'onde est comprise entre 300 nanomètres et 2000 nanomètres. Il peut s’agir d’un dispositif infrarouge.
[69] Ainsi, le module de réception du système de contrôle de traitement agricole reçoit la ou les images bidimensionnelles acquises par le système d’acquisition.
[70] De plus, chaque système de détection 2 peut comprendre un système de localisation, du type comprenant une centrale inertielle et/ou un système de géolocalisation. Le système de localisation est utilisé pour déterminer la localisation de l’adventice ou du symptôme foliaire de carences ou maladies dans un référentiel terrestre attaché à la machine agricole.
[71 ] La projection de ladite donnée image est calculée suivant les relations suivantes :
[72] Imgprojetée — R ImQacquise
[73] R=Rz.Ry. Rx
[77] Où :
- Imgpr0jetée est Ie tenseur contenant les pixels de l’image projetée ; et
- Imgacquise est Ie tenseur contenant les pixels de ladite donnée image brute dans le plan du capteur; et
- R est la matrice contenant les rotations du capteur suivant les trois axes de roulis, tangage et lacet par rapport au référentiel terrestre; et
- a est l’angle de lacet ; et
- b est l’angle de roulis ; et
- y est l’angle de tangage.
[78] Les angles a, b, et g, correspondent respectivement aux angles de lacet, roulis et tangage actuels du dispositif de capture 10 tels que calculés à partir des données brutes de la centrale inertielle embarquée dans le dispositif de capture 10 ; ces informations de roulis, tangage et lacet sont calculées en continu et maintenues à jour par le système de détection 2 d'adventices ou de symptômes foliaires de carences ou maladies considéré au moyen d’un algorithme d’estimation d’attitude utilisant les informations brutes de ladite centrale inertielle embarquée dans le dispositif de capture 10 considéré.
[79] La matrice lmgaCquise est une matrice rectangulaire dont les dimensions sont les dimensions du capteur. Cette matrice correspond à une zone sensiblement en forme de trapèze du sol. La matrice lmgpr0jetée est une matrice comprenant une zone proche d’un trapèze. Le grand côté du trapèze correspondant sensiblement aux pixels les plus hauts du capteur, captant l’image de la partie la plus éloignée du sol, alors que le petit côté du trapèze correspondant sensiblement aux pixels les plus bas du capteur, captant l’image de la partie la plus proche du sol. La zone non nulle a une forme de trapèze si deux des angles de lacet, roulis et tangage sont nuis. Le plus souvent, ces angles seront en effet proches de zéro. La matrice est complétée de pixels d’intensité nulle de manière à former une matrice rectangulaire.
[80] Plus précisément, la projection définie ci-dessus permet de déterminer une matrice lmgpr0jetée dans un plan horizontal. [81] Tel qu’illustré sur la Fig.11 l’ortho-projection des informations d’image acquise de la parcelle agricole 5 parcourue permet d’obtenir les images projetées 7.1 et 7.2 à partir des images 6.1 et 6.2. En particulier, étant donné qu’il n’est pas possible de connaître exactement l’élévation du sol à l’endroit de l’acquisition de l’image, les images projetées 7.1 ou 7.2 représentent une portion virtuelle de la zone agricole dans un plan horizontal. Par
« portion virtuelle », on indique ici que les images projetées 7.1 ou 7.2 ne constituent pas une représentation exacte de la zone agricole, mais une représentation décalée et/ou déformée selon l’élévation inconnue du sol.
[82] Comme représenté sur la figure 5, lorsque l’image 211 du plan focal hyperspectral observé est obtenue, le système de détection 2 met en œuvre un réseau de neurones 212 pour détecter une particularité dans la scène observée à partir des informations de l’image compressée 211.
[83] Ce réseau de neurones 212 vise à déterminer la probabilité de présence de la particularité recherchée pour chaque pixel localisé aux coordonnées x et y de la scène hyperspectrale observée.
[84] Pour ce faire, tel qu'illustré sur la Fig. 8, le réseau de neurones 212 comporte une couche d'entrée 230, apte à extraire les informations de l'image projetée 211 et une couche de sortie 231 , apte à traiter ces informations de sorte à générer une image dont l'intensité de chaque pixel aux coordonnées x et y, correspond à la probabilité de présence de la particularité aux coordonnées x et y de la scène hyperspectrale.
[85] La couche d’entrée 230 est peuplée à partir des pixels formant l’image compressée. Ainsi, la couche d'entrée est un tenseur d'ordre trois, et possède deux dimensions spatiales de taille XMAX et YMAX, et une dimension de profondeur de taille DMAX, correspondant au nombre de sous-ensembles de l’image compressée copiés dans la couche d’entrée. L'invention utilise la relation non linéaire f(xt, yt, dt) (ximg, yimg) définie pour xt e [0..XMAX[, yt e [0..YMAX[ et dt e [0.. DMAX[ permettant de calculer les coordonnées ximg et yimg du pixel de l’image compressée dont l'intensité est copiée dans le tenseur d'ordre trois de ladite couche d'entrée du réseau de neurones aux coordonnées (xt, yt, dt).
[86] Par exemple, dans le cas d’une image compressée 211 obtenue à partir du dispositif de capture de la figure 5, la couche d’entrée 230 peut être peuplée de la manière suivante :
[88] avec : n=floor(M(driyDMAx) ; n compris entre 0 et M, le nombre de diffractions de l'image compressée ; A=(dr1)mod(DMAx/M) ; dt compris entre 1 et DMAX ; xt compris entre 0 et XMAX ; yt compris entre 0 et YMAX ;
XMAX la taille selon l’axe x du tenseur d’ordre trois de la couche d’entrée ;
YMAX la taille selon l’axe y du tenseur d’ordre trois de la couche d’entrée ;
DMAX la profondeur du tenseur d’ordre trois de la couche d’entrée ;
Asiicex, la constante du pas spectral selon l’axe x de ladite image compressée ;
AsiiceY, la constante du pas spectral selon l’axe y de ladite image compressée ;
Xoffsetx(n) correspondant au décalage suivant l'axe x de la diffraction n ; yoffsetY(n) correspondant au décalage suivant l'axe y de la diffraction n.
Floor est un opérateur de troncature bien connu.
Mod représente l’opérateur mathématique modulo.
[89] Comme il est en particulier bien visible sur la figure 8, chaque tranche, en profondeur, du tenseur d’entrée d’ordre trois du réseau de neurones, reçoit une partie d’un lobe de diffraction correspondant sensiblement à un intervalle de longueurs d’onde.
[90] En variante, l’invention permet de corréler les informations contenues dans les différentes diffractions de l’image diffractée avec des informations contenues dans la partie centrale non-diffractée de l’image.
[91] Selon cette variante, on peut rajouter une tranche supplémentaire dans la direction de la profondeur de la couche d’entrée, dont les neurones seront peuplés avec l’intensité détectées dans les pixels de l’image compressée correspondant à la détection non- diffractée. Par exemple, si on affecte à cette tranche la coordonnée dt=0, on peut conserver la formule ci-dessus pour le peuplement de la couche d’entrée pour dt supérieur ou égal à 1, et peupler la couche dt=0 de la manière suivante :
[92] Ximg- (lm9width/2)-X|\/|AX*Xt
[93] yimg- (lm9height/2)-Y|\/|AX*yt
[94] Avec : lmgWidth taille de l’image compressée selon l’axe x ; Imgheight la taille de l’image compressée selon l’axe y.
[95] L’image compressée obtenue par le système optique contient le plan focal de la scène non diffractée au centre, ainsi que les projections diffractées suivant les axes des différents filtres de diffractions. Ainsi, le réseau de neurones utilise, pour la détection directe des particularités recherchées, les informations de ladite au moins une image diffractée suivantes :
- l'intensité lumineuse dans la partie centrale et non-diffractée du plan focal de la scène aux coordonnées x et y ; et
- des intensités lumineuses dans chacune des diffractions de ladite image compressée dont les coordonnées x' et y' sont dépendantes des coordonnées x et y de la partie centrale non diffractée du plan focal de la scène.
[96] En variante, dans le cas d’une image compressée 211 obtenue à partir du dispositif de capture de la figure 6, la couche d’entrée 230 peut être peuplée de la manière suivante :
[97] f(Xt,yt,dt)-{(Ximg-Xt) .(yimg- yt)}(lmg=MASK si dt=0 ; lmg=CASSI si dt>0),
[98] Avec :
MASK : image du masque de compression utilisé,
CASSI : image compressée mesurée,
Img : Image sélectionnée dont le pixel est copié.
[99] Sur la tranche 0 du tenseur d’ordre trois de la couche d’entrée est copiée l’image du masque de compression employé.
[100] Sur les autres tranches du tenseur d’ordre trois de la couche d’entrée est copiée l’image compressée de la scène hyperspectrale.
[101] L'architecture dudit réseau de neurones 212 est composé d'un ensemble de couches convolutives assemblées linéairement et en alternance avec des couches de décimation (pooling), ou d'interpolation (unpooling).
[102] Une couche convolutive de profondeur d, noté CONV(d), est définie par d noyaux de convolution, chacun de ces noyaux de convolution étant appliqué au volume du tenseur d'entrée d'ordre trois et de taille Xinput,yinput,dinput· La couche convolutive génère ainsi un volume de sortie, tenseur d'ordre trois, ayant une profondeur d. Une fonction d'activation ACT est appliquée sur les valeurs calculées du volume de sortie de cette couche convolutive. [103] Les paramètres de chaque noyau de convolution d'une couche convolutive sont spécifiés par la procédure d'apprentissage du réseau de neurones.
[104] Différentes fonctions d'activation ACT peuvent être utilisées. Par exemple, cette fonction peut être une fonction ReLu, définie par l'équation suivante :
[105] ReLu(i) = max(0, i)
[106] En alternance avec les couches convolutives, des couches de décimation (pooling), ou des couches d'interpolation (unpooling) sont insérées.
[107] Une couche de décimation permet de réduire la largeur et la hauteur du tenseur d'ordre trois en entrée pour chaque profondeur dudit tenseur d'ordre trois. Par exemple, une couche de décimation MaxPool(2,2) sélectionne la valeur maximale d'une tuile glissante sur la surface de 2x2 valeurs. Cette opération est appliquée sur l'ensemble des profondeurs du tenseur d'entrée et génère un tenseur de sortie ayant la même profondeur et une largeur divisée par deux, ainsi qu'une hauteur divisée par deux.
[108] Une couche d’interpolation permet d’augmenter la largeur et la hauteur du tenseur d'ordre trois en entrée pour chaque profondeur dudit tenseur d'ordre trois. Par exemple, une couche d’interpolation MaxUnPool(2,2) copie la valeur d’entrée d’un point glissant sur la surface de 2x2 valeurs de sortie. Cette opération est appliquée sur l'ensemble des profondeurs du tenseur d'entrée et génère un tenseur de sortie ayant la même profondeur et une largeur multipliée par deux, ainsi qu'une hauteur multipliée par deux.
[109] Une architecture de réseau de neurones permettant la détection directe de particularités dans la scène hyperspectrale peut être la suivante :
Input
=> CONV(64)
= MaxPool(2,2)
=> CONV(64)
= MaxPool(2,2)
=> CONV(64)
= MaxPool(2,2)
=> CONV(64)
=> CONV(64)
= MaxUnpool(2,2) => CONV(64)
= MaxUnpool(2,2)
=> CONV(64)
= MaxUnpool(2,2)
=> CONV(1)
= Output
[110] En variante, le nombre de couches de convolution CONV(d) et de décimation MaxPool(2,2) peut être modifié afin de faciliter la détection de particularités ayant une complexité sémantique supérieure. Par exemple, un nombre plus élevé de couches de convolution permet de traiter des signatures plus complexes de forme, de texture, ou spectrales de la particularité recherchée dans la scène hyperspectrale.
[111] En variante, le nombre de couches de déconvolution CONV(d) et d’interpolation MaxUnpool(2, 2) peut être modifié afin de faciliter la reconstruction de la couche de sortie. Par exemple, un nombre plus élevé de couches de déconvolution permet de reconstruire une sortie avec une précision plus importante.
[112] En variante, les couches de convolution CONV(64), peuvent avoir une profondeur différente de 64 afin de traiter un nombre de particularités locales différent. Par exemple, une profondeur de 128 permet de traiter localement 128 particularités différentes dans une scène hyperspectrale complexe.
[113] En variante, les couches d’interpolation MaxUnpool(2, 2) peuvent être de dimension d’interpolation différente. Par exemple, une couche MaxUnpool (4, 4) permet d’augmenter la dimension de traitement de la couche supérieure.
[114] En variante, les couches d’activation ACT de type ReLu(i) insérées suite à chaque convolution et déconvolution, peuvent être de type différent. Par exemple, la fonction softplus définie par l’équation : /(t) = log(l + el)peut être utilisée.
[115] En variante, les couches de décimation MaxPool(2, 2) peuvent être de dimension de décimation différente. Par exemple, une couche MaxPool(4, 4) permet de réduire la dimension spatiale plus rapidement et de concentrer la recherche sémantique du réseau de neurones sur les particularités locales.
[116] En variante, des couches entièrement connectées peuvent être insérées entre les deux couches de convolution centrale à la ligne 6 de la description afin de traiter la détection dans un espace mathématique plus élevé. Par exemple, trois couches entièrement connectées de taille 128 peuvent être insérées. [117] En variante, les dimensions des couches de convolution CONV(64), de décimation MaxPool(2, 2), et d’interpolation MaxUnpool(2, 2) peuvent être ajustées sur une ou plusieurs couches, afin d’adapter l’architecture du réseau de neurones au plus proche du type de particularités recherchées dans la scène hyperspectrale.
[118] En variante, des couches de normalisation, par exemple de type BatchNorm ou GroupNorm, tel que décrit dans « Batch Normalization: Accelerating Deep Network Training by Reducing Internai Covariate Shift », Sergey loffe, Christian Szegedy, Février 2015 et
« Group Normalization », Yuxin Wu, Kaiming He, FAI R, Juin 2018 , peuvent être insérées avant ou après chaque couche d’activation ou à différents niveaux de la structure du réseau neuronal.
[119] Les poids dudit réseau de neurones 212 sont calculés au moyen d'un apprentissage. Par exemple, un apprentissage par rétro-propagation du gradient ou ses dérivés à partir de données d'apprentissage peut être utilisé pour calculer ces poids.
[120] En variante, le réseau de neurones 212 peut déterminer la probabilité de présence de plusieurs particularités distinctes au sein de la même scène observée. Dans ce cas, la dernière couche convolutive aura une profondeur correspondant au nombre de particularités distinctes à détecter. Ainsi la couche convolutive CONV(1) est remplacée par une couche convolutive CONV(u), où u correspond au nombre de particularités distinctes à détecter.
[121] La réalisation décrite ci-dessus peut n’utiliser qu’un unique capteur 11. Selon le mode de réalisation décrit en relation avec la figure 4, le dispositif de capture d'une scène hyperspectrale comporte un ensemble de capteurs permettant d'obtenir au moins une image compressée en deux dimensions 211 ou 213, au moins une image standard 312 du plan focal hyperspectral de la scène observée, et au moins une image infra-rouge de celui-ci, les données étant alors placées en entrée du réseau de neurones 20. En variante, comme représenté sur la figure 9, le dispositif d’acquisition 301 d'une scène hyperspectrale comporte un ensemble de capteurs permettant d'obtenir au moins une image compressée en deux dimensions 211 et une image compressée en deux dimensions 213 et au moins une image standard 312 d'un plan focal hyperspectral 303 d'une scène observée.
[122] Le dispositif de capture 102 peut ainsi comprendre un dispositif d’acquisition d’une image « standard » non compressée, comprenant une lentille convergente 331 et une surface de captation 232. Le dispositif de capture 102 peut en outre comprendre un dispositif d’acquisition d’une image compressée tel que décrit ci-dessus en référence avec la figure 6, et un dispositif d’acquisition d’une image compressée tel que décrit ci-dessus en référence avec la figure 5. [123] Dans l’exemple présenté, le dispositif d’acquisition de l’image standard et le dispositif d’acquisition de l’image compressée sont disposés juxtaposés avec des axes optiques parallèles, et des faisceaux optiques se recouvrant au moins partiellement. Ainsi, une portion de la scène hyperspectrale est imagée à la fois par les dispositifs d’acquisition. Ainsi, les plans focaux des différents capteurs d’acquisition des images sont décalés les uns par rapport aux autres transversalement aux axes optiques de ces capteurs.
[124] En variante, on utilise un jeu de miroirs partiellement réfléchissants de sorte à capter une image standard non-diffractées 312 et ladite au moins une image compressée 211, 213 de la même scène hyperspectrale 203 sur plusieurs capteurs simultanément.
[125] En variante, la surface de captation 232 peut être un dispositif dont les longueurs d'ondes captées ne sont pas dans la partie visible. Par exemple, le dispositif 202 peut intégrer des capteurs dont la longueur d'onde est comprise entre 0,001 nanomètre et 10 nanomètres ou un capteur dont la longueur d'onde est comprise entre 10000 nanomètres et 20000 nanomètres, ou un capteur dont la longueur d'onde est comprise entre 300 nanomètres et 2000 nanomètres.
[126] Lorsque les images 211, 312 ou 213 du plan focal hyperspectral observé sont obtenues, le moyen de détection met en œuvre un réseau de neurones 214 pour détecter une particularité dans la scène observée à partir des informations des images compressées 211 et 213, et de l’image standard 312.
[127] En variante, seules les images compressée 211 et standard 312 sont utilisées et traitées par le réseau de neurones 214.
[128] En variante, seules les images compressée 213 et standard 312 sont utilisées et traitées par le réseau de neurones 214.
[129] Ainsi, quand la description se rapporte à un ensemble d’images compressées, il s’agit d’au moins une image compressée.
[130] Ce réseau de neurones 214 vise à déterminer la probabilité de présence de la particularité recherchée pour chaque pixel localisé aux coordonnées x et y de la scène hyperspectrale observée.
[131] Pour ce faire, tel qu'illustré sur la Fig. 10, le réseau de neurones 214 comporte un encodeur 251 pour chaque image compressée et pour chaque image non compressée ; chaque encodeur 251 possède une couche d'entrée 250, apte à extraire les informations de l'image 211, 312 ou 213. Le réseau de neurones fusionne les informations provenant des différents encodeurs 251 au moyen de couches de convolution ou de couches entièrement connectées 252 (cas particulier représenté sur la figure). Un décodeur 253 et sa couche de sortie 350, apte à traiter ces informations de sorte à générer une image dont l'intensité de chaque pixel, à la coordonnée x et y, correspond à la probabilité de présence de la particularité aux coordonnées x et y de la scène hyperspectrale, est inséré suite à la fusion des informations.
[132] Tel qu’illustré sur la Fig. 8, la couche d’entrée 250 d’un encodeur 251 est remplie avec les différentes diffractions de l’image compressée 211 comme décrit ci-dessus.
[133] Le peuplement décrit ci-dessus correspond au peuplement de la première entrée (« Inputl ») du réseau de neurones, selon l’architecture présentée ci-dessous.
[134] Pour la deuxième entrée (« Input2 ») du réseau de neurones, le peuplement de la couche d’entrée relative à l’image « standard » est peuplée en copiant directement l’image « standard » dans le réseau de neurones.
[135] Selon un exemple de réalisation où on utilise également une image compressée 213, la troisième entrée « Input3 » du réseau de neurones est peuplée comme décrit ci-dessus pour l’image compressée 213.
[136] Une architecture de réseau de neurones permettant la détection directe de particularités dans la scène hyperspectrale peut être la suivante :
Inputl Input2 Input3 => CONV(64) => CONV(64) => CONV(64)
= MaxPool(2,2) = MaxPool(2,2) = MaxPool(2,2) => CONV(64) => CONV(64) => CONV(64)
= MaxPool(2,2) = MaxPool(2,2) = MaxPool(2,2)
=> CONV(64)
=> CONV(64)
= MaxUnpool(2,2) => CONV(64)
= MaxUnpool(2,2) => CONV(64)
= MaxUnpool(2,2) => CONV(1)
= Output [137] Dans cette description, « Inputl » correspond à la portion de la couche d’entrée 250 peuplée à partir de l’image compressée 211. « Input2 » correspond à la portion de la couche d’entrée 250 peuplée à partir de l’image standard 312, et « Input3 » correspond à la portion de la couche d’entrée 250 peuplée à partir de l’image compressée 213. La ligne
« CONV(64) » à la cinquième ligne de l’architecture opère la fusion des informations.
[138] En variante, la ligne « CONV(64) » à la cinquième ligne de l’architecture opérant la fusion des informations peut être remplacée par une couche entièrement connectée ayant pour entrée l’ensemble des sorties MaxPool(2, 2) des chemins de traitement de l’ensemble des entrées « inputl », « input2 » et « input3 » et en sortie un tenseur d’ordre un servant d’entrée à la couche suivante « CONV(64) » présentée à la sixième ligne de l’architecture.
[139] Notamment, la couche de fusion du réseau de neurones prend en compte les décalages des plans focaux des différents capteurs d’acquisition des images, et intègre la fonction homographique permettant de fusionner les informations des différents capteurs en prenant en compte les parallaxes des différentes images.
[140] Les variantes présentées ci-dessus pour le mode de réalisation de la figure 8 peuvent également être appliquées ici.
[141] Les poids dudit réseau de neurones 214 sont calculés au moyen d'un apprentissage. Par exemple, un apprentissage par rétro-propagation du gradient ou ses dérivés à partir de données d'apprentissage peut être utilisé pour calculer ces poids.
[142] En variante, le réseau de neurones 214 peut déterminer la probabilité de présence de plusieurs particularités distinctes au sein de la même scène observée. Dans ce cas, la dernière couche convolutive aura une profondeur correspondant au nombre de particularités distinctes à détecter. Ainsi la couche convolutive CONV(1) est remplacée par une couche convolutive CONV(u), où u correspond au nombre de particularités distinctes à détecter.
[143] Selon une variante de réalisation, comme représenté sur la figure 8, on n’utilise pas nécessairement un dispositif d’acquisition dédié distinct pour obtenir l’image « standard » 312. En effet, comme présenté ci-dessus en relation avec la figure 5, dans certains cas, une partie de l’image compressée 211 comprend une image « standard » de la scène hyperspectrale. Il s’agit notamment de la portion d’image C décrite ci-dessus. Dans ce cas, on peut utiliser cette portion d’image « C » de l’image compressée 211 comme image
« standard » d’entrée du réseau de neurones.
[144] Ainsi, le réseau de neurones 214 utilise, pour la détection directe des particularités recherchées, les informations de ladite au moins une image compressée suivantes : - l'intensité lumineuse dans la partie centrale et non-diffractée du plan focal de la scène aux coordonnées x et y ; et
- des intensités lumineuses dans chacune des diffractions de ladite image compressée dont les coordonnées x' et y' sont dépendantes des coordonnées x et y de la partie centrale non diffractée du plan focal de la scène.
[145] L’invention a été présentée ci-dessus dans différentes variantes, dans lesquelles une particularité détectée de la scène hyperspectrale est déterminée à partir d’une image bidimensionnelle dont la valeur de chaque pixel aux cordonnées x et y correspond à la probabilité de présence d’une particularité aux mêmes coordonnées x et y du plan focal hyperspectral de la scène. Notamment, la particularité correspond à une particularité potentiellement indicatrice de la présence d’un adventice ou d’un symptôme foliaire de carence ou maladie en ce pixel. Cette image bidimensionnelle est utilisée pour déterminer la localisation, dans le référentiel de l’image projetée, de l’adventive ou symptôme foliaire de carence ou maladie. La localisation est par exemple déterminée comme le barycentre d’un ensemble de pixels juxtaposés pour lesquels l’intensité de probabilité de détection est supérieure à un seuil prédéterminé. Chaque adventice, chaque symptôme foliaire de carence ou de maladie peut être caractérisé par une ou plusieurs particularités. Le système de détection combine alors les résultats de la détection de chaque particularité associée à un adventice ou à un symptôme foliaire de carence ou de maladie pour déterminer une probabilité de présence de l’adventice ou du symptôme foliaire de carence ou de maladie. Le cas échéant, ce processus est répété pour l’ensemble des adventices ou symptômes foliaires de carence ou de maladie prédéterminés recherchés dans la parcelle. On peut, toutefois, en variante, prévoir, selon les modes de réalisation de l’invention, la détection d’autres particularités. Selon un exemple, une telle autre particularité peut être obtenue à partir de l’image issue du réseau de neurones présentée ci-dessus. Pour cela, le réseau de neurones 212, 214, peut présenter une couche ultérieure, adaptée pour traiter l’image en question et déterminer la particularité recherchée.
[146] Selon une variante, on comprendra que le réseau de neurones peut également être architecturé pour déterminer cette particularité et la localisation de celle-ci dans le référentiel de l’image projetée sans passer par la détermination d’une image de probabilités de présence de la particularité en chaque pixel.
[147] Dans le cadre de la présente demande de brevet, le système de détection décrit ci- dessus est considéré comme un unique système de détection, même si celui-ci utilise différents capteurs dont les informations sont fusionnées pour détecter un adventice ou un syndrome foliaire de carence ou de maladie. [148] La pluralité desdits au moins un dispositif de traitement agricole contrôlable 3 est également fixée sur la machine agricole de façon à pouvoir traiter les végétaux cible 4. Comme on peut le voir en particulier sur la figure 1 , les dispositifs de traitement agricole 3 peuvent être disposés espacés les uns par rapport aux autres selon une direction horizontale transversale à la direction d’avancement. Ils peuvent être par exemple portés par une poutre transversale de la machine agricole, le cas échéant par la même poutre qui porte les systèmes de détection 2. De plus, ils peuvent être espacés de ceux-ci dans la direction transversale. Le dispositif de contrôle de traitement agricole comprend en outre un système de localisation des dispositifs de traitement agricole. Le système de localisation peut être mutualisé avec le système de localisation des systèmes de détection 2 si la position relative des dispositifs de traitement agricole 3 et des systèmes de détection 2 est connue. Le dispositif de contrôle de traitement agricole comprend en outre un système de communication connectant les systèmes de détection 2 d'adventices ou de symptômes foliaires de carences ou maladies. Le dispositif de traitement agricole comprend en outre un système de communication adapté pour échanger des données entre les systèmes de détection 2 d'adventices ou de symptômes foliaires de carences ou maladies et les dispositifs de traitement agricole 3.
[149] Il n’est pas nécessaire que le nombre de dispositifs de traitement agricole contrôlables 3 soit le même que le nombre de systèmes de détection 2 d’adventices ou de symptômes foliaires de carences ou maladies. En effet, selon un exemple, la décision collaborative de traitement est transmise au dispositif de traitement agricole contrôlable 3 ayant le moins de distance avec le végétal cible.
[150] La Fig. 11 illustre le dispositif, muni de deux systèmes de détection 2 d’adventices ou de symptômes foliaires de carences ou maladies, monté sur une machine agricole 1, dans lequel chacun des systèmes de détection 2 d’adventices ou de symptômes foliaires de carences ou maladies, est dirigé avec un angle vers le sol de la parcelle agricole 5, et ayant un recouvrement de leurs zones de détection respectives. Dans ce qui suit, le premier système de détection sera caractérisé par la référence « .1 », et le deuxième système de détection sera caractérisé par la référence « .2 ».
[151] A chaque instant, ledit système de détection 2.1 d’adventices ou de symptômes foliaires de carences ou maladies, prend un cliché 6.1 de la zone de la parcelle agricole 5 face à son objectif ; ledit système de détection 2.2 d’adventices ou de symptômes foliaires de carences ou maladies, prend un cliché 6.2 de la zone de la parcelle agricole 5 face à son objectif ; lesdites zones face aux objectifs optiques 9 desdits systèmes de détection 2.1 et 2.2 d’adventices ou de symptômes foliaires de carences ou maladies, ont une zone commune d’acquisition. [152] Lesdites données images projetées sont utilisées pour détecter la présence d’adventices ou symptômes foliaires de carences ou maladies depuis les particularités propres aux adventices ou symptômes foliaires de carences ou maladies déterminées par l’un des procédés ci-dessus, afin de détecter les zones, identifiées aux coordonnées de l’image projetée Xtarget et Ytarget, dans lesdites données images projetées dans lesquelles les végétaux cibles 4 sont présents. Un végétal cible 4 est un végétal pour lequel le dispositif de détection détecte un adventice ou un symptôme foliaire de carence ou de maladie. Ainsi, chacune des détections de présence d’adventices ou symptômes foliaires de carences ou maladies est complétée avec une probabilité de présence desdites particularités propres aux adventices ou symptômes foliaires de carences ou maladies.
[153] On utilise une localisation des détections d’adventices ou de symptômes foliaires de carences ou maladies dans un référentiel instantané de la machine agricole. Une telle localisation peut être suffisante, dans la mesure où le traitement peut aussi être commandé dans ce référentiel. Ce pourra être le cas notamment si les systèmes de détection et les systèmes de traitement ont des positions relatives connues au cours du temps, par exemple sont fixes les uns par rapport aux autres au cours du temps. Par conséquent, le plan horizontal dans lequel est déterminée la localisation de l’adventive ou du symptôme foliaire de carence ou maladie est le plan horizontal parcouru par l’outil de traitement lors du déplacement de la machine agricole. Pour un système de détection d’adventice ou de symptôme foliaire de carence ou maladie, les coordonnées (xtarget ; ytarget) de la cible par rapport au centre du capteur peuvent être par exemple déterminées comme suit, dans le référentiel de la machine agricole :
[154] distaway = tan(sensorangie) . sensorheight
[155] Xtarget = ratiopixel2meter . (Xdetect-wimg/2)
[156] Ytarget = distaway + ratiopixel2meter . (Ydetect-himg/2)
[157] Où :
- sensorangie est un angle prédéterminé mesuré entre la verticale et l’angle de visée moyen du système de détection 2 d'adventices ou de symptômes foliaires de carences ou maladies
- sensorheight est une distance prédéterminée du système de détection 2 d'adventices ou de symptômes foliaires de carences ou maladies à un plan horizontal de référence qui est destiné à correspondre à un plan horizontal moyen du sol ;
- ratiopixel2meter est le ratio entre un pixel de l’image et un mètre sur le sol ;
- Xdetect est la coordonnée x, en pixels, du centre de la détection dans l’image projetée ; - Ydetect est la coordonnée y, en pixels, du centre de la détection dans l’image projetée ;
- wimg est la largeur de l’image projetée en pixels ;
- himg est la hauteur de l’image projetée en pixels ;
- Xtarget est la coordonnée longitudinale relative en mètre du végétal cible 4 détecté dans l’image projetée ;
- Ytarget est la coordonnée relative en mètre face audit système de détection 2 d'adventices ou de symptômes foliaires de carences ou maladies du végétal cible 4 détecté dans l’image projetée.
[158] Chacun des systèmes de détection d'adventices ou de symptômes foliaires de carences ou maladies calcule en continu la vitesse instantanée de déplacement au moyen desdites informations de localisation du système de détection d'adventices ou de symptômes foliaires de carences ou maladies obtenues en continu au moyen du système de localisation. L’information de vitesse est nécessaire afin d’estimer l’instant de commande du dispositif de traitement agricole et d’anticiper le temps de traitement en fonction du dispositif de traitement agricole.
[159] En variante, la vitesse instantanée de déplacement est obtenue par le système de contrôle par communication avec le contrôleur de la machine agricole.
[160] Ainsi, en fonction de la nature et de la localisation détectées des adventices ou symptômes foliaires de carences ou maladies, de la nature et de la localisation des dispositifs de traitement, et de la vitesse de déplacement, le dispositif de contrôle détermine le ou les dispositifs de traitement à actionner, et les caractéristiques temporelles (instant, durée, ...) de cet actionnement.
[161] Le module de traitement détermine un intervalle de temps d’activation du dispositif de traitement agricole 3 pour le traitement agricole de la portion de la zone agricole identifiée comme nécessitant un traitement agricole. L’intervalle de temps présente une durée prédéterminée incluant un instant de traitement de la portion de la zone agricole autour d’un instant moyen déterminé pour une portion de la zone agricole identifiée comme nécessitant un traitement agricole déterminée dans le plan horizontal de l’outil de traitement. L’instant déterminé pour la portion de la zone agricole identifiée comme nécessitant un traitement agricole déterminée dans le plan horizontal de l’outil de traitement est appelé instant
« moyen » car il se situe par définition à l’intérieur de l’intervalle de temps de traitement, qui est déterminé à partir de cet instant « moyen ». L’intervalle de temps de traitement peut par exemple comprendre une borne inférieure et une borne supérieure dont la moyenne correspond à l’instant « moyen ». Dans ce cas, l’intervalle de temps est déterminé pour durer un temps suffisant pour que le dispositif de traitement agricole 3 traite une zone agricole qui comprenne le végétal cible 4, indépendamment de la localisation exacte du végétal cible 4 dans le référentiel terrestre.
[162] Pour prendre un exemple simple, où la machine agricole se déplace à une vitesse constante v0, l’intervalle de temps de traitement agricole est compris entre une première borne t1 = (Xdetect + XD - Xmi)/vo et une deuxième borne t2 = (Xdetect + XD + Xm2)/vo, où :
- XD est une valeur prédéterminée représentant l’abscisse du dispositif de traitement 3 dans le plan horizontal de l’outil de traitement dans le référentiel de la machine agricole ;
- Xm1 est une valeur prédéterminée correspondant à un décalage amont ;
- Xm2 est une valeur prédéterminée correspondant à un décalage aval.
[163] La coordonnée YDetect peut, elle, être prise en compte pour choisir le dispositif de traitement agricole 3 parmi plusieurs dispositifs de traitement agricoles espacés selon la direction y.
[164] Dans l’hypothèse où la vitesse de la machine agricole n’est pas constante, on peut procéder à un calcul intégral pour déterminer l’intervalle temporel d’activation.
[165] La matrice de rotation ne prend en compte que l’orientation du capteur. Ainsi, pour une orientation donnée du capteur dans le référentiel terrestreT on applique une même transformation à la matrice représentant l’image acquise pour obtenir l’image projetée. L’image projetée est considérée comme obtenue sensiblement au-dessus du végétal-cible dans le plan horizontal de déplacement de l’outil de traitement.
[166] L’intervalle de temps correspondant à l’activation du dispositif de traitement agricole 3 est suffisamment long pour que le traitement agricole ait lieu au moment où le dispositif de traitement agricole 3 activé traite la zone à traiter.
[167] Si le sol est en pente, la détermination ci-dessus permet de déterminer la position de l’adventice dans un plan horizontal instantané de l’outil de traitement. En variante, toutefois, si l’on dispose de moyens de déterminer l’orientation du système de détection 2 dans l’espace par rapport à la verticale terrestre, cette orientation peut être prise en compte lors du calcul de l’image projetée. Le plan horizontal de l’outil de traitement est alors un plan parallèle au sol.
[168] En ce qui concerne le calcul de la commande à envoyer auxdits au moins un dispositif de traitement agricole 3, les commandes de pilotage sont transmises audit au moins un dispositif de traitement agricole au moyen du moyen de communication entre lesdits systèmes de détection d'adventices ou de symptômes foliaires de carences ou maladies et ledit dispositif de traitement agricole. [169] En ce qui concerne le pilotage dudit au moins un dispositif de traitement agricole, les dispositifs de traitement agricole sont actionnés pendant une durée qui inclue l’instant où le dispositif de traitement agricole est au-dessus du végétal cible.
[170] Par exemple, lorsque ledit au moins un dispositif de traitement agricole 3 est une buse d’épandage, la commande à envoyer à chacun desdits au moins un dispositif de traitement agricole 3 est une commande de pression et débit prenant en compte la présence d’un végétal cible pendant l’intervalle de temps dans la zone de pulvérisation de ladite buse d’épandage.
[171] En variante, lorsque ledit au moins un dispositif de traitement agricole 3 est un LASER, la commande à envoyer à chacun desdits au moins un dispositif de traitement agricole 3 est une commande de décalages transversal et longitudinal, et de puissance d’éclairage prenant en compte la présence d’un végétal cible pendant l’intervalle de temps dans la zone de portée dudit LASER.
[172] En variante, lorsque ledit au moins un dispositif de traitement agricole 3 est un jet d’eau à haute pression, la commande à envoyer à chacun desdits au moins un dispositif de traitement agricole 3 est une commande de pression et débit prenant en compte la présence d’un végétal cible pendant l’intervalle de temps dans la zone de portée de la buse d’injection de l’eau à haute pression.
[173] En variante, lorsque ledit au moins un dispositif de traitement agricole 3 est un outil de désherbage mécanique de binage, la commande à envoyer à chacun desdits au moins un dispositif de traitement agricole 3 est une commande d’activation prenant en compte la présence d’un végétal cible pendant l’intervalle de temps dans la zone dudit outil de désherbage mécanique de binage.
[174] En variante, lorsque ledit au moins un dispositif de traitement agricole 3 est un outil de désherbage électrique, la commande à envoyer à chacun desdits au moins un dispositif de traitement agricole 3 est une commande d’activation prenant en compte la présence d’un végétal cible pendant l’intervalle de temps dans la zone dudit outil de désherbage électrique.
[175] Dans la présentation ci-dessus, l’image acquise est d’abord projetée dans un référentiel donné, puis la détection d’adventice ou de symptôme foliaire de carence ou maladie est mise en œuvre pour l’image projetée. En variante, on pourrait prévoir de commencer par réaliser une image de probabilité de présence d’adventice ou de symptôme foliaire de carence ou de détection à partir de l’image acquise brute, puis d’orthoprojeter celle-ci dans le référentiel donné.
[176] Par exemple, ledit système de communication entre lesdits au moins deux systèmes de détection 2 d'adventices ou de symptômes foliaires de carences ou maladies et ledit au moins un dispositif de traitement agricole 3 est un réseau filaire Ethernet 1 Gigabit par seconde permettant ainsi à chacun desdits moins deux systèmes de détection 2 d'adventices ou de symptômes foliaires de carences ou maladies de communiquer avec les autres systèmes de détection 2 d'adventices ou de symptômes foliaires de carences ou maladies ainsi qu’avec ledit au moins un dispositif de traitement agricole 3.
[177] Les procédés qui sont décrits peuvent être des procédés informatisés. Ils peuvent alors être définis dans des programmes d’ordinateur, qui peuvent être exécutés par un ou plusieurs processeurs de machines programmables.
[178] Références machine agricole 1 systèmes de détection 2 d'adventices ou de symptômes foliaires de carences ou maladies systèmes de détection 2.1 et 2.2 dispositif de traitement agricole 3 végétal cible 4 parcelle agricole 5 cliché 6.1, 6.2 images acquises 7.1 et 7.2 à partir des images 6.1 et 6.2 objectif optique 9 dispositif de capture 10 premier capteur 11 second capteur 12 troisième capteur 13 image diffractée 14, 14' module de traitement 16 image non diffractée 17, 17" image infrarouge 18, 18' réseau de neurones 20 module de caractérisation 21 isoler 25 extraire 26 première lentille convergente 30 ouverture 31 collimateur 32 réseau de diffraction 33 seconde lentille convergente 34 surface de captation 35 dispositif de capture 102 dispositif de capture 202 image compressée en deux dimensions 211 réseau de neurones 212 image compressée 213 réseau de neurones 214 couche d'entrée 230 couche de sortie 231 surface de captation 232 première lentille convergente 241 masque 242 collimateur 243 prisme 244 seconde lentille convergente 245 surface de captation 246 couche d'entrée 250 encodeur 251 couches de convolution ou de couches entièrement connectées 252 décodeur 253 dispositif d’acquisition 301 plan focal 303 image standard 312 lentille convergente 331 couche de sortie 350

Claims

REVENDICATIONS
1. Procédé informatisé de contrôle d’un traitement agricole comprenant :
. un module de réception reçoit au moins une image bidimensionnelle d’une zone agricole acquise par un capteur,
. un module de traitement (16) détermine une image projetée dans le plan horizontal du dispositif de traitement agricole (3) à partir de ladite image bidimensionnelle,
. le module de traitement (16) détermine une portion virtuelle de la zone agricole identifiée comme nécessitant un traitement agricole dans le plan horizontal du dispositif de traitement agricole (3) en utilisant un réseau de neurones (20) traitant ladite image projetée,
. le module de traitement (16) détermine un instant moyen correspondant à un instant de traitement de ladite portion virtuelle de la zone agricole en utilisant une localisation relative d’un dispositif de traitement agricole et du capteur, et une vitesse de déplacement du capteur,
. le module de traitement (16) détermine une borne inférieure (h) et une borne supérieure (t2) d’un intervalle de temps d’activation du dispositif de traitement agricole pour le traitement agricole d’une portion de la zone agricole identifiée comme nécessitant un traitement agricole, ledit instant moyen étant à l’intérieur de l’intervalle de temps d’activation de durée prédéterminée de sorte que l’intervalle de temps inclut un instant de traitement de la portion de la zone agricole.
2. Procédé informatisé de contrôle selon la revendication 1, dans lequel l’image bidimensionnelle comprend au moins une diffraction comprenant des caractéristiques hyperspectrales, et dans lequel le réseau de neurones traite lesdites informations hyperspectrales.
3. Procédé informatisé de contrôle selon la revendication 1 ou 2, dans lequel le réseau de neurones traite en outre une image bidimensionnelle non diffractée de la zone agricole.
4. Procédé informatisé selon l’une des revendications 1 à 3, dans lequel le module de traitement (16) met en œuvre une projection prenant en compte l’orientation instantanée du capteur.
5. Procédé informatisé selon l’une des revendications 1 à 4, comprenant en outre : le capteur acquière l’image bidimensionnelle de la zone agricole, et transmet l’image bidirectionnelle au module de réception.
6. Procédé de traitement agricole, dans lequel on applique le procédé informatisé de contrôle de traitement agricole selon l’une quelconque des revendications 1 à 5, et dans lequel on applique un traitement agricole pendant l’intervalle de temps déterminé.
7. Procédé de traitement agricole selon la revendication 6, dans lequel on sélectionne un dispositif de traitement agricole (3) parmi une pluralité de dispositifs de traitement agricole à partir des localisations d’une pluralité de dispositifs de traitement agricole.
8. Programme d’ordinateur comprenant des instructions de code de programme pour l’exécution du procédé selon l’une des revendications 1 à 7 lorsque le programme est exécuté sur un ordinateur.
9. Système informatisé de contrôle d’un traitement agricole comprenant :
. un module de réception adapté pour recevoir au moins une image bidimensionnelle d’une zone agricole acquise par un capteur,
. un module de traitement (16) adapté pour déterminer une image projetée dans le plan horizontal d’un dispositif de traitement agricole (3) à partir de ladite image bidimensionnelle, une portion virtuelle de la zone agricole identifiée comme nécessitant un traitement agricole dans le plan horizontal du dispositif de traitement agricole (3) en utilisant un réseau de neurones (20) traitant ladite image projetée, un instant moyen correspondant à un instant de traitement de ladite portion virtuelle de la zone agricole en utilisant une localisation relative d’un dispositif de traitement agricole et du capteur, et une vitesse de déplacement du capteur, une borne inférieure (h) et une borne supérieure (t2) d’un intervalle de temps d’activation du dispositif de traitement agricole (3) pour le traitement agricole d’une portion de la zone agricole identifiée comme nécessitant un traitement agricole , ledit instant moyen étant à l’intérieur de l’intervalle de temps d’activation de durée prédéterminée de sorte que l’intervalle de temps inclut un instant de traitement de la portion de la zone agricole.
10. Machine agricole comprenant un système informatisé de contrôle de traitement agricole selon la revendication 9, un capteur adapté pour acquérir l’image bidimensionnelle, et un dispositif de traitement agricole (3) adapté pour traiter la parcelle agricole pendant l’intervalle de temps déterminé par le système informatisé de contrôle de traitement agricole.
EP21727139.4A 2020-05-20 2021-05-19 Procede et systeme de controle de traitement agricole Pending EP4152924A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR2005355A FR3110743B1 (fr) 2020-05-20 2020-05-20 Procede et systeme de controle de traitement agricole
PCT/EP2021/063397 WO2021234063A1 (fr) 2020-05-20 2021-05-19 Procede et systeme de controle de traitement agricole

Publications (1)

Publication Number Publication Date
EP4152924A1 true EP4152924A1 (fr) 2023-03-29

Family

ID=72470494

Family Applications (1)

Application Number Title Priority Date Filing Date
EP21727139.4A Pending EP4152924A1 (fr) 2020-05-20 2021-05-19 Procede et systeme de controle de traitement agricole

Country Status (5)

Country Link
US (1) US12374103B2 (fr)
EP (1) EP4152924A1 (fr)
AU (1) AU2021276550A1 (fr)
FR (1) FR3110743B1 (fr)
WO (1) WO2021234063A1 (fr)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10455826B2 (en) 2018-02-05 2019-10-29 FarmWise Labs, Inc. Method for autonomously weeding crops in an agricultural field
US12201044B2 (en) 2018-02-05 2025-01-21 FarmWise Labs, Inc. Method for autonomously weeding crops in an agricultural field
FR3091381B1 (fr) * 2018-12-19 2020-12-11 Lysia Dispositif de détection hyperspectrale
FR3141601B1 (fr) 2022-11-03 2025-12-19 Carbon Bee Système et procédé de contrôle d’un circuit de distribution d’un produit pour le traitement d’un espace comprenant des végétaux, engin de distribution comprenant un tel système
US12120973B2 (en) 2023-02-07 2024-10-22 FarmWise Labs, Inc. Crop detection system and/or method

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190150357A1 (en) * 2017-01-08 2019-05-23 Dolly Y. Wu PLLC Monitoring and control implement for crop improvement

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5296702A (en) * 1992-07-28 1994-03-22 Patchen California Structure and method for differentiating one object from another object
US6785400B1 (en) * 1999-08-17 2004-08-31 Image Therm Engineering, Inc. Spray data acquisition system
FR2964577B1 (fr) 2010-09-10 2013-12-27 Exel Ind Systeme de commande pour engin agricole de pulverisation
AU2012228772A1 (en) 2011-03-16 2013-10-17 Syddansk Universitet Spray boom for selectively spraying a herbicidal composition onto dicots
US9609859B2 (en) * 2013-09-13 2017-04-04 Palo Alto Research Center Incorporated Unwanted plant removal system having a stabilization system
US20150245565A1 (en) * 2014-02-20 2015-09-03 Bob Pilgrim Device and Method for Applying Chemicals to Specific Locations on Plants
US10568316B2 (en) * 2014-08-15 2020-02-25 Monsanto Technology Llc Apparatus and methods for in-field data collection and sampling
US20170039425A1 (en) * 2015-08-08 2017-02-09 Prospera Technologies, Ltd. System and method for optimizing chemigation of crops
US10269107B2 (en) 2017-02-23 2019-04-23 Global Neighbor Inc Selective plant detection and treatment using green luminance photometric machine vision scan with real time chromaticity operations and image parameter floors for low processing load
FR3063206B1 (fr) 2017-02-24 2021-08-13 Bilberry Sas Systeme de controle pour epandage agricole
CN113209165A (zh) 2017-11-01 2021-08-06 苏州颐华生物医药技术股份有限公司 一种大叶蒟提取物及其制备方法与应用
BR112020023871A2 (pt) * 2018-05-24 2021-02-09 Blue River Technology Inc. pulverizador de barra incluindo controle de retroalimentação de máquina
ES3036788T3 (en) * 2019-03-29 2025-09-24 Basf Digital Farming Gmbh Targeted weed control with chemical and mechanical means
US11483958B2 (en) * 2019-07-23 2022-11-01 Vision Robotics Corporation Intelligent crop maintenance device with independently controlled blades

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190150357A1 (en) * 2017-01-08 2019-05-23 Dolly Y. Wu PLLC Monitoring and control implement for crop improvement

Also Published As

Publication number Publication date
FR3110743A1 (fr) 2021-11-26
AU2021276550A1 (en) 2023-01-05
US20230206627A1 (en) 2023-06-29
US12374103B2 (en) 2025-07-29
WO2021234063A1 (fr) 2021-11-25
FR3110743B1 (fr) 2022-04-29

Similar Documents

Publication Publication Date Title
EP3937628A1 (fr) Dispositif de contrôle de traitement agricole
EP4152924A1 (fr) Procede et systeme de controle de traitement agricole
FR3093613A1 (fr) Dispositif de contrôle de traitement agricole
EP3714399B1 (fr) Dispositif de détection hyperspectrale
WO2019014703A1 (fr) Dispositif d'imagerie 2d et/ou 3d à éclairage actif pour l'agriculture
EP3167432A1 (fr) Procédé et système de traitement photogrammétrique d'images
WO2020127422A1 (fr) Dispositif de détection hyperspectrale
FR2982393A1 (fr) Recherche d'une cible dans une image multispectrale
EP3627210A1 (fr) Système de vision en réalité virtuelle ou augmentée avec capteur d'image de l'oeil, et procédé associé
FR3071644A1 (fr) Procede et dispositif de classification de plantes
EP4377880A1 (fr) Procede de construction d'une image a partir d'un dispositif optique a focale variable
WO2012007692A1 (fr) Procédé et dispositif d'imagerie bi-spectral multifonctions
Staab et al. Hyperspectral imaging system for precision weed control in processing tomato
Suliga et al. Microlens array calibration method for a light field camera
Okamoto et al. Unified hyperspectral imaging methodology for agricultural sensing using software framework
FR3052561A1 (fr) Machine a guidage autonome
WO2018109044A1 (fr) Dispositif de détection d'un objet d'intérêt et procédé mettant en œuvre ce dispositif
Okamoto et al. Weed detection using hyperspectral imaging
FR3141602A1 (fr) Système de pulvérisation par point d’intérêt
FR3034234A1 (fr) Imagerie d'un objet vegetal macroscopique
EP4368018A1 (fr) Système de pulvérisation par point d'intérêt
FR2740928A1 (fr) Procede d'acquisition d'une image electronique d'une scene au moyen d'une pluralite d'elements photosensibles
WO2024094539A1 (fr) Système et procédé de contrôle d'un circuit de distribution d'un produit pour le traitement d'un espace comprenant des végétaux, engin de distribution comprenant un tel système
Gee et al. Detecting crops and weeds in precision agriculture
WO2023041850A1 (fr) Système agricole de pulvérisation localisée avec source d'éclairage intégrée

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20221129

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20250213