WO2023190096A1 - 虫同定用画像データの生成方法及び虫同定システム - Google Patents

虫同定用画像データの生成方法及び虫同定システム Download PDF

Info

Publication number
WO2023190096A1
WO2023190096A1 PCT/JP2023/011675 JP2023011675W WO2023190096A1 WO 2023190096 A1 WO2023190096 A1 WO 2023190096A1 JP 2023011675 W JP2023011675 W JP 2023011675W WO 2023190096 A1 WO2023190096 A1 WO 2023190096A1
Authority
WO
WIPO (PCT)
Prior art keywords
insect
data
image data
information
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2023/011675
Other languages
English (en)
French (fr)
Inventor
淳一郎 片山
友志 川竹
崇文 田之江
達也 亀本
一輔 武津
庸介 馬場
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pest Vision Solutions Co Ltd
Original Assignee
Pest Vision Solutions Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pest Vision Solutions Co Ltd filed Critical Pest Vision Solutions Co Ltd
Priority to KR1020247032942A priority Critical patent/KR20240170915A/ko
Priority to EP23780106.3A priority patent/EP4483713A4/en
Priority to AU2023242975A priority patent/AU2023242975A1/en
Priority to US18/849,274 priority patent/US20260024371A1/en
Priority to CA3255352A priority patent/CA3255352A1/en
Publication of WO2023190096A1 publication Critical patent/WO2023190096A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/225—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01M—CATCHING, TRAPPING OR SCARING OF ANIMALS; APPARATUS FOR THE DESTRUCTION OF NOXIOUS ANIMALS OR NOXIOUS PLANTS
    • A01M1/00—Stationary means for catching or killing insects
    • A01M1/02—Stationary means for catching or killing insects with devices or substances, e.g. food, pheronones attracting the insects
    • A01M1/026—Stationary means for catching or killing insects with devices or substances, e.g. food, pheronones attracting the insects combined with devices for monitoring insect presence, e.g. termites
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01M—CATCHING, TRAPPING OR SCARING OF ANIMALS; APPARATUS FOR THE DESTRUCTION OF NOXIOUS ANIMALS OR NOXIOUS PLANTS
    • A01M1/00—Stationary means for catching or killing insects
    • A01M1/14—Catching by adhesive surfaces
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01M—CATCHING, TRAPPING OR SCARING OF ANIMALS; APPARATUS FOR THE DESTRUCTION OF NOXIOUS ANIMALS OR NOXIOUS PLANTS
    • A01M2200/00—Kind of animal
    • A01M2200/01—Insects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A50/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE in human health protection, e.g. against extreme weather
    • Y02A50/30—Against vector-borne diseases, e.g. mosquito-borne, fly-borne, tick-borne or waterborne diseases whose impact is exacerbated by climate change

Definitions

  • the present invention relates to a method for generating image data for insect identification and an insect identification system.
  • the captured insect identification system includes an image reading unit that reads an image of an adhesive sheet to which an insect is attached, and an analysis device that analyzes the read image and identifies the captured insect.
  • the analysis device includes a preprocessing means that performs image processing on the loaded image to distinguish between the insect area, which is the area in which the insect is photographed, and the background, and extracts insect merkmar data from the preprocessed image.
  • a data storage means for storing standard Merkumar data obtained by standardizing Merkumar of insect morphological characteristics; and Merkumar data extracted by the feature extraction means and standard Merkumar data stored in the data storage means; identification means for comparing and identifying insects.
  • the captured insects take various postures, so for example, when the insect is bent and attached to the adhesive sheet, Features could not be extracted properly, leading to incorrect recognition and lower identification accuracy.
  • an object of the present invention is to provide a method for generating image data for insect identification and an insect identification system that can improve the accuracy of identifying insects included in image data.
  • the method of generating image data for insect identification of the present invention includes an insect extraction step of extracting insect data regarding one insect from unprocessed image data in which insects are included in the image, and at least one of the extracted insect data. a point information adding step of specifying three points and adding point information data to the insect data; and an order information adding step of adding order information regarding the order to the point information data of the at least three points specified by the point information adding step. and has.
  • the insect identification system of the present invention includes: an image data acquisition unit that acquires target image data in which an insect to be identified is included in the image; an insect identification unit that identifies the type of insect included in the target image data;
  • the insect identification unit is configured to identify the type of insect included in the target image data acquired by the image data acquisition unit using a learned model constructed by machine learning using teacher data,
  • the trained model includes teacher image data in which an insect is included in the image, point information data that is assigned to the insect data by specifying at least three points among the insect data related to insects included in the teacher image data, and , posture information including order information regarding the order given to the point information data, and type information regarding the type of insect included in the teacher image data.
  • FIG. 2 is a schematic diagram showing a photographing device for photographing unprocessed image data in a method of generating images for insect identification according to an embodiment of the present invention. It is a flowchart which shows the process in the generation method of the image for a contagious insect identification. It is a flowchart which shows the process of the part extraction process in the generation method of the image for a contagious insect identification.
  • FIG. 6 is a diagram showing an image corresponding to unprocessed image data to which frame information has been added in a method of generating images for identification of the same insect.
  • FIG. 3 is a diagram showing insects corresponding to insect data to which point information data and order information have been added in a method for generating images for identifying the same insect, and showing insects corresponding to insect data whose parts boundaries can be recognized.
  • FIG. 7 is a diagram showing insects corresponding to insect data to which point information data and order information are added in the method for generating images for identifying the same insect, and showing insects corresponding to insect data in which the boundaries of parts are unrecognizable.
  • FIG. 1 is a diagram showing an overview of an insect identification system according to an embodiment of the present invention.
  • FIG. 1 is a block diagram showing a congener identification system.
  • FIG. 2 is a block diagram showing a pest control system that performs countermeasure control. It is a flowchart which shows the process of the insect increase determination, generation source, and treatment method determination process in the pest control system that performs countermeasure control. It is a flowchart which shows the process of the determination process of the chemical
  • FIG. 1 is a block diagram showing a pest control system that performs preventive control. It is a flowchart which shows the flow of processing in a pest control system that performs preventive control. This is a data table used for determining insect growth environment information in a pest control system that performs preventive control.
  • FIGS. 1 to 8 A method for generating insect identification image data and an insect identification system 6 according to an embodiment of the present invention will be described with reference to FIGS. 1 to 8.
  • the unprocessed image data processed by the insect identification image data generation method of this embodiment will be explained with reference to FIG.
  • the unprocessed image data is generated by an imaging device 3 capable of capturing an image of the capture surface 2a on which the insect 1 is captured in the captured sample 2 having the capture surface 2a on which the insect 1 can be captured.
  • the captured sample 2 of this embodiment is a sample in which the insects 1 can be attached to the capture surface 2a, and a plurality of insects 1 are captured in a state that they are attached to the capture surface 2a.
  • 1 is the paper that caught the insect.
  • "insect" includes all small animals other than mammals, birds, and seafood, and in this embodiment refers to arthropods (particularly insects and spiders).
  • the capture surface 2a has a flat shape extending in one direction (in this embodiment, the direction penetrating the plane of FIG. 1). Further, the capture surface 2a is a plain color, and in this embodiment, the entire surface is yellow, and is a surface without ruled lines or the like.
  • a plurality of insects 1 are attached to the capture surface 2a of the captured sample 2.
  • the captured sample 2 of this embodiment includes a sample created by sprinkling the dead insect 1 on the capture surface 2a and sticking it, or a sample created by attracting the insect 1 with light or smell and making it stick to the capture surface 2a. Samples may be employed, but are not limited to these.
  • the imaging device 3 is a device that images the captured sample 2 and generates unprocessed image data.
  • the imaging device 3 includes a box-shaped casing 31 that can block external light, and is provided inside the casing 31, with the capturing surface 2a extending in one direction (in this embodiment, , a holding means (not shown) capable of holding the captured sample 2 in a state extending in the direction penetrating the plane of the paper in FIG. an irradiation device 33 provided inside the casing 31 and capable of irradiating light onto the capture surface 2a of the captured sample 2; and an imaging processing unit (not shown) that generates the image.
  • the imaging means 32 includes a camera 34 arranged at a distance from the capture surface 2a so as to image the capture surface 2a of the captured sample 2 held by the holding means, and a camera 34 arranged apart from the capture surface 2a of the captured sample 2 held by the holding means.
  • a traveling means (not shown) for causing the camera 34 to travel along the surface direction of the capture surface 2a is provided.
  • the camera 34 is movable (traveling) along the surface direction of the capture surface 2a by a traveling means, and while moving in the surface direction of the capture surface 2a, the camera 34 captures the capture surface 2a at a plurality of positions in the surface direction of the capture surface 2a. Imaging is possible.
  • the camera 34 of this embodiment is arranged at a position facing the capture surface 2a. Further, the camera 34 has a focal length such that only a portion of the capture surface 2a facing the camera 34 is in focus.
  • the irradiation device 33 is configured to irradiate light onto the capture surface 2a from both sides of the travel area where the camera 34 travels. Specifically, the irradiation device 33 has illumination sections 35 on one side and the other side across the travel area, and each illumination section 35 irradiates light onto the capture surface 2a. Moreover, the illumination part 35 is provided so as to irradiate light from a position approximately 45 degrees upward from the center of the capture surface 2a in the width direction (direction perpendicular to the surface direction).
  • the irradiation device 33 of this embodiment is configured such that a plurality of illumination units 35 are arranged in line along the running area, and can irradiate the entire area of the running area in one direction with light. Moreover, the irradiation device 33 of this embodiment irradiates the capture surface 2a with white light.
  • the imaging processing unit connects a plurality of images captured by the imaging means 32 to generate unprocessed image data. Specifically, the image capture processing unit generates unprocessed image data by processing a plurality of images captured by the camera 34 and joining together in-focus portions of each image. In this embodiment, the image capture processing unit generates unprocessed image data by joining together images of the portion of the capture surface 2a facing the camera 34 for a plurality of images captured by the camera 34.
  • the unprocessed image data generated as described above is, for example, data representing an image of the insect 1 placed on the capture surface 2a, as shown in FIG.
  • the pre-processing image data of this embodiment is image data representing an image in which a plurality of insects 1 are photographed on the background of the capture surface 2a, and the pre-processing image data includes insect data D regarding the insects 1. Contains multiple. Insect data D is image data of a portion of the unprocessed image data that indicates insect 1.
  • the method for generating image data for insect identification is a method for generating image data for insect identification as teacher data used in machine learning.
  • the method for generating image data for insect identification processes unprocessed image data in which insect 1 is included in the image as described above to generate image data for insect identification. It's a method. Specifically, the method for generating insect identification image data includes an insect extraction step S1 of extracting insect data D regarding insect 1 from unprocessed image data, and extracting the parts of insect 1 included in the extracted insect data D. A part extraction step S2, a point information adding step S3 of adding point information data 4 to the extracted insect data D, and an order information adding step S4 of adding order information 5 regarding the order to the point information data 4. , is provided.
  • each of the above steps is executed for all the insect data D, and then the next step is executed. Furthermore, in this embodiment, each step is performed by a person.
  • the insect extraction step S1 is a step of executing an insect discovery step S11 for discovering the insect 1 included in the image corresponding to the unprocessed image data, and an insect identification step S12 for identifying the discovered insect 1. That is, in the insect extraction step S1, insect 1 is discovered in the insect discovery step S11, and in the insect identification step S12, data to which information for identifying the discovered insect 1 is added is extracted as insect data D.
  • the insect finding step S11 is a step of processing the unprocessed image data and discovering the insect 1 included in the image corresponding to the unprocessed image data.
  • the insect finding step S11 of this embodiment is a step of searching for a part having the characteristics of insect 1 from the image corresponding to the unprocessed image data, and specifically, a part of a color different from the background is an outline of a predetermined shape. , the part surrounded by the outline is determined to be one insect 1.
  • the insect identification step S12 includes a frame information adding step, which is a step of adding frame information, which is information about the frame F surrounding the insect 1 found in the insect finding step S11, and a frame information adding step.
  • This is a step of executing an extraction step of extracting insect data based on the assigned frame information, and a type information adding step of adding type information regarding the type of the discovered insect 1. That is, in the insect identification step S12 of the present embodiment, information regarding the range of insect 1 and the type of insect 1 included in the image corresponding to the unprocessed image data is specified, and information regarding the insect 1 related to the identified insect 1 is identified. Extract data D.
  • the frame information adding step is a step of specifying the range occupied by the discovered insect 1 in the unprocessed image data, and adding frame information regarding the frame F surrounding the range occupied by the insect 1.
  • the frame information adding step is a step of specifying the outer edge of the insect 1 discovered in the bug finding step S11, and adding information regarding the frame F that surrounds the outer edge.
  • the frame F corresponding to the frame information provided in this embodiment is rectangular, particularly rectangular, and for example, the coordinates of two diagonally located points of the rectangular frame F are provided as the frame information. do.
  • the extraction step is a step of extracting insect data D based on the frame information. Specifically, in the extraction step, data in which the range in which the insect 1 found in the insect discovery step S11 is located is surrounded by a frame F is extracted as insect data D. That is, the insect data D is image data extracted from the unprocessed image data by enclosing the range where the insect 1 is located with a frame F.
  • the type information provision step includes the type of the insect 1 discovered (specifically, the type in a classification necessary to identify the source of the insect 1, which will be described later). This is a step of specifying the family (Family) in the classification class of and adding information about the type of insect 1 to insect data D.
  • the information regarding the type provided is information that allows the type of insect 1 to be specified, and is, for example, the type name of insect 1 or an identifier regarding the type of insect 1.
  • the type information adding step information regarding the type name of the insect 1 surrounded by the frame F corresponding to the frame information is added to the insect data D.
  • the region extraction step S2 is a step of extracting the region of the insect 1 corresponding to each extracted insect data D. Further, in the part extraction step S2 of the present embodiment, it is determined whether or not the part can be specified for the insect 1 corresponding to each insect data D, and if the part can be specified, the insect 1 corresponding to each insect data D is determined. Identify and extract the part of insect 1. Specifically, the part extraction step S2 includes a selection step S21 in which the insect 1 corresponding to the insect data D to be processed is selected, and a part of the insect 1 corresponding to the insect data D selected in the selection step S21 can be specified.
  • a repetition step S25 is executed in which each process in the part extraction step S2 is repeated. .
  • the insect 1 includes a head 13 , a body 11 having a body 14 connected to the head 13 and including at least an abdomen 16 , and an appendage 12 extending outward from the body 11 .
  • the appendage 12 includes, for example, antennae, legs, wings, and the like.
  • the structure of the body 11 differs depending on the insect 1.
  • the insect body 11 includes a head 13, a thorax 15 and an abdomen 16 as a torso 14.
  • the spider body 11 includes a cephalothorax as a head 13 and an abdomen 16 as a trunk 14.
  • the parts of the insect 1 will be explained as referring to each part in the body main body 11 of the insect 1.
  • the selection step S21 is a step of selecting one insect 1 from among the insects 1 corresponding to the plurality of extracted insect data D as a processing target. Furthermore, in the selection step S21, the insect 1 corresponding to the unprocessed insect data D that has not been processed in the part extraction step S2 is selected.
  • the feasibility determination step S22 is a step of determining whether the part of the insect 1 corresponding to the selected insect data D can be specified. In the feasibility determination step S22 of the present embodiment, it is determined whether each part appears to a distinguishable degree in the image of the insect 1 corresponding to the selected insect data D, and each part appears to a distinguishable degree. In this case, it is determined that the part of the insect 1 corresponding to the selected insect data D can be specified. In the feasibility determination step S22 of this embodiment, it is determined that the parts can be distinguished if at least the head 13 and the torso 14 can be distinguished. For example, as shown in FIG.
  • the part cannot be identified when the part 1 cannot be determined.
  • the part of the insect 1 can be identified as long as the body 11 can be recognized to the extent that the part of the insect 1 can be determined. It is determined that
  • the identifying step S23 is a step of identifying and extracting each part of the insect 1 for which it was determined in the availability determining step S22 that the part of the insect 1 corresponding to the insect data D can be identified. Specifically, the identifying step S23 identifies and extracts the range in which each part is located in the insect 1 image data corresponding to the insect data D. For example, as shown in FIG. 5A, in the identification step S23, if the entire body 11 of the insect 1 corresponding to the insect data D can be recognized and the boundaries of the head 13, thorax 15, and abdomen 16 can be recognized, , of the body 11 of the insect 1, the range where the head 13 is located, the range where the thorax 15 is located, and the range where the abdomen 16 is located are identified and extracted.
  • the boundary between the head 13 and the thorax 15 of the insect 1 corresponding to the insect data D can be recognized, but the boundary between the thorax 15 and the abdomen 16 cannot be recognized, or when the torso 14 is
  • an insect 1 for example, a spider
  • the range where the head 13 is located and the range where the body 14 is located are determined. At least two or more parts are specified and extracted, and information corresponding to each part is given to each extracted range.
  • the non-designation processing step S24 is a step of specifying that the part of the insect 1 corresponding to the insect data D for which it was determined that the part cannot be determined in the feasibility determination step S22 is not to be identified.
  • the insect 1 corresponding to the insect data D determined to be unable to identify its part is given information indicating that its part cannot be determined, for example, as shown in FIG. 5B.
  • the repeating step S25 it is determined whether there is an insect 1 corresponding to the unprocessed insect data D that has not been processed in the part extraction step S2, and if there is an unprocessed insect 1, each process in the part extraction step S2 is performed. It is a process of repeating. Specifically, in the repeating step S25, if the plurality of insect data D included in the unprocessed image data include insect data D for which the processing in the specific step S23 or the processing in the unspecified processing step S24 has not been completed. determines that there is insect 1 corresponding to unprocessed insect data D, and proceeds to the selection step S21. Further, in the repeating step S25, if the processing in the specifying step S23 or the processing in the unspecified processing step S24 has been completed for all the insect data D included in the unprocessed image data, the part extraction step S2 is ended. .
  • the point information adding step S3 is a step of specifying at least three points and adding point information data 4 to the insect data D.
  • the point information adding step S3 three points on the surface of the insect 1 corresponding to the insect data D are specified and point information data 4 is added.
  • Point information data 4 is assigned by specifying three points spaced apart in the direction (direction connecting the head and belly of insect 1). That is, the point information adding step S3 is a step of adding at least three points of point information data 4 within the range where the insect 1 corresponding to the insect data D is located in the unprocessed image data, and specifically, Point information data 4 is given to at least three points within the range where each part of the insect 1 extracted in the part extraction step S2 is located.
  • the point information data 4 is set so that three points correspond to two or more of the plurality of parts constituting the body 11 of the insect 1 corresponding to the insect data D.
  • point information data 4 is provided so that three points correspond to the head 13 and the torso 14. As shown in FIGS.
  • the point information provision step S3 of this embodiment for the insect 1 corresponding to each insect data D, at least a position corresponding to the head 13 of the insect 1 and a position corresponding to the body 14 of the insect 1 Specifically, a head corresponding point 41 corresponding to the head 13 of insect 1, an abdomen corresponding point 42 corresponding to the abdomen 16 of insect 1, and a head Three points, an intermediate point 43 located between the corresponding point 41 and the abdomen corresponding point 42, are designated and point information data 4 is assigned.
  • point information data 4 is provided based on the part of the insect 1 corresponding to the insect data D, so in the part extraction step S2, the insect data from which the part has been extracted is Point information data 4 is assigned to insect data D, but point information data 4 is not assigned to insect data D for which it is determined that the body part cannot be determined in the part extraction step S2.
  • the point information data 4 is supplementary information indicating the coordinates in the insect data D, but the configuration is not limited to this, and the insect image as the insect data D may be overwritten with points. It is also possible to use a configuration in which the overwritten points are handled as point information data 4.
  • the head corresponding point 41 is a point specified at the tip of the head 13 (the end on the head side in the overall length direction of the body 11), and is also specified in the width direction of the body 11 (the insect corresponding to the insect data D). This is a point designated approximately at the center of the image (in a direction perpendicular to the overall length direction of the body 11). That is, the head corresponding point 41 is a point designated at the tip of the body 11 of the insect 1 and approximately at the center of the body 11 in the width direction.
  • the abdomen corresponding point 42 is a point specified at the rear end of the abdomen 16 (the end on the ventral side in the overall length direction of the body body 11), and is also a point specified at approximately the center in the width direction of the body body 11. be. That is, the abdomen corresponding point 42 is a point designated at the rear end of the body 14 (the rear end of the body 11 of the insect 1) and approximately at the center of the body 11 in the width direction.
  • the intermediate point 43 is a point designated in the middle of the body 11 of the insect 1 in the overall length direction. Further, the midpoint 43 is a point designated approximately at the center in the width direction of the insect 1, and in this embodiment, is a point located on the body 14. Furthermore, the intermediate point 43 is a point located at a feature point in the body main body 11 of the insect 1.
  • a feature point is a characteristic point on the appearance of the insect 1, such as the boundary between parts, the base of the wings or the pattern of the insect 1, or the center position of the tip and rear end of each part of the insect 1. It is a position that can be determined based on a characteristic point within a part.
  • the center position between the tip and rear end of each part of the insect 1 is, for example, the center position between the tip and rear end of the abdomen, or the center position between the tip and rear end of the body.
  • the position of the intermediate point 43 is specified with the central part in the width direction of the boundary position between the thorax 15 and abdomen 16 as the feature point.
  • the position of the intermediate point 43 is specified using the base of the wings of the body 14 as a feature point.
  • the boundary between the parts of the body 11 of the insect 1 corresponding to the insect data D can be recognized, the boundary between the parts is treated as a feature point, and the insect data D is If the boundary between the parts of the body 11 of the corresponding insect 1 cannot be recognized, and a distinctive point within the part can be recognized, the distinctive point within the part is treated as a feature point.
  • the order information adding step S4 is a step of adding order information 5 regarding the order to the three points of point information data 4 given in the point information adding step S3.
  • the order information 5 is information regarding the order given to the point information data 4 in order to specify the posture of the insect 1 corresponding to the insect data D, and specifically, the head corresponding point 41, the intermediate point 43 , and information regarding the order in which the abdominal corresponding points 42 are arranged in a predetermined order.
  • the order information 5 is information regarding the order in which the body main body 11 of the insect 1 is lined up in the overall length direction, and in this embodiment, as shown in FIGS. 6A and 6B, from the tip side (head side) to the rear end side ( This is information regarding the order of heading toward the ventral side.
  • order information 5 is added to the point information data 4 based on the order of the parts of the body 11 of the insect 1, and in this embodiment, the head corresponding point 41, the intermediate point 43 , order information 5 regarding the order of the abdomen corresponding points 42 is provided.
  • the order information data 5 is supplementary information given to the insect data D.
  • order information 5 is added to the point information data 4, so insect data D to which point information data 4 is not added in the point information adding step S3 (part extraction Order information 5 is not assigned to the insect data D) for which it is determined that the part cannot be determined in S2.
  • Image data for insect identification as described above is used to identify insects. Further, as described later, the image data for insect identification is used for machine learning. In any of the above-mentioned usage methods, the posture of the insect can be grasped by the point information data 4 and the order information data 5, so that the insect identification accuracy is improved.
  • image data for insect identification is generated by performing each process in the above steps on unprocessed image data.
  • the insect identification system 6 is a system that identifies the insect 1 included in the image data transmitted from the client terminal C (in this embodiment, the imaging device 3) via the Internet I.
  • the insect identification system 6 is a system that processes target image data obtained by a client imaging an insect-captured sample, identifies and outputs the insect 1 included in the target image data.
  • the target image data is captured by the above-mentioned imaging device 3 and transmitted to the insect identification system 6 using a communication means built into the imaging device 3.
  • the insect identification system 6 includes a communication unit 61 that communicates with the outside, an image data acquisition unit 62 that acquires target image data from the outside, and identifies the type of insect 1 included in the target image data. It includes an insect identification section 63 and an output section 64 that outputs the identification result of the insect identification section 63.
  • the image data acquisition unit 62 acquires target image data from the client terminal C (imaging device 3) via the communication unit 61 and the Internet I.
  • the output unit 64 outputs the identification result to the client terminal C (specifically, the client's computer P, tablet terminal, etc.) via the communication unit 61 and the Internet I.
  • such insect identification system 6 is realized by a computer.
  • a computer includes a communication unit 61 that communicates with the outside, an image data acquisition unit 62 that acquires target image data from the outside, and a computer that identifies insects 1 included in the target image data.
  • the insect identification unit 63 is configured to function as an insect identification unit 63 that identifies the type, and an output unit 64 that outputs the identification result of the insect identification unit 63.
  • the insect identification unit 63 is configured to identify the type of insect 1 included in the target image using a learned model 65 constructed by machine learning using teacher data.
  • the trained model 65 is constructed by machine learning using image data for insect identification generated by the above-described method for generating image data for insect identification as training data.
  • the training data of the trained model 65 specifies at least three points for the unprocessed image data as the training image data in which the insect 1 is included in the image and the insect data D regarding the insect 1 included in the training image data. It includes posture information including given point information data 4 and order information 5 about the order given to the given point information data 4, and type information about the type of insect 1 included in the teacher image data.
  • the point information data 4 is the same as the point information data 4 given in the point information adding step S3
  • the order information 5 is the same as the order information 5 given in the order information adding step S4, and the type information is This is the same as the type information provided in the type information adding step.
  • the teacher data of this embodiment is data to which frame information regarding the frame F surrounding the insect 1 included in the teacher image data is added.
  • the frame information is the same as the frame information added in the frame information adding step.
  • the trained model 65 is constructed by so-called supervised learning using the insect identification image data generated by the insect identification image data generation method described above as training data. That is, the trained model 65 is a model constructed by providing a large amount of insect identification image data with type information added to a machine learning algorithm.
  • the insect identification unit 63 processes the target image data, discovers the insect 1 included in the target image data, and identifies the type of the discovered insect 1.
  • the insect identification unit 63 of this embodiment adds type information of the discovered insects 1 to the target image data, and outputs the number of insects 1 for each type as an identification result. In this embodiment, the type of insect 1 is classified at the family level.
  • point information data 4 and order information 5 are assigned to the extracted insect 1, so that the point information data 4 and order information 5 are Based on this, the posture of the insect 1 can be determined, and for example, even if the insect 1 is bent, the type of the insect 1 can be appropriately identified. Therefore, the identification accuracy of the insect 1 included in the image data can be improved.
  • the point information data 4 is specified for two or more parts and the point information data 4 is given based on the order in which the parts are arranged, the posture of the insect 1 can be appropriately determined when the insect 1 is bent.
  • the posture of the insect 1 can be determined based on at least three points including the head corresponding point 41, the abdomen corresponding point 42, and the intermediate point 43, the posture of the insect 1 can be appropriately determined even when the insect 1 is bent. .
  • the point information data 4 is given to the feature point as the intermediate point 43, the point information data 4 can be given to substantially the same position on the insect 1 for insects 1 of the same type.
  • the imaging device 3 since the imaging device 3 emits light from both sides of the travel area, it is possible to suppress the insect 1 from being in the shadow, and since it connects a plurality of images to generate unprocessed image data, the unprocessed image It is possible to prevent data bug 1 from becoming blurry.
  • the image data including the bent insect 1 is used as training data. Can be used.
  • the part extraction step S2 includes extracting a part of the insect 1 corresponding to the insect data D from the insect data D extracted before the point information adding step S3, and the part extraction step S2 includes at least the head of the insect 1.
  • the portion 13 and abdomen 16 are extracted. Therefore, in the point information providing step S3, point information data 4 can be appropriately provided to the site of the body 11 of the insect 1.
  • the part extraction step S2 also includes a determination step S22 for determining whether or not a part can be extracted from the extracted insect data D. Part extraction is performed only for the insect data D that is determined to be possible, and in the point information adding step S3, point information data 4 is given only to the insect data D from which the part has been extracted. Therefore, the point information data 4 can be reliably assigned to the part of the insect 1 that corresponds to the insect data D.
  • the point information adding step S3 at least three points on the main body 11 of the insect 1 are designated and point information data 4 is added. Therefore, the posture of the insect 1 can be reliably determined regardless of the state of the appendage 12, such as the appendage of the insect.
  • order information 5 is provided in the order of the head corresponding point 41, the intermediate point 43, and the abdomen corresponding point 42, or in the order of the abdomen corresponding point 42, the intermediate point 43, and the head corresponding point 41. Therefore, since the order information 5 is provided along the entire length direction of the body main body 11, the posture of the insect 1 can be determined reliably.
  • the learned model 65 stores point information data 4 and order information 5 regarding at least three points specified for the insect data D included in the teacher image data. Since it is constructed by machine learning using teacher data including posture information, the type of insect 1 can be appropriately identified even if the insect 1 is bent, for example.
  • the inventor has developed an insect identification system 6 using the above-mentioned trained model 65, which does not include information regarding the posture of the insect such as the point information data 4 and the order information 5, and which does not include information regarding the posture of the insect such as the point information data 4 and the order information 5.
  • the results of a comparison between the system and a conventional insect identification system using a conventional trained model constructed as training data with only information added are described below.
  • insect 1 was identified using the same captured insect sample, the identification accuracy of the conventional insect identification system was approximately 60.0%, whereas the identification accuracy of insect 1 using the trained model 65 according to the present invention was The identification accuracy of identification system 6 was approximately 79.1%.
  • insect 1 when insect 1 is concentrated in the pre-processing image, insect 1 cannot be determined as insect 1, and the accuracy of detecting insect 1 decreases (specifically, 90.0% However, the insect identification system 6 using the trained model 65 maintains the accuracy of detecting insect 1 even when the insects 1 are crowded together. (approximately 90.0% or more).
  • the method for generating image data for identifying this insect can also be used as pre-processing in the identification process.
  • the method for generating image data for insect identification according to the present invention is applied to sample image data obtained by imaging the captured sample 2, and the sample image data as unprocessed image data is used during identification work. It can also be used as data for identification work as image data for insect identification.
  • the machine can also be configured to provide the information. If the machine is configured to add information to the unprocessed image data in all steps, the computer will perform the insect extraction step S1, the part extraction step S2, the point information addition step S3, and the order information addition step. It can be configured as an insect identification image generation method that executes S4 to generate an insect identification image.
  • each step is executed for all insects 1 before proceeding to the next step, this is not the only case; for example, all the steps may be executed for one insect 1. It can also be configured to perform all the steps for the next insect 1 after that. Each step can also be performed independently on a plurality of insects 1.
  • a type information adding step is included in which type information regarding the type of insect 1 is added to the insect data D extracted in the insect extraction step S1
  • the configuration may be such that the type information of the insect 1 is not provided.
  • the insect extraction step S1 a case has been described in which frame information regarding a rectangular frame F surrounding the insect 1 in the image is provided as the frame information adding step, but the structure is not limited to such a configuration. It is also possible to add frame information regarding a frame other than a rectangular shape, such as a shape that follows the outline of insect 1, or it is also possible to not add frame F, that is, to not include the frame information adding step. .
  • part extraction step S2 it is determined whether or not part extraction is possible for insect 1 corresponding to insect data D, and the part of insect 1 is extracted only for insect data D for which it has been determined that part extraction is possible.
  • the configuration is not limited to this, and a configuration may be adopted in which the parts of the insect 1 are extracted for all insect data D.
  • the part extraction step S2 is provided, a configuration may also be adopted in which the part extraction step S2 is not provided. If the part extraction step S2 is not provided, for example, point information data 4 is added to the insect data D in the point information provision step S3 at three points: one end, the other end, and a position between both ends of the body body 11. It is also possible to provide the point information data 4 with the order information 5 in order from one end toward the other end in the order information adding step S4. In this case, the point information data 4 is essentially provided so that at least three points correspond to two or more parts of the insect 1.
  • one end of the body main body 11 can also be determined as a place where the antennae of the insect 1 are located.
  • three or more point information data 4 are given to the body 14, and, for example, order information 5 is given sequentially from the head 13 side. You can also do that.
  • the point information data 4 is provided only to the body main body 11, the point information data 4 is not limited to such a configuration, and the point information data 4 may also be provided to the antennae, legs, and wings as the appendages 12. can.
  • one or more point information data 4 may be provided to each of the tip of the antennae, the main body 11, and the legs, and the order information 5 may be provided sequentially from the antennae.
  • the posture of insect 1 can be determined and the identification accuracy of insect 1 can be improved. can be increased. Note that when four or more point information data 4 are provided, the posture can be determined with high accuracy.
  • the insect data D can be provided with line information connecting the point information data 4 according to the order information 5 provided in the order information adding step S4.
  • line information is provided, the attitude of the insect 1 can be easily determined based on the provided line information.
  • information regarding the area surrounded by lines connecting the points given in the point information provision step S3 can also be given to the insect data D.
  • information about the area is given, for example, if the area surrounded by the three point information data 4 given in the point information giving step S3 is large, it is determined that the insect 1 is largely bent. can do.
  • the image data acquisition unit 62 in the insect identification system 6 has been described for acquiring image data via the Internet I, the configuration is not limited to this, and the image data acquisition unit 62 in the insect identification system 6 can acquire image data directly from a device that captures an image of insect paper or the like. It can also be configured to retrieve
  • the configuration is not limited to this, and the image data can also be imaged using a method different from that of the teacher image data.
  • the pest control system 7 is a system that performs treatment to suppress the harmful effects of insects when the number of insects has increased or there is a high possibility that the number of insects will increase. This is a system for controlling insects and/or insects that invade buildings.
  • the pest control system 7 of this embodiment uses the insect identification system 6 described above.
  • the pest control system 7 includes countermeasure control (feedback control) that performs processing to reduce insects inside the building and/or insects invading the building in response to an increase in insects; If there is a possibility that the number of insects will increase, preventive control (feedforward control) is carried out to prevent the increase in insects.
  • countermeasure control feedback control
  • preventive control feedforward control
  • the pest control system 7 that performs countermeasure control includes a control unit 71 that receives and processes information regarding identification results from the insect identification system 6, and a storage unit 72 that stores various information.
  • the processing result of the control section 71 is output to the processing section 8.
  • the insect identification system 6 that outputs information regarding identification results to the pest control system 7 of the present embodiment is installed inside and outside the building, and is generated by an imaging device 3 provided for fixed point observation (specifically, and image processing), the number of each type of insect included in the target image data is output to the control unit 71 as an identification result.
  • the imaging device 3 generates target image data by capturing images of insects caught by a plurality of insect catching devices (for example, insect catching paper) provided inside and outside the building. That is, the insect identification system 6 of this embodiment outputs identification results regarding the number of each type of insects caught by the insect trapping device.
  • the insect identification system 6 is configured to output identification results at predetermined time intervals.
  • the pest control system 7 includes a control unit 71 that executes predetermined processing, and a storage unit 72 that stores information regarding the identification results received from the insect identification system 6.
  • the pest control system 7 of the present embodiment identifies the types of insects in which the number of insects has increased by more than a threshold value based on the information regarding the identification results received from the insect identification system 6, and uses a treatment method corresponding to the identified insect types. This is a system configured to output D4.
  • the pest control system 7 of this embodiment is realized by cloud computing, it is not limited to this.
  • the storage means 72 stores at least the previously received identification results received from the insect identification system 6. Furthermore, the storage means 72 can transmit the stored identification results of the previously received data to the control section 71 . Furthermore, the storage means 72 stores a database (for example, table T1 shown in FIG. 13) used by the control section 71 for various determinations, and transmits the database to the control section 71 in response to a request from the control section 71. As shown in FIG. 13, the database stored in the storage means 72 of this embodiment includes, for each type of insect (type information), intrusion route information D2, source information D3, and information regarding the treatment method D4. It is a related database.
  • the control unit 71 compares the identification results received from the insect identification system 6 with the previously received identification results stored in the storage means 72, and determines whether the number of insects for each type of insect has increased by more than a threshold value.
  • An increase determination unit 711 and a source determination unit 712 that determines, for the types of insects for which the increase determination unit 711 has determined that the increase has exceeded a threshold, invasion route information D2 regarding the invasion route of the insects of the relevant type and source information D3 regarding the generation source. and a processing method determining unit 713 that determines a processing method D4 for reducing insects in the building based on the determination by the source determining unit 712.
  • the increase determination unit 711 receives the previously received identification results from the storage means 72, and compares the previously received identification results with the currently received identification results. , it is determined whether the number of insects has increased by more than a threshold value for each type of insect. That is, the increase determination unit 711 of the present embodiment determines the number of insects newly captured by the insect trapping device from the time when the insect identification system 6 outputs the previous identification result until the current identification result is output. It is determined for each type of insect whether or not it is equal to or greater than a threshold value.
  • the number of insects newly captured by the insect trapping device is equal to or greater than the threshold value in a predetermined time (interval at which the insect identification system 6 outputs identification results). Since it can be determined for each type of insect, if there are many insects of a particular type in the environment where the insect trap is installed, it can be determined that there are many insects of that type.
  • the threshold value in this embodiment is a preset numerical value, the configuration is not limited to this, and for example, a numerical value twice the amount of increase during normal times may be used as the threshold value.
  • the source determining unit 712 determines the source information D3 regarding the source of the insects of the type. That is, when there are many insects of a specific type in the environment where the insect trap is installed, the source determining unit 712 identifies the source of the insects of the particular type.
  • the source determining unit 712 of the present embodiment determines intrusion route information D2 regarding the intrusion route of the type of insect that has been determined to have increased, and source information D3 regarding the source of the insect.
  • the invasion route information D2 is information that distinguishes whether the type of insect is an external invasion type that occurs outside the building and invades the building, or an internal insect type that occurs inside the building.
  • the source determining unit 712 of the present embodiment obtains the increased types of insect invasion route information D2 and generation source information D3 based on a database prepared in advance regarding the invasion route information D2 and the generation source information D3 for each type of insect. Identify.
  • the source information D3 is information for identifying the source of the insect of that type within the building. This is information for specifying the method, and for internally generated insects, it is information for specifying the environment inside the building where they occur. Specifically, the source information D3 includes insects that fly and invade buildings, and include flying large flies that belong to large flies (for example, house flies, black flies, black flies, etc.).
  • flying insects that enter buildings by flying and other than large flies e.g., insects of the order Hyperformes other than large flies, thrips, moths, flycatchers, fly ants, bees
  • insects that invade buildings by wandering or creeping e.g., ants, earwigs, crickets, springtails, centipedes, millipedes, etc.
  • the source information D3 includes insects that are generated from water systems such as drainage systems (e.g., butterflies, fruit flies, flea flies, false flies, and hayato flies). , black flies, etc.), mycophagous insects that originate from fungi (e.g., winged chatatates, cylindrical beetles, serpent beetles, snail beetles, etc.), and insects that originate from indoor dust and food.
  • water systems e.g., drainage systems (e.g., butterflies, fruit flies, flea flies, false flies, and hayato flies).
  • mycophagous insects that originate from fungi e.g., winged chatatates, cylindrical beetles, serpent beetles, snail beetles, etc.
  • insects that originate from indoor dust and food e.g., winged chatatates, cylindrical beetles, serpent beetles, snail beetles, etc
  • Indoor dust and food systems including, for example, chatate beetles, snails, cutworms, white mites, grasshoppers, flatullies, leopard beetles, and caterpillars
  • insect predators that feed on insects
  • insects of the order Araneidae such as Arachnidae, Araneidae, and Piperidae belong to this category
  • heat source/interstitial insects that generate from heat sources or gaps
  • cockroaches, etc. belong to this category
  • the source determining unit 712 of this embodiment refers to the table T1 as shown in FIG. 13, and determines the intrusion route information D2 and the source information D3 for the type that the increase determining unit 711 determines has increased. Specifically, with reference to the type information D1 of the table T1, the intrusion route information D2 and source information D3 corresponding to the type determined to have increased are acquired. Specifically, if the type of insects determined to have increased is one of a1, a2, or a3, the source determination unit 712 determines that the insects that are increasing are externally invasive types and the source is flying. It is determined that it is a type of large fly.
  • the source determining unit 712 outputs only one type as the type of insects that are increasing. For example, if the types of insects that have been determined to have increased are a4, a5, a6, a7, and a8, the source determination unit 712 determines that the insects that are increasing are external invasive types and that the source of the insects is is determined to be of the flying type or other type.
  • the treatment method determining unit 713 determines and outputs a treatment method D4 for reducing insects based on the source information D3 determined by the source determining unit 712.
  • the treatment method determination unit 713 of this embodiment outputs both the treatment method D4 using physical control D41 and the treatment method D4 using chemical control D42 (chemical treatment) as the treatment method D4 for reducing insects.
  • the processing method determination unit 713 of this embodiment determines the processing method D4 by referring to the database regarding the processing method D4, and specifically, the processing method D4 is determined by referring to the table T1 as shown in FIG. judge.
  • the processing method determining unit 713 uses a processing method corresponding to the other types. As physical control D41 in D4, confirmation of a passage that can become an external entry hole is output. In this manner, the processing method determination unit 713 outputs the processing method D4 for each type in the source information D3, dividing it into physical control D41 and chemical control D42.
  • the treatment method determining unit 713 determines the type and amount of the chemical to be used, as well as the chemical treatment method and location, and determines whether or not to immediately perform the chemical treatment using the determined method. to judge. The specific process flow will be described later.
  • the processing unit 8 is configured to perform predetermined processing according to the output of the processing method determination unit 713.
  • the processing unit 8 of this embodiment is a notification unit configured to notify the manager of the building to be controlled, etc. of the processing method D4 regarding the physical control D41 and the chemical control D42 output by the processing method determination unit 713.
  • 81, and a chemical processing means 82 that executes chemical processing related to the chemical control D42 outputted by the processing method determination unit 713.
  • the pest control system 7 includes a current result acquisition step S51, a previous result acquisition step S52, an increase determination step S53, a source determination step S54, a treatment method determination step S55, and a treatment output step S56. and repeat.
  • the current result acquisition step S51 is a step of acquiring the identification results output by the insect identification system 6 and acquiring the number of insects of each type included in the identification results.
  • the current result acquisition step S51 of the present embodiment is executed by the increase determination unit 711, and the insect identification system 6 outputs the identification result every predetermined time, so that the identification result can be obtained every predetermined time.
  • the acquired identification result is stored in the storage means 72.
  • the previous result acquisition step S52 is a step of acquiring the identification results outputted last time by the insect identification system 6, and acquiring the number of insects for each type in the previous identification results included in the identification results.
  • the previous result acquisition step S52 of the present embodiment is executed by the increase determination unit 711 to acquire the previous identification result from the storage means 72.
  • the increase determination step S53 the number of insects of each type included in the identification result outputted this time by the insect identification system 6 is compared with the number of insects of each type included in the identification result outputted last time, and a threshold value is set for each type. This is a step of determining whether the number of insects has increased by a threshold value or more, and outputting the type of insects for which the number of insects has increased by a threshold value or more. If it is determined in the increase determination step S53 that there is no type for which the number of insects has increased by more than the threshold value (NO in the increase determination step S53), the process moves to the current result acquisition step S51, and the number of insects has increased by more than the threshold value. If it is determined that there is one or more types (YES in the increase determination step S53), the process moves to the source determination step S54. Further, the increase determination step S53 of this embodiment is executed by the increase determination unit 711.
  • the source determination step S54 is a step of determining the intrusion route information D2 and the source information D3 for the insects for which it was determined in the increase determination step S53 that the number of insects has increased by more than the threshold value.
  • the database (table T1 shown in FIG. 13 in this embodiment) is referred to for the types for which it was determined that the number of insects has increased by more than the threshold value in the increase determination step S53.
  • This is a step of referring to the intrusion route information D2 and the source information D3 to identify the types of sources that are increasing in number.
  • the increase determination step S53 if one or more types of a1, a2, and a3 are increasing, it is determined that the type of externally invading large flying flies is increasing, and a4, If one or more types of a5, a6, a7, and a8 are increasing, it is determined that external invasion type flying and other types are increasing, and b1, b2, b3, b4, b5 If one or more of these types is increasing, it is determined that the wandering/crawling type of external invasive type is increasing, and if c1 or c2 is increasing, it is determined that the external invasive type is increasing. It is determined that other types of cases are increasing.
  • the generation source determination step S54 if one or more types of d1, d2, d3, d4, and d5 are increasing, the types of internally generated drainage/plumbing systems are increasing. If one or more types of e1, e2, e3, e4, and e5 are increasing, it is determined that the endogenous bacteriophagous type is increasing, and f1, f2 , f3, f4, and f5, it is determined that the type of internally generated indoor dust/food is increasing, and one of g1, g2, and g3 is increasing.
  • the generation source determination step S54 the generation source is determined for all types for which it was determined in the increase determination step S53 that the amount has increased by a threshold value or more. Further, the source determining step S54 is executed by the source determining unit 712.
  • the treatment method determination step S55 is a step of determining the treatment method D4 that corresponds to the source of the increasing number of types of insects. Specifically, this is a step of determining a process for reducing the increasing number of insects based on the intrusion route information D2 and the source information D3 determined in the source determining step S54.
  • the processing method D4 corresponding to the source information D3 is output with reference to a database (for example, table T1 shown in FIG. 13). Further, in the treatment method determination step S55, the physical control D41 and the chemical control D42 in the treatment method D4 are output separately.
  • physical control D41 includes checking for dead animals that could be the source, installing insect nets, and checking openings. , and outputs caution instructions such as the shutter opening time, and outputs instructions for spraying the chemical into the space at the entry point and/or dispersing the chemical at the source as chemical control D42. Output. If flying insects or other types of pests are increasing, physical pest control D41 should be carried out by installing insect nets, checking openings, giving instructions on how long to open shutters, etc., and instructing the placement of attraction lights and LED switching lights around buildings.
  • chemical control D42 an instruction for spraying the chemical into the space at the entry point and/or dispersing the chemical at the source is output.
  • physical control D41 is the installation of sticky traps
  • chemical control D42 is spraying of chemicals around the building and preventive chemical treatment of areas where they can invade. If the number of other types of external intrusion type is increasing, we support confirmation of passages that can become external intrusion holes as physical control D41.
  • a cleaning instruction for the position corresponding to the source information D3 is output as physical pest control D41, and a chemical As target control D42, chemical treatment for exterminating the insects and preventive chemical treatment for the source of the outbreak are output.
  • physical control D41 if the types of drainage and water systems are increasing, removal of the source such as drainage and water systems is performed, and the number of fungivorous systems is increasing. If there is an increase in indoor dust and food-based dust, cleaning and removing mold, etc. that could be the source, and cleaning and removing dust that could be the source of insect-predatory dust, etc.
  • a notification of bed bug detection will be sent as physical control D41, and a notification of bed bug detection will be sent as chemical control D42 to exterminate the infested insects.
  • the treatment method determination step S55 if the number of external invasive types is increasing, excluding other types, a method of preventing the intrusion of the increasing number of insects is selected as physical control D41. Then, as chemical control D42, chemical treatment for at least one of the invaded part and the source is output. In addition, if the number of internally occurring types is increasing, excluding other types, cleaning and removal of the source is output as physical control D41, and chemical treatment to exterminate the insects as chemical control D42. and output preventive drug treatment for the source.
  • the treatment method determination step S55 regarding the chemical treatment as chemical control D42, the type and amount of the chemical to be used, the method of chemical treatment, and the location where the treatment is performed are determined. Specifically, as shown in FIG. 11, in the drug treatment, there is a treatment method determining step S57 in which it is determined which type of drug to use and in what method to perform the treatment, and a step S57 in which the amount of the drug used in the treatment is determined. A processing amount determination step S58 is performed, and an implementation feasibility determination step S59 is performed to determine whether or not to immediately perform drug treatment.
  • the treatment method determination step S57 it is determined to spray the chemical selected according to the insect source to the insect source and the location where the insect was detected. For example, a drug processing method corresponding to the source information D3 is determined based on a database (not shown).
  • the amount of the drug selected in the treatment method determination step S57 to be used for the treatment is determined.
  • the amount of chemical used for treatment can be determined depending on the method of chemical treatment and the number of insects generated. For example, it can be configured to derive and determine the treatment method D4 and the amount of chemical treatment corresponding to the number of insects based on a database (not shown).
  • the implementation feasibility determination step S59 is a step of determining whether or not to execute the drug treatment. Specifically, in the implementation feasibility determination step S59, it is determined whether or not the drug treatment is to be performed, depending on the situation of the location where the drug treatment is to be performed. In the implementation feasibility determination step S59 of this embodiment, as shown in FIG. A time determination step S592 for determining whether time has elapsed, and a processable date and time determination step S593 for determining whether it is the date and time when spraying of the medicine is permitted are executed. In the person determination step S591, for example, information from a human sensor or camera installed at the location where the drug treatment is to be performed is obtained, and it is determined whether or not there is a person at the location where the drug treatment is to be performed.
  • the processing possible date and time determination step S593 is a step of determining whether or not it is a preset date and time when medicine treatment is possible.
  • the medicine processing possible date and time is set based on the time or the day of the week.
  • the processing unit 8 is instructed to execute drug processing (drug processing execution instruction step S594). Further, in the person determination step S591, it is determined that there is a person (NO in the person determination step S591), or in the time determination step S592, it is determined that a predetermined time has not elapsed since the previous drug treatment (time determination step S592).
  • step S593 if it is determined in the processing possible date and time determination step S593 that the processing is not possible (NO in the processing possible date and time determination step S593), it is determined that the drug treatment is not to be performed immediately, and the skip processing is performed in step S595. Execute. In the skip process S595, the notification means 81 of the processing unit 8 notifies the administrator etc. of the necessity of drug processing, and allows the administrator to manually execute the drug processing or to specify the date and time for the drug processing. Encourage them to specify.
  • various instructions are given to the processing unit 8 based on the content output in the processing method determination step S55.
  • the notification means 81 notifies the building manager etc. of the output content, and the manager etc. performs the physical pest control D41. Encourage them to do it.
  • the chemical processing means 82 is controlled to execute chemical processing or skip processing S595 is executed.
  • the notification is made by the notification means 81, it is also possible to notify that the notification is for countermeasure control.
  • the pest control system 7 of the present embodiment based on the identification results output by the insect identification system 6, it is determined whether there is a type of insects whose number has increased by more than a threshold value, and If there is an increased number of types, the processing method D4 corresponding to the increased number of types is output, so that the harmful effects of insects can be suppressed.
  • the source information D3 for the increased types is determined and the processing method D4 corresponding to the source information D3 is output, so for example, when multiple types of insects are generated from the same source, It is possible to suppress outputting a duplicate processing method D4.
  • the present invention is not limited to such a configuration.
  • the configuration is not limited to this configuration. It can also be configured to use the identification results determined by. Insect identification is not limited to using the identification results of insects captured by insect traps, but also detects insects moving within a building, identifies the type of the insect, and outputs the identification results for each type.
  • a system 6 for example, an insect identification system 6 that outputs the type and number of insects as identification results based on an odor sensor) can also be employed.
  • the pest control system 7 has been described for the case where it determines and outputs the processing method D4, it is not limited to such a configuration.
  • it outputs the intrusion route information D2 and the source information D3, and the control system It can also be configured to notify the following.
  • a building manager or the like can perform the necessary work for pest control based on the notified intrusion route information D2 and source information D3.
  • the configuration is not limited to this, for example.
  • the processing method determining unit 713 may be configured to output the processing method D4 corresponding to the type whose number has been increased, which is output by the increase determining unit 711, without being based on the source information D3.
  • the processing method determination unit 713 outputs both the physical pest control D41 and the chemical pest control D42 as the pest control method
  • the processing method determination unit 713 outputs only one of the physical pest control D41 and the chemical pest control D42. It can also be configured as When adopting such a configuration, the treatment method determination unit 713 selects and outputs the appropriate treatment method D4 from the physical control method D41 and the chemical control method D42 based on information such as the number of insects. It can also be configured.
  • processing method D4 of the physical pest control D41 has been described for the case where the building manager etc. is notified by the notification means 81, the method D4 is not limited to such a configuration. It can also be configured.
  • the processing unit 8 may be configured to close the opening when confirmation of the opening is output.
  • the increase determination step S53 a case has been described in which the determination is made using the previous identification results, but the configuration is not limited to this.
  • the number of insects in the past several identification results is It is also possible to determine whether the current number has increased by more than a threshold value with respect to the average value.
  • the processing method D4 is determined based on the source information D3, the configuration is not limited to this, and for example, it may be configured to be determined based on the type information D1. It can also be configured to be determined based on the intrusion route information D2.
  • the pest control system 7 that performs preventive control uses the identification results received from the insect identification system 6 and the environmental information regarding the environment inside and outside the building received from the factor sensor unit 9 that monitors the environment inside and outside the building.
  • a control unit 71 that determines whether there is a risk of an increase in insects based on the information, and outputs a preventive method for preventing an increase in insects when there is a risk of an increase in insects; and various determinations by the control unit 71. 13 and 16) and a storage means 72 for storing environmental information received from the factor sensor.
  • the configuration of the insect identification system 6 and the configuration of the processing unit 8 are similar to the configuration of the pest control system 7 that executes countermeasure control.
  • the factor sensor unit 9 is a sensor that monitors the environment inside and outside the building, and specifically, it is a sensor that monitors at least humidity and temperature.
  • the factor sensor unit 9 of this embodiment detects an environment in a building where internally occurring insects can occur (specifically, a location indicated by source information D3 for internally occurring insects shown in FIG. 13). ) and the environment outside the building (specifically, around the building). Further, the factor sensor unit 9 outputs environmental information regarding the environment obtained through monitoring to the pest control system 7.
  • the storage means 72 stores the environmental information received from the factor sensor unit 9 for a predetermined period (for example, one year).
  • the storage means 72 also stores a database (for example, tables T1 and T2 shown in FIGS. 13 and 16) used by the control section 71 for various determinations, and transmits the database to the control section 71 in response to a request from the control section 71.
  • the storage means 72 stores a database in which insect types and increase factors (prevention conditions D7) are associated with each other, as shown in FIG. 16, and a database as shown in FIG. 13 (type information D1). , a database in which intrusion route information D2, source information D3, and information regarding processing method D4 are associated is stored.
  • the growth zero point D5 and the effective cumulative temperature D6 necessary for generation are associated with the insect type.
  • the control unit 71 includes an insect species extraction unit 714 that extracts types of insects that exist in a number equal to or greater than a threshold value from the identification results received from the insect identification system 6, and a factor that increases the number of existing types extracted by the insect species extraction unit 714.
  • a factor extraction unit 715 that extracts (preventive condition D7), a condition determining unit 716 that determines whether the increasing factor (preventive condition D7) extracted by the factor extracting unit 715 is satisfied, and a condition determining unit 716
  • a prevention method determining unit 717 is provided, which determines a method for preventing an increase in types that are determined to satisfy an increase factor (prevention condition D7) and outputs the result to the processing unit 8.
  • the insect species extraction unit 714 refers to the number of each type of insect output as an identification result from the insect identification system 6, and extracts types whose number is equal to or greater than a threshold value.
  • the insect species extraction unit 714 of this embodiment is configured to extract, from the identification results, species in which one or more insects exist.
  • the factor extraction unit 715 extracts a factor (prevention condition D7) that increases the number of types extracted by the insect species extraction unit 714.
  • the factor extraction unit 715 refers to the database stored in the storage unit 72 (specifically, table T2 shown in FIG. 16), and determines the factors ( Preventive condition D7) is extracted.
  • the factor extraction unit 715 extracts as a factor the condition recorded as the prevention condition D7 in the table T2 shown in FIG.
  • One or more of the following conditions are extracted as factors: numerical value (in this embodiment, day degree), average temperature (in this embodiment, daily average temperature), and relative humidity.
  • the factor extraction unit 715 sets the fact that the effective cumulative temperature is higher than 250 degrees Celsius for type a1 as an increasing factor (preventive condition D7), and sets the effective cumulative temperature higher than 1300 degrees Celsius for type a4 as an increasing factor (prevention condition D7).
  • the effective cumulative temperature is higher than 300 days and the daily average temperature is lower than 20 degrees as an increasing factor (prevention condition D7).
  • condition D7) for type f1, the effective cumulative temperature is higher than 50 days and the relative humidity is less than 90% are extracted as increasing factors (prevention condition D7).
  • the factor extraction unit 715 extracts information (specifically, the growth zero point D5) for determining whether each of the above factors is satisfied from the database.
  • the condition determination unit 716 determines for each type whether a factor that increases the number of insects (prevention condition D7) is satisfied based on the environmental information output by the factor sensor unit 9 and the factors extracted by the factor extraction unit 715. do. Specifically, the condition determination unit 716 uses the environmental information output by the factor sensor unit 9 and stored in the storage unit 72, and information for determining whether each factor extracted by the factor extraction unit 715 is satisfied. (for example, growth zero point D5), the average temperature, relative humidity, effective integrated temperature, etc. are derived, and based on the derived results, it is determined whether the factors extracted by the factor extraction unit 715 are satisfied.
  • condition determination unit 716 determines whether the factors are satisfied based on environmental information outside the building for insects that invade the outside, and determines whether the factors are satisfied for insects that occur inside the building. It is determined whether the factors are satisfied based on environmental information (specifically, environmental information about places where internally generated insects can occur in the building).
  • the prevention method determining unit 717 determines a method for preventing an increase in the types for which the condition determining unit 716 determines that the factors are satisfied.
  • the preventive method determining unit 717 refers to a table T1 as shown in FIG. 13 and determines a preventive method for preventing an increase in the number of insects for the types for which the condition determining unit 716 determines that the factors are satisfied.
  • the prevention method determining unit 717 of this embodiment determines the intrusion route information D2 and source information D3 corresponding to the type determined to satisfy the factor, and specifically refers to the type information D1 of the table T1. Then, intrusion route information D2 and source information D3 corresponding to the type determined to have increased are acquired. Furthermore, the preventive method determining unit 717 determines a preventive method for preventing an increase in insects based on the acquired source information D3, and outputs the determined preventive method to the processing unit 8.
  • the prevention method determination unit 717 of this embodiment outputs a treatment method D4, which is similar to the treatment method D4 output by the treatment method determination unit 713 described above, as a prevention method.
  • the present invention is not limited to such a configuration, and may be configured to output different methods for the treatment method D4 and the prevention method.
  • the prevention method it is possible to output only the physical control D41 without outputting the chemical control D42, or to output the adjustment of temperature and humidity (environment), or to output the adjustment of the temperature and humidity (environment).
  • the pest control system 7 includes an identification result acquisition step S61, a type information extraction step S62, an increase factor extraction step S63, a factor information acquisition step S64, a factor determination step S65, and a source information acquisition step S63.
  • Step S66, preventive method acquisition step S67, and process output step S56 are repeatedly executed.
  • the identification result acquisition step S61 is a step of acquiring the identification results output by the insect identification system 6.
  • the identification result acquisition step S61 of this embodiment is executed at predetermined time intervals. Moreover, the identification result acquisition step S61 of this embodiment is executed by the insect identification system 6 outputting the identification result at every predetermined time.
  • the identification result acquisition step S61 is executed by the insect species extraction unit 714.
  • the type information extraction step S62 is a step of extracting types whose number is equal to or greater than a threshold value from the identification results acquired by the identification result acquisition step S61. In this embodiment, this is a step of extracting the types of insects for which one or more insects are present in the identification results.
  • the type information extraction step S62 is executed by the insect type extraction unit 714.
  • the increasing factor extraction step S63 is a step of extracting an increasing factor (prevention condition D7) from the database for the type extracted in the type information extraction step S62.
  • the increase factor extraction step S63 the database stored in the storage means 72 is referred to, and the factors that cause the number of insects of the type extracted in the type information extraction step S62 to increase (prevention condition D7) and the factors that cause the increase (prevention Information (specifically, growth zero point D5) for determining whether condition D7) is satisfied is extracted.
  • the increase factor extraction step S63 is executed by the factor extraction unit 715.
  • the factor information acquisition step S64 is a step of acquiring environmental information regarding the factor that increases the number of insects (prevention condition D7) extracted in the increase factor extraction step S63. Specifically, in the factor information acquisition step S64, the environmental information stored in the storage means 72 is acquired, and whether the acquired environmental information and the increasing factor (preventive condition D7) extracted in the increasing factor extracting step S63 are satisfied. This is a process of deriving factor information such as average temperature, relative humidity, and effective cumulative temperature based on information for determining the temperature. The factor information acquisition step S64 is executed by the factor extraction unit 715.
  • the factor determination step S65 is a step of determining whether the factor information derived in the factor information acquisition step S64 satisfies the factor for increasing the number of insects (prevention condition D7) extracted in the increase factor extraction step S63. For all types extracted in the type information extraction step S62, if it is determined in the factor determination step S65 that the factor information does not satisfy the prevention condition D7 (NO in the factor determination step S65), the identification result acquisition step S61 is performed. If it is determined in the factor determination step S65 that the factor information satisfies the prevention condition D7 for at least one type extracted in the type information extraction step S62 (YES in the factor determination step S65), the source The process moves to information acquisition step S66. The factor determination step S65 is executed by the condition determination unit 716.
  • the source information acquisition step S66 is a step of specifying the source information D3 and the invasion route information D2 for the types that satisfy the factor that increases the number of insects (prevention condition D7). Specifically, in the source information acquisition step S66, the database (table T1 shown in FIG. 13 in this embodiment) is referred to for the types of insects that are determined to satisfy the conditions for increasing the number of insects (prevention conditions D7). This is a step of identifying increasing types of sources by referring to route information D2 and source information D3. The specific process in the source information acquisition step S66 is the same as the source determining step S54 in the pest control system 7 that executes countermeasure control. The source information acquisition step S66 is executed by the prevention method determining unit 717.
  • the preventive method acquisition step S67 is a step of determining a treatment method D4 corresponding to the source of the type of insect that is determined to satisfy the increasing factor. Specifically, this is a step of determining a process for suppressing an increase in the number of insects, based on the intrusion route information D2 and the source information D3 determined in the source information acquisition step S66.
  • the processing method D4 corresponding to the source information D3 is output with reference to a database (for example, table T1 shown in FIG. 13).
  • the prevention method acquisition step S67 of this embodiment is similar to the treatment method determination step S55 in the pest control system 7 that executes countermeasure control. That is, the prevention method acquisition step S67 includes a step of determining the specific method of chemical treatment in chemical control D42 and whether or not to implement the chemical treatment.
  • the processing output step S68 provides various instructions to the processing unit 8 based on the content output in the preventive method acquisition step S67.
  • the processing output step S68 of this embodiment is similar to the processing output step S56 in the pest control system 7 that executes countermeasure control. Specifically, when the physical pest control D41 is output in the prevention method acquisition step S67, the notification means 81 notifies the building administrator of the output content, and the manager etc. performs the physical pest control D41. Encourage them to do it. Further, when an output related to chemical control D42 is output, the chemical processing means 82 is controlled to execute chemical processing or skip processing S595 is executed.
  • the pest control system 7 configured as described above, for a type of insects in which the number of insects is equal to or higher than a threshold value, it is determined whether or not the factors for increasing the number of insects of that type are satisfied, and if the factors for increasing the number of insects of that type are satisfied. Since insects can be treated for prevention, the increase in insects can be suppressed.
  • the source information D3 is determined for the types that satisfy the factors that increase the number of insects, and the processing method D4 corresponding to the source information D3 is output. , it is possible to suppress outputting the duplicate processing method D4.
  • the structure is not limited to this, and for example, information regarding the season, weather, and sunshine hours can be used. You can also.
  • the pest control system 7 that performs countermeasure control and the pest control system 7 that performs preventive control have been described separately, the present invention is not limited to this configuration, and a single system may be configured to perform both countermeasure control and preventive control. You can also do it. In the case of such a configuration, for example, when the insect identification system 6 outputs an identification result, both countermeasure control and preventive control are executed, and the processing necessary for countermeasure and the processing necessary for prevention are performed. Both can be output to the processing section 8.
  • This disclosure includes the following content.
  • the insect extraction step includes a frame information adding step of adding frame information regarding a frame surrounding the insect included in the image, and the insect data is added based on the frame information added in the frame information adding step.
  • the point information adding step is a step of adding point information data such that the at least three points correspond to two or more parts out of a plurality of parts that the insect has, and the order information adding step The method for generating image data for insect identification according to (1) or (2), wherein the order information is added to the point information based on the order in which the two or more parts are arranged.
  • the point information adding step includes a head corresponding point corresponding to the head of the insect corresponding to the insect data, an abdomen corresponding point corresponding to the abdomen of the insect, and a head corresponding point and the abdomen corresponding
  • the image data for insect identification according to any one of (1) to (3), wherein at least three points, intermediate points located between the points, are designated for the insect data and point information data is added to the insect data. Generation method.
  • the point information adding step adds point information data to a feature point located between the head corresponding point and the abdomen corresponding point as the intermediate point, any one of (1) to (4). 1.
  • the pre-processing image data is arranged at a distance from the capture surface so as to image the capture surface of a captured sample on which insects have been captured, and along the surface direction of the capture surface.
  • a plurality of images are generated by an imaging device including a traveling camera and an irradiation device that irradiates light onto the capturing surface from both sides of a traveling area where the camera travels, and the imaging device runs the camera to generate a plurality of images.
  • the method for generating image data for insect identification according to any one of (1) to (5), wherein the image data for insect identification is generated by capturing a plurality of images and connecting the plurality of captured images to generate the unprocessed image data.
  • a method for generating image data for insect identification which generates image data for insect identification as training data used in machine learning, wherein type information regarding the type of insect is added to the extracted insect data.
  • the method for generating image data for insect identification according to any one of (1) to (6), including the step of providing type information.
  • An image data acquisition unit that acquires target image data in which an insect to be identified is included in the image; and an insect identification unit that identifies the type of insect included in the target image data, the insect identification unit is configured to identify the type of insect included in the target image data acquired by the image data acquisition unit using a learned model constructed by machine learning using teacher data, and the learned model Teacher image data that includes insects, point information data that specifies at least three points among the insect data related to insects included in the teacher image data, and point information data that is added to the insect data, and point information data that is added to the point information data.
  • An insect identification system constructed by machine learning using training data including posture information including order information regarding the order in which the insects were placed, and type information regarding the types of insects included in the training image data.
  • the method for generating image data for insect identification (1) since point information data 4 and order information 5 are given to the extracted insect 1, based on the point information data 4 and order information 5, The posture of the insect 1 can be determined, and even if the insect 1 is bent, for example, the type of the insect 1 can be appropriately identified. Therefore, the identification accuracy of the insect 1 included in the image data can be improved.
  • point information data 4 is specified for two or more parts, and point information data 4 is given based on the order of the parts, so that insect 1 is bent.
  • the posture of insect 1 can be appropriately determined when
  • the posture of the insect 1 can be determined based on at least three points including the head corresponding point 41, the abdomen corresponding point 42, and the intermediate point 43. Even if the insect is bent, the posture of the insect 1 can be determined appropriately.
  • point information data 4 is assigned to the feature point as the intermediate point 43, so for insects 1 of the same type, points are placed at approximately the same position on insect 1. Information data 4 can be added.
  • the imaging device 3 emits light from both sides of the running area, so it is possible to suppress the insect 1 from being in the shadow, and to capture multiple images. Since the unprocessed image data is generated by connecting the images, it is possible to suppress blurring of the insect 1 in the unprocessed image data.
  • image data for insect identification (7) since it includes a type information adding step of adding type information regarding the type of insect 1, even if the insect 1 included in the image data is bent, , image data including the bent insect 1 can be used as teacher data.
  • the learned model 65 generates posture information including point information data 4 and order information 5 regarding at least three points specified for the insect data D included in the teacher image data. Since it is constructed by machine learning using the included training data, the type of insect 1 can be appropriately identified even if insect 1 is bent, for example.
  • Order information 6...Insect identification system, 61...Communication unit, 62...Image data acquisition unit, 63...Insect identification unit, 64...Output unit, 65...Learned model, 7...Pest control system, 71...Control unit, 711...Increase determination 712... Source determination unit, 713... Treatment method determination unit, 714... Insect species extraction unit, 715... Factor extraction unit, 716... Condition determination unit, 717... Prevention method determination unit, 72... Storage means, 8... Processing Part, 81... Notification means, 82... Drug processing means, C... Client terminal, D... Insect data, F... Frame, I... Internet, P... Computer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pest Control & Pesticides (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Environmental Sciences (AREA)
  • Insects & Arthropods (AREA)
  • Wood Science & Technology (AREA)
  • Zoology (AREA)
  • Human Computer Interaction (AREA)
  • Catching Or Destruction (AREA)
  • Image Analysis (AREA)
  • Debugging And Monitoring (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

本発明の虫同定用画像データの生成方法は、画像中に虫が含まれる処理前画像データを処理して、虫同定用画像データを生成する虫同定用画像データの生成方法であって、処理前画像データから虫に関する虫データを抽出する虫抽出工程と、抽出された虫データに対して少なくとも３点を指定して点情報データを付与する点情報付与工程と、点情報付与工程によって指定された少なくとも３点の点情報データに順番に関する順情報を付与する順情報付与工程と、を有する。

Description

虫同定用画像データの生成方法及び虫同定システム 関連出願の相互参照
　本願は、日本国特願２０２２－５８７９５号の優先権を主張し、引用によって本願明細書の記載に組み込まれる。
　本発明は、虫同定用画像データの生成方法及び虫同定システムに関する。
　従来、捕獲された虫類を同定する捕獲虫類同定システムとして、特許文献１に記載のシステムが知られている。捕獲虫類同定システムは、虫類が粘着した粘着シートの画像を読み込む画像読み込み手段と、読み込まれた画像を解析して捕獲された虫類を同定する解析装置と、を備える。解析装置は、読み込まれた画像に対して、虫が写った領域である虫領域と背景とを区別するための画像処理をする前処理手段と、前処理された画像から虫類のメルクマールデータを取得する特徴抽出手段と、虫類の形態的特徴のメルクマールを標準化した標準メルクマールデータを記憶するデータ記憶手段と、特徴抽出手段によって抽出されたメルクマールデータとデータ記憶手段に記憶された標準メルクマールデータとを比較して虫類の同定をする同定手段と、を備える。
　上記のような捕獲虫類同定システムによれば、人手によって虫類の同定をする場合に比べて客観性及び一貫性のある同定結果を得ることができるとされている。
日本国特開２０１４－１４２８３３号公報
　特許文献１に記載のような捕獲虫類同定システムでは、捕獲された虫が様々な姿勢を取るため、例えば、虫が折れ曲がった状態で粘着シートに粘着している場合に、虫類の形態的特徴を適切に抽出できず、誤認識し同定の精度が低くなることがあった。
　そこで、本発明は、画像データに含まれる虫の同定精度を高めることができる虫同定用画像データの生成方法及び虫同定システムを提供することを目的とする。
　本発明の虫同定用画像データの生成方法は、画像中に虫が含まれる処理前画像データから一匹の虫に関する虫データを抽出する虫抽出工程と、前記抽出された虫データの中で少なくとも３点を指定して点情報データを虫データに付与する点情報付与工程と、該点情報付与工程によって指定された前記少なくとも３点の点情報データに順番に関する順情報を付与する順情報付与工程と、を有する。
　また、本発明の虫同定システムは、画像中に同定対象の虫が含まれる対象画像データを取得する画像データ取得部と、前記対象画像データに含まれる虫の種類を同定する虫同定部と、を備え、前記虫同定部は、教師データを用いた機械学習によって構築された学習済モデルによって前記画像データ取得部が取得した前記対象画像データに含まれる虫の種類を同定するように構成され、前記学習済モデルは、画像中に虫が含まれる教師画像データと、該教師画像データに含まれる虫に関する虫データの中で少なくとも３点を指定して虫データに付与された点情報データ、及び、該点情報データに付与された順番に関する順情報、を含む姿勢情報と、前記教師画像データに含まれる虫の種類に関する種類情報と、を含む教師データを用いた機械学習によって構築される。
　本発明によれば、画像データに含まれる虫の同定精度を高めることができる虫同定用画像データの生成方法及び虫同定システムを得ることができる。
本発明の一実施形態に係る虫同定用画像の生成方法における処理前画像データを撮影する撮影装置を示す概略図である。 同虫同定用画像の生成方法における処理を示すフローチャートである。 同虫同定用画像の生成方法における部位抽出工程の処理を示すフローチャートである。 同虫同定用画像の生成方法において枠情報が付与された処理前画像データに対応する画像を示す図である。 同虫同定用画像の生成方法において部位抽出工程が完了した虫データに対応した虫を示す図であり、部位判定可能な虫データに対応した虫を示す。 虫同定用画像の生成方法において部位抽出工程が完了した虫データに対応した虫を示す図であり、部位判定不能な虫データに対応した虫を示す。 同虫同定用画像の生成方法において点情報データ及び順情報が付与された虫データに対応した虫を示す図であり、部位の境界が認識可能な虫データに対応した虫を示す。 同虫同定用画像の生成方法において点情報データ及び順情報が付与された虫データに対応した虫を示す図であり、部位の境界が認識不能な虫データに対応した虫を示す。 本発明の一実施形態に係る虫同定システムの概要を示す図である。 同虫同定システムを示すブロック図である。 対処制御を行う防除システムを示すブロック図である。 対処制御を行う防除システムにおける虫の増加判定、発生源、処理方法判定工程の処理を示すフローチャートである。 対処制御を行う防除システムにおける薬剤処理方法の判定工程の処理を示すフローチャートである。 対処制御を行う防除システムにおける実施可否判断工程の処理を示すフローチャートである。 対処制御を行う防除システムにおける各種処理判定の判断に用いるデータテーブルである。 予防制御を実行する防除システムを示すブロック図である。 予防制御を実行する防除システムにおける処理の流れを示すフローチャートである。 予防制御を実行する防除システムにおける虫の増殖環境情報判定の判断に用いるデータテーブルである。
　本発明の一実施形態に係る虫同定用画像データの生成方法及び虫同定システム６について図１乃至図８を参照して説明する。
　初めに、本実施形態の虫同定用画像データの生成方法で処理される処理前画像データについて図１を参照して説明する。処理前画像データは、虫１を捕獲可能な捕獲面２ａを有する捕獲済試料２における、虫１が捕獲された捕獲面２ａを撮像可能な撮像装置３によって生成される。本実施形態の捕獲済試料２は、捕獲面２ａに虫１が粘着可能に構成され、複数の虫１が捕獲面２ａに粘着した状態で捕獲されている試料であり、具体的には、虫１が捕獲された捕虫紙である。ここで、「虫」とは、哺乳類、鳥類、魚介類以外のすべての小動物を含み、本実施形態では節足動物（特に昆虫や蜘蛛）を指す。また、捕獲面２ａは、面方向が一方向（本実施形態では図１の紙面を貫く方向）に延伸する平坦な形状である。さらに、捕獲面２ａは、無地であり、本実施形態では全体が黄色の面であり、罫線などが設けられていない面である。
　捕獲済試料２の捕獲面２ａには、複数の虫１が粘着している。本実施形態の捕獲済試料２としては、捕獲面２ａに虫１の死骸を振りかけて粘着させて作成された試料や、虫１を光や匂いで誘引し捕獲面２ａに粘着させて作成された試料が採用されるが、これらに限らない。
　撮像装置３は、捕獲済試料２を撮像して処理前画像データを生成する装置である。具体的に、撮像装置３は、箱型で外光を遮断可能な筐体３１と、筐体３１の内部に設けられ、捕獲面２ａの面方向が一方向に延伸する状態（本実施形態では、図１の紙面を貫く方向に延伸する状態）で捕獲済試料２を保持可能な保持手段（図示しない）と、筐体３１の内部に設けられ、捕獲済試料２における捕獲面２ａを撮像可能な撮像手段３２と、筐体３１の内部に設けられ、捕獲済試料２における捕獲面２ａに光を照射可能な照射装置３３と、撮像手段３２が撮像した画像を処理して処理前画像データを生成する撮像処理部（図示しない）と、を備える。
　撮像手段３２は、保持手段に保持された捕獲済試料２における捕獲面２ａを撮像するように捕獲面２ａに対して離間して配置されるカメラ３４と、保持手段に保持された捕獲済試料２における捕獲面２ａの面方向に沿ってカメラ３４を走行させる走行手段（図示しない）と、を備える。カメラ３４は、走行手段によって捕獲面２ａの面方向に沿って移動（走行）可能であり、捕獲面２ａの面方向に移動しつつ、捕獲面２ａの面方向における複数の位置で捕獲面２ａを撮像可能である。また、本実施形態のカメラ３４は、捕獲面２ａに対向する位置に配置される。また、カメラ３４は、捕獲面２ａのうち、カメラ３４に対向する部分にのみピントが合う程度の焦点距離を有する。
　照射装置３３は、カメラ３４が走行する走行エリアの両サイドから捕獲面２ａに対して光を照射するように構成されている。具体的に、照射装置３３は、走行エリアをまたいだ一方側と他方側とにそれぞれ照明部３５を有し、各照明部３５が捕獲面２ａに対して光を照射する。また、照明部３５は、捕獲面２ａの幅方向（面方向と直交する方向）の中心から上方に略４５度離間した位置から光を照射するように設けられている。本実施形態の照射装置３３は、走行エリアに沿って複数の照明部３５が並んで設けられるように構成されており、走行エリアの一方向における全域に光を照射可能である。また、本実施形態の照射装置３３は、白色光を捕獲面２ａに照射する。
　撮像処理部は、撮像手段３２が撮像した複数の画像をつなげて処理前画像データを生成する。具体的に、撮像処理部は、カメラ３４が撮像した複数の画像について、各画像のピントが合っている部分をつなぎ合わせる加工をして処理前画像データを生成する。本実施形態で撮像処理部は、カメラ３４が撮像した複数の画像について、捕獲面２ａのうちカメラ３４と対向している部分の画像をつなぎ合わせて処理前画像データを生成する。
　以上のように生成された処理前画像データは、例えば、図４に示すように、捕獲面２ａの上に虫１が乗った状態の画像を表すデータである。本実施形態の処理前画像データは、捕獲面２ａを背景とし、該背景上に複数の虫１が写された画像を表す画像データであり、処理前画像データには、虫１に関する虫データＤが複数含まれている。虫データＤとは、処理前画像データのうち、虫１を示す部分の画像データである。
　次に、処理前画像データを処理して虫同定用画像データを生成する方法について図２乃至図６Ａ、図６Ｂを参照して説明する。本実施形態の虫同定用画像データの生成方法は、機械学習に用いられる教師データとしての虫同定用画像データを生成する方法である。
　図２に示すように、本実施形態の虫同定用画像データの生成方法は、上述のように画像中に虫１が含まれる処理前画像データを処理して、虫同定用画像データを生成する方法である。具体的に、虫同定用画像データの生成方法は、処理前画像データから虫１に関する虫データＤを抽出する虫抽出工程Ｓ１と、抽出された虫データＤに含まれる虫１の部位を抽出する部位抽出工程Ｓ２と、抽出された虫データＤに対して点情報データ４を付与する点情報付与工程Ｓ３と、点情報データ４に対して順番に関する順情報５を付与する順情報付与工程Ｓ４と、を備える。本実施形態の虫同定用画像データの生成方法では、上記各工程をすべての虫データＤに対して実行してから次の工程を実行する。また、本実施形態では、各工程を人が行う。
　虫抽出工程Ｓ１は、処理前画像データに対応する画像に含まれる虫１を発見する虫発見工程Ｓ１１と、発見した虫１を特定するための虫特定工程Ｓ１２と、を実行する工程である。即ち、虫抽出工程Ｓ１では、虫発見工程Ｓ１１で虫１を発見し、虫特定工程Ｓ１２では発見した虫１を特定するための情報を付加したデータを虫データＤとして抽出する。
　虫発見工程Ｓ１１は、処理前画像データを処理して、処理前画像データに対応する画像に含まれる虫１を発見する工程である。本実施形態の虫発見工程Ｓ１１では、処理前画像データに対応する画像から、虫１の特徴を有する部分を探す工程であり、具体的には、背景と異なる色の部分が所定の形状の輪郭を有している場合に、該輪郭で囲まれた部分を１頭の虫１として判定する。
　図４に示すように、虫特定工程Ｓ１２は、虫発見工程Ｓ１１において発見された虫１を囲う枠Ｆに関する情報である枠情報を付与する工程である枠情報付与工程と、枠情報付与工程で付与された枠情報に基づいて虫データを抽出する抽出工程と、発見された虫１の種類に関する種類情報を付与する種類情報付与工程と、を実行する工程である。即ち、本実施形態の虫特定工程Ｓ１２では、処理前画像データに対応する画像中に含まれる虫１の範囲と、虫１の種類と、に関する情報を特定し、該特定された虫１に関する虫データＤを抽出する。
　枠情報付与工程は、処理前画像データのうち、発見された虫１が占める範囲を特定し、該虫１が占める範囲を囲う枠Ｆに関する枠情報を付与する工程である。具体的に、枠情報付与工程は、虫発見工程Ｓ１１で発見された虫１の外縁を特定し、該外縁を囲うような枠Ｆに関する情報を付与する工程である。本実施形態で付与される枠情報に対応した枠Ｆは、方形状、とくには長方形状であり、例えば、長方形状の枠Ｆのうち、対角に位置する２点の座標を枠情報として付与する。
　抽出工程では、枠情報に基づいて虫データＤを抽出する工程である。具体的に、抽出工程では、虫発見工程Ｓ１１で発見された虫１が位置する範囲を枠Ｆで囲ったデータを虫データＤとして抽出する。即ち、虫データＤは、処理前画像データのうち、虫１が位置する範囲を枠Ｆで囲って抽出された画像データである。
　種類情報付与工程は、発見された虫１の種類（具体的には、後述する虫１の発生源を特定するために必要な程度の分類における種類であって、例えば、虫１が属する、生物の分類階級における科（Ｆａｍｉｌｙ））を特定し、虫１の種類についての情報を虫データＤに付与する工程である。ここで、付与される種類に関する情報とは、虫１の種類を特定可能な情報であり、例えば、虫１の種類名や虫１の種類に関する識別子である。種類情報付与工程では、枠情報に対応する枠Ｆに囲まれた虫１の種類名に関する情報を虫データＤに付与する。
　図２及び図３に示すように、部位抽出工程Ｓ２は、抽出された各虫データＤに対応した虫１の部位を抽出する工程である。また、本実施形態の部位抽出工程Ｓ２では、各虫データＤに対応した虫１について、部位特定が可能であるか否かを判断し、部位特定可能である場合に各虫データＤに対応した虫１の部位を特定し抽出する。具体的に、部位抽出工程Ｓ２は、処理対象の虫データＤに対応した虫１を選ぶ選択工程Ｓ２１と、選択工程Ｓ２１において選択された虫データＤに対応した虫１の部位を特定可能であるかを判断する可否判断工程Ｓ２２と、部位を特定可能な虫データＤに対応した虫１について部位を特定し抽出する特定工程Ｓ２３と、部位を特定できない虫データＤに対応した虫１に対して部位を特定しないことを指定する不指定処理工程Ｓ２４と、を実行する工程である。本実施形態の部位抽出工程Ｓ２では、未処理の虫データＤがあるかどうかを判定し、未処理の虫データＤがいる場合には部位抽出工程Ｓ２における各処理を繰り返す繰り返し工程Ｓ２５を実行する。
　ここで、虫１の体の構成について図４乃至図６Ａ、図６Ｂを参照して説明する。虫１は、頭部１３、及び、頭部１３と連結され、少なくとも腹部１６を含む胴部１４を有する体本体１１と、体本体１１から外方に延びる付属部１２と、を備える。付属部１２は、例えば、触角や脚部、翅等を含む。体本体１１の構成は虫１によって異なる。例えば、昆虫の体本体１１は、頭部１３と、胴部１４としての胸部１５及び腹部１６と、を備える。また、蜘蛛の体本体１１は、頭部１３としての頭胸部と、胴部１４としての腹部１６と、を備える。本実施形態において、虫１の部位とは、虫１の体本体１１における各部位を指すものとして説明する。
　図３に示すように、選択工程Ｓ２１は、抽出された複数の虫データＤに対応した虫１から１頭の虫１を処理対象として選択する工程である。また、選択工程Ｓ２１では、部位抽出工程Ｓ２における処理完了していない未処理の虫データＤに対応した虫１を選択する。
　可否判断工程Ｓ２２は、選択された虫データＤに対応した虫１の部位を特定可能であるかを判断する工程である。本実施形態の可否判断工程Ｓ２２では、選択された虫データＤに対応した虫１の画像に各部位が判別可能な程度表れているか否かを判断し、各部位が判別可能な程度表れている場合には、選択された虫データＤに対応した虫１の部位を特定可能であると判断する。本実施形態の可否判断工程Ｓ２２では、少なくとも頭部１３と胴部１４とを判別可能であれば部位を判別可能であると判断する。例えば、図５Ａに示すように、虫データＤに対応した虫１の体本体１１における各部位（頭部１３と胴部１４）の境界が認識可能である場合に、虫１の部位を特定可能であると判断する。一方、図５Ｂに示すように、虫データＤに対応した虫１の体本体１１が付属部１２（具体的には翅）、他の虫１や塵等によって隠れ、頭部１３と胴部１４の境界が判別不能である場合には、部位特定不可であると判断する。また、可否判断工程Ｓ２２では、虫１が捕獲面２ａ上で潰れたり、破損して部位の一部が紛失又は体本体１１から離れたりしている場合のような、虫データＤに対応した虫１の部位を判別できないような場合にも部位特定不可であると判断する。本実施形態では、虫データＤに対応した虫１の一部がつぶれたり隠れたりしていたとしても、虫１の部位を判定可能な程度に体本体１１が認識できれば虫１の部位を特定可能であると判断する。
　特定工程Ｓ２３は、可否判断工程Ｓ２２において、虫データＤに対応した虫１の部位を特定可能であると判断された虫１について各部位を特定し、抽出する工程である。具体的に、特定工程Ｓ２３は、虫データＤに対応した虫１画像データのうち、各部位が位置している範囲を特定し、抽出する。例えば、図５Ａに示すように、特定工程Ｓ２３で、虫データＤに対応した虫１の体本体１１全体が認識可能であり頭部１３、胸部１５、及び腹部１６の境界が認識できる場合には、虫１の体本体１１のうち、頭部１３が位置している範囲と、胸部１５が位置している範囲と、腹部１６が位置している範囲と、を特定して抽出し、抽出した各範囲に各部位と対応した情報を付与する。また、特定工程Ｓ２３では、虫データＤに対応した虫１の頭部１３と胸部１５との境界は認識可能であるが、胸部１５と腹部１６の境界が認識できない場合、又は、胴部１４が胸部１５及び腹部１６の少なくとも一方を備えない虫１（例えば蜘蛛）である場合（例えば図６Ｂに示すような場合）には、頭部１３が位置している範囲と、胴部１４が位置している範囲と、の少なくとも２以上の部位を特定して抽出し、抽出した各範囲に各部位と対応した情報を付与する。
　不指定処理工程Ｓ２４は、可否判断工程Ｓ２２において、部位判定不可であると判断された虫データＤに対応した虫１について、部位の特定をしないと指定する工程である。不指定処理工程Ｓ２４によって、部位特定不可であると判断された虫データＤに対応した虫１には、例えば図５Ｂに示すように、部位判定不可であるという情報が付与される。
　繰り返し工程Ｓ２５は、部位抽出工程Ｓ２における処理をしていない未処理の虫データＤに対応した虫１がいるかどうかを判定し、未処理の虫１がいる場合には部位抽出工程Ｓ２における各処理を繰り返す工程である。具体的に繰り返し工程Ｓ２５では、処理前画像データに含まれる複数の虫データＤに、特定工程Ｓ２３における処理又は不指定処理工程Ｓ２４における処理が完了していない虫データＤが含まれている場合には、未処理の虫データＤに対応した虫１がいると判断し、選択工程Ｓ２１に移行する処理をする。また、繰り返し工程Ｓ２５は、処理前画像データに含まれるすべての虫データＤについて、特定工程Ｓ２３における処理又は不指定処理工程Ｓ２４における処理が完了している場合には、部位抽出工程Ｓ２を終了させる。
　図２に示すように、点情報付与工程Ｓ３は、虫データＤに対して、少なくとも３点を指定して点情報データ４を付与する工程である。また、点情報付与工程Ｓ３では、虫データＤに対応した虫１の表面に載る３点を指定して点情報データ４を付与し、具体的には、虫１の体本体１１の全長方向（虫１の頭と腹を結ぶ方向）に離間した３点を指定して点情報データ４を付与する。即ち、点情報付与工程Ｓ３は、処理前画像データのうち、虫データＤに対応した虫１が位置する範囲内に少なくとも３点の点情報データ４を付与する工程であり、具体的には、部位抽出工程Ｓ２で抽出された虫１の各部位が位置する範囲内の少なくとも３点に点情報データ４を付与する。本実施形態の点情報付与工程Ｓ３では、虫データＤに対応した虫１の体本体１１を構成する複数の部位のうち、２以上の部位に対して３点が対応するように点情報データ４を付与する工程であり、例えば、頭部１３及び胴部１４に３点が対応するように点情報データ４を付与する。図６Ａ及び図６Ｂに示すように、本実施形態の点情報付与工程Ｓ３では、各虫データＤに対応した虫１について、少なくとも虫１の頭部１３に対応した位置及び虫１の胴部１４に対応した位置に点情報データ４を付与し、具体的には、虫１の頭部１３に対応した頭部対応点４１と、虫１の腹部１６に対応した腹部対応点４２と、頭部対応点４１及び腹部対応点４２の間に位置した中間点４３と、の３点を指定して点情報データ４を付与する。このように、本実施形態の点情報付与工程Ｓ３では、虫データＤに対応した虫１の部位を基準として点情報データ４を付与するので、部位抽出工程Ｓ２において、部位が抽出された虫データＤに対して点情報データ４を付与するが、部位抽出工程Ｓ２において部位判定不可と判断された虫データＤに対しては点情報データ４を付与しない。なお、本実施形態で、点情報データ４は、虫データＤにおける座標を示す付帯情報であるが、このような構成に限らず、虫データＤとしての虫の画像に、点を上書きするように構成し、上書きされた点を点情報データ４として扱う構成とすることもできる。
　頭部対応点４１は、頭部１３の先端（体本体１１の全長方向で頭側の端部）に指定される点であり、また、体本体１１の幅方向（虫データＤに対応した虫１の画像において体本体１１の全長方向に直交する方向）で略中央に指定される点である。即ち、頭部対応点４１は、虫１の体本体１１の先端、かつ、体本体１１の幅方向で略中央に指定される点である。腹部対応点４２は、腹部１６の後端（体本体１１の全長方向で腹側の端部）に指定される点であり、また、体本体１１の幅方向で略中央に指定される点である。即ち、腹部対応点４２は、胴部１４の後端（虫１の体本体１１の後端）、かつ、体本体１１の幅方向で略中央に指定される点である。
　中間点４３は、虫１の体本体１１のうち、全長方向における中途部分に指定される点である。また、中間点４３は、虫１の幅方向で略中央に指定される点であり、本実施形態では、胴部１４に位置する点である。さらに、中間点４３は、虫１の体本体１１のうち、特徴点に位置する点である。特徴点とは、虫１の外見上の特徴がある点であり、例えば、部位同士の境目や、翅の付け根又は虫１の模様、虫１の各部位の先端と後端の中央位置のような、部位内で特徴がある点に基づいて判別可能な位置等である。虫１の各部位の先端と後端の中央位置とは、例えば腹部の先端と後端の中央位置や、胴部の先端と後端の中央位置である。例えば、図６Ａに示す虫１の場合には、胸部１５と腹部１６の境界位置のうち、幅方向の中央部分を特徴点として、中間点４３の位置が指定される。また、図６Ｂに示す虫１（例えばコウチュウ目）の場合には、胴部１４のうち、翅の付け根部分を特徴点として中間点４３の位置が指定される。本実施形態の点情報付与工程Ｓ３では、虫データＤに対応した虫１の体本体１１の部位同士の境目が認識可能な場合には、部位同士の境目を特徴点として扱い、虫データＤに対応した虫１の体本体１１の部位同士の境目を認識不能、かつ、部位内で特徴がある点を認識可能な場合には、部位内で特徴がある点を特徴点として扱う。
　順情報付与工程Ｓ４は、点情報付与工程Ｓ３で付与された３点の点情報データ４に順番に関する順情報５を付与する工程である。順情報５は、虫データＤに対応した虫１の姿勢を特定するために点情報データ４に対して付与される順番に関する情報であり、具体的には、頭部対応点４１、中間点４３、及び、腹部対応点４２を所定の順に並べた順番に関する情報である。また、順情報５は、虫１の体本体１１の全長方向に並ぶ順番に関する情報であり、本実施形態では、図６Ａ及び図６Ｂに示すように、先端側（頭側）から後端側（腹側）に向かう順番に関する情報である。即ち、順情報付与工程Ｓ４では、虫１の体本体１１の部位の並び順に基づいて点情報データ４に対して順情報５を付与し、本実施形態では、頭部対応点４１、中間点４３、腹部対応点４２の順になる順番に関する順情報５を付与する。なお、順情報データ５は、虫データＤに対して付与される付帯情報である。また、本実施形態の順情報付与工程Ｓ４では、点情報データ４に対して順情報５を付与するので、点情報付与工程Ｓ３において点情報データ４を付与されていない虫データＤ（部位抽出工程Ｓ２において部位判定不可と判断された虫データＤ）に対しては順情報５を付与しない。
　以上のような虫同定用画像データは、虫を同定するために用いられる。また、後述するように、虫同定用画像データは機械学習のために用いられる。上記いずれの使用方法においても、点情報データ４及び順情報データ５によって、虫の姿勢を把握できるので、虫の同定精度が高まる。
　以上のように、本実施形態の虫同定用画像データの生成方法では、処理前画像データに対して上記工程における各処理をして虫同定用画像データを生成する。
　次に、虫同定システム６について図７及び図８を参照して説明する。
　図７に示すように、虫同定システム６は、インターネットＩを介してクライアント端末Ｃ（本実施形態では撮像装置３）から送信された画像データに含まれる虫１を同定するシステムである。具体的に、虫同定システム６は、クライアントが虫捕獲済試料を撮像した対象画像データを処理して、対象画像データに含まれる虫１を同定して出力するシステムである。本実施形態で、対象画像データは、前述の撮像装置３によって撮像され、撮像装置３に内蔵された通信手段で虫同定システム６に対して送信させる。
　図８に示すように、虫同定システム６は、外部と通信する通信部６１と、外部から対象画像データを取得する画像データ取得部６２と、対象画像データに含まれる虫１の種類を同定する虫同定部６３と、虫同定部６３の同定結果を出力する出力部６４と、を備える。画像データ取得部６２は、通信部６１及びインターネットＩを介してクライアント端末Ｃ（撮像装置３）から対象画像データを取得する。出力部６４は、通信部６１及びインターネットＩを介して同定結果をクライアント端末Ｃ（具体的には、クライアントのコンピュータＰやタブレット端末等）に出力する。また、このような虫同定システム６は、コンピュータによって実現される。具体的に、本実施形態の虫同定システム６は、コンピュータが、外部と通信する通信部６１と、外部から対象画像データを取得する画像データ取得部６２と、対象画像データに含まれる虫１の種類を同定する虫同定部６３と、虫同定部６３の同定結果を出力する出力部６４と、として機能するように構成されて実現される。
　虫同定部６３は、教師データを用いた機械学習によって構築された学習済モデル６５によって、対象画像に含まれる虫１の種類を同定するように構成されている。学習済モデル６５は、上記虫同定用画像データの生成方法によって生成された虫同定用画像データを教師データとして用いた機械学習によって構築される。
　学習済モデル６５の教師データは、画像中に虫１が含まれる教師画像データとしての処理前画像データと、教師画像データに含まれる虫１に関する虫データＤに対して少なくとも３点を指定して付与された点情報データ４、及び、該点情報データ４に付与された順番に関する順情報５、を含む姿勢情報と、教師画像データに含まれる虫１の種類に関する種類情報と、を含む。点情報データ４は、点情報付与工程Ｓ３において付与される点情報データ４と同一であり、順情報５は、順情報付与工程Ｓ４において付与される順情報５と同一であり、種類情報は、種類情報付与工程において付与される種類情報と同一である。また、本実施形態の教師データは、教師画像データに含まれる虫１を囲う枠Ｆに関する枠情報が付与されたデータである。枠情報は、枠情報付与工程において付与される枠情報と同一である。
　学習済モデル６５は、上述の虫同定用画像データの生成方法によって生成された虫同定用画像データを教師データとした、いわゆる教師あり学習によって構築される。即ち、学習済モデル６５は、機械学習アルゴリズムに対して、種類情報が付加された虫同定用画像データを多数与えて構築されたモデルである。
　このような虫同定部６３は、対象画像データを処理して、対象画像データに含まれる虫１を発見し、該発見した虫１の種類を同定する。本実施形態の虫同定部６３は、対象画像データに対して、発見された虫１の種類情報を付与し、種類ごとの虫１の数を同定結果として出力する。本実施形態では、虫１の種類として、科レベルでの分類を採用する。
　以上のような構成の虫同定用画像データの生成方法によれば、抽出された虫１に対して点情報データ４及び順情報５が付与されるので、該点情報データ４や順情報５に基づいて虫１の姿勢を割り出すことができ、例えば虫１が折れ曲がっていても適切に虫１の種類を同定することができる。よって、画像データに含まれる虫１の同定精度を高めることができる。
　また、抽出した虫１に枠情報が付与されるので、複数の虫１が重なり合っている場合でも適切に虫１を判別しやすい。
　さらに、２以上の部位に対して点情報データ４を指定し、部位の並び順に基づいて点情報データ４を付与するので、虫１が折れ曲がっている場合に適切に虫１の姿勢を判断できる。
　また、頭部対応点４１、腹部対応点４２及び中間点４３を含む少なくとも３点を基に虫１の姿勢を判断できるため、虫１が折れ曲がっている場合でも適切に虫１の姿勢を判断できる。
　さらに、中間点４３として特徴点に点情報データ４を付与するので、同じ種類の虫１に対しては、虫１における略同じ位置に点情報データ４を付与できる。
　また、撮像装置３は、走行エリアの両サイドから光を照射するので、虫１が影になることを抑制でき、かつ、複数の画像をつなげて処理前画像データを生成するので、処理前画像データの虫１がぼやけることを抑制できる。
　さらに、虫１の種類に関する種類情報を付与する種類情報付与工程を含むので、画像データに含まれる虫１が折れ曲がっている場合であっても、該折れ曲がった虫１を含む画像データを教師データとして用いることができる。
　また、点情報付与工程Ｓ３の前に抽出された虫データＤから該虫データＤに対応する虫１の部位を抽出する部位抽出工程Ｓ２を有し、部位抽出工程Ｓ２は、少なくとも虫１の頭部１３及び腹部１６を抽出する。よって、点情報付与工程Ｓ３において、虫１の体本体１１の部位に対して適切に点情報データ４を付与できる。
　また、部位抽出工程Ｓ２は、抽出された虫データＤについて部位抽出可能であるか否かを判定する可否判断工程Ｓ２２を有し、抽出された虫データＤのうち、可否判断工程Ｓ２２において部位抽出可能であると判断された虫データＤに対してのみ部位抽出を行い、点情報付与工程Ｓ３では、部位抽出された虫データＤに対してのみ点情報データ４を付与する。よって、確実に虫データＤに対応した虫１の部位に点情報データ４を付与できる。
　さらに、点情報付与工程Ｓ３では、虫１の体本体１１の少なくとも３点を指定して点情報データ４を付与する。よって、例えば昆虫の付属肢のような、付属部１２の状態にかかわらず虫１の姿勢を確実に判別できる。
　また、順情報付与工程Ｓ４では、頭部対応点４１、中間点４３、腹部対応点４２の順、又は腹部対応点４２、中間点４３、頭部対応点４１の順に順情報５を付与する。よって、体本体１１の全長方向に沿って順情報５を付与するので、虫１の姿勢を確実に判別できる。
　さらに、以上のような構成の虫同定システム６によれば、学習済モデル６５は、教師画像データに含まれる虫データＤに対して指定された少なくとも３点に関する点情報データ４と順情報５を含む姿勢情報を含んだ教師データを用いた機械学習によって構築されるので、例えば虫１が折れ曲がっていても適切に虫１の種類を同定することができる。
　発明者が、上記の学習済モデル６５を用いた虫同定システム６と、前記点情報データ４及び順情報５のような虫の姿勢に関する情報を含まず、虫の画像に対して虫の種類に関する情報のみを付与した教師データとして構築された従来型学習済モデルを用いた従来型虫同定システムと、を比較した結果を以下に記載する。同じ虫捕獲済試料を用いて虫１の同定をしたところ、従来型虫同定システムの同定精度は約６０．０％であったのに対して、本発明に係る学習済モデル６５を用いた虫同定システム６の同定精度は約７９．１％であった。また、従来型虫同定システムでは、処理前画像に虫１が密集している場合に、虫１を虫１として判定できず虫１を検出する精度が下がる（具体的には、９０．０％以上から８０．０％以下まで下がる）ことがあったが、上記学習済モデル６５用いた虫同定システム６では、虫１が密集している場合であっても虫１を検出する精度を維持（おおむね９０．０％以上）することができた。
　以上、本発明の実施形態について一例を挙げて説明したが、本発明は前記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変更を加えることができる。
　例えば、虫同定用画像データの生成方法を用いて教師データとしての画像データを作成する場合について説明したが、このような場合に限らず、例えば、人や機械によって画像データに含まれる虫１を同定する作業における前処理として本虫同定用画像データの生成方法を用いることもできる。具体的には、捕獲済試料２を撮像した試料撮像データに対して、本発明に係る虫同定用画像データの生成方法を適用し、処理前画像データとしての試料撮像データを、同定作業に際して用いられる、虫同定用画像データとしての同定作業用データとすることもできる。
　また、人が処理前画像データに情報を付与して虫同定用画像データを作成する場合について説明したが、このような場合に限らず、例えば、全て又は一部の工程において処理前画像データに機械が情報を付与するように構成することもできる。全ての工程において、機械が処理前画像データに情報を付与するように構成する場合には、コンピュータが、虫抽出工程Ｓ１と、部位抽出工程Ｓ２と、点情報付与工程Ｓ３と、順情報付与工程Ｓ４と、を実行して虫同定用画像を生成する虫同定用画像の生成方法として構成することができる。
　さらに、各工程をすべての虫１に対して実行してから次の工程に進む場合について説明したが、このような場合に限らず、例えば１頭の虫１に対してすべての工程を実行してから、次の虫１に対してすべての工程を実行するように構成することもできる。複数の虫１に対して独立して各工程を実行することもできる。
　また、虫抽出工程Ｓ１で抽出された虫データＤに対して、虫１の種類に関する種類情報を付与する種類情報付与工程を含む場合について説明したが、このような場合に限らず、例えば、虫１を同定する作業における前処理として本虫同定用画像データの生成方法を用いる場合には、虫１の種類情報を付与しないように構成することもできる。
　さらに、虫抽出工程Ｓ１では、枠情報付与工程として、画像中の虫１を囲う四角形状の枠Ｆに関する枠情報を付与する場合について説明したが、このような構成に限らず、例えば、丸型や、虫１の輪郭に沿った形状のような、四角形状以外の枠に関する枠情報を付与することもできるし、枠Ｆを付与しない、つまり枠情報付与工程を含まないようにすることもできる。
　また、部位抽出工程Ｓ２では、虫データＤに対応した虫１に対して部位抽出の可否を判断し、部位抽出可能と判断された虫データＤに対してのみ虫１の部位を抽出する場合について説明したが、このような構成に限らず、全ての虫データＤに対して虫１の部位を抽出するように構成することもできる。
　さらに、部位抽出工程Ｓ２を備える場合について説明したが、部位抽出工程Ｓ２を備えない構成とすることもできる。部位抽出工程Ｓ２を備えない場合には、例えば、点情報付与工程Ｓ３において虫データＤに対して、体本体１１の一端部、他端部、両端部の間位置の３点に点情報データ４を付与し、順情報付与工程Ｓ４において点情報データ４に一端部から他端部に向かって順に順情報５を付与するように構成することもできる。この場合、実質的には、虫１の２以上の部位に対して少なくとも３点が対応するように点情報データ４が付与される。なお、上記のような構成の場合、例えば体本体１１の一端部は、虫１の触角がある場所として判定することもできる。また、頭部１３が小さく、胴部１４が大きい虫１等の場合には、胴部１４に３点以上の点情報データ４を付与し、例えば頭部１３側から順に順情報５を付与することもできる。さらに、体本体１１にのみ点情報データ４を付与する場合について説明したが、このような構成に限らず、付属部１２としての触角や脚部、翅部に点情報データ４を付与することもできる。例えば、触角の先端、体本体１１、及び、脚部にそれぞれ１つ以上の点情報データ４を付与し、触角から順に順情報５を付与することもできる。いずれにしても、虫１の姿勢を推定できる程度に間隔をあけて３つ以上の点情報データ４及び順情報５を付与することで、虫１の姿勢を割り出して、虫１の同定精度を高めることができる。なお、４つ以上の点情報データ４を付与する場合には、精度よく姿勢を割り出すことができる。
　また、虫データＤに対して順情報付与工程Ｓ４において付与した順情報５に従って点情報データ４をつないだ線情報を付与するように構成することもできる。線情報を付与した場合には、付与された線情報によって、虫１の姿勢を判別しやすい。また、虫データＤに対して点情報付与工程Ｓ３において付与した各点を結んだ線に囲まれたエリアに関する情報を付与することもできる。エリアに関する情報を付与した場合には、例えば、点情報付与工程Ｓ３で付与された３点の点情報データ４に囲まれたエリアの面積が広い場合には、虫１が大きく折れ曲がっていると判断することができる。
　さらに、虫同定システム６における画像データ取得部６２は、インターネットＩを介して画像データを取得する場合について説明したが、このような構成に限らず、捕虫紙などを撮像した装置から直接画像データを取得するように構成することもできる。
　また、対象画像データは、教師画像データを撮像した方法と同じ方法で撮像される場合について説明したが、このような構成に限らず、教師画像データと別の方法で撮像することもできる。
　さらに、虫１の種類として生物の分類階級における「科（Ｆａｍｉｌｙ）」を用いる場合について説明したが、このような場合に限らず、「目（Ｏｒｄｅｒ）」や、「属（Ｇｅｎｕｓ）」、「種（ｓｐｅｃｉｅｓ）」などを用いることもできるし、分類階級に基づかない分類（例えば「ガガンボ類」のような見た目に基づく分類）を採用することもできる。
　次に、防除システム７について、図９乃至図１６を参照して説明する。防除システム７は、虫が増加した場合や、虫が増加する可能性が高い場合に、虫による悪影響を抑制するための処理を行うシステムであり、本実施形態では、建物内（例えば食品工場）の虫及び／又は建物に侵入する虫の防除を行うためのシステムである。本実施形態の防除システム７では、上記虫同定システム６を用いる。
　防除システム７は、虫の増加に対応して、建物内の虫及び／又は建物に侵入する虫を減らすための処理をする対処制御（フィードバック制御）と、建物内の虫及び／又は建物に侵入する虫が増加する可能性がある場合に、虫の増加を予防するための処理をする予防制御（フィードフォワード制御）と、を実行する。まず、対処制御ついて説明する。
　図９に示すように、対処制御を行う防除システム７は、虫同定システム６から同定結果に関する情報を受信して処理を行う制御部７１と、各種情報を記憶する記憶手段７２と、を備え、制御部７１の処理結果を処理部８に出力する。本実施形態の防除システム７に同定結果に関する情報を出力する虫同定システム６は、建物内及び建物外に設置され、定点観測するように設けられた撮像装置３が生成（具体的には、撮像及び画像処理）した対象画像データについて、対象画像データに含まれる虫の種類ごとの数を同定結果として制御部７１に対して出力する。撮像装置３は、建物内及び建物外に設けられた複数の捕虫装置（例えば捕虫紙）に捕虫された虫を撮像して対象画像データを生成する。即ち、本実施形態の虫同定システム６は、捕虫装置に捕虫された虫について、虫の種類ごとの数に関する同定結果を出力する。また、本実施形態で、虫同定システム６は、所定時間毎に同定結果を出力するように構成される。
　防除システム７は、所定の処理を実行する制御部７１と、虫同定システム６から受信した同定結果に関する情報を記憶する記憶手段７２と、を備える。本実施形態の防除システム７は、虫同定システム６から受信した同定結果に関する情報に基づいて、虫の数が閾値以上増加している種類を特定し、特定された虫の種類に対応した処理方法Ｄ４を出力するように構成されたシステムである。また、本実施形態の防除システム７は、クラウドコンピューティングによって実現されるが、これに限定されない。
　記憶手段７２は、虫同定システム６から受信した同定結果について、少なくとも前回受信分の同定結果を記憶する。また、記憶手段７２は、記憶している前回受信分の同定結果を制御部７１に対して送信可能である。さらに、記憶手段７２は、制御部７１が各種判定に用いるデータベース（例えば図１３に示すテーブルＴ１）を記憶し、制御部７１の要求に応じて制御部７１に対して送信する。図１３に示すように、本実施形態の記憶手段７２が記憶するデータベースは、虫の種類（種類情報）に対して、侵入経路情報Ｄ２及び発生源情報Ｄ３と、処理方法Ｄ４に関する情報と、が関係付けられたデータベースである。
　制御部７１は、虫同定システム６から受信した同定結果及び記憶手段７２が記憶する前回受信分の同定結果を比較して、虫の種類ごとの虫の数が閾値以上増えたか否かを判定する増加判定部７１１と、増加判定部７１１が閾値以上増えたと判定した虫の種類について、当該種類の虫の侵入経路に関する侵入経路情報Ｄ２及び発生源に関する発生源情報Ｄ３を判定する発生源判定部７１２と、発生源判定部７１２の判定に基づいて建物内の虫を減らすための処理方法Ｄ４を判定する処理方法判定部７１３と、を備える。
　増加判定部７１１は、虫同定システム６から同定結果を受信しつつ、記憶手段７２から前回受信分の同定結果を受信し、前回受信分の同定結果と今回受信分の同定結果とを比較して、虫の種類ごとに虫の数が閾値以上増加したか否かを判定する。即ち、本実施形態の増加判定部７１１は、虫同定システム６によって前回同定結果が出力されてから、今回の同定結果が出力されるまでの間に、捕虫装置に新たに捕獲された虫の数が閾値以上であるか否かを、虫の種類ごとに判定する。このような増加判定部７１１によれば、所定時間（虫同定システム６が同定結果を出力する間隔）において、捕虫装置に新たに捕獲された虫の数が閾値以上であるか否かを、虫の種類ごとに判定できるので、捕虫装置が設置された環境に特定の種類の虫が多い場合に、該種類の虫が多いことを判定できる。なお、本実施形態での閾値は、予め設定された数値であるが、このような構成に限らず、例えば、平常時の増加量の２倍の数値を閾値として扱うこともできる。
　発生源判定部７１２は、増加判定部７１１が閾値以上増加したと判定した虫の種類について、当該種類の虫の発生源に関する発生源情報Ｄ３を判定する。即ち、発生源判定部７１２では、捕虫装置が設置された環境に特定の種類の虫が多い場合に、当該種類の虫の発生源を特定する。本実施形態の発生源判定部７１２は、増加したと判定された種類の虫の侵入経路に関する侵入経路情報Ｄ２及び虫の発生源に関する発生源情報Ｄ３を判定する。侵入経路情報Ｄ２は、その種類の虫が、建物外で発生して建物内に侵入する外部侵入型であるか、建物内で発生する内部発生型であるかを区別する情報である。本実施形態の発生源判定部７１２は、虫の種類ごとの侵入経路情報Ｄ２と発生源情報Ｄ３に関する予め用意されたデータベースに基づいて増加した種類の虫の侵入経路情報Ｄ２及び発生源情報Ｄ３を特定する。
　図１３に示すように、発生源情報Ｄ３は、その種類の虫が建物内における発生源を特定するための情報であり、外部侵入型の種類の虫については、その虫の建物内への侵入方法を特定するための情報であり、内部発生型の種類の虫については、建物内部のどのような環境で発生するかを特定するための情報である。具体的に、発生源情報Ｄ３は、外部侵入型の虫については、飛翔して建物内に侵入する虫であって、大型ハエに属する飛翔性大型ハエ（例えば、イエバエ類、ニクバエ類、クロバエ類等が属する）、飛翔して建物内に侵入する虫であって大型ハエ以外の飛翔性その他（例えば、大型ハエを除くハエ目の虫や、アザミウマ類、ガ類、トビケラ類、ハリアリ類、ハチ類、ウンカ類、ヨコバイ類、アブラムシ類等が属する）、徘徊又は匍匐して建物内に侵入する徘徊・匍匐性（例えば、アリ類、ハサミムシ類、コオロギ類、トビムシ類、ムカデ類、ヤスデ類、ゲジ類、ワラジムシ類、ダニ類、クモ類、ゴミムシ類、カメムシ類等が属する）、又は、上記に該当しないその他類（例えばネズミ類が属する）の４類型のいずれに属するかに関する情報である。また、発生源情報Ｄ３は、内部発生型の虫については、排水などの水回り系から発生する虫である排水・水回り系（例えば、チョウバエ類、ショウジョウバエ類、ノミバエ類、ニセケバエ類、ハヤトビバエ類、ヤマトクロコバエ類等が属する）、菌類から発生する虫である菌食性系（例えば、有翅チャタテ類、コナチャタテ類、ヒメマキムシ類、ハネカクシ類等が属する）、室内の埃や食品から発生する虫である室内埃・食品系（例えば、チャタテムシ類、シミ類、カツオブシムシ類、コナダニ類、シバンムシ類、ヒラタムシ類、ヒョウホンムシ類、メイガ類等が属する）、昆虫類を餌として発生する昆虫捕食系（例えば、チリグモ科、ユウレイグモ科、ハエトリグモ科などのクモ目の虫等が属する）、熱源や間隙から発生する虫である熱源・間隙系（例えば、ゴキブリ類等が属する）、又は、内部発生型の虫で、上記類型に属しないその他類（例えば、トコジラミ類が属する）の６類型のいずれに属するかに関する情報である。
　本実施形態の発生源判定部７１２は、図１３に示すようなテーブルＴ１を参照して、増加判定部７１１が増加したと判定した種類について、侵入経路情報Ｄ２及び発生源情報Ｄ３を判定し、具体的には、テーブルＴ１の種類情報Ｄ１を参照して、増加したと判定された種類に対応した侵入経路情報Ｄ２及び発生源情報Ｄ３を取得する。具体的に、発生源判定部７１２は、増加したと判定された種類が、ａ１，ａ２，ａ３のいずれかである場合には、増加している虫が外部侵入型であり発生源は飛翔性大型ハエの類型であると判定する。また、発生源判定部７１２は、発生源情報Ｄ３に関する類型が同一の虫が増加している場合には、増加している虫の類型として１類型のみを出力する。例えば、増加したと判定された種類が、ａ４，ａ５，ａ６，ａ７，ａ８のうちの複数である場合には、発生源判定部７１２は、増加している虫が外部侵入型であり発生源は飛翔性その他の類型であると判定する。
　処理方法判定部７１３は、発生源判定部７１２が判定した発生源情報Ｄ３に基づいて、虫を減らすための処理方法Ｄ４を判定して出力する。本実施形態の処理方法判定部７１３は、虫を減らすための処理方法Ｄ４として、物理的防除Ｄ４１による処理方法Ｄ４及び化学的防除Ｄ４２（薬剤処理）による処理方法Ｄ４の両方を出力する。また、本実施形態の処理方法判定部７１３は、処理方法Ｄ４に関するデータベースを参照して処理方法Ｄ４を判定し、具体的には、図１３に示すようなテーブルＴ１を参照して処理方法Ｄ４を判定する。例えば、発生源判定部７１２が、増加している種類の発生源に関する類型が飛翔性大型ハエであると判定した場合には、飛翔性大型ハエの類型に対応した処理方法Ｄ４における物理的防除Ｄ４１として、発生源となりうる動物類の死骸の確認、防虫ネットの設置、開口部分を確認、及び、シャッター開放時間等注意指示を出力し、化学的防除Ｄ４２として、侵入部での薬剤空間噴霧を出力する。また、処理方法判定部７１３は、発生源判定部７１２が、外部侵入型で発生源情報Ｄ３がその他の類型の虫が増加していると判定した場合には、その他の類型に対応した処理方法Ｄ４における物理的防除Ｄ４１として、外部侵入孔となりうる通路の確認を出力する。このように、処理方法判定部７１３では、発生源情報Ｄ３における類型ごとの処理方法Ｄ４を物理的防除Ｄ４１と化学的防除Ｄ４２に分けて出力する。
　また、処理方法判定部７１３は、化学的防除Ｄ４２について、使用する薬剤の種類及び分量、並びに薬剤処理の方法及び処理をする場所を決定し、決定された方法による薬剤処理を直ちに行うか否かを判断する。具体的な処理の流れについては後述する。
　処理部８は、処理方法判定部７１３の出力に応じて所定の処理をするように構成されている。本実施形態の処理部８は、処理方法判定部７１３が出力した物理的防除Ｄ４１及び化学的防除Ｄ４２に関する処理方法Ｄ４を防除対象の建物の管理者等に通知するように構成されている通知手段８１と、処理方法判定部７１３が出力した化学的防除Ｄ４２に関する薬剤処理を実行する薬剤処理手段８２と、を備える。
　以上のような構成の防除システム７における処理の流れについて図１０乃至図１２を参照して説明する。
　図１０に示すように、防除システム７は、今回結果取得工程Ｓ５１と、前回結果取得工程Ｓ５２と、増加判定工程Ｓ５３と、発生源判定工程Ｓ５４と、処理方法判定工程Ｓ５５と、処理出力工程Ｓ５６と、繰り返しを実行する。
　今回結果取得工程Ｓ５１は、虫同定システム６が出力した同定結果を取得し、同定結果に含まれる種類ごとの虫の数を取得する工程である。本実施形態の今回結果取得工程Ｓ５１は、増加判定部７１１が実行し、虫同定システム６が所定時間毎に同定結果を出力することにより、所定時間毎に同定結果を取得することができる。また、今回結果取得工程Ｓ５１では、取得した同定結果を記憶手段７２に記憶させる。
　前回結果取得工程Ｓ５２は、虫同定システム６が前回出力した同定結果を取得し、同定結果に含まれる前回の同定結果における種類ごとの虫の数を取得する工程である。本実施形態の前回結果取得工程Ｓ５２は、増加判定部７１１が実行し、記憶手段７２から前回の同定結果を取得する。
　増加判定工程Ｓ５３は、虫同定システム６が今回出力した同定結果に含まれる種類ごとの虫の数と前回出力した同定結果に含まれる種類ごとの虫の数とを比較し、各種類について、閾値以上虫の数が増えたか否かを判定し、閾値以上虫の数が増加した種類を出力する工程である。増加判定工程Ｓ５３において、閾値以上虫の数が増えた種類がないと判定された場合（増加判定工程Ｓ５３においてＮＯ）には、今回結果取得工程Ｓ５１に移行し、閾値以上虫の数が増えた種類が１種類以上あると判定された場合（増加判定工程Ｓ５３においてＹＥＳ）には、発生源判定工程Ｓ５４に移行する。また、本実施形態の増加判定工程Ｓ５３は、増加判定部７１１が実行する。
　発生源判定工程Ｓ５４は、増加判定工程Ｓ５３において閾値以上虫の数が増加したと判定された虫について、侵入経路情報Ｄ２と発生源情報Ｄ３を判定する工程である。具体的に、発生源判定工程Ｓ５４では、増加判定工程Ｓ５３において、閾値以上虫の数が増加したと判定された種類について、データベース（本実施形態では図１３に示すテーブルＴ１）を参照して、侵入経路情報Ｄ２と発生源情報Ｄ３を参照し、増加している種類の発生源を特定する工程である。例えば、増加判定工程Ｓ５３において、ａ１，ａ２、ａ３のうち１又は複数の種類が増加している場合には、外部侵入型の飛翔性大型ハエの類型が増加していると判定し、ａ４，ａ５、ａ６，ａ７、ａ８のうち１又は複数の種類が増加している場合には、外部侵入型の飛翔性その他の類型が増加していると判定し、ｂ１，ｂ２，ｂ３，ｂ４，ｂ５のうち１又は複数の種類が増加している場合には、外部侵入型の徘徊・匍匐性の類型が増加していると判定し、ｃ１又はｃ２が増加している場合には、外部侵入型のその他の類型が増加していると判定する。また、発生源判定工程Ｓ５４において、ｄ１，ｄ２，ｄ３，ｄ４，ｄ５のうち１又は複数の種類が増加している場合には、内部発生型の排水・水回り系の類型が増加していると判定し、ｅ１，ｅ２，ｅ３，ｅ４，ｅ５のうち１又は複数の種類が増加している場合には、内部発生型の菌食性系の類型が増加していると判定し、ｆ１，ｆ２，ｆ３，ｆ４，ｆ５のうち１又は複数の種類が増加している場合には、内部発生型の室内埃・食品類の類型が増加していると判定し、ｇ１，ｇ２，ｇ３のうち１又は複数の種類が増加している場合には、内部発生型の昆虫捕食系の類型が増加していると判定し、ｈ１が増加している場合には、内部発生型の熱源・間隙系の類型が増加していると判定し、ｉ１が増加している場合には、内部発生型のその他の類型が増加していると判定する。発生源判定工程Ｓ５４では、増加判定工程Ｓ５３において閾値以上増加していると判定されたすべての種類について発生源を判定する。また、発生源判定工程Ｓ５４は、発生源判定部７１２が実行する。
　処理方法判定工程Ｓ５５は、増加している種類の虫の発生源に対応した処理方法Ｄ４を判定する工程である。具体的には、発生源判定工程Ｓ５４で判定された侵入経路情報Ｄ２と発生源情報Ｄ３に基づいて増加している虫を減らすための処理を判定する工程である。本実施形態の処理方法判定工程Ｓ５５では、発生源情報Ｄ３に対応した処理方法Ｄ４を、データベース（例えば図１３に示すテーブルＴ１）を参照して出力する。また、処理方法判定工程Ｓ５５では、処理方法Ｄ４における物理的防除Ｄ４１と化学的防除Ｄ４２を分けて出力する。例えば、処理方法判定工程Ｓ５５では、飛翔性大型ハエの類型が増加している場合には、物理的防除Ｄ４１として、発生源となりうる動物類の死骸の確認、防虫ネットの設置、開口部分を確認、及び、シャッター開放時間等注意指示を出力し、化学的防除Ｄ４２として侵入部での薬剤空間噴霧及び／又は発生源への薬剤散布処理指示を出力する。を出力する。飛翔性その他の類型が増加している場合には、物理的防除Ｄ４１として、防虫ネットの設置、開口部分を確認、シャッター開放時間等注意指示、並びに、建物周囲の誘引灯配置及びＬＥＤ切替灯指示を、化学的防除Ｄ４２として、侵入部での薬剤空間噴霧及び／又は発生源への薬剤散布処理指示を出力する。また、徘徊・匍匐性の類型が増加している場合には、物理的防除Ｄ４１として粘着性トラップの設置を、化学的防除Ｄ４２として建物周囲への薬剤散布及び侵入可能部への予防的薬剤処理を出力し、外部侵入型のその他の類型が増加している場合には、物理的防除Ｄ４１として、外部侵入孔となり得る通路の確認を支持する。さらに、処理方法判定工程Ｓ５５では、侵入経路情報Ｄ２が内部発生型の種類が増加している場合には、物理的防除Ｄ４１として、発生源情報Ｄ３に対応した位置の清掃指示を出力し、化学的防除Ｄ４２として、発生虫駆除のための薬剤処理及び発生源に対する予防薬剤処理を出力する。具体的に、処理方法判定工程Ｓ５５では、物理的防除Ｄ４１として、排水・水回り系の類型が増加している場合には、排水系・水回り等の発生源除去を、菌食性系が増加している場合には、発生源となり得るカビ等の清掃除去を、室内埃・食品系の類型が増加している場合には、発生源となり得る埃などの清掃除去を、昆虫捕食系の類型が増加している場合には、発生・誘引源となり得る虫類の発生チェックを、熱源・間隙系の類型が増加している場合には、発生源となり得る食品残渣等の清掃除去を、出力する。また、化学的防除Ｄ４２として、排水・水回り系、菌食性系、室内埃・食品系、又は、熱源・間隙系が増加している場合には、発生虫駆除のための薬剤処理及び発生源に対する予防薬剤処理を出力し、昆虫捕食系が増加している場合には、発生虫駆除のための薬剤処理及び誘引・発生源となる虫の発生予防薬剤処理を出力する。さらに、内部発生型のその他の類型（具体的にはトコジラミ類）が増加している場合には、物理的防除Ｄ４１として、トコジラミ検出通知をし、化学的防除Ｄ４２として、発生虫駆除のための薬剤処理及び予防薬剤処理を出力する。また、処理方法判定工程Ｓ５５は、処理方法判定部７１３が実行する。
　以上のように、処理方法判定工程Ｓ５５では、外部侵入型の種類が増加している場合には、その他の類型を除いて、物理的防除Ｄ４１として、増加している虫の侵入防止の方法を出力し、化学的防除Ｄ４２として、侵入部及び発生源の少なくとも一方での薬剤処理を出力する。また、内部発生型の種類が増加している場合には、その他の類型を除いて、物理的防除Ｄ４１として発生源の清掃除去を出力し、化学的防除Ｄ４２として発生虫駆除のための薬剤処理及び発生源に対する予防薬剤処理を出力する。
　また、処理方法判定工程Ｓ５５では、化学的防除Ｄ４２としての薬剤処理について、使用する薬剤の種類及び分量、並びに薬剤処理の方法及び処理をする場所を決定する。具体的に、図１１に示すように、薬剤処理において、どの種類の薬剤を用いてどのような方法で処理を実行するかを決定する処理方法決定工程Ｓ５７と、処理に用いられる薬剤の量を決定する処理量決定工程Ｓ５８と、直ちに薬剤処理を実行するか否かを判断する実施可否判断工程Ｓ５９と、を実行する。
　処理方法決定工程Ｓ５７では、発生源に対応して選択された薬剤を、発生源及び虫が検出された場所に散布するように決定する。例えば、データベース（図示しない）に基づいて、発生源情報Ｄ３に対応した薬剤処理の方法を決定する。
　処理量決定工程Ｓ５８では、処理方法決定工程Ｓ５７で選択された薬剤を処理に用いる量を決定する。処理に用いられる薬剤の量は、薬剤処理の方法や、発生した虫の数に応じて決定することができる。例えば、データベース（図示しない）に基づいて、処理方法Ｄ４及び虫の数に対応した薬剤処理量を導出して決定するように構成できる。
　実施可否判断工程Ｓ５９は、薬剤処理を実行するか否かを判断する工程である。具体的に、実施可否判断工程Ｓ５９では、薬剤処理がされる箇所の状況に応じて、薬剤処理を実行するか否かを判断する。本実施形態の実施可否判断工程Ｓ５９では、図１２に示すように、薬剤処理をする場所に人がいるかどうかを判断する人判断工程Ｓ５９１と、薬剤処理をする場所について、前回の薬剤処理から所定時間経過しているかを判断する時間判断工程Ｓ５９２と、薬剤の散布を許可された日時であるかを判断する処理可能日時判断工程Ｓ５９３を実行する。人判断工程Ｓ５９１では、例えば、薬剤処理をする箇所に設置された人感センサやカメラなどの情報を取得し、該薬剤処理をする箇所に人がいるかどうかを判断する。また、処理可能日時判断工程Ｓ５９３は、予め設定された薬剤処理可能な日時であるかどうかを判断する工程であり、例えば、薬剤処理可能な日時は、時間や曜日に基づいて設定される。本実施形態では、人判断工程Ｓ５９１において、人がいないと判断され（人判断工程Ｓ５９１においてＹＥＳ）、かつ、時間判断工程Ｓ５９２において、前回の薬剤処理から所定時間経過していると判断された場合（時間判断工程Ｓ５９２においてＹＥＳ）、かつ、処理可能日時判断工程Ｓ５９３において、処理可能日時であると判断された場合（処理可能日時判断工程Ｓ５９３においてＹＥＳ）に、薬剤処理が実行可能であると判断し、処理部８に対して薬剤処理を実行するように指示する（薬剤処理実行指示工程Ｓ５９４）。また、人判断工程Ｓ５９１において、人がいると判断され（人判断工程Ｓ５９１においてＮＯ）、又は、時間判断工程Ｓ５９２において、前回の薬剤処理から所定時間経過していないと判断され（時間判断工程Ｓ５９２においてＮＯ）、また、処理可能日時判断工程Ｓ５９３において処理可能日時ではないと判断された場合（処理可能日時判断工程Ｓ５９３においてＮＯ）には、薬剤処理を直ちに実行しないと判断し、スキップ処理Ｓ５９５を実行する。スキップ処理Ｓ５９５では、処理部８の通知手段８１によって、管理者等に薬剤処理の必要性を通知し、管理者が手動で薬剤処理を実行すること、又は、管理者が薬剤処理を行う日時を指定することを促す。
　処理出力工程Ｓ５６では、処理方法判定工程Ｓ５５で出力された内容に基づいて、処理部８に対して各種指示をする。具体的に、処理方法判定工程Ｓ５５で物理的防除Ｄ４１に関する出力がされた場合には、出力された内容を通知手段８１で建物の管理者等に通知し、管理者などが物理的防除Ｄ４１を実行するように促す。また、化学的防除Ｄ４２に関する出力がされた場合には、薬剤処理手段８２を制御して薬剤処理を実行、又は、スキップ処理Ｓ５９５を実行する。また、通知手段８１で通知する場合には、対処制御における通知である旨を合わせて通知することができる。
　以上のように、本実施形態の防除システム７によれば、虫同定システム６が出力した同定結果に基づいて、虫が閾値以上増加している種類があるか否かを判定し、虫が閾値以上増加した種類がある場合に、増加した種類に対応した処理方法Ｄ４が出力されるので、虫による悪影響を抑制できる。
　また、増加した種類について、発生源情報Ｄ３を判定して、発生源情報Ｄ３に対応した処理方法Ｄ４が出力されるので、例えば、同じ発生源から複数種類の虫が発生している場合に、重複した処理方法Ｄ４を出力することを抑制できる。
　なお、対処制御を行う防除システム７について一例を挙げて説明したが、このような構成に限られない。
　例えば、同定結果として、上記虫同定システム６が出力した同定結果を利用する場合について説明したが、このような構成に限らず、例えば、従来型の虫同定システム６が出力した同定結果や、人が判定した同定結果を利用するように構成することもできる。また、捕虫装置に捕獲された虫についての同定結果を利用する場合に限らず、建物内を移動する虫を検知して、該虫の種類を同定し、種類ごとの同定結果を出力する虫同定システム６（例えば、臭いセンサに基づいて、虫の種類及び数を同定結果として出力する虫同定システム６）を採用することもできる。
　また、防除システム７は、処理方法Ｄ４を判定して出力する場合について説明したが、このような構成に限らず、例えば、侵入経路情報Ｄ２や発生源情報Ｄ３を出力して、建物の管理者等に通知するように構成することもできる。このような構成によれば、通知された侵入経路情報Ｄ２や発生源情報Ｄ３に基づいて建物の管理者などが防除に必要な作業をすることができる。
　さらに、発生源判定部７１２が発生源情報Ｄ３を判定し、処理方法判定部７１３が発生源情報Ｄ３に対応した処理方法Ｄ４を出力する場合について説明したが、このような構成に限らず、例えば、処理方法判定部７１３は、発生源情報Ｄ３に基づかず、増加判定部７１１が出力した数が増加した種類に対応した処理方法Ｄ４を出力するように構成することもできる。
　また、処理方法判定部７１３は、物理的防除Ｄ４１と化学的防除Ｄ４２の両方を防除方法として出力する場合について説明したが、物理的防除Ｄ４１及び化学的防除Ｄ４２のいずれか一方のみを出力するように構成することもできる。このような構成を採用する場合には、処理方法判定部７１３が虫の数などの情報に基づいて、物理的防除Ｄ４１及び化学的防除Ｄ４２から適切な処理方法Ｄ４を選択して出力するように構成することもできる。
　さらに、物理的防除Ｄ４１の処理方法Ｄ４は、通知手段８１によって建物の管理者等に通知される場合について説明したが、このような構成に限らず、物理的防除Ｄ４１を自動で実行するように構成することもできる。例えば、開口部分を確認が出力された場合に、処理部８が開口部分を閉じるように構成することもできる。
　また、増加判定工程Ｓ５３において、前回の同定結果を用いて判定する場合について説明したが、このような構成に限らず、例えば、虫の種類ごとに、過去数回分の同定結果における虫の数の平均値に対して今回の数が閾値以上増加しているか否かを判定することもできる。
　さらに、処理方法Ｄ４が発生源情報Ｄ３に基づいて決定される場合について説明したが、このような構成に限らず、例えば、種類情報Ｄ１にもとづいて決定されるように構成することもできるし、侵入経路情報Ｄ２に基づいて決定されるように構成することもできる。
　次に、予防制御を実行する防除システム７について、図１４乃至図１６を参照して説明する。
　図１４に示すように、予防制御を実行する防除システム７は、虫同定システム６から受信した同定結果と建物内外の環境を監視する要因センサ部９から受信した建物内外の環境に関する環境情報とに基づいて、虫が増加する恐れがあるか否かを判定し、虫が増加する恐れがある場合に虫の増加を予防するための予防方法を出力する制御部７１と、制御部７１の各種判定に必要なデータベース（例えば図１３及び図１６に示すテーブルＴ１，Ｔ２）及び要因センサから受信した環境情報を記憶する記憶手段７２と、を備える。虫同定システム６の構成及び処理部８の構成は対処制御を実行する防除システム７における構成と同様である。
　要因センサ部９は、建物内外の環境を監視するセンサであり、具体的には、少なくとも湿度及び気温を監視するセンサである。本実施形態の要因センサ部９は、建物内における、内部発生型の虫が発生しうる場所の環境（具体的には、図１３で示す内部発生型の虫における発生源情報Ｄ３で示される場所）及び建物外（具体的には建物の周囲）の環境を監視するように設けられる。また、要因センサ部９は、監視によって得られた環境に関する環境情報を防除システム７に対して出力する。
　記憶手段７２は、要因センサ部９から受信した環境情報を所定期間分（例えば１年分）記憶する。また、記憶手段７２は、制御部７１が各種判定に用いるデータベース（例えば図１３及び１６に示すテーブルＴ１，Ｔ２）を記憶し、制御部７１の要求に応じて制御部７１に対して送信する。具体的に、記憶手段７２は、図１６に示すような、虫の種類と増加要因（予防条件Ｄ７）が関係付けられたデータベースと、図１３に示すような、虫の種類（種類情報Ｄ１）に対して、侵入経路情報Ｄ２及び発生源情報Ｄ３と、処理方法Ｄ４に関する情報と、が関係付けられたデータベースと、を記憶する。また、図１６に示すデータベースでは、虫の種類に対して、発育零点Ｄ５と発生に必要な有効積算温度Ｄ６が関係づけられている。
　制御部７１は、虫同定システム６から受信した同定結果から、閾値以上の数存在する虫の種類を抽出する虫種抽出部７１４と、虫種抽出部７１４が抽出した存在する種類が増加する要因（予防条件Ｄ７）を抽出する要因抽出部７１５と、要因抽出部７１５が抽出した増加する要因（予防条件Ｄ７）が満たされているか否かを判定する条件判定部７１６と、条件判定部７１６が増加する要因（予防条件Ｄ７）を満たしていると判断した種類について、増加を予防する方法を判定し、処理部８に出力する予防方法判定部７１７と、を備える。
　虫種抽出部７１４は、虫同定システム６から同定結果として出力された、虫の種類ごとの数を参照して、数が閾値以上の種類を抽出する。本実施形態の虫種抽出部７１４は、同定結果から、数が１頭以上存在する種類を抽出するように構成される。
　要因抽出部７１５は、虫種抽出部７１４が抽出した種類が増加する要因（予防条件Ｄ７）を抽出する。具体的に、要因抽出部７１５は、記憶手段７２が記憶するデータベース（具体的には図１６に示すテーブルＴ２）を参照して、虫種抽出部７１４が抽出した種類の虫が増加する要因（予防条件Ｄ７）を抽出する。要因抽出部７１５は、図１６に示すテーブルＴ２において、予防条件Ｄ７として記録された条件を要因として抽出し、具体的には、有効積算温度Ｄ６（発育零点Ｄ５を超えた温度を日で積算した数値、本実施形態では、日度）、平均気温（本実施形態では１日の平均気温）及び相対湿度のうち１又は複数の条件を要因として抽出する。例えば、要因抽出部７１５は、種類ａ１について、有効積算温度が２５０日度より高いことを増加する要因（予防条件Ｄ７）として、種類ａ４について、有効積算温度が１３００日度より高いこと又は日の平均気温が２５度より高いことを増加する要因（予防条件Ｄ７）として、種類ｄ２について、有効積算温度が３００日度より高いことかつ日の平均気温が２０度より低いことを増加する要因（予防条件Ｄ７）として、種類ｆ１について、有効積算温度が５０日度より高いこと上かつ相対湿度が９０％未満であることを増加する要因（予防条件Ｄ７）として、それぞれ抽出する。さらに、要因抽出部７１５は、上記各要因を満たしているかどうかを判断するための情報（具体的には発育零点Ｄ５）をデータベースから抽出する。
　条件判定部７１６は、要因センサ部９が出力した環境情報と要因抽出部７１５が抽出した要因とに基づいて、虫が増加する要因（予防条件Ｄ７）が満たされているかどうかを種類ごとに判定する。具体的に、条件判定部７１６は、要因センサ部９が出力して記憶手段７２に記憶された環境情報、及び、要因抽出部７１５が抽出した各要因を満たしているかどうかを判断するための情報（例えば発育零点Ｄ５）、に基づいて、平均気温や相対湿度、有効積算温度等を導出し、導出した結果に基づいて要因抽出部７１５が抽出した要因が満たされているかどうかを判定する。また、条件判定部７１６は、外部侵入型の種類の虫については、建物外の環境情報に基づいて要因が満たされているかどうかを判定し、内部発生型の種類の虫については、建物内の環境情報（詳しくは、建物内における内部発生型の虫が発生しうる場所の環境情報）に基づいて要因が満たされているかどうかを判定する。
　予防方法判定部７１７は、条件判定部７１６が要因を満たしていると判定した種類について増加を予防する方法を判定する。予防方法判定部７１７は、図１３に示すようなテーブルＴ１を参照して、条件判定部７１６が要因を満たしていると判定した種類について、虫の増加を予防する予防方法を判定する。本実施形態の予防方法判定部７１７は、要因を満たしていると判定された種類に対応した侵入経路情報Ｄ２及び発生源情報Ｄ３を判定し、具体的には、テーブルＴ１の種類情報Ｄ１を参照して、増加したと判定された種類に対応した侵入経路情報Ｄ２及び発生源情報Ｄ３を取得する。また、予防方法判定部７１７は、取得した発生源情報Ｄ３に基づいて、虫の増加を予防する予防方法を判定して処理部８に出力する。
　本実施形態の予防方法判定部７１７は、上述した処理方法判定部７１３において出力される処理方法Ｄ４と同様の処理方法Ｄ４を予防方法として出力する。なお、このような構成に限らず、処理方法Ｄ４と予防方法で異なる方法を出力するように構成することもできる。例えば、予防方法では、化学的防除Ｄ４２を出力せず、物理的防除Ｄ４１のみを出力するようにすることや、温湿度（環境）を調整することを出力することもできるし、化学的防除Ｄ４２において、処理方法Ｄ４において採用される薬剤よりも忌避性の低い遅効性の薬剤を用いた薬剤処理をするように出力することもできる。
　以上のような防除システム７における処理の流れについて、図１５を参照して説明する。
　図１５に示すように、防除システム７は、同定結果取得工程Ｓ６１と、種類情報抽出工程Ｓ６２と、増加要因抽出工程Ｓ６３と、要因情報取得工程Ｓ６４と、要因判定工程Ｓ６５と、発生源情報取得工程Ｓ６６と、予防方法取得工程Ｓ６７と、処理出力工程Ｓ５６と、を繰り返し実行する。
　同定結果取得工程Ｓ６１は、虫同定システム６が出力する同定結果を取得する工程である。本実施形態の同定結果取得工程Ｓ６１は所定時間毎に実行される。また、本実施形態の同定結果取得工程Ｓ６１は、虫同定システム６が所定時間毎に同定結果を出力することにより実行される。同定結果取得工程Ｓ６１は、虫種抽出部７１４が実行する。
　種類情報抽出工程Ｓ６２は、同定結果取得工程Ｓ６１が取得した同定結果から、数が閾値以上存在している種類を抽出する工程である。本実施形態では、同定結果において、１頭以上存在している虫の種類を抽出する工程である。種類情報抽出工程Ｓ６２は、虫種抽出部７１４が実行する。
　増加要因抽出工程Ｓ６３は、種類情報抽出工程Ｓ６２で抽出された種類について、増加する要因（予防条件Ｄ７）をデータベースから抽出する工程である。具体的に、増加要因抽出工程Ｓ６３では、記憶手段７２が記憶するデータベースを参照して、種類情報抽出工程Ｓ６２で抽出された種類の虫が増加する要因（予防条件Ｄ７）及び増加する要因（予防条件Ｄ７）を満たしているかどうかを判断するための情報（具体的には発育零点Ｄ５）を抽出する。増加要因抽出工程Ｓ６３は、要因抽出部７１５が実行する。
　要因情報取得工程Ｓ６４は、増加要因抽出工程Ｓ６３で抽出された虫が増加する要因（予防条件Ｄ７）に関する環境情報を取得する工程である。具体的に、要因情報取得工程Ｓ６４では、記憶手段７２が記憶する環境情報を取得し、取得した環境情報及び増加要因抽出工程Ｓ６３で抽出された増加する要因（予防条件Ｄ７）を満たしているかどうかを判断するための情報に基づいて、平均気温や相対湿度、有効積算温度等の要因情報を導出する工程である。要因情報取得工程Ｓ６４は、要因抽出部７１５が実行する。
　要因判定工程Ｓ６５は、増加要因抽出工程Ｓ６３で抽出された虫が増加する要因（予防条件Ｄ７）を要因情報取得工程Ｓ６４で導出した要因情報が満たしているか否かを判定する工程である。種類情報抽出工程Ｓ６２で抽出されたすべての種類について、要因判定工程Ｓ６５において予防条件Ｄ７を要因情報が満たしていないと判断した場合（要因判定工程Ｓ６５においてＮＯ）には、同定結果取得工程Ｓ６１に移行し、種類情報抽出工程Ｓ６２で抽出された少なくとも１の種類について、要因判定工程Ｓ６５において予防条件Ｄ７を要因情報が満たしていると判断した場合（要因判定工程Ｓ６５においてＹＥＳ）には、発生源情報取得工程Ｓ６６に移行する。要因判定工程Ｓ６５は条件判定部７１６が実行する。
　発生源情報取得工程Ｓ６６は、虫が増加する要因（予防条件Ｄ７）を満たした種類について、発生源情報Ｄ３及び侵入経路情報Ｄ２を特定する工程である。具体的に、発生源情報取得工程Ｓ６６では、虫が増加する条件（予防条件Ｄ７）を満たしたと判定された種類について、データベース（本実施形態では図１３に示すテーブルＴ１）を参照して、侵入経路情報Ｄ２と発生源情報Ｄ３を参照し、増加する種類の発生源を特定する工程である。発生源情報取得工程Ｓ６６における具体的な処理は、対処制御を実行する防除システム７における発生源判定工程Ｓ５４と同様である。発生源情報取得工程Ｓ６６は、予防方法判定部７１７が実行する。
　予防方法取得工程Ｓ６７は、増加する要因を満たすと判定された種類の虫の発生源に対応した処理方法Ｄ４を判定する工程である。具体的には、発生源情報取得工程Ｓ６６で判定された侵入経路情報Ｄ２と発生源情報Ｄ３に基づいて増加している虫が増加することを抑制するための処理を判定する工程である。本実施形態の処理方法判定工程Ｓ５５では、発生源情報Ｄ３に対応した処理方法Ｄ４を、データベース（例えば図１３に示すテーブルＴ１）を参照して出力する。本実施形態の予防方法取得工程Ｓ６７は、対処制御を実行する防除システム７における処理方法判定工程Ｓ５５と同様である。即ち、予防方法取得工程Ｓ６７では、化学的防除Ｄ４２における薬剤処理の具体的な方法や、薬剤処理実施の可否を判断する工程を含む。
　処理出力工程Ｓ６８は、予防方法取得工程Ｓ６７で出力された内容に基づいて、処理部８に対して各種指示をする。本実施形態の処理出力工程Ｓ６８は、対処制御を実行する防除システム７における処理出力工程Ｓ５６と同様である。具体的に、予防方法取得工程Ｓ６７で物理的防除Ｄ４１に関する出力がされた場合には、出力された内容を通知手段８１で建物の管理者等に通知し、管理者などが物理的防除Ｄ４１を実行するように促す。また、化学的防除Ｄ４２に関する出力がされた場合には、薬剤処理手段８２を制御して薬剤処理を実行、又は、スキップ処理Ｓ５９５を実行する。
　以上のような構成の防除システム７によれば、虫が閾値以上の数存在する種類について、その種類の虫が増加する要因を満たしているか否かを判定し、増加する要因を満たしている場合には、予防のための処理をすることができるので、虫の増加を抑制できる。
　また、増加する要因を満たした種類について、発生源情報Ｄ３を判定して、発生源情報Ｄ３に対応した処理方法Ｄ４が出力されるので、例えば、同じ発生源から複数種類の虫が増加する要因を見たしている場合に、重複した処理方法Ｄ４を出力することを抑制できる。
　なお、上記防除システム７において、要因センサ部９から環境情報を取得する場合について説明したが、このような構成に限らず、例えば、建物の外部の環境に関する環境情報を、センサによらず、気象情報等から取得することもできる。
　また、虫が増加する要因として、有効積算温度Ｄ６、平均気温、及び相対湿度を例に挙げて説明したが、このような構成に限らず、例えば、季節や天候、日照時間に関する情報などを採用することもできる。
　さらに、対処制御を行う防除システム７と予防制御を行う防除システム７を分けて説明したが、このような構成に限らず、１のシステムで対処制御と予防制御を両方実行するように構成することもできる。このような構成の場合には、例えば、虫同定システム６が同定結果を出力した際に、対処制御と予防制御を両方実行し、対処のために必要な処理及び予防のために必要な処理の両方を処理部８に出力することができる。
　本開示は、以下の内容を含む。
　（１）画像中に虫が含まれる処理前画像データから一匹の虫に関する虫データを抽出する虫抽出工程と、前記抽出された虫データの中で少なくとも３点を指定して点情報データを虫データに付与する点情報付与工程と、該点情報付与工程によって指定された前記少なくとも３点の点情報データに順番に関する順情報を付与する順情報付与工程と、を有する虫同定用画像データの生成方法。
　（２）前記虫抽出工程は、前記画像中に含まれる虫を囲う枠に関する枠情報を付与する枠情報付与工程を含み、該枠情報付与工程で付与された枠情報に基づいて、虫データを抽出する（１）に記載の虫同定用画像データの生成方法。
　（３）前記点情報付与工程は、虫が有する複数の部位のうち、２以上の部位に対して前記少なくとも３点が対応するように点情報データを付与する工程であり、前記順情報付与工程は、前記２以上の部位の並び順に基づいて前記順情報を前記点情報に付与する、（１）又は（２）に記載の虫同定用画像データの生成方法。
　（４）前記点情報付与工程は、前記虫データに対応する虫の頭部に対応した頭部対応点、前記虫の腹部に対応した腹部対応点、並びに、前記頭部対応点及び前記腹部対応点の間に位置する中間点、の少なくとも３点を前記虫データに対して指定して点情報データを付与する（１）乃至（３）のいずれか１つに記載の虫同定用画像データの生成方法。
　（５）前記点情報付与工程は、前記中間点として、前記頭部対応点及び前記腹部対応点の間に位置する特徴点に点情報データを付与する、（１）乃至（４）のいずれか１つに記載の虫同定用画像データの生成方法。
　（６）前記処理前画像データは、捕獲面に虫が捕獲された捕獲済試料における前記捕獲面を撮像するように該捕獲面から離間して配置され、且つ前記捕獲面の面方向に沿って走行するカメラと、該カメラが走行する走行エリアの両サイドから前記捕獲面に光を照射する照射装置と、を備える撮像装置によって生成され、該撮像装置は、前記カメラを走行させて複数の画像を撮像し、該撮像された複数の画像をつなげて前記処理前画像データを生成する、（１）乃至（５）のいずれか１つに記載の虫同定用画像データの生成方法。
　（７）機械学習に用いられる教師データとしての虫同定用画像データを生成する虫同定用画像データの生成方法であって、前記抽出された虫データに対して、虫の種類に関する種類情報を付与する種類情報付与工程を含む、（１）乃至（６）のいずれか１つに記載の虫同定用画像データの生成方法。
　（８）画像中に同定対象の虫が含まれる対象画像データを取得する画像データ取得部と、前記対象画像データに含まれる虫の種類を同定する虫同定部と、を備え、前記虫同定部は、教師データを用いた機械学習によって構築された学習済モデルによって前記画像データ取得部が取得した前記対象画像データに含まれる虫の種類を同定するように構成され、前記学習済モデルは、画像中に虫が含まれる教師画像データと、該教師画像データに含まれる虫に関する虫データの中で少なくとも３点を指定して虫データに付与された点情報データ、及び、該点情報データに付与された順番に関する順情報、を含む姿勢情報と、前記教師画像データに含まれる虫の種類に関する種類情報と、を含む教師データを用いた機械学習によって構築される虫同定システム。
　（１）の虫同定用画像データの生成方法によれば、抽出された虫１に対して点情報データ４及び順情報５が付与されるので、該点情報データ４や順情報５に基づいて虫１の姿勢を割り出すことができ、例えば虫１が折れ曲がっていても適切に虫１の種類を同定することができる。よって、画像データに含まれる虫１の同定精度を高めることができる。
　（２）の虫同定用画像データの生成方法によれば、抽出した虫１に枠情報が付与されるので、複数の虫１が重なり合っている場合でも適切に虫１を判別しやすい。
　（３）の虫同定用画像データの生成方法によれば、２以上の部位に対して点情報データ４を指定し、部位の並び順に基づいて点情報データ４を付与するので、虫１が折れ曲がっている場合に適切に虫１の姿勢を判断できる。
　（４）の虫同定用画像データの生成方法によれば、頭部対応点４１、腹部対応点４２及び中間点４３を含む少なくとも３点を基に虫１の姿勢を判断できるため、虫１が折れ曲がっている場合でも適切に虫１の姿勢を判断できる。
　（５）の虫同定用画像データの生成方法によれば、中間点４３として特徴点に点情報データ４を付与するので、同じ種類の虫１に対しては、虫１における略同じ位置に点情報データ４を付与できる。
　（６）の虫同定用画像データの生成方法によれば、撮像装置３は、走行エリアの両サイドから光を照射するので、虫１が影になることを抑制でき、かつ、複数の画像をつなげて処理前画像データを生成するので、処理前画像データの虫１がぼやけることを抑制できる。
　（７）の虫同定用画像データの生成方法によれば、虫１の種類に関する種類情報を付与する種類情報付与工程を含むので、画像データに含まれる虫１が折れ曲がっている場合であっても、該折れ曲がった虫１を含む画像データを教師データとして用いることができる。
　（８）の虫同定システム６によれば、学習済モデル６５は、教師画像データに含まれる虫データＤに対して指定された少なくとも３点に関する点情報データ４と順情報５を含む姿勢情報を含んだ教師データを用いた機械学習によって構築されるので、例えば虫１が折れ曲がっていても適切に虫１の種類を同定することができる。
　１…虫、１１…体本体、１２…付属部、１３…頭部、１４…胴部、１５…胸部、１６…腹部、２…捕獲済試料、２ａ…捕獲面、３…撮像装置、３１…筐体、３２…撮像手段、３３…照射装置、３４…カメラ、３５…照明部、４…点情報データ、４１…頭部対応点、４２…腹部対応点、４３…中間点、５…順情報、６…虫同定システム、６１…通信部、６２…画像データ取得部、６３…虫同定部、６４…出力部、６５…学習済モデル、７…防除システム、７１…制御部、７１１…増加判定部、７１２…発生源判定部、７１３…処理方法判定部、７１４…虫種抽出部、７１５…要因抽出部、７１６…条件判定部、７１７…予防方法判定部、７２…記憶手段、８…処理部、８１…通知手段、８２…薬剤処理手段、Ｃ…クライアント端末、Ｄ…虫データ、Ｆ…枠、Ｉ…インターネット、Ｐ…コンピュータ

Claims (8)

  1. 　画像中に虫が含まれる処理前画像データから一匹の虫に関する虫データを抽出する虫抽出工程と、
    　前記抽出された虫データの中で少なくとも３点を指定して点情報データを虫データに付与する点情報付与工程と、
    　該点情報付与工程によって指定された前記少なくとも３点の点情報データに順番に関する順情報を付与する順情報付与工程と、を有する虫同定用画像データの生成方法。
  2. 　前記虫抽出工程は、前記画像中に含まれる虫を囲う枠に関する枠情報を付与する枠情報付与工程を含み、該枠情報付与工程で付与された枠情報に基づいて、虫データを抽出する請求項１に記載の虫同定用画像データの生成方法。
  3. 　前記点情報付与工程は、虫が有する複数の部位のうち、２以上の部位に対して前記少なくとも３点が対応するように点情報データを付与する工程であり、
    　前記順情報付与工程は、前記２以上の部位の並び順に基づいて前記順情報を前記点情報に付与する請求項１に記載の虫同定用画像データの生成方法。
  4. 　前記点情報付与工程は、前記虫データに対応する虫の頭部に対応した頭部対応点、前記虫の腹部に対応した腹部対応点、並びに、前記頭部対応点及び前記腹部対応点の間に位置する中間点、の少なくとも３点を前記虫データに対して指定して点情報データを付与する請求項１に記載の虫同定用画像データの生成方法。
  5. 　前記点情報付与工程は、前記中間点として、前記頭部対応点及び前記腹部対応点の間に位置する特徴点に点情報データを付与する請求項４に記載の虫同定用画像データの生成方法。
  6. 　前記処理前画像データは、捕獲面に虫が捕獲された捕獲済試料における前記捕獲面を撮像するように該捕獲面から離間して配置され、且つ前記捕獲面の面方向に沿って走行するカメラと、該カメラが走行する走行エリアの両サイドから前記捕獲面に光を照射する照射装置と、を備える撮像装置によって生成され、
    　該撮像装置は、前記カメラを走行させて複数の画像を撮像し、該撮像された複数の画像をつなげて前記処理前画像データを生成する請求項１に記載の虫同定用画像データの生成方法。
  7. 　機械学習に用いられる教師データとしての虫同定用画像データを生成する虫同定用画像データの生成方法であって、前記抽出された虫データに対して、虫の種類に関する種類情報を付与する種類情報付与工程を含む請求項１に記載の虫同定用画像データの生成方法。
  8. 　画像中に同定対象の虫が含まれる対象画像データを取得する画像データ取得部と、前記対象画像データに含まれる虫の種類を同定する虫同定部と、を備え、
    　前記虫同定部は、教師データを用いた機械学習によって構築された学習済モデルによって前記画像データ取得部が取得した前記対象画像データに含まれる虫の種類を同定するように構成され、
    　前記学習済モデルは、
    画像中に虫が含まれる教師画像データと、
    該教師画像データに含まれる虫に関する虫データの中で少なくとも３点を指定して虫データに付与された点情報データ、及び、該点情報データに付与された順番に関する順情報、を含む姿勢情報と、
    前記教師画像データに含まれる虫の種類に関する種類情報と、を含む教師データを用いた機械学習によって構築される虫同定システム。
PCT/JP2023/011675 2022-03-31 2023-03-24 虫同定用画像データの生成方法及び虫同定システム Ceased WO2023190096A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020247032942A KR20240170915A (ko) 2022-03-31 2023-03-24 벌레 동정용 화상 데이터의 생성 방법 및 벌레 동정 시스템
EP23780106.3A EP4483713A4 (en) 2022-03-31 2023-03-24 METHOD FOR GENERATING INSECT IDENTIFICATION IMAGE DATA AND INSECT IDENTIFICATION SYSTEM
AU2023242975A AU2023242975A1 (en) 2022-03-31 2023-03-24 Method for generating bug identification image data, and bug identification system
US18/849,274 US20260024371A1 (en) 2022-03-31 2023-03-24 Method for generating bug identification image data, and bug identification system
CA3255352A CA3255352A1 (en) 2022-03-31 2023-03-24 IMAGE DATA GENERATION METHOD FOR INSECT IDENTIFICATION AND INSECT IDENTIFICATION SYSTEM

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022058795A JP7458089B2 (ja) 2022-03-31 2022-03-31 虫同定用画像データの生成方法及び虫同定システム
JP2022-058795 2022-03-31

Publications (1)

Publication Number Publication Date
WO2023190096A1 true WO2023190096A1 (ja) 2023-10-05

Family

ID=88202185

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/011675 Ceased WO2023190096A1 (ja) 2022-03-31 2023-03-24 虫同定用画像データの生成方法及び虫同定システム

Country Status (8)

Country Link
US (1) US20260024371A1 (ja)
EP (1) EP4483713A4 (ja)
JP (3) JP7458089B2 (ja)
KR (1) KR20240170915A (ja)
AU (1) AU2023242975A1 (ja)
CA (1) CA3255352A1 (ja)
TW (1) TW202347252A (ja)
WO (1) WO2023190096A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008242712A (ja) * 2007-03-27 2008-10-09 Olympus Imaging Corp 画像認識装置および画像認識方法
JP2014142833A (ja) 2013-01-24 2014-08-07 Earth Kankyo Service Kk 捕獲虫類の同定方法及び同定システム
CN106886758A (zh) * 2017-01-20 2017-06-23 北京农业信息技术研究中心 基于三维姿态估计的昆虫识别装置及方法
JP2018197940A (ja) * 2017-05-23 2018-12-13 アース環境サービス株式会社 捕獲虫類の同定方法
JP2019016106A (ja) * 2017-07-05 2019-01-31 富士通株式会社 情報処理プログラム、情報処理装置、情報処理方法、及び情報処理システム
JP2020182045A (ja) * 2019-04-24 2020-11-05 日本電信電話株式会社 パノラマ映像合成装置、パノラマ映像合成方法、及びパノラマ映像合成プログラム
JP2022058795A (ja) 2016-12-14 2022-04-12 パナソニックＩｐマネジメント株式会社 食器洗い機

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002034034A (ja) * 2000-07-13 2002-01-31 Yuasa Trading Co Ltd 画像異常判定機構
JP4200171B2 (ja) * 2006-10-19 2008-12-24 ニューリー株式会社 捕虫シートの検査装置及び捕虫シートにおける捕虫の画像計数方法
JP4256441B2 (ja) * 2007-09-21 2009-04-22 ニューリー株式会社 捕虫装置及び捕虫シートの検査方法
ES2956102T3 (es) * 2016-10-28 2023-12-13 Verily Life Sciences Llc Modelos predictivos para clasificar visualmente insectos
WO2020172235A1 (en) * 2019-02-22 2020-08-27 The Johns Hopkins University Insect specimen analysis system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008242712A (ja) * 2007-03-27 2008-10-09 Olympus Imaging Corp 画像認識装置および画像認識方法
JP2014142833A (ja) 2013-01-24 2014-08-07 Earth Kankyo Service Kk 捕獲虫類の同定方法及び同定システム
JP2022058795A (ja) 2016-12-14 2022-04-12 パナソニックＩｐマネジメント株式会社 食器洗い機
CN106886758A (zh) * 2017-01-20 2017-06-23 北京农业信息技术研究中心 基于三维姿态估计的昆虫识别装置及方法
JP2018197940A (ja) * 2017-05-23 2018-12-13 アース環境サービス株式会社 捕獲虫類の同定方法
JP2019016106A (ja) * 2017-07-05 2019-01-31 富士通株式会社 情報処理プログラム、情報処理装置、情報処理方法、及び情報処理システム
JP2020182045A (ja) * 2019-04-24 2020-11-05 日本電信電話株式会社 パノラマ映像合成装置、パノラマ映像合成方法、及びパノラマ映像合成プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4483713A4

Also Published As

Publication number Publication date
AU2023242975A1 (en) 2024-09-26
US20260024371A1 (en) 2026-01-22
TW202347252A (zh) 2023-12-01
CA3255352A1 (en) 2025-03-12
JP7811402B2 (ja) 2026-02-05
EP4483713A4 (en) 2025-08-20
JP2024060036A (ja) 2024-05-01
JP2023149958A (ja) 2023-10-16
EP4483713A1 (en) 2025-01-01
JP7458089B2 (ja) 2024-03-29
KR20240170915A (ko) 2024-12-05
JP2026063238A (ja) 2026-04-10

Similar Documents

Publication Publication Date Title
Staller et al. Identifying predators at northern bobwhite nests
Schaefer Video monitoring of shrub-nests reveals nest predators
Vale Development of baits for tsetse flies (Diptera: Glossinidae) in Zimbabwe
US20190166823A1 (en) Selective Action Animal Trap
AU2021101929A4 (en) Pest Management System
US20230206626A1 (en) Plant disease and pest control method using spectral remote sensing and artificial intelligence
Jack-McCollough et al. Honeybees tune excitatory and inhibitory recruitment signalling to resource value and predation risk
Ulrich et al. Ability of bed bug (H emiptera: C imicidae) defensive secretions (E)‐2‐hexenal and (E)‐2‐octenal to attract adults of the common bed bug C imex lectularius
CN109496622A (zh) 害虫的识别方法及装置、施药信息的确定方法、植保系统
US12458000B2 (en) System, method, and apparatus for active pest denial, apiary monitoring and management
KR20230159811A (ko) 무산쇠족제비 안전 포획장치
Robertson et al. Trojan females and Judas goats: evolutionary traps as tools in wildlife management
JP7458089B2 (ja) 虫同定用画像データの生成方法及び虫同定システム
Linnell et al. Predator–prey interactions in the canopy
Ellison et al. Nest defense-grassland bird responses to snakes
US11839878B2 (en) System and method for sex sorting of mosquitoes
Nielson Sex pheromone traps: a breakthrough in controlling borers of ornamental trees and shrubs
Khalid et al. Whispers in the air: Designing acoustic classifiers to detect fruit flies from afar
JP2021193984A (ja) 家畜への鳥獣害・害虫対策システム
Aman et al. Modern Technologies of Insect Trapping
KR20210101382A (ko) 야생동물 퇴치 시스템 및 그 방법
Jacobs Predators for Free-Ranging Poultry
Gingrich et al. Pest birds: biology and management at food processing facilities
KR102531690B1 (ko) Oled 및 빅데이터와 파장을 기반으로 하는 겹눈해충 퇴치시스템
HK40106805A (zh) 有害动物管理系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23780106

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: AU2023242975

Country of ref document: AU

ENP Entry into the national phase

Ref document number: 2023242975

Country of ref document: AU

Date of ref document: 20230324

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2023780106

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2023780106

Country of ref document: EP

Effective date: 20240926

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 11202406518P

Country of ref document: SG