WO2024084675A1 - 判定装置 - Google Patents

判定装置 Download PDF

Info

Publication number
WO2024084675A1
WO2024084675A1 PCT/JP2022/039227 JP2022039227W WO2024084675A1 WO 2024084675 A1 WO2024084675 A1 WO 2024084675A1 JP 2022039227 W JP2022039227 W JP 2022039227W WO 2024084675 A1 WO2024084675 A1 WO 2024084675A1
Authority
WO
WIPO (PCT)
Prior art keywords
judgment
pass
fail
good
judged
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2022/039227
Other languages
English (en)
French (fr)
Inventor
友行 矢作
信幸 松本
和俊 永野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Toshiba Digital Solutions Corp
Original Assignee
Toshiba Corp
Toshiba Digital Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Digital Solutions Corp filed Critical Toshiba Corp
Priority to KR1020237028262A priority Critical patent/KR20240056679A/ko
Priority to US18/551,284 priority patent/US20250076211A1/en
Priority to CN202280020850.0A priority patent/CN118318157A/zh
Priority to PCT/JP2022/039227 priority patent/WO2024084675A1/ja
Priority to EP22927621.7A priority patent/EP4390380A4/en
Priority to JP2023516747A priority patent/JP7330417B1/ja
Publication of WO2024084675A1 publication Critical patent/WO2024084675A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Program-control systems
    • G05B19/02—Program-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41875—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by quality surveillance of production
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/93—Detection standards; Calibrating baseline adjustment, drift correction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0006—Industrial image inspection using a design-rule based approach
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/10—Scanning
    • G01N2201/104—Mechano-optical scan, i.e. object and beam moving
    • G01N2201/1042—X, Y scan, i.e. object moving in X, beam in Y
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32201—Build statistical model of past normal proces, compare with actual process

Definitions

  • An embodiment of the present invention relates to technology for determining whether an object is good or bad.
  • the aim is to provide a determination device that can improve determination accuracy.
  • the judgment device of the embodiment judges pass/fail using monitoring data of the judgment object.
  • the judgment device has a storage unit that stores pass/fail judgment feature information generated using feature amounts extracted from each of the previously collected monitoring data of judgment objects belonging to a pass/fail judgment, a judgment unit that extracts the feature amounts from the monitoring data of each judgment object input in sequence and performs pass/fail judgments on multiple judgment objects based on the pass/fail feature information, and a criteria control unit that updates the pass/fail judgment feature information using the feature amounts of the judgment object judged as pass when the judgment object is judged as pass in the successive pass/fail judgments.
  • the judgment unit performs pass/fail judgments on the judgment objects subsequent to the one judged as pass based on the updated pass/fail feature information.
  • FIG. 1 is a functional block diagram of a determination system including a determination device according to a first embodiment.
  • 5A to 5C are explanatory diagrams illustrating a pass/fail judgment process performed on image data obtained by photographing an object to be judged in the first embodiment.
  • 11 is an explanatory diagram of a quality determination process to which the quality determination function of the first embodiment is applied;
  • FIG. 1 is an explanatory diagram of a conventional quality determination process.
  • FIG. 11 is a diagram showing a flow of a process for generating good judgment feature information according to the first embodiment.
  • 11 is a diagram showing a flow of pass/fail determination processing including update processing of pass/fail determination feature information in the first embodiment
  • 13A to 13C are diagrams for explaining a first modified example of the update process of the good judgment feature information in the first embodiment.
  • 13A to 13C are diagrams for explaining a second modified example of the update process of the good judgment feature information in the first embodiment.
  • First Embodiment 1 to 8 are diagrams for explaining the determination system of the first embodiment.
  • FIG. 1 is a functional block diagram of a judgment system including a judgment device 100 according to this embodiment.
  • the judgment system includes the judgment device 100 and a judgment criterion generating device 200, and the judgment device 100 judges the pass/fail of an object to be judged.
  • the judgment system of this embodiment can be used, for example, for visual inspection of an object.
  • the monitoring device K is a photographing device that photographs an object, and the monitoring data is photographed image data.
  • the judgment system of this embodiment will be explained using the visual inspection of an object as an example.
  • the photographing device K photographs the item A to be inspected (evaluated) and outputs the image data to the judgment device 100.
  • the judgment device 100 stores the acquired image data in the storage device 130.
  • the photographing device K can acquire still or moving images of the item A and output them to the judgment device 100. In the case of moving images, a still image cut out from the moving image is used as the image data of the item A.
  • the direction in which the item A is photographed is appropriately set so that image data suitable for the inspection is obtained. For example, multiple items A are transported sequentially by the transport device H.
  • the photographing device K is fixed and photographs the multiple items A in sequence as they are transported, and the image data of each of the multiple items is input sequentially to the judgment device 100.
  • the judgment device 100 is configured to judge the quality of a plurality of different objects that are conveyed continuously in time series, and the quality judgment is performed continuously.
  • the quality judgment result of the judgment device 100 is output to the display device D.
  • the judgment device 100 includes a judgment unit 110, a criterion control unit 120, and a storage unit 130.
  • the judgment criterion generating device 200 includes a judgment characteristic information generating unit 210 and a storage unit 220.
  • FIG. 2 is an explanatory diagram of the pass/fail judgment process performed using image data of an object to be judged.
  • the pass/fail judgment of item A is judged based on pass/fail characteristic information.
  • feature amounts are extracted from the image data of items that are judged to be passable, out of the image data of multiple different items A that have been collected in advance, and pass/fail characteristic information is generated based on the extracted feature amounts; image data of items that are judged to be failing is not used.
  • the average pixel value (average brightness value) is calculated at the same pixel position in the image data of multiple items that are judged to be good.
  • the pixel value at each pixel position in the image data is a feature (feature information)
  • the good judgment feature information is information that includes the average pixel value (average brightness value) at each pixel position.
  • a range within which this average pixel value can be judged as good is set; for example, the ranges of average pixel value + predetermined value (first threshold) x1 and average pixel value - predetermined value (second threshold) x2 are set for each pixel position.
  • first threshold predetermined value
  • second threshold predetermined value
  • upper and lower limits based on the average pixel value are set for each pixel position.
  • the predetermined values x1 and x2 may be different values for each pixel position, or may be the same value for each of multiple pixel positions.
  • the predetermined values x1 and x2 can be set based on the distribution range (variance or deviation) of pixel values of each image data of an item that is judged to be good.
  • the good/bad judgment process it is judged whether the pixel value (feature value) of each pixel position in the image data of the item A to be judged belongs to the good/bad judgment range set by the first and second thresholds (whether it is below the upper limit or above the lower limit), and the good/bad judgment result is output.
  • the good judgment characteristic information is, as an example, statistical information (statistical good judgment characteristic information) set for each pixel position by the average pixel value of each image data that is judged to be good and the distribution range of pixel values of each image data of items that are judged to be good relative to the average pixel value.
  • the process of generating good judgment feature information is performed by the judgment criterion generating device 200 (judgment feature information generating section 210), and multiple image data for generating good judgment feature information is stored in the storage section 220.
  • the good judgment feature information generated by the judgment criterion generating device 200 is provided to the judgment device 100 as initial good judgment feature information and stored in the storage device 130.
  • the judgment unit 110 of the judgment device 100 extracts features from the image data of the first object A1.
  • the features are pixel values (brightness values) at each pixel position of the image data.
  • the judgment unit 110 compares the features extracted from the image data with the pass/fail judgment feature information to make a pass/fail judgment. For example, a pass/fail judgment process is performed to judge whether the pixel value of the image data is within the range of the pass/fail judgment feature information for each pixel position.
  • the determination device 100 stores the pass/fail determination result of the item A1 as a log in the memory unit 130 and outputs it to the display device D.
  • the display device D displays the pass/fail determination result output from the determination device 100 so that the user can visually confirm it.
  • the judgment process is performed for the subsequent item A2.
  • the initial pass/fail judgment characteristic information used for item A1 is not used for the pass/fail judgment process for item A2, and updated pass/fail judgment characteristic information that reflects the characteristic amounts of item A1, which was judged to be good, in the initial pass/fail judgment characteristic information is used.
  • the average value between the pixel value of the image data of item A1 and the average pixel value of the initial good judgment characteristic information is calculated, and the good judgment characteristic information is updated to have the calculated average pixel value for each pixel position (good judgment characteristic information that takes into account the characteristic values of item A1).
  • the update process of the good judgment characteristic information is performed by the reference control unit 120, and the updated good judgment characteristic information is stored in the memory unit 130.
  • the judgment unit 110 extracts the features of the image data of item A2, reads the updated pass/fail judgment feature information from the storage unit 130, and performs pass/fail judgment processing. Furthermore, if the pass/fail judgment result for item A2 is "pass", the standard control unit 120 calculates the average value of the pixel values of the image data of item A2 and the average pixel value of the updated pass/fail judgment feature information, and updates the pass/fail judgment feature information to include the features of item A2.
  • the pass/fail judgment feature information at this point is pass/fail judgment feature information that includes the features of both item A1 and item A2, and is applied to the pass/fail judgment processing for item A3.
  • the predetermined values x1 and x2 constituting the good judgment characteristic information can be configured to carry over the values set in the initial good judgment characteristic information as is, and not change before and after the update. Also, the predetermined values x1 and x2 may be configured to change according to the amount of fluctuation in the average pixel value after the characteristic values of the articles judged to be good are added to the average pixel value.
  • the judgment device 100 extracts features from the image data of each item that is input in sequence, and continuously judges the quality of multiple items based on the quality judgment characteristic information.
  • the judgment device 100 is equipped with a standard control unit 120, and when item A1 is judged to be good in the successive quality judgments, the quality judgment characteristic information, which is the judgment standard, is updated using the feature values of item A1 that was judged to be good.
  • the quality judgment of the next item A2 traveling on the conveying device H is controlled to be made based on the updated quality judgment characteristic information (quality judgment characteristic information that is different from the quality judgment characteristic information used in the immediately preceding quality judgment).
  • the quality of the items that will be judged as good or bad will be judged based on the quality judgment characteristic information that has been updated according to the characteristics of items that have been judged as good or bad in the past.
  • the process of updating the pass/fail judgment characteristic information is controlled so that it reflects the characteristic amounts of items with a pass/fail judgment result of "pass", but does not reflect the characteristic amounts of items with a pass/fail judgment result of "fail”. For example, if the pass/fail judgment result of item A2 is "fail", the process of updating the pass/fail judgment characteristic information is not performed, and the pass/fail judgment process of item A3 is performed using the updated pass/fail judgment characteristic information that takes into account only the characteristic amounts of item A1. Therefore, if the pass/fail judgment results continue to be "fail" in the pass/fail judgment processes that are performed sequentially, the pass/fail judgment characteristic information during that time is not updated and does not change.
  • FIG 3 is an explanatory diagram of the pass/fail judgment process that applies the pass/fail judgment function of this embodiment.
  • Figure 4 is an explanatory diagram of the conventional pass/fail judgment process.
  • the initial good judgment feature information is composed of a group of judgment targets that belong to a good judgment, indicated by white circles.
  • the good judgment feature information has a good judgment range (the range of image data features that can be judged as a good judgment) set, so for example, in the example of Figure 3, the average value of the good judgment feature information becomes the reference axis for a good judgment, and a width (predetermined values x1, x2) within which a judgment can be made as a good judgment is set relative to the reference axis.
  • the good judgment feature information can be expressed as a range of feature quantities with a predetermined width, with the average value as the reference axis, and in this embodiment, the reference axis of the good judgment feature information is shifted in real time by the update process of the good judgment feature information.
  • the good judgment feature information is represented by gray rectangular blocks. Note that one rectangular block shows a group of multiple judgment targets (white circles) that have been judged to be good, but this is a simplified representation of the group of judgment targets that belong to the rectangular block.
  • the pass/fail judgment feature information is updated according to the feature value of the previous judgment target, the reference axis fluctuates in real time over time as shown by the thick dotted line, and the pass/fail judgment feature information (pass/fail judgment range) shifts to track the feature value of the judgment target that was judged to be good, and is applied to the next pass/fail judgment process.
  • the conventional example shown in Figure 4 is a method for expanding the range of pass/fail judgment feature information.
  • This conventional method performs pass/fail judgment for a certain period of time based on the initial pass/fail judgment feature information, and extracts judgment targets that are judged as "fail" during that period because they fall outside the range of the initial pass/fail judgment feature information, but are actually judged as pass/fail, i.e., judgment targets that are overdetected.
  • the initial good judgment feature information is updated so that the overdetected judgment target is judged as good, a pass/fail judgment is made for a certain period of time based on the updated good judgment feature information, the overdetected judgment target is extracted during that period, and the good judgment feature information is updated. This process is repeated.
  • the first is that because pass/fail judgment processing is performed for a certain period of time based on the same pass/fail feature information, if the environment changes during that time, overdetection will occur frequently. For example, if the amount of light hitting the object to be judged changes due to the season or deterioration of equipment over time, the feature amount extracted from the image data will change even for objects that belong to the pass/fail judgment category. For this reason, it is vulnerable to environmental changes during pass/fail judgment processing (during inspection), and there is an issue of overdetection occurring frequently in response to environmental changes, resulting in reduced judgment accuracy.
  • the second is to update the good judgment feature information based on the feature values of the monitoring data of the overdetected judgment target, but as shown in Figure 4, the reference axis of the good judgment feature information after the update is the same as the reference axis of the good judgment feature information before the update, and the range of good judgments is expanded so that overdetected judgment targets are judged as good.
  • the reference axis for good judgments does not change, and the same reference axis remains after the update, expanding the area where good judgments are made, resulting in an increase in oversights.
  • overdetection is when a good product is judged to be defective, and the conventional method described above expands the range of pass judgments, making it possible to suppress overdetection.
  • the wider the range of pass judgments the more likely a product is to be judged as good, and oversights increase.
  • Oversights are when a defective product is judged to be good, and narrowing the range of pass judgments results in more overdetections, while widening the range of pass judgments results in more oversights, with the two being inversely proportional.
  • the characteristic quantities of the judgment object are updated by reflecting them in the pass/fail judgment characteristic information, and the updated pass/fail judgment characteristic information is applied to the subsequent judgment object. For example, if the weather improves and the sun shines, changing the illuminance on the judgment object being inspected, this change in the environment is reflected in the characteristic quantities of the judgment object that was judged as pass. Therefore, the pass/fail judgment of the subsequent judgment object is performed based on the updated pass/fail judgment characteristic information that corresponds to the change in the environment, making it possible to suppress overdetection due to changes in the environment.
  • FIG. 5 is a diagram showing the flow of the process for generating pass/fail judgment characteristic information in this embodiment.
  • FIG. 6 is a diagram showing the flow of the pass/fail judgment process including the process of updating the pass/fail judgment characteristic information.
  • the storage unit 220 of the judgment criterion generating device 200 stores the monitoring data of the judgment target belonging to the good judgment among the monitoring data of the judgment targets collected in advance (S201). Then, the judgment characteristic information generating unit 210 extracts the feature amount necessary for judging the good or bad of the judgment target from each monitoring data (for example, the luminance value of each pixel position in the case of image data) (S202). The judgment characteristic information generating unit 210 calculates the average value of each extracted feature amount, and generates the good judgment characteristic information centered on the average value of each feature amount (S203). At this time, the good judgment characteristic information can set the range in which the judgment can be judged as good for the average value.
  • the judgment characteristic information generating unit 210 stores the generated good judgment characteristic information in the storage unit 220 as the initial good judgment characteristic information (S204).
  • the initial good judgment characteristic information is provided to the judgment device 100 at any time.
  • the pass/fail judgment process of this embodiment is a continuous process in chronological order for each of the multiple judgment targets (see FIG. 2).
  • the judgment device 100 accepts input of monitoring data, and executes pass/fail judgment processing with the input of the monitoring data as a trigger.
  • the judgment device 100 extracts features from the input monitoring data (S102). Then, it compares the pass/fail judgment feature information (initial pass/fail judgment feature information) with the feature information of the judgment target to make a pass/fail judgment (S103). If the pass/fail judgment result is "pass” (YES in S104), the judgment device 100 performs an update process of the pass/fail judgment feature information (S105), and if the pass/fail judgment result is "fail", the judgment device 100 does not perform an update process of the pass/fail judgment feature information. The judgment device 100 outputs the pass/fail judgment result to the display device D (S106). The pass/fail judgment result may also be stored in the storage unit 130 as a log.
  • the determination device 100 of this embodiment determines whether or not the next monitoring data for the determination target has been input in chronological order (S107), and if the next monitoring data has been input (YES in S107), returns to step S102 and performs pass/fail determination processing (S103). At this time, if the result of the previous pass/fail determination is "good", the pass/fail determination characteristic information has been updated, so the determination device 100 performs pass/fail determination processing based on the updated pass/fail determination characteristic information in step S103.
  • step S107 If it is determined in step S107 that no further monitoring data has been input (NO in S107), the presence or absence of an end instruction to end the pass/fail determination process is checked, and if an end instruction has been received (YES in S108), the pass/fail determination process is terminated, and if no end instruction has been received (YES in S108), the process waits until the next monitoring data is input.
  • the pass/fail judgment characteristic information can be reset and the initial pass/fail judgment characteristic information can be applied, or the pass/fail judgment characteristic information most recently updated in the previous pass/fail judgment process (the most recent updated pass/fail judgment characteristic information) can be applied.
  • the image data input to the judgment device 100 can be subjected to various image processing before being compared with the good judgment feature information.
  • the image data can be subjected to smoothing processing such as noise removal (Median filter, average value filter, etc.) and the pixel values at each pixel position can be extracted to extract the feature values of the image data.
  • the good judgment feature information is "statistical good judgment image data" based on each feature value of each of the multiple image data items that belong to a good judgment. Therefore, the above-mentioned predetermined image processing is also applied when creating the good judgment feature information, and the feature values are compared in a state where the same image processing has been applied.
  • the pass/fail judgment process described above judges the result to be "pass” if the feature value of the object to be judged does not exceed the range specified in the pass/fail judgment feature information, but the judgment process can be further subdivided.
  • the pass/fail judgment process can be configured in two stages: whether the object to be judged has an abnormality, and if so, whether the abnormality exceeds a predetermined tolerance range.
  • the good judgment feature information can include first good judgment feature information for determining whether or not the judgment target has an abnormality, and second good judgment feature information for determining whether or not the abnormality is within a predetermined acceptable range.
  • the judgment criterion generating device 200 generates the first good judgment feature information and the second good judgment feature information from the features of the judgment target that belong to a good judgment.
  • the pixel value of each pixel position of the image data is checked to determine whether or not there are any pixels that exceed the threshold (first judgment process).
  • the good judgment characteristic information used at this time corresponds to the first good judgment characteristic information, and is the average pixel value + predetermined value (first threshold) x1 and the average pixel value - predetermined value (second threshold) x2 of each pixel position composed of the image data group belonging to the good judgment described above.
  • the pass/fail judgment characteristic information used at this time corresponds to the second pass/fail judgment characteristic information.
  • the judgment unit 110 compares each of the multiple pixel values in the image data with the first pass/fail judgment characteristic information and extracts abnormal pixels that deviate from the threshold, so that it is possible to grasp the extracted group of abnormal pixels, i.e., the abnormal area.
  • a second judgment process is performed to judge whether the abnormal area identified through the first pass/fail judgment process is within the range of pass/fail judgment using the characteristics of the abnormal area, such as the area of the abnormal area, the shape of the abnormal area, and the distribution of pixel values in the abnormal area.
  • the information on the characteristics of the abnormal area at this time becomes second pass/fail judgment characteristic information. For example, if the area is used as the characteristic of the abnormal area, a threshold value for the area is set in advance. The area is represented by the number of pixels contained in the abnormal area. If the area of the abnormal area does not exceed the threshold, the judgment device 100 judges item A to be "pass”; if it does exceed the threshold, the judgment device 100 judges item A to be "fail.”
  • the aspect ratio is used as the shape.
  • the aspect ratio is the ratio of the length in the long axis direction to the length in the short axis direction.
  • the long axis direction is the direction parallel to the longest line segment obtained by connecting any two points on the outer edge of the particle.
  • the short axis direction is perpendicular to the long axis direction.
  • the determination device 100 determines the article as "bad” when the aspect ratio exceeds the threshold, and determines the article as "good” when the aspect ratio does not exceed the threshold.
  • the distribution for example, the ratio of the number of pixels below a lower threshold to the number of pixels in the abnormal region, or the ratio of the number of pixels above an upper threshold to the number of pixels in the abnormal region can be used.
  • a threshold is set for each of these ratios. For example, if each of these ratios does not exceed a threshold, the determination device 100 determines the item as "good,” and if either one of these ratios exceeds the corresponding threshold, the determination device 100 determines the item as "no good.”
  • step S103 of FIG. 6 the judgment unit 110 judges the product as "good” when the first judgment process judges that there is no abnormality, or when the first judgment process judges that there is an abnormality but the second good judgment characteristic information is satisfied in the second judgment process.
  • the criteria control unit 120 can update at least the first good judgment characteristic information using the characteristic amount of the object judged as good, and can control so that the updated first good judgment characteristic information and the second good judgment characteristic information can be applied when judging the next object to be good or bad.
  • FIG. 7 is a diagram for explaining a first modified example of the process for updating the pass/fail judgment characteristic information.
  • the pass/fail judgment characteristic information is updated by taking into account not only the characteristic values of the judgment object A-1 that was judged to be pass/fail just before, but also the characteristic values of the judgment objects A-2, A-3, A-4, ..., A-N that were judged to be pass/fail in the past before the judgment object A-1.
  • the number of judgment objects judged to be pass/fail in the past to be taken into account is arbitrary.
  • time information may be used to trigger the judgment result of pass/fail being judged to be "pass” to extract the characteristic values of past judgment objects that were judged to be pass/fail up to a certain time ago (several tens of seconds ago, several minutes ago, etc.) and update the pass/fail judgment characteristic information.
  • the good judgment feature information can be updated so that it includes only the feature values of objects judged as good, without taking into account (excluding) the feature values of objects judged as "bad” that are included in between.
  • the criteria control unit 120 can update the pass/fail judgment characteristic information by adding and averaging the characteristic amounts of the multiple objects A-2, A-3, A-4, ..., A-N judged as good before the object A-1 that was judged as good to the pass/fail judgment characteristic information used for the pass/fail judgment.
  • the judgment unit 110 can then make a pass/fail judgment on the subsequent object A based on the updated pass/fail judgment characteristic information in which the average value has been shifted by the characteristic amounts of the multiple objects A-1, A-2, A-3, A-4, ..., A-N that were judged as good in the past.
  • FIG. 8 is a diagram for explaining a second modified example of the process of updating good judgment feature information.
  • the second modified example is an embodiment in which weight values are applied to the first modified example.
  • the criteria control unit 120 applies weighting values ⁇ 1, ⁇ 2, ⁇ 3, ⁇ 4, ... ⁇ n to the features of the multiple objects A-1, A-2, A-3, A-4, ... A-N that were judged to be good before the object A-1 that was judged to be good, and adds and averages the features to which these weighting values have been applied, thereby updating the good judgment feature information.
  • the weights can be assigned arbitrarily so that the sum of the weights is "1". For example, the largest value can be assigned to weight value ⁇ 1 of the immediately preceding judgment target A-1, and the weights can be assigned so that the weights decrease each time one goes back in time.
  • the update process of the good judgment characteristic information may be performed each time a good judgment is made, or may be configured to be performed when a predetermined number of good judgments are made in succession.
  • the frequency of the update process can be set arbitrarily so as to be able to follow changes in the environment, and the update process of the good judgment characteristic information is performed when a good judgment is made.
  • the appearance inspection of an object has been taken as an example to describe pass/fail judgment using a photographed image of the object as monitoring data, but for example, sound data measured by a sensor device or a sensor value can be applied as the monitoring data for the object.
  • sound data collected by a non-destructive acoustic inspection can be applied as monitoring data to configure a judgment device 100 that judges whether the internal condition of an object is pass/fail (presence or absence of cracks, etc.).
  • the pass/fail judgment characteristic information can be generated, for example, based on the wavelength range of each sound collected from a judgment target that belongs to a pass/fail judgment.
  • the device can be configured as a judgment device 100 that collects height values of the cross-sectional shape using a distance sensor and judges whether the condition of the surface shape of the article is good or bad.
  • the good judgment characteristic information can be generated, for example, based on each sensor value collected from a judgment target that belongs to a good judgment.
  • the judgment device 100 can use 3D image data (stereoscopic image data) such as 3D ultrasound image data as monitoring data.
  • 3D ultrasound image acquisition device 3D echo (3D ultrasound) inspection device
  • the good judgment characteristic information can be generated based on 3D image data collected from judgment targets that belong to a good judgment.
  • the judgment object can be, for example, an item that is manufactured in a continuous flow (rolled steel material, steel material such as H-shaped steel or I-shaped steel, or long members such as bar-shaped rebar).
  • the judgment object is divided in the longitudinal direction and photographed continuously. Then, each successive image data obtained by dividing and photographing is input as monitoring data, and a judgment device 100 can be configured to judge the quality of the long item for each longitudinal portion.
  • the judgment device 100 and the judgment criterion generating device 200 may be configured as a single device.
  • the judgment device 100 can also be configured as a cloud-based service provision form. In other words, it is configured to transmit monitoring data (e.g., image data) output from the monitoring device K to the judgment device 100 over an IP network. This makes it possible to perform pass/fail judgment processing on the cloud side and transmit the pass/fail judgment result to the display device D, a monitoring terminal, monitoring equipment, etc. over the IP network.
  • Both the judgment device 100 and the judgment criterion generating device 200 can be configured as a cloud-based service provision form.
  • the judgment device 100 and judgment criterion generating device 200 are computer devices equipped with the calculation function, storage function, communication function, etc. of a server device, etc.
  • the hardware configuration may include a memory (main storage device), operation input means such as a mouse, keyboard, touch panel, etc., output means such as a printer, auxiliary storage device (hard disk, etc.), etc.
  • each function of the present invention can be realized by a program, and a computer program prepared in advance to realize each function is stored in an auxiliary storage device, and a control unit such as a CPU reads the program stored in the auxiliary storage device into a main storage device, and the control unit executes the program read into the main storage device, thereby causing the computer to operate the functions of each unit of the present invention.
  • each function of device 100 can be configured as an individual device, or a computer system can be configured by connecting multiple devices directly or via a network.
  • the above program can also be provided to a computer in a state in which it is recorded on a computer-readable recording medium.
  • computer-readable recording media include optical discs such as CD-ROMs, phase-change optical discs such as DVD-ROMs, magneto-optical discs such as MO (Magnet Optical) and MD (Mini Disk), magnetic discs such as floppy (registered trademark) disks and removable hard disks, and memory cards such as Compact Flash (registered trademark), Smart Media, SD memory cards, and memory sticks.
  • hardware devices such as integrated circuits (IC chips, etc.) specially designed and configured for the purposes of the present invention are also included as recording media.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Automation & Control Theory (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)

Abstract

【課題】判定精度を向上可能な判定装置を提供する。 【解決手段】実施形態の判定装置は、予め収集された良判定に属する判定対象の監視データそれぞれから抽出される特徴量を用いて生成される、良判定特徴情報に基づいて、判定対象の良否を判定する。良否判定処理は、順次入力される各判定対象の監視データから特徴量を抽出し、良判定特徴情報に基づいて複数の判定対象に対する良否判定を連続して行う。そして、連続して行われる良否判定において判定対象が良判定された場合に、良判定された判定対象の特徴量を用いて良判定特徴情報を更新し、更新された良判定特徴情報に基づいて、当該良判定された後に続く判定対象に対する良否判定を行う。

Description

判定装置
　本発明の実施形態は、判定対象の良否判定技術に関する。
　判定対象の良否判定技術として、例えば、物品を撮影し、撮影画像に映った物品の良否を判定する技術がある。
特開２０１３－２２４８３３号公報 特開２０２２－６５９６１号公報
　判定精度を向上可能な判定装置を提供することを目的とする。
　実施形態の判定装置は、判定対象の監視データを用いて良否を判定する。判定装置は、予め収集された良判定に属する判定対象の監視データそれぞれから抽出される特徴量を用いて生成される、良判定特徴情報を記憶する記憶部と、順次入力される各判定対象の監視データから前記特徴量を抽出し、前記良判定特徴情報に基づいて複数の判定対象に対する良否判定を連続して行う判定部と、連続して行われる前記良否判定において判定対象が良判定された場合に、良判定された判定対象の前記特徴量を用いて前記良判定特徴情報を更新する基準制御部と、を有する。前記判定部は、更新された前記良判定特徴情報に基づいて、当該良判定された後に続く判定対象に対する良否判定を行う。
第１実施形態の判定装置を含む判定システムの機能ブロック図である。 第１実施形態の判定対象を撮影した画像データで良否判定処理を行う説明図である。 第１実施形態の良否判定機能を適用した良否判定処理の説明図である。 従来の良否判定処理の説明図である。 第１実施形態の良判定特徴情報の生成処理フローを示す図である。 第１実施形態の良判定特徴情報の更新処理を含む良否判定処理フローを示す図である。 第１実施形態の良判定特徴情報の更新処理の第１変形例を説明するための図である。 第１実施形態の良判定特徴情報の更新処理の第２変形例を説明するための図である。
　以下、実施形態につき、図面を参照して説明する。
（第１実施形態）
　図１から図８は、第１実施形態の判定システムを説明するための図である。
　図１は、本実施形態の判定装置１００を含む判定システムの機能ブロック図である。判定システムは、判定装置１００及び判定基準生成装置２００を含んで構成され、判定装置１００が判定対象の良否判定を行う。
　本実施形態の判定システムは、一例として、物品の外観検査に用いることができる。この場合、監視装置Ｋは、物品を撮影する撮影装置であり、監視データは、撮影画像データとなる。以下、物品の外観検査を一例に、本実施形態の判定システムについて説明する。
　撮影装置Ｋは、検査対象（判定対象）の物品Ａを撮影し、画像データを判定装置１００に出力する。判定装置１００は、取得した画像データを記憶装置１３０に保存する。撮影装置Ｋは、物品Ａの静止画像又は動画像を取得して判定装置１００に出力することができる。動画像である場合は、動画像から切り出した静止画像が物品Ａの画像データとして用いられる。物品Ａを撮影する向きは、検査に適した画像データが得られるように、適宜設定される。例えば、複数の物品Ａが、搬送装置Ｈによって順次搬送される。撮影装置Ｋは、固定されており、搬送されている複数の物品Ａを順次撮影し、判定装置１００には、複数の各物品の画像データが順次入力される。
　判定装置１００は、時系列に連続して搬送される複数の異なる物品を順次良否判定し、当該良否判定が連続して行われる構成となっている。判定装置１００の良否判定結果は、表示装置Ｄに出力される。
　判定装置１００は、判定部１１０、基準制御部１２０、及び記憶部１３０を備える。判定基準生成装置２００は、判定特徴情報生成部２１０及び記憶部２２０を備える。
　図２は、判定対象を撮影した画像データで良否判定処理を行う説明図である。本実施形態では良判定特徴情報に基づいて、物品Ａの良否を判定する。図２に示すように、予め収集された複数の異なる物品Ａの各画像データのうち、良判定に属する物品の画像データから特徴量を抽出し、抽出された各特徴量に基づいて良判定特徴情報が生成され、否判定に属する物品の画像データは使用しない。
　一例として、図２に示すように、良判定に属する複数の物品の各画像データにおいて、同じ画素位置における平均画素値（平均輝度値）を算出する。つまり、画像データの各画素位置の画素値が特徴量（特徴情報）であり、良判定特徴情報は、各画素位置における平均画素値（平均輝度値）を含んで構成された情報である。
　そして、この平均画素値に対して良判定と判定可能な幅を設定し、例えば、各画素位置において、平均画素値＋所定値（第１閾値）ｘ１、平均画素値－所定値（第２閾値）ｘ２の範囲が設定される。つまり、各画素位置に対して平均画素値に基づく上限値及び下限値が設定される。なお、所定値ｘ１，ｘ２は、各画素位置において異なる値であったり、複数の各画素位置で同じ値であってもよい。
　所定値ｘ１，ｘ２は、良判定に属する物品の各画像データの画素値の分布範囲（分散や偏差）に基づいて設定することができる。良否判定処理では、判定対象である物品Ａの画像データにおける各画素位置の画素値（特徴量）が、第１閾値及び第２閾値で設定される良判定範囲に属するか（上限値を下回っているか、又は下限値を上回っているか）を判定し、良否判定結果を出力する。
　本実施形態の良判定特徴情報は、一例として、画素位置毎に、良判定に属する各画像データの平均画素値と、平均画素値に対する良判定に属する物品の各画像データの画素値の分布範囲とで設定された統計的な情報（統計的良判定特徴情報）である。
　良判定特徴情報の生成処理は、判定基準生成装置２００（判定特徴情報生成部２１０）によって遂行され、良判定特徴情報を生成するための複数の画像データが記憶部２２０に保存される。判定基準生成装置２００によって生成された良判定特徴情報は、初期良判定特徴情報として判定装置１００に提供され、記憶装置１３０に記憶される。
　搬送装置Ｈ上において上流から下流に向かって順次移動する複数の物品Ａ１，Ａ２，Ａ３は、撮影装置Ｋによってそれぞれ撮影され、撮影装置Ｋから順次入力される画像データ毎に、良判定処理が行われる。判定装置１００の判定部１１０は、最初の物品Ａ１の画像データから特徴量を抽出する。特徴量は、画像データの各画素位置における画素値（輝度値）である。判定部１１０は、画像データから抽出された特徴量と良判定特徴情報とを比較して良否判定を行う。例えば、画素位置毎に、画像データの画素値が良判定特徴情報の範囲内であるかを判定する良否判定処理を行う。
　判定装置１００は、物品Ａ１の良否判定結果をログとして記憶部１３０に記憶すると共に、表示装置Ｄに出力する。表示装置Ｄは、判定装置１００から出力された良否判定結果をユーザが視認できるように表示する。
　次に、後続の物品Ａ２の判定処理を行うが、本実施形態では、直前の物品Ａ１の良否判定結果が「良」である場合、物品Ａ２の良否判定処理に物品Ａ１で使用された初期良判定特徴情報を使用せず、良判定された物品Ａ１の特徴量を初期良判定特徴情報に反映した更新良判定特徴情報を使用する。
　例えば、画素位置毎に、物品Ａ１の画像データの画素値と初期良判定特徴情報の平均画素値との平均値を算出し、算出された各画素位置の平均画素値を有する良判定特徴情報（物品Ａ１の特徴量が加味された良判定特徴情報）に更新する。良判定特徴情報の更新処理は、基準制御部１２０によって遂行され、更新済み良判定特徴情報が記憶部１３０に記憶される。
　判定部１１０は、物品Ａ２の画像データの特徴量を抽出し、更新済み良判定特徴情報を記憶部１３０から読み出して良否判定処理を行う。さらに、物品Ａ２の良否判定結果が「良」であれば、基準制御部１２０は、物品Ａ２の画像データの画素値と更新済み良判定特徴情報の平均画素値との平均値を算出し、物品Ａ２の特徴量が加味された良判定特徴情報に更新する。この時点での良判定特徴情報は、物品Ａ１及び物品Ａ２の双方の特徴量が加味された良判定特徴情報となっており、物品Ａ３の良否判定処理に適用される。
　なお、良判定特徴情報を構成する所定値ｘ１、ｘ２は、初期良判定特徴情報において設定された値をそのまま持ち越し、更新前後において変更しないように構成することができる。また、良判定された物品の特徴量が平均画素値に加味された後に平均画素値の変動量に応じて所定値ｘ１、ｘ２を変更するように構成してもよい。
　このように判定装置１００は、順次入力される各物品の画像データから特徴量を抽出し、良判定特徴情報に基づいて複数の物品に対する良否判定を連続して行う。そして、判定装置１００は、基準制御部１２０を備えており、連続して行われる良否判定において物品Ａ１が良判定された場合に、良判定された物品Ａ１の特徴量を用いて判定基準である良判定特徴情報を更新する。搬送装置Ｈを流れる次の物品Ａ２の良否判定は、更新された良判定特徴情報（直前の良否判定に使用された良判定特徴情報とは異なる良判定特徴情報）に基づいて行われるように制御される。
　言い換えれば、これから良否判定される物品は、過去の良判定された物品の特徴量に応じて更新された良判定特徴情報に基づいて、良否判定処理が行われる。
　なお、上述のように、良判定特徴情報の更新処理は、良否判定結果が「良」である物品の特徴量は反映するが、良否判定結果が「否」である物品の特徴量は反映しないように制御する。例えば、物品Ａ２の良否判定結果が「否」であった場合、良判定特徴情報の更新処理は行われず、物品Ａ１の特徴量のみが加味された更新済み良判定特徴情報を適用して、物品Ａ３の良否判定処理が行われる。したがって、順次行われる良否判定処理において良否判定結果「否」が続けば、その間の良判定特徴情報は更新されず変化しない。
　一方、順次行われる良否判定処理において良否判定結果が「良」である度に、良判定特徴情報は更新され、随時変化する。図３は、本実施形態の良否判定機能を適用した良否判定処理の説明図である。図４は、従来の良否判定処理の説明図である。
　図３において、初期良判定特徴情報は、白丸で示される良判定に属する判定対象群で構成される。良判定特徴情報は、上述のように良判定の範囲（良判定と判定可能な画像データの特徴量の範囲）が設定されているので、例えば、図３の例において、良判定特徴情報の平均値は、良判定の基準軸となり、基準軸に対して良判定と判定可能な幅（所定値ｘ１，ｘ２）が設定される。
　良判定特徴情報は、平均値が基準軸となって所定の幅を有する特徴量の範囲として表すことができ、本実施形態では、良判定特徴情報の更新処理によって、この良判定特徴情報の基準軸がリアルタイムにシフトする。図３においてグレー色の短冊状のブロックで良判定特徴情報を表している。なお、１つの短冊状ブロックに複数の良判定された判定対象群（白丸）を図示しているが、これは短冊状ブロック内に属する良判定の判定対象群を簡易的に示したものである。
　図３に示すように、良否判定結果が「良」である場合に、その判定対象の特徴量が、基準軸（平均値）よりも大きな値であった場合、更新後の良判定特徴情報は、基準軸が上方にシフトした良判定の範囲となる。逆に、判定対象の特徴量が基準軸よりも小さい値であった場合、基準軸が下方にシフトした良判定の範囲となる。このように良判定特徴情報が、直前の判定対象の特徴量に応じて更新され、太い点線で示すように時間経過と共にリアルタイムに基準軸が変動し、良判定特徴情報（良判定の範囲）が良判定された判定対象の特徴量に追従する形でシフトして次の良判定処理に適用される。
　一方、図４に示す従来例は、良判定特徴情報の範囲を拡大する方式である。この従来の方式は、初期良判定特徴情報に基づいて一定期間、良否判定を行い、その期間に初期良判定特徴情報の範囲から外れて良否判定結果が「否」と判定されたが、実際には良判定に属する判定対象、すなわち、過検出された判定対象を抽出する。
　そして、過検出された判定対象が、良判定されるように初期良判定特徴情報を更新し、更新された良判定特徴情報に基づいて一定期間、良否判定を行い、その期間に過検出された判定対象を抽出し、良判定特徴情報を更新する、といった工程を繰り返し行う。
　ここで、従来の方式では、２つの課題があった。１つ目は、一定の期間、同じ良判定特徴情報に基づいて良否判定処理が行われるため、途中で環境が変動した場合、過検出が多くなってしまう。例えば、判定対象に対する光の当たり具合が、季節や設備機器の経年劣化等によって変化した場合、良判定に属する判定対象であっても画像データから抽出される特徴量が変化してしまう。このため、良否判定処理中（検査中）の環境変動に弱く、環境変動に対して過検出が多くなり、判定精度が低下する課題がある。
　２つ目は、過検出された判定対象の監視データの特徴量に基づいて、良判定特徴情報を更新するが、図４に示すように、更新後の良判定特徴情報の基準軸は、更新前の良判定特徴情報の基準軸と同一であり、過検出された判定対象が良判定されるように良判定の範囲が拡大される。つまり、良判定の基準軸が変動せずに、更新後も同じ基準軸のまま、良判定される領域が拡張されていき、見逃しが増加してしまう課題がある。
　過検出と見逃しの関係は、従来から知られている通り、良否判定の精度向上に付きまとう課題である。過検出とは、良品なのに不良品と判定されてしまうことであり、上述の従来の手法で、良判定の範囲が拡大するので過検出を抑制することができる。しかしながら、良判定の範囲が拡大すればするほど良判定されやすくなる、と言い換えることができ、見逃しが増加してしまう。見逃しは、不良品なのに良品と判定されてしまうことであり、良判定の範囲を狭めると過検出が多くなり、良判定の範囲を広くすると見逃しが多くなり、両者は反比例の関係にある。
　本実施形態の判定装置１００は、時系列に連続して行われる良否判定処理において、直前の良否判定結果が「良」である場合、その判定対象の特徴量を良判定特徴情報に反映して更新し、後続の判定対象に更新した良判定特徴情報を適用する。例えば、天気が回復して日が差し、検査中の判定対象に対する照度が変化していった場合、この環境の変化が良判定された判定対象の特徴量に反映される。したがって、後続の判定対象は、環境の変化に応じた更新済み良判定特徴情報に基づいて良否判定が行われ、環境の変化による過検出を抑制することができる。
　図５は、本実施形態の良判定特徴情報の生成処理フローを示す図である。図６は、良判定特徴情報の更新処理を含む良否判定処理フローを示す図である。
　図５に示すように、判定基準生成装置２００の記憶部２２０には、予め収集された複数の異なる判定対象の各監視データのうち良判定に属する判定対象の監視データが記憶される（Ｓ２０１）。そして、判定特徴情報生成部２１０は、各監視データから判定対象の良否判定するために必要な特徴量（例えば、画像データであれば、各画素位置の輝度値）を抽出する（Ｓ２０２）。判定特徴情報生成部２１０は、抽出した各特徴量の平均値を算出し、各特徴量の平均値を中心とした良判定特徴情報を生成する（Ｓ２０３）。このとき、良判定特徴情報は、平均値に対して良判定と判定可能な幅を設定することができる。例えば、良判定に属する判定対象の各監視データの分布範囲に基づいて所定値（閾値）を算出し、算出された所定値を用いて、例えば、平均値＋所定値ｘ１、平均値－所定値ｘ２を良判定の範囲とする良判定特徴情報を生成することができる。判定特徴情報生成部２１０は、生成した良判定特徴情報を初期良判定特徴情報として記憶部２２０に記憶する（Ｓ２０４）。初期良判定特徴情報は、任意のタイミングで判定装置１００に提供される。
　次に、本実施形態の良否判定処理は、複数の各判定対象に対する時系列に連続した処理となる（図２参照）。図６に示すように、判定装置１００は、監視データの入力を受け付け、当該監視データの入力をトリガーに良否判定処理を遂行する。
　判定装置１００は、入力された監視データから特徴量を抽出する（Ｓ１０２）。そして、良判定特徴情報（初期良判定特徴情報）と、判定対象の特徴量とを比較して良否判定を行う（Ｓ１０３）。良否判定の結果が「良」である場合（Ｓ１０４のＹＥＳ）、判定装置１００は、良判定特徴情報の更新処理を行い（Ｓ１０５）、良否判定の結果が「否」である場合、判定装置１００は、良判定特徴情報の更新処理を行わない。判定装置１００は、良否判定結果を表示装置Ｄに出力する（Ｓ１０６）。また、良否判定結果はログとして記憶部１３０に記憶してもよい。
　本実施形態の判定装置１００は、時系列に次の判定対象の監視データが入力されたか否かを判別し（Ｓ１０７）、次の監視データが入力された場合（Ｓ１０７のＹＥＳ）、ステップＳ１０２に戻り、良否判定処理を行う（Ｓ１０３）。このとき、直前の良否判定の結果が「良」であれば、良判定特徴情報は更新されているので、判定装置１００は、ステップＳ１０３において更新後の良判定特徴情報に基づいた良否判定処理を行う。
　ステップＳ１０７において次の監視データの入力がないと判断された場合は（Ｓ１０７のＮＯ）、良否判定処理を終了する終了指示の有無を確認し、終了指示があった場合（Ｓ１０８のＹＳＥ）、良否判定処理を終了し、終了指示がない場合は（Ｓ１０８のＹＥＳ）、次の監視データが入力されるまで待機する。
　なお、一旦、良否判定処理を終了した後、良否判定処理を再開する場合、良判定特徴情報は、リセットして初期良判定特徴情報を適用したり、先の良否判定処理において一番最後に更新された良判定特徴情報（最新の更新された良判定特徴情報）を適用したりすることができる。
　また、画像データを用いた物品の外観検査において、判定装置１００に入力された画像データは、各種の画像処理を行ってから、良判定特徴情報と比較することができる。例えば、画像データに対してノイズ除去等の平滑化処理（Medianフィルタ、平均値フィルタ等）を行い、各画素位置での画素値を抽出することで、画像データの特徴量を抽出することができる。監視データが画像データである場合、良判定特徴情報は、良判定に属する複数の各画像データの各特徴量に基づく「統計的良判定画像データ」である。したがって、上述した所定の画像処理は、良判定特徴情報を作成する際にも同様に適用され、同じ画像処理が施された状態で特徴量が比較される。
　ここで、上述の良否判定処理の変形例について説明する。
　上記良否判定処理は、判定対象の特徴量が、良判定特徴情報に規定される範囲を超えない場合に、判定結果が「良」と判定されるが、さらに細分化した判定処理とすることができる。例えば、判定対象に異常が存在するか、存在するならばその異常が所定の許容範囲を超えるか、といった２段階に分けて良否判定処理を構成することができる。
　この場合、良判定特徴情報は、判定対象に対する異常の有無を判定するための第１良判定特徴量情報と、当該異常が所定の許容範囲であるか否かを判定するための第２良判定特徴情報と、を含むことができる。判定基準生成装置２００は、良判定に属する判定対象の特徴量から、第１良判定特徴量情報及び第２良判定特徴量情報を生成する。
　上記物品の外観検査を一例に説明すると、まず、画像データの各画素位置の画素値をチェックし、閾値を超える画素が存在するか否かを判定する（第１判定処理）。このときに使用される良判定特徴情報が、第１良判定特徴情報に相当し、上述の、良判定に属する画像データ群で構成される各画素位置の平均画素値＋所定値（第１閾値）ｘ１、平均画素値－所定値（第２閾値）ｘ２である。
　次に、閾値を超える画素が存在すると判定された場合、言い換えれば、判定対象に異常ありと判定された場合、当該異常が所定の許容範囲内であるか否かを判定する（第２判定処理）。このとき使用される良判定特徴情報が第２良判定特徴情報に相当する。例えば、判定部１１０は、第１良否判定処理において、画像データ中の複数の画素値を第１良判定特徴情報とそれぞれ比較し、閾値を逸脱した異常画素を抽出するので、抽出された異常画素群、すなわち、異常領域を把握することができる。
　そして、異常領域の特徴、例えば、異常領域の面積、異常領域の形状、及び異常領域における画素値の分布などを用いて、第１良否判定処理を通じて把握した異常領域が良判定の範囲内か否かを判定する第２判定処理が行われる。このときの異常領域の特徴に関する情報が第２良判定特徴情報となる。例えば、異常領域の特徴として面積が用いられる場合、面積に対する閾値が予め設定される。面積は、異常領域に含まれる画素の数で表される。判定装置１００は、異常領域の面積が閾値を超えていなければ物品Ａを「良」と判定し、超えていれば、物品Ａを「否」と判定する。
　形状として、例えば、アスペクト比が用いられる。アスペクト比は、短軸方向の長さに対する長軸方向の長さの比である。長軸方向は、パーティクル外縁上の任意の２点を結んで得られる線分のうち、最も長い線分と平行な方向である。短軸方向は、長軸方向に対して垂直である。異常領域の特徴として形状が用いられる場合、アスペクト比に対する閾値が予め設定される。アスペクト比と閾値の大小関係は、物品に応じて設定される。例えば、検査対象の物品の品質が悪いときに、異常領域のアスペクト比が大きくなる傾向にある場合には、判定装置１００は、アスペクト比が閾値を超えているときに物品を「否」と判定し、アスペクト比が閾値を超えていなければ、物品を「良」と判定する。
　分布として、例えば、異常領域の画素数に対する下限閾値を下回った画素数の比、異常領域の画素数に対する上限閾値を上回った画素数の比などを用いることができる。異常領域の特徴として分布が用いられる場合、これらの各比に対して閾値がそれぞれ設定される。判定装置１００は、例えば、これらの各比が閾値を超えていなければ、物品を「良」と判定し、これらの各比のいずれか一方が該当の閾値を超えているときは、物品を「否」と判定する。
　判定部１１０は、図６のステップＳ１０３において、第１判定処理において異常なしと判定されたとき、及び第１判定処理において異常ありと判定されても第２判定処理において第２良判定特徴情報を満たしたときは、「良」判定をする。
　そして、基準制御部１２０は、図６のステップ１０５において、連続して行われる第１判定処理及び第２判定処理を含む良否判定において判定対象が良判定された場合に、良判定された判定対象の特徴量を用いて少なくとも第１良判定特徴情報を更新し、更新された第１良判定特徴情報及び第２良判定特徴情報を、次の判定対象を良否判定する際に適用できるように制御することができる。
　図７は、良判定特徴情報の更新処理の第１変形例を説明するための図である。第１変形例は、図７に示すように、直前に良否判定された判定対象Ａ－１だけでなく、判定対象Ａ－１よりも過去に良判定された判定対象Ａ－２，Ａ－３，Ａ－４，・・・Ａ－Ｎの各特徴量を加味して良判定特徴情報を更新する。なお、過去に良否判定された判定対象をいくつ加味するかは任意である。また、例えば、時間情報を用いて、良否判定結果が「良」と判別されたことをトリガーに、所定時間前（数十秒前、数分前など）までに良判定された過去の判定対象の特徴量を抽出し、良判定特徴情報を更新してもよい。
　なお、過去Ｎ個分の各特徴量を加味して良判定特徴情報を更新する場合、その間に含まれる「否」判定された判定対象の特徴量は加味せず（除外し）、「良」判定された判定対象の特徴量のみが含まれるように、良判定特徴情報を更新することができる。
　このように第１変形例では、基準制御部１２０は、連続して行われる良否判定において判定対象Ａ－１が良判定された場合に、当該良判定に用いられた良判定特徴情報に、当該良判定された判定対象Ａ－１以前の複数の良判定された判定対象Ａ－２，Ａ－３，Ａ－４，・・・Ａ－Ｎの各特徴量を加算して平均し、良判定特徴情報を更新することができる。そして、判定部１１０は、過去に良判定された複数の判定対象Ａ－１，Ａ－２，Ａ－３，Ａ－４，・・・Ａ－Ｎの各特徴量によって平均値がシフトした更新後の良判定特徴情報に基づいて、後続の判定対象Ａに対する良否判定を行うことができる。
　図８は、良判定特徴情報の更新処理の第２変形例を説明するための図である。第２変形例は、第１変形例において、重み値を適用した態様である。
　図８に示すように、基準制御部１２０は、良判定された判定対象Ａ－１以前の複数の良判定された判定対象Ａ－１，Ａ－２，Ａ－３，Ａ－４，・・・Ａ－Ｎの各特徴量に重み値α１，α２，α３，α４，・・・αｎを適用し、これらの重み値が適用された各特徴量を加算して平均し、良判定特徴情報を更新することができる。
　重み値は、各重み値の合計が「１」となるように任意に割り当てることができる。例えば、直前の判定対象Ａ－１の重み値α１に最も大きい値を割り当て、過去に遡る度に重み値が小さくなるように、当該重み値を割り当てることができる。このように構成することで、直前の判定対象の特徴量、言い換えれば、最新の環境変動が色濃く反映した良判定特徴情報に更新できると共に、過去の環境変動の推移も良判定特徴情報に反映することができる。
　なお、良判定特徴情報の更新処理は、良判定される度に毎回おこなってもよいし、良判定が連続して所定回数続いた場合に行うように構成してもよい。つまり、環境の変化に追従できる形で、更新処理の頻度は任意に設定することができ、良判定特徴情報の更新処理は、良判定をトリガーに実施される。
　以上、実施形態において、物品の外観検査を一例に、物品の撮影画像を監視データとして用いた良否判定について説明したが、例えば、物品の監視データは、センサ機器によって計測される音データやセンサ値を適用することができる。例えば、音響法の非破壊検査で収集される音データを監視データとして適用し、物品内部の状態の良否（クラック等発生有無）を判定する判定装置１００を構成することができる。この場合、良判定特徴情報は、例えば、良判定に属する判定対象から収集された各音の波長域に基づいて生成することができる。
　また、センサ値が監視データである場合、例えば、距離センサで断面形状の高さ値を収集し、物品の表面形状の状態の良否を判定する判定装置１００として構成することができる。この場合、良判定特徴情報は、例えば、良判定に属する判定対象から収集された各センサ値に基づいて生成することができる。
　さらに、３Ｄ超音波画像データ等の３Ｄ画像データ（立体視画像データ）を監視データとして適用した判定装置１００を構成することもできる。この場合、監視装置Ｋは、３Ｄ超音波画像取得装置（３Ｄエコー（３Ｄ超音波）検査装置）を適用することができる。良判定特徴情報は、良判定に属する判定対象から収集された３Ｄ画像データに基づいて生成することができる。
　また、時系列に連続して複数の異なる判定対象それぞれの良否判定処理を行う態様について説明したが、例えば、連続して流れて製造される物品（圧延加工された圧延鋼材、Ｈ鋼やＩ鋼などの鋼材、棒状の鉄筋などの長尺状部材）を判定対象とすることができる。この場合、長手方向に渡って判定対象を分割して連続撮影する。そして、分割して撮影された連続する各画像データが監視データとして入力され、長手方向の部分部分それぞれで長尺状の物品の良否を判定する判定装置１００を構成することもできる。
　判定装置１００及び判定基準生成装置２００は、１つの装置で構成してもよい。また、判定装置１００は、クラウド型のサービス提供形態として構築することも可能である。つまり、監視装置Ｋから出力される監視データ（例えば、画像データ）を、ＩＰ網を通じて判定装置１００に送信するように構成する。これにより、クラウド側で良否判定処理を行い、良否判定結果をＩＰ網を通じて表示装置Ｄや監視端末、監視機器等に送信するように構成することもできる。判定装置１００及び判定基準生成装置２００の双方をクラウド型のサービス提供形態で構築してもよい。
　また、判定装置１００，判定基準生成装置２００は、サーバ装置等の演算機能、記憶機能、通信機能などを備えるコンピュータ装置である。また、ハードウェア構成としては、メモリ（主記憶装置）、マウス、キーボード、タッチパネル等の操作入力手段、プリンタなどの出力手段、補助記憶装置（ハードディスク等）等を備えることができる。
　また、本発明の各機能は、プログラムによって実現可能であり、各機能を実現するために予め用意されたコンピュータプログラムが補助記憶装置に格納され、ＣＰＵ等の制御部が補助記憶装置に格納されたプログラムを主記憶装置に読み出し、主記憶装置に読み出された該プログラムを制御部が実行して、コンピュータに本発明の各部の機能を動作させることができる。他方、装置１００の各機能は、各々個別の装置で構成することもでき、複数の装置を直接に又はネットワークを介して接続してコンピュータシステムを構成することもできる。
　また、上記プログラムは、コンピュータ読取可能な記録媒体に記録された状態で、コンピュータに提供することも可能である。コンピュータ読取可能な記録媒体としては、ＣＤ－ＲＯＭ等の光ディスク、ＤＶＤ－ＲＯＭ等の相変化型光ディスク、ＭＯ（Magnet Optical）やＭＤ(Mini Disk)などの光磁気ディスク、フロッピー（登録商標）ディスクやリムーバブルハードディスクなどの磁気ディスク、コンパクトフラッシュ（登録商標）、スマートメディア、SDメモリカード、メモリスティック等のメモリカードが挙げられる。また、本発明の目的のために特別に設計されて構成された集積回路（ICチップ等）等のハードウェア装置も記録媒体として含まれる。
　なお、本発明の実施形態を説明したが、当該実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
１００　判定装置
１１０　判定部
１２０　基準制御部
１３０　記憶部
２００　判定基準生成装置
２１０　判定特徴情報生成部
２２０　記憶部
Ａ　判定対象
Ｄ　表示装置
Ｈ　搬送装置
Ｋ　監視装置

Claims (8)

  1. 　判定対象の監視データを用いて良否を判定する判定装置であって、
    　予め収集された良判定に属する判定対象の監視データそれぞれから抽出される特徴量を用いて生成される、良判定特徴情報を記憶する記憶部と、
    　順次入力される各判定対象の監視データから前記特徴量を抽出し、前記良判定特徴情報に基づいて複数の判定対象に対する良否判定を連続して行う判定部と、
    　連続して行われる前記良否判定において判定対象が良判定された場合に、良判定された判定対象の前記特徴量を用いて前記良判定特徴情報を更新する基準制御部と、を有し、
    　前記判定部は、更新された前記良判定特徴情報に基づいて、当該良判定された後に続く判定対象に対する良否判定を行うことを特徴とする判定装置。
  2. 　前記良判定特徴情報は、良判定された判定対象の監視データそれぞれから抽出される特徴量の平均値を中心とした情報であり、
    　前記基準制御部は、連続して行われる前記良否判定において判定対象が良判定された場合に、当該良判定に用いられた前記良判定特徴情報の平均値に、当該良判定された判定対象の前記特徴量を加算して平均し、前記良判定特徴情報を更新し、
    　前記判定部は、直前に良判定された判定対象の前記特徴量によって前記平均値がシフトした更新後の前記良判定特徴情報に基づいて、次の判定対象に対する良否判定を行うことを特徴とする請求項１に記載の判定装置。
  3. 　前記良判定特徴情報は、良判定された判定対象の監視データそれぞれから抽出される特徴量の平均値を中心とした情報であり、
    　前記基準制御部は、連続して行われる前記良否判定において判定対象が良判定された場合に、当該良判定に用いられた前記良判定特徴情報に、当該良判定された判定対象以前の複数の良判定された判定対象の前記各特徴量を加算して平均し、良判定特徴情報を更新し、
    　前記判定部は、過去に良判定された複数の判定対象の前記各特徴量によって前記平均値がシフトした更新後の前記良判定特徴情報に基づいて、後続の判定対象に対する良否判定を行うことを特徴とする請求項１に記載の判定装置。
  4. 　前記基準制御部は、当該良判定された判定対象以前の複数の良判定された判定対象の前記各特徴量に重み値を適用し、前記重み値が適用された前記各特徴量を加算して平均し、前記良判定特徴情報を更新することを特徴とする請求項３に記載の判定装置。
  5. 　前記監視データは、撮影装置で判定対象を撮影した画像データであり、
    　前記特徴量は、前記画像データの各画素位置での輝度値であり、
    　前記良判定特徴情報は、複数の良判定に属する判定対象の各画像データの前記輝度値を各画素位置において平均した平均輝度値を中心とした情報であり、
    　前記基準制御部は、連続して行われる良否判定において良否判定結果が良判定である判定対象から抽出された各画素位置での輝度値と、良否判定に適用された前記良判定特徴情報の各画素位置の平均輝度値と、を加算平均して前記良判定特徴情報を更新することを特徴とする請求項１から４のいずれか１つに記載の判定装置。
  6. 　前記良判定特徴情報は、判定対象に対する異常の有無を判定するための第１良判定特徴量情報と、当該異常が所定の許容範囲であるか否かを判定するための第２良判定特徴情報と、を含み、
    　前記判定部は、前記第１良判定特徴情報に基づいて判定対象に異常の有無を判定する第１判定処理と、異常ありと判定された場合に前記第２良判定特徴情報に基づいて前記異常が所定の許容範囲内であるか否かを判定する第２判定処理と、を含む良否判定処理を行い、
    　前記基準制御部は、連続して行われる前記良否判定において判定対象が良判定された場合に、良判定された判定対象の前記特徴量を用いて前記第１良判定特徴情報を更新することを特徴とする請求項１に記載の判定装置。
  7. 　判定対象の監視データを用いて良否を判定するコンピュータ装置によって実行されるプログラムであって、
    　予め収集された良判定に属する判定対象の監視データそれぞれから抽出される特徴量を用いて生成される、良判定特徴情報を記憶する第１機能と、
    　順次入力される各判定対象の監視データから前記特徴量を抽出し、前記良判定特徴情報に基づいて複数の判定対象に対する良否判定を連続して行う第２機能と、
    　連続して行われる前記良否判定において判定対象が良判定された場合に、良判定された判定対象の前記特徴量を用いて前記良判定特徴情報を更新する第３機能と、を有し、
    　前記第２機能は、更新された前記良判定特徴情報に基づいて、当該良判定された後に続く判定対象に対する良否判定を行うことを特徴とするプログラム。
  8. 　判定対象の監視データを用いて良否を判定する判定システムであって、
    　予め収集された良判定に属する判定対象の監視データそれぞれから特徴量を抽出し、抽出された前記特徴量を用いて良判定特徴情報を生成する良否判定特徴情報生成部と、
    　前記良判定特徴情報を記憶する記憶部と、
    　順次入力される各監視データから前記特徴量を抽出し、前記良判定特徴情報に基づいて複数の各判定対象の良否判定を連続して行う判定部と、
    　連続して行われる前記良否判定において判定対象が良判定された場合に、良判定された判定対象の前記特徴量を用いて前記良判定特徴情報を更新する基準制御部と、を有し、
    　前記判定部は、更新された前記良判定特徴情報に基づいて、当該良判定された後に続く判定対象に対する良否判定を行うことを特徴とする判定システム。
PCT/JP2022/039227 2022-10-21 2022-10-21 判定装置 Ceased WO2024084675A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020237028262A KR20240056679A (ko) 2022-10-21 2022-10-21 판정 장치
US18/551,284 US20250076211A1 (en) 2022-10-21 2022-10-21 Judgment apparatus
CN202280020850.0A CN118318157A (zh) 2022-10-21 2022-10-21 判断装置
PCT/JP2022/039227 WO2024084675A1 (ja) 2022-10-21 2022-10-21 判定装置
EP22927621.7A EP4390380A4 (en) 2022-10-21 2022-10-21 DETERMINATION DEVICE
JP2023516747A JP7330417B1 (ja) 2022-10-21 2022-10-21 判定装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/039227 WO2024084675A1 (ja) 2022-10-21 2022-10-21 判定装置

Publications (1)

Publication Number Publication Date
WO2024084675A1 true WO2024084675A1 (ja) 2024-04-25

Family

ID=87577122

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/039227 Ceased WO2024084675A1 (ja) 2022-10-21 2022-10-21 判定装置

Country Status (6)

Country Link
US (1) US20250076211A1 (ja)
EP (1) EP4390380A4 (ja)
JP (1) JP7330417B1 (ja)
KR (1) KR20240056679A (ja)
CN (1) CN118318157A (ja)
WO (1) WO2024084675A1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63225111A (ja) * 1987-03-13 1988-09-20 Ckd Corp 視覚検査方法
JPH05332740A (ja) * 1992-05-28 1993-12-14 Yamatake Honeywell Co Ltd 回路部品の接続状態検出方法
JPH06143287A (ja) * 1992-10-30 1994-05-24 Rhythm Watch Co Ltd 金型監視方法
JPH10308939A (ja) * 1997-05-08 1998-11-17 Nec Corp 赤外線監視システム
JP2007309729A (ja) * 2006-05-17 2007-11-29 Matsushita Electric Ind Co Ltd プレス加工品の外観検査方法とそれに用いる外観検査装置
JP2013224833A (ja) 2012-04-20 2013-10-31 Keyence Corp 外観検査装置、外観検査方法及びコンピュータプログラム
JP2021014100A (ja) * 2019-07-16 2021-02-12 Nok株式会社 型監視システム
JP2022065961A (ja) 2020-10-16 2022-04-28 株式会社東芝 判定装置、判定システム、判定方法、プログラム、及び記憶媒体

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2951037B2 (ja) * 1991-05-31 1999-09-20 大日本印刷株式会社 印刷物の検査方法および装置
JP2005265661A (ja) * 2004-03-19 2005-09-29 Ovit:Kk 画像処理方法およびその装置
JP5085187B2 (ja) * 2007-05-15 2012-11-28 日本オートマチックマシン株式会社 電線端末部の芯線検査装置および検査方法
WO2012172695A1 (ja) * 2011-06-15 2012-12-20 キリンテクノシステム株式会社 ガラス壜の検査方法および装置
CN208678394U (zh) * 2015-06-30 2019-04-02 株式会社高永科技 物品检查装置
KR20180054063A (ko) * 2016-11-14 2018-05-24 주식회사 고영테크놀러지 검사체에 대한 양부 판정 조건을 조정하는 방법 및 장치
JP7271305B2 (ja) * 2019-05-16 2023-05-11 株式会社キーエンス 画像検査装置及び画像検査装置の設定方法
JP7462429B2 (ja) * 2020-02-26 2024-04-05 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
CN113758926A (zh) * 2020-06-03 2021-12-07 泰连服务有限公司 具有视觉检查站的产品组装机
US20230351582A1 (en) * 2020-10-07 2023-11-02 Crest Solutions Limited A line clearance system
JP7509027B2 (ja) * 2020-12-22 2024-07-02 トヨタ自動車株式会社 車両検査方法および車両検査システム
JP7699978B2 (ja) * 2021-07-01 2025-06-30 株式会社日立製作所 計算機及び外観検査方法
KR20230028050A (ko) * 2021-08-20 2023-02-28 현대모비스 주식회사 단계적 합부 판정을 기반으로 한 불량 검출방법 및 장치
WO2023053728A1 (ja) * 2021-09-29 2023-04-06 富士フイルム株式会社 表示処理装置、表示処理方法、及び、表示処理プログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63225111A (ja) * 1987-03-13 1988-09-20 Ckd Corp 視覚検査方法
JPH05332740A (ja) * 1992-05-28 1993-12-14 Yamatake Honeywell Co Ltd 回路部品の接続状態検出方法
JPH06143287A (ja) * 1992-10-30 1994-05-24 Rhythm Watch Co Ltd 金型監視方法
JPH10308939A (ja) * 1997-05-08 1998-11-17 Nec Corp 赤外線監視システム
JP2007309729A (ja) * 2006-05-17 2007-11-29 Matsushita Electric Ind Co Ltd プレス加工品の外観検査方法とそれに用いる外観検査装置
JP2013224833A (ja) 2012-04-20 2013-10-31 Keyence Corp 外観検査装置、外観検査方法及びコンピュータプログラム
JP2021014100A (ja) * 2019-07-16 2021-02-12 Nok株式会社 型監視システム
JP2022065961A (ja) 2020-10-16 2022-04-28 株式会社東芝 判定装置、判定システム、判定方法、プログラム、及び記憶媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4390380A4

Also Published As

Publication number Publication date
US20250076211A1 (en) 2025-03-06
JPWO2024084675A1 (ja) 2024-04-25
KR20240056679A (ko) 2024-04-30
EP4390380A1 (en) 2024-06-26
EP4390380A4 (en) 2024-11-20
JP7330417B1 (ja) 2023-08-21
CN118318157A (zh) 2024-07-09

Similar Documents

Publication Publication Date Title
EP3904868A1 (en) Learned model generation method, learned model, surface defect inspection method, steel manufacturing method, pass/fail determination method, grade determination method, surface defect determination program, pass/fail determination program, determination system, and steel manufacturing equipment
CN110047095B (zh) 基于目标检测的跟踪方法、装置及终端设备
CN111563893B (zh) 基于航拍图像的均压环缺陷检测方法、装置、介质和设备
Gupta et al. Deep learning model for defect analysis in industry using casting images
CN109598698A (zh) 用于对多个项进行分类的系统、方法和计算机程序产品
CN115908344B (zh) 一种基于MLCT-YOLO的Micro LED芯片缺陷检测方法
CN111178392B (zh) 基于深度神经网络的航空发动机孔探图像损伤分割方法
JP7059889B2 (ja) 学習装置、画像生成装置、学習方法、及び学習プログラム
JP2001517308A (ja) 移動するストリップの表面を、その画像を懐疑的ゾーンにセグメント化することにより検査する方法
Jian et al. A multiple species railway defects detection method based on sample generation
CN114203571B (zh) 用于调谐经调制晶片的敏感度及确定用于经调制晶片的工艺窗的系统、方法及非暂时性计算机可读媒体
WO2024084675A1 (ja) 判定装置
CN117669808A (zh) 一种基于贝叶斯优化的滑坡易发性预测方法
Xue et al. Detection of Various Types of Metal Surface Defects Based on Image Processing.
JP3587029B2 (ja) 画像検査方法および画像検査装置
CN120707512A (zh) 一种基于机器视觉的混凝土桥梁损伤检测和剩余寿命预测方法
CN119785137A (zh) 用于评估用于机器学习模型的训练数据集的方法
CN103164853B (zh) 成像匹配辅助导航的可匹配性评估方法
US12530761B2 (en) Feature quantity selection method and device
TW202534621A (zh) 使用生成對抗網路模型偵測影像邊界的方法及電子裝置
CN110766036A (zh) 一种钻石净度定级的智能方法
CN106796432A (zh) 确定用于检查复合部件的采样方案的方法和系统
JP4166247B2 (ja) 半導体設計データ修正方法
Ham et al. Enhancing structural crack detection through a multiscale multilevel mask deep convolutional neural network and line similarity index
RU2796806C2 (ru) Способ формирования обучаемой модели, обучаемая модель, способ контроля поверхностных дефектов, способ производства стали, способ определения соответствия/несоответствия, способ определения сорта, программа определения поверхностных дефектов, программа определения соответствия/несоответствия, система определения и оборудование для производства стали

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2023516747

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 202280020850.0

Country of ref document: CN

ENP Entry into the national phase

Ref document number: 2022927621

Country of ref document: EP

Effective date: 20230901

WWE Wipo information: entry into national phase

Ref document number: 18551284

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 18551284

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE