WO2024257816A1 - 画像処理装置、画像処理方法、及び操作機器コントローラ - Google Patents

画像処理装置、画像処理方法、及び操作機器コントローラ Download PDF

Info

Publication number
WO2024257816A1
WO2024257816A1 PCT/JP2024/021405 JP2024021405W WO2024257816A1 WO 2024257816 A1 WO2024257816 A1 WO 2024257816A1 JP 2024021405 W JP2024021405 W JP 2024021405W WO 2024257816 A1 WO2024257816 A1 WO 2024257816A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
images
control unit
processing device
detection target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2024/021405
Other languages
English (en)
French (fr)
Inventor
章介 大西
学 橋本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Umemura Educational Institutions
Original Assignee
Kyocera Corp
Umemura Educational Institutions
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp, Umemura Educational Institutions filed Critical Kyocera Corp
Priority to EP24823431.2A priority Critical patent/EP4730269A1/en
Priority to JP2025527979A priority patent/JPWO2024257816A1/ja
Publication of WO2024257816A1 publication Critical patent/WO2024257816A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces

Definitions

  • This disclosure relates to an image processing device, an image processing method, and an operation device controller.
  • Patent Document 1 An object recognition method using template matching has been known.
  • An image processing apparatus comprises: An acquisition unit that acquires a first image; A second image generated based on a training image group including a plurality of detection target images different from the first image, and a control unit that performs a similarity determination between at least a part of the first image, The control unit is The second image can be reproduced; The second image is regenerated based on a training image set that includes a number of unused images that are greater than the used images used to generate the second image.
  • An image processing method comprises: acquiring a first image; performing a similarity determination between a second image generated based on a training image group including a plurality of detection target images different from the first image and at least a part of the first image; and regenerating the second image based on a training image set that includes a number of unused images that are greater than the used images used to generate the second image.
  • FIG. 1 is a diagram illustrating an example of the configuration of an object operation system including an image processing device according to an embodiment.
  • 10 is a diagram for explaining a similarity determination between a representative image and a partial region of the entire image, which is performed by the control unit in FIG. 1 in order to detect the position of a detection target in the entire image.
  • 10A and 10B are diagrams for explaining a method of creating a statistical model for determining a pixel value for each pixel of a representative image.
  • 13A and 13B are diagrams for explaining a method of creating another statistical model for determining a pixel value for each pixel of a representative image.
  • FIG. 13 is a diagram for explaining a method of creating yet another statistical model for determining a pixel value for each pixel of a representative image.
  • 4 is a flowchart for explaining a location detection process executed by a control unit in FIG. 1 .
  • 4 is a flowchart for explaining a representative image updating subroutine executed by the control unit in FIG. 1 .
  • FIG. 1 shows an example of the configuration of a target operation system 11 including an image processing device 10 according to one embodiment.
  • the target operation system 11 may include a camera 12, the image processing device 10, an operation device 13, and an operation device controller 20.
  • the object operation system 11 performs a specific operation on a detection target 14 such as a manufactured product in a factory, for example.
  • the detection target 14 is placed on a tray 15, for example.
  • the camera 12 may capture an image of the tray 15 on which the detection target 14 is placed.
  • the camera 12 may generate images at a predetermined frame rate, for example, 30 fps, in other words periodically.
  • the image processing device 10 may detect the position of the detection target 14 using the image captured by the camera 12.
  • the operation device 13 may perform a predetermined task on the detection target 14 at the position detected by the image processing device 10.
  • the operation device 13 is, for example, a robot, and may grasp multiple detection targets 14 as a task.
  • the operation device controller 20 is configured to include a control unit (second control unit) 21.
  • the control unit 21 obtains a similarity judgment in the image processing device 10, which will be described later.
  • the control unit 21 is capable of controlling the operation device 13 based on the similarity judgment.
  • the operation device controller 20 is, for example, a robot controller.
  • the image processing device 10 includes a communication unit (acquisition unit) 16 and a control unit 18.
  • the image processing device 10 may further include a memory 17 and an input unit 19.
  • the communication unit 16 acquires a first image from the camera 12.
  • the first image is also called an overall image.
  • the overall image is an image in which the position of the detection target 14 is detected by the image processing device 10.
  • the overall image is an image in which the subject to be matched is captured.
  • the overall image is also an image in which the background is captured.
  • the matching target is an object to be matched with the detection target 14 in the second image, as described below.
  • the second image is also called a template image or a representative image. Note that, for example, when the camera 12 captures a specific location, the matching target may not be captured in the overall image, but it does not matter if the matching target is not captured in the overall image. In this case, the image processing device 10 determines that the detection target 14 does not exist in the overall image.
  • the image processing device 10 can determine whether the detection target 14 is captured in the overall image.
  • the communication unit 16 may be, for example, a communication interface that communicates information and commands with an external device by communication.
  • the communication unit 16 may provide the operation device 13 with the position of the detection target 14 in the overall image.
  • Memory 17 may include any storage device, such as a RAM (Random Access Memory) and a ROM (Read Only Memory). Memory 17 may store various programs that cause control unit 18 to function, and various information used by control unit 18.
  • RAM Random Access Memory
  • ROM Read Only Memory
  • the memory 17 stores a group of images for template generation.
  • the group of images for template generation includes a plurality of detection target images.
  • the group of images for template generation may include all of the detection target images stored in the memory 17.
  • the group of images for template generation is also referred to as a total image group.
  • the detection target images stored in the memory 17 may be deleted and added as appropriate.
  • the number of detection target images in the total image group may increase or decrease due to the deletion and addition of detection target images.
  • the detection target image is an image of the detection target 14, unlike the first image.
  • the multiple detection target images may be acquired in a chronological order, as described below.
  • the multiple detection target images may include, for example, at least one original detection target image acquired from the camera 12 and at least one amplified detection target image generated from the original detection target image by an augmentation process.
  • the multiple detection target images may include, for example, multiple detection target images acquired under different environments. In this embodiment, an example of a group of images for template generation including multiple detection target images acquired in a chronological order will be described.
  • the multiple detection target images may also include multiple processed images in which image processing has been applied to each of the multiple detection target images.
  • the image processing may be applied by the control unit 18.
  • the image processing may be, for example, a brightness adjustment process that applies to the entire detection target image, for each of the multiple detection target images, the change in pixel value between multiple detection target images that were acquired before and after the detection target image in the template generation image group.
  • the image processing may be, for example, a process that adds a disturbance that occurs suddenly to multiple detection target images that are acquired before and after each of the multiple detection target images.
  • the group of images for template generation may include a group of training images.
  • the group of training images includes a plurality of detection target images that are a portion of all the detection target images included in the group of images for template generation. As described below, the detection target images included in the group of training images are used to generate or regenerate a representative image.
  • the group of training images may be selected and extracted as training images from the group of images for template generation each time.
  • the input unit 19 may include one or more interfaces that detect user operation input.
  • the input unit 19 may include, for example, physical keys, capacitive keys, and a touch screen that is integral with the display device.
  • the control unit 18 includes one or more processors and memories.
  • the processor may include a general-purpose processor that loads a specific program to execute a specific function, and a dedicated processor specialized for a specific process.
  • the dedicated processor may include an application specific integrated circuit (ASIC).
  • the processor may include a programmable logic device (PLD).
  • the PLD may include a field-programmable gate array (FPGA).
  • the control unit 18 may be either a system-on-a-chip (SoC) in which one or more processors work together, or a system in a package (SIP).
  • SoC system-on-a-chip
  • SIP system in a package
  • the control unit 18 performs a similarity judgment between the second image ri, which will be described later, and at least a partial area of the first image wi, with the second image ri being superimposed on the partial area.
  • the control unit 18 may determine whether the matching target of the first image wi is the detection target 14 or whether the detection target 14 is captured in the first image wi.
  • a second image (representative image) ri which is smaller than the first image (full image) wi, is superimposed on a partial area of the first image (full image) wi.
  • the similarity judgment will be described later using a detailed example.
  • control unit 18 may detect the location of the detection target 14, for example, in addition to determining whether the matching target is the detection target 14. Specifically, the control unit 18 may detect the location of the detection target 14 in the entire image wi by displacing the representative image ri relative to the entire image wi, thereby displacing an overlapping area that is a part of the entire image wi that overlaps with the representative image ri, and performing a similarity determination at each position.
  • control unit 18 may acquire the portion of the region as an unused detection target image. Furthermore, the control unit 18 may include the acquired unused detection target image in the training image group. Specifically, the control unit 18 stores the portion of the region in the entire image wi that is determined to be similar to the representative image ri in the memory 17 so that it is included in the training image group as an unused detection target image, which will be described later. Note that an unused detection target image is also referred to as an unused image, and an unused image that is not used in particular to generate or regenerate the representative image ri is also referred to as a first unused image.
  • the control unit 18 regenerates the representative image ri based on the training image group.
  • the representative image ri has a size equal to or smaller than the entire image wi.
  • the control unit 18 performs the regeneration by replacing the representative image ri stored in the working memory of the control unit 18 or the memory 17 with an image newly created based on the training image group. Note that the regeneration of the representative image ri is also called updating the representative image ri.
  • the control unit 18 may store a newly generated image based on the training image group as the first representative image ri.
  • the training image group may already contain multiple images of the detection target 14 that have actually been captured as initial detection target images.
  • the number of detection target images to be included in the training image group may be determined arbitrarily.
  • the number of detection target images to be included in the training image group may be the same as a first number, greater than the first number, or less than the first number, as described below.
  • the control unit 18 can regenerate the representative image ri.
  • the control unit 18 may be able to regenerate the representative image ri two or more times.
  • the control unit 18 may regenerate the representative image ri when the number of unused images included in the training image group reaches a first number.
  • the first number may be determined according to the size and generation method of the representative image ri. For example, in a configuration in which the representative image ri is created based on the statistical values of pixel values of multiple detection target images described below, the first number may be determined to be the minimum value at which a significant statistical value can be calculated. Note that the timing of regenerating the representative image ri may be set arbitrarily.
  • the control unit 18 may regenerate the representative image ri at predetermined elapsed times, or may regenerate the representative image ri when the accuracy of the similarity judgment drops below a predetermined threshold.
  • An unused image is a detection target image that has never been used to generate or regenerate a representative image ri.
  • the control unit 18 may recognize an unused image as a used detection target image after using it to regenerate a representative image ri.
  • a used detection target image is a detection target image that was used to regenerate a representative image ri before the last time.
  • a used detection target image is also referred to as a used image, and a used image that has been used to generate or regenerate a representative image ri is also referred to as a first used image.
  • the training image group includes a greater number of first unused images than the number of first used images.
  • the control unit 18 uses more first unused images than the first used images in updating the representative image ri.
  • the training image group may include a plurality of unused images that have not been used in updating a past representative image ri when updating a new representative image ri. Also, when updating a new representative image ri, the proportion of the plurality of unused images in the training image group may be greater than the proportion of used images that have been used in updating a past second image in the training image group.
  • the training image group may include a first used image. Or, the training image group may not include a first used image.
  • the training image group does not have to include a first used image that has been used four or more times in the generation and regeneration of the representative image ri.
  • the training image group may include more first used images that have been used n-1 times in the generation and regeneration of the representative image ri than first used images that have been used n times in the generation and regeneration of the representative image ri.
  • n is any natural number.
  • the training image group may include more first used images that have been used two times in the generation and regeneration of the representative image ri than first used images that have been used three times in the generation and regeneration of the representative image ri.
  • control unit 18 may delete the first used images in the training image group used to update the immediately preceding representative image ri from the training image group in order of oldest to newest. In other words, the control unit 18 may replace the oldest first used image included in the training image group with a new first unused image.
  • control unit 18 may change the ratio of the number of first unused images to the total number of detection target images in the training image group for each regeneration.
  • control unit 18 may change the number of detection target images to be included in the training image group for each regeneration.
  • control unit 18 may use a number of unused images in regenerating the second image that differs from the number of unused images used in the previous regeneration.
  • the control unit 18 may perform the above-mentioned replacement when the number of detection target images included in the training image group is the number of detection target images to be used when updating the next representative image ri, and when a new first unused image is to be included in the training image group.
  • the number of detection target images included in the training image group may be different when the representative image ri is generated and when it is regenerated.
  • the number of detection target images included in the training image group may be the same as the first number, or may be different.
  • the control unit 18 may generate the representative image ri by various methods using the training image group. For example, the control unit 18 may create a statistical model such as a histogram or a mixed Gaussian distribution of pixel values based on pixel values of pixels at corresponding addresses between each detection target image included in the training image group. The control unit 18 may determine the pixel value of each pixel based on the statistical model created for each pixel. The control unit 18 may generate the representative image ri by determining pixel values of addresses of multiple pixels.
  • a statistical model such as a histogram or a mixed Gaussian distribution of pixel values based on pixel values of pixels at corresponding addresses between each detection target image included in the training image group.
  • the control unit 18 may determine the pixel value of each pixel based on the statistical model created for each pixel.
  • the control unit 18 may generate the representative image ri by determining pixel values of addresses of multiple pixels.
  • control unit 18 may determine the pixel value that is the most frequent value in the statistical model created for each pixel as the pixel value of that pixel in the representative image ri. Furthermore, the control unit 18 may determine a range in the statistical model for classifying the pixel values of that pixel into multiple classes in order to perform a disturbance judgment in a part of the entire image wi in the similarity judgment described below.
  • the multiple classes may include a non-disturbance class, a known disturbance class, and an unknown disturbance class. As shown in FIG. 6, the control unit 18 may recognize a peak including the most frequent value as the non-disturbance class in the statistical model.
  • the control unit 18 may recognize a peak other than the non-disturbance class as the known disturbance class.
  • the control unit 18 may recognize a range of pixel values other than the non-disturbance class and the known disturbance class as the unknown disturbance class.
  • the pixel value ranges that define the non-disturbance class and the known disturbance class may be set to a range of ⁇ 6 ⁇ centered on the mode of each Gaussian distribution in a configuration in which the statistical model is approximated to a Gaussian mixture model. Note that the pixel value ranges that define the non-disturbance class and the known disturbance class can be set arbitrarily within a range that satisfies the desired accuracy.
  • the pixels at corresponding addresses may only be pixels located at the same address between the images, as shown in FIG. 3.
  • the pixels at corresponding addresses may be multiple pixels included in an area of, for example, 3 ⁇ 3 pixels centered on the same address, as shown in FIG. 4.
  • the pixels at corresponding addresses may be multiple pixels in a section including the same address within a section obtained by dividing each image into multiple grids, as shown in FIG. 5.
  • the statistics may take into account multiple detection target images, including the multiple processed images described above.
  • the control unit 18 performs a similarity judgment by comparing the generated representative image ri with a partial area of the entire image wi. For example, the control unit 18 may perform a similarity judgment by comparing the pixel values of at least a part of all pixels constituting the representative image ri with the pixel values of pixels (pixels with the same address) in the entire image wi that overlap with the representative image ri when the generated representative image ri is superimposed on a part of the entire image wi.
  • the control unit 18 may then determine whether or not there is a region in the entire image wi that is similar to the representative image ri by comparing the pixels of the representative image ri with the pixels of the entire image wi that overlap with the representative image ri for each displacement while displacing the overlapping area between the representative image ri and the entire image wi. Note that when the control unit 18 performs a similarity judgment between the entire image wi and the representative image ri, it is not necessary to actually superimpose the entire image wi and the representative image ri, and it is sufficient to obtain the positions of each pixel by arithmetic processing when it is assumed that the entire image wi and the representative image ri overlap.
  • the control unit 18 may compare all the pixels constituting the generated representative image ri with all the pixels in a partial area of the entire image wi.
  • control unit 18 may select pixels to be used for comparison with the entire image wi as matching pixels from among the multiple pixels constituting the generated representative image ri. For example, the control unit 18 may determine multiple characteristic pixels in the representative image ri as matching pixels. The control unit 18 may select pixels corresponding to feature points such as edges and corners as characteristic pixels. Alternatively, the control unit 18 may select multiple characteristic pixels based on a spatial co-occurrence histogram calculated for the pixel values of multiple pixels arbitrarily selected from the representative image ri. A combination of pixel values that occurs frequently in the spatial co-occurrence histogram means that it occurs frequently in the representative image ri but is not characteristic. Therefore, the control unit 18 may select multiple pixels that correspond to combinations whose frequency exceeds zero and is equal to or less than a feature threshold in the spatial co-occurrence histogram as characteristic pixels.
  • the control unit 18 may select matching pixels from all pixels or from multiple characteristic pixels. In the following, a configuration in which selection is made from multiple characteristic pixels is described as an example.
  • the control unit 18 may, for example, select multiple stable pixels (hereinafter, also referred to as "stable pixels") as matching pixels from the multiple characteristic pixels. In other words, the control unit 18 may use the stable pixels as matching pixels for comparison.
  • the control unit 18 may select stable pixels using at least one detection target image in the training image group. Specifically, the control unit 18 may extract stable pixels with small variations in pixel values by, for example, comparing the pixel values of pixels at the same address in the multiple detection target images with the pixel values of pixels at the same address in the representative image ri, and further by analogy judgment. More specifically, the control unit 18 may select stable pixels based on an inter-image co-occurrence histogram calculated for the multiple detection target images and the representative image ri. A combination of pixel values with a high frequency in the inter-image co-occurrence histogram means that the pixel values are stable with respect to time changes, in other words, the influence of sudden disturbance factors is low.
  • the control unit 18 may calculate the stability rate for each pixel of the representative image ri based on multiple inter-image co-occurrence histograms calculated for the multiple detection target images.
  • the control unit 18 may select characteristic pixels whose stability rate is equal to or greater than a stability threshold as stable pixels.
  • the number of detection target images used to extract stable pixels may be less than the number of detection target images used to generate or update the representative image ri including the stable pixel.
  • the stable pixel may be reselected at least once for each similarity judgment between the first image and the second image.
  • the period of reselection of stable pixels may be the same as the period of regeneration of the representative image ri, or may be different.
  • Reselection of stable pixels means changing the detection target image used to select stable pixels. For reselection of stable pixels, a detection target image that has not been used in the selection or reselection of stable pixels in the past may be used. Note that an unused detection target image is also referred to as an unused image.
  • an unused image that has not been used for selection or reselection of stable pixels is also referred to as a second unused image.
  • the second unused image may refer to the same one as the first unused image described above.
  • the detection target image used to select stable pixels may be selected in the order of acquisition time from the updated training image group.
  • the proportion of the second unused images in the training image set for selecting or reselecting stable pixels may be the same as the proportion of the first unused images in the training image set for updating the representative image ri. Or, the proportion of the second unused images in the training image set for selecting or reselecting stable pixels may be different from the proportion of the first unused images in the training image set for updating the representative image ri. More specifically, the proportion of the second unused images in the training image set for selecting or reselecting stable pixels may be lower than the proportion of the first unused images in the training image set for updating the representative image ri. Or, the proportion of the second unused images for selecting or reselecting stable pixels may be higher than the proportion of the first unused images for regenerating the representative image ri.
  • the control unit 18 may extract stable pixels directly from the representative image ri. For example, the control unit 18 may calculate the product of the normalized frequency of the spatial co-occurrence histogram calculated as described above and the inverse of the normalized frequency of the inter-image co-occurrence histogram calculated as described above. The control unit 18 may extract a combination of pixels for which the product is equal to or less than a threshold value as a stable pixel.
  • the control unit 18 may store the address of the determined group of match pixels in the memory 17.
  • the group of match pixels is a plurality of match pixels that are newly selected for the representative image ri stored in the memory 17 based on the updated group of training images.
  • the control unit 18 may update the addresses of the group of match pixels by replacing the addresses of the group of match pixels stored in the memory 17 with each address of the newly determined group of match pixels.
  • the control unit 18 may store the statistical model for the match pixels in the memory 17 together with the group of addresses of the match pixels.
  • the control unit 18 may calculate the similarity by summing up the differences in pixel values between pixels constituting the generated representative image ri and pixels in a partial area of the entire image wi, which have the same address. In a configuration in which matching pixels are selected, the control unit 18 may calculate the similarity by focusing on multiple matching pixels in the representative image ri. The control unit 18 may determine that a partial area of the entire image wi, in which the similarity is equal to or less than a threshold, is an image portion that includes an image similar to the detection target 14. The control unit 18 may determine the position of the image portion as the location of the detection target 14. Note that, when summing up the differences in pixel values, a lower similarity indicates a higher degree of agreement.
  • a similarity that increases with a higher degree of agreement may be used, such as a configuration in which the similarity is judged by the cosine similarity of pixel values.
  • a partial area of the entire image wi, in which the similarity is equal to or greater than a threshold may be determined to be an image portion that includes an image similar to the detection target 14.
  • the control unit 18 may exclude some of the matching pixels from the similarity calculation.
  • the excluded pixels may be pixels whose pixel values in a partial area of the entire image wi that has the same address as the matching pixels are classified as a known disturbance class or an unknown disturbance class in the pixel statistical model, as shown in FIG. 6.
  • the control unit 18 may perform a similarity judgment using the remaining excluded matching pixels.
  • control unit 18 may not need to perform analogical judgment based on similarity if a specific condition is met using a statistical model of pixels created for disturbance judgment.
  • a partial area of the entire image wi may be determined to be dissimilar to the representative image ri.
  • the specific condition is when, among all the pixels used for comparison in the partial area, there is a large number of pixels having pixel values classified into a known disturbance class and an unknown disturbance class in the corresponding statistical model, or when there is a large number of pixels having pixel values outside a certain range centered on the most frequent pixel value.
  • a large number of pixels may mean exceeding a specified ratio to all pixels.
  • the number of pixels that satisfy the above-mentioned condition among all pixels may be large when the number of pixels whose pixel values satisfy the above-mentioned condition is equal to or greater than a threshold value.
  • the number of pixels that satisfy the above-mentioned condition among all pixels may be large when the ratio of pixels that satisfy the above-mentioned condition to all pixels used for comparison is equal to or greater than a threshold value.
  • the control unit 18 when the control unit 18 detects the position of the detection target 14 in the entire image wi, the control unit 18 may include an image portion of a partial area of the entire image wi that corresponds to the position as an unused image in the training image group and store it in the memory 17. Furthermore, when the similarity falls within a first range having a limit value on the matching side, the control unit 18 may include the image portion as an unused image in the training image group.
  • the limit value on the matching side is an upper limit value in a configuration in which the higher the similarity, the higher the matching, and is a lower limit value in a configuration in which the lower the similarity, the higher the matching.
  • the presence position detection process starts by acquiring one frame of the entire image wi.
  • step S100 the control unit 18 reads out the statistical model of the matching pixels in the representative image ri from the memory 17. After reading out, the process proceeds to step S101.
  • step S101 the control unit 18 extracts a partial area of the acquired entire image wi, the area being the same size as the detection target image included in the training image group, as an area for similarity judgment. After extraction, the process proceeds to step S102.
  • step S102 the control unit 18 compares the pixel values of the same addresses as the match pixels in the partial area extracted in the most recent step S101 with the statistical model of the match pixels. After the comparison, the process proceeds to step S103.
  • step S103 the control unit 18 determines whether or not there are many pixels that are recognized as disturbances in the partial region based on the comparison in the most recent step S102. If there are not many pixels that are recognized as disturbances, the process proceeds to step S104. If there are many pixels that are recognized as disturbances, the process proceeds to step S111.
  • step S104 the control unit 18 reads from the memory 17 the pixel value of the matching pixel at the same address as the pixel determined to be non-disturbance by the comparison in the most recent step S102. After reading, the process proceeds to step S105.
  • step S105 the control unit 18 calculates the similarity between the representative image ri and the partial area based on the pixel values of the matching pixels read out in step S104 and the pixels of the partial area at the same address. After the calculation, the process proceeds to step S106.
  • step S106 the control unit 18 determines whether the similarity is equal to or less than the threshold. If it is equal to or less than the threshold, the process proceeds to step S107. If it is not equal to or less than the threshold, the process proceeds to step S111.
  • step S107 the control unit 18 determines that the partial area extracted in the previous step S101 is the location of the detection target 14. After this determination, the process proceeds to step S108.
  • step S108 the control unit 18 determines whether the similarity calculated in the most recent step S105 is within the first range. If it is within the first range, the process proceeds to step S109. If it is not within the first range, the process proceeds to step S111.
  • step S109 the control unit 18 stores the partial area extracted in the most recent step S101 in the memory 17 as an unused image to be included in the training image group. After storage, the process proceeds to step S110.
  • step S110 the control unit 18 determines whether the number of unused images included in the training image group has reached the first number. If it has, the process proceeds to step S200. If it has not, the process proceeds to step S111.
  • step S200 the control unit 18 updates the representative image ri as described below. After updating, the process proceeds to step S111.
  • step S111 the control unit 18 determines whether or not the entire area of the entire image wi has been extracted as a partial area. If the entire area has not been extracted, the process proceeds to step S112. If the entire area has been extracted, the detection process ends.
  • step S112 the control unit 18 displaces the partial area extracted in step S101 while maintaining the same size. After the displacement, the process returns to step S101.
  • step S201 the control unit 18 reads out the training image group from the memory 17. After reading out, the process proceeds to step S202.
  • step S202 the control unit 18 creates a statistical model for each pixel based on the multiple detection target images included in the training image group read out in the most recent step S201. After creation, the process proceeds to step S203.
  • step S203 the control unit 18 generates a representative image ri based on the statistical model created in the most recent step S202. After generation, the process proceeds to step S204.
  • step S204 the control unit 18 determines matching pixels in the representative image ri generated in the most recent step S203.
  • the control unit 18 may use the training image group and the representative image ri to determine the matching pixels. After the determination, the process proceeds to step S205.
  • step S205 the control unit 18 replaces the statistical model created in the most recent step S202, the representative image ri generated in the most recent step S203, and the matching pixels determined in the most recent step S204 with the statistical model, the representative image ri, and the matching pixels already stored in the memory 17. After the replacement, the process proceeds to step S206.
  • step S206 the control unit 18 converts the status of all detection target images included in step S201 from unused to used. After the conversion, the representative image update subroutine S200 ends, and the process returns to the presence position detection process.
  • the image processing device 10 of this embodiment configured as described above includes a communication unit (acquisition unit) 16 that acquires a first image wi, and performs a similarity judgment between a second image ri generated based on a training image group including a plurality of detection target images different from the first image wi and at least a portion of the first image wi, and regenerates the second image based on a training image group including a plurality of unused images that are greater than the used images used to generate the second image ri.
  • acquisition unit 16 acquires a first image wi, and performs a similarity judgment between a second image ri generated based on a training image group including a plurality of detection target images different from the first image wi and at least a portion of the first image wi, and regenerates the second image based on a training image group including a plurality of unused images that are greater than the used images used to generate the second image ri.
  • the image processing device 10 uses more detection target images acquired at a relatively recent time when updating the second image ri for which a similarity judgment is performed with a portion of the first image wi, and therefore can create a second image ri that better reflects the effects of disturbances that have occurred. Therefore, the image processing device 10 can improve the robustness of detecting the detection target 14 even when disturbances occur.
  • the training image group includes used images.
  • the image processing device 10 can use detection target images under various circumstances to generate the second image ri. Therefore, the image processing device 10 can reduce the possibility of missing detection of the detection target image from the first image wi.
  • the training image group does not include used images.
  • the image processing device 10 can reflect the effects of the most recent disturbance in the second image ri. Therefore, the image processing device 10 can further improve the robustness of detecting the detection target 14 from the first image wi in a situation where a disturbance is occurring.
  • the image processing device 10 of this embodiment includes a part of the first image wi as an unused image in the training image group when the similarity for similarity judgment is within a first range with a limit value on the matching side. If there are many detection target images that are highly consistent with the second image ri, the possibility of missing detection of an image where a disturbance has occurred with respect to the detection target image increases. In response to such an event, the image processing device 10 having the above-mentioned configuration can reduce the possibility of missing detection by ensuring diversity in the detection target images for updating the second image ri.
  • the image processing device 10 of this embodiment when the image processing device 10 of this embodiment includes an unused image in the training image group, it deletes from the training image group the images of the detection target 14 that have been used in the training image group used to update the immediately preceding second image ri, in order of oldest to newest, from the training image group.
  • the image processing device 10 can gradually reduce the influence of disturbances that occurred in the past on the second image ri, thereby reducing the possibility of missed detection, while gradually increasing the influence of disturbances that have recently occurred on the second image ri. Therefore, the image processing device 10 can improve the robustness of detecting the detection target 14 while reducing the possibility of missed detection.
  • the image processing device 10 of this embodiment regenerates the second image ri based on a training image group that has a different number of images from when the second image ri was generated. Before the start of actual imaging, it is required to reflect the effects of detection target images under various conditions in the second image ri, while after imaging begins, it is required to reflect the effects of variable disturbances that occur in the second image ri. In response to such demands, the image processing device 10 having the above-mentioned configuration can appropriately respond to each purpose before and after imaging begins, since the number of images of the detection target 14 included in the training image group is different.
  • the image processing device 10 of this embodiment uses a number of unused images when regenerating the second image ri that differs from the number of unused images used during the previous regeneration.
  • the time interval during which any type of disturbance occurs may vary depending on the type of disturbance.
  • the image processing device 10 having the above-mentioned configuration can generate an appropriate representative image ri according to the length of time during which the disturbance occurs by changing the number of unused images used.
  • the image processing device 10 can further improve the robustness of detecting the detection target 14.
  • the image processing device 10 of this embodiment performs similarity judgment by comparing the second image ri with the first image wi, and uses multiple characteristic pixels of the second image ri as objects of comparison with the first image wi.
  • the calculation load is high and detection takes a relatively long time.
  • the image processing device 10 having the above-mentioned configuration reduces the calculation load while suppressing a decrease in detection accuracy by comparing characteristic pixels, thereby shortening the detection time.
  • the image processing device 10 of this embodiment performs similarity judgment by comparing the second image ri with the first image wi, and uses multiple stable pixels in the second image ri as comparison targets, and the multiple stable pixels are selected based on the similarity judgment between the second image ri and at least one detection target image in the training image group. Characteristic pixels in the second image ri may become characteristic due to noise, etc. The use of such pixels for comparison may reduce the accuracy of detection. In response to such events, the image processing device 10 having the above-mentioned configuration can reduce the effects of noise and suppress a decrease in detection accuracy.
  • the number of multiple detection target images used to select stable pixels is smaller than the number of detection target images used to generate or regenerate the second image ri.
  • the second images ri are assumed to be the minimum number required to reflect the general trend of the situation.
  • the stability of pixel values becomes such that disturbances in the most recent detection target image are considered to be noise, and pixels that are actually stable may be determined to be unstable.
  • the image processing device 10 having the above-mentioned configuration can appropriately generate the second image ri and determine its stability.
  • the period for reselecting stable pixels is different from the period for regenerating the second image ri.
  • the pixel where the disturbance occurs is useful for calculating the similarity.
  • the time at which the disturbance occurs varies widely and is different from the update period of the second image ri.
  • the image processing device 10 having the above-mentioned configuration can respond to a reselection period for stability determination that is different from the period appropriate for regenerating the second image ri by having different periods for reselection and regeneration.
  • the period for reselecting stable pixels is the same as the period for regenerating the second image ri.
  • the image processing device 10 can reduce the processing load by matching the periods of both.
  • the proportion of unused images used to reselect stable pixels is different from the proportion of unused images used to regenerate the second image ri.
  • the appropriate proportion of unused images for updating the second image ri and the appropriate proportion of unused images for stability determination may differ.
  • the image processing device 10 having the above-described configuration can reflect the general trend of the situation in the second image ri, while more fully reflecting the influence of the most recent detection target image for stability determination.
  • the proportion of unused images used to reselect stable pixels is higher than the proportion of unused images used to regenerate the second image ri, and the amount of data in the training image group is small.
  • the image processing device 10 can extract stable pixels taking into account disturbances and brightness changes that appear in the most recently acquired first image wi. Therefore, the image processing device 10 can select stable pixels for each lot in a situation where there are disturbances that occur continuously in a short period of time, for example, variations from lot to lot (when one lot is smaller than the number required to regenerate the second image ri). As a result, the image processing device 10 can improve robustness.
  • an image processing device includes: An acquisition unit that acquires a first image; A second image generated based on a training image group including a plurality of detection target images different from the first image, and a first control unit that performs a similarity determination between at least a portion of the first image, The first control unit is The second image can be reproduced; Regenerating the second image based on a training image set that includes a number of unused images that are greater than the used images used to generate the second image.
  • the first control unit is capable of regenerating the second image two or more times, When regenerating the second image, the training image group includes a plurality of unused images that have not been used in regenerating the second image in the past, and a proportion of the plurality of unused images in the training image group is greater than a proportion of used images that have been used in regenerating the second image in the past in the training image group.
  • the training image group is selected each time the second image is generated or regenerated from among a plurality of detection target images stored in a memory.
  • the training image set includes the used images.
  • the training image set does not include the used image.
  • the first control unit determines that at least a portion of the first image is similar to the second image, the first control unit acquires the portion as the unused image of the detection target image.
  • the first control unit regenerates the second image when a number of the plurality of unused images reaches a first number.
  • the first control unit regenerates the second image based on the training image group having a different number of images from when the second image was generated.
  • the first control unit uses, when regenerating the second image, a number of the unused images different from a number of the unused images used during the previous regeneration.
  • the first control unit performs the similarity determination by comparing the second image with the first image, and uses a plurality of stable pixels in the second image as comparison targets; The stable pixels are selected based on a similarity determination between the second image and at least one target image in the training image set.
  • the number of the plurality of detection target images used to select the stable pixels is less than the number of the detection target images used to generate or regenerate the second image.
  • the stable pixel is It is possible to select again, The stable pixel is selected based on at least one unused image that has not been used in any previous selection or reselection of the stable pixel.
  • a percentage of the unused image used in the stable pixel reselection is different from a percentage of the unused image used to regenerate the second image.
  • an image processing method includes: acquiring a first image; performing a similarity determination between a second image generated based on a training image group including a plurality of detection target images different from the first image and at least a part of the first image; and regenerating the second image based on a training image set that includes a number of unused images that are greater than the used images used to generate the second image.
  • the operation device controller (15)
  • the image processing device according to any one of (1) to (13) above includes a control unit capable of acquiring the similarity determination and controlling an operation device based on the similarity determination.
  • the embodiment of the present disclosure can also be implemented as a method or program for implementing the device, or as a storage medium on which a program is recorded (for example, an optical disk, a magneto-optical disk, a CD-ROM, a CD-R, a CD-RW, a magnetic tape, a hard disk, or a memory card, etc.).
  • a storage medium on which a program is recorded for example, an optical disk, a magneto-optical disk, a CD-ROM, a CD-R, a CD-RW, a magnetic tape, a hard disk, or a memory card, etc.
  • the implementation form of the program is not limited to application programs such as object code compiled by a compiler or program code executed by an interpreter, but may be in the form of a program module incorporated into an operating system.
  • the program may or may not be configured so that all processing is performed only by the CPU on the control board.
  • the program may be configured so that part or all of it is executed by another processing unit implemented on an expansion board or expansion unit added to the board as necessary.
  • the training image group includes a greater number of unused images than the number of used images, but is not limited to such a configuration.
  • the number of used images included in the training image group may be the same as the number of unused images, or may be greater than the number of unused images.
  • embodiments of the present disclosure are not limited to the specific configurations of any of the embodiments described above.
  • the embodiments of the present disclosure may extend to any novel feature or combination of features described herein, or any novel method or process step or combination of features described herein.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

画像処理装置は通信部と制御部とを有する。通信部は第１画像を取得する。制御部は第２画像と第１画像の少なくとも一部との類似判断を行う。第２画像を訓練画像群に基づいて生成する。訓練画像群は第１画像とは異なる複数の検出対象画像を含む。制御部は第２画像を再生成可能である。制御部は第２画像の生成に使用した使用済画像よりも多くの複数の未使用画像を含む訓練画像運に基づいて第２画像を再生成する。

Description

画像処理装置、画像処理方法、及び操作機器コントローラ 関連出願の相互参照
　本出願は、２０２３年６月１３日に日本国に特許出願された特願特願２０２３－０９７０７１の優先権を主張するものであり、この先の出願の開示全体をここに参照のために取り込む。
　本開示は、画像処理装置、画像処理方法、及び操作機器コントローラに関する。
　従来、テンプレートマッチングを用いた物体認識方法が知られている（特許文献１参照
）。
特開２０１８－１５１７４８号公報
　第１の観点による画像処理装置は、
　第１画像を取得する取得部と、
　前記第１画像とは異なる複数の検出対象画像を含む訓練画像群に基づいて生成された第２画像と、前記第１画像の少なくとも一部との類似判断を行う制御部と、を備え、
　前記制御部は、
　前記第２画像を再生成可能であるとともに、
　前記第２画像の生成に使用した使用済画像よりも多くの複数の未使用画像を含む訓練画像群に基づいて前記第２画像を再生成する。
　第２の観点による画像処理方法は、
　第１画像を取得することと、
　前記第１画像とは異なる複数の検出対象画像を含む訓練画像群に基づいて生成された第２画像と、前記第１画像の少なくとも一部との類似判断を行うことと、
　前記第２画像の生成に使用した使用済画像よりも多くの複数の未使用画像を含む訓練画像群に基づいて前記第２画像を再生成することと、を含む。
一実施形態に係る画像処理装置を備える対象操作システムの構成例を示す図である。 図１の制御部が全体画像における検出対象の存在位置を検出するために行う、代表画像と全体画像の一部の領域との類似判断を説明するための図である。 代表画像の各画素における画素値を決定するための統計モデルの作成方法を説明するための図である。 代表画像の各画素における画素値を決定するための別の統計モデルの作成方法を説明するための図である。 代表画像の各画素における画素値を決定するためのさらに別の統計モデルの作成方法を説明するための図である。 類似度の算出から除外する照合画素を決定するために代表画像の作成に用いた各画素の統計モデルである。 図１の制御部が実行する存在位置の検出処理を説明するためのフローチャートである。 図１の制御部が実行する代表画像更新のサブルーチンを説明するためのフローチャートである。
　以下、本開示を適用した画像処理装置の実施形態について、図面を参照して説明する。
　図１は、一実施形態に係る画像処理装置１０を備える対象操作システム１１の構成例を示す。対象操作システム１１は、カメラ１２、画像処理装置１０、操作機器１３、操作機器コントローラ２０を備えてよい。
　対象操作システム１１は、例えば、工場等において製造物等の検出対象１４に、特定の操作を行う。検出対象１４は、例えば、トレイ１５等に載置されている。カメラ１２は、検出対象１４が載置されたトレイ１５を撮像してよい。カメラ１２は、例えば、３０ｆｐｓ等の所定のフレームレート、言換えると周期的に画像を生成してよい。画像処理装置１０は、カメラ１２が撮像した画像を用いて、検出対象１４の位置を検出してよい。操作機器１３は、画像処理装置１０が検出した位置において、検出対象１４に対して所定の作業を行ってよい。操作機器１３は、例えば、ロボットであり、作業として、複数の検出対象１４を把持してよい。操作機器コントローラ２０は、制御部（第２の制御部）２１を含んで構成される。制御部２１は、画像処理装置１０における後述の類似判断を取得する。、制御部２１は、類似判断に基づいて操作機器１３を制御可能である。なお、操作機器１３がロボットの場合は、操作機器コントローラ２０は、例えばロボットコントローラである。
　画像処理装置１０は、通信部（取得部）１６、及び制御部１８を含んで構成される。画像処理装置１０は、更に、メモリ１７及び入力部１９を含んでよい。
　通信部１６は、カメラ１２から第１画像を取得する。第１画像は、全体画像とも称される。全体画像は、画像処理装置１０により、検出対象１４の存在位置が検出される画像である。具体的には、全体画像は、照合対象となる被写体が写っている画像である。また、全体画像は、背景が写っている画像である。照合対象は、後述するように第２画像の検出対象１４と照合する対象である。第２画像は、テンプレート画像又は代表画像とも称する。なお、例えばカメラ１２が特定の場所を撮影する場合、全体画像には照合対象が写っていない場合もあるが、照合対象が全体画像に写っていなくても構わない。この場合、画像処理装置１０により、全体画像には検出対象１４が存在しないと判定される。言い換えれば、画像処理装置１０は、全体画像中に検出対象１４が写っているか否かを判定できる。通信部１６は、例えば、外部機器と通信により、情報及び指令を通信する通信インターフェースであってよい。通信部１６は、操作機器１３に全体画像における検出対象１４の存在位置を付与してよい。
　メモリ１７は、例えば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）およびＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）など、任意の記憶デバイスを含む。メモリ１７は、制御部１８を機能させる多様なプログラム、および制御部１８が用いる多様な情報を記憶してよい。
　メモリ１７は、テンプレート生成用画像群を記憶する。テンプレート生成用画像群は、複数の検出対象画像を含む。テンプレート生成用画像群は、メモリ１７に記憶されている全ての検出対象画像を含んでいてもよい。この場合、テンプレート生成用画像群は全画像群とも称される。なお、メモリ１７に記憶された検出対象画像の、削除及び追加は適宜実行され得る。検出対象画像の削除及び追加により、全画像群中の検出対象画像の数は増減することがある。検出対象画像は、第１画像とは異なり、検出対象１４の画像である。複数の検出対象画像は、例えば、後述するように時系列に沿って取得されていてもよい。なお、複数の検出対象画像は、例えば、カメラ１２から取得した少なくとも１つの検出対象元画像と、検出対象元画像から水増し処理によって生成された少なくとも１つの検出対象水増画像を含んでいてもよい。また、複数の検出対象画像は、例えば、異なる環境下で取得された複数の検出対象画像を含んでいてもよい。なお、本実施形態は、時系列に沿って取得された複数の検出対象画像を含むテンプレート生成用画像群を例に説明する。
　また、複数の検出対象画像は、一部の複数の検出対象画像それぞれに画像処理を施した複数の加工画像が含まれていてもよい。画像処理は、制御部１８により施されてよい。画像処理は、例えば、一部の複数の検出対象画像それぞれに対してテンプレート生成用画像群内で取得時点が当該検出対象画像に前後する複数の検出対象画像間の画素値の変化を、それぞれの検出対象画像全体に施す輝度調整処理である。又は、画像処理は、例えば、一部の複数の検出対象画像それぞれに前後する複数の検出対象画像に突発的に生じている外乱を付加する処理である。
　テンプレート生成用画像群は、訓練画像群を含んでよい。訓練画像群は、テンプレート生成用画像群に含まれる全検出対象画像の中の一部の複数の検出対象画像を含む。後述するように、訓練画像群に含まれる検出対象画像が代表画像の生成又は再生成に用いられる。訓練用画像群は、代表画像を生成又は再生成する場合、テンプレート生成用画像群からその都度、訓練用画像として選択されて抽出されてもよい。
　入力部１９は、ユーザの操作入力を検出する１つ以上のインターフェースを含んでよい。入力部１９は、例えば、物理キー、静電容量キー、及び表示装置と一体的に設けられたタッチスクリーンを含んでよい。
　制御部１８は、１以上のプロセッサおよびメモリを含む。プロセッサは、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、および特定の処理に特化した専用のプロセッサを含んでよい。専用のプロセッサは、特定用途向けＩＣ（ＡＳＩＣ；Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）を含んでよい。プロセッサは、プログラマブルロジックデバイス（ＰＬＤ；Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ）を含んでよい。ＰＬＤは、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）を含んでよい。制御部１８は、１つ又は複数のプロセッサが協働するＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－Ｃｈｉｐ）、およびＳｉＰ（Ｓｙｓｔｅｍ　Ｉｎ　ａ　Ｐａｃｋａｇｅ）のいずれかであってもよい。
　図２に示すように、制御部１８は、後述する第２画像ｒｉを、第１画像ｗｉの少なくとも一部の領域に重ねた状態で、第２画像ｒｉと当該一部の領域との類似判断を行う。制御部１８は、類似判断を行なうことによって、第１画像ｗｉの照合対象が検出対象１４であるか否か、又は第１画像ｗｉに検出対象１４が写っているか否かを判断してよい。なお、本実施形態では、第１画像（全体画像）ｗｉの一部の領域に、第１画像（全体画像）ｗｉより小さな第２画像（代表画像）ｒｉを重ねている例を説明する。類似判断は、後に詳細な例を用いて説明される。
　更に、制御部１８は、例えば照合対象が検出対象１４であるか否かの判断と併せて、検出対象１４の存在位置を検出してよい。制御部１８は、具体的には、代表画像ｒｉを全体画像ｗｉに対して相対的に変位させることによって、代表画像ｒｉと重複する全体画像ｗｉの一部である重複領域を変位させ、各位置において類似判断を行うことにより、全体画像ｗｉにおける検出対象１４の存在位置を検出してよい。
　制御部１８は、当該重複領域が代表画像ｒｉと類似すると判断する場合、当該一部の領域を未使用の検出対象画像として取得してよい。更に、制御部１８は取得した未使用の検出対象画像を訓練画像群に含めてもよい。制御部１８は、具体的には、代表画像ｒｉと類似すると判断された全体画像ｗｉ内の一部の領域を、後に説明する、未使用の検出対象画像として訓練画像群に含めるようにメモリ１７に格納する。なお、未使用の検出対象画像は、未使用画像とも称され、特に代表画像ｒｉの生成又は再生成に使用されていない未使用画像を第１未使用画像とも称される。
　制御部１８は、訓練画像群に基づいて、代表画像ｒｉを再生成する。代表画像ｒｉは、全体画像ｗｉ以下のサイズを有する。制御部１８は、制御部１８のワーキングメモリ又はメモリ１７に記憶される代表画像ｒｉを、訓練画像群に基づいて新規に作成する画像に置換することにより、再生成を行う。なお、代表画像ｒｉの再生成は、代表画像ｒｉの更新ともいう。
　制御部１８は、ワークメモリ又はメモリ１７に代表画像ｒｉが記憶されていない場合、訓練画像群に基づいて、新規に生成する画像を最初の代表画像ｒｉとして記憶してよい。代表画像ｒｉが記憶される前、言換えると、最初の代表画像ｒｉの生成前に、訓練画像群には予め検出対象１４を実際に撮像した複数の画像が初期の検出対象画像として含まれていてよい。
　訓練画像群に含める検出対象画像の数は、任意に定められてよい。訓練画像群に含める検出対象画像の数は、例えば、後述する、第１の数と同じであってよく、第１の数より大きくてよく、第１の数より小さくてよい。
　制御部１８は、代表画像ｒｉを再生成可能である。制御部１８は、代表画像ｒｉの再生成を２回以上実行可能であってよい。制御部１８は、代表画像ｒｉの再生成を、訓練画像群に含まれる、未使用画像の数が第１の数に達する場合、実行してよい。第１の数は、代表画像ｒｉのサイズ及び生成方法等に応じて定められてよい。第１の数は、例えば、後述する複数の検出対象画像の画素値の統計値に基づいて代表画像ｒｉを作成する構成において、有意な統計値を算出可能な最低値に定められてよい。なお、代表画像ｒｉの再生成のタイミングは、任意に設定されてもよい。制御部１８は、例えば、所定の経過時間ごとに代表画像ｒｉを再生成してもよいし、類似判断の精度が所定の閾値よりも低下する場合に代表画像ｒｉを再生成してもよい。
　未使用画像は、代表画像ｒｉの生成又は再生成に一度も用いられたことのない検出対象画像である。制御部１８は、未使用画像を、代表画像ｒｉの再生成に用いた後に、使用済みの検出対象画像に認定してよい。言換えると、使用済みの検出対象画像は、前回以前の代表画像ｒｉの再生成に用いた検出対象画像である。なお、使用済みの検出対象画像は、使用済画像とも称され、特に代表画像ｒｉの生成又は再生成に使用された使用済画像は第１使用済画像とも称される。
　訓練画像群には、第１使用済画像の数より多くの数の第１未使用画像が含まれる。言換えると、制御部１８は、代表画像ｒｉの更新に、第１使用済画像より多くの第１未使用画像を用いる。訓練画像群は、代表画像ｒｉの新規な更新に際して過去の代表画像ｒｉの更新に使用されていない複数の未使用画像を含んでよい。又、新規な代表画像ｒｉの更新に際して、訓練画像群内の複数の未使用画像の割合は、訓練画像群内の過去の第２画像の更新に用いられた使用済み画像の割合より大きくてよい。訓練画像群は、第１使用済画像を含んでよい。又は、訓練画像群は、第１使用済画像を含まなくてよい。
　なお、第１使用済画像が代表画像ｒｉの再生成に使用される場合でも、訓練画像群は代表画像ｒｉの生成及び再生成のうち４回以上使用された第１使用済画像は含まなくてもよい。また、第１使用済画像が代表画像ｒｉの再生成に使用される場合でも、訓練画像群は、代表画像ｒｉの生成及び再生成においてｎ回使用された第１使用済画像よりも、ｎ―１回使用された第１使用済画像をより多く含んでいてもよい。ｎは、任意の自然数である。具体的には、例えば、訓練画像群は、代表画像ｒｉの生成及び再生成に３回使用された第１使用済画像よりも、代表画像ｒｉの生成及び再生成に２回使用された第１使用済画像を多く含んでいてもよい。
　制御部１８は、第１未使用画像を訓練画像群に含める場合、直前の代表画像ｒｉの更新に用いた訓練画像群における第１使用済画像を古い順番に、訓練画像群から削除してよい。言換えると、制御部１８は、訓練画像群に含まれる最も古い第１使用済画像を、新規な第１未使用画像に入替えてよい。
　又は、制御部１８は、訓練画像群中の検出対象画像の全数に対する、第１未使用画像の数の割合を、再生成毎に変更してよい。言換えると、制御部１８は、訓練画像群に含める検出対象画像の数を、再生成毎に変更してよい。具体的には、制御部１８は、第２画像の再生成において、前回の再生成に使用した複数の未使用画像の数と異なる複数の未使用画像を使用してよい。制御部１８は、割合を変更する構成において、訓練画像群に含まれている検出対象画像の数が、次回の代表画像ｒｉの更新時に用いる検出対象画像の数である場合、新たに第１未使用画像を訓練画像群に含める場合、前述の入替えを行ってよい。
　訓練画像群に含まれる検出対象画像の数は、代表画像ｒｉの生成時と再生成時とにおいて異なっていてよい。訓練画像群に含まれる検出対象画像の数は、第１の数と同じであってよく、異なっていてよい。
　制御部１８は、訓練画像群を用いた多様な方法により代表画像ｒｉを生成してよい。例えば、制御部１８は、訓練画像群に含まれる各検出対象画像間で互いに対応するアドレスの画素の画素値に基づく画素値のヒストグラム又は混合ガウス分布等の統計モデルを作成してよい。制御部１８は、画素毎に作成した統計モデルに基づいて、画素毎の画素値を決定してよい。制御部１８は、複数の画素のアドレスの画素値を決定することにより、代表画像ｒｉを生成してよい。
　制御部１８は、具体的には、各画素に対して作成した統計モデルにおいて最頻値となる画素値を、代表画像ｒｉにおける当該画素の画素値に決定してよい。又、制御部１８は、後述する類似判断において全体画像ｗｉの一部における外乱判定を行うために、統計モデルにおいて当該画素における画素値を複数のクラスに分類する範囲を決定してよい。複数のクラスは、非外乱クラス、既知外乱クラス、及び未知外乱クラスを含んでよい。制御部１８は、図６に示すように、統計モデルにおいては、最頻値を含むピークを非外乱クラスと認定してよい。制御部１８は、複数のピークを含む統計モデルにおいて、非外乱クラス以外のピークを既知外乱クラスと認定してよい。制御部１８は、非外乱クラスと既知外乱クラス以外の画素値の範囲を未知外乱クラスと認定してよい。非外乱クラス及び既知外乱クラスを定める画素値の範囲は、例えば、統計モデルが混合ガウスモデルに近似される構成において、各ガウス分布の最頻値を中心とする±６σの範囲に設定されてよい。なお、非外乱クラス及び既知外乱クラスを定める画素値の範囲を、所望の精度を満たす範囲で、任意に設定することができる。
　なお、互いに対応するアドレスの画素とは、図３に示すように、互いの画像間にて同一のアドレスに位置する画素のみであってよい。又は、互いに対応するアドレスの画素とは、図４に示すように、当該同一のアドレスを中心とする、例えば３×３の画素の領域に含まれる複数の画素であってよい。又は、互いに対応するアドレスの画素とは、図５に示すように、各画像を複数のグリッドに分割した区画の中で当該同一のアドレスを含む区画内の複数の画素であってよい。また、統計量には、上述した複数の加工画像が含まれた複数の検出対象画像が加味されていてもよい。
　制御部１８は、生成した代表画像ｒｉを、全体画像ｗｉの一部の領域と比較することにより類似判断を行う。例えば、制御部１８は、生成した代表画像ｒｉを全体画像ｗｉの一部と重ねたときに、代表画像ｒｉを構成する全画素の少なくとも一部の画素の画素値と、全体画像ｗｉにおける代表画像ｒｉと重なる画素（同じアドレスの画素）の画素値とを比較することにより類似判断を行ってよい。そして、制御部１８は、代表画像ｒｉと全体画像ｗｉの重複領域を変位させながら、変位ごとに代表画像ｒｉの画素と、全体画像ｗｉの代表画像ｒｉと重なる画素とを比較することによって、全体画像ｗｉの中に代表画像ｒｉと類似する領域があるか否かを判定してよい。なお、制御部１８は、全体画像ｗｉと代表画像ｒｉとの類似判断を行う際には、実際に全体画像ｗｉと代表画像ｒｉとを重ねる必要はなく、全体画像ｗｉと代表画像ｒｉとが重なったと仮定してした場合の互いの画素の位置を演算処理によって求めればよい。
　制御部１８は、生成した代表画像ｒｉを構成する全画素と、全体画像ｗｉの一部の領域における全画素とを比較してよい。
　又は、制御部１８は、生成した代表画像ｒｉを構成する複数の画素の中から、全体画像ｗｉとの比較に用いる画素を照合画素として選択してよい。制御部１８は、例えば、代表画像ｒｉにおいて、複数の特徴的な画素を照合画素に決定してよい。制御部１８は、エッジ、角等の特徴点に対応する画素を特徴的な画素として選択してよい。又は、制御部１８は、例えば、代表画像ｒｉから任意に選択される複数の画素の画素値について算出する空間共起ヒストグラムに基づいて、特徴的な複数の画素を選択してよい。空間共起ヒストグラムにおいて高頻度な画素値の組合せは、代表画像ｒｉ内で頻出し特徴的ではないことを意味する。そこで、制御部１８は、空間共起ヒストグラムにおいて、頻度がゼロを超え、特徴閾値以下の頻度の組合せに対応する複数の画素を、特徴的な画素として選択してよい。
　制御部１８は、全画素又は複数の特徴的な画素の中から、照合画素を選択してよい。以下においては、複数の特徴的な画素の中から選択する構成が例として説明される。制御部１８は、例えば、複数の特徴的な画素の中から、複数の安定的な画素（以後、「安定的画素」と呼ぶこともある。）を照合画素として選択してよい。すなわち、制御部１８は、当該安定的画素を照合画素として比較に用いてよい。
　制御部１８は、訓練画像群中の少なくとも１つの検出対象画像を用いて、安定的画素を選択してよい。具体的には、制御部１８は、例えば、当該複数の検出対象画像における同じアドレスの画素それぞれの画素値と、代表画像ｒｉにおける同じアドレスの画素の画素値との比較、更には類比判断により、画素値のばらつきが小さい安定的画素を抽出してよい。より具体的には、制御部１８は、複数の検出対象画像と、代表画像ｒｉとに対して算出する画像間共起ヒストグラムに基づいて、安定的画素を選択してよい。画像間共起ヒストグラムにおいて高頻度の画素値の組合せは、画素値が時間変化に対して安定的、言換えると突発的な外乱要因の影響が低いことを意味する。制御部１８は、複数の検出対象画像別に算出された複数の画像間共起ヒストグラムに基づいて、代表画像ｒｉの画素別の安定率を算出してよい。制御部１８は、安定率が安定閾値以上である特徴的な画素を、安定的画素として選択してよい。
　安定的画素の抽出のために用いる検出対象画像の数は、当該安定的画素を含む代表画像ｒｉの生成又は更新に用いた検出対象画像の数より少なくてよい。安定的画素は、少なくとも１回の第１画像と第２画像との類否判断ごとに再選択されてもよい。安定的画素の再選択の周期は、代表画像ｒｉの再生成周期と同じであってよく、異なっていてよい。安定的画素の再選択は、安定的画素の選択に使用する検出対象画像を変更することを意味する。安定的画素の再選択には、過去の安定的な画素の選択または再選択に未使用の検出対象画像が使用されてもよい。なお、未使用の検出対象画像は、未使用画像とも称される。特に安定的画素の選択又は再選択に使用されていない未使用画像は、第２未使用画像とも称される。なお、第２未使用画像は、上記で説明する第１未使用画像と同一のものを指す場合がある。安定的画素の選択のために用いる検出対象画像は、更新された訓練画像群の中で取得時期が新しい順番に選択されてよい。
　安定的画素を選択又は再選択するための訓練画像群における第２未使用画像の割合は、代表画像ｒｉを更新するための訓練画像群における第１未使用画像の割合と同じであってよい。又は、安定的画素を選択又は再選択するための訓練画像群における第２未使用画像の割合は、代表画像ｒｉを更新するための訓練画像群における第１未使用画像の割合と異なっていてよい。より具体的には、安定的画素を選択または再選択するための訓練画像群における第２未使用画像の割合は、代表画像ｒｉを更新するための訓練画像群における第１未使用画像の割合より低くてよい。又は、安定的画素を選択又は再選択するための第２未使用画像の割合は、代表画像ｒｉを再生成するための第１未使用画像の割合より高くてよい。
　制御部１８は、代表画像ｒｉから直接、安定的画素を抽出してよい。制御部１８は、例えば、上述のように算出した空間共起ヒストグラムを正規化した頻度と、上述のように算出した画像間共起ヒストグラムを正規化した頻度の逆数との積を算出してよい。制御部１８は、当該積が閾値以下である画素の組合せを安定的画素として抽出してよい。
　制御部１８は、確定した照合画素の群のアドレスをメモリ１７に格納してよい。照合画素の群とは、メモリ１７に格納されている代表画像ｒｉに対して、更新された訓練画像群に基づいて新たに選択される複数の照合画素である。制御部１８は、メモリ１７に記憶されている照合画素の群のアドレスを、新規に確定される照合画素の群の各アドレスを置換することにより、照合画素の群のアドレスを更新してよい。制御部１８は、照合画素のアドレスの群とともに、当該照合画素における統計モデルをメモリ１７に格納してよい。
　制御部１８は、類似判断において、互いにアドレスが同一である、生成した代表画像ｒｉを構成する画素と全体画像ｗｉの一部の領域における画素との画素値の差分を合計することにより類似度を算出してよい。制御部１８は、照合画素を選択する構成においては、代表画像ｒｉにおける複数の照合画素に着目して類似度を算出してよい。制御部１８は、類似度が閾値以下である全体画像ｗｉの一部の領域を、検出対象１４に類似した像を含む画像部分であると判別してよい。制御部１８は、当該画像部分の位置を検出対象１４の存在位置と判別してよい。なお、画素値の差分を合計する場合、類似度が低いほど一致性が高いことを示す。一方、例えば、画素値のコサイン類似度等によって類似度を判定する構成などのように一致性が高いほど高くなる類似度が用いられてよい。このような構成において、類似度が閾値以上である全体画像ｗｉの一部の領域を、検出対象１４に類似した像を含む画像部分であると判別してよい。
　制御部１８は、照合画素の一部を類似度の算出から除外してよい。除外される画素は、照合画素と同一のアドレスである全体画像ｗｉの一部の領域における画素の画素値が、図６に示すように、画素の統計モデルにおいて既知外乱クラス又は未知外乱クラスに分類される画素であってよい。制御部１８は、除外した残りの照合画素を用いて類似判断を行ってよい。
　又は、制御部１８は、外乱判定を行うために作成した画素の統計モデルを用いて特定の条件を満たす場合、類似度による類比判断を行なわなくてもよい。この場合、全体画像ｗｉの一部の領域は、代表画像ｒｉに非類似であると判別されてもよい。特定の条件とは、当該一部の領域において比較に用いる全画素の中で、対応する統計モデルにおいて既知外乱クラス及び未知外乱クラスに分類される画素値を有する画素の数が多い場合又は最頻度の画素値を中心とした一定の範囲から外れた画素値を有する画素の数が多い場合である。画素の数が多いとは、全画素に対して所定の割合を超えることを意味してよい。
　全画素の中で上述の条件の画素の数が多いとは、画素値が上述の条件を満たす画素の数が閾値以上であることであってよい。又は全画素の中で上述の条件を満たす画素の数が多いとは、比較に用いる全画素に対する上述の条件を満たす画素の割合が閾値以上であることであってよい。
　制御部１８は、前述のように、全体画像ｗｉにおいて検出対象１４の存在位置を検出する場合、当該存在位置に対応する全体画像ｗｉの一部の領域の画像部分を、未使用画像として訓練画像群に含めて、メモリ１７に格納してよい。更には、制御部１８は、類似度が一致側に限界値を有する第１の範囲内に含まれる場合、当該画像部分を未使用画像として訓練画像群に含めてよい。一致側の限界値とは、類似度が高いほど一致性が高いことを示す構成では上限値であり、類似度が低いほど一致性が高いことを示す構成では下限値である。
　次に、本実施形態において制御部１８が実行する存在位置の検出処理について、図７のフローチャートを用いて説明する。存在位置の検出処理は、１フレームの全体画像ｗｉを取得することにより開始する。
　ステップＳ１００において、制御部１８は、メモリ１７から代表画像ｒｉにおける照合画素の統計モデルを読出す。読出し後、プロセスはステップＳ１０１に進む。
　ステップＳ１０１では、制御部１８は、取得した全体画像ｗｉにおいて、訓練画像群に含まれる検出対象画像と同じサイズの一部領域を、類似判断のための領域として抽出する。抽出後、プロセスはステップＳ１０２に進む。
　ステップＳ１０２では、制御部１８は、直近のステップＳ１０１で抽出した一部領域における各照合画素と同一のアドレスの画素値と、照合画素の統計モデルとを比較する。比較後、プロセスはステップＳ１０３に進む。
　ステップＳ１０３では、制御部１８は、直近のステップＳ１０２における比較により、一部領域で外乱と認定される画素が多いか否かを判別する。外乱と認定される画素が多くない場合、プロセスはステップＳ１０４に進む。外乱と認定される画素が多い場合、プロセスはステップＳ１１１に進む。
　ステップＳ１０４では、制御部１８は、直近のステップＳ１０２における比較により非外乱であると認定される画素と同一のアドレスの照合画素の画素値をメモリ１７から読出す。読出し後、プロセスはステップＳ１０５に進む。
　ステップＳ１０５では、制御部１８は、ステップＳ１０４で読出した照合画素と同一のアドレスの一部領域の画素との画素値に基づいて、代表画像ｒｉと一部領域との類似度を算出する。算出後、プロセスはステップＳ１０６に進む。
　ステップＳ１０６では、制御部１８は、類似度が閾値以下であるか否かを判別する。閾値以下である場合、プロセスはステップＳ１０７に進む。閾値以下でない場合、プロセスはステップＳ１１１に進む。
　ステップＳ１０７では、制御部１８は、直近のステップＳ１０１において抽出した一部領域を検出対象１４の存在位置と判別する。判別後、プロセスはステップＳ１０８に進む。
　ステップＳ１０８では、制御部１８は、直近のステップＳ１０５において算出した類似度が第１の範囲内に含まれるか否かを判別する。第１の範囲内に含まれる場合、プロセスはステップＳ１０９に進む。第１の範囲内に含まれない場合、プロセスはステップＳ１１１に進む。
　ステップＳ１０９では、制御部１８は、直近のステップＳ１０１において抽出した一部領域を、未使用画像として訓練画像群に含めるように、メモリ１７に格納する。格納後、プロセスはステップＳ１１０に進む。
　ステップＳ１１０では、制御部１８は、訓練画像群に含まれる未使用画像の数が第１の数に到達しているか否かを判別する。到達している場合、プロセスはステップＳ２００に進む。到達していない場合、プロセスはステップＳ１１１に進む。
　ステップＳ２００では、制御部１８は、後述するように代表画像ｒｉを更新する。更新後、プロセスはステップＳ１１１に進む。
　ステップＳ１１１では、制御部１８は、全体画像ｗｉの全領域を一部領域として抽出済みであるか否かを判別する。全領域を抽出済みでない場合、プロセスはステップＳ１１２に進む。全領域を抽出済みである場合、検出処理は終了する。
　ステップＳ１１２では、制御部１８は、ステップＳ１０１において抽出した一部領域を、同じサイズのまま変位させる。変位後、プロセスはステップＳ１０１に戻る。
　次に、ステップＳ２００において実行される代表画像更新のサブルーチンＳ２００について、図８のフローチャートを用いて説明する。
　ステップＳ２０１では、制御部１８は、メモリ１７から訓練画像群を読出す。読出し後、プロセスはステップＳ２０２に進む。
　ステップＳ２０２では、制御部１８は、直近のステップＳ２０１において読出した訓練画像群に含まれる複数の検出対象画像に基づいて、画素毎の統計モデルを作成する。作成後、プロセスはステップＳ２０３に進む。
　ステップＳ２０３では、制御部１８は、直近のステップＳ２０２において作成した統計モデルに基づいて代表画像ｒｉを生成する。生成後、プロセスはステップＳ２０４に進む。
　ステップＳ２０４では、制御部１８は、直近のステップＳ２０３において生成した代表画像ｒｉにおいて、照合画素を決定する。制御部１８は、照合画素の決定に、訓練画像群及び当該代表画像ｒｉを用いてよい。決定後、プロセスはステップＳ２０５に進む。
　ステップＳ２０５では、制御部１８は、直近のステップ２０２において作成した統計モデル、直近のステップＳ２０３において生成した代表画像ｒｉ、及び直近のステップＳ２０４において決定した照合画素を、メモリ１７に格納済みの統計モデル、代表画像ｒｉ、及び照合画素から置換する。置換後、プロセスはステップＳ２０６に進む。
　ステップＳ２０６では、制御部１８は、ステップＳ２０１に含まれるすべての検出対象画像のステータスを未使用から使用済みに変換する。変換後、代表画像更新のサブルーチンＳ２００は終了し、プロセスは、存在位置の検出処理に戻る。
　以上のような構成の本実施形態の画像処理装置１０は、第１画像ｗｉを取得する通信部（取得部）１６と、第１画像ｗｉとは異なる複数の検出対象画像を含む訓練画像群に基づいて生成された第２画像ｒｉと第１画像ｗｉの少なくとも一部との類似判断を行い、第２画像ｒｉの生成に使用した使用済画像よりも多くの複数の未使用画像を含む訓練画像群に基づいて第２画像を再生成する。このような構成により、画像処理装置１０は、第１画像ｗｉの一部との類似判断を行う第２画像ｒｉの更新において、比較的新しい時期に取得されている検出対象画像をより多く用いるので、発生している外乱の影響をより反映させた第２画像ｒｉを作成し得る。したがって、画像処理装置１０は、外乱の発生時においても、検出対象１４を検出するロバスト性を向上し得る。
　又、本実施形態の画像処理装置１０では、訓練画像群は使用済画像を含む。このような構成により、画像処理装置１０は、多様な状況下の検出対象画像を第２画像ｒｉの生成に用い得る。したがって、画像処理装置１０は、第１画像ｗｉからの検出対象画像の検出漏れの可能性を低減し得る。
　又、本実施形態の画像処理装置１０では、訓練画像群は使用済画像を含まない。このような構成により、画像処理装置１０は、直近で発生している外乱の影響を第２画像ｒｉに反映させ得る。したがって、画像処理装置１０は、第１画像ｗｉから外乱の発生している状況下における検出対象１４を検出するロバスト性を更に向上し得る。
　又、本実施形態の画像処理装置１０は、類似判断を行うための類似度が一致側に限界値を有する第１の範囲内に含まれる場合、第１画像ｗｉの一部を未使用画像として訓練画像群に含める。第２画像ｒｉとの一致性が高い検出対象画像が多いと、当該検出対象画像に対して外乱が発生した画像の検出漏れの可能性が増加する。このような事象に対して、上述の構成を有する画像処理装置１０は、第２画像ｒｉを更新するための検出対象画像に多様性を確保することにより、検出漏れの可能性を低減し得る。
　又、本実施形態の画像処理装置１０は、未使用画像を訓練画像群に含める場合、直前の第２画像ｒｉの更新に用いた訓練画像群における使用済みの検出対象１４の画像を古い順番に、訓練画像群から削除する。このような構成により、画像処理装置１０は、過去に生じた外乱の第２画像ｒｉへの影響を徐々に低減させ得るので検出漏れの可能性を低減しながら、最近生じている外乱の第２画像ｒｉへの影響を徐々に増加させ得る。したがって、画像処理装置１０は、検出漏れの可能性を低減させながら検出対象１４を検出するロバスト性を向上し得る。
　又、本実施形態の画像処理装置１０は、第２画像ｒｉの生成時と異なる画像の数の訓練画像群に基づいて、第２画像ｒｉを再生成する。実際の撮像の開始前には、多様な状況下の検出対象画像の影響を第２画像ｒｉに反映させることが求められる一方で、撮像の開始後には発生している変動し得る外乱の影響を第２画像ｒｉに反映させることが求められる。このような要請に対して、上述の構成を有する画像処理装置１０は、訓練画像群に含まれる検出対象１４の画像の数が異なるので、撮像の開始前と開始後におけるそれぞれの目的に適切に対応し得る。
　又、本実施形態の画像処理装置１０は、第２画像ｒｉの再生成時に前回の再生成時に使用した複数の未使用画像の数と異なる数の複数の未使用画像を使用する。任意の種類の外乱が発生している時間間隔は、外乱の種類によって変動し得る。このような事象に対して、上述の構成を有する画像処理装置１０は、使用する未使用画像の数を変更することにより、外乱の発生している長さに応じた適切な代表画像ｒｉを生成し得る。その結果、画像処理装置１０は、検出対象１４を検出するロバスト性をより向上し得る。
　又、本実施形態の画像処理装置１０は、第２画像ｒｉと、第１画像ｗｉとを比較することにより類似判断を行うとともに、第２画像ｒｉのうち複数の特徴的な画素を、第１画像ｗｉとの比較対象として用いる。第２画像ｒｉのすべての画素を当該一部と比較する構成においては、計算負荷が高く、検出を行うのに比較的長時間を要する。一方で、上述の構成を有する画像処理装置１０は、特徴的な画素を比較することにより、検出の正確性の低下を抑制しながら、計算負荷を低減するので、検出時間を短縮化する。
　又、本実施形態の画像処理装置１０は、第２画像ｒｉと第１画像ｗｉを比較することによって類似判断を行うとともに、第２画像ｒｉのうち複数の安定的な画素を比較対象として使用し、複数の安定的な画素は第２画像ｒｉと訓練画像群中の少なくとも１つの検出対象画像との類似判断に基づいて選択される。第２画像ｒｉにおける特徴的な画素は、ノイズ等により特徴的となることがある。このような画素の比較への使用は、検出の正確性を低下させうる。このような事象に対して、上述の構成を有する画像処理装置１０は、ノイズの影響を低減させ、検出の正確性の低下を抑制し得る。
　又、本実施形態の画像処理装置１０では、安定的画素を選択するために用いる複数の検出対象画像の数は、第２画像ｒｉの生成又は再生成に用いた検出対象画像の数より少ない。第２画像ｒｉは一般的な状況の傾向を反映させるために最低必要な数が想定されている。一方で、画素値の安定性は、反映させる検出対象画像が増えるほど直近の検出対象画像における外乱がノイズとみなされ、本来は安定である画素が不安定と認定されることが生じ得る。このような事象に対して、上述の構成を有する画像処理装置１０は、第２画像ｒｉの生成及び安定性の判定をそれぞれ適切に実行し得る。
　又、本実施形態の画像処理装置１０では、安定的画素の再選択の周期は、第２画像ｒｉの再生成周期と異なる。照合対象に外乱が発生しており且つ当該外乱が第２画像ｒｉに反映されている場合、当該外乱の生じている画素は類似度の算出に有益である。外乱の発生時間は多様であり、第２画像ｒｉの更新周期とは異なっている。このような事象に対して、上述の構成を有する画像処理装置１０は、再選択と再生成との周期が異なることにより、第２画像ｒｉの再生成に適切な周期とは異なる安定性判別のための再選択周期に対応し得る。
　又、本実施形態の画像処理装置１０では、安定的画素の再選択の周期は第２画像ｒｉの再生成周期と同じである。このような構成によれば、画像処理装置１０は、両者の周期を合わせることにより、処理の負荷を低減し得る。
　又、本実施形態の画像処理装置１０では、安定的画素の再選択に使用される未使用画像の割合は、第２画像ｒｉの再生成に使用される未使用画像の割合と異なる。第２画像ｒｉを更新するための未使用画像の適切な割合と、安定性判別のための未使用画像の適切な割合は異なり得る。このような事象に対して、上述の構成を有する画像処理装置１０は、第２画像ｒｉには一般的な状況の傾向を反映させながら、安定性判別のためには直近の検出対象画像の影響をより反映させ得る。
　又、本実施形態の画像処理装置１０は、安定的画素の再選択に使用される未使用画像の割合は、第２画像ｒｉの再生成に使用される未使用画像の割合より高く且つ訓練画像群のデータ量は少ない。このような構成により、画像処理装置１０は、直近に取得した第１画像ｗｉに現れる外乱や輝度変化を考慮して、安定的画素を抽出できる。したがって、画像処理装置１０は、短期間に連続して発生する外乱、例えば、１ロットごとのばらつきがあるような状況に対して（１ロットが第２画像ｒｉの再生成に必要な個数より少ない場合）、ロットごとに安定的画素を選べる。その結果、画像処理装置１０は、ロバスト性を向上させ得る。
　一実施形態において、（１）画像処理装置は、
　第１画像を取得する取得部と、
　前記第１画像とは異なる複数の検出対象画像を含む訓練画像群に基づいて生成された第２画像と、前記第１画像の少なくとも一部との類似判断を行う第１の制御部と、を備え、
　前記第１の制御部は、
　前記第２画像を再生成可能であるとともに、
　前記第２画像の生成に使用した使用済画像よりも多くの複数の未使用画像を含む訓練画像群に基づいて前記第２画像を再生成する
　（２）上記（１）の画像処理装置では、
　前記第１の制御部は、前記第２画像の再生成を２回以上、実行可能であるとともに、
　前記第２画像を再生成する場合に、訓練画像群は、過去の前記第２画像の再生成に使用されていない複数の未使用画像を含むとともに、前記訓練画像群内の前記複数の未使用画像の割合は、前記訓練画像群内の過去の前記第２画像の再生成に使用された使用済画像の割合よりも大きい
　（３）上記（１）又は（２）の画像処理装置では、
　前記訓練画像群は、前記第２画像を生成又は再生成する場合に、メモリに記憶された複数の検出対象画像の中から都度選択される。
　（４）上記（１）乃至（３）の画像処理装置では、
　前記訓練画像群は、前記使用済画像を含む。
　（５）上記（１）乃至（３）のいずれかの画像処理装置では、
　前記訓練画像群は、前記使用済画像を含まない。
　（６）上記（１）乃至（５）のいずれかの画像処理装置では、
　前記第１の制御部は、前記第１画像の少なくとも一部が前記第２画像に類似すると判断した場合、該一部を前記検出対象画像の前記未使用画像として取得する。
　（７）上記（１）乃至（６）のいずれかの画像処理装置では、
　前記第１の制御部は、前記複数の未使用画像の数が第１の数に達する場合、前記第２画像を再生成する。
　（８）上記（１）乃至（７）のいずれかの画像処理装置では、
　前記第１の制御部は、前記第２画像の生成時と異なる画像の数の前記訓練画像群に基づいて、前記第２画像を再生成する。
　（９）上記（１）乃至（８）のいずれかの画像処理装置では、
　前記第１の制御部は、第２画像の再生成時に、前回の再生成時に使用した前記複数の未使用画像の数と異なる数の前記複数の未使用画像を使用する。
　（１０）上記（１）乃至（９）のいずれかの画像処理装置では、
　前記第１の制御部は、前記第２画像と前記第１画像を比較することによって前記類似判断を行うとともに、前記第２画像のうち複数の安定的な画素を比較対象として使用し、
　前記複数の安定的な画素は、前記第２画像と、前記訓練画像群中の少なくとも１つの検出対象画像との類似判断に基づいて選択される。
　（１１）上記（１０）の画像処理装置では、
　前記安定的な画素を選択するために用いる前記複数の検出対象画像の数は、前記第２画像の生成又は再生成に用いた前記検出対象画像の数より少ない。
　（１２）上記（１０）又は（１１）の画像処理装置では、
　前記安定的な画素は、
　再選択可能であるとともに、
　過去の前記安定的な画素の選択又は再選択時に使用していない少なくとも１つの未使用画像に基づいて選択される。
　（１３）上記（１０）乃至（１２）のいずれかの画像処理装置では、
　前記安定的な画素の再選択に使用される未使用画像の割合は、前記第２画像の再生成に使用される未使用画像の割合と異なる。
　一実施形態において（１４）画像処理方法は、
　第１画像を取得することと、
　前記第１画像とは異なる複数の検出対象画像を含む訓練画像群に基づいて生成された第２画像と、前記第１画像の少なくとも一部との類似判断を行うことと、
　前記第２画像の生成に使用した使用済画像よりも多くの複数の未使用画像を含む訓練画像群に基づいて前記第２画像を再生成することと、を含む。
　一実施形態において（１５）操作機器コントローラは、
　上記（１）乃至（１３）のいずれかの画像処理装置における前記類否判断を取得するとともに、前記類否判断に基づいて操作機器を制御可能な制御部を備える。
　以上、画像処理装置１０の実施形態を説明してきたが、本開示の実施形態としては、装置を実施するための方法又はプログラムの他、プログラムが記録された記憶媒体（一例として、光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、磁気テープ、ハードディスク、又はメモリカード等）としての実施態様をとることも可能である。
　また、プログラムの実装形態としては、コンパイラによってコンパイルされるオブジェクトコード、インタプリタにより実行されるプログラムコード等のアプリケーションプログラムに限定されることはなく、オペレーティングシステムに組み込まれるプログラムモジュール等の形態であってもよい。さらに、プログラムは、制御基板上のＣＰＵにおいてのみ全ての処理が実施されるように構成されてもされなくてもよい。プログラムは、必要に応じて基板に付加された拡張ボード又は拡張ユニットに実装された別の処理ユニットによってその一部又は全部が実施されるように構成されてもよい。
　本開示に係る実施形態について説明する図は模式的なものである。図面上の寸法比率等は、現実のものとは必ずしも一致していない。
　本開示に係る実施形態について、諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は改変を行うことが可能であることに注意されたい。従って、これらの変形又は改変は本開示の範囲に含まれることに留意されたい。例えば、各構成部等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成部等を１つに組み合わせたり、或いは分割したりすることが可能である。
　例えば、本実施形態において、訓練画像群には使用済画像の数より多くの数の未使用画像が含まれる構成であるが、このような構成に限定されない。訓練画像群に含まれる使用済画像の数は、未使用画像の数と同じであってよく、多くてよい。
　本開示に記載された構成要件の全て、及び／又は、開示された全ての方法、又は、処理の全てのステップについては、これらの特徴が相互に排他的である組合せを除き、任意の組合せで組み合わせることができる。また、本開示に記載された特徴の各々は、明示的に否定されない限り、同一の目的、同等の目的、または類似する目的のために働く代替の特徴に置換することができる。したがって、明示的に否定されない限り、開示された特徴の各々は、包括的な一連の同一、又は、均等となる特徴の一例にすぎない。
　さらに、本開示に係る実施形態は、上述した実施形態のいずれの具体的構成にも制限されるものではない。本開示に係る実施形態は、本開示に記載された全ての新規な特徴、又は、それらの組合せ、あるいは記載された全ての新規な方法、又は、処理のステップ、又は、それらの組合せに拡張することができる。
　本開示において「第１」等の記載は、当該構成を区別するための識別子である。
　１０　画像処理装置
　１１　対象操作システム
　１２　カメラ
　１３　操作機器
　１４　検出対象
　１５　トレイ
　１６　通信部
　１７　メモリ
　１８　制御部
　１９　入力部
　２０　操作機器コントローラ
　２１　制御部
　ｒｉ　代表画像
　ｗｉ　全体画像

Claims (15)

  1. 　第１画像を取得する取得部と、
    　前記第１画像とは異なる複数の検出対象画像を含む訓練画像群に基づいて生成された第２画像と、前記第１画像の少なくとも一部との類似判断を行う第１の制御部と、を備え、
    　前記第１の制御部は、
    　前記第２画像を再生成可能であるとともに、
    　前記第２画像の生成に使用した使用済画像よりも多くの複数の未使用画像を含む訓練画像群に基づいて前記第２画像を再生成する
    　画像処理装置。
  2. 　請求項１に記載の画像処理装置において、
    　前記第１の制御部は、前記第２画像の再生成を２回以上、実行可能であるとともに、
    　前記第２画像を再生成する場合に、訓練画像群は、過去の前記第２画像の再生成に使用されていない複数の未使用画像を含むとともに、前記訓練画像群内の前記複数の未使用画像の割合は、前記訓練画像群内の過去の前記第２画像の再生成に使用された使用済画像の割合よりも大きい
    　画像処理装置。
  3. 　請求項１又は２に記載の画像処理装置において、
    　前記訓練画像群は、前記第２画像を生成又は再生成する場合に、メモリに記憶された複数の検出対象画像の中から都度選択される
    　画像処理装置。
  4. 　請求項１から３のいずれか１項に記載の画像処理装置において、
    　前記訓練画像群は、前記使用済画像を含む
    　画像処理装置。
  5. 　請求項１から３のいずれか１項に記載の画像処理装置において、
    　前記訓練画像群は、前記使用済画像を含まない
    　画像処理装置。
  6. 　請求項１から５のいずれか１項に記載の画像処理装置において、
    　前記第１の制御部は、前記第１画像の少なくとも一部が前記第２画像に類似すると判断した場合、該一部を前記検出対象画像の前記未使用画像として取得する
    　画像処理装置。
  7. 　請求項１から６のいずれか１項に記載の画像処理装置において、
    　前記第１の制御部は、前記複数の未使用画像の数が第１の数に達する場合、前記第２画像を再生成する
    　画像処理装置。
  8. 　請求項１から７のいずれか１項に記載の画像処理装置において、
    　前記第１の制御部は、前記第２画像の生成時と異なる画像の数の前記訓練画像群に基づいて、前記第２画像を再生成する
    　画像処理装置。
  9. 　請求項１から８のいずれか１項に記載の画像処理装置において、
    　前記第１の制御部は、第２画像の再生成時に、前回の再生成時に使用した前記複数の未使用画像の数と異なる数の前記複数の未使用画像を使用する
    　画像処理装置。
  10. 　請求項１から９のいずれか１項に記載の画像処理装置において、
    　前記第１の制御部は、前記第２画像と前記第１画像を比較することによって前記類似判断を行うとともに、前記第２画像のうち複数の安定的な画素を比較対象として使用し、
    　前記複数の安定的な画素は、前記第２画像と、前記訓練画像群中の少なくとも１つの検出対象画像との類似判断に基づいて選択される
    　画像処理装置。
  11. 　請求項１０に記載の画像処理装置において、
    　前記安定的な画素を選択するために用いる前記複数の検出対象画像の数は、前記第２画像の生成又は再生成に用いた前記検出対象画像の数より少ない
    　画像処理装置。
  12. 　請求項１０又は１１に記載の画像処理装置において、
    　前記安定的な画素は、
    　再選択可能であるとともに、
    　過去の前記安定的な画素の選択又は再選択時に使用していない少なくとも１つの未使用画像に基づいて選択される
    　画像処理装置。
  13. 　請求項１０から１２のいずれか１項に記載の画像処理装置において、
    　前記安定的な画素の再選択に使用される未使用画像の割合は、前記第２画像の再生成に使用される未使用画像の割合と異なる
    　画像処理装置。
  14. 　第１画像を取得することと、
    　前記第１画像とは異なる複数の検出対象画像を含む訓練画像群に基づいて生成された第２画像と、前記第１画像の少なくとも一部との類似判断を行うことと、
    　前記第２画像の生成に使用した使用済画像よりも多くの複数の未使用画像を含む訓練画像群に基づいて前記第２画像を再生成することと、を含む
    　画像処理方法。
  15. 　請求項１から１３のいずれか１項記載の画像処理装置における前記類似判断を取得するとともに、前記類似判断に基づいて操作機器を制御可能な第２の制御部を備える、操作機器コントローラ。
     
    　
PCT/JP2024/021405 2023-06-13 2024-06-12 画像処理装置、画像処理方法、及び操作機器コントローラ Ceased WO2024257816A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP24823431.2A EP4730269A1 (en) 2023-06-13 2024-06-12 Image processing device, image processing method, and operation device controller
JP2025527979A JPWO2024257816A1 (ja) 2023-06-13 2024-06-12

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2023-097071 2023-06-13
JP2023097071 2023-06-13

Publications (1)

Publication Number Publication Date
WO2024257816A1 true WO2024257816A1 (ja) 2024-12-19

Family

ID=93852261

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2024/021405 Ceased WO2024257816A1 (ja) 2023-06-13 2024-06-12 画像処理装置、画像処理方法、及び操作機器コントローラ

Country Status (3)

Country Link
EP (1) EP4730269A1 (ja)
JP (1) JPWO2024257816A1 (ja)
WO (1) WO2024257816A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6134343A (en) * 1996-09-24 2000-10-17 Cognex Corporation System or method for detecting defect within a semi-opaque enclosure
JP2015007972A (ja) * 2013-05-31 2015-01-15 オムロン株式会社 画像照合方法、画像照合装置、モデルテンプレート生成方法、モデルテンプレート生成装置、およびプログラム
JP2018151748A (ja) 2017-03-10 2018-09-27 オムロン株式会社 画像処理装置、画像処理方法、テンプレート作成装置、物体認識処理装置及びプログラム
CN112289726A (zh) * 2020-10-29 2021-01-29 上海精测半导体技术有限公司 晶圆对准模板图像生成方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6134343A (en) * 1996-09-24 2000-10-17 Cognex Corporation System or method for detecting defect within a semi-opaque enclosure
JP2015007972A (ja) * 2013-05-31 2015-01-15 オムロン株式会社 画像照合方法、画像照合装置、モデルテンプレート生成方法、モデルテンプレート生成装置、およびプログラム
JP2018151748A (ja) 2017-03-10 2018-09-27 オムロン株式会社 画像処理装置、画像処理方法、テンプレート作成装置、物体認識処理装置及びプログラム
CN112289726A (zh) * 2020-10-29 2021-01-29 上海精测半导体技术有限公司 晶圆对准模板图像生成方法

Also Published As

Publication number Publication date
EP4730269A1 (en) 2026-04-22
JPWO2024257816A1 (ja) 2024-12-19

Similar Documents

Publication Publication Date Title
JP4855556B1 (ja) 動体検出装置、動体検出方法、動体検出プログラム、動体追跡装置、動体追跡方法及び動体追跡プログラム
US9202126B2 (en) Object detection apparatus and control method thereof, and storage medium
US10679358B2 (en) Learning image automatic sorting device, learning image automatic sorting method, and learning image automatic sorting program
JP5675233B2 (ja) 情報処理装置、その認識方法及びプログラム
US10769800B2 (en) Moving object detection apparatus, control method for moving object detection apparatus, and non-transitory computer-readable storage medium
US20100272351A1 (en) Information processing apparatus and method for detecting object in image data
JP2008527525A (ja) グラフィカルなオブジェクトを検出するための方法及び電子装置
US20180122097A1 (en) Apparatus, method, and non-transitory computer-readable storage medium for storing program for position and orientation estimation
KR20130072073A (ko) 영상 윤곽선 추출 장치 및 방법
US20170053204A1 (en) Program generation apparatus and program generation method
JP5704863B2 (ja) 画像処理装置、画像処理方法及び記憶媒体
US20070206885A1 (en) Imaging System And Image Processing Program
US20180089529A1 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
JP5192437B2 (ja) 物体領域検出装置、物体領域検出方法および物体領域検出プログラム
KR102429337B1 (ko) 이미지를 안정화하는 이미지 처리 장치 및 이미지를 안정화하는 방법
WO2024257816A1 (ja) 画像処理装置、画像処理方法、及び操作機器コントローラ
US20190098330A1 (en) Coding apparatus, coding method, and recording medium
US12437561B2 (en) Method and system for detecting a type of seat occupancy
JP6098320B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
JP7795174B2 (ja) 画像処理装置及び画像処理方法
JP2020042350A (ja) 画像認識方法、及び画像認識プログラム
JP5470529B2 (ja) 動き検出装置、動き検出方法及び動き検出プログラム
KR20230067216A (ko) 캡처 이미지 디스플레이 제어장치
JP7253872B2 (ja) 情報処理装置、情報処理方法、及びプログラム
CN118748757B (zh) 动态目标检测方法、装置、计算机设备及可读存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24823431

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2025527979

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2025527979

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2024823431

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2024823431

Country of ref document: EP

Effective date: 20260113

ENP Entry into the national phase

Ref document number: 2024823431

Country of ref document: EP

Effective date: 20260113

ENP Entry into the national phase

Ref document number: 2024823431

Country of ref document: EP

Effective date: 20260113

ENP Entry into the national phase

Ref document number: 2024823431

Country of ref document: EP

Effective date: 20260113

WWP Wipo information: published in national office

Ref document number: 2024823431

Country of ref document: EP