WO2022018791A1 - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
WO2022018791A1
WO2022018791A1 PCT/JP2020/028065 JP2020028065W WO2022018791A1 WO 2022018791 A1 WO2022018791 A1 WO 2022018791A1 JP 2020028065 W JP2020028065 W JP 2020028065W WO 2022018791 A1 WO2022018791 A1 WO 2022018791A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
images
collapse
observation
existence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2020/028065
Other languages
English (en)
French (fr)
Inventor
瑛士 金子
真人 戸田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2022538501A priority Critical patent/JP7501637B2/ja
Priority to US18/015,886 priority patent/US20230245287A1/en
Priority to EP20946445.2A priority patent/EP4184209A4/en
Priority to PCT/JP2020/028065 priority patent/WO2022018791A1/ja
Publication of WO2022018791A1 publication Critical patent/WO2022018791A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G01S13/90—Radar or analogous systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques, e.g. synthetic aperture radar [SAR] techniques
    • G01S13/9021—SAR image post-processing techniques
    • G01S13/9027—Pattern recognition for feature extraction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30184—Infrastructure
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Definitions

  • the present invention relates to an image processing device and an image processing method for generating an image in which a change region with respect to another image can be specified in one image.
  • Synthetic Aperture Radar (SAR) technology transmits and receives electromagnetic waves while a flying object such as an artificial satellite or an aircraft moves, and is equivalent to an image obtained by an antenna having a large aperture (hereinafter, also referred to as a SAR image). .) Is a technique for obtaining. Synthetic aperture radar is used, for example, for signal processing of reflected waves from the ground surface and analysis of ground surface displacement.
  • observation images images taken by artificial satellites, etc. are referred to as observation images.
  • the observed image includes an optical image and a SAR image.
  • each of the two images is referred to as an object existence image or an object map, and the two images may be referred to as an image pair.
  • an image in which the difference portion between the two images based on the comparison result of the two images can be specified may be referred to as a change map or a composite change map.
  • FIG. 14 is an explanatory diagram showing a method of creating the synthetic change map 333 described in Non-Patent Document 1.
  • the first image 331 corresponds to the object map which is the first input image.
  • the second image 332 corresponds to the object map which is the second input image.
  • the first image 331 and the second image 332 are combined while allowing a deviation of several pixels between the first image 331 and the second image 332.
  • the synthetic change map 333 is generated.
  • a difference portion between the first image 331 and the second image 332 appears.
  • Patent Document 1 describes a method of creating a classifier (trained model) using two types of images (image pairs) generated from an interference SAR image and correct answer data as training data (training data).
  • the ground surface change is determined using the trained model.
  • FIG. 15 is a block diagram showing a configuration of a general system that generates a change map using a trained model.
  • the learning model is trained by machine learning 403 using the image pair 401 and the correct answer data (for example, the correct answer change map) 402 as training data (training data).
  • a trained model 410 is created.
  • the change map 412 is generated from the image pair 411 using the trained model 410.
  • the correct answer change map is a change map used as correct answer data.
  • the correct answer data is manually created as described in [0019] of Patent Document 1. Therefore, it takes time to obtain a large number of correct answer data.
  • the correct answer data created by one creator may differ from the correct answer data created by another creator. That is, the objectivity of the correct answer data is not guaranteed. In other words, there is a possibility that correct answer data that reflects individual differences will be generated.
  • the first image 331 and the second image 332, which are the basis of the synthetic change map 333 are manually created. Even if the synthetic change map 333 that can be used as correct data is automatically generated from the first image 331 and the second image 332, the synthetic change map 333 is far from the change map obtained from the actual observed image. there is a possibility. This is because the original first image 331 and the second image 332 are artificially created. As a result, when the synthetic change map 333 is used as the correct change map, it may be far from the correct change map obtained from the actual observation image.
  • the present invention can generate an image in which the difference portion between the two input images can be specified in a short time without being affected by individual differences, and the image is far from the image obtained from the actual observed image. It is an object of the present invention to provide an image processing apparatus and an image processing method that can be excluded.
  • the image processing apparatus is an image obtained from each of the two observation images based on the observation angle of each of the two observation images and the size of the object appearing in each of the two observation images.
  • an image transforming means that transforms an object existence region in two object existence images in which a plurality of objects exist to generate two deformed images, and a composite image is generated by synthesizing the two deformed images. It includes an image generation means for determining a change in an object between two images with an object using an image and generating an image in which the determined change can be specified.
  • the image processing method is an image obtained from each of the two observation images based on the observation angle of each of the two observation images and the size of the object appearing in each of the two observation images.
  • the object existence region in two object existence images in which a plurality of objects exist is deformed to generate two deformed images, the two deformed images are combined to generate a composite image, and the composite image is used.
  • the change of the object between the two objects present images is determined, and an image in which the determined change can be specified is generated.
  • the image processing program according to the present invention is an image obtained from each of the two observed images based on the observation angle of each of the two observed images and the size of the object appearing in each of the two observed images on a computer.
  • a process of determining a change in an object between two images with an object existing using a composite image and generating an image in which the determined change can be specified is executed.
  • an image capable of identifying a difference portion between two input images can be generated in a short time without being affected by individual differences, and the image is far from the image obtained from the actual observation image. Can be excluded.
  • FIG. 1 is a block diagram showing the main components in the embodiment of the image processing apparatus.
  • the image processing device 1 shown in FIG. 1 includes an object map generation means 10 and a correct answer change map generation means 20.
  • a set of observation images is input to the object map generation means 10.
  • the object map generation means 10 extracts an image (object existence image) including an object existence region in which the object to be detected for change exists from each of the observed images. That is, the object map generation means 10 generates a set of object maps.
  • the set of object maps corresponds to the image pairs described above.
  • the object map generation means 10 extracts, for example, a predetermined region from the observation image, but it is also possible to manually extract the region from the observation image.
  • the observation angle (azimuth angle and incident angle) of each observation image and the size (height and width) of the object are input to the correct answer change map generation means 20.
  • the size of the object is predetermined according to the object to be detected for change.
  • the correct answer change map generation means 20 transforms each object map based on each observation angle of the observation image and the size of the object. Further, the correct answer change map generation means 20 generates an image showing a region where the object has changed between the two object maps, that is, a change map, by synthesizing the deformed object map to generate a composite image. do. The change map generated by the correct answer change map generation means 20 is output as a correct answer change map.
  • a SAR image will be taken as an example as an observation image.
  • an automobile is taken as an example as an object.
  • FIG. 2 is an explanatory diagram showing an example of a method of generating a correct answer change map.
  • the artificial satellite 100 passing through the orbit A photographs the area including the parking lot 120 at time t1.
  • the artificial satellite 100 passing through the orbit B different from the orbit A photographs the area including the parking lot 120 at the time t2 different from the time t1.
  • Time t2 is a time after time t1.
  • Image A first object map 111 obtained from the observation image at time t1 is shown in the center of the upper part of FIG.
  • Image A has three automobiles 91, 92, and 93.
  • image B second object map 121 obtained from the observation image at time t2 is shown.
  • Image B has two automobiles 93 and 94.
  • the automobiles 91 and 92 that existed at time t1 have disappeared.
  • a new automobile 94 appears. That is, a new automobile 94 appeared between the time t1 and the time t2.
  • the first object map 111 and the second object map 121 correspond to the image of the parking lot 200.
  • the correct answer change map generation means 20 generates the correct answer change map 150 using the image A and the image B.
  • the ellipse surrounded by the solid line indicates the region where the automobile 93 that has not changed from the time t1 to the time t2 exists. That is, it indicates a region where there is no change.
  • the black ellipse indicates the area where the newly emerged automobile 94 resides.
  • the ellipse surrounded by the broken line indicates the area where the disappeared automobiles 91 and 92 exist. That is, a black ellipse and an ellipse surrounded by a dashed line indicate a change area.
  • the changed area and the non-changed area may be distinguished by an expression different from the expression illustrated in FIG. 2.
  • a changeable region and a non-changeable region may be made distinguishable by a difference in color.
  • FIG. 3 is an explanatory diagram for explaining the incident angle and the azimuth angle (range azimuth angle) of the electromagnetic wave.
  • FIG. 3 shows a first observation image 101 obtained in the orbit A and a second observation image 102 obtained in the orbit B different from the orbit A.
  • the incident angles ⁇ A and ⁇ B correspond to the angles from the zenith direction to the direction of the artificial satellite 100.
  • the range azimuths ⁇ A and ⁇ B correspond to the angles in the range direction with respect to the reference direction (for example, the north direction).
  • Figure 4 is an explanatory diagram for explaining a distance falling (falling weight) l A. Assuming that the height of the object (in this example, the automobile) is h and the incident angle of the electromagnetic wave is ⁇ A , the collapse amount l A is expressed by the following equation (1).
  • the collapse amount of the image A is defined as l A
  • FIG. 5 is an explanatory diagram for explaining the expansion process executed by the correct answer change map generation means 20.
  • the correct answer change map generation means 20 expands the image A (first object map 111) based on the first observation image 101 (see FIG. 3) obtained in the orbit A. I do.
  • the correct answer change map generation means 20 moves the object (in this example, the automobile) appearing in the image A in the collapse direction of the corresponding object in the image B, and the collapse amount of the object in the image B. Inflate by the length corresponding to.
  • the image A after the expansion process (the first object map 112 in which the object is expanded) is obtained.
  • the correct answer change map generation means 20 performs expansion processing on the image B (second object map 121) based on the second observation image 102 (see FIG. 3) obtained in the orbit B.
  • the object appearing in the image B is expanded in the collapse direction of the corresponding object in the image A by a length corresponding to the collapse amount of the object in the image A.
  • the image B after the expansion process (second object map 122 in which the object is expanded) is obtained.
  • the black region indicates an expanded region, that is, an expanded region.
  • FIG. 6 is an explanatory diagram for explaining changes in the object.
  • the correct answer change map generation means 20 superimposes the image A after the expansion process, that is, the first object map 112, and the image B after the expansion process, that is, the second object map 122.
  • FIG. 6 schematically shows the composite image (change map) 140 after superposition.
  • observation image that is the source of image B is obtained later in time than the observation image that is the source of image A.
  • the area [F, B] indicates a region in which the object is present in the first object map 112 but not in the second object map 122. That is, the region [F, B] indicates a region where the object has disappeared.
  • the region [F, F] indicates a region where the object exists in the first object map 112 and exists in the second object map 122. That is, the region [F, F] indicates a region in which no change has occurred.
  • the region [B, F] indicates a region where the object does not exist in the first object map 112 but exists in the second object map 122. That is, the region [B, F] indicates a region where a new object appears.
  • Regions [B, B] indicate regions where the object does not exist in either the first object map 112 or the second object map 122. That is, the region [B, B] indicates a region in which no change has occurred.
  • the correct answer change map generation means 20 generates the change map 140 based on the idea as illustrated in FIG. Specifically, the correct answer change map generation means 20 generates a change map 140 capable of distinguishing a change region (a region where an object disappears or appears) and a non-change region.
  • FIG. 7 is an explanatory diagram for explaining the noise removal process.
  • the black area corresponds to the area [B, F] exemplified in FIG. That is, the black region indicates the region where the object has disappeared.
  • the area surrounded by the broken line corresponds to the area [F, B] illustrated in FIG. That is, the area surrounded by the broken line indicates the area where the object has disappeared.
  • the area surrounded by the solid line corresponds to the area [F, F] or the area [B, B] illustrated in FIG. That is, the region surrounded by the solid line indicates a region where no change has occurred.
  • the correct answer change map generation means 20 performs noise removal processing on the change map 140.
  • the noise removal process is a process of removing a region smaller than an object by regarding it as noise.
  • the correct answer change map generation means 20 performs an opening process on the change map 140.
  • the opening process is a combination of contraction and expansion.
  • the correct answer change map generation means 20 shrinks the object by the number of pixels according to the size of the object when the shrinking process in the opening process is executed.
  • the change map from which noise has been removed is referred to as the correct answer change map 150, but the change map 140 before the noise removal processing is used as the correct answer change map although noise remains. May be used as.
  • FIG. 8 is a block diagram showing a specific configuration example of the correct answer change map generation means 20.
  • the correct answer change map generation means 20 shown in FIG. 8 includes a first collapse parameter calculation means 21, a second collapse parameter calculation means 22, a first expansion means 31, a second expansion means 32, a change map generation means 41, and a change map generation means 41.
  • the noise removing means 51 is included.
  • the range azimuth and incident angle and the height of the object with respect to the image A are input to the first collapse parameter calculating means 21.
  • the first collapse parameter calculation means 21 calculates the collapse amount of the object in the image A by using the incident angle and the height of the object. Further, the first collapse parameter calculation means 21 determines the collapse direction of the object in the image A by using the range azimuth. The collapse direction is the same as the direction indicated by the range azimuth angle ⁇ A.
  • the first collapse parameter calculation means 21 outputs the first collapse parameter to the second expansion means 32.
  • the first collapse parameter includes at least data indicating the collapse amount of the object and data indicating the collapse direction of the object.
  • the range azimuth and incident angle and the height of the object with respect to the image B are input to the second collapse parameter calculating means 22.
  • the second collapse parameter calculation means 22 calculates the collapse amount of the object in the image B by using the incident angle and the height of the object. Further, the second collapse parameter calculation means 22 determines the collapse direction of the object in the image B by using the range azimuth. The collapse direction is the same as the direction indicated by the range azimuth angle ⁇ B.
  • the second collapse parameter calculation means 22 outputs the second collapse parameter to the first expansion means 31.
  • the second collapse parameter includes at least data indicating the collapse amount of the object and data indicating the collapse direction of the object.
  • the first collapse parameter calculation means 21 sets the direction indicated by the range azimuth ⁇ A + 180 degrees (or the range azimuth ⁇ A ⁇ 180 degrees). It is calculated as the collapse direction in the collapse parameter of 1.
  • the second collapse parameter calculation means 22 calculates the direction indicated by the range azimuth ⁇ B + 180 degrees (or the range azimuth ⁇ B ⁇ 180 degrees) as the collapse direction in the second collapse parameter.
  • the image A and the second collapse parameter are input to the first expansion means 31.
  • the first expansion means 31 expands the object in the image A using the second collapse parameter to generate an image A (first object map 112) in which the object is expanded.
  • the first expansion means 31 outputs the first object map 112 to the change map generation means 41.
  • the image B and the first collapse parameter are input to the second expansion means 32.
  • the second expansion means 32 expands the object in the image B using the first collapse parameter to generate the image B (second object map 122) in which the object is expanded.
  • the second expansion means 32 outputs the second object map 122 to the change map generation means 41.
  • the change map generation means 41 superimposes the first object map 112 and the second object map 122. That is, the change map generation means 41 synthesizes the first object map 112 and the second object map 122. Then, the change map generation means 41 determines the change (disappearance or appearance) between the object in the first object map 112 and the object in the second object map 122 corresponding to the object. The change map generation means 41 changes the composite image in which the first object map 112 and the second object map 122 are superposed into an image in which the changed region and the non-change region can be distinguished. It is output to the noise removing means 51 as a map 140.
  • the noise removing means 51 performs an opening process on the change map 140, and outputs an image from which noise has been removed as a correct answer change map.
  • the object map generation means 10 (not shown in FIG. 8) is an object in which an object to be detected for change exists from each observation image in the set of input observation images.
  • An image including an existing area (an object existing image) is extracted.
  • the extracted two object existence images form a set of object maps (step S11).
  • the two observation images constituting the set of observation images are, for example, SAR images based on images taken from the artificial satellite 100 in different orbits at different times.
  • the object map generated in the process of step S11 corresponds to the first object map 111 and the second object map 121 shown in FIG.
  • the meta information of one of the observed images is input to the first collapse parameter calculation means 21.
  • the meta information of the other observed image is input to the second collapse parameter calculation means 22.
  • available observation images are accompanied by meta information (metadata) such as shooting time, shooting point (for example, latitude and longitude of the center of the observed image), and electromagnetic wave irradiation direction (observation direction).
  • the first collapse parameter calculation means 21 extracts the range azimuth ⁇ A and the incident angle ⁇ A from the meta information of one observation image
  • the second collapse parameter calculation means 22 extracts the range azimuth angle ⁇ A and the incident angle ⁇ A from the meta information of the other observation image.
  • the range azimuth angle ⁇ B and the incident angle ⁇ B are extracted (step S12).
  • first collapse parameter calculation means 21 and the second collapse parameter calculation means 22 extract the range azimuth and the incident angle from the meta information.
  • a means other than the first collapse parameter calculation means 21 and the second collapse parameter calculation means 22 may extract the range azimuth and the incident angle from the meta information. In that case, the means supplies the extracted range azimuth angle and incident angle to the first collapse parameter calculation means 21 and the second collapse parameter calculation means 22.
  • step S13 data indicating the height h of the object is input to the first collapse parameter calculation means 21 and the second collapse parameter calculation means 22 (step S13).
  • the processing order of steps S11 to S13 is arbitrary. That is, the processing order of steps S11 to S13 does not necessarily have to be the order shown in FIG. Further, the height h of the object is set in advance. For example, when the object is an automobile, a general height value of the automobile or a value having a margin thereof is input to the object map generation means 10 as the height h of the object.
  • the first collapse parameter calculation means 21 and the second collapse parameter calculation means 22 calculate the collapse parameter (step S14).
  • the first collapse parameter calculating means 21 collapses the object in the image A according to the above equation (1) using the incident angle ⁇ A obtained in the process of step S12 and the height h of the object. Calculate the quantity l A.
  • the first collapse parameter calculation means 21 sets the range azimuth angle ⁇ A obtained in the process of step S12 as the collapse direction of the object.
  • the first collapse parameter calculation means 21 uses the obtained collapse amount and collapse direction as the first collapse parameter.
  • the first collapse parameter calculation means 21 determines the collapse amount and the collapse direction of each object, and each collapse amount and collapse. The direction is included in the first collapse parameter.
  • step S14 the second collapse parameter calculating means 22 collapses the object in the image B according to the above equation (1) using the incident angle ⁇ B obtained in the process of step S12 and the height h of the object. Calculate the quantity l B. Further, the second collapse parameter calculation means 22 sets the range azimuth angle ⁇ B obtained in the process of step S12 as the collapse direction of the object. The second collapse parameter calculation means 22 uses the obtained collapse amount and collapse direction as the second collapse parameter. When a plurality of objects are present in the image B, the second collapse parameter calculation means 22 determines the collapse amount and the collapse direction of each object, and each collapse amount and collapse. The direction is included in the second collapse parameter.
  • the first collapse parameter calculation means 21 determines the direction of 180 degrees with respect to the range azimuth angle ⁇ A as the collapse direction in the first collapse parameter.
  • the second collapse parameter calculation means 22 determines the direction of 180 degrees with respect to the range azimuth angle ⁇ B as the collapse direction in the second collapse parameter.
  • the first expanding means 31 and the second expanding means 32 inflate the object in the object map (image A or image B) (step S15).
  • a first expansion means 31, an object in the image A, the tilting direction included in the second leaning parameter is inflated by tilting amounts l B.
  • the second expansion means 32, an object in the image B, and tilting directions included in the first collapsing parameter is inflated by tilting amounts l A.
  • the change map generation means 41 captures an image A in which the object is expanded (first object map 112: see FIG. 5) and an image B in which the object is expanded (second object map 122: see FIG. 5). Overlapping (step S16).
  • the change map generation means 41 determines whether or not the object has changed based on the degree of overlap of the objects in the composite image created in the process of step S16. For example, the change map generation means 41 determines whether or not the object has changed by comparing the first object map 112 and the second object map 122 pixel by pixel (pixel by pixel). Then, as illustrated in FIG. 6, the change map generation means 41 determines that the object that exists in the image A but does not exist in the image B is the disappeared object (changed object). .. Further, the change map generation means 41 determines that an object that does not exist in the image A but exists in the image B is a newly appearing object (changed object). The change map generation means 41 determines that the other object is an object that does not change.
  • the change map generation means 41 generates a change map 140 (see FIG. 7) by reflecting the determination result of whether or not the change has occurred in the composite image created in the process of step S16 (step S17).
  • step S18 Data indicating the width of the object is input to the noise removing means 51 (step S18).
  • the width of the object is preset. For example, when the object is an automobile, a value having a width of a general automobile or a value having a margin thereof is input to the noise removing means 51 as the width of the object.
  • the process of step S18 may not be executed at the timing shown in FIG. That is, the width of the object may be input by the time the execution of the process of step S19 is started.
  • the noise removing means 51 performs an opening process on the change map 140, and outputs an image from which noise has been removed as a correct answer change map (step S19).
  • the noise removing means 51 shrinks the object by the number of pixels according to the size (specifically, the width) of the object in the shrink process in the opening process.
  • the number of pixels to be shrunk is predetermined according to the size of the object. That is, the number of pixels that should be determined not to be an object is set to a removable number.
  • the noise removing means 51 executes the shrinking process twice in the opening process so that the block having a size of less than 3 pixels, that is, 2 pixels or less is removed.
  • the image processing device of the present embodiment generates a change map as a correct answer used as training data for machine learning based on an actual observation image. Therefore, the change map can be generated in a short time without being affected by individual differences as in the case of manually creating the change map. In addition, it can be excluded that the change map is far from the image obtained from the actual observation image.
  • the image processing apparatus expands the object existence region in the first object map 111 according to the collapse direction and the collapse amount of the object in the second object map 121, and the second It is preferable that the object existence region in the object map 121 is configured to expand according to the collapse direction and the collapse amount of the object in the first object map 111.
  • the object existence region in the object map 121 is configured to expand according to the collapse direction and the collapse amount of the object in the first object map 111.
  • the image processing device is configured to remove a region having a size smaller than a predetermined value determined based on the width of the object in the composite image.
  • the change map (change map used as the correct change map) finally obtained when the small size area is determined to be the change area in the composite image is obtained.
  • the map does not include the change area other than the object. Therefore, the reliability of the correct answer change map can be increased.
  • the image processing device of the above embodiment can be configured by hardware, but it can also be realized by a computer program.
  • FIG. 10 is a block diagram showing a configuration example of an information processing device capable of realizing the functions of the image processing device of the above embodiment.
  • the information processing apparatus shown in FIG. 10 includes a processor such as one or a plurality of CPUs (Central Processing Units), a program memory 1002, and a memory 1003.
  • FIG. 10 illustrates an information processing apparatus having one processor 1001.
  • the program memory 1002 is, for example, a non-transitory computer readable medium.
  • Non-temporary computer-readable media include various types of physical recording media (tangible storage medium).
  • a semiconductor storage medium such as a flash ROM (Read Only Memory) or a magnetic storage medium such as a hard disk can be used.
  • the program memory 1002 is a block in the image processing apparatus of the above embodiment (object map generation means 10, correct answer change map generation means 20, first collapse parameter calculation means 21, second collapse parameter calculation means 22, second.
  • An image processing program for realizing the functions of the expansion means 31, the second expansion means 32, the change map generation means 41, and the noise removing means 51) of the first is stored.
  • the processor 1001 realizes the function of the image processing device by executing the processing according to the image processing program stored in the program memory 1002.
  • the plurality of processors can work together to realize the function of the image processing unit.
  • RAM RandomAccessMemory
  • the memory 1003 stores temporary data and the like generated when the image processing apparatus is executing processing. It is also possible to envision a form in which the image processing program is transferred to the memory 1003 and the processor 1001 executes the processing based on the image processing program in the memory 1003.
  • the program memory 1002 and the memory 1003 may be integrated.
  • FIG. 11 is a block diagram showing a main part of the image processing device.
  • the image processing apparatus 60 shown in FIG. 11 has an observation angle of each of the two observation images (for example, a range azimuth angle and an incident angle) and a size of an object appearing in each of the two observation images (for example, the height of the object).
  • two object existence images for example, the first object map 111 and the second object map 111 which are images obtained from each of the two observation images and in which one or more objects are present.
  • image generation unit (image generation means) 62 in the embodiment, a change map generation means 41) that determines a change in an object between the two and generates an image (for example, a change map 140) capable of identifying the determined change. It is realized by.) And.
  • the image processing device 60 calculates a collapse amount using the observation angle included in the metadata of the two observation images and the height of the object. (In the embodiment, it is realized by the first collapse parameter calculation means 21 and the second collapse parameter calculation means 22).
  • the image processing apparatus 60 removes a region having a size smaller than a predetermined value determined based on the width of the object (removal means) 64 (in the embodiment, the noise removing means 51). It may be further provided with.).
  • An image transforming means that transforms an object existence region in two object existence images in which the object exists to generate two deformed images, and A composite image is generated by synthesizing the two deformed images, a change in the object between the two target existing images is determined using the composite image, and an image capable of identifying the determined change is obtained.
  • An image processing device including an image generation means for generating.
  • the image transforming means is the image processing apparatus of Appendix 1 that expands the object existence region by a predetermined amount in each of the two object existence images.
  • the image transforming means sets the object existence region in the first object existence image of the two object existence images to the second object of the two object existence images.
  • the object is expanded according to the collapse direction and the collapse amount of the object in the existence image, and the object existence region in the second object existence image is changed to the collapse direction and the collapse amount of the object in the first object existence image.
  • the image processing device of Appendix 2 that expands according to.
  • the amount of collapse is calculated using the observation angle and the height of the object included in the metadata of the two observation images, and the direction of the collapse is determined based on the observation direction included in the metadata of the observation image.
  • the image processing apparatus of Appendix 3 further provided with a means for determining a collapse parameter to be determined.
  • Appendix 5 An image processing apparatus according to any one of Appendices 1 to 4, further comprising a removing means for removing an area having a size smaller than a predetermined value determined based on the width of the object.
  • Appendix 7 The image processing method of Appendix 6 for expanding the object existence region by a predetermined amount in each of the two object existence images.
  • the object existence region in the first object existence image of the two object existence images is the object in the second object existence image of the two object existence images.
  • the object existing region in the second object existence image is expanded according to the collapse direction and the collapse amount of the object in the first object existence image by expanding according to the collapse direction and the collapse amount. Image processing method.
  • Appendix 9 An image processing method according to any one of Appendices 6 to 8, which removes an area having a size smaller than a predetermined value determined based on the width of the object.
  • the image processing program is applied to a computer.
  • Appendix 11 The image processing program is applied to a computer.
  • the recording medium of Appendix 10 for executing a process of expanding the object existence region by a predetermined amount in each of the two object existence images.
  • the image processing program is applied to a computer.
  • the object existence region in the first object existence image of the two object existence images is defined as the direction of the collapse of the object in the second object existence image of the two object existence images.
  • the process of expanding according to the collapse amount and expanding the object existence region in the second object existence image according to the collapse direction and the collapse amount of the object in the first object existence image is executed in Appendix 11. recoding media.
  • the image processing program is applied to a computer.
  • Appendix 15 To the computer The image processing program of Appendix 14 for executing a process of expanding the object existence region by a predetermined amount in each of the two object existence images.
  • Appendix 16 To the computer The object existence region in the first object existence image of the two object existence images is defined as the direction of the collapse of the object in the second object existence image of the two object existence images. Appendix 15: Inflate according to the amount of collapse, and execute the process of expanding the area where the object exists in the second image with the presence of the object according to the direction and amount of the collapse of the object in the image with the presence of the first object. Image processing program.
  • Appendix 18 An image processing program for realizing an image processing method according to any one of the appendices 6 to 9.
  • Image processing device 10
  • Object map generation means 20
  • Correct answer change map generation means 21
  • First collapse parameter calculation means 22
  • Second collapse parameter calculation means 31
  • First expansion means 32
  • Second expansion means 41
  • Change map generation means 51
  • Noise removal means 60
  • Image processing device 61
  • Image deformation part 62
  • Image generation part 63
  • Collapse parameter determination part 64
  • Removal part 100 Artificial satellite 1001
  • Processor 1002 Program memory 1003 Memory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Electromagnetism (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

画像処理装置６０は、２つの観測画像の各々の観測角度と２つの観測画像の各々に現れる対象物の大きさとに基づいて、２つの観測画像の各々から得られる画像であって１つまたは複数の対象物が存在する２つの対象物存在画像における対象物存在領域を変形して２つの変形画像を生成する画像変形部６１と、２つの変形画像を合成して合成画像を生成し、合成画像を用いて２つの対象物存在画像の間での対象物の変化を判定し、判定された変化を特定可能な画像を生成する画像生成部６２とを含む。

Description

画像処理装置および画像処理方法
　本発明は、一の画像において他の画像に対する変化領域を特定可能な画像を生成する画像処理装置および画像処理方法に関する。
　洪水、森林火災、火山噴火、地震、津波、干ばつ等の災害による被害の状況や、都市開発の状況、貨物や人の移動や滞留の状況を把握するために、人工衛星で撮影された画像などの高所から撮影された画像を基に地表の状態が変化した領域を検出する変化検出技術がある。
　また、合成開口レーダ（ＳＡＲ：Synthetic Aperture Radar）技術は、人工衛星や航空機などの飛翔体が移動しながら電磁波を送受信し、大きな開口を持つアンテナによる画像と等価な画像（以下、ＳＡＲ画像ともいう。）を得るための技術である。合成開口レーダは、例えば、地表からの反射波を信号処理して、地表変位を解析する等のために利用される。
　以下、人工衛星などで撮影された画像を観測画像という。なお、特に断らない限り、観測画像は、光学画像とＳＡＲ画像とを包含する。
　一般に、変化検出では、異なる時刻に同一の領域が観測されて得られた２枚の画像が比較される。２枚の画像が比較されることによって、領域内での１つ以上の物体（対象物）の変化が検知される。なお、対象物の変化として、例えば、新たな対象物の出現や、対象物の消失がある。以下、２枚の画像の各々を対象物存在画像または対象物マップといい、２枚の画像を画像ペアということがある。また、２枚の画像の比較結果に基づく２枚の画像の差異部分を特定可能な画像を、変化マップまたは合成変化マップということがある。
特開２０１８－１９４４０４号公報
M. A. Lebedev, et al., "CHANGE DETECTION IN REMOTE SENSING IMAGES USING CONDITIONAL ADVERSARIAL NETWORKS", The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Volume XLII-2, 2018
　図１４は、非特許文献１に記載された合成変化マップ３３３の作成方法を示す説明図である。図１４において、第１の画像３３１は、第１の入力画像である対象物マップに相当する。第２の画像３３２は、第２の入力画像である対象物マップに相当する。非特許文献１に記載された方法では、第１の画像３３１と第２の画像３３２との間での数画素のずれを許容しつつ第１の画像３３１と第２の画像３３２とを合成することによって、合成変化マップ３３３が生成される。合成変化マップ３３３には、第１の画像３３１と第２の画像３３２との差異部分が現れている。
　特許文献１には、干渉ＳＡＲ画像から生成された２種類の画像（画像ペア）と正解データとを学習データ（訓練データ）として分類器（学習済みモデル）を作成する方法が記載されている。なお、特許文献１では、学習済みモデルを用いて、地表変動が判定される。
　図１５は、学習済みモデルを用いて変化マップを生成する一般的なシステムの構成を示すブロック図である。図１５に示すシステムにおいて、訓練段階で、学習モデルは、画像ペア４０１と正解データ（例えば、正解変化マップ）４０２とを学習データ（訓練データ）として、機械学習４０３によって訓練される。訓練の結果、学習済みモデル４１０ができる。そして、運用段階で、学習済みモデル４１０を使用して、画像ペア４１１から変化マップ４１２が生成される。正解変化マップは、正解データとして用いられる変化マップである。
　特許文献１に記載された方法が使用されるときに、特許文献１の［００１９］に記載されているように、正解データは、人手で作成される。したがって、多数の正解データを得るのに時間がかかる。また、ある作成者が作成した正解データと他の作成者が作成した正解データとが異なることが生じうる。すなわち、正解データの客観性が保証されない。換言すれば、個人差が反映された正解データが生成される可能性がある。
　非特許文献１に記載された方法が使用されるときに、合成変化マップ３３３の元になる第１の画像３３１および第２の画像３３２は、人手で作成される。正解データとして使用されうる合成変化マップ３３３が、第１の画像３３１と第２の画像３３２とから自動生成される場合でも、合成変化マップ３３３は、実際の観測画像から得られる変化マップからかけ離れる可能性がある。元になる第１の画像３３１および第２の画像３３２が人為的に作成されるからである。その結果、合成変化マップ３３３を正解変化マップとして使用する場合に、実際の観測画像から得られる正解変化マップからかけ離れる可能性がある。
　本発明は、個人差に影響されることなく、２つの入力画像における差異部分を特定可能な画像を短時間で生成でき、かつ、当該画像が実際の観測画像から得られる画像からかけ離れることを排除できる画像処理装置および画像処理方法を提供することを目的とする。
　本発明による画像処理装置は、２つの観測画像の各々の観測角度と２つの観測画像の各々に現れる対象物の大きさとに基づいて、２つの観測画像の各々から得られる画像であって１つまたは複数の対象物が存在する２つの対象物存在画像における対象物存在領域を変形して２つの変形画像を生成する画像変形手段と、２つの変形画像を合成して合成画像を生成し、合成画像を用いて２つの対象物存在画像の間での対象物の変化を判定し、判定された変化を特定可能な画像を生成する画像生成手段とを含む。
　本発明による画像処理方法は、２つの観測画像の各々の観測角度と２つの観測画像の各々に現れる対象物の大きさとに基づいて、２つの観測画像の各々から得られる画像であって１つまたは複数の対象物が存在する２つの対象物存在画像における対象物存在領域を変形して２つの変形画像を生成し、２つの変形画像を合成して合成画像を生成し、合成画像を用いて２つの対象物存在画像の間での対象物の変化を判定し、判定された変化を特定可能な画像を生成する。
　本発明による画像処理プログラムは、コンピュータに、２つの観測画像の各々の観測角度と２つの観測画像の各々に現れる対象物の大きさとに基づいて、２つの観測画像の各々から得られる画像であって１つまたは複数の対象物が存在する２つの対象物存在画像における対象物存在領域を変形して２つの変形画像を生成する処理と、２つの変形画像を合成して合成画像を生成し、合成画像を用いて２つの対象物存在画像の間での対象物の変化を判定し、判定された変化を特定可能な画像を生成する処理とを実行させる。
　本発明によれば、個人差に影響されることなく、２つの入力画像における差異部分を特定可能な画像を短時間で生成でき、かつ、当該画像が実際の観測画像から得られる画像からかけ離れることを排除できる。
画像処理装置の実施形態の主要な構成要素を示すブロック図である。 正解変化マップの生成方法の一例を示す説明図である。 電磁波の入射角およびレンジ方位角を説明するための説明図である。 倒れ込み量を説明するための説明図である。 膨張処理を説明するための説明図である。 対象物の変化を説明するための説明図である。 ノイズ除去処理を説明するための説明図である。 正解変化マップ生成手段の構成例を示すブロック図である。 正解変化マップ生成手段の動作を示すフローチャートである。 画像処理装置の機能を実現可能な情報処理装置の構成例を示すブロック図である。 画像処理装置の主要部を示すブロック図である。 他の画像処理装置の主要部を示すブロック図である。 さらに他の画像処理装置の主要部を示すブロック図である。 変化マップの作成方法の概念を示す説明図である。 学習済みモデルを用いて変化マップを生成する一般的なシステムの構成を示すブロック図である。
　図１は、画像処理装置の実施形態における主要な構成要素を示すブロック図である。図１に示す画像処理装置１は、対象物マップ生成手段１０と正解変化マップ生成手段２０とを含む。
　対象物マップ生成手段１０には、観測画像の組が入力される。対象物マップ生成手段１０は、観測画像の各々から、変化検出の対象である対象物が存在する対象物存在領域を含む画像（対象物存在画像）を抽出する。すなわち、対象物マップ生成手段１０は、対象物マップの組を生成する。対象物マップの組は、上述した画像ペアに相当する。なお、対象物マップ生成手段１０は、例えば、あらかじめ決められている領域を観測画像から抽出するが、観測画像から人手によって領域を抽出することも可能である。
　正解変化マップ生成手段２０には、観測画像の各々の観測角（方位角および入射角）と、対象物の大きさ（高さおよび幅）が入力される。対象物の大きさは、変化検出の対象である対象物に応じてあらかじめ定められる。
　正解変化マップ生成手段２０は、観測画像の各々の観測角と対象物の大きさとに基づいて、それぞれの対象物マップを変形する。さらに、正解変化マップ生成手段２０は、変形された対象物マップを合成して合成画像を生成することによって、２つの対象物マップの間で対象物が変化した領域を示す画像すなわち変化マップを生成する。正解変化マップ生成手段２０が生成した変化マップは、正解変化マップとして出力される。
　次に、対象物マップの生成方法および正解変化マップの生成方法の一例を説明する。以下、観測画像としてＳＡＲ画像を例にする。また、対象物として自動車を例にする。
　図２は、正解変化マップの生成方法の一例を示す説明図である。図２の上段の左側には、時刻ｔ１において、軌道Ａを通過する人工衛星１００が駐車場１２０を含む領域を撮影する様子が示されている。図２の下段の左側には、時刻ｔ１とは異なる時刻ｔ２において、軌道Ａとは異なる軌道Ｂを通過する人工衛星１００が駐車場１２０を含む領域を撮影する様子が示されている。時刻ｔ２は、時刻ｔ１よりも後の時刻である。
　図２の上段の中央には、時刻ｔ１における観測画像から得られる画像Ａ（第１の対象物マップ１１１）の一例が示されている。画像Ａには３台の自動車９１，９２，９３が存在する。図２の下段の中央には、時刻ｔ２における観測画像から得られる画像Ｂ（第２の対象物マップ１２１）の一例が示されている。画像Ｂには２台の自動車９３，９４が存在する。時刻ｔ２において、時刻ｔ１では存在した自動車９１，９２が消失している。また、時刻ｔ２において、新たな自動車９４が現われている。すなわち、時刻ｔ１と時刻ｔ２との間に、新たな自動車９４が出現した。
　なお、この例では、第１の対象物マップ１１１および第２の対象物マップ１２１は、駐車場２００の画像に相当する。
　正解変化マップ生成手段２０は、画像Ａと画像Ｂとを用いて正解変化マップ１５０を生成する。なお、正解変化マップ１５０において、実線で囲まれた楕円は、時刻ｔ１から時刻ｔ２まで変化しなかった自動車９３が存在する領域を示す。すなわち、変化がない領域を示す。黒い楕円は、新たに出現した自動車９４が存在する領域を示す。破線で囲まれた楕円は、消失した自動車９１，９２が存在している領域を示す。すなわち、黒い楕円および破線で囲まれた楕円は、変化領域を示す。
　なお、正解変化マップ１５０において、図２に例示された表現とは異なる表現で、変化領域と非変化領域とが区別可能にされてもよい。一例として、色の違いによって、変化領域と非変化領域とが区別可能にされてもよい。
　図３は、電磁波の入射角および方位角（レンジ方位角）を説明するための説明図である。図３には、軌道Ａで得られた第１の観測画像１０１と、軌道Ａとは異なる軌道Ｂで得られた第２の観測画像１０２とが示されている。第１の観測画像１０１および第２の観測画像１０２に関して、入射角θＡ，θＢは、天頂方向から人工衛星１００の方向に対する角度に相当する。レンジ方位角αＡ，αＢは、基準となる方向（例えば、北方向）に対するレンジ方向の角度に相当する。
　図４は、倒れ込みの距離（倒れ込み量）ｌＡを説明するための説明図である。対象物（この例では、自動車）の高さをｈ、電磁波の入射角をθＡとすると、倒れ込み量ｌＡは、下記の（１）式で表される。
　ｌＡ＝ｈ／ｔａｎθＡ　　　　　　　　（１）
　なお、観測画像が光学画像である場合には、太陽光の入射角をθＡとすると、倒れ込み量ｌＡは、下記の（２）式で表される。
　ｌＡ＝ｈ・ｔａｎθＡ　　　　　　　　（１）
　本実施形態では、ＳＡＲ画像を用いる場合を例にしているので、以下、画像Ａに関する倒れ込み量をｌＡとし、画像Ｂに関する倒れ込み量をｌＢ（ｌＢ＝ｈ／ｔａｎθＢ）とする。なお、光学画像が用いられる場合には、画像Ｂに関する倒れ込み量は、ｌＢ（ｌＢ＝ｈ・ｔａｎθＢ）である。
　図５は、正解変化マップ生成手段２０が実行する膨張処理を説明するための説明図である。
　図５に示すように、正解変化マップ生成手段２０は、軌道Ａで得られた第１の観測画像１０１（図３参照）に基づく画像Ａ（第１の対象物マップ１１１）に対して膨張処理を行う。本実施形態では、正解変化マップ生成手段２０は、画像Ａに現れている対象物（この例では、自動車）を、画像Ｂにおいて対応する対象物の倒れ込み方向に、画像Ｂにおける対象物の倒れ込み量に相当する長さ分膨張させる。その結果、膨張処理後の画像Ａ（対象物が膨張された第１の対象物マップ１１２）が得られる。また、正解変化マップ生成手段２０は、軌道Ｂで得られた第２の観測画像１０２（図３参照）に基づく画像Ｂ（第２の対象物マップ１２１）に対して膨張処理を行う。本実施形態では、画像Ｂに現れている対象物を、画像Ａにおいて対応する対象物の倒れ込み方向に、画像Ａにおける対象物の倒れ込み量に相当する長さ分膨張させる。その結果、膨張処理後の画像Ｂ（対象物が膨張された第２の対象物マップ１２２）が得られる。
　なお、図５に示された第１の対象物マップ１１２および第２の対象物マップ１２１において、黒領域は、膨張した領域すなわち膨張領域を示す。
　図６は、対象物の変化を説明するための説明図である。
　正解変化マップ生成手段２０は、膨張処理後の画像Ａすなわち第１の対象物マップ１１２と膨張処理後の画像Ｂすなわち第２の対象物マップ１２２とを重ね合わせる。図６には、重ね合わせ後の合成画像（変化マップ）１４０が模式的に表されている。
　なお、画像Ｂの元になる観測画像は、画像Ａの元になる観測画像よりも、時間的に後に得られたとする。
　図６において、領域［Ｆ，Ｂ］は、対象物が第１の対象物マップ１１２には存在したが第２の対象物マップ１２２には存在しない領域を示す。すなわち、領域［Ｆ，Ｂ］は、対象物が消失した領域を示す。領域［Ｆ，Ｆ］は、対象物が第１の対象物マップ１１２に存在し、かつ、第２の対象物マップ１２２に存在する領域を示す。すなわち、領域［Ｆ，Ｆ］は、変化が生じていない領域を示す。領域［Ｂ，Ｆ］は、対象物が第１の対象物マップ１１２には存在しなかったが第２の対象物マップ１２２には存在する領域を示す。すなわち、領域［Ｂ，Ｆ］は、新たに対象物が出現した領域を示す。領域［Ｂ，Ｂ］は、対象物が第１の対象物マップ１１２にも第２の対象物マップ１２２にも存在しない領域を示す。すなわち、領域［Ｂ，Ｂ］は、変化が生じていない領域を示す。
　正解変化マップ生成手段２０は、図６に例示されたような考え方に基づいて変化マップ１４０を生成する。具体的には、正解変化マップ生成手段２０は、変化領域（対象物が消失または出現した領域）と非変化領域とを区別可能な変化マップ１４０を生成する。
　図７は、ノイズ除去処理を説明するための説明図である。
　図７に示された変化マップ１４０および正解変化マップ１５０において、黒領域は、図６に例示された領域［Ｂ，Ｆ］に対応する。すなわち、黒領域は、対象物が消失した領域を示す。破線で囲まれた領域は、図６に例示された領域［Ｆ，Ｂ］に対応する。すなわち、破線で囲まれた領域は、対象物が消失した領域を示す。実線で囲まれた領域は、図６に例示された領域［Ｆ，Ｆ］または領域［Ｂ，Ｂ］に対応する。すなわち、実線で囲まれた領域は、変化が生じていない領域を示す。
　正解変化マップ生成手段２０は、変化マップ１４０にノイズ除去処理を施す。ノイズ除去処理は、対象物に比べて小さい領域をノイズと見なして除去する処理である。図７に示される例では、正解変化マップ生成手段２０は、変化マップ１４０に対してオープニング処理を施す。オープニング処理は、収縮と膨張とが組み合わされた処理である。正解変化マップ生成手段２０は、オープニング処理における収縮処理を実行するときに、対象物の大きさに応じた画素数分、対象物を収縮させる。
　なお、本実施形態では、ノイズが除去された変化マップが正解変化マップ１５０とされているが、ノイズ除去処理が施される前の変化マップ１４０を、ノイズが残存しているものの、正解変化マップとして使用してもよい。
　図８は、正解変化マップ生成手段２０の具体的な構成例を示すブロック図である。図８に示す正解変化マップ生成手段２０は、第１の倒れ込みパラメタ算出手段２１、第２の倒れ込みパラメタ算出手段２２、第１の膨張手段３１、第２の膨張手段３２、変化マップ生成手段４１および雑音除去手段５１を含む。
　第１の倒れ込みパラメタ算出手段２１には、画像Ａ（第１の対象物マップ１１１）に関するレンジ方位角および入射角と対象物の高さとが入力される。第１の倒れ込みパラメタ算出手段２１は、入射角と対象物の高さとを用いて画像Ａにおける対象物の倒れ込み量を算出する。また、第１の倒れ込みパラメタ算出手段２１は、レンジ方位角を用いて画像Ａにおける対象物の倒れ込み方向を決定する。倒れ込み方向は、レンジ方位角αＡで示される方向と同じである。第１の倒れ込みパラメタ算出手段２１は、第１の倒れ込みパラメタを第２の膨張手段３２に出力する。第１の倒れ込みパラメタは、少なくとも対象物の倒れ込み量を示すデータと対象物の倒れ込み方向を示すデータとを含む。
　第２の倒れ込みパラメタ算出手段２２には、画像Ｂ（第２の対象物マップ１２１）に関するレンジ方位角および入射角と対象物の高さとが入力される。第２の倒れ込みパラメタ算出手段２２は、入射角と対象物の高さとを用いて画像Ｂにおける対象物の倒れ込み量を算出する。また、第２の倒れ込みパラメタ算出手段２２は、レンジ方位角を用いて画像Ｂにおける対象物の倒れ込み方向を決定する。倒れ込み方向は、レンジ方位角αＢで示される方向と同じである。第２の倒れ込みパラメタ算出手段２２は、第２の倒れ込みパラメタを第１の膨張手段３１に出力する。第２の倒れ込みパラメタは、少なくとも対象物の倒れ込み量を示すデータと対象物の倒れ込み方向を示すデータとを含む。
　なお、観測画像として光学画像が用いられる場合には、第１の倒れ込みパラメタ算出手段２１は、レンジ方位角αＡ＋１８０度（または、レンジ方位角αＡ－１８０度）で示される方向を、第１の倒れ込みパラメタにおける倒れ込み方向として算出する。第２の倒れ込みパラメタ算出手段２２は、レンジ方位角αＢ＋１８０度（または、レンジ方位角αＢ－１８０度）で示される方向を、第２の倒れ込みパラメタにおける倒れ込み方向として算出する。
　第１の膨張手段３１には、画像Ａと第２の倒れ込みパラメタとが入力される。第１の膨張手段３１は、第２の倒れ込みパラメタを用いて画像Ａにおける対象物を膨張させて、対象物が膨張された画像Ａ（第１の対象物マップ１１２）を生成する。第１の膨張手段３１は、第１の対象物マップ１１２を変化マップ生成手段４１に出力する。
　第２の膨張手段３２には、画像Ｂと第１の倒れ込みパラメタとが入力される。第２の膨張手段３２は、第１の倒れ込みパラメタを用いて画像Ｂにおける対象物を膨張させて、対象物が膨張された画像Ｂ（第２の対象物マップ１２２）を生成する。第２の膨張手段３２は、第２の対象物マップ１２２を変化マップ生成手段４１に出力する。
　変化マップ生成手段４１は、第１の対象物マップ１１２と第２の対象物マップ１２２とを重ね合わせる。すなわち、変化マップ生成手段４１は、第１の対象物マップ１１２と第２の対象物マップ１２２とを合成する。そして、変化マップ生成手段４１は、第１の対象物マップ１１２における対象物と、当該対象物に対応する第２の対象物マップ１２２における対象物との変化（消失または出現）を判定する。変化マップ生成手段４１は、第１の対象物マップ１１２と第２の対象物マップ１２２とが重ね合わされた合成画像を、変化領域と非変化領域とを区別可能な画像にして、その画像を変化マップ１４０として雑音除去手段５１に出力する。
　雑音除去手段５１は、変化マップ１４０に対してオープニング処理を施し、ノイズが除去された画像を正解変化マップとして出力する。
　次に、図９のフローチャートを参照して正解変化マップ生成手段２０の動作を説明する。
　図９に示すように、対象物マップ生成手段１０（図８において図示せず）は、入力された観測画像の組におけるそれぞれの観測画像から、変化検出の対象である対象物が存在する対象物存在領域を含む画像（対象物存在画像）を抽出する。抽出された２つの対象物存在画像は、対象物マップの組を構成する（ステップＳ１１）。なお、本実施形態では、観測画像の組を構成する２つの観測画像は、例えば、異なる時刻に異なる軌道で人工衛星１００から撮影された画像に基づくＳＡＲ画像である。また、ステップＳ１１の処理で生成される対象物マップは、図５に示された第１の対象物マップ１１１と第２の対象物マップ１２１とに相当する。
　第１の倒れ込みパラメタ算出手段２１には、一方の観測画像のメタ情報が入力される。第２の倒れ込みパラメタ算出手段２２には、他方の観測画像のメタ情報が入力される。一般に、入手可能な観測画像には、撮影時刻、撮影地点（例えば、観測画像の中心の緯度や経度）、電磁波照射方向（観測方位）などのメタ情報（メタデータ）が付随している。第１の倒れ込みパラメタ算出手段２１は、一方の観測画像のメタ情報からレンジ方位角αＡおよび入射角θＡを抽出し、第２の倒れ込みパラメタ算出手段２２は、他方の観測画像のメタ情報からレンジ方位角αＢおよび入射角θＢを抽出する（ステップＳ１２）。
　なお、第１の倒れ込みパラメタ算出手段２１および第２の倒れ込みパラメタ算出手段２２がメタ情報からレンジ方位角および入射角を抽出することは必須のことではない。例えば、第１の倒れ込みパラメタ算出手段２１および第２の倒れ込みパラメタ算出手段２２以外の手段が、メタ情報からレンジ方位角および入射角を抽出してもよい。その場合、当該手段は、抽出したレンジ方位角および入射角を、第１の倒れ込みパラメタ算出手段２１および第２の倒れ込みパラメタ算出手段２２に供給する。
　また、第１の倒れ込みパラメタ算出手段２１および第２の倒れ込みパラメタ算出手段２２には、対象物の高さｈを示すデータが入力される（ステップＳ１３）。
　なお、ステップＳ１１～Ｓ１３の処理順は任意である。つまり、ステップＳ１１～Ｓ１３の処理順は、必ずしも、図９に示された順でなくてもよい。また、対象物の高さｈは、あらかじめ設定されている。例えば、対象物が自動車である場合は、一般的な自動車の高さの値、またはそれに余裕を持たせた値が、対象物の高さｈとして対象物マップ生成手段１０に入力される。
　第１の倒れ込みパラメタ算出手段２１および第２の倒れ込みパラメタ算出手段２２は、倒れ込みパラメタを算出する（ステップＳ１４）。ステップＳ１４において、第１の倒れ込みパラメタ算出手段２１は、ステップＳ１２の処理で得た入射角θＡと対象物の高さｈとを用いて上記の（１）式によって画像Ａにおける対象物の倒れ込み量ｌＡを算出する。また、第１の倒れ込みパラメタ算出手段２１は、ステップＳ１２の処理で得たレンジ方位角αＡを対象物の倒れ込み方向とする。第１の倒れ込みパラメタ算出手段２１は、得られた倒れ込み量および倒れ込み方向を第１の倒れ込みパラメタとする。なお、画像Ａに複数の対象物が存在する場合には、第１の倒れ込みパラメタ算出手段２１は、それぞれの対象物の倒れ込み量と対象物の倒れ込み方向とを決定し、それぞれの倒れ込み量と倒れ込み方向とを第１の倒れ込みパラメタに含める。
　ステップＳ１４において、第２の倒れ込みパラメタ算出手段２２は、ステップＳ１２の処理で得た入射角θＢと対象物の高さｈとを用いて上記の（１）式によって画像Ｂにおける対象物の倒れ込み量ｌＢを算出する。また、第２の倒れ込みパラメタ算出手段２２は、ステップＳ１２の処理で得たレンジ方位角αＢを対象物の倒れ込み方向とする。第２の倒れ込みパラメタ算出手段２２は、得られた倒れ込み量および倒れ込み方向を第２の倒れ込みパラメタとする。なお、画像Ｂに複数の対象物が存在する場合には、第２の倒れ込みパラメタ算出手段２２は、それぞれの対象物の倒れ込み量と対象物の倒れ込み方向とを決定し、それぞれの倒れ込み量と倒れ込み方向とを第２の倒れ込みパラメタに含める。
　なお、観測画像として光学画像が用いられる場合には、第１の倒れ込みパラメタ算出手段２１は、レンジ方位角αＡに対して１８０度の方向を、第１の倒れ込みパラメタにおける倒れ込み方向として決定する。第２の倒れ込みパラメタ算出手段２２は、レンジ方位角αＢに対して１８０度の方向を、第２の倒れ込みパラメタにおける倒れ込み方向として決定する。
　第１の膨張手段３１および第２の膨張手段３２は、対象物マップ（画像Ａまたは画像Ｂ）における対象物を膨張させる（ステップＳ１５）。ステップＳ１５において、第１の膨張手段３１は、画像Ａにおける対象物を、第２の倒れ込みパラメタに含まれる倒れ込み方向に、倒れ込み量ｌＢだけ膨張させる。また、第２の膨張手段３２は、画像Ｂにおける対象物を、第１の倒れ込みパラメタに含まれる倒れ込み方向に、倒れ込み量ｌＡだけ膨張させる。
　変化マップ生成手段４１は、対象物が膨張した画像Ａ（第１の対象物マップ１１２：図５参照）と対象物が膨張した画像Ｂ（第２の対象物マップ１２２：図５参照）とを重ね合わせる（ステップＳ１６）。
　変化マップ生成手段４１は、ステップＳ１６の処理で作成された合成画像における対象物の重なり具合に基づいて、対象物が変化した否か判定する。例えば、変化マップ生成手段４１は、第１の対象物マップ１１２と第２の対象物マップ１２２とを画素ごとに（画素単位で）比較することにとって、対象物が変化した否か判定する。そして、変化マップ生成手段４１は、図６に例示されたように、画像Ａには存在したが画像Ｂには存在しない対象物を、消失した対象物（変化した対象物）であると判定する。また、変化マップ生成手段４１は、画像Ａには存在しなかったが画像Ｂには存在する対象物を、新たに出現した対象物（変化した対象物）であると判定する。変化マップ生成手段４１は、その他の対象物を、変化しない対象物であると判定する。
　変化マップ生成手段４１は、ステップＳ１６の処理で作成された合成画像に、変化したか否かの判定結果を反映して、変化マップ１４０（図７参照）を生成する（ステップＳ１７）。
　雑音除去手段５１には、対象物の幅を示すデータが入力される（ステップＳ１８）。対象物の幅は、あらかじめ設定されている。例えば、対象物が自動車である場合は、一般的な自動車の幅の値、またはそれに余裕を持たせた値が、対象物の幅として雑音除去手段５１に入力される。なお、ステップＳ１８の処理が図９に示されたタイミングで実行されなくてもよい。すなわち、対象物の幅は、ステップＳ１９の処理の実行が開始されるまでに入力されていればよい。
　雑音除去手段５１は、変化マップ１４０に対してオープニング処理を施し、ノイズが除去された画像を正解変化マップとして出力する（ステップＳ１９）。ステップＳ１９の処理において、雑音除去手段５１は、オープニング処理における収縮処理で、対象物の大きさ（具体的には、幅）に応じた画素数だけ対象物を収縮させる。なお、収縮される画素数は、対象物の大きさに応じてあらかじめ決められる。すなわち、対象物ではないと判定されるべき画素の集まりが除去可能な数に設定される。一例として、対象物の最大幅が３画素である場合、雑音除去手段５１は、３画素未満すなわち２画素以下のサイズのブロックが取り除かれるように、オープニング処理で２回の収縮処理を実行する。
　以上に説明したように、本実施形態の画像処理装置は、機械学習の訓練データとして用いられる正解としての変化マップを、実際の観測画像を元に生成する。よって、人手で変化マップを作成する場合のように個人差に影響されることなく、変化マップを短時間で生成できる。また、変化マップが実際の観測画像から得られる画像からかけ離れることを排除できる。
　また、画像処理装置は、上述したように、第１の対象物マップ１１１における対象物存在領域を、第２の対象物マップ１２１における対象物の倒れ込みの方位と倒れ込み量に従って膨張させ、第２の対象物マップ１２１における対象物存在領域を、第１の対象物マップ１１１における対象物の倒れ込みの方位と倒れ込み量に従って膨張させるように構成されていることが好ましい。そのように構成されている場合には、観測方向が異なる２つの対象物マップのうちの一方の対象物マップにおける対象物の見え方に、他方の対象物マップにおける対象物の見え方を近づけることができる。よって、第１の対象物マップ１１１と第２の対象物マップ１２１との合成画像を用いた対象物存在領域の変化／非変化の検出の精度が向上する。
　また、画像処理装置は、上述したように、合成画像において、対象物の幅に基づいて決定される所定値よりも小さいサイズの領域を除去するように構成されていることが好ましい。そのように構成されている場合には、合成画像において、小さいサイズの領域が変化領域であると判定されているときに、最終的に得られる変化マップ（正解変化マップとして用いられる変化マップ）が、対象物以外の変化領域を含まないマップになる。よって、正解変化マップの信頼性を高くすることができる。
　上記の実施形態の画像処理装置を、ハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。
　図１０は、上記の実施形態の画像処理装置の機能を実現可能な情報処理装置の構成例を示すブロック図である。図１０に示す情報処理装置は、１つまたは複数のＣＰＵ（Central Processing Unit ）などのプロセッサ、プログラムメモリ１００２およびメモリ１００３を含む。図１０には、１つのプロセッサ１００１を有する情報処理装置が例示されている。
　プログラムメモリ１００２は、例えば、非一時的なコンピュータ可読媒体（non-transitory computer readable medium ）である。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium ）を含む。例えば、プログラムメモリ１００２として、フラッシュＲＯＭ（Read Only Memory）などの半導体記憶媒体やハードディスク等の磁気記憶媒体が使用可能である。プログラムメモリ１００２は、上記の実施形態の画像処理装置における各ブロック（対象物マップ生成手段１０、正解変化マップ生成手段２０、第１の倒れ込みパラメタ算出手段２１、第２の倒れ込みパラメタ算出手段２２、第１の膨張手段３１、第２の膨張手段３２、変化マップ生成手段４１、雑音除去手段５１）の機能を実現するための画像処理プログラムが格納される。
　プロセッサ１００１は、プログラムメモリ１００２に格納されている画像処理プログラムに従って処理を実行することによって、画像処理装置の機能を実現する。複数のプロセッサが搭載されている場合には、複数のプロセッサが共働して画像処理装置の機能を実現することもできる。
　メモリ１００３として、例えば、ＲＡＭ（Random Access Memory）が使用可能である。メモリ１００３には、画像処理装置が処理を実行しているときに発生する一時的なデータなどが記憶される。メモリ１００３に画像処理プログラムが転送され、プロセッサ１００１がメモリ１００３内の画像処理プログラムに基づいて処理を実行するような形態も想定しうる。なお、プログラムメモリ１００２とメモリ１００３とは、一体であってもよい。
　図１１は、画像処理装置の主要部を示すブロック図である。図１１に示す画像処理装置６０は、２つの観測画像の各々の観測角度（例えば、レンジ方位角および入射角）と２つの観測画像の各々に現れる対象物の大きさ（例えば、対象物の高さ）とに基づいて、２つの観測画像の各々から得られる画像であって１つまたは複数の対象物が存在する２つの対象物存在画像（例えば、第１の対象物マップ１１１と第２の対象物マップ１２１）における対象物存在領域を変形して２つの変形画像（例えば、第１の対象物マップ１１２と第２の対象物マップ１２２）を生成する画像変形部（画像変形手段）６１（実施形態では、第１の膨張手段３１および第２の膨張手段３２で実現される。）と、２つの変形画像を合成して合成画像を生成し、合成画像を用いて２つの対象物存在画像の間での対象物の変化を判定し、判定された変化を特定可能な画像（例えば、変化マップ１４０）を生成する画像生成部（画像生成手段）６２（実施形態では、変化マップ生成手段４１で実現される。）とを備えている。
　図１２に示すように、画像処理装置６０は、２つの観測画像のメタデータに含まれる観測角度と対象物の高さとを用いて倒れ込み量を算出する倒れ込みパラメタ決定部（倒れ込みパラメタ決定手段）６３（実施形態では、第１の倒れ込みパラメタ算出手段２１および第２の倒れ込みパラメタ算出手段２２で実現される。）をさらに備えていてもよい。
　図１３に示すように、画像処理装置６０は、対象物の幅に基づいて決定される所定値よりも小さいサイズの領域を除去する除去部（除去手段）６４（実施形態では、雑音除去手段５１で実現される。）をさらに備えていてもよい。
　上記の実施形態の一部または全部は、以下の付記のようにも記載され得るが、本発明は、以下の構成に限定されるわけではない。
（付記１）２つの観測画像の各々の観測角度と前記２つの観測画像の各々に現れる対象物の大きさとに基づいて、前記２つの観測画像の各々から得られる画像であって１つまたは複数の対象物が存在する２つの対象物存在画像における対象物存在領域を変形して２つの変形画像を生成する画像変形手段と、
　前記２つの変形画像を合成して合成画像を生成し、前記合成画像を用いて前記２つの対象物存在画像の間での対象物の変化を判定し、判定された変化を特定可能な画像を生成する画像生成手段と
　を備えた画像処理装置。
（付記２）前記画像変形手段は、前記２つの対象物存在画像の各々において、前記対象物存在領域を所定量膨張させる
　付記１の画像処理装置。
（付記３）前記画像変形手段は、前記２つの対象物存在画像のうちの第１の対象物存在画像における前記対象物存在領域を、前記２つの対象物存在画像のうちの第２の対象物存在画像における対象物の倒れ込みの方位と倒れ込み量に従って膨張させ、前記第２の対象物存在画像における前記対象物存在領域を、前記第１の対象物存在画像における対象物の倒れ込みの方位と倒れ込み量に従って膨張させる
　付記２の画像処理装置。
（付記４）前記２つの観測画像のメタデータに含まれる観測角度と対象物の高さとを用いて前記倒れ込み量を算出し、観測画像のメタデータに含まれる観測方位に基づいて倒れ込みの方位を決定する倒れ込みパラメタ決定手段をさらに備えた
　付記３の画像処理装置。
（付記５）対象物の幅に基づいて決定される所定値よりも小さいサイズの領域を除去する除去手段をさらに備えた
　付記１から付記４のうちのいずれかの画像処理装置。
（付記６）２つの観測画像の各々の観測角度と前記２つの観測画像の各々に現れる対象物の大きさとに基づいて、前記２つの観測画像の各々から得られる画像であって１つまたは複数の対象物が存在する２つの対象物存在画像における対象物存在領域を変形して２つの変形画像を生成し、
　前記２つの変形画像を合成して合成画像を生成し、前記合成画像を用いて前記２つの対象物存在画像の間での対象物の変化を判定し、判定された変化を特定可能な画像を生成する
　画像処理方法。
（付記７）前記２つの対象物存在画像の各々において、前記対象物存在領域を所定量膨張させる
　付記６の画像処理方法。
（付記８）前記２つの対象物存在画像のうちの第１の対象物存在画像における前記対象物存在領域を、前記２つの対象物存在画像のうちの第２の対象物存在画像における対象物の倒れ込みの方位と倒れ込み量に従って膨張させ、前記第２の対象物存在画像における前記対象物存在領域を、前記第１の対象物存在画像における対象物の倒れ込みの方位と倒れ込み量に従って膨張させる
　付記７の画像処理方法。
（付記９）対象物の幅に基づいて決定される所定値よりも小さいサイズの領域を除去する
　付記６から付記８のうちのいずれかの画像処理方法。
（付記１０）画像処理プログラムが格納されたコンピュータ読み取り可能な記録媒体であって、
　前記画像処理プログラムは、コンピュータに、
　２つの観測画像の各々の観測角度と前記２つの観測画像の各々に現れる対象物の大きさとに基づいて、前記２つの観測画像の各々から得られる画像であって１つまたは複数の対象物が存在する２つの対象物存在画像における対象物存在領域を変形して２つの変形画像を生成する処理と、
　前記２つの変形画像を合成して合成画像を生成し、前記合成画像を用いて前記２つの対象物存在画像の間での対象物の変化を判定し、判定された変化を特定可能な画像を生成する処理とを実行させる
　記録媒体。
（付記１１）前記画像処理プログラムは、コンピュータに、
　前記２つの対象物存在画像の各々において、前記対象物存在領域を所定量膨張させる処理を実行させる
　付記１０の記録媒体。
（付記１２）前記画像処理プログラムは、コンピュータに、
　前記２つの対象物存在画像のうちの第１の対象物存在画像における前記対象物存在領域を、前記２つの対象物存在画像のうちの第２の対象物存在画像における対象物の倒れ込みの方位と倒れ込み量に従って膨張させ、前記第２の対象物存在画像における前記対象物存在領域を、前記第１の対象物存在画像における対象物の倒れ込みの方位と倒れ込み量に従って膨張させる処理を実行させる
　付記１１の記録媒体。
（付記１３）前記画像処理プログラムは、コンピュータに、
　対象物の幅に基づいて決定される所定値よりも小さいサイズの領域を除去する処理を実行させる
　付記１０から付記１２のうちのいずれかの記録媒体。
（付記１４）コンピュータに、
　２つの観測画像の各々の観測角度と前記２つの観測画像の各々に現れる対象物の大きさとに基づいて、前記２つの観測画像の各々から得られる画像であって１つまたは複数の対象物が存在する２つの対象物存在画像における対象物存在領域を変形して２つの変形画像を生成する処理と、
　前記２つの変形画像を合成して合成画像を生成し、前記合成画像を用いて前記２つの対象物存在画像の間での対象物の変化を判定し、判定された変化を特定可能な画像を生成する処理と
　を実行させるための画像処理プログラム。
（付記１５）コンピュータに、
　前記２つの対象物存在画像の各々において、前記対象物存在領域を所定量膨張させる処理を実行させる
　付記１４の画像処理プログラム。
（付記１６）コンピュータに、
　前記２つの対象物存在画像のうちの第１の対象物存在画像における前記対象物存在領域を、前記２つの対象物存在画像のうちの第２の対象物存在画像における対象物の倒れ込みの方位と倒れ込み量に従って膨張させ、前記第２の対象物存在画像における前記対象物存在領域を、前記第１の対象物存在画像における対象物の倒れ込みの方位と倒れ込み量に従って膨張させる処理を実行させる
　付記１５の画像処理プログラム。
（付記１７）コンピュータに、
　対象物の幅に基づいて決定される所定値よりも小さいサイズの領域を除去する処理を実行させる
　付記１４から付記１６のうちのいずれかの画像処理プログラム。
（付記１８）付記６から付記９のうちのいずれかの画像処理方法を実現するための画像処理プログラム。
　以上、実施形態を参照して本願発明を説明したが、本願発明は上記の実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　１　　　　画像処理装置
　１０　　　対象物マップ生成手段
　２０　　　正解変化マップ生成手段
　２１　　　第１の倒れ込みパラメタ算出手段
　２２　　　第２の倒れ込みパラメタ算出手段
　３１　　　第１の膨張手段
　３２　　　第２の膨張手段
　４１　　　変化マップ生成手段
　５１　　　雑音除去手段
　６０　　　画像処理装置
　６１　　　画像変形部
　６２　　　画像生成部
　６３　　　倒れ込みパラメタ決定部
　６４　　　除去部
　１００　　人工衛星
　１００１　プロセッサ
　１００２　プログラムメモリ
　１００３　メモリ

Claims (13)

  1. 　２つの観測画像の各々の観測角度と前記２つの観測画像の各々に現れる対象物の大きさとに基づいて、前記２つの観測画像の各々から得られる画像であって１つまたは複数の対象物が存在する２つの対象物存在画像における対象物存在領域を変形して２つの変形画像を生成する画像変形手段と、
    　前記２つの変形画像を合成して合成画像を生成し、前記合成画像を用いて前記２つの対象物存在画像の間での対象物の変化を判定し、判定された変化を特定可能な画像を生成する画像生成手段と
    　を備えた画像処理装置。
  2. 　前記画像変形手段は、前記２つの対象物存在画像の各々において、前記対象物存在領域を所定量膨張させる
    　請求項１記載の画像処理装置。
  3. 　前記画像変形手段は、前記２つの対象物存在画像のうちの第１の対象物存在画像における前記対象物存在領域を、前記２つの対象物存在画像のうちの第２の対象物存在画像における対象物の倒れ込みの方位と倒れ込み量に従って膨張させ、前記第２の対象物存在画像における前記対象物存在領域を、前記第１の対象物存在画像における対象物の倒れ込みの方位と倒れ込み量に従って膨張させる
    　請求項２記載の画像処理装置。
  4. 　前記２つの観測画像のメタデータに含まれる観測角度と対象物の高さとを用いて前記倒れ込み量を算出し、観測画像のメタデータに含まれる観測方位に基づいて倒れ込みの方位を決定する倒れ込みパラメタ決定手段をさらに備えた
    　請求項３記載の画像処理装置。
  5. 　対象物の幅に基づいて決定される所定値よりも小さいサイズの領域を除去する除去手段をさらに備えた
    　請求項１から請求項４のうちのいずれか１項に記載の画像処理装置。
  6. 　２つの観測画像の各々の観測角度と前記２つの観測画像の各々に現れる対象物の大きさとに基づいて、前記２つの観測画像の各々から得られる画像であって１つまたは複数の対象物が存在する２つの対象物存在画像における対象物存在領域を変形して２つの変形画像を生成し、
    　前記２つの変形画像を合成して合成画像を生成し、前記合成画像を用いて前記２つの対象物存在画像の間での対象物の変化を判定し、判定された変化を特定可能な画像を生成する
    　画像処理方法。
  7. 　前記２つの対象物存在画像の各々において、前記対象物存在領域を所定量膨張させる
    　請求項６記載の画像処理方法。
  8. 　前記２つの対象物存在画像のうちの第１の対象物存在画像における前記対象物存在領域を、前記２つの対象物存在画像のうちの第２の対象物存在画像における対象物の倒れ込みの方位と倒れ込み量に従って膨張させ、前記第２の対象物存在画像における前記対象物存在領域を、前記第１の対象物存在画像における対象物の倒れ込みの方位と倒れ込み量に従って膨張させる
    　請求項７記載の画像処理方法。
  9. 　対象物の幅に基づいて決定される所定値よりも小さいサイズの領域を除去する
    　請求項６から請求項８のうちのいずれか１項に記載の画像処理方法。
  10. 　画像処理プログラムが格納されたコンピュータ読み取り可能な記録媒体であって、
    　前記画像処理プログラムは、コンピュータに、
    　２つの観測画像の各々の観測角度と前記２つの観測画像の各々に現れる対象物の大きさとに基づいて、前記２つの観測画像の各々から得られる画像であって１つまたは複数の対象物が存在する２つの対象物存在画像における対象物存在領域を変形して２つの変形画像を生成する処理と、
    　前記２つの変形画像を合成して合成画像を生成し、前記合成画像を用いて前記２つの対象物存在画像の間での対象物の変化を判定し、判定された変化を特定可能な画像を生成する処理とを実行させる
    　記録媒体。
  11. 　前記画像処理プログラムは、コンピュータに、
    　前記２つの対象物存在画像の各々において、前記対象物存在領域を所定量膨張させる処理を実行させる
    　請求項１０記載の記録媒体。
  12. 　前記画像処理プログラムは、コンピュータに、
    　前記２つの対象物存在画像のうちの第１の対象物存在画像における前記対象物存在領域を、前記２つの対象物存在画像のうちの第２の対象物存在画像における対象物の倒れ込みの方位と倒れ込み量に従って膨張させ、前記第２の対象物存在画像における前記対象物存在領域を、前記第１の対象物存在画像における対象物の倒れ込みの方位と倒れ込み量に従って膨張させる処理を実行させる
    　請求項１１記載の記録媒体。
  13. 　前記画像処理プログラムは、コンピュータに、
    　対象物の幅に基づいて決定される所定値よりも小さいサイズの領域を除去する処理を実行させる
    　請求項１０から請求項１２のうちのいずれか１項に記載の記録媒体。
PCT/JP2020/028065 2020-07-20 2020-07-20 画像処理装置および画像処理方法 Ceased WO2022018791A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2022538501A JP7501637B2 (ja) 2020-07-20 2020-07-20 画像処理装置および画像処理方法
US18/015,886 US20230245287A1 (en) 2020-07-20 2020-07-20 Image processing device and image processing method
EP20946445.2A EP4184209A4 (en) 2020-07-20 2020-07-20 IMAGE PROCESSING DEVICE AND IMAGE PROCESSING METHOD
PCT/JP2020/028065 WO2022018791A1 (ja) 2020-07-20 2020-07-20 画像処理装置および画像処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/028065 WO2022018791A1 (ja) 2020-07-20 2020-07-20 画像処理装置および画像処理方法

Publications (1)

Publication Number Publication Date
WO2022018791A1 true WO2022018791A1 (ja) 2022-01-27

Family

ID=79728581

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/028065 Ceased WO2022018791A1 (ja) 2020-07-20 2020-07-20 画像処理装置および画像処理方法

Country Status (4)

Country Link
US (1) US20230245287A1 (ja)
EP (1) EP4184209A4 (ja)
JP (1) JP7501637B2 (ja)
WO (1) WO2022018791A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024142804A1 (ja) * 2022-12-28 2024-07-04 日本電気株式会社 情報処理装置、検出装置、情報処理方法、および記録媒体
WO2025058056A1 (ja) * 2023-09-15 2025-03-20 住友電気工業株式会社 情報処理装置、情報生成方法、及びコンピュータプログラム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0772244A (ja) * 1993-06-14 1995-03-17 Nec Corp 干渉型合成開口レーダ装置および地形変動観測方式
JP2000275338A (ja) * 1999-03-25 2000-10-06 Mitsubishi Electric Corp 目標識別装置および目標識別方法
JP2003044996A (ja) * 2001-07-31 2003-02-14 Matsushita Electric Ind Co Ltd 障害物検出装置
JP2010278963A (ja) * 2009-06-01 2010-12-09 Tokyo Gas Co Ltd 監視システム用の画像処理プログラム、画像処理装置、及び画像処理方法
JP2014164579A (ja) * 2013-02-26 2014-09-08 Oki Electric Ind Co Ltd 情報処理装置、プログラム及び情報処理方法
JP2016057092A (ja) * 2014-09-05 2016-04-21 国立研究開発法人情報通信研究機構 Ｓａｒ図からの立体地形図形成方法
WO2017126547A1 (ja) * 2016-01-22 2017-07-27 日本電気株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP2018194404A (ja) 2017-05-16 2018-12-06 株式会社パスコ 機械学習方法、及び地表変動判定方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE9900692L (sv) * 1999-02-26 2000-03-27 Foersvarets Forskningsanstalt Sätt att med en SAR-radar detektera objekt som förändrar sig med tiden
US8243997B2 (en) * 2008-10-16 2012-08-14 The Curators Of The University Of Missouri Detecting geographic-area change using high-resolution, remotely sensed imagery
US9146312B1 (en) * 2011-05-25 2015-09-29 Sandia Corporation Pre-processing SAR image stream to facilitate compression for transport on bandwidth-limited-link
WO2014171988A2 (en) * 2013-01-29 2014-10-23 Andrew Robert Korb Methods for analyzing and compressing multiple images
US9405974B2 (en) * 2013-11-13 2016-08-02 Xerox Corporation System and method for using apparent size and orientation of an object to improve video-based tracking in regularized environments
JP6349937B2 (ja) * 2014-05-09 2018-07-04 日本電気株式会社 変動検出装置、変動検出方法および変動検出用プログラム
US10032077B1 (en) * 2015-10-29 2018-07-24 National Technology & Engineering Solutions Of Sandia, Llc Vehicle track identification in synthetic aperture radar images
US10839211B2 (en) * 2017-08-08 2020-11-17 Spaceknow Inc. Systems, methods and computer program products for multi-resolution multi-spectral deep learning based change detection for satellite images
US10553020B1 (en) * 2018-03-20 2020-02-04 Ratheon Company Shadow mask generation using elevation data
US11280911B2 (en) * 2018-09-28 2022-03-22 Echo Ridge, Llc System and method for synthetic aperture based position, navigation, and timing
US10852421B1 (en) * 2019-01-24 2020-12-01 Descartes Labs, Inc. Sparse phase unwrapping
US11094114B2 (en) * 2019-02-08 2021-08-17 Ursa Space Systems Inc. Satellite SAR artifact suppression for enhanced three-dimensional feature extraction, change detection, and visualizations
CN110058236B (zh) * 2019-05-21 2023-04-07 中南大学 一种面向三维地表形变估计的InSAR和GNSS定权方法
US11333753B2 (en) * 2019-10-14 2022-05-17 The Boeing Company Stripmap synthetic aperture radar (SAR) system utilizing direct matching and registration in range profile space
EP3896482B1 (en) * 2020-04-15 2024-08-14 Deutsches Zentrum für Luft- und Raumfahrt e.V. Method for the computer-implemented generation of a synthetic data set for training a convolutional neural network for an interferometric sar

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0772244A (ja) * 1993-06-14 1995-03-17 Nec Corp 干渉型合成開口レーダ装置および地形変動観測方式
JP2000275338A (ja) * 1999-03-25 2000-10-06 Mitsubishi Electric Corp 目標識別装置および目標識別方法
JP2003044996A (ja) * 2001-07-31 2003-02-14 Matsushita Electric Ind Co Ltd 障害物検出装置
JP2010278963A (ja) * 2009-06-01 2010-12-09 Tokyo Gas Co Ltd 監視システム用の画像処理プログラム、画像処理装置、及び画像処理方法
JP2014164579A (ja) * 2013-02-26 2014-09-08 Oki Electric Ind Co Ltd 情報処理装置、プログラム及び情報処理方法
JP2016057092A (ja) * 2014-09-05 2016-04-21 国立研究開発法人情報通信研究機構 Ｓａｒ図からの立体地形図形成方法
WO2017126547A1 (ja) * 2016-01-22 2017-07-27 日本電気株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP2018194404A (ja) 2017-05-16 2018-12-06 株式会社パスコ 機械学習方法、及び地表変動判定方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BRUZZONE, L ET AL.: "A novel framework for the design of change-detection systems for very- High-resolution remote sensing images", PROCEEDINGS OF THE IEEE, vol. 101, no. 3, March 2013 (2013-03-01), pages 609 - 630, XP011494139, DOI: 10.1109/JPROC.2012.2197169 *
M. A. LEBEDEV ET AL.: "CHANGE DETECTION IN REMOTE SENSING IMAGES USING CONDITIONAL ADVERSARIAL NETWORKS", THE INTERNATIONAL ARCHIVES OF THE PHOTOGRAMMETRY, REMOTE SENSING AND SPATIAL INFORMATION SCIENCES, vol. XLII-2, 2018

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024142804A1 (ja) * 2022-12-28 2024-07-04 日本電気株式会社 情報処理装置、検出装置、情報処理方法、および記録媒体
JPWO2024142804A1 (ja) * 2022-12-28 2024-07-04
JP7845509B2 (ja) 2022-12-28 2026-04-14 日本電気株式会社 情報処理装置、検出装置、情報処理方法、およびプログラム
WO2025058056A1 (ja) * 2023-09-15 2025-03-20 住友電気工業株式会社 情報処理装置、情報生成方法、及びコンピュータプログラム

Also Published As

Publication number Publication date
US20230245287A1 (en) 2023-08-03
JP7501637B2 (ja) 2024-06-18
EP4184209A4 (en) 2023-08-09
EP4184209A1 (en) 2023-05-24
JPWO2022018791A1 (ja) 2022-01-27

Similar Documents

Publication Publication Date Title
US10692002B1 (en) Learning method and learning device of pedestrian detector for robust surveillance based on image analysis by using GAN and testing method and testing device using the same
KR102203135B1 (ko) 드론을 이용한 인공지능 기반 재난 피해정보 탐지 방법 및 시스템
CA3115188C (en) Apparatus and method for providing application service using satellite image
CN112949549A (zh) 一种基于超分辨率的多分辨率遥感影像的变化检测方法
US10387752B1 (en) Learning method and learning device for object detector with hardware optimization based on CNN for detection at distance or military purpose using image concatenation, and testing method and testing device using the same
JPWO2008016153A1 (ja) 災害対策支援方法
EP3731143B1 (en) Method and device for economizing computing resources to be used during a process of verification of convolutional parameters using test pattern
JP7719426B2 (ja) 地球表面状況把握方法、地球表面状況把握装置、および地球表面状況把握プログラム
WO2022018791A1 (ja) 画像処理装置および画像処理方法
CN113743346A (zh) 图像识别方法、装置、电子设备及存储介质
US11663801B2 (en) Method for determining search region using region information and object information and system performing the same
US10769768B1 (en) Apparatus and method for providing application service using satellite image
JP7652250B2 (ja) 画像処理装置および画像処理方法
CN114563785A (zh) 基于相位梯度的地表形变探测方法、装置、设备及介质
JP7784865B2 (ja) 変位抽出装置、変位抽出システム、変位抽出方法およびコンピュータプログラム
CN118501812A (zh) 火源的定位方法、定位装置和电子设备
JP7388595B2 (ja) 画像拡張装置、制御方法、及びプログラム
Cerra et al. Towards Early Warning for Damages to Cultural Heritage Sites: The Case of Palmyra
CN116469014A (zh) 基于优化Mask R-CNN的小样本卫星雷达图像帆板识别和分割方法
Kim et al. Automated georeferencing of historic aerial photography
Song et al. Attention-based DeepMoon for Crater detection
Palgen Applicability of pattern recognition techniques to the analysis of urban quality from satellites
Loerch Improving Disaster Response with Aerial Imagery Through Uas-Based Image Acquisition and Analysis, Artificial Intelligence, and Timeliness Assessment
RU2818049C2 (ru) Способ корректировки цифровой модели высот (варианты)
JP7738521B2 (ja) 地上基準点生成装置、画像処理システム、地上基準点生成方法、画像処理方法、地上基準点生成プログラム、および画像処理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20946445

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022538501

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020946445

Country of ref document: EP

Effective date: 20230220

WWW Wipo information: withdrawn in national office

Ref document number: 2020946445

Country of ref document: EP