WO2012137621A1 - 画像処理方法及び装置 - Google Patents

画像処理方法及び装置 Download PDF

Info

Publication number
WO2012137621A1
WO2012137621A1 PCT/JP2012/057874 JP2012057874W WO2012137621A1 WO 2012137621 A1 WO2012137621 A1 WO 2012137621A1 JP 2012057874 W JP2012057874 W JP 2012057874W WO 2012137621 A1 WO2012137621 A1 WO 2012137621A1
Authority
WO
WIPO (PCT)
Prior art keywords
point
points
unit
corresponding point
moving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2012/057874
Other languages
English (en)
French (fr)
Inventor
恒史 遠藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to CN201280017498.1A priority Critical patent/CN103460248B/zh
Priority to JP2013508815A priority patent/JP5457606B2/ja
Publication of WO2012137621A1 publication Critical patent/WO2012137621A1/ja
Priority to US14/046,432 priority patent/US20140037212A1/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection

Definitions

  • the present invention relates to an image processing method and apparatus for detecting a motion of a subject from a change in position of a feature point between a plurality of image frames.
  • a reference frame (hereinafter referred to as a reference frame), and each feature point is supported from an image frame (hereinafter referred to as a tracking frame) continuous in time series with the reference frame.
  • the corresponding points are extracted, and the motion of the subject corresponding to the image having the feature points is detected by the motion vector connecting them.
  • the subject corresponding to the image having each feature point is a stationary object. If there is a motion vector having a different movement amount or direction with respect to the motion vector corresponding to the stationary object, it can be estimated that the subject corresponding to the motion vector is a moving object.
  • corresponding points are performed by pattern matching using luminance values and the like. For this reason, if there is another region having a similar feature near the region that has become a feature point, the other region may be erroneously extracted as a corresponding point (so-called erroneous correspondence). When such an incorrect response occurs, a stationary object is detected as a moving object, so that the detection accuracy of the movement of the subject is lowered.
  • the motion estimation device described in Patent Document 1 uses pattern information such as edge distribution around feature points as feature amounts, obtains each feature amount from the feature point and other feature points around the feature point, and obtains the obtained feature amount. It is determined from the obtained feature amount whether the feature point is likely to be erroneously handled. Then, by eliminating feature points that are likely to be mishandled, occurrence of miscorrespondence and a decrease in motion detection accuracy caused by the occurrence of miscorrespondence are prevented.
  • an erroneous response is likely to occur in an image of a shooting scene in which regions having similar characteristics appear repeatedly (hereinafter referred to as a shooting pattern having a repeated pattern).
  • a shooting pattern having a repeated pattern For example, in a building where windows having the same shape are regularly arranged, feature points and their surrounding patterns are often similar, so that even if the surrounding pattern information is used as in Patent Document 1, erroneous correspondence can be prevented. There is a problem that you can not.
  • the present invention prevents occurrence of erroneous correspondence even in the case of a repetitive pattern shooting scene, and appropriately determines whether the movement of corresponding points is caused by subject movement or incorrect correspondence. It is an object of the present invention to provide an image processing method and apparatus for discriminating between the two.
  • the image processing apparatus of the present invention includes a feature point extracting unit, a corresponding point extracting unit, a motion calculating unit, a moving point calculating unit, and a classification determining unit.
  • the feature point extraction unit extracts a plurality of feature points in the reference frame.
  • the corresponding point extraction unit extracts corresponding points corresponding to the feature points in a tracking frame that is continuous in time series with the reference frame.
  • the motion calculation unit calculates the motion of the entire tracking frame with respect to the reference frame based on the motion vector from the feature point toward the corresponding point.
  • the moving point calculation unit calculates an inverse transformation vector of the motion of the entire screen starting from the corresponding point, and calculates the position of the end point of the inverse transformation vector as the movement point.
  • the classification determination unit determines whether or not the position of the moving point is within a predetermined range with respect to the position of the feature point. If it is within the predetermined range, the corresponding point is classified as a stationary point. If it is not within the predetermined range, the correlation between the feature point and the moving point or the correlation between the corresponding point and the moving point is determined. When the correlation is high, the corresponding points are classified as miscorresponding, and when the correlation is low, the corresponding points are classified as moving object points.
  • a corresponding point adding unit that adds a corresponding point based on a motion vector along the motion of the entire screen from the feature point of the corresponding point when the corresponding point is classified as an incorrect response.
  • the corresponding point set generation unit extracts corresponding points from each of the plurality of tracking frames, and collects the corresponding points as corresponding point sets when the corresponding points are classified as moving object points.
  • the normalizing unit normalizes the motion vector of each corresponding point included in the corresponding point set to a size per unit time.
  • the incorrect correspondence determination unit checks whether the distance between the corresponding points after normalization is equal to or smaller than a predetermined value, and determines that the correspondence between the corresponding points included in the corresponding point set is correct when the distance is equal to or smaller than the predetermined value. To do. On the other hand, when the value is equal to or greater than the predetermined value, it is determined that each corresponding point included in the corresponding point set has an incorrect correspondence.
  • a subject tracking unit that tracks the subject by determining the direction of motion of the subject from the direction of the motion vector is provided.
  • an area dividing unit that divides the frame into a motion area and a still processing area based on the size of the motion vector, and performs image processing according to the type of the area.
  • the image processing method of the present invention includes a feature point extraction step, a corresponding point extraction step, a motion calculation step, a movement point calculation step, and a classification step.
  • the feature point extraction step extracts a plurality of feature points from the reference frame.
  • corresponding points corresponding to the feature points are extracted from the tracking frame that is continuous in time series with the reference frame.
  • the motion calculation step the motion of the entire tracking frame with respect to the reference frame is calculated based on a motion vector from the feature point toward the corresponding point.
  • an inverse transformation vector of the motion of the entire screen starting from the corresponding point is obtained, and the position of the end point of the inverse transformation vector is calculated as the movement point.
  • the classification step determines whether or not the position of the moving point is within a predetermined range with respect to the position of the feature point. If it is within the predetermined range, the corresponding point is classified as a stationary point. If it is not within the predetermined range, the correlation between the feature point and the moving point or the correlation between the corresponding point and the moving point is determined. When the correlation is high, the corresponding points are classified as incorrect correspondence, and when the correlation is low, the corresponding points are classified as moving object points.
  • the position of the moving point is within a predetermined range with respect to the position of the feature point. If it is within the predetermined range, the corresponding point is classified as a stationary point. If it is not within the predetermined range, the correlation between the feature point and the moving point or the correlation between the corresponding point and the moving point is determined. When this correlation is high, the corresponding points are classified as miscorresponding, and when the correlation is low, the corresponding points are classified as moving object points. As a result, even in the case of a repetitive pattern shooting scene, it is possible to prevent the occurrence of an incorrect response, and whether the movement of the corresponding point is caused by the movement of the subject or the incorrect response. Can be properly determined.
  • the image processing apparatus 2 includes a control unit 10, a storage unit 11, an image input unit 12, a feature point extraction unit 13, a corresponding point extraction unit 14, a motion calculation unit 15, and a movement.
  • a point calculation unit 16, a classification determination unit 17, and an output unit 18 are provided. These units are connected to each other via a bus 20.
  • the storage unit 11 stores various programs and data necessary for control of the image processing apparatus 2 and temporarily stores data generated in the control process.
  • the control unit 10 reads out various programs from the storage unit 11 and sequentially processes them to control each unit of the image processing apparatus 2 in an integrated manner.
  • the image input unit 12 inputs a reference frame (reference frame) 4 and a frame (tracking frame) 6 chronologically continuous with the reference frame 4 from the outside via a network or a recording medium. Interface. These continuous frames are stored in the storage unit 11 via the image input unit 12.
  • the reference frame 4 and the tracking frame 6 are, for example, two still images taken continuously or two continuous field images in a moving image. Then, the image processing apparatus 2 performs image processing for detecting the movement of the subject captured in common in each of the frames 4 and 6 that are continuous in time series. Note that the frame numbers do not have to be consecutive if the two frames are shooting scenes in which the main subject is common. In particular, when a plurality of tracking frames are used, for example, frames taken every N frames may be used.
  • the feature point extraction unit 13 extracts a plurality of feature points 22 from the reference frame 4 as shown in FIG.
  • a feature point is a small area on the image in the reference frame 4 that can be easily distinguished from other small areas, such as a corner having a luminance gradient.
  • the feature point extraction unit 13 causes the storage unit 11 to store coordinate information indicating these positions as an extraction result.
  • FIG. 2 shows an example in which five feature points 22a to 22e are extracted.
  • feature points 22 when all the feature points (for example, 22a to 22e) are indicated, the numbers excluding the alphabet are used, for example, referred to as “feature points 22”.
  • feature point 22a When an individual feature point is indicated, an alphabet is added to the feature point, for example, referred to as “feature point 22a”.
  • FIG. 2 shows an example in which five feature points are extracted, but in actuality, a larger number of feature points are extracted.
  • the corresponding point extraction unit 14 extracts a corresponding point 24 corresponding to each feature point 22 from the tracking frame 6 by using a known method such as a pattern matching process as shown in FIG.
  • the corresponding point extracting unit 14 causes the storage unit 11 to store coordinate information indicating the position of the corresponding point 24 as an extraction result.
  • the corresponding point extraction unit 14 assigns an identification number or the like common to the information of each feature point 22 and the information of each corresponding point 24, so that the corresponding point 24 of which feature point 22 is used. Be able to identify if there is.
  • the feature points 22 acquire pixel data (such as luminance values) used for processing from the reference frame 4, and the corresponding points 24 acquire pixel data from the tracking frame 6. To do.
  • FIG. 3 shows an example in which five corresponding points 24a to 24e corresponding to the feature points 22a to 22e in FIG. 2 are extracted.
  • the corresponding points are not attached with alphabets when referring to all corresponding points, and are added with letters when indicating individual corresponding points.
  • the alphabet also indicates the correspondence relationship with the feature point 22.
  • the correspondence point 24 a corresponds to the feature point 22 a.
  • the motion calculation unit 15 uses a motion vector 26 (also referred to as a solid arrow in the figure, also referred to as an optical flow) from the feature point 22 to the corresponding point 24 for each feature point 22 and each corresponding point 24. Ask for each. Then, the motion calculation unit 15 applies the existing method to each of the motion vectors 26, thereby calculating the motion of the entire screen (also referred to as global motion) resulting from the movement of the viewpoint of the tracking frame 6 with respect to the reference frame 4. calculate.
  • the reference frame 4 and the tracking frame 6 are slightly shifted for convenience, but actually, the motion vector 26 is obtained in a state where the frames 4 and 6 overlap each other.
  • the moving point calculation unit 16 obtains an inverse transformation vector 28 (arrow line indicated by a two-dot chain line in the figure) of the motion of the entire screen (entire scene) starting from the corresponding point 24, and the position of the end point of the inverse transformation vector 28 Is calculated as the moving point 30.
  • the movement point calculation unit 16 calculates each movement point 30, the movement point calculation unit 16 causes the storage unit 11 to store coordinate information indicating these positions and the like as calculation results.
  • the feature point 22 is indicated by a circular mark
  • the corresponding point 24 is indicated by a square mark
  • the moving point 30 is indicated by a triangular mark. This is to make it easy to understand the positions of the points 22, 24, and 30. It is not actually given to each of the images 4 and 6, nor does it indicate the shape of each of the points 22, 24, and 30.
  • the classification determining unit 17 determines whether the corresponding point 24 is a stationary point given to a still image such as a background, or a moving object such as a person or a vehicle. A classification is made as to whether it is a moving point given to an image or a miscorrespondence caused by a shooting scene of a repetitive pattern.
  • the classification determination unit 17 classifies the corresponding points 24, first, the position of the movement point 30 calculated by the movement point calculation unit 16 is within a predetermined range with respect to the position of the corresponding feature point 22. It is determined whether or not. Since the motion of the entire screen calculated by the motion calculation unit 15 represents the motion of a stationary point, it is given to the image of the stationary object as in the corresponding points 24a, 24b, and 24c in FIG. At the corresponding point 24 having the correct corresponding relationship with the feature point 22, the position of the moving point 30 substantially matches the position of the original feature point 22. Therefore, when the classification determination unit 17 determines that the position of the moving point 30 is within a predetermined range with respect to the position of the corresponding feature point 22, the classification point 24 classifies the corresponding point 24 as a stationary point.
  • the classification determination unit 17 determines that the position of the moving point 30 is not within a predetermined range with respect to the position of the corresponding feature point 22, subsequently, a known pattern matching process based on a luminance value or the like is performed. It is determined whether or not the correlation between the moving point 30 and the corresponding feature point 22 is high. Note that when the correlation is determined by the pattern matching process, the pixel data of the moving point 30 is acquired from the reference frame 4.
  • the corresponding point 24 When the corresponding point 24 is given to the image of the moving object and has the correct corresponding relationship with the feature point 22 like the corresponding point 24d shown in FIG. In addition, the possibility that there is an image of an object having a high correlation with the feature point 22 is extremely low. On the other hand, like the corresponding point 24e in FIG. 4, in the corresponding point 24 that is given to the image of the stationary object and has an erroneous correspondence, the wrong position is set at the end point position of the inverse transformation vector 28 starting from the corresponding point 24e. There is always an image highly correlated with the feature point 22 that has caused the correspondence.
  • the classification determination unit 17 determines that the correlation between the moving point 30 and the corresponding feature point 22 is high, the classification point 24 classifies the corresponding point 24 as an incorrect response. When it is determined that the correlation is low, the corresponding point 24 is classified as a moving object point. Further, when the classification determination unit 17 classifies the corresponding points 24, the classification result is stored in the storage unit 11.
  • the output unit 18 is an interface for outputting the result of image processing by the image processing apparatus 2 to the outside via a network or a recording medium.
  • the output unit 18 includes, for example, coordinate information of each feature point 22 extracted by the feature point extraction unit 13, coordinate information of each corresponding point 24 extracted by the corresponding point extraction unit 14, and each corresponding point classified by the classification determination unit 17. 24 classification results are read out from the storage unit 11 and output to the outside as processing results.
  • the image processing apparatus 2 When the image processing apparatus 2 is to execute image processing, first, the reference frame 4 and the tracking frame 6 to be processed are input to the image input unit 12. When the frames 4 and 6 are input, the image input unit 12 stores them in the storage unit 11.
  • the control unit 10 instructs the feature point extraction unit 13 to extract the feature points 22.
  • the feature point extraction unit 13 reads the reference frame 4 from the storage unit 11 and extracts a plurality of feature points 22 from the reference frame 4. Then, the extraction result is stored in the storage unit 11.
  • the control unit 10 instructs the corresponding point extracting unit 14 to extract the corresponding points 24.
  • the corresponding point extraction unit 14 reads out the extraction result of the tracking frame 6 and each feature point 22 from the storage unit 11 when the control unit 10 instructs the extraction of the corresponding point 24. Then, corresponding points 24 corresponding to each feature point 22 are extracted from the tracking frame 6 and the extraction result is stored in the storage unit 11.
  • the control unit 10 causes the corresponding point extraction unit 14 to extract each corresponding point 24 and then causes the motion calculation unit 15 to calculate the movement of the entire screen (shooting scene) and selects a predetermined corresponding point 24 to be determined. Then, the movement point calculation unit 16 calculates the movement point 30 corresponding to the corresponding point 24. Thereafter, the control unit 10 instructs the classification determination unit 17 to classify the corresponding points 24 to be determined.
  • the classification determination unit 17 When the classification determination unit 17 is instructed to classify the corresponding point 24, it reads out the coordinate information of the feature point 22 and the moving point 30 corresponding to the corresponding point 24 from the storage unit 11, and the position of the moving point 30 is the feature point 22. It is determined whether or not the position is within a predetermined range.
  • the classification determination unit 17 classifies the corresponding point 24 as a stationary point when it is determined that the position of the moving point 30 is within a predetermined range with respect to the position of the feature point 22. On the other hand, when the classification determination unit 17 determines that the position of the moving point 30 is not within a predetermined range with respect to the position of the corresponding feature point 22, the correlation between the moving point 30 and the feature point 22. Whether or not is high is determined. Then, when it is determined that the correlation is high, the corresponding point 24 is classified as miscorresponding, and when it is determined that the correlation is low, the corresponding point 24 is classified as a moving object point.
  • the control unit 10 causes the classification determination unit 17 to classify the corresponding points 24, then selects the next corresponding point 24, and repeats the same processing, whereby all the corresponding points 24 extracted by the feature point extraction unit 13 are selected. Complete the classification.
  • control unit 10 When the classification of each corresponding point 24 is completed, the control unit 10 outputs the coordinate information of each feature point 22, the coordinate information of each corresponding point 24, the classification result of each corresponding point 24, and the like from the output unit 18 as processing results. Output to.
  • whether or not the corresponding point 24 is a stationary point is determined by determining whether or not the position of the moving point 30 is within a predetermined range with respect to the position of the feature point 22. It can be determined appropriately. Further, by determining whether or not the correlation between the moving point 30 and the feature point 22 is high, it is possible to appropriately determine whether the corresponding point 24 is a moving object point or an erroneous correspondence. In other words, it is possible to appropriately determine whether the movement of the corresponding point 24 determined not to be a stationary point is due to the movement of the subject or due to an incorrect response.
  • the feature point when the corresponding point 24 on the moving object image has the correct correspondence with the feature point 22, the feature point is located at the end point of the inverse transformation vector 28 starting from the corresponding point.
  • These characteristics do not change even in the case of a repetitive pattern shooting scene. Therefore, according to the present embodiment, it is possible to appropriately determine whether the corresponding point 24 is a stationary point, a moving object point, or an erroneous correspondence even in the case of a repetitive pattern shooting scene. This means that the occurrence of erroneous correspondence is appropriately prevented.
  • the classification determination unit 17 classifies the corresponding points 24, after determining whether or not the position of the moving point 30 is within a predetermined range with respect to the position of the feature point 22, When it is determined that it is not within the range, it is determined whether or not the correlation between the moving point 30 and the feature point 22 is high.
  • the order of these determinations may be reversed.
  • the corresponding point 24 is classified as a moving object point.
  • the position of the moving point 30 is subsequently set to the position of the feature point 22. It is determined whether or not it is within a predetermined range. If the corresponding point 24 is determined to be within the predetermined range, the corresponding point 24 is classified as a stationary point, and if it is determined not to be within the predetermined range, the corresponding point 24 is classified as an incorrect response.
  • the corresponding point 24 is a stationary point, a moving object point, and an erroneous correspondence as in the above embodiment. Can be appropriately determined.
  • the corresponding point 24 and the feature point 22 are the same.
  • the correlation between the corresponding point 24 and the moving point 30 is also lowered.
  • the feature point 22 and the corresponding point 24 should have high correlation. Similar to the case, the correlation between the corresponding point 24 and the moving point 30 is also increased.
  • the image processing apparatus 40 includes a start point changing unit 42 in addition to the units of the image processing apparatus 2 according to the first embodiment.
  • the start point changing unit 42 changes the start point of the motion vector 26 of the corresponding point 24 from the feature point 22 to the moving point 30, thereby causing an incorrect response motion vector. 26 is corrected to the correct orientation and amount of movement.
  • the position on the reference frame 4 of the moving point 30 which is the end point of the inverse transformation vector 28 of the motion of the entire screen is An image corresponding to the corresponding point 24 exists. Therefore, as described above, by setting the position of the moving point 30 as the new feature point 22, the motion vector 26 directed in the wrong direction due to the incorrect correspondence is converted into the motion of the correct direction and the moving amount corresponding to the corresponding point 24.
  • the vector 26 can be modified.
  • the motion vector 26e in FIG. 4 is directed in a different direction from the motion vectors 26a to 26c of the other normal stationary points due to the incorrect correspondence of the corresponding point 24e.
  • the starting point of the motion vector 26e is changed from the feature point 22e to the moving point 30e.
  • the corrected motion vector 26e has the same direction and movement amount as the motion vectors 26a to 26c of other normal stationary points.
  • the classification determining unit 17 reads out the coordinate information of the feature point 22 and the moving point 30 corresponding to the corresponding point 24 from the storage unit 11, and the position of the moving point 30 is the feature point 22. It is determined whether or not the position is within a predetermined range.
  • the classification determination unit 17 classifies the corresponding point 24 as a stationary point when it is determined that the position of the moving point 30 is within a predetermined range with respect to the position of the feature point 22. On the other hand, if the classification determination unit 17 determines that the position of the moving point 30 is not within the predetermined range with respect to the position of the corresponding feature point 22, the classification point 17 continues with the movement point 30 and the feature point 22. It is determined whether or not the correlation is high. Then, when it is determined that the correlation is high, the corresponding point 24 is classified as miscorresponding, and when it is determined that the correlation is low, the corresponding point 24 is classified as a moving object point.
  • the control unit 10 instructs the start point changing unit 42 to change the start point of the motion vector 26 of the corresponding point 24 when the classification determining unit 17 classifies the corresponding point 24 as an incorrect correspondence.
  • the start point changing unit 42 reads out the coordinate information of the corresponding point 24 and the corresponding feature point 22 and moving point 30 from the storage unit 11. Then, by changing the starting point of the motion vector 26 from the feature point 22 to the moving point 30, the miscorresponding motion vector 26 is corrected to the correct direction and moving amount. Thus, if the motion vector 26 is corrected, the number of correct motion vectors 26 can be increased.
  • the corresponding points 24 classified as miscorresponding become the corresponding points 24 having an appropriate corresponding relationship with the position of the moving point 30 as a starting point. Therefore, when the motion vector 26 is corrected, the classification of the corresponding point 24 may be reclassified from a miscorrespondence to a stationary point. Or you may make it leave the information which corrected the motion vector 26, classify
  • the image processing apparatus 50 includes a corresponding point addition unit 52 in addition to the units of the image processing apparatus 2 according to the first embodiment.
  • the corresponding point adding unit 52 adds the corresponding point 24 based on the motion vector 26 along the motion of the entire screen from the feature point 22 corresponding to the corresponding point 24 when the classification determining unit 17 classifies that the corresponding point is incorrect. Perform the process.
  • the corresponding points 24 classified as erroneous correspondences are given to the image of the stationary object, the feature points 22 corresponding to the corresponding points 24 are in the direction corresponding to the movement of the entire screen on the tracking frame 6, And it is thought that it is moving by the moving amount. Therefore, as described above, by adding the corresponding point 24 based on the motion vector 26 along the movement of the entire screen, the original motion of the feature point 22 corresponding to the corresponding point 24 classified as miscorresponding is reproduced. be able to.
  • the corresponding point 24f based on the motion vector 26f along the motion of the whole screen is added from the feature point 22e corresponding to the corresponding point 24e. Then, it is confirmed that the subject corresponding to the feature point 22e exists at the position of the new corresponding point 24f on the tracking frame 6, and the original movement of the feature point 22e is reproduced by the corresponding point 24f. it can.
  • the classification determining unit 17 reads out the coordinate information of the feature point 22 and the moving point 30 corresponding to the corresponding point 24 from the storage unit 11, and the position of the moving point 30 is the feature point 22. It is determined whether or not the position is within a predetermined range.
  • the classification determination unit 17 classifies the corresponding point 24 as a stationary point when it is determined that the position of the moving point 30 is within a predetermined range with respect to the position of the feature point 22. On the other hand, when the classification determination unit 17 determines that the position of the moving point 30 is not within a predetermined range with respect to the position of the corresponding feature point 22, the correlation between the moving point 30 and the feature point 22 is subsequently performed. It is determined whether or not the property is high. Then, when it is determined that the correlation is high, the corresponding point 24 is classified as miscorresponding, and when it is determined that the correlation is low, the corresponding point 24 is classified as a moving object point.
  • the control unit 10 instructs the corresponding point adding unit 52 to add the corresponding point 24 to the feature point 22 corresponding to the corresponding point 24 when the classification determining unit 17 classifies the corresponding point 24 as an incorrect correspondence.
  • the corresponding point adding unit 52 reads out the coordinate information of the feature point 22 from the storage unit 11 and acquires the calculation result of the entire screen calculated by the motion calculating unit 15. .
  • the added correspondence is calculated by calculating the degree of correlation between the corresponding point 24 on the tracking frame 6 and the feature point 22 on the reference frame 4. The validity of the point 24 may be evaluated. In this way, it can be confirmed whether or not the original movement of the feature point 22 can be actually reproduced by the added corresponding point 24.
  • the position of the end point of the motion vector 26 along the movement of the entire screen is calculated from the feature point 22, and the point having the highest correlation with the feature point 22 is extracted from the periphery of the position on the tracking frame 6.
  • a new corresponding point 24 may be added. In this way, the original movement of the feature point 22 corresponding to the corresponding point 24 classified as incorrect correspondence can be reproduced more accurately.
  • two correct motion vectors 26 may be increased on the feature point 22 side and the corresponding point 24 side.
  • the image processing device 60 includes a corresponding point set generation unit 61, a normalization unit 62, and a miscorrespondence determination in addition to each unit of the image processing device 2 according to the first embodiment. Part 63.
  • the image processing apparatus 60 receives a plurality of tracking frames 6 a to 6 n that are continuous in time series with respect to the reference frame 4.
  • the image processing device 60 extracts the corresponding points 24 from each of the tracking frames 6a to 6n in the same procedure as in the first embodiment. Then, the image processing device 60 determines the miscorrespondence of the moving object point based on the plurality of corresponding points 24 extracted from the tracking frames 6a to 6n.
  • the corresponding point set generation unit 61 extracts the corresponding information from the corresponding points 24 in advance when the corresponding points 24 are extracted from each of the frames 6a to 6n, and the corresponding points 24 are classified as moving points. Based on the above, as shown in FIG. 15, the corresponding points 24 corresponding to the same feature point 22 are collected as a corresponding point set 65.
  • three feature points 22a, 22b, and 22c are extracted from the reference frame 4, and three corresponding points 24a corresponding to each feature point 22 from the first tracking frame 6a that is continuous in time series.
  • -1, 24b-1, and 24c-1 are extracted as moving object points.
  • three corresponding points 24a-2, 24b-2, and 24c-2 corresponding to each feature point 22 are extracted as moving object points from the second tracking frame 6b that is continuous in time series with the first tracking frame 6a.
  • the tracking frames 6a to 6n may be taken out every N frames.
  • the corresponding point set generation unit 61 collects the corresponding points 24a-1 and 24a-2 corresponding to the feature points 22a as a corresponding point set 65a, and sets the corresponding points 24b-1 and 24b-2 corresponding to the feature points 22b.
  • the corresponding points set 65b is collected, and the corresponding points 24c-1 and 24c-2 corresponding to the feature points 22c are collected as the corresponding point set 65c.
  • the normalizing unit 62 normalizes the motion vector 26 of each corresponding point 24 included in the corresponding point set 65 to a size per unit time with the shooting interval of each tracking frame 6a to 6n as a unit time. 16, a normalized motion vector 66 (hereinafter referred to as a normalized vector 66) is generated, and a normalized corresponding point 67 (hereinafter referred to as a normalized corresponding point) as indicated by an inverted triangle mark in the figure. 67). It is assumed that the shooting interval of each tracking frame 6a to 6n is given in advance by, for example, header information of each tracking frame 6a to 6n.
  • the normalization unit 62 performs the second tracking frame as shown in FIG. Normalization vectors 66a, 66b, and 66c corresponding to the respective motion vectors 26a-2, 26b-2, and 26c-2 with respect to 6b are generated by normalizing the movement amounts to 1/2.
  • the third tracking frame 6c is normalized by setting the movement amount of the motion vector to 1/3.
  • the incorrect correspondence determination unit 63 determines whether or not the correspondence between the corresponding points 24 and 67 included in the corresponding point set 65 is correct based on the corresponding points 24 and 67 after normalization. For example, when the distance from the reference position is equal to or less than a predetermined value, the erroneous correspondence determination unit 63 uses the corresponding gravity points 24 and 67 that constitute the corresponding point set 65 as a reference. Is determined to be correct, and if it is greater than or equal to a predetermined value, the corresponding points 24 and 67 are determined to be incorrect.
  • the corresponding points 24 and 67 in the corresponding point set 65 when any one of the corresponding points 24 and 67 in the corresponding point set 65 is used as a reference, and the distance from the reference corresponding points 24 and 67 is equal to or less than a predetermined value, the corresponding points 24 and 67 correspond to each other. If it is determined that the relationship is correct and the relationship is greater than or equal to a predetermined value, the corresponding points 24 and 67 may be determined to be incorrect.
  • the corresponding relationship between the corresponding points 24 and 67 is as follows. You may determine that it is correct.
  • both of the corresponding points 24 and 67 are erroneous correspondences. Furthermore, although there are three or more corresponding points 24 and 67, when the respective distances are separated, all of them may be determined to be miscorresponding.
  • the corresponding point 24a-1 and the normalized corresponding point 67a, and the corresponding point 24c-1 and the normalized corresponding point 67c are close to each other, so that the erroneous correspondence determination unit 63 has all the correct corresponding points 24. , 67.
  • the corresponding point 24b-1 and the normalized corresponding point 67b for example, when the normalized corresponding point 67b is used as a reference, the distance between the corresponding points 24b-1 is far away. Therefore, it is determined that the corresponding point 24b-1 is incorrect.
  • the operation of the image processing apparatus 60 configured as described above will be described with reference to the flowchart shown in FIG.
  • the image processing apparatus 60 performs image processing
  • the reference frame 4 to be processed and the plurality of tracking frames 6a to 6n are input to the image input unit 12, and the same as in the first embodiment.
  • extraction of each feature point 22, extraction of each corresponding point 24, and classification of each corresponding point 24 are performed.
  • these processes may be performed according to the procedure of the second or third embodiment.
  • the control unit 10 instructs the classification determination unit 17 to classify the corresponding points 24 and then instructs the corresponding point set generation unit 61 to generate the corresponding point set 65.
  • the corresponding point set generation unit 61 reads out information on each corresponding point 24 classified as the moving point from the storage unit 11 based on the classification result of the classification determination unit 17.
  • These corresponding points 24 are collected as a corresponding point set 65 for each corresponding to the same feature point 22.
  • the control unit 10 instructs the normalization unit 62 to perform normalization, and sets the motion vector 26 of each corresponding point 24 included in the corresponding point set 65 as a magnitude per unit time.
  • the normalization corresponding point 67 is obtained by normalizing to.
  • control unit 10 After normalizing the corresponding points 24, the control unit 10 selects a predetermined corresponding point set 65 to be determined, and selects predetermined corresponding points to be determined from those included in the corresponding point set 65. 24 and 67 are selected, and the miscorrespondence determination unit 63 is instructed to execute the determination as to whether or not the correspondence between the corresponding points 24 and 67 is correct.
  • the control unit 10 causes the incorrect correspondence determination unit 63 to make a determination, and then causes the corresponding point set generation unit 61 to perform this for all the corresponding points 24 and 67 included in the corresponding point set 65 to be determined.
  • the processing is completed by performing the same processing for all the generated corresponding point sets 65. As described above, according to the present embodiment, it is possible to appropriately remove erroneous correspondences for the corresponding points 24 classified as moving object points.
  • the image processing apparatus 70 of the present embodiment includes a re-evaluation unit 72 in addition to the units of the image processing apparatus 60 of the fourth embodiment.
  • the re-evaluation unit 72 determines that the corresponding point extraction unit 14 has failed to extract the corresponding points 24 or has been determined to be erroneous correspondence by the determination of the fifth embodiment, so that the correct points included in the corresponding point set 65 are correct. When the number of corresponding points 24 or normalized corresponding points 67 becomes one, reevaluation is performed as to whether or not the corresponding points 24 or normalized corresponding points 67 are valid. Then, when the re-evaluation unit 72 evaluates that it is appropriate, the re-evaluation unit 72 determines that the corresponding relationship of the corresponding point 24 or the normalized corresponding point 67 is correct. Further, when it is evaluated that it is not appropriate, the corresponding point 24 or the normalization corresponding point 67 is determined to be incorrect.
  • the re-evaluation in the re-evaluation unit 72 is performed by, for example, calculating the correlation between the feature point 22 and the corresponding point 24 or the normalized corresponding point 67 under a strict condition using a higher threshold than when the corresponding point extraction unit 14 performs extraction. Done by evaluating. At this time, whether or not the feature point 22 is suitable as a feature point, such as whether the subject is a flat part or an edge, may be included in the evaluation target.
  • the control unit 10 causes the corresponding points 24 and 67 included in the corresponding point set 65 to determine the erroneous correspondence for all the corresponding points 24 and 67, and then the number of corresponding points 24 and 67 included in the corresponding point set 65 is determined. Determine whether one or not. When it is determined that only one of the corresponding points 24 or the normalized corresponding points 67 is included, the re-evaluation unit 72 is instructed to execute re-evaluation.
  • the re-evaluation unit 72 When the re-evaluation unit 72 is instructed to perform the re-evaluation, the re-evaluation unit 72 evaluates the correlation between the corresponding point 24 or the normalized corresponding point 67 and the feature point 22 under stricter conditions than the corresponding point extraction unit 14. Re-evaluate whether the corresponding point 24 or the normalized corresponding point 67 is valid. When the re-evaluation unit 72 determines that the corresponding point 24 or the normalization corresponding point 67 is correct when it is evaluated as being valid, and when the re-evaluation unit 72 determines that the corresponding point 24 or the normalized corresponding point 67 is not valid, the re-evaluation unit 72 The normalization corresponding point 67 is determined to be incorrect.
  • the control unit 10 completes the process by causing the re-evaluation unit 72 to perform the re-evaluation, and then causing the corresponding point set 65 generated by the corresponding point set generation unit 61 to perform the same process.
  • the re-evaluation unit 72 performs re-evaluation only on the corresponding points 24 and 67 that are likely to be erroneously handled after various determinations by the classification determination unit 17 and the like, the determination of erroneous correspondence is efficiently performed. Can be removed.
  • each feature point calculated by the motion calculation unit 15 And the inverse transformation vector 28 obtained by the movement point calculation unit 16 based on the motion of the entire screen obtained by the motion calculation unit 15.
  • Examples of use of motion information include, for example, dividing a frame into a plurality of regions based on the size of the motion vector, obtaining the amount of motion on the subject frame from the length of the motion vector, and subjecting the subject from the direction of the motion vector. It is possible to determine the movement direction of the image and perform image processing based on these directions.
  • FIG. 20 shows an embodiment in which the image processing apparatus shown in FIG. 1 is incorporated in a digital camera.
  • the digital camera 80 includes the image processing apparatus 2 and a camera unit 81.
  • the camera unit 81 includes an imaging unit 82, a memory 83, a monitor 84, a control unit 85, and the like.
  • the imaging unit 82 has a photographing optical system and an image sensor, and takes a still image or a moving image of a photographing scene and stores it in the memory 83.
  • the memory 83 includes a first storage unit that stores a captured still image or moving image, and a second storage unit that temporarily stores a framing moving image (hereinafter referred to as a through image) before still image shooting.
  • the monitor 84 displays a through image during framing of a still image, and displays a captured still image or moving image during reproduction.
  • the moving image temporarily stored in the second storage unit is sent from the memory 83 to the image processing apparatus 2.
  • a recorded moving image or still image is sent from the memory 83 to the image input unit 12 of the image processing apparatus 2.
  • the control unit 85 instructs the control unit 10 of the image processing unit 2 to detect the movement of the subject.
  • the camera unit 81 includes an exposure control unit 87, a speed calculation unit 88, a subject blur correction unit 89, a subject tracking unit 90, and a region division unit 91.
  • the exposure control unit 87 sets exposure conditions (aperture value, shutter speed (charge storage time)) from the moving speed of the moving object calculated by the speed calculation unit 88.
  • the subject blur correction unit 89 moves the correction lens in the photographic optical system in accordance with the moving direction of the moving body to correct subject blur.
  • the subject tracking unit 90 tracks the movement of the designated subject. This subject is displayed on the monitor with a mark.
  • the area dividing unit 91 divides the frame according to the amount of motion.
  • Reference numeral 92 denotes a bus.
  • a moving image temporarily stored in the second storage unit of the memory 83 is sent to the image input unit 12 of the image processing apparatus 2.
  • the image processing apparatus 2 compares the images between a plurality of frames and acquires the motion information of the through image. This movement information is sent to the camera unit 81 via the output unit 18.
  • the speed calculation unit 88 uses the motion vector 26 and the inverse transformation vector 28 from the motion information of the through image, and subtracts the length of the inverse transformation vector from the length of the motion vector, thereby moving the moving subject (moving object ) Is calculated on the frame.
  • the speed of the moving object is obtained from the amount of movement, the subject distance, the focal length of the photographing lens system, and the like.
  • the exposure controller 87 calculates a shutter speed at which no subject blur occurs based on the moving body speed. Then, the aperture value is calculated from the subject brightness and the shutter speed. The exposure at the time of still image shooting is controlled by the shutter speed and aperture value obtained by the exposure control unit 87. Further, the speed of the moving object may be displayed on the monitor 84.
  • the subject blur correction unit 89 obtains the moving direction and the moving amount of the correction lens for correcting the subject blur from the direction of the motion vector and the amount of motion on the frame. During still image shooting, the correction lens is moved to correct subject blur and record a clear still image.
  • the subject tracking unit 90 tracks the movement of the designated subject and displays it on the monitor 84 with a mark. You can know the movement of the moving object in the frame.
  • the region dividing unit 91 divides a motion region and a still region based on the magnitude of the motion vector. Noise reduction processing and color tone / saturation adjustment are performed on these still and moving regions. Since the moving area is a moving object, the moving area can be cut out and pasted to another frame to compose an image. Also, a region may be cut out and pasted on another frame even for a still region. Note that this area division and image processing based on the area division may be performed on a recorded still image or moving image.
  • the exposure control unit 87, the speed calculation unit 88, the subject blur correction unit 89, the subject tracking unit 90, and the region division unit 91 may be provided in the image processing apparatus 2.
  • the movement of the entire screen may also represent the rotation of the subject, the enlargement / reduction, and the movement of the stationary point when these are combined. it can. Therefore, according to the present invention, even when the subject is translated, rotated, enlarged / reduced, and a combination thereof, the corresponding points 24 can be appropriately determined as described in the above embodiments.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

　繰り返しパターンの撮影シーンの場合でも、誤対応の発生を防止でき、且つ対応点の動きが、被写体の動き又は誤対応のいずれに起因するものかを判別可能にする。　基準フレーム（４）から複数の特徴点（２２）を抽出する。基準フレーム（４）と時系列的に連続した追跡フレーム（６）から各特徴点（２２）に対応した対応点（２４）を抽出する。対応点（２４）を始点とする画面全体の動きの逆変換ベクトルを求め、その逆変換ベクトルの終点の位置を移動点（３０）として算出する。移動点（３０）の位置が特徴点の位置に対して所定の範囲内にある場合に対応点（２４）を静止点に分類する。所定範囲内にない場合には、移動点（３０）と特徴点（２２）との相関性が高いか否かを判定する。相関性が高い場合には、対応点（２４）を誤対応に分類し、相関性が低い場合には対応点（２４）を動体点に分類する。　

Description

画像処理方法及び装置
　本発明は、複数の画像フレーム間での特徴点の位置の変化から、被写体の動きを検出する画像処理方法及び装置に関する。
　基準となる画像フレーム（以下、基準フレームと称す）内で複数の特徴点を抽出するとともに、この基準フレームと時系列的に連続した画像フレーム（以下、追跡フレームと称す）から各特徴点に対応した対応点を抽出し、これらを結ぶ動きベクトルによって、特徴点を有する画像に対応する被写体の動きを検出することが行われている。
　例えば、複数の動きベクトルが、ほぼ同じ移動量で同じ方向を向いている場合、各特徴点を有する画像に対応した被写体は、静止物体であると推定することができる。そして、この静止した物体に対応する動きベクトルに対し、移動量又は方向が異なる動きベクトルがある場合に、それに対応する被写体は、移動物体であると推定することができる。
　対応点の抽出は、輝度値などを利用したパターンマッチングによって行われている。このため、特徴点となった領域の近くに似た特徴を持つ他の領域があると、誤って他の領域を対応点として抽出してしまうことがある（いわゆる誤対応）。こうした誤対応が生じると、静止物体が移動物体として検出されるから、被写体の動きの検出精度が低下することになる。
　特許文献１に記載された運動推定装置は、特徴点の周辺のエッジ分布などのパターン情報を特徴量として用い、特徴点とこの周辺にある他の特徴点に対して各特徴量を求め、得られた特徴量から誤対応しやすい特徴点かどうかを判定する。そして、誤対応しやすい特徴点を除くことで、誤対応の発生、及びそれに起因する動きの検出精度の低下を防止している。
特開２０１０－１５７０９３号公報
　一般的に、似た特徴を持つ領域が繰り返し表れる撮影シーン（以下、繰り返しパターンの撮影シーンと称す）の画像では、誤対応が生じやすい。例えば、同じ形状の窓が規則正しく並んだビルなどでは、特徴点とその周辺のパターンも似ていることが多いため、特許文献１のように周辺のパターン情報を用いても誤対応を防ぐことができないという問題がある。
　また、実際に誤対応が生じてしまった場合に、その対応点は、移動物体に付与されたものとして扱われてしまうが、対応点の動きが、被写体の動きに起因するものであるのか、誤対応に起因するものであるのかを判別する方法も、従来何ら考慮されていない。
　本発明は、繰り返しパターンの撮影シーンの場合でも、誤対応の発生を防止するとともに、対応点の動きが、被写体の動きに起因するものであるのか、誤対応に起因するものであるのかを適切に判別する画像処理方法及び装置を提供することを目的とするものである。
　上記目的を達成するために、本発明の画像処理装置は、特徴点抽出部と、対応点抽出部と、動き算出部と、移動点算出部と、分類判定部とを備えている。特徴点抽出部は、基準フレーム内で複数の特徴点を抽出する。対応点抽出部は、基準フレームと時系列的に連続した追跡フレーム内で特徴点に対応する対応点を抽出する。動き算出部は、特徴点から対応点に向かう動きベクトルを基に、基準フレームに対する追跡フレームの画面全体の動きを算出する。移動点算出部は、対応点を始点とする画面全体の動きの逆変換ベクトルを求め、その逆変換ベクトルの終点の位置を移動点として算出する。分類判定部は、移動点の位置が特徴点の位置に対して所定の範囲内にあるか否かを判定する。所定の範囲内にある場合は、対応点が静止点と分類される。所定の範囲内にない場合は、特徴点と移動点との相関性又は対応点と移動点との相関性が判定される。相関性が高い場合は、対応点が誤対応に分類され、相関性が低い場合は対応点を動体点に分類される。
　対応点が誤対応に分類された場合に、その対応点の動きベクトルの始点を特徴点から移動点に変更する始点変更部を設けることが好ましい。
　対応点が誤対応に分類された場合に、その対応点の特徴点から画面全体の動きに沿った動きベクトルに基づく対応点を追加する対応点追加部を設けることが好ましい。
　対応点セット生成部と、正規化部と、誤対応判定部とを設けることが好ましい。対応点セット生成部は、複数の追跡フレームのそれぞれから対応点を抽出し、それらの各対応点が動体点に分類された場合に、それらの各対応点を対応点セットとしてまとめる。正規化部は、対応点セットに含まれる各対応点の動きベクトルを単位時間当たりの大きさに正規化する。誤対応判定部は、正規化後の各対応点の距離が所定値以下か否かを確認し、所定値以下である場合に、対応点セットに含まれる各対応点の対応関係が正しいと判定する。他方、所定値以上である場合には、対応点セットに含まれる各対応点に誤対応があると判定する。
　対応点セットに１つの対応点しか含まれていない場合に、その対応点が妥当であるか否かを再評価する再評価部を設けることが好ましい。
　動きベクトルと逆変換ベクトルとの長さから、フレーム内の画像に対応した被写体の速度を算出する速度算出部を備えることが好ましい。
　被写体の速度から、被写体ブレが発生しない露出条件を設定する露出制御部を備えることが好ましい。
　動きベクトルの方向から被写体の動き方向を判断して、被写体のブレを補正する被写体ブレ補正部を備えることが好ましい。
　動きベクトルの方向から被写体の動き方向を判断して、被写体を追跡する被写体追跡部を備えることが好ましい。
　動きベクトルの大きさから、フレーム内を動き領域と静止処理域とに分割し、領域の種類に応じた画像処理をする領域分割部を備えることが好ましい。
　本発明の画像処理方法は、特徴点抽出テップと、対応点抽出テップと、動き算出ステップと、移動点算出ステップと、分類ステップとを備えている。特徴点抽出テップは、基準フレーム内から複数の特徴点を抽出する。対応点抽出テップは、基準フレームと時系列的に連続した追跡フレーム内から特徴点に対応する対応点を抽出する。動き算出ステップは、特徴点から対応点に向かう動きベクトルを基に、基準フレームに対する追跡フレームの画面全体の動きを算出する。移動点算出ステップは、対応点を始点とする画面全体の動きの逆変換ベクトルを求め、その逆変換ベクトルの終点の位置を移動点として算出する。分類ステップは、移動点の位置が特徴点の位置に対して所定の範囲内にあるか否かを判定する。所定の範囲内にある場合は、対応点を静止点に分類する。所定の範囲内にない場合は、特徴点と移動点との相関性又は対応点と移動点との相関性を判定する。相関性が高い場合には対応点を誤対応に分類し、相関性が低い場合には対応点を動体点に分類する。
　本発明によれば、移動点の位置が特徴点の位置に対して所定の範囲内にあるか否かを判定し、所定の範囲内にある場合、対応点を静止点に分類する。そして、所定の範囲内にない場合は、特徴点と移動点との相関性又は対応点と移動点との相関性を判定する。この相関性が高い場合は対応点を誤対応に分類し、相関性が低い場合は対応点を動体点に分類する。これにより、繰り返しパターンの撮影シーンの場合でも、誤対応の発生を防止することができるとともに、対応点の動きが、被写体の動きに起因するものであるのか、誤対応に起因するものであるのかを適切に判別することができる。
画像処理装置の構成を示すブロック図である。 基準フレームの一例を示す説明図である。 追跡フレームの一例を示す説明図である。 移動点の算出例を示す説明図である。 画像処理装置の処理手順を概略的に示すフローチャートである。 対応点の分類の判定順序を変えた例を示すフローチャートである。 移動点と対応点との相関によって誤対応か動体点かを判別する例を示すフローチャートである。 動きベクトルの始点を変更する例を示すブロック図である。 始点を変更した動きベクトルを示す説明図である。 動きベクトルの始点を変更する場合の処理手順を示すフローチャートである。 対応点を追加する例を示すブロック図である。 追加した対応点を示す説明図である。 対応点を追加する場合の処理手順を示すフローチャートである。 動体点の誤対応を判定する例を示すブロック図である。 対応点セットの生成の一例を示す説明図である。 動きベクトルの正規化の一例を示す説明図である。 動体点の誤対応を判定する場合の処理手順を示すフローチャートである。 対応点セットに含まれる対応点の数が１つのときに再評価を行う例を示すブロック図である。 対応点セットに含まれる対応点の数が１つのときに再評価を行う場合の処理手順を示すフローチャートである。 図１に示す画像処理装置を内蔵したデジタルカメラを示すブロック図である。
［第１実施形態］
　図１に示すように、画像処理装置２は、制御部１０と、記憶部１１と、画像入力部１２と、特徴点抽出部１３と、対応点抽出部１４と、動き算出部１５と、移動点算出部１６と、分類判定部１７と、出力部１８とを備えている。これらの各部は、バス２０を介して相互に接続されている。
　記憶部１１は、画像処理装置２の制御に必要な各種のプログラムやデータを記憶するとともに、制御の過程で生じたデータなどを一時的に記憶する。制御部１０は、記憶部１１から各種のプログラムを読み出し、これを逐次処理することによって、画像処理装置２の各部を統括的に制御する。
　画像入力部１２は、ネットワークや記録メディアなどを介して、基準となるフレーム（基準フレーム）４と、この基準フレーム４と時系列的に連続したフレーム（追跡フレーム）６とを外部から入力するためのインタフェースである。これらの連続したフレームは、画像入力部１２を介して記憶部１１に記憶される。
　基準フレーム４と追跡フレーム６とは、例えば、連続的に撮影された２枚の静止画、あるいは動画内の連続した２つのフィールド画である。そして、画像処理装置２は、このように時系列的に連続した各フレーム４、６に共通に写った被写体の動きを検出するための画像処理を行う。なお、２つのフレームは、主要被写体が共通した撮影シーンであれば、フレーム番号が連続していなくてもよい。特に、複数の追跡フレームを用いる場合は、例えばＮフレーム置きに取り出したフレームでもよい。
　特徴点抽出部１３は、図２に示すように、基準フレーム４から複数の特徴点２２を抽出する。特徴点とは、基準フレーム４内の画像上の小領域であって、他の小領域との識別がし易いものであり、例えば、輝度勾配を持ったコーナーなどである。特徴点抽出部１３は、各特徴点２２を抽出したときに、これらの位置を示す座標情報などを抽出結果として記憶部１１に記憶させる。
　図２では、５個の特徴点２２ａ～２２ｅを抽出した例を示している。なお、本明細書では、説明の便宜上、全ての特徴点（例えば２２ａ～２２ｅ）を指す場合に、アルファベットを除いた数字を用いて、例えば「特徴点２２」と称する。そして、個別の特徴点を指す場合に、これにアルファベットを付して、例えば「特徴点２２ａ」と称す。また、図２では、５つの特徴点を抽出した例を示しているが、実際にはより多数の特徴点が抽出される。
　対応点抽出部１４は、図３に示すように、パターンマッチング処理などの周知の手法を用いることにより、各特徴点２２のそれぞれに対応した対応点２４を追跡フレーム６から抽出する。対応点抽出部１４は、各対応点２４を抽出したときに、それらの位置を示す座標情報などを抽出結果として記憶部１１に記憶させる。また、この際に、対応点抽出部１４は、各特徴点２２の情報と各対応点２４の情報とのそれぞれに共通する識別番号などを付与することにより、どの特徴点２２の対応点２４であるかを識別できるようにする。なお、パターンマッチング処理によって特徴点の抽出を行う場合、特徴点２２は、処理に用いる画素データ（輝度値など）を基準フレーム４から取得し、対応点２４は、画素データを追跡フレーム６から取得する。
　図３では、図２の各特徴点２２ａ～２２ｅのそれぞれに対応した５つの対応点２４ａ～２４ｅを抽出した例を示している。このように、対応点についても特徴点と同様に、全ての対応点を指す場合にはアルファベットを付けず、個別の対応点を指す場合にはアルファベットを付している。また、アルファベットは、特徴点２２との対応関係も示しており、例えば、対応点２４ａは、特徴点２２ａに対応している。
　動き算出部１５は、図４に示すように、特徴点２２から対応点２４に向かう動きベクトル２６（図中の実線の矢線、オプティカルフローとも呼ばれる）を各特徴点２２及び各対応点２４のそれぞれについて求める。そして、動き算出部１５は、それらの各動きベクトル２６に対して既存の方法を施すことにより、基準フレーム４に対する追跡フレーム６の視点の移動に起因する画面全体の動き（グローバルモーションとも呼ばれる）を算出する。なお、図４では、便宜的に基準フレーム４と追跡フレーム６とを僅かにずらしているが、実際には、各フレーム４、６が重なった状態で、動きベクトル２６が求められる。
　移動点算出部１６は、対応点２４を始点とする画面全体（シーン全体）の動きの逆変換ベクトル２８（図中の二点鎖線の矢線）を求め、その逆変換ベクトル２８の終点の位置を移動点３０として算出する。移動点算出部１６は、各移動点３０を算出したときに、これらの位置を示す座標情報などを算出結果として記憶部１１に記憶させる。
　なお、図２～図４では、特徴点２２を円形のマーク、対応点２４を四角形のマーク、移動点３０を三角形のマークでそれぞれ示しているが、これらの各マークは、説明の便宜上、各点２２、２４、３０の位置を分り易くするためのものであり、実際に各画像４、６に付与されるものでも、各点２２、２４、３０の形状を示すものでもない。
　分類判定部１７は、移動点算出部１６による移動点３０の算出結果を基に、対応点２４が、背景などの静止画像に付与された静止点であるか、人や乗り物などの移動物体の画像に付与された動体点であるか、あるいは、繰り返しパターンの撮影シーンなどによって生じた誤対応であるかの分類を行う。
　分類判定部１７は、対応点２４の分類を行う場合、まず、移動点算出部１６によって算出された移動点３０の位置が、それに対応する特徴点２２の位置に対して所定の範囲内にあるか否かを判定する。動き算出部１５が算出した画面全体の動きは、静止している点の動きを表すものであるから、図４の対応点２４ａ、２４ｂ、２４ｃのように、静止物体の画像に付与され、かつ特徴点２２と正しい対応関係にある対応点２４では、移動点３０の位置が元の特徴点２２の位置とほぼ一致する。したがって、分類判定部１７は、移動点３０の位置が、対応する特徴点２２の位置に対して所定の範囲内にあると判定した場合に、その対応点２４を静止点に分類する。
　一方、分類判定部１７は、移動点３０の位置が、対応する特徴点２２の位置に対して所定の範囲内にないと判定した場合に、続いて、輝度値などに基づく周知のパターンマッチング処理を行うことなどにより、その移動点３０と対応する特徴点２２との相関性が高いか否かを判定する。なお、パターンマッチング処理によって相関性の判定を行う場合に、移動点３０の画素データは、基準フレーム４から取得する。
　図４に示す対応点２４ｄのように、移動物体の画像に付与され、かつ特徴点２２と正しい対応関係に有る対応点２４である場合に、それを始点とする逆変換ベクトル２８の終点の位置に、特徴点２２と相関性の高い物体の画像がある可能性は極めて低い。これに対し、図４の対応点２４ｅのように、静止物体の画像に付与され、かつ誤対応が生じている対応点２４では、それを始点とする逆変換ベクトル２８の終点の位置に、誤対応の要因となった特徴点２２と相関性の高い画像が必ず存在している。
　したがって、分類判定部１７は、移動点３０と対応する特徴点２２との相関性が高いと判定した場合に、その対応点２４を誤対応に分類する。相関性が低いと判定した場合に、その対応点２４を動体点に分類する。また、分類判定部１７は、対応点２４の分類を行ったときに、その分類の結果を記憶部１１に記憶させる。
　出力部１８は、ネットワークや記録メディアなどを介して、画像処理装置２による画像処理の結果を外部に出力するためのインタフェースである。出力部１８は、例えば、特徴点抽出部１３が抽出した各特徴点２２の座標情報、対応点抽出部１４が抽出した各対応点２４の座標情報、及び分類判定部１７が分類した各対応点２４の分類結果などを記憶部１１から読み出し、処理結果として外部に出力する。
　次に、図５に示すフローチャートを参照しながら、上記構成による画像処理装置２の作用について説明する。画像処理装置２に画像処理を実行させる場合には、まず、処理対象となる基準フレーム４と追跡フレーム６とを画像入力部１２に入力する。画像入力部１２は、各フレーム４、６が入力されると、それらを記憶部１１に記憶させる。
　制御部１０は、特徴点抽出部１３に特徴点２２の抽出を指示する。特徴点抽出部１３は、制御部１０から特徴点２２の抽出が指示されると、記憶部１１から基準フレーム４を読み出し、その基準フレーム４から複数の特徴点２２を抽出する。そして、その抽出結果を記憶部１１に記憶させる。
　次に、制御部１０は、対応点抽出部１４に対応点２４の抽出を指示する。対応点抽出部１４は、制御部１０から対応点２４の抽出が指示されると、追跡フレーム６及び各特徴点２２の抽出結果を記憶部１１から読み出す。そして、各特徴点２２に応じた対応点２４を追跡フレーム６から抽出し、その抽出結果を記憶部１１に記憶させる。
　制御部１０は、対応点抽出部１４に各対応点２４を抽出させた後に、動き算出部１５に画面全体（撮影シーン）の動きを算出させるとともに、判定対象とする所定の対応点２４を選択し、その対応点２４に応じた移動点３０を移動点算出部１６に算出させる。この後、制御部１０は、その判定対象の対応点２４の分類を分類判定部１７に指示する。
　分類判定部１７は、対応点２４の分類を指示されると、その対応点２４に対応する特徴点２２及び移動点３０の座標情報を記憶部１１から読み出し、移動点３０の位置が特徴点２２の位置に対して所定の範囲内にあるか否かを判定する。
　分類判定部１７は、移動点３０の位置が特徴点２２の位置に対して所定の範囲内にあると判定した場合に、その対応点２４を静止点に分類する。一方、分類判定部１７は、移動点３０の位置が、対応する特徴点２２の位置に対して所定の範囲内にないと判定した場合には、その移動点３０と特徴点２２との相関性が高いか否かを判定する。そして、相関性が高いと判定した場合には、その対応点２４を誤対応に分類し、相関性が低いと判定した場合には、その対応点２４を動体点に分類する。
　制御部１０は、分類判定部１７に対応点２４を分類させた後に、次の対応点２４を選択し、同様の処理を繰り返すことにより、特徴点抽出部１３が抽出した全ての各対応点２４の分類を完了させる。
　各対応点２４の分類が完了すると、制御部１０は、各特徴点２２の座標情報、各対応点２４の座標情報、及び各対応点２４の分類結果などを、処理結果として出力部１８から外部に出力する。
　このように、本実施形態によれば、移動点３０の位置が特徴点２２の位置に対して所定の範囲内にあるか否かの判定によって、対応点２４が静止点であるか否かを適切に判別することができる。また、移動点３０と特徴点２２との相関性が高いか否かの判定によって、対応点２４が、動体点であるか、誤対応であるかを適切に判別することができる。すなわち、静止点ではないと判別された対応点２４の動きが、被写体の動きに起因するものであるか、誤対応に起因するものであるかを適切に判別することができる。
　また、前述のように、本実施形態では、動体の像上の対応点２４が、特徴点２２と正しい対応関係にある場合に、それを始点とする逆変換ベクトル２８の終点の位置に、特徴点２２と相関性の高い物体の画像がある可能性は極めて低いという特性がある。この特性を利用して、対応点２４が動体点であるか、又は誤対応であるかを判別している。こうした特性は、繰り返しパターンの撮影シーンの場合でも変わることがない。したがって、本実施形態によれば、繰り返しパターンの撮影シーンの場合であっても、対応点２４が静止点、動体点、誤対応のいずれであるかを適切に判別することができる。これは、誤対応の発生を適切に防止することを意味している。
　上記実施形態では、分類判定部１７で対応点２４の分類を行う際に、移動点３０の位置が特徴点２２の位置に対して所定の範囲内にあるか否かを判定した後、所定の範囲内にないと判定した場合に、移動点３０と特徴点２２との相関性が高いか否かを判定している。しかし、図６に示すフローチャートのように、これらの判定の順序は逆でもよい。
　図６のフローチャートでは、制御部１０から判定対象の対応点２４の分類が指示されたことに応答して、移動点３０と特徴点２２との相関性が高いか否かの判定を行っている。相関性が低いと判定した場合には、その対応点２４を動体点に分類し、相関性が高いと判定した場合には、続いて、移動点３０の位置が特徴点２２の位置に対して所定の範囲内にあるか否かの判定を行う。そして、所定の範囲内にあると判定した場合には、その対応点２４を静止点に分類し、所定の範囲内にないと判定した場合には、その対応点２４を誤対応に分類する。
　このように、移動点３０と特徴点２２との相関性が高いか否かの判定を先に行うようにしても、上記実施形態と同様に、対応点２４が静止点、動体点、誤対応のいずれであるかを適切に判別することができる。
　また、上記実施形態では、移動点３０と特徴点２２との相関性が高いか否かの判定を行っているが、図７に示すフローチャートのように、移動点３０と対応点２４との相関性が高いか否かを判定するようにしてもよい。
　対応点２４が、移動物体の画像に付与され、かつ特徴点２２と正しい対応関係に有る場合に、対応点２４と特徴点２２とは同一のものであるから、特徴点２２の場合と同様に、対応点２４と移動点３０との相関性も低くなる。一方、対応点２４が、静止物体の画像に付与され、かつ繰り返しパターンに起因する誤対応が生じている場合、特徴点２２と対応点２４との相関性も高いはずであるから、特徴点２２の場合と同様に、対応点２４と移動点３０との相関性も高くなる。
　したがって、移動点３０と対応点２４との相関性が高いか否かを判定しても、特徴点２２の場合と同様に、相関性が高い場合には誤対応であり、相関性が低い場合には動体点であると分類することができる。このように、移動点３０と対応点２４との相関性が高いか否かを判定した場合でも、上記実施形態と同様の効果を得ることができる。
［第２実施形態］
　次に、本発明の第２の実施形態について説明する。なお、上記第１の実施形態と機能・構成上同一のものについては、同符号を付して詳細な説明を省略する。図８に示すように、本実施形態の画像処理装置４０は、上記第１の実施形態の画像処理装置２の各部に加え、始点変更部４２を備えている。
　始点変更部４２は、分類判定部１７が誤対応であると分類した場合に、その対応点２４の動きベクトル２６の始点を特徴点２２から移動点３０に変更することにより、誤対応の動きベクトル２６を正しい向き及び移動量に修正する処理を行う。
　誤対応に分類された対応点２４は、静止物体の画像に付与されたものであるから、画面全体の動きの逆変換ベクトル２８の終点である移動点３０の基準フレーム４上の位置には、その対応点２４に対応する画像が存在している。したがって、上記のように、移動点３０の位置を新たな特徴点２２とすることで、誤対応によって誤った方向を向いた動きベクトル２６を、対応点２４に対応した正しい向き及び移動量の動きベクトル２６に修正することができる。
　例えば、図４の動きベクトル２６ｅは、対応点２４ｅの誤対応に起因して、他の正常な静止点の動きベクトル２６ａ～２６ｃと異なる方向を向いている。この動きベクトル２６ｅの始点を、図９に示すように、特徴点２２ｅから移動点３０ｅに変更する。すると、修正後の動きベクトル２６ｅは、他の正常な静止点の動きベクトル２６ａ～２６ｃと同じ向き及び移動量となる。
　次に、図１０に示すフローチャートを参照しながら、上記構成による画像処理装置４０の作用について説明する。なお、判定対象の対応点２４の分類を分類判定部１７に指示するところまでは、上記第１の実施形態の処理と同様であるから、その説明は省略する。
　分類判定部１７は、対応点２４の分類が指示されると、その対応点２４に対応する特徴点２２及び移動点３０の座標情報を記憶部１１から読み出し、移動点３０の位置が特徴点２２の位置に対して所定の範囲内にあるか否かを判定する。
　分類判定部１７は、移動点３０の位置が特徴点２２の位置に対して所定の範囲内にあると判定した場合に、その対応点２４を静止点に分類する。一方、分類判定部１７は、移動点３０の位置が、対応する特徴点２２の位置に対して所定の範囲内にないと判定した場合は、続いて、その移動点３０と特徴点２２との相関性が高いか否かを判定する。そして、相関性が高いと判定した場合は、その対応点２４を誤対応に分類し、相関性が低いと判定した場合は、その対応点２４を動体点に分類する。
　制御部１０は、分類判定部１７が対応点２４を誤対応に分類した場合に、その対応点２４の動きベクトル２６の始点の変更を始点変更部４２に指示する。始点変更部４２は、始点の変更が指示されると、その対応点２４、及びそれに対応する特徴点２２、移動点３０の各座標情報を記憶部１１から読み出す。そして、動きベクトル２６の始点を特徴点２２から移動点３０に変更することにより、誤対応の動きベクトル２６を正しい向き及び移動量に修正する。このように、動きベクトル２６を修正すれば、正しい動きベクトル２６の数を増やすことができる。
　なお、上記のように動きベクトル２６を修正することにより、誤対応に分類された対応点２４は、移動点３０の位置を始点として、これと適切な対応関係にある対応点２４となる。そこで、動きベクトル２６を修正した場合には、その対応点２４の分類を誤対応から静止点に分類し直すようにしてもよい。あるいは、誤対応に分類したまま、動きベクトル２６を修正した情報を残すようにしてもよい。
［第３実施形態］
　次に、本発明の第３の実施形態について説明する。図１１に示すように、本実施形態の画像処理装置５０は、上記第１の実施形態の画像処理装置２の各部に加え、対応点追加部５２を備えている。対応点追加部５２は、分類判定部１７が誤対応であると分類した場合に、その対応点２４に対応する特徴点２２から画面全体の動きに沿った動きベクトル２６に基づく対応点２４を追加する処理を行う。
　誤対応に分類された対応点２４は、静止物体の画像に付与されたものであるから、その対応点２４に対応する特徴点２２は、追跡フレーム６上において画面全体の動きに応じた方向、及び移動量で移動していると考えられる。したがって、上記のように、画面全体の動きに沿った動きベクトル２６に基づく対応点２４を追加することで、誤対応に分類された対応点２４に対応する特徴点２２の本来の動きを再現することができる。
　例えば、図４の対応点２４ｅには、誤対応が生じている。これに対し、図１２に示すように、その対応点２４ｅに対応する特徴点２２ｅから画面全体の動きに沿った動きベクトル２６ｆに基づく対応点２４ｆを追加する。すると、この新たな対応点２４ｆの追跡フレーム６上の位置には、特徴点２２ｅに対応する被写体が存在しており、対応点２４ｆによって、特徴点２２ｅの本来の動きが再現されたことが確認できる。
　次に、図１３に示すフローチャートを参照しながら、上記構成による画像処理装置５０の作用について説明する。なお、判定対象の対応点２４の分類を分類判定部１７に指示するところまでは、上記第１の実施形態の処理と同様であるから、その説明は省略する。
　分類判定部１７は、対応点２４の分類が指示されると、その対応点２４に対応する特徴点２２及び移動点３０の座標情報を記憶部１１から読み出し、移動点３０の位置が特徴点２２の位置に対して所定の範囲内にあるか否かを判定する。
　分類判定部１７は、移動点３０の位置が特徴点２２の位置に対して所定の範囲内にあると判定した場合に、その対応点２４を静止点に分類する。一方、分類判定部１７は、移動点３０の位置が、対応する特徴点２２の位置に対して所定の範囲内にないと判定した場合、続いて、その移動点３０と特徴点２２との相関性が高いか否かを判定する。そして、相関性が高いと判定した場合には、その対応点２４を誤対応に分類し、相関性が低いと判定した場合には、その対応点２４を動体点に分類する。
　制御部１０は、分類判定部１７が対応点２４を誤対応に分類した場合に、その対応点２４に対応する特徴点２２への対応点２４の追加を対応点追加部５２に指示する。対応点追加部５２は、対応点２４の追加を指示されると、その特徴点２２の座標情報を記憶部１１から読み出すとともに、動き算出部１５が算出した画面全体の動きの算出結果を取得する。
　そして、その特徴点２２から画面全体の動きに沿った動きベクトル２６に基づく対応点２４を追加することにより、その特徴点２２の本来の動きを再現する。このように、対応点２４を追加すれば、正しい対応点２４及び動きベクトル２６の数を増やすことができる。
　なお、対応点追加部５２で新たな対応点２４を追加した後、その追跡フレーム６上の対応点２４と、基準フレーム４上の特徴点２２との相関度を計算することにより、追加した対応点２４の妥当性を評価するようにしてもよい。こうすれば、追加した対応点２４によって特徴点２２の本来の動きが本当に再現できたか否かを確認することができる。
　また、特徴点２２から画面全体の動きに沿った動きベクトル２６の終点の位置を算出し、追跡フレーム６上のその位置の周辺から特徴点２２と最も相関の高い点を抽出し、その点を新たな対応点２４として追加するようにしてもよい。こうすれば、誤対応に分類された対応点２４に対応する特徴点２２の本来の動きを、より正確に再現することができる。
　さらには、本実施形態の構成と、上記第２の実施形態の構成とを組み合わせて、特徴点２２側と対応点２４側とで２本の正しい動きベクトル２６を増やせるようにしてもよい。
［第４実施形態］
　次に、本発明の第４の実施形態について説明する。図１４に示すように、本実施形態の画像処理装置６０は、上記第１の実施形態の画像処理装置２の各部に加え、対応点セット生成部６１と、正規化部６２と、誤対応判定部６３とを備えている。この画像処理装置６０には、基準フレーム４に対して時系列的に連続した複数の追跡フレーム６ａ～６ｎが入力される。
　画像処理装置６０は、上記第１の実施形態と同様の手順で各追跡フレーム６ａ～６ｎのそれぞれから対応点２４の抽出を行う。そして、画像処理装置６０は、各追跡フレーム６ａ～６ｎから抽出された複数の対応点２４を基に、動体点の誤対応の判別を行う。
　対応点セット生成部６１は、各フレーム６ａ～６ｎのそれぞれから対応点２４が抽出され、それらの各対応点２４が動体点に分類された場合に、予め各対応点２４に付与された識別情報などを基に、図１５に示すように、同じ特徴点２２に対応する各対応点２４を対応点セット６５としてまとめる。
　例えば、図１５では、基準フレーム４から３つの特徴点２２ａ、２２ｂ、２２ｃが抽出され、これに時系列的に連続した１番目の追跡フレーム６ａから各特徴点２２に対応する３つの対応点２４ａ－１、２４ｂ－１、２４ｃ－１が動体点として抽出される。また、１番目の追跡フレーム６ａに時系列的に連続した２番目の追跡フレーム６ｂから各特徴点２２に対応する３つの対応点２４ａ－２、２４ｂ－２、２４ｃ－２が動体点として抽出された例を示している。なお、追跡フレーム６ａ～６ｎは、Ｎフレームごとに取り出してもよい。
　この場合、対応点セット生成部６１は、特徴点２２ａに対応する対応点２４ａ－１、２４ａ－２を対応点セット６５ａとしてまとめ、特徴点２２ｂに対応する対応点２４ｂ－１、２４ｂ－２を対応点セット６５ｂとしてまとめ、特徴点２２ｃに対応する対応点２４ｃ－１、２４ｃ－２を対応点セット６５ｃとしてまとめる。
　正規化部６２は、各追跡フレーム６ａ～６ｎの撮影間隔を単位時間とし、対応点セット６５に含まれる各対応点２４の動きベクトル２６を単位時間当たりの大きさに正規化することにより、図１６に示すように、正規化した動きベクトル６６（以下、正規化ベクトル６６と称す）を生成し、図中逆三角形のマークで示すように、正規化した対応点６７（以下、正規化対応点６７と称す）を得る。なお、各追跡フレーム６ａ～６ｎの撮影間隔は、例えば、各追跡フレーム６ａ～６ｎのヘッダ情報などによって予め与えられているものとする。
　例えば、図１５の例において、各追跡フレーム６ａ、６ｂが、基準フレーム４からそれぞれ同じ撮影間隔で取り出されている場合は、正規化部６２は、図１６に示すように、２番目の追跡フレーム６ｂに対する各動きベクトル２６ａ－２、２６ｂ－２、２６ｃ－２の移動量を１／２として正規化することにより、それぞれに対応した正規化ベクトル６６ａ、６６ｂ、６６ｃを生成する。なお、３番目の追跡フレーム６ｃに対しては、動きベクトルの移動量を１／３として正規化する。
　誤対応判定部６３は、正規化後の各対応点２４、６７を基に、対応点セット６５に含まれる各対応点２４、６７の対応関係が正しいか否かの判定を行う。誤対応判定部６３は、例えば、対応点セット６５を構成する各対応点２４、６７の重心位置を基準とし、その基準位置からの距離が所定値以下である場合に、その対応点２４、６７の対応関係が正しいと判定し、所定値以上である場合に、その対応点２４、６７を誤対応と判定する。
　あるいは、対応点セット６５の中のいずれかの対応点２４、６７を基準とし、その基準とした対応点２４、６７からの距離が所定値以下である場合に、その対応点２４、６７の対応関係が正しいと判定し、所定値以上である場合に、その対応点２４、６７を誤対応と判定してもよい。また、図１６のように、対応点２４、６７が２つしかない場合には、それぞれの距離を求め、互いの距離が所定値以下である場合に、その対応点２４、６７の対応関係が正しいと判定してもよい。そして、所定値以上である場合に、その対応点２４、６７の双方を誤対応と判定もよい。さらに、３つ以上の対応点２４、６７があるが、それぞれの距離が離れている場合には、それらの全てを誤対応と判定してもよい。
　例えば、図１６では、対応点２４ａ－１と正規化対応点６７ａ、及び対応点２４ｃ－１と正規化対応点６７ｃは、距離が近いため、誤対応判定部６３は、いずれも正しい対応点２４、６７であると判定する。一方、対応点２４ｂ－１と正規化対応点６７ｂとについては、例えば、正規化対応点６７ｂを基準とした場合に、対応点２４ｂ－１の距離が離れているため、誤対応判定部６３は、対応点２４ｂ－１を誤対応であると判定する。
　次に、図１７に示すフローチャートを参照しながら、上記構成による画像処理装置６０の作用について説明する。画像処理装置６０に画像処理を実行させる場合には、まず、処理対象となる基準フレーム４と複数の追跡フレーム６ａ～６ｎとを画像入力部１２に入力し、上記第１の実施形態と同様の手順で、各特徴点２２の抽出、各対応点２４の抽出、及び各対応点２４の分類を実施する。なお、これらの処理は、上記第２又は第３の実施形態の手順で行っても勿論よい。
　制御部１０は、分類判定部１７に各対応点２４の分類を行わせた後、対応点セット生成部６１に対応点セット６５の生成を指示する。対応点セット生成部６１は、対応点セット６５の生成が指示されると、分類判定部１７の分類の結果を基に、動体点に分類された各対応点２４の情報を記憶部１１から読み出し、これらの各対応点２４を同じ特徴点２２に対応するもの毎に対応点セット６５としてまとめる。
　制御部１０は、対応点セット６５を生成させた後に、正規化部６２に正規化の実行を指示し、対応点セット６５に含まれる各対応点２４の動きベクトル２６を単位時間当たりの大きさに正規化させることにより、正規化対応点６７を取得する。
　制御部１０は、対応点２４の正規化を行った後、判定対象とする所定の対応点セット６５を選択するとともに、その対応点セット６５に含まれるものの中から判定対象とする所定の対応点２４、６７を選択し、その対応点２４、６７の対応関係が正しいか否かの判定の実行を誤対応判定部６３に指示する。
　誤対応判定部６３は、判定の実行が指示されると、対応点セット６５を構成する各対応点２４、６７の重心位置、あるいは、対応点セット６５の中のいずれかの対応点２４、６７を基準として決定する。そして、その基準から判定対象の対応点２４、６７までの距離が所定値以上か否かを判定する。所定値以下である場合に、その対応点２４、６７の対応関係が正しいと判定し、所定値以上である場合に、その対応点２４、６７を誤対応と判定する。
　制御部１０は、誤対応判定部６３に判定を行わせた後に、これを判定対象の対応点セット６５に含まれる全ての各対応点２４、６７について行わせるとともに、対応点セット生成部６１が生成した全ての対応点セット６５について同様の処理を行わせることにより、処理を完了させる。このように、本実施形態によれば、動体点に分類された対応点２４についても適切に誤対応を除去することができる。
［第５実施形態］
　次に、本発明の第５の実施形態について説明する。図１８に示すように、本実施形態の画像処理装置７０は、上記第４の実施形態の画像処理装置６０の各部に加え、再評価部７２を備えている。
　再評価部７２は、対応点抽出部１４が対応点２４の抽出に失敗したり、上記第５の実施形態の判定によって誤対応と判定されたりするなどして、対応点セット６５に含まれる正しい対応点２４又は正規化対応点６７の数が１つとなった場合に、その対応点２４又は正規化対応点６７が妥当であるか否かの再評価を行う。そして、再評価部７２は、妥当であると評価した場合に、その対応点２４又は正規化対応点６７の対応関係が正しいと判定する。また、妥当ではないと評価した場合に、その対応点２４又は正規化対応点６７を誤対応と判定する。
　再評価部７２での再評価は、例えば、対応点抽出部１４で抽出を行う場合よりも高い閾値を用いた厳しい条件で特徴点２２と対応点２４又は正規化対応点６７との相関性を評価することによって行われる。また、この際、被写体の平坦部やエッジではなく頂点となっているかなど、特徴点２２が特徴点として相応しいか否かを評価の対象に含めるようにしてもよい。
　次に、図１９に示すフローチャートを参照しながら、上記構成による画像処理装置７０の作用について説明する。なお、判定対象の対応点セット６５に含まれる全ての各対応点２４、６７について誤対応の判定を行うところまでは、上記第５の実施形態と同様であるからその説明は省略する。
　制御部１０は、判定対象の対応点セット６５に含まれる全ての各対応点２４、６７について誤対応の判定を行わせた後、その対応点セット６５に含まれる対応点２４、６７の数が１つか否かを判定する。そして、対応点２４又は正規化対応点６７の１つしか含まれていないと判定した場合に、再評価部７２に再評価の実行を指示する。
　再評価部７２は、再評価の実行が指示されると、対応点抽出部１４よりも厳しい条件で、その対応点２４又は正規化対応点６７と特徴点２２との相関性を評価することにより、その対応点２４又は正規化対応点６７が妥当であるか否かを再評価する。そして、再評価部７２は、妥当であると評価した場合に、その対応点２４又は正規化対応点６７の対応関係が正しいと判定し、妥当ではないと評価した場合に、その対応点２４又は正規化対応点６７を誤対応と判定する。
　制御部１０は、再評価部７２に再評価を行わせた後、対応点セット生成部６１が生成した全ての対応点セット６５について同様の処理を行わせることにより、処理を完了させる。このように、本実施形態によれば、動体点に分類された対応点２４の誤対応の除去を、より高精度に行うことができる。また、分類判定部１７などでの各種の判定を経た後で誤対応の可能性の高い対応点２４、６７のみを対象に、再評価部７２で再評価を行うため、効率よく誤対応の判定、除去を行うことができる。
　記憶部１１には、各特徴点２２の位置座標、各対応点の２４の位置座標、対応点が静止点か動体点かの分類結果の他に、動き算出部１５で算出された各特徴点の動きベクトル２６と、動き算出部１５で求めた画面全体の動きに基づき、移動点算出部１６で求めた逆変換ベクトル２８等が記憶されている。これらの動き情報は、出力部１８を介して外部機器に送られる。
　動き情報の利用例としては、例えば動きベクトルの大きさからフレーム内を複数の領域に分割したり、動きベクトルの長さから被写体のフレーム上での動き量を求めたり、動きベクトルの方向から被写体の動き方向を求め、これらに基づいて画像処理をすることが挙げられる。
　上記各実施形態では、単体の画像処理装置であるが、本発明の画像処理装置は、デジタルカメラ、放送用テレビカメラ等に組み込んでもよい。図２０は、図１に示す画像処理装置をデジタルカメラに組み込んだ実施形態を示すものである。デジタルカメラ８０は、画像処理装置２と、カメラ部８１を備える。カメラ部８１は、撮像部８２、メモリ８３、モニタ８４、制御部８５等を備えている。
　撮像部８２は、周知のように、撮影光学系とイメージセンサを有し、撮影シーンの静止画又は動画を撮影して、メモリ８３に記憶する。このメモリ８３は、撮影済みの静止画又は動画を記憶する第１の記憶部と、静止画撮影前のフレーミング中の動画（以下、スルー画という）を一時的に記憶する第２の記憶部を有する。モニタ８４は、静止画のフレーミング時にはスルー画を表示し、再生時には撮影済み静止画又は動画を表示する。フレーミング中には、第２記憶部に一時的に記憶された動画がメモリ８３から画像処理装置２に送られる。画像再生時には、記録済み動画又は静止画がメモリ８３から画像処理装置２の画像入力部１２に送られる。制御部８５は、カメラ部８１内の各回路を制御する他に、画像処理部２の制御部１０に、被写体の動きを検出の実行を指示する。
　カメラ部８１には、露出制御部８７、速度算出部８８、被写体ブレ補正部８９、被写体追跡部９０、領域分割部９１が設けられている。露出制御部８７は、速度算出部８８で算出した動体の移動速度から露出条件（絞り値、シャッタ速度（電荷蓄勢時間））を設定する。被写体ぶれ補正部８９は、動体の動き方向に応じて、撮影光学系内の補正レンズを移動して被写体のブレを補正する。被写体追跡部９０は、指定された被写体の移動を追跡する。この被写体にはマークが付された状態でモニタ上に表示される。領域分割部９１は、動き量に応じてフレーム内を分割する。なお、符号９２は、バスである。
　静止画撮影のフレーミング中には、メモリ８３の第２記憶部に一時的に記憶された動画が画像処理装置２の画像入力部１２に送られる。前述したように、画像処理装置２では、複数のフレーム間で画像の比較を行って、スルー画の動き情報を取得する。この動き情報は、出力部１８を介してカメラ部８１に送られる。
　速度算出部８８は、スルー画の動き情報の中から、動きベクトル２６と逆変換ベクトル２８を用い、動きベクトルの長さから逆変換ベクトルの長さを減算することで、動いている被写体（動体）のフレーム上での動き量を算出する。この動き量と、被写体距離、撮影レンズ系の焦点距離等から、動体の速度を求める。露出制御部８７は、動体速度に基づいて、被写体ブレが発生しないシャッタ速度を算出する。そして、被写体輝度とシャッタ速度とから絞り値を算出する。露出制御部８７で求めたシャッタ速度と絞り値とで、静止画撮影時の露出が制御される。また、動体の速度をモニタ８４に表示してもよい。
　被写体ブレ補正部８９は、動きベクトルの方向及びフレーム上での動き量から、被写体ブレを補正するための補正レンズの移動方向と移動量を求める。静止画の撮影時に、補正レンズを移動して被写体ブレを補正し、鮮明な静止画を記録する。
　被写体追跡部９０は、指定された被写体の移動を追跡し、マークを付した状態でモニタ８４上に表示する。注目した動体のフレーム内での動きを知ることができる。
　領域分割部９１は、動きベクトルの大きさから、動き領域と静止領域とに分割する。これらの静止領域及び動き領域に対して、ノイズ低減処理、色調・彩度調整を行う。動き領域は動体であるから、この動き領域を切り出して、別のフレームに貼り合わせて、画像合成をすることができる。また、静止領域に対しても、領域切り出しと、別のフレームへの貼り付けをしてもよい。なお、この領域分割及びこれに基づいた画像処理は、記録済みの静止画又は動画に対して行ってもよい。
　露出制御部８７、速度算出部８８、被写体ブレ補正部８９、被写体追跡部９０、領域分割部９１は、画像処理装置２に設けてもよい。
　なお、上記各実施形態では、被写体が平行移動した場合について説明を行ったが、画面全体の動きは、被写体の回転や拡大縮小、及びこれらが組み合わされた場合の静止点の動きも表すことができる。したがって、本発明によれば、被写体が平行移動、回転、拡大縮小、及びこれらが組み合わされた場合でも、上記各実施形態で示したように、適切に対応点２４の判別を行うことができる。
　２、４０、５０、６０、７０　画像処理装置
　４　基準フレーム
　６　追跡フレーム
　１３　特徴点抽出部
　１４　対応点抽出部
　１５　動き算出部
　１６　移動点算出部
　１７　分類判定部
　２２　特徴点
　２４　対応点
　２６　動きベクトル
　２８　逆変換ベクトル
　３０　移動点
　４２　始点変更部
　５２　対応点追加部
　６１　対応点セット生成部
　６２　正規化部
　６３　誤対応判定部
　７２　再評価部
　８０　デジタルカメラ
　８１　カメラ部

Claims (11)

  1. 　基準フレーム内で複数の特徴点を抽出する特徴点抽出部と、
    　前記基準フレームと時系列的に連続した追跡フレーム内で前記特徴点に対応する対応点を抽出する対応点抽出部と、
    　前記特徴点から前記対応点に向かう動きベクトルを基に、前記基準フレームに対する前記追跡フレームの画面全体の動きを算出する動き算出部と、
    　前記対応点を始点とする前記画面全体の動きの逆変換ベクトルを求め、その逆変換ベクトルの終点の位置を移動点として算出する移動点算出部と、
    　前記移動点の位置が前記特徴点の位置に対して所定の範囲内にあるか否かを判定し、所定の範囲内にある場合に、前記対応点を静止点に分類するとともに、所定の範囲内にない場合に、前記特徴点と前記移動点との相関性又は前記対応点と前記移動点との相関性を判定し、相関性が高い場合には前記対応点を誤対応に分類し、相関性が低い場合には前記対応点を動体点に分類する分類判定部と、
    　を備える画像処理装置。
  2. 　前記対応点が誤対応に分類された場合に、その対応点の前記動きベクトルの始点を前記特徴点から前記移動点に変更する始点変更部を備える請求の範囲第１項記載の画像処理装置。
  3. 　前記対応点が誤対応に分類された場合に、その対応点の前記特徴点から前記画面全体の動きに沿った前記動きベクトルに基づく前記対応点を追加する対応点追加部を備える請求の範囲第１項記載の画像処理装置。
  4. 　前記基準フレームと時系列的に連続した複数の前記追跡フレームのそれぞれから前記対応点が抽出され、それらの各対応点が動体点に分類された場合に、それらの各対応点を対応点セットとしてまとめる対応点セット生成部と、
    　前記対応点セットに含まれる前記各対応点の前記動きベクトルを単位時間当たりの大きさに正規化する正規化部と、
    　正規化後の前記各対応点の距離が所定値以下か否かを確認し、所定値以下である場合に、前記対応点セットに含まれる前記各対応点の対応関係が正しいと判定し、そして所定値以上である場合に、前記対応点セットに含まれる前記各対応点に誤対応があると判定する誤対応判定部と、
    　を備える請求の範囲第１項記載の画像処理装置。
  5. 　前記対応点セットに１つしか前記対応点が含まれていない場合に、その対応点が妥当であるか否かを再評価する再評価部を備える請求の範囲第４項記載の画像処理装置。
  6. 　前記動きベクトルと前記逆変換ベクトルとの長さとから、前記フレーム内の画像に対応した被写体の速度を算出する速度算出部を備える請求の範囲第１項記載の画像処理装置。
  7. 　前記被写体の速度から、被写体ブレが発生しない露出条件を設定する露出制御部を備える請求の範囲第６項記載の画像処理装置。
  8. 　前記動きベクトルの方向から被写体の動き方向を判断して、被写体のブレを補正する被写体ブレ補正部を備える請求の範囲第１項記載の画像処理装置。
  9. 　前記動きベクトルの方向から被写体の動き方向を判断して、被写体を追跡する被写体追跡部を備える請求の範囲第１項記載の画像処理装置。
  10. 　前記動きベクトルの大きさから、前記フレーム内を動き領域と静止処理域とに分割し、領域の種類に応じた画像処理をする領域分割部を備える請求の範囲第１項記載の画像処理装置。
  11. 　基準フレーム内から複数の特徴点を抽出するステップと、
    　基準フレームと時系列的に連続した追跡フレーム内から前記特徴点に対応する対応点を抽出するステップと、
    　前記特徴点から前記対応点に向かう動きベクトルを基に、前記基準フレームに対する前記追跡フレームの画面全体の動きを算出するステップと、
    　前記対応点を始点とする前記画面全体の動きの逆変換ベクトルを求め、その逆変換ベクトルの終点の位置を移動点として算出するステップと、
    　前記移動点の位置が前記特徴点の位置に対して所定の範囲内にあるか否かを判定し、所定の範囲内にある場合に、前記対応点を静止点に分類するとともに、所定の範囲内にない場合に、前記特徴点と前記移動点との相関性又は前記対応点と前記移動点との相関性を判定し、相関性が高い場合には前記対応点を誤対応に分類し、相関性が低い場合には前記対応点を動体点に分類するステップと、
    　を有する画像処理方法。
PCT/JP2012/057874 2011-04-07 2012-03-27 画像処理方法及び装置 Ceased WO2012137621A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201280017498.1A CN103460248B (zh) 2011-04-07 2012-03-27 图像处理方法和装置
JP2013508815A JP5457606B2 (ja) 2011-04-07 2012-03-27 画像処理方法及び装置
US14/046,432 US20140037212A1 (en) 2011-04-07 2013-10-04 Image processing method and device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011085436 2011-04-07
JP2011-085436 2011-04-07

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/046,432 Continuation US20140037212A1 (en) 2011-04-07 2013-10-04 Image processing method and device

Publications (1)

Publication Number Publication Date
WO2012137621A1 true WO2012137621A1 (ja) 2012-10-11

Family

ID=46969022

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/057874 Ceased WO2012137621A1 (ja) 2011-04-07 2012-03-27 画像処理方法及び装置

Country Status (4)

Country Link
US (1) US20140037212A1 (ja)
JP (1) JP5457606B2 (ja)
CN (1) CN103460248B (ja)
WO (1) WO2012137621A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014117403A1 (en) * 2013-02-04 2014-08-07 Harman International Industries, Incorporated Method and system for detecting moving objects
JP2014191695A (ja) * 2013-03-28 2014-10-06 Dainippon Printing Co Ltd 対応点決定装置、対応点決定方法、及びプログラム
JP2017097554A (ja) * 2015-11-20 2017-06-01 カシオ計算機株式会社 特徴点追跡装置、特徴点追跡方法及びプログラム

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150049535A (ko) * 2013-10-30 2015-05-08 삼성전자주식회사 전자장치 및 그 이용방법
US10660533B2 (en) 2014-09-30 2020-05-26 Rapsodo Pte. Ltd. Remote heart rate monitoring based on imaging for moving subjects
US9635276B2 (en) * 2015-06-10 2017-04-25 Microsoft Technology Licensing, Llc Determination of exposure time for an image frame
JP6754992B2 (ja) * 2016-04-22 2020-09-16 パナソニックＩｐマネジメント株式会社 三次元再構成方法
CN110599421B (zh) * 2019-09-12 2023-06-09 腾讯科技（深圳）有限公司 模型训练方法、视频模糊帧转换方法、设备及存储介质
CN111191542B (zh) * 2019-12-20 2023-05-02 腾讯科技（深圳）有限公司 虚拟场景中的异常动作识别方法、装置、介质及电子设备
KR102423869B1 (ko) * 2020-10-14 2022-07-21 주식회사 엔씨소프트 가상 현실 게임 방송 서비스 방법과 이를 수행하기 위한 장치 및 시스템
CN116030059B (zh) * 2023-03-29 2023-06-16 南京邮电大学 基于轨迹的目标id重认证匹配方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009020800A (ja) * 2007-07-13 2009-01-29 Casio Comput Co Ltd 特徴点追跡装置及びプログラム
JP2010157093A (ja) * 2008-12-26 2010-07-15 Toyota Central R&D Labs Inc 運動推定装置及びプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0793556A (ja) * 1993-09-22 1995-04-07 Toshiba Corp 移動物体検出装置
US6041140A (en) * 1994-10-04 2000-03-21 Synthonics, Incorporated Apparatus for interactive image correlation for three dimensional image production
JP2897772B1 (ja) * 1998-06-01 1999-05-31 日本電気株式会社 画像位置合わせ方法、画像位置合わせ装置及び記録媒体
US7236646B1 (en) * 2003-04-25 2007-06-26 Orbimage Si Opco, Inc. Tonal balancing of multiple images
EP1780672A1 (en) * 2005-10-25 2007-05-02 Bracco Imaging, S.P.A. Method of registering images, algorithm for carrying out the method of registering images, a program for registering images using the said algorithm and a method of treating biomedical images to reduce imaging artefacts caused by object movement
JP4988408B2 (ja) * 2007-04-09 2012-08-01 株式会社デンソー 画像認識装置
US8189925B2 (en) * 2009-06-04 2012-05-29 Microsoft Corporation Geocoding by image matching

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009020800A (ja) * 2007-07-13 2009-01-29 Casio Comput Co Ltd 特徴点追跡装置及びプログラム
JP2010157093A (ja) * 2008-12-26 2010-07-15 Toyota Central R&D Labs Inc 運動推定装置及びプログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014117403A1 (en) * 2013-02-04 2014-08-07 Harman International Industries, Incorporated Method and system for detecting moving objects
US9852341B2 (en) 2013-02-04 2017-12-26 Harman International Industries, Incorporation Method and system for detecting moving objects
JP2014191695A (ja) * 2013-03-28 2014-10-06 Dainippon Printing Co Ltd 対応点決定装置、対応点決定方法、及びプログラム
JP2017097554A (ja) * 2015-11-20 2017-06-01 カシオ計算機株式会社 特徴点追跡装置、特徴点追跡方法及びプログラム

Also Published As

Publication number Publication date
JP5457606B2 (ja) 2014-04-02
US20140037212A1 (en) 2014-02-06
CN103460248A (zh) 2013-12-18
CN103460248B (zh) 2015-04-22
JPWO2012137621A1 (ja) 2014-07-28

Similar Documents

Publication Publication Date Title
JP5457606B2 (ja) 画像処理方法及び装置
US10417773B2 (en) Method and apparatus for detecting object in moving image and storage medium storing program thereof
US9607240B2 (en) Image processing apparatus, image capturing apparatus, image processing method, image capturing method, and non-transitory computer-readable medium for focus bracketing
KR101223046B1 (ko) 정지장면의 연속프레임 영상에 기반한 영상분할장치 및 방법
JP6935247B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US9563967B2 (en) Photographic subject tracking device and camera
US20160004935A1 (en) Image processing apparatus and image processing method which learn dictionary
JP7391907B2 (ja) 異常検出装置、異常検出方法、および異常検出プログラム
EP2591460A1 (en) Method, apparatus and computer program product for providing object tracking using template switching and feature adaptation
US20160156844A1 (en) Image capturing apparatus, image processing apparatus, image capturing system, image processing method, and storage medium
JP6924064B2 (ja) 画像処理装置およびその制御方法、ならびに撮像装置
KR20070016849A (ko) 얼굴 검출과 피부 영역 검출을 적용하여 피부의 선호색변환을 수행하는 방법 및 장치
JP6395429B2 (ja) 画像処理装置、その制御方法及び記憶媒体
CN114140744B (zh) 基于对象的数量检测方法、装置、电子设备及存储介质
JP6320053B2 (ja) 画像処理装置、画像処理方法、及びコンピュータプログラム
US20080226159A1 (en) Method and System For Calculating Depth Information of Object in Image
CN111160340B (zh) 一种运动目标检测方法、装置、存储介质及终端设备
JP2014021901A (ja) 被写体検出装置、被写体検出方法及びプログラム
JP2011071925A (ja) 移動体追尾装置および方法
JP6516646B2 (ja) 複数のカメラで撮影した画像から個々の被写体を識別する識別装置、識別方法及びプログラム
JP5754931B2 (ja) 画像解析装置、画像解析方法及びプログラム
JP2019220091A (ja) 画像処理装置、画像処理システム、および画像処理方法
JP2014056379A (ja) 画像処理装置及び画像処理方法
WO2015159585A1 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
US20240404026A1 (en) Image processing device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12768194

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013508815

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12768194

Country of ref document: EP

Kind code of ref document: A1