WO2012108088A1 - 相違領域検出システム及び相違領域検出方法 - Google Patents

相違領域検出システム及び相違領域検出方法 Download PDF

Info

Publication number
WO2012108088A1
WO2012108088A1 PCT/JP2011/077376 JP2011077376W WO2012108088A1 WO 2012108088 A1 WO2012108088 A1 WO 2012108088A1 JP 2011077376 W JP2011077376 W JP 2011077376W WO 2012108088 A1 WO2012108088 A1 WO 2012108088A1
Authority
WO
WIPO (PCT)
Prior art keywords
difference
area
image
detection system
different area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2011/077376
Other languages
English (en)
French (fr)
Inventor
野村　俊之
岩元　浩太
亮太 間瀬
直毅 藤田
良輔 高井
隆人 小澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to CN201180066973.XA priority Critical patent/CN103348380B/zh
Priority to US13/983,932 priority patent/US9424469B2/en
Priority to JP2012556754A priority patent/JP5991488B2/ja
Priority to EP11858173.5A priority patent/EP2674911B1/en
Publication of WO2012108088A1 publication Critical patent/WO2012108088A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G06V20/47—Detecting features for summarising video content
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/635—Overlay text, e.g. embedded captions in a TV programme
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Definitions

  • the present invention relates to a different area detection system and a different area detection method.
  • illegal videos generated from original videos have been flooded, which has become a social problem.
  • Examples of illegal moving images include those obtained by copying the original video as it is, those obtained by extracting a part of the video such as a highlight scene, and those modified from the original video by adding a telop or the like. Therefore, it is required to detect a video that is identical to the original video in consideration of the video modified in this way.
  • Patent Document 1 discloses a technique for determining the identity of two images. Specifically, in the technique disclosed in the cited document 1, the image identity is determined by generating a multi-dimensional feature vector for each image and comparing the feature vectors between the images. By applying such a technique to, for example, a part of frame images in a video, it is possible to determine the identity between videos even when the video is modified.
  • the technique disclosed in Patent Document 1 can determine the identity between videos, but the presence or absence of a telop, the difference in the contents of a telop, etc. between videos determined to be the same, etc.
  • the present invention has been made in view of such circumstances, and an object thereof is to detect a local difference area between images.
  • a different area detection system includes a first feature quantity vector that is a set of feature quantities corresponding to each of a plurality of partial areas in a first image, and a plurality of pieces in a second image. Generate inter-image difference information indicating the difference between the first and second images for each partial area based on the second feature quantity vector that is a set of feature quantities corresponding to each of the partial areas. Based on the difference in each partial area indicated by the difference information generation unit and the inter-image difference information, a different area that is an image area that is different between the first and second images is detected, and the detection result is shown. A different area detection unit that outputs detection information.
  • the “unit” does not simply mean a physical means, but includes a case where the function of the “unit” is realized by software. Also, even if the functions of one “unit” or device are realized by two or more physical means or devices, the functions of two or more “units” or devices are realized by one physical means or device. May be.
  • a local difference area between images can be detected.
  • FIG. 1 It is a figure which shows the structure of the different area
  • FIG. 1 is a diagram showing a configuration of a different area detection system according to an embodiment of the present invention.
  • the different area detection system 10 is a system that detects an area having a local difference between identical videos, and includes a feature amount extraction unit 20, a feature amount storage unit 21, a difference information generation unit 22, and a difference information storage unit. 23, a different area detection unit 24, a detection information storage unit 25, and a detection result output unit 26.
  • the local difference is also referred to as “local modification”.
  • the different area detection system 10 refers to a feature amount database (DB) 30 and a video database (DB) 32.
  • DB feature amount database
  • DB video database
  • the different area detection system 10 is configured by using one or a plurality of information processing apparatuses, and the feature amount extraction unit 20, the difference information generation unit 22, the different area detection unit 24, and the detection result output unit 26 include: This can be realized by the processor executing the program stored in the memory.
  • the feature amount storage unit 21 and the difference information storage unit 23 can be realized using a storage area such as a memory or a storage device.
  • FIG. 2 is a diagram illustrating an example of a different area detected by the different area detection system 10.
  • a different area is an area where local alteration has occurred.
  • FIG. 2 shows identical images 40 and 42.
  • the video 40 is, for example, a commercial CM video of a car that is newly sold, and a subtitle “March 1 debut!” Is displayed in the lower image area 44 of the frame image constituting the video 40. Yes.
  • the video 42 is a CM video of the same car, but is a CM video that is broadcast after sales of the car are started. Therefore, the subtitle displayed in the image area 46 below the frame image constituting the video 42 is “On sale now!”.
  • the different area detection system 10 can detect the different area 48 between the images 40 and 42. Similarly, the different area detection system 10 can detect, for example, a different area that is an area in which an illegal video generated from an original video is altered from the original video.
  • the feature quantity extraction unit 20 extracts a feature quantity vector from each of a plurality of frame images constituting the input video, and stores the feature quantity vector in the feature quantity storage unit 21.
  • the input video is, for example, a video being broadcast or a video uploaded to a video site.
  • the feature amount vector is a set of N feature amounts corresponding to N (N ⁇ 2) partial regions defined in the frame image. For example, a method described in International Publication No. 2010/0884714 Can be generated.
  • Each partial area corresponding to each dimension of the feature quantity vector includes, for example, a plurality of partial areas in the frame image.
  • the feature-value of each dimension can be produced
  • FIG. 3 is a diagram showing an example of area division of a frame image. As shown in FIG. 3, for example, each frame image can be divided into 32 ⁇ 32 1024 areas (divided areas). The partial area corresponding to each dimension in the feature vector is constituted by a combination of one or more divided areas.
  • FIG. 4 is a diagram showing an image when extracting feature values in the Mth dimension.
  • the partial areas corresponding to the Mth dimension are two partial areas 62 and 64.
  • the feature quantity extraction unit 20 may generate an M-th dimension feature quantity based on the difference between the feature quantity (area feature quantity) of the partial area 62 and the feature quantity (area feature quantity) of the partial area 64. it can.
  • the feature amount of each of the partial areas 62 and 64 can be calculated using an arbitrary method such as an average value or a median value of pixel values in each partial area.
  • the feature quantity extraction unit 20 can generate the Mth dimension feature quantity by quantizing the difference between the area feature quantities of the partial areas 62 and 64 into, for example, three values ( ⁇ 1, 0, 1). .
  • the feature quantity extraction unit 20 can generate an N-dimensional feature quantity vector by generating feature quantities for each dimension (first dimension to Nth dimension). Note that the feature value calculation method for each dimension described here is merely an example, and any method may be used as long as it is generated based on the feature value of the partial region set for each dimension.
  • FIG. 5 is a diagram showing an example of a feature quantity vector stored in the feature quantity storage unit 21.
  • the feature vector is stored in association with a video identifier for identifying an input video and sequence information indicating the temporal order of frame images.
  • the video identifier is for identifying a group of videos. For example, a video title, a program name, a file name, a URL (Uniform Resource Locator), or the like can be used.
  • the sequence information may be information that can grasp the order of the feature vector, and for example, a frame number or the like can be used. Note that there is no need for a video identifier if there is only one video input. Further, the sequence information may be omitted as long as the temporal order of the feature vector can be identified by the data storage structure or the like.
  • the difference information generation unit 22 compares the feature amount vector of the input video stored in the feature amount storage unit 21 with the feature amount vector stored in the feature amount DB 30, and is identical. A difference vector is generated from a feature vector between videos. Note that the difference information generation unit 22 can also generate a difference vector by comparing feature quantity vectors stored in the feature quantity DB 30. That is, the different area detection system 10 can also detect a different area between a plurality of videos in which feature quantity vectors are stored in the feature quantity DB 30.
  • FIG. 6 is a diagram illustrating an example of a feature amount vector stored in the feature amount DB 30.
  • the feature quantity DB 30 stores feature quantity vectors for a plurality of videos to be compared with the input video.
  • a video in which a feature vector is stored in the feature DB 30 is referred to as an original video.
  • the feature vector of the original video is stored in association with the video identifier for identifying the original video, the creation date and time of the original video, and the sequence information indicating the temporal order of the frame images.
  • FIG. 7 is a diagram illustrating a configuration example of the difference information generation unit 22.
  • the difference information generation unit 22 can be configured to include a feature amount comparison unit 70, a frame selection unit 72, and a difference information output unit 74.
  • the feature amount comparison unit 70 compares the feature amount vector of the input video and the feature amount vector of the feature amount DB 30 for each frame, for example.
  • the frame selection unit 72 selects a frame image that is determined to be identical between the input video and the original video based on the comparison result in the feature amount comparison unit 70. For determining the identity between frame images, for example, the number of dimensions in which feature quantities match between two feature quantity vectors, the number of dimensions in which feature quantities do not match, and the size of feature quantity vectors are compared. Can be done.
  • the difference information output unit 74 outputs difference area information indicating a dimension in which the feature amount difference is larger than a predetermined reference. Specifically, the difference information output unit 74 generates a difference vector from the feature amount vector of the frame image selected by the frame selection unit 72 and stores it in the difference information storage unit 23.
  • FIG. 8 is a diagram illustrating an example of generation of a difference vector in the difference information generation unit 22.
  • the dimension having the same feature quantity is “0” and the dimension having a different feature quantity is “1” between the feature quantity vector of the input video and the feature quantity vector of the original video.
  • the difference vector is a set of difference area information of each dimension.
  • the difference vector illustrated in FIG. 7 is an example, and different values may be set in each dimension of the difference vector depending on the difference between the feature amounts.
  • FIG. 9 is a diagram illustrating an example of a difference vector stored in the difference information storage unit 23.
  • the difference vector is stored together with the video identifier and sequence information of the input video and the original video.
  • the video identifier and sequence information may be different between the input video and the original video. Further, the sequence information of the input video or the original video may not be continuous.
  • the difference vector is used as the difference information between the feature vector of the input video and the original video.
  • the difference of the feature value for each partial area between the frame images of the input video and the original video can be determined. If so, it does not have to be a vector.
  • each element of the difference vector is set to “0” or “1”, but may be a value corresponding to a difference in feature amount.
  • the different area detection unit 24 detects a different area in the input video and the original video determined to be identical based on the difference vector stored in the difference information storage unit 23, and the detection result Is stored in the detection information storage unit 25.
  • FIG. 10 is a diagram illustrating a configuration example of the different area detection unit 24.
  • the different region detection unit 24 can be configured to include a region mapping unit 80, a smoothing unit 82, and a region detection unit 84.
  • the region mapping unit 80 refers to the difference vector, and maps the difference in the feature amount between the frame images of the input video and the original video to the corresponding partial region for each dimension. For example, it is assumed that the dimension having a value of “1” in the difference vector has different feature amounts in the partial area corresponding to this dimension between the input video and the original video. If the partial areas corresponding to this dimension are, for example, the partial areas 90 and 92 shown in the upper part of FIG. 11, the area mapping unit 80 (assignment unit) calculates the difference between the areas in the partial areas 90 and 92. For example, “1” is added to the value. The region mapping unit 80 performs such a mapping process for all dimensions having a difference in feature amount.
  • the smoothing unit 82 smoothes the difference value of each region generated by the mapping by the region mapping unit 80 between the frame images and within the frame images, that is, in the time and space directions.
  • An example of the smoothed difference value is shown in the lower part of FIG.
  • the area detection unit 84 detects a difference area between the input video and the original video based on the smoothed difference value, and stores detection information indicating the detection result in the detection information storage unit 25.
  • the region detection unit 84 can detect a region 94 (hereinafter referred to as a protruding region) in which a difference value smoothed in the time and space directions protrudes as a different region.
  • the protruding region may be, for example, a region having a difference value larger than the average value of the difference values of all the regions.
  • the area detection part 84 is good also as detecting the said protrusion area
  • the area detection unit 84 may detect the protruding area as a different area when the barycentric position of the protruding area is within a predetermined area. It should be noted that a predetermined value or area for detecting the different area does not have to be fixed, and may be variable according to the average value of the difference values, for example.
  • the difference value mapped in each frame image constituting the video is smoothed between a plurality of frames to detect a different area between the videos. Even by using only the difference value, it is possible to detect a different area between frame images to some extent.
  • the value added to the difference value of the region corresponding to the dimension having a difference in the feature amount is made uniform regardless of the region or dimension, but the value added to the difference value is changed depending on the region or dimension. It may be done. For example, if the feature quantity vector extracted by the feature quantity extraction unit 20 has a characteristic for performing video identity determination with a weight on the central area rather than the peripheral area of the frame image, a different area is selected. At the time of detection, weighting may be set for each region or dimension so that a difference in the peripheral region is considered rather than the central region.
  • FIG. 12 is a diagram illustrating an example of detection information stored in the detection information storage unit 25.
  • the detection information includes information related to a different area where a local alteration is detected.
  • the video identifier and section information of the input video and the original video, the different area information, the difference information, and the similarity information are included.
  • the section information is information indicating a video section, and for example, the playback time or frame number of the section in the video can be used.
  • the different area information is information indicating the position of the detected different area, and can be, for example, information indicating an area included in the different area among the divided areas shown in FIG.
  • the difference information is information indicating the degree of difference between videos in the different area.
  • the similarity information is information indicating the similarity between the input video and the original video that are determined to be identical. This similarity information can be output, for example, when the feature quantity comparison unit 70 compares feature quantity vectors.
  • the detection result output unit 26 determines whether the input video and the original video are based on the difference vector stored in the difference information storage unit 23 and the detection information stored in the detection information storage unit 25. Outputs information indicating the difference area. With reference to FIGS. 13 to 18, an example of the information output of the different area is shown.
  • the detection result output unit 26 can display a section in which a local alteration is detected, as shown in FIG.
  • the screen 110 includes an area 112 for displaying a video timeline and an area 114 for displaying a degree of difference between videos.
  • a video timeline 120 is displayed in the area 112, and a section 122 in which a different area is detected is displayed on the timeline 120. Further, a thumbnail image 124 in this section 122 is displayed below the section 122 in which the different area is detected.
  • the detection result output unit 26 can display the thumbnail image 124 by referring to the video DB 32, for example.
  • the different area detection unit 24 may include the thumbnail image of the input video in the section in which the different area is detected in the detection information. In this case, the detection result output unit 26 can also use the thumbnail image included in the detection information without referring to the video DB 32.
  • a difference degree graph 130 is displayed in the area 114.
  • the time axis that is the horizontal axis of the graph 130 is aligned with the time axis of the time line 120. Therefore, as shown in FIG. 13, the section 132 having a high degree of difference in the graph 130 and the section 122 in which the different area displayed on the timeline 120 is detected have the same time zone.
  • the detection result output unit 26 displays the screen 140 shown in FIG. Is output.
  • the screen 140 includes areas 142 and 143 in which the original video and the input video in the selected section are displayed.
  • the detection result output unit 26 acquires the section information of the selected section from the detection information, reproduces the original video in the section from the video DB 32 and displays it in the area 142, and displays the input video in the section in the area 143.
  • It is assumed that the input video is stored in a predetermined storage area (input video storage unit) inside or outside the different area detection system 10.
  • the detection result output part 26 can display the frames 144 and 145 which show the position of the detected different area on the video displayed on the areas 142 and 143.
  • the display of “frame” is an example, and any display method for easily identifying the position of the different area can be adopted.
  • the detection result output unit 26 may output a 3D image so that the position of the different area can be identified.
  • FIG. 15 shows images 146-1 and 146-2 displayed in the area 142 shown in FIG.
  • the video 146-1 is a video for the left eye, and the area indicated by the frame 144 in FIG. 14 is shifted to the right and displayed in the area 147-1.
  • the video 146-2 is a video for the right eye, and the area shown by the frame 144 in FIG. 14 is shifted to the left and displayed in the area 147-2.
  • Such videos 146-1 and 146-2 are displayed as left-eye and right-eye videos in the area 142 shown in FIG. 14, respectively, so that the different areas can be displayed in three dimensions.
  • the video displayed in the region 143 can be displayed in a three-dimensional manner in the same manner.
  • the video is displayed so that the position of the different area can be identified, it is necessary to visually compare all the areas in the video displayed in the areas 142 and 143 when checking the difference between the videos. However, it is only necessary to compare the areas where the positions of the different areas can be identified, and the workload can be reduced.
  • the detection result output unit 26 can estimate the original video of the modification source and display a section in which local modification has occurred between the estimated original video and the input video. For example, the detection result output unit 26 can display a screen as shown in FIG.
  • the screen 150 shown in FIG. 16 includes an area 152 in which information related to an original video that is a candidate for modification source is displayed, and an area 154 in which information related to an input video is displayed. As shown in FIG. 16, the area 154 is provided with an area 156 in which information related to the input video is displayed. In addition, the area 152 is provided with areas 158-1 and 158-2 in which information about two original videos that are candidates for modification sources for the input video is displayed.
  • the detection result output unit 26 is based on the detection information stored in the detection information storage unit 25 and the information stored in the feature amount DB 30. Estimate the original video of the modification source.
  • the method of estimating the original video of the modification source can be selected using, for example, a list box 160 as shown in FIG.
  • the detection result output unit 26 estimates an original video as a modification source from a plurality of original videos according to the selected method.
  • the modification source for example, a method that prioritizes a video that matches the input video, that is, a video that takes a long time to be determined to be identical, or a method that prioritizes a video having a high similarity to the input video There is a method of giving priority to a video that does not cause a contradiction in the context of the creation date and time with the input video.
  • the similarity information stored in the detection information storage unit 25 can be used for the similarity with the input video.
  • the match time with the input video is selected as the estimation method of the modification source.
  • the match time between the original video and the input video shown in the region 158-1 is 5 minutes
  • the match time between the original video and the input video shown in the region 158-2 is 12 minutes. Therefore, the detection result output unit 26 estimates the original video shown in the area 158-2 as a modification source, and can identify the estimated original video of the modification source by, for example, highlighting the area 158-2. it's shown.
  • the detection result output unit 26 displays the section in which the local modification is performed from the estimated original video of the modification source in an input video so as to be identifiable. For example, as shown in FIG. 16, the detection result output unit 26 displays the timeline of the original video and the input video with the time axis aligned, and then from the estimated modification source on the timeline of the input video. Displays the section where local modification was performed. Further, as shown in FIG. 16, the detection result output unit 26 can display the section in which the modification is “local modification” along with the section in which the local modification has been performed.
  • the detection result output unit 26 outputs the screen 140 shown in FIG. The input video and the original video are displayed.
  • the detection result output unit 26 inputs the original video of the modification source estimated by the selected estimation method. A section in which local modification has occurred with the video is displayed. Further, even when another original video is selected on the screen 150 by clicking or the like instead of changing the estimation method, the detection result output unit 26 causes local modification using the selected original video as a modification source. Display the interval. For example, in the screen 150 shown in FIG. 16, when the region 158-1 is selected by clicking or the like, as shown in FIG. 17, a local alteration occurs with the original video shown in the region 158-1 as the alteration source. The current section is displayed.
  • the section in which the local modification occurs between the original video estimated as the modification source and the input video is displayed. Can do. Then, by selecting the displayed section, the video in this section can be confirmed. Therefore, when there are a plurality of original videos that are candidates for the modification source for the input video, it is possible to reduce the work load when confirming the modification content.
  • the detection result output unit 26 makes it easy to understand which shot has undergone modification when displaying a section in which local modification has occurred between the original video estimated as the modification source and the input video. can do.
  • the detection result output unit 26 can display a screen as shown in FIG.
  • the thumbnail image 190 of the original video is displayed in the area 182
  • the thumbnail image 192 of the input video is displayed in the area 184.
  • it is a common technique to generate the thumbnail image by, for example, dividing the target video into shots. This shot division can be performed, for example, by detecting the timing when the feature vector changes greatly in the frame image included in the video. Then, a thumbnail image is generated from a representative frame image in each shot.
  • the detection result output unit 26 may further perform shot division for a shot in which local modification is detected among shots divided by a general method, and generate a thumbnail image depending on the presence or absence of local modification. it can.
  • the detection result output unit 26 performs a further shot division depending on the presence or absence of the local modification in each shot, thereby performing the local modification. Shots that match the timing can be generated. And the detection result output part 26 can display the thumbnail image 200 of the shot of the timing when local modification was performed, for example. Further, the detection result output unit 26 can display the information 202 that can identify that “local modification” has occurred in this section, along with the thumbnail image 200 of the shot at the timing when the local modification has been performed. The same applies to the other shots 196, 198.
  • general shot division processing may be performed before being input to the different area detection system 10 or may be performed by a shot division unit provided in the different area detection system 10. .
  • FIG. 19 is a flowchart illustrating an example of a different area detection process in the different area detection system 10.
  • the feature quantity extraction unit 20 extracts a feature quantity vector for each frame image of the input video and stores it in the feature quantity storage unit 21 (S1901).
  • the feature amount comparison unit 70 compares the feature amount vector of the input video stored in the feature amount storage unit 21 with the feature amount vector of the original video stored in the feature amount DB 30 (S1902).
  • the frame selection unit 72 selects identical frame images based on the comparison result from the feature amount comparison unit 70 (S1903).
  • the difference information output unit 74 stores the difference vector for the selected frame image in the difference information storage unit 23 (S1904).
  • the region mapping unit 80 maps the difference value to the region corresponding to the dimension in which the difference is generated in the feature amount based on the difference vector stored in the difference information storage unit 23 (S1905).
  • the smoothing unit 82 smoothes the mapped difference value in the time and space directions (S1906).
  • the area detecting unit 84 detects a different area between the input video and the original video based on the smoothed difference value, and stores the detection information in the detection information storage unit 25 (S1907).
  • the detection result output unit 26 outputs information indicating a different area between the identical input video and the original video based on the detection information stored in the detection information storage unit 25 (S1908). .
  • the difference area detection system 10 of the present embodiment has been described above. According to the different area detection system 10, instead of simply comparing the distances between the feature quantity vectors, the difference between the feature quantities for each dimension of the feature quantity vector is mapped to the partial area corresponding to each dimension, thereby making the same It is possible to detect a difference area between images having a characteristic.
  • the different area detection system 10 it is possible to specify a section having the sameness between the images to be compared, and to detect the different area in the specified section.
  • the different area detection system 10 it is possible to detect a different area in consideration of the dimension of the difference vector or the weight set for each area. For example, if the feature vector used to determine the identity more closely reflects the feature of the central part than the peripheral part of the image area, the detection of the peripheral part The weight of the area may be increased. For example, since a telop is often added to the lower part of the image area, increasing the weight of the lower part area is effective in detecting a different area between videos having a different telop. . In addition, for example, even when there is identity between videos and there is no local difference, the difference in the outermost peripheral portion of the image area may be large. For this reason, the weight of the outermost peripheral portion of the image area may be lowered.
  • the position of the detected different area can be displayed in an identifiable manner. Accordingly, the user can easily confirm the position of the different area between identical videos.
  • the different area detection system 10 it is possible to display a section in which a different area is generated in the video in an identifiable manner. Therefore, when the user checks the content that differs between videos, the user only has to check the video of the section, not the entire video, so the workload can be reduced.
  • this embodiment is for making an understanding of this invention easy, and is not for limiting and interpreting this invention.
  • the present invention can be changed / improved without departing from the spirit thereof, and the present invention includes equivalents thereof.
  • a part or all of the present embodiment can be described as in the following supplementary notes, but is not limited thereto.
  • (Supplementary Note 1) A first feature vector that is a set of feature amounts corresponding to each of a plurality of partial regions in the first image, and a feature corresponding to each of the plurality of partial regions in the second image.
  • a difference information generation unit that generates inter-image difference information indicating a difference for each partial region of the feature amount between the first and second images, based on a second feature amount vector that is a set of amounts. Detection information indicating a detection result by detecting a different area which is an image area having a difference between the first and second images based on the difference in each partial area indicated by the inter-image difference information.
  • a different area detection system that outputs a different area detection unit.
  • (Additional remark 2) It is a different area detection system of Additional remark 1, Comprising: The said partial area contains at least 1 division area, The said different area detection part of each partial area is based on the said difference information between images.
  • a different area detection system that detects the different area in units of the divided areas by assigning a difference value corresponding to the difference to each divided area.
  • region detection system of Additional remark 1 Comprising: A said 1st image is a 1st frame image which comprises a 1st image
  • the difference information generation unit generates the inter-image difference information for a plurality of pairs of the first and second images.
  • the different area detection unit detects the different area in the first and second videos based on the inter-image difference information for the plurality of pairs of the first and second images. system. (Additional remark 4) It is a different area
  • the divided regions By assigning a difference value corresponding to the difference to each of the divided regions and smoothing the difference values in a plurality of pairs of the first and second images between frame images, the divided regions as a unit A different area detection system for detecting the different area.
  • the said different area detection part smoothes the said difference value in several pairs of the said 1st and 2nd image within a frame image.
  • a different area detection system for detecting the different area (Supplementary note 6)
  • the different area detection system according to any one of supplementary notes 3 to 5, wherein the difference information generation unit includes a plurality of the first feature quantity vectors and a plurality of the second feature quantities.
  • Difference area detection system Based on the vector, a plurality of pairs of the first and second images having a feature vector difference smaller than a predetermined reference is selected, and the inter-image difference information in the selected plurality of pairs is output.
  • Difference area detection system (Supplementary note 7) The different region detection system according to any one of supplementary notes 3 to 6, wherein the different region detection unit includes a weight set for each partial region, the first and second A different area detection system that detects the different area based on the difference values in a plurality of pairs of images.
  • the different area detection system according to any one of supplementary notes 3 to 7, wherein the difference information generation unit includes a plurality of the first feature quantity vectors in the first video, Based on the plurality of second feature amount vectors in each of the second videos, the first video and the second video of one of the plurality of second videos, A different area detection system for selecting a plurality of pairs of first and second images.
  • generation part is a plurality of said 1st feature-value vector in each of several said 1st image
  • a different area detection system for selecting a plurality of pairs of the first and second images in two videos.
  • the different region detection system according to any one of supplementary notes 1 to 9, wherein the position of the different region between the first and second images can be identified based on the detection information.
  • a different area detection system further comprising a detection result output unit for displaying.
  • the different area detection system according to any one of supplementary notes 3 to 9, wherein the position of the different area between the first and second images can be identified based on the detection information.
  • a different area detection system further comprising a detection result output unit for displaying.
  • a detection result output unit for displaying.
  • the said different area detection part uses the information which shows the area in which the said different area was detected between the said 1st and 2nd image
  • the detection result output unit displays the section in which the different area is detected in an identifiable manner based on the detection information.
  • the said different area detection part includes the information which shows the degree of difference in the said different area in the said detection information, and outputs the said detection result output part Is a different area detection system for displaying the degree of difference in the different area in an identifiable manner based on the detection information.
  • the said detection result output part is the said 1st and 2nd in the said area according to the user input which selects the area where the said different area was detected. System for displaying different areas.
  • a second feature quantity vector that is a set of quantities inter-image difference information indicating a difference for each of the partial areas of the feature quantity between the first and second images is generated, and Based on the difference in each partial area indicated by the difference information, a difference area which is an image area having a difference between the first and second images is detected, and detection information indicating a detection result is output.
  • Area detection method is indicating a difference for each of the partial areas of the feature quantity between the first and second images.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

　画像間における局所的な相違領域を検出する。第１の画像内における複数の部分領域のそれぞれに対応する特徴量の集合である第１の特徴量ベクトルと、第２の画像内における複数の部分領域のそれぞれに対応する特徴量の集合である第２の特徴量ベクトルとに基づいて、第１及び第２の画像間における、特徴量の部分領域ごとの差分を示す画像間差分情報を生成し、画像間差分情報によって示される、各部分領域における差分に基づいて、第１及び第２の画像間において相違のある画像領域である相違領域を検出し、検出結果を示す検出情報を出力する。

Description

相違領域検出システム及び相違領域検出方法
　本発明は、相違領域検出システム及び相違領域検出方法に関する。
　近年、インターネット上の動画サイトの普及に伴い、オリジナルの映像から生成された違法動画が氾濫し、社会的な問題となっている。違法動画としては、例えば、元の映像をそのままコピーしたものや、ハイライトシーン等の一部の映像を抜き出したものの他に、テロップの追加等によって元の映像から改変されたものがある。そこで、このように改変された映像も考慮したうえで、元の映像と同一性のある映像を検出することが求められている。
　例えば、特許文献１には、２つの画像の同一性を判定する手法が開示されている。具体的には、引用文献１に開示されている手法では、各画像について複数次元の特徴量ベクトルを生成し、画像間で特徴量ベクトルを比較することにより、画像の同一性が判定される。このような手法を、例えば、映像中の一部のフレーム画像に適用することにより、映像に改変が施されている場合であっても、映像間の同一性を判定することが可能となる。
国際公開第２０１０／０８４７１４号
　ところで、上述したように、特許文献１に開示されている手法では、映像間の同一性を判定することができるものの、同一と判定された映像間において、テロップの有無やテロップの内容の差異等の局所的な相違がある場合に、相違領域がどこであるのかを判別することができない。例えば、上記手法によって、テロップが追加された映像を元の映像と同一性のある映像であると判定できたとしても、どこにテロップが追加されたのかを確認するためには、同一性があると判定された映像を再生する必要があり、作業負荷が非常に高くなってしまう。
　本発明はこのような事情に鑑みてなされたものであり、画像間における局所的な相違領域を検出することを目的とする。
　本発明の一側面に係る相違領域検出システムは、第１の画像内における複数の部分領域のそれぞれに対応する特徴量の集合である第１の特徴量ベクトルと、第２の画像内における複数の部分領域のそれぞれに対応する特徴量の集合である第２の特徴量ベクトルとに基づいて、第１及び第２の画像間における、特徴量の部分領域ごとの差分を示す画像間差分情報を生成する差分情報生成部と、画像間差分情報によって示される、各部分領域における差分に基づいて、第１及び第２の画像間において相違のある画像領域である相違領域を検出し、検出結果を示す検出情報を出力する相違領域検出部と、を備える。
　なお、本発明において、「部」とは、単に物理的手段を意味するものではなく、その「部」が有する機能をソフトウェアによって実現する場合も含む。また、１つの「部」や装置が有する機能が２つ以上の物理的手段や装置により実現されても、２つ以上の「部」や装置の機能が１つの物理的手段や装置により実現されても良い。
　本発明によれば、画像間における局所的な相違領域を検出することができる。
本発明の一実施形態である相違領域検出システムの構成を示す図である。 相違領域検出システムにおいて検出される相違領域の一例を示す図である。 フレーム画像の領域分割の一例を示す図である。 第Ｍ次元における特徴量を抽出する際のイメージを示す図である。 特徴量記憶部に格納される特徴量ベクトルの一例を示す図である。 特徴量ＤＢに格納される特徴量ベクトルの一例を示す図である。 差分情報生成部の構成例を示す図である。 差分情報生成部における差分ベクトルの生成の一例を示す図である。 差分情報記憶部に格納される差分ベクトルの一例を示す図である。 相違領域検出部の構成例を示す図である。 差分値のマッピング及び相違領域の検出の一例を示す図である。 検出情報記憶部に格納される検出情報の一例を示す図である。 局所改変が検出された区間を識別可能に表示する画面の一例である。 相違領域の位置を識別可能に表示する画面の一例である。 相違領域の位置を三次元で識別可能に表示する画面の一例である。 改変元の候補となるオリジナル映像が複数存在する場合における相違領域の検出結果の出力画面の一例である。 改変元の候補となるオリジナル映像が複数存在する場合における相違領域の検出結果の出力画面の一例である。 局所改変を考慮したショット分割が行われた場合の出力画面の一例である。 相違領域検出処理の一例を示すフローチャートである。
　以下、図面を参照して本発明の一実施形態について説明する。
　図１は、本発明の一実施形態である相違領域検出システムの構成を示す図である。相違領域検出システム１０は、同一性のある映像間において局所的な相違のある領域を検出するシステムであり、特徴量抽出部２０、特徴量記憶部２１、差分情報生成部２２、差分情報記憶部２３、相違領域検出部２４、検出情報記憶部２５、及び検出結果出力部２６を含んで構成される。なお、本実施形態では、局所的な相違のことを「局所改変」とも呼ぶ。また、相違領域検出システム１０は、特徴量データベース（ＤＢ）３０及び映像データベース（ＤＢ）３２を参照する。なお、相違領域検出システム１０は、１台または複数台の情報処理装置を用いて構成され、特徴量抽出部２０、差分情報生成部２２、相違領域検出部２４、及び検出結果出力部２６は、メモリに記憶されたプログラムをプロセッサが実行することにより実現することができる。また、特徴量記憶部２１及び差分情報記憶部２３は、メモリや記憶装置等の記憶領域を用いて実現することができる。
　図２は、相違領域検出システム１０において検出される相違領域の一例を示す図である。なお、相違領域とは、局所改変が発生している領域のことである。図２には、同一性のある映像４０，４２が示されている。映像４０は、例えば、新しく販売が開始される自動車のＣＭ映像であり、映像４０を構成するフレーム画像の下側の画像領域４４には、「３月１日デビュー！」という字幕が表示されている。一方、映像４２は、同じ自動車のＣＭ映像ではあるが、自動車の販売が開始された後に放送されるＣＭ映像である。そのため、映像４２を構成するフレーム画像の下側の画像領域４６に表示される字幕は、「好評発売中！」となっている。これら２つの映像４０，４２は、字幕の内容が異なるのみであるため、映像全体としては同一性があるとみなされる。そして、相違領域検出システム１０では、映像４０，４２間における相違領域４８を検出することができる。同様に、相違領域検出システム１０では、例えば、オリジナル映像から生成された違法動画について、オリジナル映像から改変が行われている領域である相違領域を検出することができる。
　図１に戻り、相違領域検出システム１０を構成する各部の詳細について説明する。
　特徴量抽出部２０は、入力映像を構成する複数のフレーム画像のそれぞれから、特徴量ベクトルを抽出し、特徴量記憶部２１に格納する。ここで、入力映像は、例えば、放送中の映像や動画サイトにアップロードされている映像である。特徴量ベクトルは、フレーム画像内で定義されたＮ個（Ｎ≧２）の部分領域に対応するＮ個の特徴量の集合であり、例えば、国際公開第２０１０／０８４７１４号に記載されている手法により生成することができる。特徴量ベクトルの各次元に対応する各部分領域は、例えば、フレーム画像内における複数の部分領域を含んでいる。そして、各次元の特徴量は、例えば、各次元に対応する複数の部分領域の特徴量の差分に基づいて生成することができる。
　図３は、フレーム画像の領域分割の一例を示す図である。図３に示すように、例えば、各フレーム画像は３２×３２の１０２４の領域（分割領域）に分割することができる。特徴量ベクトルにおける各次元に対応する部分領域は、１つ以上の分割領域の組み合わせにより構成される。
　図４は、第Ｍ次元における特徴量を抽出する際のイメージを示す図である。図４の例では、第Ｍ次元に対応する部分領域は、２つの部分領域６２，６４である。そして、特徴量抽出部２０は、部分領域６２の特徴量（領域特徴量）と部分領域６４の特徴量（領域特徴量）との差分に基づいて、第Ｍ次元の特徴量を生成することができる。ここで、各部分領域６２，６４の特徴量は、例えば、それぞれの部分領域における画素値の平均値やメディアン値等、任意の手法を用いて算出することができる。そして、特徴量抽出部２０は、部分領域６２，６４の領域特徴量の差分を例えば３値（－１，０，１）に量子化することにより、第Ｍ次元特徴量を生成することができる。特徴量抽出部２０は、各次元（第１次元～第Ｎ次元）について特徴量を生成することにより、Ｎ次元の特徴量ベクトルを生成することができる。なお、ここで説明した各次元の特徴量の算出手法は一例であり、次元ごとに設定された部分領域の特徴量に基づいて生成されるものであればよい。
　図５は、特徴量記憶部２１に格納される特徴量ベクトルの一例を示す図である。図５に示すように、特徴量ベクトルは、入力映像を識別する映像識別子と、フレーム画像の時間的順序を示すシーケンス情報とに対応付けられて記憶されている。ここで、映像識別子とは、ひとまとまりの映像を識別するためのものであり、例えば、映像のタイトルや番組名、ファイル名、ＵＲＬ（Uniform Resource Locator）等を用いることができる。また、シーケンス情報は、特徴量ベクトルの順序を把握することができる情報であればよく、例えば、フレーム番号などを用いることができる。なお、入力される映像が１つの場合であれば映像識別子はなくてもよい。また、データの格納構造等によって特徴量ベクトルの時間的順序を識別可能であれば、シーケンス情報はなくてもよい。
　図１に戻り、差分情報生成部２２は、特徴量記憶部２１に格納されている入力映像の特徴量ベクトルと、特徴量ＤＢ３０に格納されている特徴量ベクトルとを比較し、同一性のある映像間の特徴量ベクトルから差分ベクトルを生成する。なお、差分情報生成部２２は、特徴量ＤＢ３０に格納されている特徴量ベクトル同士を比較して差分ベクトルを生成することもできる。つまり、相違領域検出システム１０では、特徴量ＤＢ３０に特徴量ベクトルが格納されている複数の映像間において相違領域を検出することも可能である。
　図６は、特徴量ＤＢ３０に格納される特徴量ベクトルの一例を示す図である。特徴量ＤＢ３０には、入力映像との比較対象となる複数の映像についての特徴量ベクトルが格納されている。本実施形態では、特徴量ＤＢ３０に特徴量ベクトルが格納されている映像をオリジナル映像と呼ぶこととする。図６に示すように、オリジナル映像の特徴量ベクトルは、オリジナル映像を識別する映像識別子、オリジナル映像の作成日時、及びフレーム画像の時間的順序を示すシーケンス情報と対応付けられて記憶されている。
　図７は、差分情報生成部２２の構成例を示す図である。図７に示すように、差分情報生成部２２は、特徴量比較部７０、フレーム選択部７２、及び差分情報出力部７４を含んで構成することができる。
　特徴量比較部７０は、入力映像の特徴量ベクトルと、特徴量ＤＢ３０の特徴量ベクトルとを例えばフレームごとに比較する。フレーム選択部７２は、特徴量比較部７０での比較結果に基づいて、入力映像とオリジナル映像との間で同一性があると判定されるフレーム画像を選択する。なお、フレーム画像間の同一性の判定については、例えば、２つの特徴量ベクトル間で特徴量が一致する次元の数や、特徴量が一致しない次元の数、特徴量ベクトルの大きさを比較することにより行うことができる。差分情報出力部７４は、特徴量の差分が所定の基準より大きい次元を示す差分領域情報を出力する。具体的には、差分情報出力部７４は、フレーム選択部７２によって選択されたフレーム画像の特徴量ベクトルから差分ベクトルを生成して差分情報記憶部２３に格納する。
　図８は、差分情報生成部２２における差分ベクトルの生成の一例を示す図である。図８に示す差分ベクトルの例では、入力映像の特徴量ベクトルとオリジナル映像の特徴量ベクトルとの間で、特徴量が同じ次元は「０」、特徴量が異なる次元は「１」となっている。つまり、差分ベクトルは、各次元の差分領域情報の集合となっている。なお、図７に示す差分ベクトルは一例であり、特徴量の差分の大きさに応じて異なる値が差分ベクトルの各次元に設定されることとしてもよい。
　図９は、差分情報記憶部２３に格納される差分ベクトルの一例を示す図である。図９に示すように、差分ベクトルは、入力映像及びオリジナル映像の映像識別子及びシーケンス情報とともに格納される。図９に示すように、入力映像及びオリジナル映像の間では、映像識別子やシーケンス情報は異なっていてもよい。また、入力映像またはオリジナル映像のシーケンス情報は連続でなくてもよい。
　なお、本実施形態では、入力映像及びオリジナル映像の特徴量ベクトルの差分情報として差分ベクトルを用いることとしたが、入力映像及びオリジナル映像のフレーム画像間における部分領域ごとの特徴量の差分を判別可能であればベクトルでなくてもよい。また、本実施形態では、差分ベクトルの各要素を「０」または「１」としたが、特徴量の差分に応じた値としてもよい。
　図１に戻り、相違領域検出部２４は、差分情報記憶部２３に格納されている差分ベクトルに基づいて、同一性があると判定された入力映像及びオリジナル映像における相違領域を検出し、検出結果を示す検出情報を検出情報記憶部２５に格納する。
　図１０は、相違領域検出部２４の構成例を示す図である。相違領域検出部２４は、領域マッピング部８０、平滑化部８２、及び領域検出部８４を含んで構成することができる。
　領域マッピング部８０は、差分ベクトルを参照し、入力映像及びオリジナル映像のフレーム画像間における特徴量の差分を、次元ごとに対応する部分領域にマッピングする。例えば、差分ベクトルにおいて値が「１」である次元は、この次元に対応する部分領域における特徴量が入力映像とオリジナル映像とで異なっていることとする。そして、この次元に対応する部分領域が、例えば、図１１の上段に示す部分領域９０，９２であるとすると、領域マッピング部８０（割当部）は、部分領域９０，９２内の各領域の差分値に例えば「１」を加算する。領域マッピング部８０は、このようなマッピング処理を、特徴量に差異がある全ての次元に対して行う。
　平滑化部８２は、領域マッピング部８０によるマッピングにより生成された各領域の差分値を、フレーム画像間及びフレーム画像内、すなわち、時間及び空間方向に平滑化する。図１１の下段には、平滑化された差分値の一例が示されている。
　領域検出部８４は、平滑化された差分値に基づいて、入力映像及びオリジナル映像の間における相違領域を検出し、検出結果を示す検出情報を検出情報記憶部２５に格納する。例えば、領域検出部８４は、図１１の下段に示されるように、時間及び空間方向に平滑化された差分値が突出している領域９４（以下、突出領域）を相違領域として検出することができる。ここで、突出領域は、例えば、全領域の差分値の平均値よりも大きな差分値を有する領域としてもよい。そして、領域検出部８４は、この突出領域の大きさがあらかじめ定めた値よりも大きい場合に、当該突出領域を相違領域として検出することとしてもよい。あるいは、領域検出部８４は、突出領域の重心位置があらかじめ定めた領域内にある場合に、当該突出領域を相違領域と検出してもよい。なお、相違領域を検出するためのあらかじめ定めた値や領域は固定である必要はなく、例えば、差分値の平均値に応じて可変としてもよい。
　なお、本実施形態では、映像を構成する各フレーム画像においてマッピングされた差分値を複数のフレーム間で平滑化することにより、映像間における相違領域を検出することとしているが、一対のフレーム画像における差分値を用いるだけでも、フレーム画像間の相違領域をある程度は検出することが可能である。
　また、本実施形態では、領域や次元によらず、特徴量に差異がある次元に対応する領域の差分値に加算する値を一律としたが、領域や次元によって差分値に加算する値が変更されることとしてもよい。例えば、特徴量抽出部２０によって抽出される特徴量ベクトルが、フレーム画像の周辺領域よりも中央領域に重みをおいて映像の同一性判定を行うための特性を有する場合であれば、相違領域を検出する際には、中央領域よりも周辺領域における差分が考慮されるように、領域や次元ごとに重みづけが設定されることとしてもよい。
　図１２は、検出情報記憶部２５に格納される検出情報の一例を示す図である。図１２に示すように、検出情報には、局所改変が検出された相違領域に関する情報が含まれている。具体的には、図１２に示す例では、入力映像及びオリジナル映像の映像識別子及び区間情報、相違領域情報、相違度情報、及び類似度情報が含まれている。ここで、区間情報は映像区間を示す情報であり、例えば、映像内における該区間の再生時間やフレーム番号等を用いることができる。また、相違領域情報は、検出された相違領域の位置を示す情報であり、例えば、図３に示した分割領域のうち相違領域に含まれる領域を示す情報とすることができる。また、相違度情報は、相違領域における映像間の相違度合いを示す情報である。なお、図１２には、各区間に対する相違情報として１つの数値のみを示しているが、各区間内における相違度の変化を示す情報を用いることもできる。また、類似度情報は、同一性があると判定された入力映像及びオリジナル映像の間における類似度を示す情報である。この類似度情報は、例えば、特徴量比較部７０が、特徴量ベクトルを比較する際に出力することができる。
　図１に戻り、検出結果出力部２６は、差分情報記憶部２３に格納されている差分ベクトルと、検出情報記憶部２５に格納されている検出情報とに基づいて、入力映像及びオリジナル映像の間における相違領域を示す情報を出力する。図１３～図１８を参照して、相違領域の情報出力の一例を示す。
　検出結果出力部２６は、図１３に示すように、局所改変が検出された区間を表示することができる。画面１１０には、映像のタイムラインを表示する領域１１２と、映像間の相違度が表示される領域１１４とが含まれている。
　図１３の例では、領域１１２には、映像のタイムライン１２０が表示され、相違領域が検出された区間１２２がタイムライン１２０上に表示されている。さらに、相違領域が検出された区間１２２の下には、この区間１２２におけるサムネイル画像１２４が表示されている。ここで、検出結果出力部２６は、例えば、映像ＤＢ３２を参照することにより、サムネイル画像１２４を表示することができる。また、相違領域検出部２４が、相違領域が検出された区間における入力映像のサムネイル画像を検出情報に含ませておくこととしてもよい。この場合、検出結果出力部２６は、映像ＤＢ３２を参照することなく、検出情報に含まれるサムネイル画像を用いることも可能である。
　また、図１３の例では、領域１１４には、相違度のグラフ１３０が表示されている。このグラフ１３０の横軸である時間軸は、タイムライン１２０の時間軸に合わされている。したがって、図１３に示すように、グラフ１３０において相違度が高い区間１３２と、タイムライン１２０上に表示されている相違領域が検出された区間１２２とは同一の時間帯となっている。
　このように、タイムライン１２０や相違度のグラフ１３０を表示することにより、どの区間で相違領域が検出されたかを容易に確認することができる。また、サムネイル画像１２４が表示されることにより、映像中のどのような場面で相違が発生しているかを確認することができる。なお、図１３に示した画面１１０では、領域１１２，１１４が表示されているが、いずれか一方の領域のみが表示されることとしてもよい。
　図１３に示す画面において、相違領域が検出された区間を示す、区間１２２や区間１３２、もしくは、サムネイル画像１２４がクリック等によって選択されると、検出結果出力部２６は、図１４に示す画面１４０を出力する。
　画面１４０には、選択された区間におけるオリジナル映像及び入力映像が表示される領域１４２，１４３が含まれている。検出結果出力部２６は選択された区間の区間情報を検出情報から取得し、該区間におけるオリジナル映像を映像ＤＢ３２から再生して領域１４２に表示するとともに、該区間における入力映像を領域１４３に表示する。なお、入力映像は、相違領域検出システム１０の内部もしくは外部において、所定の記憶領域（入力映像記憶部）に格納されていることとする。
　そして、図１４に示すように、検出結果出力部２６は、領域１４２，１４３に表示される映像の上に、検出された相違領域の位置を示す枠１４４，１４５を表示することができる。なお、「枠」の表示は一例であり、相違領域の位置を識別しやすくするための任意の表示手法を採用することができる。例えば、検出結果出力部２６は、図１５に示すように、相違領域の位置を識別可能とするために、三次元映像を出力することとしてもよい。図１５には、図１４に示した領域１４２に表示される映像１４６－１，１４６－２が示されている。映像１４６－１は、左目用の映像であり、図１４では枠１４４で示されていた領域が右側にずらされて領域１４７－１に表示されている。また、映像１４６－２は、右目用の映像であり、図１４では枠１４４で示されていた領域が左側にずらされて領域１４７－２に表示されている。このような映像１４６－１，１４６－２が、それぞれ、図１４に示された領域１４２に左目用及び右目用の映像として表示されることにより、相違領域を立体表示することが可能となる。領域１４３に表示される映像についても同様に立体表示することが可能である。
　このように、相違領域の位置を識別可能に映像が表示されることにより、映像間の差異を確認する際に、領域１４２，１４３に表示される映像中の全領域を目視で比較する必要がなく、相違領域の位置を識別可能に表示された領域のみを比較すればよく、作業負荷を軽減することができる。
　また、ある入力映像に対する改変元の候補となるオリジナル映像が複数存在する場合がある。このような場合、検出結果出力部２６は、改変元のオリジナル映像を推定し、推定されたオリジナル映像と入力映像との間において局所改変が発生している区間を表示することができる。例えば、検出結果出力部２６は、図１６に示すような画面を表示することができる。
　図１６に示す画面１５０は、改変元の候補となるオリジナル映像に関する情報が表示される領域１５２と、入力映像に関する情報が表示される領域１５４とを含んでいる。図１６に示すように、領域１５４には、入力映像に関する情報が表示される領域１５６が設けられている。また、領域１５２には、この入力映像に対する改変元の候補となる２つのオリジナル映像に関する情報が表示される領域１５８－１，１５８－２が設けられている。
　このように改変元の候補となるオリジナル映像が複数存在する場合、検出結果出力部２６は、検出情報記憶部２５に格納されている検出情報や、特徴量ＤＢ３０に格納されている情報に基づいて、改変元のオリジナル映像を推定する。改変元のオリジナル映像の推定方法は、例えば、図１６に示すようにリストボックス１６０等を用いて選択することができる。検出結果出力部２６は、選択された方法に従って、複数のオリジナル映像の中から改変元となるオリジナル映像を推定する。改変元の推定方法としては、例えば、入力映像とマッチする時間、すなわち、同一性があると判定される時間が長い映像を優先する方法や、入力映像との類似度が高い映像を優先する方法、入力映像との間で作成日時の前後関係に矛盾が生じない映像を優先する方法等がある。なお、入力映像との類似度については、例えば、検出情報記憶部２５に格納されている類似度情報を用いることができる。
　図１６の例では、改変元の推定方法として入力映像とのマッチ時間が選択されている。ここで、領域１５８－１に示されるオリジナル映像と入力映像とのマッチ時間は５分であり、領域１５８－２に示されるオリジナル映像と入力映像とのマッチ時間は１２分である。そのため、検出結果出力部２６は、領域１５８－２に示されるオリジナル映像を改変元と推定し、例えば、領域１５８－２を強調表示する等により、推定された改変元のオリジナル映像を識別可能に表示している。
　そして、検出結果出力部２６は、入力映像において、推定された改変元のオリジナル映像から局所改変が行われた区間を識別可能に表示する。例えば、図１６に示すように、検出結果出力部２６は、オリジナル映像と入力映像とのタイムラインを時間軸を合わせて表示したうえで、入力映像のタイムライン上において、推定された改変元から局所改変が行われた区間を表示する。また、図１６に示すように、検出結果出力部２６は、局所改変が行われた区間とともに、改変が「局所改変」であることがわかるように表示することができる。
　さらに、検出結果出力部２６は、図１６に示された画面１５０において、局所改変が行われた区間がクリック等によって選択されると、図１４に示した画面１４０を出力し、選択された区間における入力映像及びオリジナル映像を表示する。
　また、検出結果出力部２６は、図１６に示された画面１５０において、例えばリストボックス１６０によって他の推定方法が選択されると、選択された推定方法によって推定される改変元のオリジナル映像と入力映像との間において局所改変が発生している区間を表示する。また、推定方法の変更ではなく、画面１５０において他のオリジナル映像がクリック等によって選択された場合においても、検出結果出力部２６は、選択されたオリジナル映像を改変元として局所改変が発生している区間を表示する。例えば、図１６に示された画面１５０において、領域１５８－１がクリック等によって選択されると、図１７に示すように、領域１５８－１に示されるオリジナル映像を改変元として、局所改変が発生している区間が表示される。
　このように、入力映像に対する改変元の候補となるオリジナル映像が複数存在する場合においては、改変元として推定されたオリジナル映像と入力映像との間において局所改変が発生している区間を表示することができる。そして、表示された区間を選択することにより、この区間における映像を確認することができる。したがって、入力映像に対する改変元の候補となるオリジナル映像が複数存在する場合に、改変内容を確認する際の作業負荷を軽減することが可能となる。
　また、検出結果出力部２６は、改変元として推定されたオリジナル映像と入力映像との間において局所改変が発生している区間を表示する際に、どのショットで改変が発生しているかをわかりやすくすることができる。例えば、検出結果出力部２６は、図１８に示すような画面を表示することができる。
　図１８に示す画面１８０は、オリジナル映像に関する情報が表示される領域１８２と、入力映像に関する情報が表示される領域１８４とを含んでいる。図１８に示すように、領域１８２には、オリジナル映像のサムネイル画像１９０が表示され、領域１８４には、入力映像のサムネイル画像１９２が表示されている。ここで、サムネイル画像は、例えば、対象となる映像をショット分割することによって生成することが一般的な手法である。このショット分割は、例えば、映像に含まれるフレーム画像において特徴量ベクトルが大きく変化するタイミングを検出することにより行うことができる。そして、各ショットにおける代表的なフレーム画像からサムネイル画像が生成される。
　ところが、このようなショット分割のタイミングと、映像内において局所改変が行われるタイミングとは異なることが多いため、単にショットごとのサムネイル画像が表示されても改変内容を把握することができない可能性がある。
　そこで、検出結果出力部２６は、一般的な手法で分割されたショットのうち、局所改変が検出されたショットについては、さらに、局所改変の有無によってショット分割を行い、サムネイル画像を生成することができる。
　例えば、図１８に示す画面において、一般的な手法によるショット分割により、例えば、３つのショット１９４，１９６，１９８に分割されるとする。図１８に示すように、各ショットにおいて局所改変が検出されているとすると、検出結果出力部２６は、各ショット内で局所改変の有無によってさらにショット分割を行うことにより、局所改変が行われたタイミングに合わせたショットを生成することができる。そして、検出結果出力部２６は、例えば、局所改変が行われたタイミングのショットのサムネイル画像２００を表示することができる。また、検出結果出力部２６は、局所改変が行われたタイミングのショットのサムネイル画像２００とともに、この区間において「局所改変」が発生していることを識別可能な情報２０２を表示することができる。他のショット１９６，１９８についても同様である。
　なお、一般的なショット分割の処理については、相違領域検出システム１０に入力される前に行われることとしてもよいし、相違領域検出システム１０内に設けられるショット分割部によって行われることとしてもよい。
　このように、局所改変が発生しているショット内をさらに局所改変の有無によってショット分割することにより、どのショットで改変が発生しているかをわかりやすくすることができる。これにより、改変内容を確認する際の作業負荷を軽減することが可能となる。
　図１９は、相違領域検出システム１０における相違領域検出処理の一例を示すフローチャートである。まず、特徴量抽出部２０は、入力映像のフレーム画像ごとに特徴量ベクトルを抽出し、特徴量記憶部２１に格納する（Ｓ１９０１）。
　特徴量比較部７０は、特徴量記憶部２１に格納されている入力映像の特徴量ベクトルと、特徴量ＤＢ３０に格納されているオリジナル映像の特徴量ベクトルとを比較する（Ｓ１９０２）。フレーム選択部７２は、特徴量比較部７０での比較結果に基づいて、同一性のあるフレーム画像を選択する（Ｓ１９０３）。そして、差分情報出力部７４は、選択されたフレーム画像についての差分ベクトルを差分情報記憶部２３に格納する（Ｓ１９０４）。
　領域マッピング部８０は、差分情報記憶部２３に格納されている差分ベクトルに基づいて、特徴量に差分が発生している次元に対応する領域に差分値をマッピングする（Ｓ１９０５）。平滑化部８２は、マッピングされた差分値を時間及び空間方向に平滑化する（Ｓ１９０６）。そして、領域検出部８４は、平滑化された差分値に基づいて、入力映像及びオリジナル映像の間における相違領域を検出し、検出情報を検出情報記憶部２５に格納する（Ｓ１９０７）。
　最後に、検出結果出力部２６は、検出情報記憶部２５に格納されている検出情報に基づいて、同一性のある入力映像及びオリジナル映像の間における、相違領域を示す情報を出力する（Ｓ１９０８）。
　以上、本実施形態の相違領域検出システム１０について説明した。相違領域検出システム１０によれば、単に特徴量ベクトル間の距離を比較するのではなく、特徴量ベクトルの次元ごとの特徴量の差分を、各次元に対応する部分領域にマッピングすることにより、同一性がある映像間における相違領域を検出することができる。
　また、相違領域検出システム１０によれば、比較される映像間において同一性のある区間を特定し、特定された区間において相違領域を検出することができる。
　また、相違領域検出システム１０によれば、差分ベクトルにおいて値が異なる次元に対応する領域にマッピングされた差分値が、空間及び時間方向で平滑化されるため、相違領域を精度良く検出することが可能となる。
　また、相違領域検出システム１０によれば、差分ベクトルの次元または領域ごとに設定された重みづけを考慮して相違領域を検出することができる。例えば、同一性を判定するために用いられる特徴量ベクトルが、画像領域の周辺部分と比べて中央部分の特徴量をより反映するものであれば、相違領域の検出の際には、周辺部分の領域の重みを高くすることとしてもよい。例えば、テロップは画像領域の下側部分に追加されることが多いため、下側部分の領域の重みを高くすることにより、テロップに差異がある映像間における相違領域を検出する際に有効である。また、例えば、映像間に同一性があり、局所的な相違がない場合であっても、画像領域の最外周部分の差分は大きくなる可能性がある。そのため、画像領域の最外周部分の重みを低くすることとしてもよい。
　また、相違領域検出システム１０によれば、検出された相違領域の位置を識別可能に表示することができる。これにより、ユーザは、同一性のある映像間における相違領域の位置を容易に確認することができる。
　また、相違領域検出システム１０によれば、映像内において相違領域が発生している区間を識別可能に表示することができる。したがって、ユーザは、映像間で相違する内容を確認する場合に、映像全体ではなく該区間の映像のみを確認すればよいため、作業負荷を軽減することができる。
　なお、本実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更／改良され得るととともに、本発明にはその等価物も含まれる。
　この出願は、２０１１年２月１０日に出願された日本出願特願２０１１－０２７４２９を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　本実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）第１の画像内における複数の部分領域のそれぞれに対応する特徴量の集合である第１の特徴量ベクトルと、第２の画像内における前記複数の部分領域のそれぞれに対応する特徴量の集合である第２の特徴量ベクトルとに基づいて、前記第１及び第２の画像間における、前記特徴量の前記部分領域ごとの差分を示す画像間差分情報を生成する差分情報生成部と、前記画像間差分情報によって示される、各部分領域における前記差分に基づいて、前記第１及び第２の画像間において相違のある画像領域である相違領域を検出し、検出結果を示す検出情報を出力する相違領域検出部と、を備える相違領域検出システム。
（付記２）付記１に記載の相違領域検出システムであって、前記部分領域は、少なくとも１つの分割領域を含み、前記相違領域検出部は、前記画像間差分情報に基づいて、各部分領域の各分割領域に対して前記差分に応じた差分値を割り当てることにより、前記分割領域を単位として前記相違領域を検出する、相違領域検出システム。
（付記３）付記１に記載の相違領域検出システムであって、前記第１の画像は、第１の映像を構成する第１のフレーム画像であり、前記第２の画像は、第２の映像を構成する、前記第１のフレーム画像に対応する第２のフレーム画像であり、前記差分情報生成部は、前記第１及び第２の画像の複数の対に対して前記画像間差分情報を生成し、前記相違領域検出部は、前記第１及び第２の画像の複数の対に対する前記画像間差分情報に基づいて、前記第１及び第２の映像における前記相違領域を検出する、相違領域検出システム。
（付記４）付記３に記載の相違領域検出システムであって、前記部分領域は、少なくとも１つの分割領域を含み、前記相違領域検出部は、前記画像間差分情報に基づいて、各部分領域内の各分割領域に対して前記差分に応じた差分値を割り当て、前記第１及び第２の画像の複数の対における前記差分値をフレーム画像間で平滑化することにより、前記分割領域を単位として前記相違領域を検出する、相違領域検出システム。
（付記５）付記３または４に記載の相違領域検出システムであって、前記相違領域検出部は、前記第１及び第２の画像の複数の対における前記差分値をフレーム画像内で平滑化することにより、前記相違領域を検出する、相違領域検出システム。
（付記６）付記３～５の何れか一項に記載の相違領域検出システムであって、前記差分情報生成部は、複数の前記第１の特徴量ベクトルと、複数の前記第２の特徴量ベクトルとに基づいて、特徴量ベクトルの差分が所定の基準より小さい、前記第１及び第２の画像の複数の対を選択し、前記選択された複数の対における前記画像間差分情報を出力する、相違領域検出システム。
（付記７）付記３～６の何れか一項に記載の相違領域検出システムであって、前記相違領域検出部は、前記部分領域ごとに設定された重みづけと、前記第１及び第２の画像の複数の対における前記差分値とに基づいて、前記相違領域を検出する、相違領域検出システム。
（付記８）付記３～７の何れか一項に記載の相違領域検出システムであって、前記差分情報生成部は、前記第１の映像における複数の前記第１の特徴量ベクトルと、複数の前記第２の映像のそれぞれにおける複数の前記第２の特徴量ベクトルとに基づいて、前記第１の映像と、前記複数の第２の映像のうちの１つの第２の映像とにおける、前記第１及び第２の画像の複数の対を選択する、相違領域検出システム。
（付記９）付記８に記載の相違領域検出システムであって、前記差分情報生成部は、複数の前記第１の映像のそれぞれにおける複数の前記第１の特徴量ベクトルと、複数の前記第２の映像のそれぞれにおける複数の前記第２の特徴量ベクトルとに基づいて、前記複数の第１の映像のうちの１つの第１の映像と、前記複数の第２の映像のうちの１つの第２の映像とにおける、前記第１及び第２の画像の複数の対を選択する、相違領域検出システム。
（付記１０）付記１～９の何れか一項に記載の相違領域検出システムであって、前記検出情報に基づいて、前記第１及び第２の画像間における前記相違領域の位置を識別可能に表示する検出結果出力部をさらに備える、相違領域検出システム。
（付記１１）付記３～９の何れか一項に記載の相違領域検出システムであって、前記検出情報に基づいて、前記第１及び第２の映像間における前記相違領域の位置を識別可能に表示する検出結果出力部をさらに備える、相違領域検出システム。
（付記１２）付記１１に記載の相違領域検出システムであって、前記相違領域検出部は、前記第１及び第２の映像間において前記相違領域が検出された区間を示す情報を前記検出情報に含めて出力し、前記検出結果出力部は、前記検出情報に基づいて、前記相違領域が検出された区間を識別可能に表示する、相違領域検出システム。
（付記１３）付記１１または１２に記載の相違領域検出システムであって、前記相違領域検出部は、前記相違領域における相違の度合い示す情報を前記検出情報に含めて出力し、前記検出結果出力部は、前記検出情報に基づいて、前記相違領域における相違の度合いを識別可能に表示する、相違領域検出システム。
（付記１４）付記１２に記載の相違領域検出システムであって、前記検出結果出力部は、前記相違領域が検出された区間を選択するユーザ入力に応じて、該区間における前記第１及び第２の映像を表示する、相違領域検出システム。
（付記１５）第１の画像内における複数の部分領域のそれぞれに対応する特徴量の集合である第１の特徴量ベクトルと、第２の画像内における前記複数の部分領域のそれぞれに対応する特徴量の集合である第２の特徴量ベクトルとに基づいて、前記第１及び第２の画像間における、前記特徴量の前記部分領域ごとの差分を示す画像間差分情報を生成し、前記画像間差分情報によって示される、各部分領域における前記差分に基づいて、前記第１及び第２の画像間において相違のある画像領域である相違領域を検出し、検出結果を示す検出情報を出力する、相違領域検出方法。
　１０　相違領域検出システム
　２０　特徴量抽出部
　２１　特徴量記憶部
　２２　差分情報生成部
　２３　差分情報記憶部
　２４　相違領域検出部
　２５　検出情報記憶部
　２６　検出結果出力部
　３０　特徴量データベース
　３２　映像データベース
　７０　特徴量比較部
　７２　フレーム選択部
　７４　差分情報出力部
　８０　領域マッピング部
　８２　平滑化部
　８４　領域検出部

Claims (15)

  1. 　第１の画像内における複数の部分領域のそれぞれに対応する特徴量の集合である第１の特徴量ベクトルと、第２の画像内における前記複数の部分領域のそれぞれに対応する特徴量の集合である第２の特徴量ベクトルとに基づいて、前記第１及び第２の画像間における、前記特徴量の前記部分領域ごとの差分を示す画像間差分情報を生成する差分情報生成部と、
    　前記画像間差分情報によって示される、各部分領域における前記差分に基づいて、前記第１及び第２の画像間において相違のある画像領域である相違領域を検出し、検出結果を示す検出情報を出力する相違領域検出部と、
    　を備える相違領域検出システム。
  2. 　請求項１に記載の相違領域検出システムであって、
    　前記部分領域は、少なくとも１つの分割領域を含み、
    　前記相違領域検出部は、前記画像間差分情報に基づいて、各部分領域の各分割領域に対して前記差分に応じた差分値を割り当てることにより、前記分割領域を単位として前記相違領域を検出する、
    　相違領域検出システム。
  3. 　請求項１に記載の相違領域検出システムであって、
    　前記第１の画像は、第１の映像を構成する第１のフレーム画像であり、
    　前記第２の画像は、第２の映像を構成する、前記第１のフレーム画像に対応する第２のフレーム画像であり、
    　前記差分情報生成部は、前記第１及び第２の画像の複数の対に対して前記画像間差分情報を生成し、
    　前記相違領域検出部は、前記第１及び第２の画像の複数の対に対する前記画像間差分情報に基づいて、前記第１及び第２の映像における前記相違領域を検出する、
    　相違領域検出システム。
  4. 　請求項３に記載の相違領域検出システムであって、
    　前記部分領域は、少なくとも１つの分割領域を含み、
    　前記相違領域検出部は、
    　前記画像間差分情報に基づいて、各部分領域内の各分割領域に対して前記差分に応じた差分値を割り当て、
    　前記第１及び第２の画像の複数の対における前記差分値をフレーム画像間で平滑化することにより、前記分割領域を単位として前記相違領域を検出する、
    　相違領域検出システム。
  5. 　請求項３または４に記載の相違領域検出システムであって、
    　前記相違領域検出部は、前記第１及び第２の画像の複数の対における前記差分値をフレーム画像内で平滑化することにより、前記相違領域を検出する、
    　相違領域検出システム。
  6. 　請求項３～５の何れか一項に記載の相違領域検出システムであって、
    　前記差分情報生成部は、
    　複数の前記第１の特徴量ベクトルと、複数の前記第２の特徴量ベクトルとに基づいて、特徴量ベクトルの差分が所定の基準より小さい、前記第１及び第２の画像の複数の対を選択し、
    　前記選択された複数の対における前記画像間差分情報を出力する、
    　相違領域検出システム。
  7. 　請求項３～６の何れか一項に記載の相違領域検出システムであって、
    　前記相違領域検出部は、前記部分領域ごとに設定された重みづけと、前記第１及び第２の画像の複数の対における前記差分値とに基づいて、前記相違領域を検出する、
    　相違領域検出システム。
  8. 　請求項３～７の何れか一項に記載の相違領域検出システムであって、
    　前記差分情報生成部は、前記第１の映像における複数の前記第１の特徴量ベクトルと、複数の前記第２の映像のそれぞれにおける複数の前記第２の特徴量ベクトルとに基づいて、前記第１の映像と、前記複数の第２の映像のうちの１つの第２の映像とにおける、前記第１及び第２の画像の複数の対を選択する、
    　相違領域検出システム。
  9. 　請求項８に記載の相違領域検出システムであって、
    　前記差分情報生成部は、複数の前記第１の映像のそれぞれにおける複数の前記第１の特徴量ベクトルと、複数の前記第２の映像のそれぞれにおける複数の前記第２の特徴量ベクトルとに基づいて、前記複数の第１の映像のうちの１つの第１の映像と、前記複数の第２の映像のうちの１つの第２の映像とにおける、前記第１及び第２の画像の複数の対を選択する、
    　相違領域検出システム。
  10. 　請求項１～９の何れか一項に記載の相違領域検出システムであって、
    　前記検出情報に基づいて、前記第１及び第２の画像間における前記相違領域の位置を識別可能に表示する検出結果出力部をさらに備える、
    　相違領域検出システム。
  11. 　請求項３～９の何れか一項に記載の相違領域検出システムであって、
    　前記検出情報に基づいて、前記第１及び第２の映像間における前記相違領域の位置を識別可能に表示する検出結果出力部をさらに備える、
    　相違領域検出システム。
  12. 　請求項１１に記載の相違領域検出システムであって、
    　前記相違領域検出部は、前記第１及び第２の映像間において前記相違領域が検出された区間を示す情報を前記検出情報に含めて出力し、
    　前記検出結果出力部は、前記検出情報に基づいて、前記相違領域が検出された区間を識別可能に表示する、
    　相違領域検出システム。
  13. 　請求項１１または１２に記載の相違領域検出システムであって、
    　前記相違領域検出部は、前記相違領域における相違の度合い示す情報を前記検出情報に含めて出力し、
    　前記検出結果出力部は、前記検出情報に基づいて、前記相違領域における相違の度合いを識別可能に表示する、
    　相違領域検出システム。
  14. 　請求項１２に記載の相違領域検出システムであって、
    　前記検出結果出力部は、前記相違領域が検出された区間を選択するユーザ入力に応じて、該区間における前記第１及び第２の映像を表示する、
    　相違領域検出システム。
  15. 　第１の画像内における複数の部分領域のそれぞれに対応する特徴量の集合である第１の特徴量ベクトルと、第２の画像内における前記複数の部分領域のそれぞれに対応する特徴量の集合である第２の特徴量ベクトルとに基づいて、前記第１及び第２の画像間における、前記特徴量の前記部分領域ごとの差分を示す画像間差分情報を生成し、
    　前記画像間差分情報によって示される、各部分領域における前記差分に基づいて、前記第１及び第２の画像間において相違のある画像領域である相違領域を検出し、検出結果を示す検出情報を出力する、
    　相違領域検出方法。
PCT/JP2011/077376 2011-02-10 2011-11-28 相違領域検出システム及び相違領域検出方法 Ceased WO2012108088A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201180066973.XA CN103348380B (zh) 2011-02-10 2011-11-28 差异区域检测系统和差异区域检测方法
US13/983,932 US9424469B2 (en) 2011-02-10 2011-11-28 Differing region detection system and differing region detection method
JP2012556754A JP5991488B2 (ja) 2011-02-10 2011-11-28 相違領域検出システム及び相違領域検出方法
EP11858173.5A EP2674911B1 (en) 2011-02-10 2011-11-28 Differing region detection system and differing region detection method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011027429 2011-02-10
JP2011-027429 2011-02-10

Publications (1)

Publication Number Publication Date
WO2012108088A1 true WO2012108088A1 (ja) 2012-08-16

Family

ID=46638317

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/077376 Ceased WO2012108088A1 (ja) 2011-02-10 2011-11-28 相違領域検出システム及び相違領域検出方法

Country Status (5)

Country Link
US (1) US9424469B2 (ja)
EP (1) EP2674911B1 (ja)
JP (1) JP5991488B2 (ja)
CN (1) CN103348380B (ja)
WO (1) WO2012108088A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9633278B2 (en) 2012-12-28 2017-04-25 Nec Corporation Object identification device, method, and storage medium
WO2019156043A1 (ja) * 2018-02-06 2019-08-15 日本電信電話株式会社 コンテンツ判定装置、コンテンツ判定方法、及びプログラム

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9792528B2 (en) * 2012-01-30 2017-10-17 Nec Corporation Information processing system, information processing method, information processing apparatus and control method and control program thereof, and communication terminal and control method and control program thereof
US9813762B2 (en) * 2015-11-16 2017-11-07 Arris Enterprises Llc Creating hash values indicative of differences in images
CN107248296B (zh) * 2017-07-13 2020-04-24 南京航空航天大学 一种基于无人机和时序特征的视频交通流量统计方法
US10192319B1 (en) * 2017-07-27 2019-01-29 Nanning Fugui Precision Industrial Co., Ltd. Surveillance method and computing device using the same
CN108303037B (zh) * 2018-01-31 2020-05-08 广东工业大学 一种基于点云分析的工件表面形状差异的检测方法及装置
CN109635669B (zh) * 2018-11-19 2021-06-29 北京致远慧图科技有限公司 图像分类方法、装置及分类模型的训练方法、装置
WO2020208693A1 (ja) * 2019-04-08 2020-10-15 株式会社 ＡＩ Ｓａｍｕｒａｉ 文書情報評価装置および文書情報評価方法並びに文書情報評価プログラム
CN110222590B (zh) * 2019-05-15 2021-05-25 北京字节跳动网络技术有限公司 图像差异判断方法、装置及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000242795A (ja) * 1999-02-25 2000-09-08 Nippon Telegr & Teleph Corp <Ntt> 映像差分検出装置、映像差分検出方法およびこの方法を記録した記録媒体
JP2005202921A (ja) * 2003-12-17 2005-07-28 Shibasoku:Kk 動きベクトル検出装置
JP2007279813A (ja) * 2006-04-03 2007-10-25 Fuji Xerox Co Ltd 画像処理装置及びプログラム
JP2008282316A (ja) * 2007-05-14 2008-11-20 Yahoo Japan Corp 動画像比較装置、動画像比較方法、及び動画像比較プログラム
WO2010084714A1 (ja) 2009-01-23 2010-07-29 日本電気株式会社 画像識別子抽出装置
JP2011027429A (ja) 2009-07-21 2011-02-10 Kirin Holdings Co Ltd 液体クロマトグラフィーを用いたグリコアルカロイド類の精製および分析法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5436653A (en) * 1992-04-30 1995-07-25 The Arbitron Company Method and system for recognition of broadcast segments
US6937773B1 (en) * 1999-10-20 2005-08-30 Canon Kabushiki Kaisha Image encoding method and apparatus
KR100524077B1 (ko) * 2003-11-13 2005-10-26 삼성전자주식회사 중간 영상 합성을 위한 시간적 평활화 장치 및 방법
JP2006268825A (ja) * 2005-02-28 2006-10-05 Toshiba Corp オブジェクト検出装置、学習装置、オブジェクト検出システム、方法、およびプログラム
US8514933B2 (en) * 2005-03-01 2013-08-20 Qualcomm Incorporated Adaptive frame skipping techniques for rate controlled video encoding
CN101473657A (zh) 2006-06-20 2009-07-01 皇家飞利浦电子股份有限公司 产生视频信号的指纹

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000242795A (ja) * 1999-02-25 2000-09-08 Nippon Telegr & Teleph Corp <Ntt> 映像差分検出装置、映像差分検出方法およびこの方法を記録した記録媒体
JP2005202921A (ja) * 2003-12-17 2005-07-28 Shibasoku:Kk 動きベクトル検出装置
JP2007279813A (ja) * 2006-04-03 2007-10-25 Fuji Xerox Co Ltd 画像処理装置及びプログラム
JP2008282316A (ja) * 2007-05-14 2008-11-20 Yahoo Japan Corp 動画像比較装置、動画像比較方法、及び動画像比較プログラム
WO2010084714A1 (ja) 2009-01-23 2010-07-29 日本電気株式会社 画像識別子抽出装置
JP2011027429A (ja) 2009-07-21 2011-02-10 Kirin Holdings Co Ltd 液体クロマトグラフィーを用いたグリコアルカロイド類の精製および分析法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2674911A4

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9633278B2 (en) 2012-12-28 2017-04-25 Nec Corporation Object identification device, method, and storage medium
WO2019156043A1 (ja) * 2018-02-06 2019-08-15 日本電信電話株式会社 コンテンツ判定装置、コンテンツ判定方法、及びプログラム
JP2019139326A (ja) * 2018-02-06 2019-08-22 日本電信電話株式会社 コンテンツ判定装置、コンテンツ判定方法、及びプログラム

Also Published As

Publication number Publication date
US20130322696A1 (en) 2013-12-05
EP2674911B1 (en) 2021-03-03
CN103348380B (zh) 2016-08-10
CN103348380A (zh) 2013-10-09
EP2674911A1 (en) 2013-12-18
JP5991488B2 (ja) 2016-09-14
EP2674911A4 (en) 2014-12-31
US9424469B2 (en) 2016-08-23
JPWO2012108088A1 (ja) 2014-07-03

Similar Documents

Publication Publication Date Title
JP5991488B2 (ja) 相違領域検出システム及び相違領域検出方法
JP4337064B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US10244163B2 (en) Image processing apparatus that generates a virtual viewpoint image, image generation method, and non-transitory computer-readable storage medium
JP6378292B2 (ja) 動画ファイル中の対象物を識別する方法
US9684818B2 (en) Method and apparatus for providing image contents
JP5088164B2 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
US20190188729A1 (en) System and method for detecting counterfeit product based on deep learning
JP2015536094A (ja) ビデオシーン検出
CN103686272B (zh) 图像处理装置及方法
KR20190086781A (ko) 비디오 프레임의 다수의 부분들에 대한 지문들을 생성함으로써 입체 비디오들을 검출하기 위한 방법들, 시스템들, 및 매체들
JP2021111228A (ja) 学習装置、学習方法、及びプログラム
CN113297416B (zh) 视频数据存储方法、装置、电子设备和可读存储介质
KR102468718B1 (ko) 심층신경망을 이용하여 3차원 디지털 트윈 공간을 제공하기 위한 장치 및 방법
US20160027050A1 (en) Method of providing advertisement service using cloud album
CN102479384B (zh) 图像处理方法和装置
JP2014110020A (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2019061488A (ja) 表示プログラム、表示方法、及び表示装置
Mohiuddin et al. Duplicate frame detection in forged videos using sequence matching
JP5702269B2 (ja) 並列映像解析装置、並列映像解析方法及び並列映像解析プログラム
JP4997179B2 (ja) 画像処理装置、方法およびプログラム
KR100981125B1 (ko) 동영상 처리 방법 및 그 장치
JP5699856B2 (ja) 動画像処理装置、動画像処理方法及び動画像処理用コンピュータプログラム
US9591220B2 (en) Selection apparatus, selection method, and storage medium
JP5854232B2 (ja) 映像間対応関係表示システム及び映像間対応関係表示方法
WO2016142965A1 (ja) 映像処理装置、映像処理方法及び映像処理プログラムを記憶する記録媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11858173

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2011858173

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 13983932

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2012556754

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE