WO2014200137A1 - 핑거프린트에 기반한 광고 검출 시스템 및 방법 - Google Patents

핑거프린트에 기반한 광고 검출 시스템 및 방법 Download PDF

Info

Publication number
WO2014200137A1
WO2014200137A1 PCT/KR2013/005805 KR2013005805W WO2014200137A1 WO 2014200137 A1 WO2014200137 A1 WO 2014200137A1 KR 2013005805 W KR2013005805 W KR 2013005805W WO 2014200137 A1 WO2014200137 A1 WO 2014200137A1
Authority
WO
WIPO (PCT)
Prior art keywords
section
fingerprint
advertisement
unit
segment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2013/005805
Other languages
English (en)
French (fr)
Inventor
조훈영
이재형
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Enswers Co Ltd
Original Assignee
Enswers Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to EP18180226.5A priority Critical patent/EP3410727B1/en
Priority to US14/122,674 priority patent/US9495598B2/en
Priority to EP19189421.1A priority patent/EP3579563B1/en
Priority to JP2016519422A priority patent/JP6216045B2/ja
Priority to EP21167734.9A priority patent/EP3905698B1/en
Priority to HK16106801.8A priority patent/HK1219010B/en
Priority to EP13886824.5A priority patent/EP3010235B1/en
Application filed by Enswers Co Ltd filed Critical Enswers Co Ltd
Publication of WO2014200137A1 publication Critical patent/WO2014200137A1/ko
Anticipated expiration legal-status Critical
Priority to US15/228,243 priority patent/US10104446B2/en
Priority to US16/133,240 priority patent/US10284922B2/en
Priority to US16/360,453 priority patent/US10623826B2/en
Priority to US16/812,896 priority patent/US11197073B2/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/35—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
    • H04H60/37—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying segments of broadcast information, e.g. scenes or extracting programme ID
    • H04H60/375—Commercial
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8358—Generation of protective data, e.g. certificates involving watermark
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/56—Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54

Definitions

  • the present invention relates to an advertisement detection system and method, and more particularly, to a system and method capable of detecting an advertisement included in broadcast content based on a fingerprint.
  • TV broadcast content can be largely divided into TV program section and advertising section.
  • the advertising section is regarded as a low importance or unnecessary section from the viewer's point of view, and many researches have been conducted on technologies for automatically detecting and removing or reprocessing it to provide TV contents to users. lost.
  • the program section and the advertisement section are mostly distinguished by manual humans, and research to automatically distinguish them has been conducted.
  • the efficiency is very low.
  • a black screen is often inserted at the beginning and the end of the advertisement, there is a method of detecting the advertisement section by detecting the black screen.
  • Republic of Korea Patent Publication No. 10-2011-0129325 (2011.12.01. Disclosure) relates to "advertising image detection method and apparatus", the monitoring target image mixed with the broadcast content and the advertising image played through the image playback device Dividing each of the plurality of frames into partial blocks of a predetermined size; Calculating feature information for each of the partial blocks corresponding to a preset position among the partial blocks of the predetermined size; Converting the feature information into a feature information vector; And detecting the reference advertisement image by comparing the feature information vector of the reference advertisement image to be detected previously stored in the database with the feature information vector.
  • this technique should be stored in advance in advance the feature information of the advertising video, and also can be applied only when the feature information of the monitored video and the advertising video is completely matched, so it is applicable when the advertising section is only partly the same There is a limit that cannot be. Moreover, there is a fundamental limitation with this technique that the database is fixed and the database cannot be updated dynamically over time.
  • the present invention is to solve the above limitations, an advertisement detection system and method that can accurately and effectively detect the advertising section by repeating the process of detecting the advertising section that appears continuously in the broadcast content and database the same. It aims to provide.
  • the present invention is continuously received by continuously storing the broadcast content in real time and by selecting the reference section and the test section for the stored broadcast content to detect the advertising section and to change the reference section and the test section according to the result.
  • Another object of the present invention is to provide a system and method capable of efficiently selecting a comparison target section of broadcast content and dynamically coping with it.
  • the present invention is more accurate by detecting the repeated advertising section based on the fingerprint, segmenting and storing the detected advertising section in the database, and then divide the stored advertising sections into more detailed advertising sections. It is yet another object to provide a system and method that can perform efficient advertisement detection.
  • a fingerprint-based advertising detection system the content stream storage unit for storing broadcast content in real time;
  • a section selector which selects a reference section and a test section from the broadcast content stored by the content stream storage;
  • a fingerprint extractor configured to extract a fingerprint in at least one manner with respect to the reference interval and the test interval selected by the interval selector;
  • a fingerprint matching unit configured to perform matching by comparing a fingerprint of a test section extracted from the fingerprint extractor and a fingerprint of a reference section;
  • An advertisement section determiner configured to determine an advertisement segment from a test section based on a matching result performed by the fingerprint matching unit;
  • An advertisement database manager configured to store segment information about advertisement segments determined by the advertisement section determiner in an advertisement database and manage an advertisement database;
  • a section updater configured to change the reference section and the test section selected by the section selector.
  • the interval dividing unit may select a predetermined time interval as a test interval from a most recently stored time point among broadcast contents stored by the content stream storage unit, and select a predetermined time interval as a reference interval from an end point of the test interval.
  • test section may be configured to have a shorter time length than the reference section.
  • the fingerprint extractor may divide the reference section and the test section into unit sections each having a preset time length, and extract a fingerprint by any one of a fingerprint extraction method for each unit section.
  • the fingerprint matching unit performs matching by comparing the extracted fingerprint for each unit section of the test section with the extracted fingerprint for all unit sections of the reference section for all unit sections of the test section. It can also be configured to.
  • the starting point of the unit interval may be configured to have an interval by the time length (S).
  • time length (S) between the start point of the unit section is preferably shorter than the time length of the unit section.
  • the advertisement section determiner may determine successive unit sections of the test section matching the unit sections of the reference section as the advertisement segment based on a matching result of the fingerprint matching unit.
  • the fingerprint extracting unit may divide a section corresponding to the advertisement segment among the advertisement segment and the reference interval into unit sections each having a preset time length, thereby fingerprinting the reference section and the test section for each unit section. Extracting a fingerprint by at least one other method other than the extracted method, wherein the fingerprint matching unit, all of the fingerprint extracted for each unit section of the advertising segment and the corresponding reference segment of the reference section The matching may be performed by comparing the extracted fingerprints with respect to the unit section for all the unit sections of the advertisement segment.
  • the advertisement section determiner may finally determine successive unit sections of the advertisement segment matching the unit sections corresponding to the advertisement segment among the reference sections based on a matching result of the fingerprint matching unit. have.
  • the advertisement section determiner may compare the fingerprint of the advertisement segment with the advertisement segments already registered in the advertisement database and finally determine the advertisement segment.
  • the fingerprint may be a fingerprint by at least one other method other than a method in which a fingerprint is extracted for the reference period and the test period.
  • the advertisement database manager may store at least one fingerprint of the advertisement segments determined by the advertisement section determiner and time information of the advertisement segment as segment information in the advertisement database.
  • the section updater may be configured to change the reference section by including the reference point up to the end point of the advertisement segment determined from the test section.
  • the reference interval may be changed by including the end point of the last advertisement segment as a reference interval.
  • the total length of the reference section may be constant by changing the position of the start point of the reference section by the length newly included in the reference section.
  • the interval updating unit may be configured to extend the length of the test interval by the length of the position of the start point of the reference interval.
  • the section update unit may be configured to change the reference section by including the reference section up to the start point of the advertisement segment determined from the test section.
  • the reference section may be changed by including the reference section up to the start point of the first advertising segment.
  • the entire length of the reference section may be constant by changing the position of the start point of the reference section by the length newly included in the reference section.
  • the section updater may store time information of a start point of a reference section corresponding to the advertisement segment determined by the advertisement section determiner, in the advertisement segment history, and identify a search section of a preset advertisement segment history every predetermined time. A section corresponding to a point before the minimum value among time information included in the search section may be removed from the reference section.
  • the advertisement database manager may select two advertisement segments from among the advertisement segments stored in the advertisement database, compare the fingerprints of the selected advertisement segments, detect the same interval, and then select the same interval from the selected advertisement segment. By segmenting the section, a new advertisement segment forming process may be performed.
  • the ad segments before the split may be removed from the ad database.
  • the new advertisement segment forming process may be repeated for a predetermined number N for any two advertisement segments.
  • the new advertising segment forming process may be performed for two segments whose time length is equal to or greater than a predetermined time length K.
  • the process of forming a new advertisement segment may be repeatedly performed until there are no advertisement segments having the same section among all the advertisement segments included in the advertisement database.
  • the advertisement database manager may update the fingerprint and time information for the formed new advertisement segments.
  • a fingerprint-based advertisement detection method comprising: a first step of storing broadcast content in real time; Selecting a reference section and a test section from the stored broadcast contents; Extracting a fingerprint in at least one manner with respect to the selected reference interval and the test interval; A fourth step of performing matching by comparing the fingerprint of the extracted test interval with the fingerprint of the reference interval; A fifth step of determining an advertisement segment from a test section based on the matching result; A sixth step of storing segment information on the determined advertisement segments in an advertisement database; And a seventh step of changing the reference section and the test section.
  • an advertisement detection system and method capable of accurately and effectively detecting an advertisement section by repeatedly detecting the advertisement section continuously appearing in the broadcast content and making a database thereof.
  • the present invention is continuously received by continuously storing the broadcast content in real time and by selecting the reference section and the test section for the stored broadcast content to detect the advertising section and to change the reference section and the test section according to the result.
  • the present invention by detecting the repeated advertising section based on the fingerprint, and segmented and stored in the database to detect the detected advertising section, by segmenting the segment into more granular unit advertising section It is possible to provide a system and method capable of performing accurate and efficient advertisement detection.
  • FIG. 1 is a view showing the overall configuration of the advertisement detection system 100 based on the fingerprint according to an embodiment of the present invention.
  • FIG. 2 is a view for explaining an example of a method for selecting a reference section and a test section in the section selector 20.
  • 3 is a diagram for describing operations of the fingerprint extractor 30 and the fingerprint matcher 40.
  • FIG. 4 is a diagram for describing a process of determining an advertisement segment in a test section 22.
  • FIG. 5 is a diagram illustrating an example of segment information stored in the advertisement database 80.
  • FIG. 6 is a diagram for describing an example of a method of changing a reference section in the section updater 70.
  • FIG. 7 is a diagram for explaining a process of forming a new advertisement segment by dividing the advertisement segment into a small advertisement segment in the advertisement database manager 60.
  • FIG. 10 is a view showing an embodiment of an advertisement detection method according to the present invention.
  • FIG. 1 is a view showing the overall configuration of the advertisement detection system 100 based on the fingerprint according to an embodiment of the present invention.
  • the fingerprint detection system 100 (hereinafter, referred to as the advertisement detection system 100) based on the fingerprint of the present embodiment may include a content stream storage unit 10, a section selection unit 20, and a fingerprint extraction unit. 30, a fingerprint matching unit 40, an advertisement section determiner 50, an advertisement database manager 60, an interval updater 70, and an advertisement database 80.
  • the content stream storage unit 10 performs a function of storing broadcast content in real time.
  • the broadcast content may be, for example, content provided through TV terrestrial or cable broadcasting.
  • the content stream storage unit 10 stores such broadcast content in real time and continuously.
  • the section selector 20 performs a function of selecting a reference section and a test section from the broadcast content stored by the content stream storage 10.
  • the test section is a section for identifying whether an advertisement is included
  • the reference section is a section to be compared to be able to identify whether an advertisement is included in the test section.
  • the section selector 20 selects a predetermined time section as a test section from the most recently stored time point among the broadcast contents stored by the content stream storage unit 10, and selects a predetermined time section as a reference section from the end point of the test section. Can be.
  • FIG. 2 is a view for explaining an example of a method for selecting a reference section and a test section in the section selector 20.
  • a predetermined time length (N) from the right end point i.e., the last time point (t 0) is stored in
  • the section up to the time point t 1 may be selected as the test section 22.
  • a section from the end point t 1 of the test section 22 to a time point t 2 which becomes a predetermined time length L, may be selected as the reference section 21.
  • the test interval 22 may have a shorter time length than the reference interval 21, that is, the length of the reference interval 21 may be longer than that of the test interval 21.
  • the included advertising detection is because the longer the reference interval 21, the higher the discriminating power.
  • the test section 22 may be selected as a 10 hour long section, and the reference section 21 may be selected as a 3 day long section.
  • the fingerprint extractor 30 performs a function of extracting a fingerprint in at least one or more manners for the reference section and the test section selected by the section selector 20, and the fingerprint matcher 40 compares the fingerprint for the test section extracted from the fingerprint extractor 30 with the fingerprint for the reference section and performs matching.
  • the advertisement section determiner 50 performs a function of determining an advertisement segment from the test section based on the matching result performed by the fingerprint matching unit 40.
  • the fingerprint extractor 30 divides the reference section and the test section into unit sections each having a preset time length, and extracts the fingerprint by any one of fingerprint extraction methods for each unit section.
  • the fingerprint matching unit 40 performs a process of comparing the extracted fingerprint for each unit section of the test section with the extracted fingerprint for all unit sections of the reference section for all unit sections of the test section. Perform a match.
  • the advertisement section determiner 50 determines the advertisement segment from the test section based on the matching result.
  • 3 is a diagram for describing operations of the fingerprint extractor 30 and the fingerprint matcher 40.
  • a unit section corresponding to a preset time length is generated from the time point t 1 in the test section 22.
  • the reference section 21 generates a unit section corresponding to the time length of the unit section in the test section 22 from the time point t 2 , and the fingerprint extractor 30 extracts the fingerprint for these two unit sections.
  • the fingerprint matching unit 40 performs matching on the extracted fingerprint.
  • the fingerprint matching unit 40 temporarily stores a matching result, for example, a matching score, generates a next unit section of the reference section 21, and performs fingerprint matching again.
  • a matching result for example, a matching score
  • the start point of the next unit section has an interval equal to the start point of the previously generated unit section and the moving length S shorter than the time length of the unit section on the time axis. That is, each unit section is preferably to have a section overlapping each other on the time axis.
  • the next unit section of the test section 22 is generated and the above process is repeated.
  • the starting point of the next unit section of the test section 22 also has a time length smaller than the starting point of the previous unit section and the time length of the unit section.
  • the interval between the start points of the unit sections of the test section 22 and the interval between the start points of the unit sections of the reference section 21 may be the same or different.
  • a fingerprint matching result for the reference section 21 may be obtained for each unit section of the test section 22.
  • the advertisement section determiner 50 determines whether to match based on the fingerprint matching result for each unit section, that is, the fingerprint matching score, and determines the continuous section for the matching unit sections, thereby advertizing the consecutive unit sections. Decide on
  • FIG. 4 is a diagram for describing a process of determining an advertisement segment in a test section 22.
  • a section marked in blue in the test section 22 on the right side of FIG. 4 represents a continuous section in which the reference section 21 and the fingerprint match, and two consecutive sections (t a to t b , t c to t d). ) Is determined to be an ad segment.
  • fingerprint refers to feature data representing characteristics of data such as audio data, image data, or video data, and is also referred to as fingerprint data, DNA data, or genetic data.
  • DRM copyright management
  • a fingerprint is generated using various characteristic data (eg, frequency, amplitude, etc.) representing the characteristics of the audio data, and in the case of image or video data, various feature data of the image or video data (eg, The fingerprint may be generated using motion vector information, color information, etc. of the frame.
  • characteristic data e.g, frequency, amplitude, etc.
  • feature data of the image or video data e.g. The fingerprint may be generated using motion vector information, color information, etc. of the frame.
  • the present invention is not intended to extract (generate) such fingerprint data itself, and any form of fingerprint generation / extraction method according to the prior art may be used as it is, and thus the detailed description thereof will be omitted.
  • Patent Application No. 10-2007-0044251 filed by the present applicant (A method and apparatus for generating audio fingerprint data and a method and device for comparing audio data using the same), No. 10-2007-0054601 (determination of the identity of the video data and the same Interval Detection Method and Apparatus), No. 10-2007-0060978 (Method and System for Clustering Video Datas with Identical Video Data), No.
  • the fingerprint extraction method may be used in various ways. As described above, when the advertisement segment is determined by the advertisement section determination unit 50, the fingerprint may be extracted using another fingerprint extraction method for the advertisement segment. It may be configured to perform secondary matching by extracting and comparing it with a reference interval.
  • the fingerprint extractor 30 divides the section corresponding to the advertisement segment among the advertisement segment and the reference section into the unit section corresponding to the preset time length, with respect to the advertisement segment determined by the advertisement section determiner 50.
  • the fingerprint may be extracted by at least one method other than the method in which the fingerprint is extracted for the reference interval and the test interval for each unit interval.
  • the fingerprint matching unit 40 compares the extracted fingerprint for each unit section of the advertisement segment with the extracted fingerprint for all unit sections corresponding to the advertisement segment among the reference section. Matching may be performed by performing all unit sections.
  • the advertisement section determiner 50 may continue the unit of the advertisement segment that matches the unit sections corresponding to the advertisement segment in the reference section by the matching result of the fingerprint matching unit 40.
  • the sections may be finally determined as an advertising segment.
  • the advertisement section determiner 50 compares the fingerprint of the section determined as the advertisement segment with the fingerprints of the advertisement segments already registered in the advertisement database 80 and finally matches the advertisement segment as the advertisement segment. It can also be configured to determine.
  • the fingerprint may be a fingerprint by at least one or more methods other than the method in which the fingerprint is extracted for the reference section and the test section in the above process.
  • the advertisement database manager 60 stores the segment information on the advertisement segments determined by the advertisement section determiner in the advertisement database 80 and manages the advertisement database 80.
  • FIG. 5 is a diagram illustrating an example of segment information stored in the advertisement database 80.
  • the segment information includes a segment identifier, section start point time information, section length, and a fingerprint.
  • the segment identifier refers to an identifier uniquely assigned to identify each advertisement segment, and the segment start point time information is, for example, May 20, 2013 11:59:35 (2013-05). -20/11: 59: 35).
  • the section length may be stored as, for example, 30 seconds, 20 seconds, etc. as the total length of the section of the advertisement segment.
  • the fingerprint is a fingerprint extracted from the fingerprint extractor 30 as described above.
  • the fingerprint stored in the segment information may also be a fingerprint by multiple methods extracted for each method used.
  • the section updater 70 performs a function of changing the reference section and the test section selected by the section selector 20.
  • the section updater 70 may change the reference section so that the ad segment determined from the test section by the ad section determiner 50 is included in the reference section, that is, include the end point of the ad segment determined from the test section as the reference section. have.
  • the time interval (t a ⁇ t b) of the section that is, t 1 ⁇ t b t b to the end point of the advertisement segment can change the reference period to be included in the reference region.
  • the reference section may be changed so that up to the end point of the last ad segment (t d in FIG. 4) is included in the reference section.
  • the total length of the reference section may be constant by changing the position of the start point of the reference section by the length newly included in the reference section. For example, as shown in FIG. 4, since the reference interval has a length as long as the length of time L, when the interval of t 1 to t d is newly included as the reference interval, t 1 to t d is moved from t 2 to the right direction. It may be possible to keep the total length of time at L by removing it.
  • the start point of the test section is shortened by that much, and thus, the end point of the test section may be extended by the length of which the position of the start point of the reference section is changed.
  • test section and the reference section are changed by the section updater 70 in this manner, the test is repeated by the fingerprint extractor 30, the fingerprint matching unit 40, and the advertisement section determiner 50 as described above.
  • the process of determining the advertisement section by repeating the fingerprint of the section and the reference section may be repeated.
  • section updater 70 may change the reference section by the method illustrated in FIG. 6.
  • 6 is a diagram for describing an example of a method of changing a reference section in the section updater 70.
  • the interval updater 70 determines the time information of the start point of the reference section corresponding to the advertisement segment determined by the advertisement section determiner 50 each time the advertisement segment is determined in the advertisement segment history 71. Stored sequentially from the top, and at the bottom of every predetermined time, that is, the minimum value is determined from the time information stored in the search section of the ad segment history of the preset length (W) from the last stored time information. It may be configured to remove the section corresponding to the reference section. This is to remove them from the reference section because the section corresponding to the point before the minimum value corresponds to the reference sections with little frequency of advertisement occurrence for a certain period of time.
  • the advertisement database manager 60 stores each of the stored advertisement segments in smaller units. Can be divided into ad segments. This is because even the advertisement of the same product may be edited and configured with different time information.
  • FIG. 7 is a diagram for explaining a process of forming a new advertisement segment by dividing the advertisement segment into a small advertisement segment in the advertisement database manager 60.
  • ad segment 1 consists of [A] [B] [Z]
  • ad segment 2 consists of [A] [B] [C]
  • K consists of [B] [C] [A] [R].
  • the same letter indicates the same section.
  • any two ad segments are selected from each of the ad segments, and the fingerprints of the selected ad segments are compared to detect the same section, and then the new ad segment is divided by dividing the same section and the remaining section of the selected ad segment. Can be formed.
  • Ad Segment 1 composed of [A] [B] [Z] and Ad Segment 2 composed of [A] [B] [C]
  • [A] [B] can be detected.
  • These sections and the remaining sections [Z] and [C] may be divided to form new advertisement segments. Repeating this process by selecting two of the respective ad segments may form a new ad segment as shown in FIG. 7 as the first new ad segment. Next, if the same process is repeated for these, the final new advertisement segments can be formed as shown in FIG. 7.
  • FIG. 8 illustrates a process of detecting the same section by comparing the ad segments 1 and 2 of FIG. 7, and as shown in FIG. 8, the same section is [A] [B], as described above with reference to FIGS. 1 to 6.
  • the fingerprint may be detected through a process of extracting and comparing the fingerprint.
  • ad segments before the split ie ad segments 1 and 2 are removed from the ad database while forming a new ad segment.
  • FIG. 9 is a view illustrating a process of detecting the same section by comparing an ad segment consisting of [C] among the newly created new ad segments in FIG. 8 and the ad segment K of FIG. 7. Referring to FIG. If [C] and the same section [C] are separated, it can be seen that two new advertising segments consisting of [A] [R] on the right side and [B] on the left side can be formed. Thereafter, the existing advertisement segment K is removed from the advertisement database 80.
  • the final new advertisement segment can be obtained as shown in FIG.
  • this new advertising segment forming process may be repeated for a predetermined number (N) for any two advertising segments.
  • time length may be performed only for two segments having a predetermined time length K or more.
  • the process of forming a new advertisement segment may be repeatedly performed until there is no longer an advertising segment having the same section among all the advertising segments included in the advertisement database.
  • the advertising database manager 70 receives the segment information, that is, the fingerprint and time information (see FIG. 5), for the new advertising segments. Update to correspond.
  • FIG. 10 is a diagram illustrating an embodiment of an advertisement detection method performed by the advertisement detection system 100 described with reference to FIGS. 1 to 9.
  • the content stream storage unit 10 stores broadcast content in real time (S100), and the section selection unit 20 selects a reference section and a test section from the broadcast content stored by the content stream storage unit 10 ( S110).
  • the fingerprint extractor 30 extracts the fingerprint in at least one or more manners with respect to the reference section and the test section selected by the section selector 20 (S120), and the fingerprint matching unit 40 is the fingerprint extractor.
  • the fingerprint for the test interval extracted in operation 30 and the fingerprint for the reference interval are compared to perform matching (S130).
  • the advertisement section determiner 50 determines an advertisement segment from the test section based on the matching result performed by the fingerprint matching unit 40 (S140), and the advertisement database manager 60 sends the advertisement section determiner 50 to the advertisement section determiner 50. Segment information about the advertising segments determined by the advertisement database 80 is stored (S150).
  • the section updater 70 changes the reference section and the test section selected by the section selector 20 at every predetermined period or when a predetermined condition occurs (S160).

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Collating Specific Patterns (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 핑거프린트에 기반한 광고 검출 시스템 및 방법에 관한 것으로서, 방송 콘텐츠를 실시간으로 저장하는 콘텐츠 스트림 저장부; 상기 콘텐츠 스트림 저장부에 의해 저장된 방송 콘텐츠 중에서 레퍼런스 구간과 테스트 구간을 선택하는 구간 선택부; 상기 구간 선택부에 의해 선택된 레퍼런스 구간과 테스트 구간에 대해 적어도 하나 이상의 방식으로 핑거프린트를 추출하는 핑거프린트 추출부; 상기 핑거프린트 추출부에서 추출된 테스트 구간에 대한 핑거프린트와 레퍼런스 구간에 대한 핑거프린트를 비교하여 매칭을 수행하는 핑거프린트 매칭부; 상기 핑거프린트 매칭부에서 수행된 매칭 결과에 기초하여 테스트 구간으로부터 광고 세그먼트를 결정하는 광고 구간 결정부; 상기 광고 구간 결정부에 의해 결정된 광고 세그먼트들에 대한 세그먼트 정보를 광고 데이터베이스에 저장하고 광고 데이터베이스를 관리하는 광고 데이터베이스 관리부; 및 상기 구간 선택부에서 선택된 레퍼런스 구간과 테스트 구간을 변경하는 구간 갱신부를 포함하는 핑거프린트에 기반한 광고 검출 시스템 및 이를 이용한 방법을 제공한다.

Description

핑거프린트에 기반한 광고 검출 시스템 및 방법
본 발명은 광고 검출 시스템 및 방법에 관한 것으로서, 보다 상세하게는 핑거프린트에 기초하여 방송 콘텐츠에 포함되는 광고를 검출할 수 있는 시스템 및 방법에 관한 것이다.
TV 방송 콘텐츠는 크게 TV 프로그램 구간과 광고 구간으로 나눌 수 있다. 일반적으로 광고 구간은 시청자들의 입장에서 볼 때 중요도가 낮거나 불필요한 구간으로 인식되어, 이를 자동으로 검출한 뒤 제거하거나 다른 방식으로 재가공한 후 TV 콘텐츠를 사용자에게 제공하고자 하는 기술에 대한 연구가 많이 이루어졌다.
한편, TV 광고를 대상으로 하는 관련 사업을 하거나, 경쟁사의 광고를 지속적으로 모니터링해야 하는 필요성도 존재한다. 따라서, 프로그램 구간이 중요하던지 아니면 광고 구간이 중요하던지간에 이 둘 사이를 자동으로 구별할 수 있다면 많은 편리함이 있다.
그러나, 방송 콘텐츠에서 프로그램 구간과 광고 구간의 구별은 종래 사람에 의해 수작업으로 이루어지는 경우가 대부분이며, 이를 자동으로 구별하고자 하는 연구가 진행되고 있으나 아직까지는 효율이 매우 낮다는 한계점이 있다.
종래 알려져 있는 광고 구간의 검출 방법으로서는, 예를 들면, 광고의 시작과 끝 시점에 검은 화면을 삽입하는 경우가 많으므로 검은 화면을 검출함으로써 광고 구간을 검출하는 방법이 있다.
또는, 하기의 선행기술문헌 2.에 기재된 바와 같이, 광고의 변경 시점에 오디오 신호가 존재하지 않는다는 원리를 이용하는 방법도 알려져 있다.
또한, 광고의 길이가 15초 또는 30초 등으로 일정하다는 원리 또는 동일 광고가 방송 내에서 반복적으로 출현하는 원리를 이용하거나, TV 프로그램 구간에서 지속적으로 나타나는 방송 로고를 검출하는 방법을 사용하기도 했으며, 위에서 열거한 여러 가지 방식들을 조합하여 광고 구간을 검출하기도 했다.
그러나, 광고 구간의 신호적 특성은 국가별, 방송 채널별로 상이한 경우가 많아 위에 열거한 기존 방식으로 모두 해결하기에는 어려움이 있다. 예를 들면 미국의 경우 광고 시작과 끝 부분에 검은 화면(black frame)이 삽입되는 경우가 많으나, 다른 국가에서는 그렇지 않은 경우가 다수 존재한다.
또한, 기존의 광고들에 대해서 데이터베이스화하고 이를 광고 영역 검출에 사용하기도 하지만, 사전에 모든 광고가 포함된 데이터베이스를 구축하기는 매우 어렵다는 한계가 있다.
한편, 대한민국 공개특허공보 제10-2011-0129325호(2011.12.01.공개)는 "광고 영상 검출 방법 및 장치"에 관한 것으로서, 영상 재생 장치를 통해 재생되는 방송 콘텐츠와 광고 영상이 섞인 모니터링 대상 영상의 복수의 프레임들 각각을 소정 크기의 부분 블록들로 분할하는 단계; 상기 소정 크기의 부분 블록들 중 미리 설정된 위치에 해당하는 부분 블록들 각각에 대한 특징 정보들을 산출하는 단계; 상기 특징 정보들을 특징 정보 벡터로 변환하는 단계; 및 데이터베이스에 미리 저장된 검출하고자 하는 참조 광고 영상의 특징 정보 벡터와 상기 특징 정보 벡터를 비교하여 상기 참조 광고 영상을 검출하는 단계를 포함하는 광고 영상 검출 방법에 대하여 개시하고 있다.
그러나, 이러한 기술은 미리 광고 영상에 대한 특징 정보들을 미리 정확하게 저장하고 있어야 하고, 또한 모니터링 대상 영상과 광고 영상의 특징 정보가 완전히 일치하는 경우에만 적용할 수 있으므로 광고 구간이 일부분만 동일한 경우에는 적용할 수 없다는 한계가 있다. 더욱이, 이러한 기술에서는 데이터베이스가 고정되어 있어서 시간의 경과에 따라 데이터베이스가 동적으로 업데이트될 수 없다는 근본적인 한계가 있다.
[선행기술문헌]
1. 대한민국 공개특허공보 제10-2011-0129325호(2011.12.01.공개)
2. D. A. Sadlier et al., “Automatic TV advertisement detection from mpeg bitstream,” Journal of the Patt. Rec. Society, vol. 35, no. 12, pp. 215, Dec. 2002.
본 발명은 상기한 바와 같은 한계점을 해결하기 위한 것으로서, 방송 콘텐츠에서 지속적으로 나타나는 광고 구간을 검출하고 이를 데이터베이스화하는 과정을 반복 수행함으로써 광고 구간을 정확하게 그리고 효과적으로 검출할 수 있는 광고 검출 시스템 및 방법을 제공하는 것을 목적으로 한다.
또한, 본 발명은 실시간으로 지속적으로 방송 콘텐츠를 저장하고 저장된 방송 콘텐츠에 대해 레퍼런스 구간과 테스트 구간을 선택하여 광고 구간을 검출하고 그 결과에 따라 레퍼런스 구간과 테스트 구간을 변경할 수 있도록 함으로써 연속적으로 수신되는 방송 콘텐츠의 비교 대상 구간을 효율적으로 선택하고 동적으로 대처할 수 있는 시스템 및 방법을 제공하는 것을 또 다른 목적으로 한다.
또한, 본 발명은 핑거프린트에 기반하여 반복되는 광고 구간을 검출하고 검출된 광고 구간을 세그먼트화하여 데이터베이스에 저장한 후, 저장된 세그먼트들에 대해 보다 세분화된 단위의 광고 구간으로 분할하도록 함으로써 보다 정확하고 효율적인 광고 검출을 수행할 수 있는 시스템 및 방법을 제공하는 것을 또 다른 목적으로 한다.
상기한 바와 같은 과제를 해결하기 위하여 본 발명은, 핑거프린트에 기반한 광고 검출 시스템에 있어서, 방송 콘텐츠를 실시간으로 저장하는 콘텐츠 스트림 저장부; 상기 콘텐츠 스트림 저장부에 의해 저장된 방송 콘텐츠 중에서 레퍼런스 구간과 테스트 구간을 선택하는 구간 선택부; 상기 구간 선택부에 의해 선택된 레퍼런스 구간과 테스트 구간에 대해 적어도 하나 이상의 방식으로 핑거프린트를 추출하는 핑거프린트 추출부; 상기 핑거프린트 추출부에서 추출된 테스트 구간에 대한 핑거프린트와 레퍼런스 구간에 대한 핑거프린트를 비교하여 매칭을 수행하는 핑거프린트 매칭부; 상기 핑거프린트 매칭부에서 수행된 매칭 결과에 기초하여 테스트 구간으로부터 광고 세그먼트를 결정하는 광고 구간 결정부; 상기 광고 구간 결정부에 의해 결정된 광고 세그먼트들에 대한 세그먼트 정보를 광고 데이터베이스에 저장하고 광고 데이터베이스를 관리하는 광고 데이터베이스 관리부; 및 상기 구간 선택부에서 선택된 레퍼런스 구간과 테스트 구간을 변경하는 구간 갱신부를 포함하는 핑거프린트에 기반한 광고 검출 시스템을 제공한다.
여기에서, 상기 구간 분할부는, 상기 콘텐츠 스트림 저장부에 의해 저장된 방송 콘텐츠 중에서 가장 최근에 저장된 시점으로부터 소정 시간 구간을 테스트 구간으로 선택하고, 상기 테스트 구간의 종점으로부터 소정 시간 구간을 레퍼런스 구간으로 선택할 수 있다.
또한, 상기 테스트 구간은 상기 레퍼런스 구간보다 시간 길이가 짧도록 구성할 수도 있다.
또한, 상기 핑거프린트 추출부는, 상기 레퍼런스 구간과 테스트 구간을 각각 미리 설정된 시간 길이만큼의 단위 구간으로 분할하여 각 단위 구간에 대해 핑거프린트 추출 방식 중 어느 하나의 방식에 의해 핑거프린트를 추출하고, 상기 핑거프린트 매칭부는, 상기 테스트 구간의 각각의 단위 구간에 대해 추출된 핑거프린트와 레퍼런스 구간의 모든 단위 구간에 대해 추출된 핑거프린트를 비교하는 과정을 테스트 구간의 모든 단위 구간에 대해 수행함으로써 매칭을 수행하도록 구성할 수도 있다.
또한, 상기 단위 구간의 시작점은 시간 길이(S)만큼 간격을 갖도록 구성할 수도 있다.
또한, 상기 단위 구간의 시작점 사이의 시간 길이(S)는 상기 단위 구간의 시간 길이보다 짧게 하는 것이 바람직하다.
또한, 상기 광고 구간 결정부는, 상기 핑거프린트 매칭부의 매칭 수행 결과에 의해 레퍼런스 구간의 단위 구간들과 매칭되는 테스트 구간의 연속하는 단위 구간들을 광고 세그먼트로 결정할 수 있다.
또한, 상기 핑거프린트 추출부는, 상기 광고 세그먼트와 레퍼런스 구간 중 상기 광고 세그먼트에 상응하는 구간을 각각 미리 설정된 시간 길이만큼의 단위 구간으로 분할하여 각 단위 구간에 대해 상기 레퍼런스 구간과 테스트 구간에 대해 핑거프린트를 추출한 방식 이외의 적어도 하나 이상의 다른 방식에 의하여 핑거프린트를 추출하고, 상기 핑거프린트 매칭부는, 상기 광고 세그먼트의 각각의 단위 구간에 대해 추출된 핑거프린트와 상기 레퍼런스 구간 중 상기 광고 세그먼트에 상응하는 모든 단위 구간에 대해 추출된 핑거프린트를 비교하는 과정을 광고 세그먼트의 모든 단위 구간에 대해 수행함으로써 매칭을 수행할 수 있다.
또한, 상기 광고 구간 결정부는, 상기 핑거프린트 매칭부의 매칭 수행 결과에 의해 상기 레퍼런스 구간 중 상기 광고 세그먼트에 상응하는 단위 구간들과 매칭되는 광고 세그먼트의 연속하는 단위 구간들을 광고 세그먼트로 최종 결정하도록 할 수도 있다.
또한, 상기 광고 구간 결정부는, 상기 광고 세그먼트와 광고 데이터베이스에 이미 등록되어 있는 광고 세그먼트들의 핑거프린트를 비교하여 광고 세그먼트로 최종 결정할 수도 있다.
또한, 상기 핑거프린트는, 상기 레퍼런스 구간과 테스트 구간에 대해 핑거프린트를 추출한 방식 이외의 적어도 하나 이상의 다른 방식에 의한 핑거프린트일 수도 있다.
또한, 상기 광고 데이터베이스 관리부는, 상기 광고 구간 결정부에 의해 결정된 광고 세그먼트들에 대한 적어도 하나 이상의 핑거프린트와 광고 세그먼트의 시간 정보를 세그먼트 정보로서 광고 데이터베이스에 저장할 수 있다.
또한, 상기 구간 갱신부는, 상기 테스트 구간으로부터 결정된 광고 세그먼트의 종료점까지를 레퍼런스 구간으로 포함시켜서 레퍼런스 구간을 변경하도록 구성할 수도 있다.
또한, 상기 광고 세그먼트가 복수개인 경우 마지막 광고 세그먼트의 종료점까지를 레퍼런스 구간으로 포함시켜서 레퍼런스 구간을 변경하도록 구성할 수도 있다.
또한, 상기 레퍼런스 구간에 신규로 포함되는 길이만큼 레퍼런스 구간의 시작점의 위치를 변경하여 레퍼런스 구간의 전체 길이가 일정하게 되도록 할 수도 있다.
또한, 상기 구간 갱신부는, 레퍼런스 구간의 시작점의 위치가 변경된 길이만큼 테스트 구간의 길이를 연장시키도록 구성할 수도 있다.
또한, 상기 구간 갱신부는, 상기 테스트 구간으로부터 결정된 광고 세그먼트의 시작점 이전까지를 레퍼런스 구간으로 포함시켜서 레퍼런스 구간을 변경하도록 구성할 수도 있다.
또한, 상기 광고 세그먼트가 복수개인 경우 최초의 광고 세그먼트의 시작점 이전까지를 레퍼런스 구간으로 포함시켜서 레퍼런스 구간을 변경하도록 할 수도 있다.
또한, 상기 레퍼런스 구간에 신규로 포함되는 길이만큼 레퍼런스 구간의 시작점의 위치를 변경하여 레퍼런스 구간의 전체 길이가 일정하게 되도록 구성할 수도 있다.
또한, 상기 구간 갱신부는, 상기 광고 구간 결정부에서 결정된 광고 세그먼트에 상응하는 레퍼런스 구간의 시작점의 시간 정보를 광고 세그먼트 히스토리에 저장하고, 일정 시간 경과시마다 미리 설정된 광고 세그먼트 히스토리의 탐색 구간을 확인하여 상기 탐색 구간에 포함된 시간 정보 중 최소값 이전의 시점에 해당하는 구간을 레퍼런스 구간으로부터 제거할 수도 있다.
또한, 상기 광고 데이터베이스 관리부는, 광고 데이터베이스에 저장되는 광고 세그먼트들 중 2개의 광고 세그먼트를 선택하고, 선택된 광고 세그먼트들의 핑거프린트를 비교하여 동일 구간을 검출한 후, 상기 선택된 광고 세그먼트의 동일 구간과 나머지 구간을 분할함으로써 신규 광고 세그먼트 형성 과정을 수행할 수도 있다.
또한, 상기 분할 이전의 광고 세그먼트들은 광고 데이터베이스에서 제거될 수 있다.
또한, 상기 신규 광고 세그먼트 형성 과정은, 임의의 2개의 광고 세그먼트에 대해 미리 설정된 횟수(N)만큼 반복할 수도 있다.
또한, 상기 신규 광고 세그먼트 형성 과정은, 시간 길이가 일정 시간 길이(K) 이상인 2개의 세그먼트에 대해서 수행될 수 있다.
또한, 상기 신규 광고 세그먼트 형성 과정은, 광고 데이터베이스에 포함된 모든 광고 세그먼트 중 서로 동일 구간을 갖는 광고 세그먼트가 존재하지 않을 때까지 반복 수행되도록 할 수도 있다.
또한, 상기 광고 데이터베이스 관리부는, 상기 형성된 신규 광고 세그먼트들에 대한 핑거프린트와 시간 정보를 갱신할 수 있다.
본 발명의 다른 측면에 의하면, 핑거프린트에 기반한 광고 검출 방법에 있어서, 방송 콘텐츠를 실시간으로 저장하는 제1 단계; 상기 저장된 방송 콘텐츠 중에서 레퍼런스 구간과 테스트 구간을 선택하는 제2 단계; 상기 선택된 레퍼런스 구간과 테스트 구간에 대해 적어도 하나 이상의 방식으로 핑거프린트를 추출하는 제3 단계; 상기 추출된 테스트 구간에 대한 핑거프린트와 레퍼런스 구간에 대한 핑거프린트를 비교하여 매칭을 수행하는 제4 단계; 상기 매칭 수행 결과에 기초하여 테스트 구간으로부터 광고 세그먼트를 결정하는 제5 단계; 상기 결정된 광고 세그먼트들에 대한 세그먼트 정보를 광고 데이터베이스에 저장하는 제6 단계; 및 상기 레퍼런스 구간과 테스트 구간을 변경하는 제7 단계를 포함하는 핑거프린트에 기반한 광고 검출 방법을 제공할 수 있다.
본 발명에 의하면, 방송 콘텐츠에서 지속적으로 나타나는 광고 구간을 검출하고 이를 데이터베이스화하는 과정을 반복 수행함으로써 광고 구간을 정확하게 그리고 효과적으로 검출할 수 있는 광고 검출 시스템 및 방법을 제공할 수 있다.
또한, 본 발명은 실시간으로 지속적으로 방송 콘텐츠를 저장하고 저장된 방송 콘텐츠에 대해 레퍼런스 구간과 테스트 구간을 선택하여 광고 구간을 검출하고 그 결과에 따라 레퍼런스 구간과 테스트 구간을 변경할 수 있도록 함으로써 연속적으로 수신되는 방송 콘텐츠의 비교 대상 구간을 효율적으로 선택하고 동적으로 대처할 수 있는 시스템 및 방법을 제공할 수 있는 효과가 있다.
또한, 본 발명에 의하면, 핑거프린트에 기반하여 반복되는 광고 구간을 검출하고 검출된 광고 구간을 세그먼트화하여 데이터베이스에 저장한 후, 저장된 세그먼트들에 대해 보다 세분화된 단위의 광고 구간으로 분할하도록 함으로써 보다 정확하고 효율적인 광고 검출을 수행할 수 있는 시스템 및 방법을 제공할 수 있다.
도 1은 본 발명의 일실시예에 의한 핑거프린트에 기반한 광고 검출 시스템(100)의 전체 구성을 나타낸 도면이다.
도 2는 구간 선택부(20)에서 레퍼런스 구간과 테스트 구간을 선택하는 방법의 일예를 설명하기 위한 도면이다.
도 3은 핑거프린트 추출부(30)와 핑거프린트 매칭부(40)의 동작을 설명하기 위한 도면이다.
도 4는 테스트 구간(22)에서 광고 세그먼트를 결정하는 과정을 설명하기 위한 도면이다.
도 5는 광고 데이터베이스(80)에 저장되는 세그먼트 정보의 일예를 나타낸 도면이다.
도 6은 구간 갱신부(70)에서 레퍼런스 구간을 변경하는 방법의 일예를 설명하기 위한 도면이다.
도 7은 광고 데이터베이스 관리부(60)에서 광고 세그먼트를 작은 단위의 광고 세그먼트로 분할하여 신규 광고 세그먼트를 형성하는 과정을 설명하기 위한 도면이다.
도 8 및 도 9는 광고 세그먼트들을 분할하는 과정을 나타낸 도면이다.
도 10은 본 발명에 의한 광고 검출 방법의 일실시예를 나타낸 도면이다.
이하, 첨부 도면을 참조하여 본 발명에 의한 실시예들을 상세하게 설명하기로 한다.
도 1은 본 발명의 일실시예에 의한 핑거프린트에 기반한 광고 검출 시스템(100)의 전체 구성을 나타낸 도면이다.
도 1을 참조하면, 본 실시예의 핑거프린트에 기반한 광고 검출 시스템(100, 이하 광고 검출 시스템(100)이라 한다)은, 콘텐츠 스트림 저장부(10), 구간 선택부(20), 핑거프린트 추출부(30), 핑거프린트 매칭부(40), 광고 구간 결정부(50), 광고 데이터베이스 관리부(60), 구간 갱신부(70) 및 광고 데이터베이스(80)를 포함한다.
콘텐츠 스트림 저장부(10)는, 방송 콘텐츠를 실시간으로 저장하는 기능을 수행한다. 방송 콘텐츠는 예컨대 TV 지상파 또는 케이블 방송을 통해 제공되는 콘텐츠일 수 있다. 콘텐츠 스트림 저장부(10)는 이러한 방송 콘텐츠를 실시간으로 또한 연속적으로 저장한다.
구간 선택부(20)는 콘텐츠 스트림 저장부(10)에 의해 저장된 방송 콘텐츠 중에서 레퍼런스 구간과 테스트 구간을 선택하는 기능을 수행한다.
테스트 구간은 광고가 포함되어 있는지를 식별하기 위한 구간이며, 레퍼런스 구간은 테스트 구간에 광고가 포함되어 있는지를 식별할 수 있도록 하는 비교 대상이 되는 구간을 의미한다.
구간 선택부(20)는, 콘텐츠 스트림 저장부(10)에 의해 저장된 방송 콘텐츠 중에서 가장 최근에 저장된 시점으로부터 소정 시간 구간을 테스트 구간으로 선택하고, 테스트 구간의 종점으로부터 소정 시간 구간을 레퍼런스 구간으로 선택할 수 있다.
도 2는 구간 선택부(20)에서 레퍼런스 구간과 테스트 구간을 선택하는 방법의 일예를 설명하기 위한 도면이다.
도 2에 나타낸 바와 같이, 저장된 방송 콘텐츠를 시간 기준으로 볼 때 우측이 가장 최근 시점(t0)이라고 하면, 우측 끝 시점 즉, 가장 최근에 저장된 시점(t0)으로부터 일정 시간 길이(N)만큼의 시점(t1)까지의 구간을 테스트 구간(22)으로 선택할 수 있다. 또한, 상기 테스트 구간(22)의 종점(t1)으로부터 일정 시간 길이(L)가 되는 시점(t2)까지의 구간을 레퍼런스 구간(21)으로 선택할 수 있다.
이 때, 테스트 구간(22)은 레퍼런스 구간(21)보다 시간 길이가 짧게 즉, 레퍼런스 구간(21)의 시간 길이가 테스트 구간(21)에 비해 길게 하는 것이 바람직한데, 이는 테스트 구간(22)에 포함되는 광고 검출은 레퍼런스 구간(21)이 길수록 변별력이 높아지기 때문이다. 예컨대, 테스트 구간(22)을 10시간 길이의 구간으로 선택하고 레퍼런스 구간(21)을 3일치 길이의 구간으로 선택할 수 있다.
다시 도 1을 참조하면, 핑거프린트 추출부(30)는 구간 선택부(20)에 의해 선택된 레퍼런스 구간과 테스트 구간에 대해 적어도 하나 이상의 방식으로 핑거프린트를 추출하는 기능을 수행하고, 핑거프린트 매칭부(40)는 핑거프린트 추출부(30)에서 추출된 테스트 구간에 대한 핑거프린트와 레퍼런스 구간에 대한 핑거프린트를 비교하여 매칭을 수행한다. 한편, 광고 구간 결정부(50)는 핑거프린트 매칭부(40)에서 수행된 매칭 결과에 기초하여 테스트 구간으로부터 광고 세그먼트를 결정하는 기능을 수행한다.
즉, 핑거프린트 추출부(30)는, 레퍼런스 구간과 테스트 구간을 각각 미리 설정된 시간 길이만큼의 단위 구간으로 분할하여 각 단위 구간에 대해 핑거프린트 추출 방식 중 어느 하나의 방식에 의해 핑거프린트를 추출하고, 핑거프린트 매칭부(40)는 테스트 구간의 각각의 단위 구간에 대해 추출된 핑거프린트와 레퍼런스 구간의 모든 단위 구간에 대해 추출된 핑거프린트를 비교하는 과정을 테스트 구간의 모든 단위 구간에 대해 수행함으로써 매칭을 수행한다. 그리고 광고 구간 결정부(50)는 매칭 수행 결과에 의해 테스트 구간으로부터 광고 세그먼트를 결정하게 된다.
도 3은 핑거프린트 추출부(30)와 핑거프린트 매칭부(40)의 동작을 설명하기 위한 도면이다.
도 3에 나타낸 바와 같이, 우선 테스트 구간(22) 중 시점 t1으로부터 미리 설정해 둔 시간 길이만큼의 단위 구간을 생성한다. 그리고 레퍼런스 구간(21)에 대해서도 시점 t2로부터 테스트 구간(22)에서의 단위 구간의 시간 길이만큼의 단위 구간을 생성하고, 이들 두 단위 구간에 대해서 핑거프린트 추출부(30)가 핑거프린트를 추출하고 핑거프린트 매칭부(40)는 추출된 핑거프린트에 대해 매칭을 수행한다.
핑거프린트 매칭부(40)는 매칭 결과 예컨대 매칭 스코어를 임시로 저장하고 레퍼런스 구간(21)의 다음 단위 구간을 생성하고 다시 핑거프린트 매칭을 수행한다. 이 때 다음 단위 구간의 시작점은 앞서 생성했던 단위 구간의 시작점과 시간축 상에서 단위 구간의 시간 길이보다 짧은 이동 길이(S)만큼의 간격을 갖는 것이 바람직하다. 즉, 각 단위 구간은 시간축 상에서 서로 겹치는 구간을 갖도록 하는 것이 바람직하다.
이러한 과정을 레퍼런스 구간(21)의 종점인 t1까지의 모든 구간에 대해서 수행하면 테스트 구간(22)에 대해 생성했던 하나의 단위 구간에 대한 핑거프린트 매칭이 완료된다.
테스트 구간(22)의 첫번째 단위 구간에 대해 레퍼런스 구간(21)의 모든 단위 구간들에 대해 핑거프린트 추출 및 매칭이 완료되면 테스트 구간(22)의 다음 단위 구간을 생성하고 상기와 같은 과정을 반복한다. 이 때 테스트 구간(22)의 다음 단위 구간의 시작점도 이전 단위 구간의 시작점과 단위 구간의 시간 길이보다 작은 시간 길이를 갖는 것이 바람직하다.
테스트 구간(22)의 단위 구간들의 시작점 사이의 간격과 레퍼런스 구간(21)의 단위 구간들의 시작점 사이의 간격은 같게 할 수도 있고 다르게 할 수도 있다.
이와 같은 과정을 테스트 구간(22)의 마지막 단위 구간까지에 대해서 반복 수행하면 테스트 구간(22)의 각 단위 구간별로 레퍼런스 구간(21)에 대한 핑거프린트 매칭 결과를 얻을 수 있다. 광고 구간 결정부(50)는 각 단위 구간에 대한 핑거프린트 매칭 결과 즉, 핑거프린트 매칭 스코어에 기초하여 매칭 여부를 판단하고 매칭되는 단위 구간들에 대한 연속 구간을 판단하여 연속되는 단위 구간들을 광고 세그먼트로 결정한다.
도 4는 테스트 구간(22)에서 광고 세그먼트를 결정하는 과정을 설명하기 위한 도면이다.
도 4의 우측의 테스트 구간(22)에 파란색으로 표시한 구간은 레퍼런스 구간(21)과 핑거프린트가 매칭되는 연속 구간을 나타낸 것으로서 2개의 연속되는 구간(ta~tb, tc~td)이 광고 세그먼트로 결정되었음을 알 수 있다.
한편, 본 발명에서 핑거프린트(fingerprint)라 함은, 오디오 데이터, 이미지 데이터 또는 비디오 데이터 등과 같은 데이터의 특징을 나타내는 특징 데이터를 의미하는 것으로서, 지문 데이터, DNA 데이터 또는 유전자 데이터라고도 한다. 이러한 핑거프린트를 추출하고 이를 비교하는 기술로서는, 종래 기술에 의하여 여러 가지 방식이 제안되어 있으며, 이러한 핑거프린트를 활용하면 데이터의 동일성 여부를 쉽게 판별할 수 있으므로 저작권 관리(DRM) 분야 등에서 최근 폭넓게 사용되고 있다.
예컨대, 오디오 데이터인 경우 오디오 데이터의 특징을 나타내는 각종 특징 데이터(예컨대, 주파수, 진폭 등)를 이용하여 핑거프린트를 생성하며, 이미지나 비디오 데이터인 경우 이미지나 비디오 데이터의 여러 가지 특징 데이터(예컨대, 프레임의 모션 벡터 정보, 색상 정보 등)를 이용하여 핑거프린트를 생성할 수 있다.
본 발명은 이러한 핑거프린트 데이터를 추출(생성)하는 방법 자체를 목적으로 하는 것은 아니며 종래의 기술에 의한 어떠한 형태의 핑거프린트 생성/추출 방법을 그대로 사용할 수 있으므로 이에 대해서는 상세한 설명은 생략한다.
본 출원인이 출원한 특허출원번호 제10-2007-0044251호(오디오 핑거프린트 데이터 생성 방법 및 장치 및 이를 이용한 오디오 데이터 비교 방법 및 장치), 제10-2007-0054601호(동영상 데이터의 동일성 판단 및 동일 구간 검출 방법 및 장치), 제10-2007-0060978호(동영상 데이터들을 서로 동일성이 있는 동영상 데이터들끼리 클러스터링하는 방법 및 시스템), 제10-2007-0071633호(동영상 데이터 클러스터를 이용한 동영상 데이터 검색 서비스 제공 방법 및 장치), 제10-2007-0091587호(동영상 데이터 클러스터를 이용한 광고 데이터 설정 및 제공 방법 및 장치), 및 제10-2008-0051688호(동영상 처리 방법 및 그 장치)에 의하면, 오디오, 이미지 또는 비디오 데이터의 핑거프린트를 생성하는 방법과 이러한 핑거프린트를 이용하여 데이터를 비교하는 방법에 대해서 기재되어 있으며, 이러한 본 출원인의 핑거프린트 추출 방법을 본 발명에 사용할 수도 있음은 물론이다. 요컨대, 본 발명은 핑거프린트를 추출하는 방식이 어떠한 것인가에 관계 없이 종래 알려져 있는 핑거프린트 추출 기술을 그대로 사용할 수 있다.
이와 같이 핑거프린트를 추출하는 방식은 여러 가지 방식을 사용할 수 있는데, 전술한 바와 같이 광고 구간 결정부(50)에서 광고 세그먼트가 결정되면, 광고 세그먼트에 대해서 다른 핑거프린트 추출 방식을 이용하여 핑거프린트를 추출하고 이를 레퍼런스 구간과 비교하여 2차적인 매칭을 수행하도록 구성할 수도 있다.
즉, 핑거프린트 추출부(30)는, 광고 구간 결정부(50)에서 결정된 광고 세그먼트에 대해서, 광고 세그먼트와 레퍼런스 구간 중 상기 광고 세그먼트에 상응하는 구간을 각각 미리 설정된 시간 길이만큼의 단위 구간으로 분할하여 각 단위 구간에 대해 레퍼런스 구간과 테스트 구간에 대해 핑거프린트를 추출한 방식 이외의 적어도 하나 이상의 다른 방식에 의하여 핑거프린트를 추출할 수 있다. 그리고, 핑거프린트 매칭부(40)는, 광고 세그먼트의 각각의 단위 구간에 대해 추출된 핑거프린트와 레퍼런스 구간 중 광고 세그먼트에 상응하는 모든 단위 구간에 대해 추출된 핑거프린트를 비교하는 과정을 광고 세그먼트의 모든 단위 구간에 대해 수행함으로써 매칭을 수행하도록 할 수 있다.
이와 같은 과정을 수행한 후, 광고 구간 결정부(50)는, 핑거프린트 매칭부(40)의 매칭 수행 결과에 의해 레퍼런스 구간 중 광고 세그먼트에 상응하는 단위 구간들과 매칭되는 광고 세그먼트의 연속하는 단위 구간들을 광고 세그먼트로 최종적으로 결정하도록 할 수 있다.
한편, 광고 구간 결정부(50)는, 광고 세그먼트로 결정된 구간의 핑거프린트와 광고 데이터베이스(80)에 이미 등록되어 있는 광고 세그먼트들의 핑거프린트를 비교하여 매칭되는 경우에 해당 광고 세그먼트를 광고 세그먼트로서 최종적으로 결정하도록 구성할 수도 있다. 이 때의 핑거프린트는 앞서의 과정에서 레퍼런스 구간과 테스트 구간에 대해 핑거프린트를 추출한 방식 이외의 적어도 하나 이상의 다른 방식에 의한 핑거프린트인 것이 바람직하다.
다시 도 1을 참조하여 광고 데이터베이스 관리부(60)와 구간 갱신부(70)에 대해서 설명한다.
광고 데이터베이스 관리부(60)는 광고 구간 결정부(에 의해 결정된 광고 세그먼트들에 대한 세그먼트 정보를 광고 데이터베이스(80)에 저장하고 광고 데이터베이스(80)를 관리하는 기능을 수행한다.
도 5는 광고 데이터베이스(80)에 저장되는 세그먼트 정보의 일예를 나타낸 도면이다.
도 5를 참조하면, 세그먼트 정보는 세그먼트 식별자, 구간 시작점 시간 정보, 구간 길이 및 핑거프린트를 포함한다.
세그먼트 식별자(segment identifier)는 각각의 광고 세그먼트를 식별할 수 있도록 고유하게 부여되는 식별자(ID)를 의미하고, 구간 시작점 시간 정보는 예컨대 2013년 5월 20일 11시 59분 35초(2013-05-20/11:59:35) 등과 같이 저장할 수 있다. 구간 길이는 광고 세그먼트의 구간의 전체 길이로서 예컨대 30초, 20초 등과 같이 저장할 수 있다.
핑거프린트는 전술한 바와 같이 핑거프린트 추출부(30)에서 추출되는 핑거프린트이다. 전술한 바와 같이, 본 발명에서 핑거프린트 추출 방식은 여러 가지의 방식을 사용할 수 있으므로 세그먼트 정보에 저장되는 핑거프린트 또한 사용한 방식별로 추출된 다수 방식에 의한 핑거프린트일 수 있다.
구간 갱신부(70)는 구간 선택부(20)에서 선택된 레퍼런스 구간과 테스트 구간을 변경하는 기능을 수행한다.
구간 갱신부(70)는 광고 구간 결정부(50)에 의해 테스트 구간으로부터 결정된 광고 세그먼트가 레퍼런스 구간에 포함되도록 즉, 테스트 구간으로부터 결정된 광고 세그먼트의 종료점까지를 레퍼런스 구간으로 포함시켜서 레퍼런스 구간을 변경할 수 있다. 예컨대, 도 4에 나타낸 바와 같이, 시간 구간(ta~tb)의 광고 세그먼트의 종료점인 tb 까지의 구간 즉, t1~tb가 레퍼런스 구간에 포함되도록 레퍼런스 구간을 변경할 수 있다.
한편, 광고 세그먼트가 복수개인 경우 마지막 광고 세그먼트의 종료점(도 4의 경우에는 td)까지가 레퍼런스 구간에 포함되도록 레퍼런스 구간을 변경할 수 있다.
이와 같이 레퍼런스 구간이 변경되는 경우, 레퍼런스 구간에 신규로 포함되는 길이만큼 레퍼런스 구간의 시작점의 위치를 변경하여 레퍼런스 구간의 전체 길이가 일정하게 되도록 할 수 있다. 예컨대, 도 4에 나타낸 바와 같이 레퍼런스 구간은 시간 길이(L)만큼의 길이를 가지므로 t1~td의 구간이 새로 레퍼런스 구간으로 포함되는 경우 t2로부터 오른쪽 방향으로 t1~td만큼을 제거함으로써 전체 시간 길이가 L로 유지되도록 할 수도 있다.
이와 같이, 레퍼런스 구간의 시작점의 위치가 변경된 경우, 테스트 구간의 시작점이 그만큼 단축된 것이므로, 레퍼런스 구간의 시작점의 위치가 변경된 길이만큼 테스트 구간의 종료점을 연장시키도록 구성할 수도 있다.
테스트 구간과 레퍼런스 구간이 이러한 방식으로 구간 갱신부(70)에 의해 변경되면 전술한 바와 같이 핑거프린트 추출부(30), 핑거프린트 매칭부(40) 및 광고 구간 결정부(50)에 의해 다시 테스트 구간과 레퍼런스 구간의 핑거프린트를 매칭하여 광고 구간을 결정하는 과정을 반복 수행할 수 있다.
한편, 구간 갱신부(70)는 도 6에 나타낸 방법에 의해 레퍼런스 구간을 변경할 수도 있다. 도 6은 구간 갱신부(70)에서 레퍼런스 구간을 변경하는 방법의 일예를 설명하기 위한 도면이다.
구간 갱신부(70)는 광고 구간 결정부(50)에서 결정된 광고 세그먼트에 상응하는 레퍼런스 구간의 시작점의 시간 정보를 도 6에 나타낸 바와 같이 광고 세그먼트 히스토리(history, 71)에 광고 세그먼트가 결정될 때마다 위에서부터 순차적으로 저장하고, 일정 시간 경과시마다 맨 아래쪽 즉, 가장 최근에 저장된 시간 정보로부터 미리 설정된 길이(W)만큼의 광고 세그먼트 히스토리의 탐색 구간에 저장된 시간 정보 중 최소값을 판별하고 해당 최소값 이전의 시점에 해당하는 구간을 레퍼런스 구간으로부터 제거하도록 구성할 수 있다. 이는 해당 최소값 이전의 시점에 해당하는 구간은 일정 기간 동안 광고 발생 빈도가 거의 없는 레퍼런스 구간들에 해당하므로 이들을 레퍼런스 구간으로부터 제거하기 위함이다.
한편, 전술한 바와 같은 과정에 의해 광고 세그먼트가 결정되고 결정된 광고 세그먼트에 대한 세그먼트 정보가 도 5와 같이 광고 데이터베이스(80)에 저장되면 광고 데이터베이스 관리부(60)는 저장된 각각의 광고 세그먼트들을 보다 작은 단위의 광고 세그먼트로 분할할 수 있다. 이는 예컨대 동일한 제품의 광고라 하더라도 시간 정보를 달리하여 편집되어 구성되는 경우가 있기 때문이다.
도 7은 광고 데이터베이스 관리부(60)에서 광고 세그먼트를 작은 단위의 광고 세그먼트로 분할하여 신규 광고 세그먼트를 형성하는 과정을 설명하기 위한 도면이다.
도 7을 참조하면, 광고 세그먼트가 K개 존재하며, 광고 세그먼트 1은 [A][B][Z]로 구성되고, 광고 세그먼트 2는 [A][B][C]로 구성되고, 광고 세그먼트 K는 [B][C][A][R]로 구성되어 있다고 가정한다. 여기에서 동일한 글자는 동일한 구간을 나타낸다.
이러한 상태에서 각각의 광고 세그먼트들 중에서 임의의 2개의 광고 세그먼트를 선택하여 선택된 광고 세그먼트들의 핑거프린트를 비교하여 동일 구간을 검출한 후, 선택된 광고 세그먼트의 동일 구간과 나머지 구간을 분할함으로써 신규 광고 세그먼트를 형성하도록 할 수 있다.
예컨대, [A][B][Z]로 구성되는 광고 세그먼트 1와 [A][B][C]로 구성되는 광고 세그먼트 2를 비교하면 동일 구간인 [A][B]를 검출할 수 있고 이들 구간과 나머지 구간([Z], [C])을 분할하여 신규 광고 세그먼트를 형성할 수 있다. 이를 각각의 광고 세그먼트들 중 2개를 선택하여 반복 수행하게 되면 도 7의 1차 신규 광고 세그먼트로 나타낸 바와 같은 신규 광고 세그먼트를 형성할 수 있다. 다음으로 이들에 대해서도 마찬가지의 과정을 반복 수행하면 도 7에 나타낸 바와 같이 최종 신규 광고 세그먼트들을 형성할 수 있다.
도 8 및 도 9는 광고 세그먼트들을 분할하는 과정을 나타낸 도면이다.
도 8은 도 7의 광고 세그먼트 1 및 2를 비교하여 동일 구간을 검출하는 과정을 나타낸 것으로서, 도 8에 나타낸 바와 같이 동일 구간은 [A][B]이며 이들은 앞서 도 1 내지 도 6에서 설명한 바와 같이 핑거프린트를 추출하여 비교하는 과정을 통해 검출될 수 있다.
동일 구간이 검출되면 동일 구간과 나머지 구간 즉, 동일하지 않은 구간을 원래의 광고 세그먼트 1 및 2로부터 각각 분할하면 도 8의 우측에 나타낸 바와 같이 [A][B], [Z], [C]로 각각 구성되는 신규 광고 세그먼트가 형성된다.
신규 광고 세그먼트를 형성하면서 분할 이전의 광고 세그먼트들 즉, 광고 세그먼트 1과 2는 광고 데이터베이스에서 제거된다.
도 9는 도 7의 광고 세그먼트 K와 도 8에서 신규 생성된 신규 광고 세그먼트 중 [C]로 구성되는 광고 세그먼트를 비교하여 동일 구간을 검출하는 과정을 나타낸 것으로서, 도 9를 참조하면, 동일 구간은 [C]이고 동일 구간 [C]를 분리해 내면 우측의 [A][R]과 좌측의 [B]로 구성되는 2개의 신규 광고 세그먼트를 형성할 수 있음을 알 수 있다. 이후, 기존의 광고 세그먼트 K는 광고 데이터베이스(80)에서 제거된다.
이와 같은 과정을 광고 데이터베이스(80)에 저장되어 있는 광고 세그먼트들에 대해서 반복 수행하게 되면 도 7에 나타낸 바와 같이 최종 신규 광고 세그먼트를 얻을 수 있게 된다.
여기에서, 이러한 신규 광고 세그먼트 형성 과정은, 임의의 2개의 광고 세그먼트에 대해 미리 설정된 횟수(N)만큼 반복하도록 할 수 있다.
또한, 시간 길이가 일정 시간 길이(K) 이상인 2개의 세그먼트에 대해서만 수행되도록 할 수도 있다.
또한, 신규 광고 세그먼트 형성 과정은, 광고 데이터베이스에 포함된 모든 광고 세그먼트 중 서로 동일 구간을 갖는 광고 세그먼트가 더 이상 존재하지 않을 때까지 반복 수행되도록 할 수도 있을 것이다.
한편, 전술한 바와 같은 과정을 통해 최종적으로 신규 광고 세그먼트들이 형성되면, 광고 데이터베이스 관리부(70)는 신규 광고 세그먼트들에 대한 세그먼트 정보 즉, 핑거프린트와 시간 정보(도 5 참조)를 신규 광고 세그먼트들에 상응하도록 갱신한다.
도 10은 도 1 내지 도 9를 참조하여 설명한 광고 검출 시스템(100)에서 수행되는 광고 검출 방법의 일실시예를 나타낸 도면이다.
우선, 콘텐츠 스트림 저장부(10)는 방송 콘텐츠를 실시간으로 저장하며(S100), 구간 선택부(20)는 콘텐츠 스트림 저장부(10)에 의해 저장된 방송 콘텐츠 중에서 레퍼런스 구간과 테스트 구간을 선택한다(S110).
핑거프린트 추출부(30)는 구간 선택부(20)에 의해 선택된 레퍼런스 구간과 테스트 구간에 대해 적어도 하나 이상의 방식으로 핑거프린트를 추출하고(S120), 핑거프린트 매칭부(40)는 핑거프린트 추출부(30)에서 추출된 테스트 구간에 대한 핑거프린트와 레퍼런스 구간에 대한 핑거프린트를 비교하여 매칭을 수행한다(S130).
광고 구간 결정부(50)는 핑거프린트 매칭부(40)에서 수행된 매칭 결과에 기초하여 테스트 구간으로부터 광고 세그먼트를 결정하고(S140), 광고 데이터베이스 관리부(60)는 광고 구간 결정부(50)에 의해 결정된 광고 세그먼트들에 대한 세그먼트 정보를 광고 데이터베이스(80)에 저장한다(S150).
다음으로 일정 주기마다 또는 소정 조건 발생시 구간 갱신부(70)는 구간 선택부(20)에서 선택된 레퍼런스 구간과 테스트 구간을 변경한다(S160).
이상에서 본 발명에 의한 바람직한 실시예를 참조하여 본 발명을 설명하였으나 본 발명은 상기 실시예에 한정되는 것은 아니며 다양한 형태의 수정, 변형 실시가 가능함은 당업자에게 자명할 것이다.

Claims (24)

  1. 핑거프린트에 기반한 광고 검출 시스템에 있어서,
    방송 콘텐츠를 실시간으로 저장하는 콘텐츠 스트림 저장부;
    상기 콘텐츠 스트림 저장부에 의해 저장된 방송 콘텐츠 중에서 레퍼런스 구간과 테스트 구간을 선택하는 구간 선택부;
    상기 구간 선택부에 의해 선택된 레퍼런스 구간과 테스트 구간에 대해 적어도 하나 이상의 방식으로 핑거프린트를 추출하는 핑거프린트 추출부;
    상기 핑거프린트 추출부에서 추출된 테스트 구간에 대한 핑거프린트와 레퍼런스 구간에 대한 핑거프린트를 비교하여 매칭을 수행하는 핑거프린트 매칭부;
    상기 핑거프린트 매칭부에서 수행된 매칭 결과에 기초하여 테스트 구간으로부터 광고 세그먼트를 결정하는 광고 구간 결정부;
    상기 광고 구간 결정부에 의해 결정된 광고 세그먼트들에 대한 세그먼트 정보를 광고 데이터베이스에 저장하고 광고 데이터베이스를 관리하는 광고 데이터베이스 관리부; 및
    상기 구간 선택부에서 선택된 레퍼런스 구간과 테스트 구간을 변경하는 구간 갱신부
    를 포함하는 핑거프린트에 기반한 광고 검출 시스템.
  2. 제1항에 있어서,
    상기 구간 분할부는, 상기 콘텐츠 스트림 저장부에 의해 저장된 방송 콘텐츠 중에서 가장 최근에 저장된 시점으로부터 소정 시간 구간을 테스트 구간으로 선택하고, 상기 테스트 구간의 종점으로부터 소정 시간 구간을 레퍼런스 구간으로 선택하는 것을 특징으로 하는 핑거프린트에 기반한 광고 검출 시스템.
  3. 제2항에 있어서,
    상기 테스트 구간은 상기 레퍼런스 구간보다 시간 길이가 짧은 것을 특징으로 하는 핑거프린트에 기반한 광고 검출 시스템.
  4. 제1항에 있어서,
    상기 핑거프린트 추출부는,
    상기 레퍼런스 구간과 테스트 구간을 각각 미리 설정된 시간 길이만큼의 단위 구간으로 분할하여 각 단위 구간에 대해 핑거프린트 추출 방식 중 어느 하나의 방식에 의해 핑거프린트를 추출하고,
    상기 핑거프린트 매칭부는,
    상기 테스트 구간의 각각의 단위 구간에 대해 추출된 핑거프린트와 레퍼런스 구간의 모든 단위 구간에 대해 추출된 핑거프린트를 비교하는 과정을 테스트 구간의 모든 단위 구간에 대해 수행함으로써 매칭을 수행하는 것을 특징으로 하는 핑거프린트에 기반한 광고 검출 시스템.
  5. 제4항에 있어서,
    상기 단위 구간의 시작점은 시간 길이(S)만큼 간격을 갖는 것을 특징으로 하는 핑거프린트에 기반한 광고 검출 시스템.
  6. 제5항에 있어서,
    상기 단위 구간의 시작점 사이의 시간 길이(S)는 상기 단위 구간의 시간 길이보다 짧은 것을 특징으로 하는 핑거프린트에 기반한 광고 검출 시스템.
  7. 제4항에 있어서,
    상기 광고 구간 결정부는,
    상기 핑거프린트 매칭부의 매칭 수행 결과에 의해 레퍼런스 구간의 단위 구간들과 매칭되는 테스트 구간의 연속하는 단위 구간들을 광고 세그먼트로 결정하는 것을 특징으로 하는 핑거프린트에 기반한 광고 검출 시스템.
  8. 제7항에 있어서,
    상기 핑거프린트 추출부는,
    상기 광고 세그먼트와 레퍼런스 구간 중 상기 광고 세그먼트에 상응하는 구간을 각각 미리 설정된 시간 길이만큼의 단위 구간으로 분할하여 각 단위 구간에 대해 상기 레퍼런스 구간과 테스트 구간에 대해 핑거프린트를 추출한 방식 이외의 적어도 하나 이상의 다른 방식에 의하여 핑거프린트를 추출하고,
    상기 핑거프린트 매칭부는,
    상기 광고 세그먼트의 각각의 단위 구간에 대해 추출된 핑거프린트와 상기 레퍼런스 구간 중 상기 광고 세그먼트에 상응하는 모든 단위 구간에 대해 추출된 핑거프린트를 비교하는 과정을 광고 세그먼트의 모든 단위 구간에 대해 수행함으로써 매칭을 수행하는 것을 특징으로 하는 핑거프린트에 기반한 광고 검출 시스템.
  9. 제8항에 있어서,
    상기 광고 구간 결정부는,
    상기 핑거프린트 매칭부의 매칭 수행 결과에 의해 상기 레퍼런스 구간 중 상기 광고 세그먼트에 상응하는 단위 구간들과 매칭되는 광고 세그먼트의 연속하는 단위 구간들을 광고 세그먼트로 최종 결정하는 것을 특징으로 하는 핑거프린트에 기반한 광고 검출 시스템.
  10. 제7항에 있어서,
    상기 광고 구간 결정부는,
    상기 광고 세그먼트와 광고 데이터베이스에 이미 등록되어 있는 광고 세그먼트들의 핑거프린트를 비교하여 광고 세그먼트로 최종 결정하는 것을 특징으로 하는 핑거프린트에 기반한 광고 검출 시스템.
  11. 제10항에 있어서,
    상기 핑거프린트는, 상기 레퍼런스 구간과 테스트 구간에 대해 핑거프린트를 추출한 방식 이외의 적어도 하나 이상의 다른 방식에 의한 핑거프린트인 것을 특징으로 하는 핑거프린트에 기반한 광고 검출 시스템.
  12. 제1항에 있어서,
    상기 광고 데이터베이스 관리부는,
    상기 광고 구간 결정부에 의해 결정된 광고 세그먼트들에 대한 적어도 하나 이상의 핑거프린트와 광고 세그먼트의 시간 정보를 세그먼트 정보로서 광고 데이터베이스에 저장하는 것을 특징으로 하는 핑거프린트에 기반한 광고 검출 시스템.
  13. 제1항에 있어서,
    상기 구간 갱신부는,
    상기 테스트 구간으로부터 결정된 광고 세그먼트의 종료점까지를 레퍼런스 구간으로 포함시켜서 레퍼런스 구간을 변경하는 것을 특징으로 하는 핑거프린트에 기반한 광고 검출 시스템.
  14. 제13항에 있어서,
    상기 광고 세그먼트가 복수개인 경우 마지막 광고 세그먼트의 종료점까지를 레퍼런스 구간으로 포함시켜서 레퍼런스 구간을 변경하는 것을 특징으로 하는 핑거프린트에 기반한 광고 검출 시스템.
  15. 제13항 또는 제14항에 있어서,
    상기 레퍼런스 구간에 신규로 포함되는 길이만큼 레퍼런스 구간의 시작점의 위치를 변경하여 레퍼런스 구간의 전체 길이가 일정하게 되도록 하는 것을 특징으로 하는 핑거프린트에 기반한 광고 검출 시스템.
  16. 제15항에 있어서,
    상기 구간 갱신부는,
    레퍼런스 구간의 시작점의 위치가 변경된 길이만큼 테스트 구간의 길이를 연장시키는 것을 특징으로 하는 핑거프린트에 기반한 광고 검출 시스템.
  17. 제1항에 있어서,
    상기 구간 갱신부는,
    상기 광고 구간 결정부에서 결정된 광고 세그먼트에 상응하는 레퍼런스 구간의 시작점의 시간 정보를 광고 세그먼트 히스토리에 저장하고, 일정 시간 경과시마다 미리 설정된 광고 세그먼트 히스토리의 탐색 구간을 확인하여 상기 탐색 구간에 포함된 시간 정보 중 최소값 이전의 시점에 해당하는 구간을 레퍼런스 구간으로부터 제거하는 것을 특징으로 하는 핑거프린트에 기반한 광고 검출 시스템.
  18. 제1항에 있어서,
    상기 광고 데이터베이스 관리부는,
    광고 데이터베이스에 저장되는 광고 세그먼트들 중 2개의 광고 세그먼트를 선택하고, 선택된 광고 세그먼트들의 핑거프린트를 비교하여 동일 구간을 검출한 후, 상기 선택된 광고 세그먼트의 동일 구간과 나머지 구간을 분할함으로써 신규 광고 세그먼트 형성 과정을 수행하는 것을 특징으로 하는 핑거프린트에 기반한 광고 검출 시스템.
  19. 제18항에 있어서,
    상기 분할 이전의 광고 세그먼트들은 광고 데이터베이스에서 제거되는 것을 특징으로 하는 핑거프린트에 기반한 광고 검출 시스템.
  20. 제18항에 있어서,
    상기 신규 광고 세그먼트 형성 과정은, 임의의 2개의 광고 세그먼트에 대해 미리 설정된 횟수(N)만큼 반복하는 것을 특징으로 하는 핑거프린트에 기반한 광고 검출 시스템.
  21. 제18항에 있어서,
    상기 신규 광고 세그먼트 형성 과정은, 시간 길이가 일정 시간 길이(K) 이상인 2개의 세그먼트에 대해서 수행되는 것을 특징으로 하는 핑거프린트에 기반한 광고 검출 시스템.
  22. 제18항에 있어서,
    상기 신규 광고 세그먼트 형성 과정은, 광고 데이터베이스에 포함된 모든 광고 세그먼트 중 서로 동일 구간을 갖는 광고 세그먼트가 존재하지 않을 때까지 반복 수행되는 것을 특징으로 하는 핑거프린트에 기반한 광고 검출 시스템.
  23. 제18항에 있어서,
    상기 광고 데이터베이스 관리부는, 상기 형성된 신규 광고 세그먼트들에 대한 핑거프린트와 시간 정보를 갱신하는 것을 특징으로 하는 핑거프린트에 기반한 광고 검출 시스템.
  24. 핑거프린트에 기반한 광고 검출 방법에 있어서,
    방송 콘텐츠를 실시간으로 저장하는 제1 단계;
    상기 저장된 방송 콘텐츠 중에서 레퍼런스 구간과 테스트 구간을 선택하는 제2 단계;
    상기 선택된 레퍼런스 구간과 테스트 구간에 대해 적어도 하나 이상의 방식으로 핑거프린트를 추출하는 제3 단계;
    상기 추출된 테스트 구간에 대한 핑거프린트와 레퍼런스 구간에 대한 핑거프린트를 비교하여 매칭을 수행하는 제4 단계;
    상기 매칭 수행 결과에 기초하여 테스트 구간으로부터 광고 세그먼트를 결정하는 제5 단계;
    상기 결정된 광고 세그먼트들에 대한 세그먼트 정보를 광고 데이터베이스에 저장하는 제6 단계; 및
    상기 레퍼런스 구간과 테스트 구간을 변경하는 제7 단계
    를 포함하는 핑거프린트에 기반한 광고 검출 방법.
PCT/KR2013/005805 2013-06-14 2013-07-01 핑거프린트에 기반한 광고 검출 시스템 및 방법 Ceased WO2014200137A1 (ko)

Priority Applications (11)

Application Number Priority Date Filing Date Title
EP13886824.5A EP3010235B1 (en) 2013-06-14 2013-07-01 System and method for detecting advertisements on the basis of fingerprints
EP19189421.1A EP3579563B1 (en) 2013-06-14 2013-07-01 System and method for detecting advertisements on the basis of fingerprints
JP2016519422A JP6216045B2 (ja) 2013-06-14 2013-07-01 フィンガープリントに基づく広告検出方法、広告検出システム及びプログラム
EP21167734.9A EP3905698B1 (en) 2013-06-14 2013-07-01 System and method for detecting advertisements on the basis of fingerprints
HK16106801.8A HK1219010B (en) 2013-06-14 2013-07-01 System and method for detecting advertisements on the basis of fingerprints
EP18180226.5A EP3410727B1 (en) 2013-06-14 2013-07-01 System and method for detecting advertisements on the basis of fingerprints
US14/122,674 US9495598B2 (en) 2013-06-14 2013-07-01 Advertisement detection system and method based on fingerprints
US15/228,243 US10104446B2 (en) 2013-06-14 2016-08-04 Advertisement detection system and method based on fingerprints
US16/133,240 US10284922B2 (en) 2013-06-14 2018-09-17 Advertisement detection system and method based on fingerprints
US16/360,453 US10623826B2 (en) 2013-06-14 2019-03-21 Advertisement detection system and method based on fingerprints
US16/812,896 US11197073B2 (en) 2013-06-14 2020-03-09 Advertisement detection system and method based on fingerprints

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2013-0068305 2013-06-14
KR1020130068305A KR101456926B1 (ko) 2013-06-14 2013-06-14 핑거프린트에 기반한 광고 검출 시스템 및 방법

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US14/122,674 A-371-Of-International US9495598B2 (en) 2013-06-14 2013-07-01 Advertisement detection system and method based on fingerprints
US15/228,243 Continuation US10104446B2 (en) 2013-06-14 2016-08-04 Advertisement detection system and method based on fingerprints

Publications (1)

Publication Number Publication Date
WO2014200137A1 true WO2014200137A1 (ko) 2014-12-18

Family

ID=51747994

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/005805 Ceased WO2014200137A1 (ko) 2013-06-14 2013-07-01 핑거프린트에 기반한 광고 검출 시스템 및 방법

Country Status (5)

Country Link
US (5) US9495598B2 (ko)
EP (4) EP3410727B1 (ko)
JP (1) JP6216045B2 (ko)
KR (1) KR101456926B1 (ko)
WO (1) WO2014200137A1 (ko)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101456926B1 (ko) * 2013-06-14 2014-10-31 (주)엔써즈 핑거프린트에 기반한 광고 검출 시스템 및 방법
US9602891B2 (en) * 2014-12-18 2017-03-21 Verance Corporation Service signaling recovery for multimedia content using embedded watermarks
US10149022B2 (en) * 2016-03-09 2018-12-04 Silveredge Technologies Pvt. Ltd. Method and system of auto-tagging brands of television advertisements
US20170264930A1 (en) * 2016-03-09 2017-09-14 Silveredge Technologies Pvt. Ltd. Method and system of standardizing media content for channel agnostic detection of television advertisements
US10117000B2 (en) * 2016-03-10 2018-10-30 Silveredge Technologies Pvt. Ltd. Method and system for hardware agnostic detection of television advertisements
WO2017216394A1 (es) * 2016-06-14 2017-12-21 Tagsonomy, S.L. Metodo y sistema de sincronización entre un contenido audiovisual de referencia y una versión alterada del mismo emitida por televisión
KR101950328B1 (ko) * 2016-09-13 2019-02-20 한국과학기술연구원 실내 위치 측정을 위한 데이터베이스 갱신 방법 및 서버
US10390089B2 (en) * 2016-12-09 2019-08-20 Google Llc Integral program content distribution
CN108810615A (zh) 2017-04-28 2018-11-13 阿里巴巴集团控股有限公司 确定音视频中插播时段的方法和装置
US11418858B2 (en) 2017-09-01 2022-08-16 Roku, Inc. Interactive content when the secondary content is server stitched
US11234060B2 (en) 2017-09-01 2022-01-25 Roku, Inc. Weave streaming content into a linear viewing experience
US10306333B2 (en) * 2017-09-13 2019-05-28 The Nielsen Company (Us), Llc Flagging advertisement frames for automatic content recognition
US11341540B2 (en) 2018-03-30 2022-05-24 At&T Intellectual Property I, L.P. Methods, systems and devices for selecting advertisements based on media profiles and advertisement profiles
KR102076275B1 (ko) * 2018-08-22 2020-02-11 강운식 디지털 미디어 콘텐츠 재생 제어 방법 및 그 장치
CN113169805B (zh) 2018-11-27 2024-11-15 尼尔森（美国）有限公司 灵活商业广告监测
TWI802797B (zh) 2019-05-10 2023-05-21 美商六科股份有限公司 用於檢測和回應於在先前檢測到的指紋匹配之後檢測到的指紋不匹配的方法、非暫時性電腦可讀儲存介質及計算系統
TWI795642B (zh) 2019-05-10 2023-03-11 美商六科股份有限公司 用於與包括內容分發系統和內容呈現設備的內容修改系統結合使用的方法、非暫時性電腦可讀儲存介質及計算系統
US10796159B1 (en) 2019-05-10 2020-10-06 The Nielsen Company (Us), Llc Content-modification system with use of multiple fingerprint data types feature
WO2020231927A1 (en) 2019-05-10 2020-11-19 The Nielsen Company (Us), Llc Content-modification system with responsive transmission of reference fingerprint data feature
KR102753350B1 (ko) 2023-04-26 2025-01-14 주식회사 애드원 광고 노출 기반 실시간 서베이 시스템

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR970071589A (ko) * 1996-04-26 1997-11-07 김광호 시엠(cm) 스킵기능을 갖는 비데오 플레이어
KR20070044251A (ko) 2005-10-24 2007-04-27 삼성전자주식회사 금형장치와 금형용 히터 카트리지
KR20070054601A (ko) 2004-06-07 2007-05-29 캠브리지 엔터프라이즈 리미티드 홀로그래픽 센서를 이용한 분석물을 탐지하기 위한 방법
KR20070060978A (ko) 2005-12-09 2007-06-13 한국전자통신연구원 지상파 ｄｍｂ 비디오, 오디오, 부가 데이터의 제한수신부호화 장치 및 그 방법과 그를 이용한 제한수신 시스템
KR20070071633A (ko) 2005-12-30 2007-07-04 엠텍비젼 주식회사 컬러 필터 어레이 및 영상 보간 방법
KR20070091587A (ko) 2006-03-06 2007-09-11 삼성전자주식회사 스테레오 신호 생성 방법 및 장치
KR20080021369A (ko) * 2006-09-04 2008-03-07 엘지전자 주식회사 방송 프로그램의 광고 스킵 녹화방법
KR20080051688A (ko) 2006-12-06 2008-06-11 주식회사 에이디피엔지니어링 기판 테이블 및 이를 가진 기판 합착장치
KR20100037582A (ko) * 2010-03-19 2010-04-09 유미특허법인 타겟 영상 검출 장치 및 그 방법
KR20110129325A (ko) 2010-05-25 2011-12-01 한국전자통신연구원 광고 영상 검출 방법 및 장치
KR101143115B1 (ko) * 2004-11-02 2012-05-08 마이크로소프트 코포레이션 다중 동기화된 데이터 스트림들에 대한 데이터베이스 검색속도를 증진하기 위한 시스템 및 방법
KR101206179B1 (ko) * 2005-11-28 2012-11-29 엘지전자 주식회사 광고 방송 스킵 처리 방법

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2285645A1 (en) * 1997-01-06 1998-07-16 Bellsouth Intellectual Property Corporation Method and system for tracking network use
US7461392B2 (en) * 2002-07-01 2008-12-02 Microsoft Corporation System and method for identifying and segmenting repeating media objects embedded in a stream
WO2004004351A1 (en) 2002-07-01 2004-01-08 Microsoft Corporation A system and method for providing user control over repeating objects embedded in a stream
US7110338B2 (en) * 2002-08-06 2006-09-19 Matsushita Electric Industrial Co., Ltd. Apparatus and method for fingerprinting digital media
WO2004036384A2 (en) * 2002-10-18 2004-04-29 Intellocity Usa, Inc. Ichoose video advertising
US20040260682A1 (en) * 2003-06-19 2004-12-23 Microsoft Corporation System and method for identifying content and managing information corresponding to objects in a signal
NZ560223A (en) * 2003-06-23 2008-12-24 Sony Pictures Entertainment Fingerprinting of data
US10032192B2 (en) * 2003-12-23 2018-07-24 Roku, Inc. Automatic localization of advertisements
US7336841B2 (en) * 2004-03-25 2008-02-26 Intel Corporation Fingerprinting digital video for rights management in networks
US7516074B2 (en) * 2005-09-01 2009-04-07 Auditude, Inc. Extraction and matching of characteristic fingerprints from audio signals
US8009861B2 (en) * 2006-04-28 2011-08-30 Vobile, Inc. Method and system for fingerprinting digital video object based on multiresolution, multirate spatial and temporal signatures
US8238669B2 (en) * 2007-08-22 2012-08-07 Google Inc. Detection and classification of matches between time-based media
US9177209B2 (en) * 2007-12-17 2015-11-03 Sinoeast Concept Limited Temporal segment based extraction and robust matching of video fingerprints
GB2460844B (en) * 2008-06-10 2012-06-06 Half Minute Media Ltd Automatic detection of repeating video sequences
US20090327334A1 (en) * 2008-06-30 2009-12-31 Rodriguez Arturo A Generating Measures of Video Sequences to Detect Unauthorized Use
US8180891B1 (en) * 2008-11-26 2012-05-15 Free Stream Media Corp. Discovery, access control, and communication with networked services from within a security sandbox
WO2010119996A1 (ko) * 2009-04-13 2010-10-21 (주)엔써즈 동영상 관련 광고를 제공하는 방법 및 그 장치
US8713068B2 (en) * 2009-06-11 2014-04-29 Yahoo! Inc. Media identification system with fingerprint database balanced according to search loads
US8594392B2 (en) * 2009-11-18 2013-11-26 Yahoo! Inc. Media identification system for efficient matching of media items having common content
US9538209B1 (en) * 2010-03-26 2017-01-03 Amazon Technologies, Inc. Identifying items in a content stream
US8694533B2 (en) * 2010-05-19 2014-04-08 Google Inc. Presenting mobile content based on programming context
KR101181732B1 (ko) * 2010-11-22 2012-09-19 (주)엔써즈 동영상 핑거프린트 정보에 기반한 동영상 마크업 데이터 생성 방법 및 이를 이용한 정보 제공 방법 및 시스템
WO2012091938A1 (en) * 2010-12-30 2012-07-05 Dolby Laboratories Licensing Corporation Ranking representative segments in media data
US20110296452A1 (en) * 2011-08-08 2011-12-01 Lei Yu System and method for providing content-aware persistent advertisements
US8793274B2 (en) * 2011-08-08 2014-07-29 Lei Yu System and method for auto content recognition
GB2485694B (en) * 2012-01-27 2013-02-20 Half Minute Media Ltd Automatic detection and replacement of commercial spots
US8918804B2 (en) * 2012-02-07 2014-12-23 Turner Broadcasting System, Inc. Method and system for a reward program based on automatic content recognition
US8997164B2 (en) * 2013-01-07 2015-03-31 Gracenote, Inc. Authorizing devices based on identifying content distributor
KR101456926B1 (ko) * 2013-06-14 2014-10-31 (주)엔써즈 핑거프린트에 기반한 광고 검출 시스템 및 방법
US9459958B2 (en) * 2013-12-02 2016-10-04 Annapurna Labs Ltd. Flexible redundant array of independent disks (RAID) computation device

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR970071589A (ko) * 1996-04-26 1997-11-07 김광호 시엠(cm) 스킵기능을 갖는 비데오 플레이어
KR20070054601A (ko) 2004-06-07 2007-05-29 캠브리지 엔터프라이즈 리미티드 홀로그래픽 센서를 이용한 분석물을 탐지하기 위한 방법
KR101143115B1 (ko) * 2004-11-02 2012-05-08 마이크로소프트 코포레이션 다중 동기화된 데이터 스트림들에 대한 데이터베이스 검색속도를 증진하기 위한 시스템 및 방법
KR20070044251A (ko) 2005-10-24 2007-04-27 삼성전자주식회사 금형장치와 금형용 히터 카트리지
KR101206179B1 (ko) * 2005-11-28 2012-11-29 엘지전자 주식회사 광고 방송 스킵 처리 방법
KR20070060978A (ko) 2005-12-09 2007-06-13 한국전자통신연구원 지상파 ｄｍｂ 비디오, 오디오, 부가 데이터의 제한수신부호화 장치 및 그 방법과 그를 이용한 제한수신 시스템
KR20070071633A (ko) 2005-12-30 2007-07-04 엠텍비젼 주식회사 컬러 필터 어레이 및 영상 보간 방법
KR20070091587A (ko) 2006-03-06 2007-09-11 삼성전자주식회사 스테레오 신호 생성 방법 및 장치
KR20080021369A (ko) * 2006-09-04 2008-03-07 엘지전자 주식회사 방송 프로그램의 광고 스킵 녹화방법
KR20080051688A (ko) 2006-12-06 2008-06-11 주식회사 에이디피엔지니어링 기판 테이블 및 이를 가진 기판 합착장치
KR20100037582A (ko) * 2010-03-19 2010-04-09 유미특허법인 타겟 영상 검출 장치 및 그 방법
KR20110129325A (ko) 2010-05-25 2011-12-01 한국전자통신연구원 광고 영상 검출 방법 및 장치

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
D. A. SADLIER ET AL.: "Automatic TV advertisement detection from mpeg bitstream", JOURNAL OF THE PATT. REC. SOCIETY, vol. 35, no. 12, December 2002 (2002-12-01), pages 215, XP004379642, DOI: doi:10.1016/S0031-3203(01)00251-5
See also references of EP3010235A4

Also Published As

Publication number Publication date
KR20140103802A (ko) 2014-08-27
EP3410727B1 (en) 2019-09-04
EP3010235B1 (en) 2018-09-05
EP3410727A1 (en) 2018-12-05
JP6216045B2 (ja) 2017-10-18
EP3905698B1 (en) 2025-08-27
US20190020932A1 (en) 2019-01-17
US10104446B2 (en) 2018-10-16
HK1219010A1 (en) 2017-03-17
US10284922B2 (en) 2019-05-07
EP3905698C0 (en) 2025-08-27
US20160381432A1 (en) 2016-12-29
EP3905698A1 (en) 2021-11-03
US20200213677A1 (en) 2020-07-02
US11197073B2 (en) 2021-12-07
EP3579563B1 (en) 2021-04-21
KR101456926B1 (ko) 2014-10-31
US10623826B2 (en) 2020-04-14
EP3010235A4 (en) 2017-01-11
US9495598B2 (en) 2016-11-15
EP3579563A1 (en) 2019-12-11
EP3010235A1 (en) 2016-04-20
US20190222907A1 (en) 2019-07-18
US20150003739A1 (en) 2015-01-01
JP2016524875A (ja) 2016-08-18

Similar Documents

Publication Publication Date Title
WO2014200137A1 (ko) 핑거프린트에 기반한 광고 검출 시스템 및 방법
WO2013048068A2 (ko) 수신기에서의 개인화 광고 제공 방법
WO2013176329A1 (ko) 오디오 신호를 이용한 콘텐츠 인식 장치 및 방법
WO2013165083A1 (ko) 이미지에 기반하여 동영상 서비스를 제공하는 시스템 및 방법
WO2008150109A1 (en) Method of processing moving picture and apparatus thereof
WO2015111826A1 (ko) 참조 영역 분할을 이용한 인페인팅 장치 및 방법
WO2015129983A1 (ko) 분산 퍼지 연관 규칙 마이닝에 기반한 영화 추천 장치 및 방법
WO2015020256A1 (ko) 직접 반응 광고 검출 및 분류 시스템 및 방법
WO2021162237A1 (ko) 비디오로부터의 색상 스키마 추출 방법 및 장치
WO2018056488A1 (ko) 디지털 동영상 특징값 추출 시스템 및 방법, 및 상기 특징값을 이용한 디지털 동영상 유사도 판단 시스템 및 방법
WO2016080695A1 (ko) 음향 정보에 기초한 사용자 다수 행위 인식 방법
WO2010095796A1 (ko) 세그먼트 특징을 이용한 내용 기반 동영상 검출 방법
WO2019124632A1 (ko) 압축영상에 대한 신택스 기반의 객체 배회 감지 방법
HK40011065B (en) System and method for detecting advertisements on the basis of fingerprints
HK40011065A (en) System and method for detecting advertisements on the basis of fingerprints
WO2017200165A1 (ko) 도로 특이 정보의 자동 추출 장치 및 그 방법
HK1258830A1 (en) System and method for detecting advertisements on the basis of fingerprints
HK1258830B (en) System and method for detecting advertisements on the basis of fingerprints
WO2023136440A1 (ko) 객체 검출 누락을 최소화한 객체 검출기의 학습 방법 및 이를 수행하기 위한 장치
WO2018030555A1 (ko) 영상의 인기구간 검색 장치
HK1219010B (en) System and method for detecting advertisements on the basis of fingerprints
WO2019209027A1 (ko) 동영상 복제 검출 및 추적을 위한 방법 및 시스템
WO2016137225A2 (ko) 방송 연관 검색어를 제공하는 서버 및 이를 사용하는 단말 장치
WO2016024734A1 (ko) 방송 콘텐츠의 음원 검색을 위한 오디오 신호 처리 시스템 및 방법
WO2019078387A1 (ko) 컨텐츠 기반의 광고 추천 장치 및 방법

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 14122674

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13886824

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016519422

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2013886824

Country of ref document: EP