WO2015129987A1 - 사물 인식에 기반한 광고를 제공하는 서비스 장치, 사물 인식에 기반한 광고를 수신하는 사용자 장치, 사물 인식에 기반한 광고를 제공하는 시스템, 방법 및 컴퓨터 프로그램이 기록된 기록매체 - Google Patents

사물 인식에 기반한 광고를 제공하는 서비스 장치, 사물 인식에 기반한 광고를 수신하는 사용자 장치, 사물 인식에 기반한 광고를 제공하는 시스템, 방법 및 컴퓨터 프로그램이 기록된 기록매체 Download PDF

Info

Publication number
WO2015129987A1
WO2015129987A1 PCT/KR2014/011175 KR2014011175W WO2015129987A1 WO 2015129987 A1 WO2015129987 A1 WO 2015129987A1 KR 2014011175 W KR2014011175 W KR 2014011175W WO 2015129987 A1 WO2015129987 A1 WO 2015129987A1
Authority
WO
WIPO (PCT)
Prior art keywords
advertisement
information
image
thing
user device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2014/011175
Other languages
English (en)
French (fr)
Inventor
한민호
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SK Planet Co Ltd
Original Assignee
SK Planet Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SK Planet Co Ltd filed Critical SK Planet Co Ltd
Publication of WO2015129987A1 publication Critical patent/WO2015129987A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising

Definitions

  • the present invention relates to a service device for providing advertisement based on object recognition, a user device for receiving advertisement based on object recognition, a system, method for providing advertisement based on object recognition, and a recording medium on which a computer program is recorded.
  • a service device, a user device, a method, and a computer program for transmitting and receiving an advertisement generated by recognizing a thing based on feature information of a thing included in the recording medium are recorded.
  • the mobile advertisement may be an advertisement based on multimedia information (eg, text, image, video, sound source, etc.) transmitted to a mobile communication terminal such as a smartphone.
  • multimedia information eg, text, image, video, sound source, etc.
  • Mobile advertising based on the wireless Internet has the advantages of personalization, location-based, and interaction. Based on customer information, it can maximize the efficiency of customer management.
  • Such a mobile advertisement may have the following characteristics.
  • mobile advertising has a feature of accurately delivering an advertising message to a personalized target.
  • Existing advertising media such as TV, radio, newspapers, magazines, pamphlets, etc. delivered only one-sided content for an unspecified majority.
  • the mobile advertisement means a user device such as each smart phone, an individual consumer, the advertisement company may establish a database of information about the individual consumer and perform differentiated personalized advertisements according to the characteristics of the individual consumer.
  • mobile advertising allows for two-way interaction.
  • mobile advertisements may also provide a phone number or uniform resource locator (URL), through which consumers can obtain additional product information.
  • URL uniform resource locator
  • mobile advertisements can be distinguished from existing advertisements in various ways, such as targeting advertisements based on location information of consumers and obtaining immediate response from consumers.
  • An object of the present invention is to determine a user's interests of the user device based on the image information stored in the user device, to provide an advertisement based on the object recognition for providing an advertisement suitable for the user's interests,
  • a user device for receiving an advertisement, a system, a method, and a computer program for providing an advertisement based on object recognition are provided.
  • Another object of the present invention is to provide an advertisement based on object recognition for selecting only an image including an advertisement target item of interest among the image information stored in the user device and performing analysis on the user's interest from only the image.
  • a service device, a user device for receiving an advertisement based on a thing recognition, a system, a method for providing an advertisement based on a thing recognition, a method, and a computer program are provided.
  • Another object of the present invention is to provide a service device for providing an advertisement based on object recognition for determining the priority of the user's item of interest based on the image stored in the user device to expose the advertisement for the item of high interest with the highest frequency.
  • the present invention provides a recording medium on which a user device for receiving advertisements based on object recognition, a system, method, and computer program for providing advertisements based on the object recognition are recorded.
  • a service device for providing advertisements based on object recognition may include an image collector configured to collect a user image from a user device, extract feature information of a first thing included in the user image, and generate the advertisement based on the feature information.
  • a thing recognizing unit that performs object recognition on a thing, first matching information matching device identifier information of a user device with thing identifier information of a first thing, and a second object recognized by a thing in the advertisement identifier information and the advertisement image of the advertisement
  • the search unit and the user device to generate second matching information matching the object identifier information of the search, and to search for advertising identifier information matching the identifier information of the user device based on the first matching information and the second matching information.
  • Request the searcher to search for advertisement identifier information matching the identifier information of the user device, and identify the retrieved advertisement It may include an advertisement information processing unit for transmitting an advertisement corresponding to the child to the user device.
  • the thing recognizing unit may extract feature information of the second thing included in the advertisement image, and perform object recognition on the second thing based on the extracted feature information.
  • a service apparatus for providing advertisements based on object recognition may include identifier information about a plurality of things and object information about a plurality of things for object recognition on the basis of feature information of the first thing.
  • the apparatus may further include a thing characteristic information database in which the feature information is stored and a search index database in which the first matching information and the second matching information are stored.
  • the advertisement information processor may transmit the registered new advertisement to the thing recognition unit and request to perform object recognition based on the advertisement image included in the new advertisement.
  • the image collector determines whether the first object included in the user image is an advertisement target object, and recognizes the object with respect to the first object with the object recognizer only when the first object is the advertisement target object. You can request
  • the advertisement information processor may determine the transmission frequency of the advertisement to be transmitted to the user device in consideration of the number of user images including the first object.
  • the advertisement information processor may determine the transmission frequency of the advertisement to be transmitted to the user device by further considering the shooting time at which the user image is captured.
  • the advertisement information processor may determine the transmission frequency of the advertisement to be transmitted to the user device by further considering the image information deleted from the user device.
  • a user device receiving an advertisement based on object recognition determines an storage path of an image captured by the user device, and receives an advertisement to be received from a service device performing an advertisement service based on object recognition among the photographed images.
  • a transmission image determination unit for determining a user image to be used for the determination, a communication unit for transmitting the user image to a service device that performs an advertisement service based on object recognition, and requesting an advertisement based on the user image to the service device, and receiving the advertisement from the service device. It may include an advertisement output unit for receiving and outputting.
  • the transmission image determiner may determine whether a thing included in the photographed image is an advertisement target object and determine the photographed image as a user image only when the thing is an advertisement target object.
  • a method of providing an advertisement based on object recognition receiving a user image from a user device, extracting feature information of a first thing included in the user image, and extracting the feature information from the first object based on the feature information.
  • thing recognition on the object first matching information matching the device identifier information of the user device with the thing identifier information of the first thing, advertisement identifier information of the advertisement, and thing identifier information of the second thing recognized in the advertisement image.
  • Generating matched second matching information retrieving advertisement identifier information matching the identifier information of the user device based on the first matching information and the second matching information; Request a search for advertisement identifier information matching the identifier information, and use an advertisement corresponding to the retrieved advertisement identifier. And transmitting to the child device.
  • the feature information of the first object may be extracted from the user image by separating the background from the object and based on the edge information of the object.
  • a computer program for performing the method according to the above-described embodiments may be stored in a recording medium on which a computer program according to an embodiment of the present invention is recorded.
  • a system for providing advertisements based on object recognition may generate multimedia information, determine and transmit a user image to be transmitted to a service device, and request advertisement information from a service device.
  • a user device for outputting advertisement information received from the service device; And storing the user image received from the user device, extracting feature information of the object included in the user image, performing object recognition based on the extracted feature information of the object, and advertising information based on the recognized thing information.
  • a service device for searching and transmitting the retrieved advertisement information to the user device in response to an advertisement request of the user device.
  • the user may receive advertisement information about necessary item information by determining an interest of the user of the user device based on the image information stored in the user device and providing an advertisement suitable for the interest of the user.
  • advertisement information about necessary item information by determining an interest of the user of the user device based on the image information stored in the user device and providing an advertisement suitable for the interest of the user.
  • marketing can be effectively conducted by limiting the targeting of advertisements.
  • unnecessary analysis loading may be reduced by selecting and analyzing only an image including an advertisement target object among the user's images.
  • FIG. 1 is a conceptual diagram illustrating an advertisement recommendation system through object recognition in a picture according to an embodiment of the present invention.
  • FIG. 2 is a conceptual diagram illustrating an advertisement recommendation system through object recognition in a photo according to an exemplary embodiment of the present invention.
  • FIG. 3 is a conceptual diagram illustrating a method for finding advertisement information matching device information according to an embodiment of the present invention.
  • FIG. 4 is a flowchart illustrating a method of configuring a search index DB unit based on image information transmitted from a user device according to an embodiment of the present invention.
  • FIG. 5 is a flowchart illustrating a method of configuring a search index DB unit based on image information of an advertisement according to an embodiment of the present invention.
  • FIG. 6 is a flowchart illustrating a method for requesting an advertisement and receiving an advertisement in a user device according to an embodiment of the present invention.
  • FIG. 7 is a conceptual diagram illustrating a method for providing an advertisement to a user device according to an embodiment of the present invention.
  • FIG. 8 is a conceptual diagram illustrating a method for providing an advertisement to a user device according to an embodiment of the present invention.
  • first and second used in the present invention may be used to describe components, but the components should not be limited by the terms. The terms are used only to distinguish one component from another.
  • first component may be referred to as the second component, and similarly, the second component may also be referred to as the first component.
  • a user of a user equipment may frequently photograph objects (or objects) of which he is interested. That is, the more objects that appear in the image photographed by the user, the higher the interest of the user may be. For example, a user may photograph a nearby object of interest, such as a book, pet, person, clothes, using a user device such as a smartphone.
  • An embodiment of the present invention discloses a method of targeting and transmitting specific advertisement information to a user of a user device based on image information photographed based on the user device.
  • the click through rate (CTR) and the effective cost per mille (eCPM) of the advertisement may be increased.
  • CTR is the clickthrough rate
  • eCPM is the effective clickthrough rate.
  • the description is based on image information photographed based on a user device, but various information such as video information and multimedia content information stored in the user device targets an advertisement adaptively specific to an individual user. It can be used as information for
  • FIG. 1 is a conceptual diagram illustrating a system for providing an advertisement based on object recognition in a photo according to an embodiment of the present invention.
  • FIG. 1 schematically illustrates a method of targeting and transmitting specific advertisement information to a user device based on image information captured by the user device.
  • a system for providing an advertisement based on object recognition in a photo may include a user device and a service device.
  • the user device may include a multimedia information generation unit 100, a transmission image determination unit 110, an advertisement output unit 120, a communication unit 130, and a processor 140.
  • the service device may include an image collection unit 150, a object recognition unit 160, a search unit 170, an advertisement information processor 180, a communication unit 190, and a processor 190.
  • Components of the user device and the service device are functionally classified to describe the functions of each device, and a plurality of components may be implemented as one component or one component may be implemented as a plurality of components.
  • the multimedia information generating unit 100 may be implemented to generate multimedia information.
  • the multimedia information may include various information such as image information, video information, and sound information.
  • the multimedia information generation unit 100 may be a camera application installed in the user device.
  • the embodiment of the present invention discloses image information among multimedia information for convenience of description.
  • the transmission image determiner 110 may be implemented to determine information to be transmitted to the service device among the image information generated by the multimedia information generator 100.
  • the service device may determine an advertisement to be transmitted to the user device based on the image information determined by the transmission image determiner 110.
  • the transmission image determiner 110 may be implemented based on a software development kit (SDK), and may determine an image to be transmitted to the service device by identifying an image storage path of an application for generating image information in the user device.
  • SDK software development kit
  • the image transmitted from the user device is called a user image.
  • the advertisement output unit 120 may be implemented to request advertisement information from the service device and output advertisement information received from the service device.
  • the advertisement output unit 120 may also be implemented based on the SDK.
  • the communication unit 130 may be implemented to transmit and receive data with the service device.
  • the processor 140 may be implemented to control the multimedia information generation unit 100, the transmission image determination unit 110, the advertisement output unit 120, and the communication unit 130.
  • the service device may include an image collector 150, a object recognizer 160, a searcher 170, an advertisement information processor 180, a communicator 190, and a processor 195.
  • the image collector 150 may be implemented to store a user image received from the user device.
  • the image collector 150 may store the user image determined by the transmission image determiner 110 of the user device and transmitted from the user device, as a file.
  • the object recognizer 160 may be implemented to recognize an object of a user image stored in the image collector 150.
  • the object recognition unit 160 may extract feature information of an object included in a user image.
  • the object recognition unit 160 may recognize which object the object corresponds to based on the extracted feature information of the object. For example, when the feature information of the object matches the feature information of the car, the object recognition unit 160 may recognize the object as a car.
  • the thing recognition unit 160 may allocate an identifier (identifier, id) (hereinafter referred to as a thing identifier) of the thing to the object included in the user image. By mapping the thing identifier of the object included in the user image and the identifier of the user device photographing the object, a table in which the identifier of the user device and the thing identifier are mapped may be generated.
  • the object recognition unit 160 may perform object recognition based on the advertisement image information included in the advertisement and allocate the thing identifier to the object included in the advertisement image.
  • the thing recognition unit 160 may map the thing identifier of the object included in the advertisement image and the identifier information of the advertisement. A table that maps thing identifiers to advertisement identifiers can be created.
  • the search unit 170 may search for advertisement information on the user device based on the information about the thing that has been recognized by the thing recognition unit 160.
  • the searcher 170 may use the user device based on a table that maps identifier information (for example, device_id or mdn (mobile directory number)) and thing identifier information of the user device, and a table that maps thing identifier information and advertisement identifier information. Search for an advertisement to be sent to.
  • the advertisement information processing unit 180 may be implemented to transmit the retrieved advertisement information to the user terminal based on identifier information of the user terminal.
  • the communication unit 190 may be implemented to transmit and receive data between the user device and the service device.
  • the processor 195 may be implemented to control operations of the image collector 150, the object recognizer 160, the searcher 170, the advertisement information processor 180, and the communicator 190.
  • FIG. 2 is a conceptual diagram illustrating an advertisement providing system based on object recognition in a photo according to an exemplary embodiment of the present invention.
  • 2 specifically discloses a method in which a user device receives advertisement information based on image information captured by the user device. 2 may correspond to operations of the components included in the user apparatus and the service apparatus illustrated in FIG. 1. Although the specific connection relationship between each component is not shown, the following may have a specific connection relationship between each component according to an embodiment of the present invention.
  • each component is included in the service device, but each component may be implemented as a separate device.
  • each component is functionally separated, and a single component may be implemented by a plurality of components, or a plurality of components may be implemented by a single component.
  • the image information processor 200 of the user device may transmit the captured user image to the image collector 205.
  • the image information processor 200 may generate a user image through an image capturing application provided in the user device.
  • the image information processor 200 may determine an image storage path of the image capturing application and transmit the user image to the image collector 205.
  • the image collector 205 may store the user image received from the image information processor 200 of the user device in the form of a file.
  • the input information feature extractor 210 may read a user image and extract feature information.
  • the input information feature extractor 210 may read a user image stored in the image collector 205 and extract feature information.
  • the input information feature extractor 210 may extract features (eg, detailed information such as color and shape) of an object (eg, a car) of the user image.
  • the input information feature extraction unit 210 may be implemented to analyze the location of the registered advertisement later, and to establish a relationship between the thing identifier and the advertisement by analyzing the feature information.
  • feature points may be extracted using edge information of an image as a feature, and feature information for each object may be extracted by setting relationship information between feature points.
  • the feature information of the object may be determined by separating the background and the object in consideration of color information and extracting feature points for each separated object.
  • the object recognition unit 215 may perform object recognition by comparing the feature information stored in the object feature information DB unit 220 for object recognition based on the feature information of the object extracted by the input information feature extractor 210. Can be.
  • the feature information DB unit 220 may include feature information of various objects.
  • the thing recognizing unit 215 may determine the similarity between the feature information of the objects included in the thing feature information DB unit 220 and the feature information of the object extracted from the user image. As a result of the similarity determination, the object having the highest similarity with the object of the user image among the objects included in the object feature information DB unit 220 may be determined as the final recognized object.
  • the thing recognizing unit 215 may match the identifier of the thing determined as the last recognized thing with the object of the user image.
  • the thing recognizing unit 215 may return the information about the thing identifier corresponding to the object of the user image to the search index construction unit 225.
  • the object recognition unit 215 may obtain object identifier information corresponding to the object included in the advertisement image based on the object feature information included in the registered advertisement image.
  • the information on the thing identifier corresponding to the object of the user image and the information on the thing identifier corresponding to the object included in the advertisement image may be used to generate the device-object relationship table and the thing-advertisement relationship table.
  • the search index construction unit 225 and the search index DB unit 230 may be implemented to form relationship information about the thing recognized by the thing recognition unit.
  • FIG. 3 is a conceptual diagram illustrating a method for finding advertisement information matching device information according to an embodiment of the present invention.
  • mapping relationship between information is disclosed based on a table for convenience of description, but the mapping relationship may be expressed in other various ways.
  • the search index construction unit 225 may configure, for example, a device-object relationship table.
  • the device-object relationship table defines device identifier information (device id or mdn (mobile device number)) as a first field and thing identifier information as a second field, thereby providing information on a relationship between device identifier information and thing identifier information. Can be defined.
  • the search index configuration unit 225 may configure, for example, an object-advertisement relationship table.
  • the thing-advertisement relation table may define advertisement identifier information as a first field, and the second field may define thing identifier information to define information about a relationship between the thing identifier information and the advertisement identifier information.
  • the thing identifier information for the device identifier information of the specific user device may be found based on the device-object relationship table, and the advertisement identifier for the specific thing identifier may be found based on the thing-advertisement relationship table.
  • a device thing relationship table in which an object called a car is mapped to the user device may be formed by the user device photographing an image of the car.
  • an object-advertisement relationship table may be formed in which an identifier of a car and a vehicle advertisement is mapped in the vehicle advertisement. In this case, the vehicle advertisement may be provided to the user device.
  • advertisement information corresponding to the user device may be found based on the two tables.
  • the relationship between the device-object relationship table and the object-advertisement relationship table may be matched by a 0 ... n relationship.
  • data may be managed separately from each other, and the correlation between the two tables (the device-object relationship table and the object-advertisement relationship table) may be checked in actual search.
  • the device-object relationship table may be updated based on the image sent from the user device.
  • the thing-ad relation table may be updated through material analysis when registering a creative mapped to a thing identifier.
  • the search index DB unit 230 may store information about the device-object relationship table and the object-advertisement relationship table.
  • the advertisement identifier information corresponding to the device identifier information input by the searcher 235 may be transmitted to the searcher 235.
  • the search index DB unit 230 may manage a separate index by mapping the thing identifier to the thing for ease of searching. In addition, the index may be mapped to the device identifier information. In addition, the search index DB unit 230 may delete the mapping information for the advertisement identifier information of the terminated advertisement.
  • the search unit 235 may be implemented to search for advertisement identifier information corresponding to the device identifier based on the search index DB unit 230.
  • the search unit 235 may search for advertisement identifier information matching the device identifier information and transmit the advertisement identifier information to the advertisement transmitting unit 240.
  • the advertisement register 250 may be implemented to register an advertisement.
  • the feature information extractor 210 may extract feature information about the material of the advertisement to be registered.
  • the input information feature extractor 210 may extract feature information from an object included in an image of an input advertisement.
  • the feature information of the extracted advertisement image may be mapped to object identifier information of the corresponding object through the object recognition unit 215.
  • the thing-ad table may be generated based on the relationship between the recognized thing identifier and the advertisement identifier, which may be stored in the search index DB unit.
  • the advertisement sending unit 240 may be responsible for sending an advertisement and may transmit the searched advertisement based on the search unit 235.
  • the user device may perform an advertisement request based on the SDK.
  • the search unit 235 may be used to search for an advertisement identifier corresponding to the device identifier of the user device based on the device identifier received from the user device. For example, the searcher 235 may obtain a thing identifier mapped to the device identifier based on the device-object relationship table information. In addition, the searcher 235 may obtain an advertisement identifier mapped to the thing identifier based on the thing-advertisement relationship table. The searcher 235 may transmit the searched result to the advertisement transmitter 240.
  • the advertisement transmitter 240 may transmit the advertisement to the user device. On the contrary, if there is no advertisement searched based on the searcher 235, the advertisement transmitting unit 240 may search for another scheduling advertisement, search for an advertisement to be transmitted to the user device, and transmit the scheduled advertisement to the user device.
  • the advertisement scheduling unit 245 may be implemented to determine advertisement information scheduled for transmission to the user device.
  • the advertisement content unit 255 may be implemented to register the advertisement content with the advertisement registration unit 250 or determine the advertisement content to be transmitted to the user device.
  • the advertisement DB unit 260 may be connected to the advertisement scheduling unit 245 to perform advertisement scheduling, and may be connected to the advertisement registration unit 250 to perform advertisement registration.
  • an embodiment of the present invention posts a method of transmitting advertisement information corresponding to a user device based on a flowchart.
  • FIG. 4 is a flowchart illustrating a method of configuring a search index DB unit based on image information transmitted from a user device according to an embodiment of the present invention.
  • FIG. 4 illustrates a method of generating and storing a device-object relationship table in a search index DB by performing feature information extraction and object recognition based on image information transmitted from a user device.
  • the user device may transmit an image captured based on the SDK to the image collector (step S400).
  • the user device may be equipped with an image capturing application. Images can be captured via an image capture application.
  • the SDK may determine the image storage path of the image capturing application and transmit the user image to the image collecting unit.
  • the image collecting unit transmits the image information to the input information feature extracting unit (step S410).
  • the image collector may store an image received from the user device in the form of a file based on the SDK of the user device.
  • the image collector may transmit image information to the input information feature extractor according to a request of the input information feature extractor.
  • the input information feature extractor may read an image and extract feature information of an object included in the image.
  • the input information feature extractor may transmit the feature information of the object to the object recognizer (step S420).
  • the object recognizer may perform object recognition by comparing the feature information stored in the object feature information DB unit for object recognition based on the feature information of the object extracted by the input information feature extractor (step S430).
  • the thing recognizing unit may recognize a thing matching the feature information of the object.
  • the thing that matches the feature information of the object may be specified based on the thing identifier information.
  • the search index construction unit may configure index information for the recognized thing (step S440).
  • the search index configuration unit may generate a device-object relationship table that maps identifier information and thing identifier information of the user device that has transmitted the image including the object.
  • the search index configuration unit may assign and manage an index to a thing identifier and a device identifier for ease of searching.
  • the device-object relationship table may be stored in the search index DB unit (step S450).
  • a device-object relationship table based on index information may be stored. If advertisement information is requested from the user device later, the device-object relationship table may be used to search for a thing identifier corresponding to the device identifier information of the user device.
  • FIG. 5 is a flowchart illustrating a method of configuring a search index DB unit based on image information of an advertisement according to an embodiment of the present invention.
  • FIG. 5 a method of receiving and recognizing advertisement information from an advertisement registration DB unit and an advertisement content unit, extracting feature information and recognition of objects for advertisement image information, and generating and storing a thing-advertisement relationship table in a search index DB unit is posted. do.
  • the advertisement registration DB unit and the advertisement content unit may receive and store an advertisement registered from the advertisement registration unit and store a material file of the advertisement (step S500).
  • the advertisement register may transmit an advertisement image to the input information feature extractor (step S510).
  • the advertisement register may transmit image information included in the advertisement to be transmitted to the input information feature extractor.
  • Image information constituting the advertisement may include objects that constitute the subject of the advertisement.
  • the input information feature extractor may read an image and extract feature information of an object included in the image.
  • the input information feature extractor may transmit the feature information of the object to the object recognizer (step S520).
  • the input information feature extractor may extract feature information of an object included in the image based on the image included in the advertisement related information.
  • the feature information of the extracted object may be transmitted to the object recognition unit.
  • the object recognizer may perform object recognition by comparing the feature information stored in the object feature information DB unit for object recognition based on the feature information of the object extracted by the input information feature extractor (step S530).
  • the thing recognizing unit may recognize a thing matching the feature information of the object included in the advertisement image.
  • the thing that matches the feature information of the object included in the advertisement image may be specified based on the thing identifier information.
  • the search index construction unit may configure index information for the recognized thing (step S540).
  • the search index configuration unit may generate a thing-advertisement relationship table that maps identifier information and thing identifier information of the advertisement that transmits the image including the object.
  • the search index configuration unit may assign and manage indexes to thing identifiers and advertisement identifiers for ease of searching.
  • the thing-advertisement relationship table may be stored in the search index DB unit (step S550).
  • the thing-ad relation table based on the index information may be stored. If advertisement information is requested from the user device later, the device-object relationship table is used to search for the thing identifier corresponding to the device identifier information of the user device, and then the advertisement identifier corresponding to the thing identifier is identified through the thing-advertisement relationship table. You can navigate.
  • the advertisement registration procedure is completed (step S560).
  • FIG. 6 is a flowchart illustrating a method for requesting an advertisement and receiving an advertisement in a user device according to an embodiment of the present invention.
  • FIG. 6 a method of transmitting advertisement information corresponding to a user device is posted according to a request of the user device.
  • the advertisement registration DB unit may transmit advertisement scheduling information to the advertisement scheduling unit (step S600).
  • the advertisement scheduling unit may transmit scheduling data to the advertisement transmitting unit (step S610).
  • the advertisement sending unit may receive a request for advertisement information from the user device (step S620).
  • the advertisement sending unit may request a search for advertisement information targeted to the user device based on identifier information of the user device (step S630).
  • the advertisement sending unit may request a search unit to search whether a targeting advertisement matching the user device exists based on the identifier information (device_id, mdn) of the user device which has performed the request for the advertisement information.
  • the search unit may search whether the targeting advertisement corresponding to the user identifier information exists through the search index DB unit (step S640).
  • the search index DB unit transmits the search result to the advertisement sending unit (step S650).
  • the search unit may transmit the search result to the advertisement sending unit.
  • the advertisement transmitting unit may transmit the retrieved advertisement to the terminal based on the search result of the search unit (step S660).
  • the user device may receive the creative from the advertising content unit (step S670).
  • the advertisement is exposed to the user device (step S680).
  • FIG. 7 is a conceptual diagram illustrating a method for providing an advertisement to a user device according to an embodiment of the present invention.
  • FIG. 7 a method of searching for an advertisement target image in an image captured by the user device in providing an advertisement to the user device is described.
  • the feature information extraction procedure and the object recognition procedure may not be performed except for the image for generating the advertisement information.
  • the feature information extraction procedure (step S720) and the object recognition procedure (step S740) may be performed through the advertisement information generation image determination procedure (step S700).
  • the image for generating advertisement information may be determined in various ways.
  • the user device may determine the center object among the objects included in the captured image and determine that the image as the advertisement information generation image only when the center object corresponds to the advertisement target object.
  • the central object may mean an object located at the center of the image or an object focused on the image.
  • the image when the central object of the image captured by the user device is an advertisement target object such as shoes, books, or food, the image may be determined as an advertisement information generation image.
  • the central object of the image photographed by the user device is not an object that is an advertisement target such as a building or a person, it may be determined that the image is not an advertisement information generation image.
  • the advertisement target object may be determined by pre-stored advertisement target object exclusion information.
  • the advertisement target object exclusion information may be preset as information other than the advertisement target object such as a person, a building, and a landscape.
  • the procedure of determining the advertisement information generation image may be performed by the user device or the image collector.
  • the procedure for determining the advertisement information generation image is performed by the user device, only the advertisement information generation image may be transmitted to the image collector.
  • the image collector may transmit only the advertisement information generation image to the input information feature extraction unit.
  • This procedure may be used to determine the advertisement information generating image from the advertisement image information upon advertisement registration. That is, only the advertisement information generation image is extracted from the registered advertisements, and thus the input information feature extraction and object recognition may be performed.
  • FIG. 8 is a conceptual diagram illustrating a method for providing an advertisement to a user device according to an embodiment of the present invention.
  • FIG. 8 a method of considering a frequency of an image captured by a user device and / or a timing of capturing an image in providing an advertisement to the user device is described.
  • the priority of an advertisement to be transmitted to the user device may be determined by recording the frequency of the image photographed by the user device.
  • the advertisement exposure frequency may be adjusted differently according to the frequency of the image.
  • the advertisement for the shoes may be exposed to the user most frequently, and the advertisement for the smartphone and the pants may be exposed to the user in the following order.
  • the exposure frequency of the advertisement may be further adjusted in consideration of the time taken by the user. For example, an image exposure frequency may be adjusted by assigning a higher weight to an image recently stored in a user device. Even if there are two images of the pants, it may be assumed that the image of the pants is the most recently stored image. In this case, weights may be assigned to the pants advertisement to increase the frequency of exposure of the advertisement to the pants.
  • the deleted image in the case of an advertisement related to the deleted image, may be controlled by analyzing the deleted image in the user device.
  • a service device for providing an advertisement based on object recognition may be written as a computer program.
  • the constructing codes and code segments can be easily inferred by a computer programmer in the art.
  • the computer program may be stored in a computer readable media, and the product program may be implemented by being read and executed by a computer or a service device or a user device according to an embodiment of the present invention. .
  • the information storage medium includes a magnetic recording medium, an optical recording medium and a carrier wave medium.
  • a service device for providing an advertisement based on object recognition a user device receiving an advertisement based on the object recognition, and a computer program for implementing a method for providing an advertisement based on the object recognition may include a user device. It can be stored and installed in memory. Or, storing and installing a service device for providing an advertisement based on object recognition according to an embodiment of the present invention, a user device for receiving an advertisement based on the object recognition, and a computer program for implementing a method for providing an advertisement based on the object recognition An external memory such as a smart card may be mounted on a user device or the like through an interface.
  • the present invention can provide an advertisement suitable for the user's interest by determining the user's interest of the user device based on the image information stored in the user device.
  • the image information stored in the user device only the image including the advertisement target item that the user is interested in is selected, and the priority of the user's item of interest is determined based on the image stored in the user device.
  • advertisements can be effectively targeted to the user of the user device.
  • it is possible to minimize unnecessary advertisements to the user and increase the click through rate (CTR) and the effective cost per mille (eCPM) of the advertisement.
  • CTR click through rate
  • eCPM effective cost per mille

Landscapes

  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Engineering & Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

본 발명은 사물 인식에 기반한 광고를 제공하는 서비스 장치, 사물 인식에 기반한 광고를 수신하는 사용자 장치, 사물 인식에 기반한 광고를 제공하는 시스템, 방법 및 컴퓨터 프로그램이 기록된 기록매체를 개시한다. 즉, 본 발명은 사용자 장치로부터 전송된 사용자 이미지 및 광고에 포함된 광고 이미지를 분석하여 서로 매칭되는 정보가 존재하는지 여부를 판단할 수 있다. 이러한 방법을 사용함으로써 사용자의 관심사에 맞는 광고를 사용자 장치로 전송할 수 있어, 효과적인 광고를 수행할 수 있다.

Description

사물 인식에 기반한 광고를 제공하는 서비스 장치, 사물 인식에 기반한 광고를 수신하는 사용자 장치, 사물 인식에 기반한 광고를 제공하는 시스템, 방법 및 컴퓨터 프로그램이 기록된 기록매체
본 발명은 사물 인식에 기반한 광고를 제공하는 서비스 장치, 사물 인식에 기반한 광고를 수신하는 사용자 장치, 사물 인식에 기반한 광고를 제공하는 시스템, 방법 및 컴퓨터 프로그램이 기록된 기록매체에 관한 것으로, 특히 이미지에 포함된 사물의 특징 정보를 기반으로 사물을 인식하여 생성된 광고를 송신 및 수신하는 서비스 장치, 사용자 장치, 방법 및 컴퓨터 프로그램이 기록된 기록매체에 관한 것이다.
근래에 들어 이동 통신 기술의 급격한 발전과 스마트폰 가입자 수의 폭발적인 증가로 인하여 스마트폰을 겨냥한 새로운 모바일 광고 방법들이 사용되고 있다.
모바일 광고란 스마트폰과 같은 이동 통신 단말기로 전송되는 멀티미디어 정보(예를 들어, 텍스트, 이미지, 동영상, 음원 등)를 기반으로 한 광고일 수 있다. 무선 인터넷을 기반으로 하는 모바일 광고는 개인화, 위치 기반, 상호 작용이라는 장점을 가지고 있으며, 고객 정보에 바탕을 두고 있어 고객 관리의 효율성을 극대화할 수 있다. 이러한 모바일 광고는 아래와 같은 특징을 가질 수 있다.
우선, 모바일 광고는 광고 메시지를 개인화된 타겟에 정확하게 전달할 수 있는 특징이 있다. 기존의 광고 매체인 TV, 라디오, 신문, 잡지, 팜플렛 등의 광고는 불특정 다수를 대상으로 하는 일방적인 내용만을 전달하였다. 하지만, 모바일 광고는 각각의 스마트폰과 같은 사용자 장치가 개별 소비자를 의미하므로, 광고 업체는 개별 소비자에 대한 정보 데이터 베이스를 구축하고 개별 소비자의 특성에 맞는 차별화된 개인화 광고를 수행할 수 있다.
또한, 모바일 광고는 양방향 상호 작용이 가능하다. 모바일 광고는 미리 소비자들이 원하는 광고에 대한 정보를 제공함과 더불어 전화번호나 URL(uniform resource locator)을 함께 제공할 수 있으며, 이를 통해 소비자는 추가적인 상품 정보를 획득할 수 있다.
이뿐만 아니라 모바일 광고는 소비자의 위치 정보를 기반으로 광고 타겟팅을 할 수 있다는 점, 소비자로부터 즉각적인 반응을 얻을 수 있다는 점 등 다양한 점에서 기존의 광고와는 차별점을 가질 수 있다.
본 발명의 목적은 사용자 장치에 저장된 이미지 정보를 기반으로 사용자 장치의 사용자의 관심분야를 판단함으로써, 사용자의 관심사에 맞는 광고를 제공하기 위한 사물 인식에 기반한 광고를 제공하는 서비스 장치, 사물 인식에 기반한 광고를 수신하는 사용자 장치, 사물 인식에 기반한 광고를 제공하는 시스템, 방법 및 컴퓨터 프로그램이 기록된 기록매체를 제공함에 있다.
본 발명의 다른 목적은 사용자 장치에 저장된 이미지 정보 중 사용자가 관심 있어하는 광고 대상 물품을 포함하는 이미지만을 선별하여 해당 이미지로부터만 사용자의 관심분야에 대한 분석을 수행하기 위한 사물 인식에 기반한 광고를 제공하는 서비스 장치, 사물 인식에 기반한 광고를 수신하는 사용자 장치, 사물 인식에 기반한 광고를 제공하는 시스템, 방법 및 컴퓨터 프로그램이 기록된 기록매체를 제공함에 있다.
본 발명의 다른 목적은 사용자 장치에 저장된 이미지를 기반으로 사용자의 관심 물품의 우선 순위를 결정하여 관심도가 높은 물건에 대한 광고를 가장 높은 빈도로 노출되게 하기 위한 사물 인식에 기반한 광고를 제공하는 서비스 장치, 사물 인식에 기반한 광고를 수신하는 사용자 장치, 사물 인식에 기반한 광고를 제공하는 시스템, 방법 및 컴퓨터 프로그램이 기록된 기록매체를 제공함에 있다.
본 발명의 실시예에 따른 사물 인식에 기반한 광고를 제공하는 서비스 장치는 사용자 장치로부터 사용자 이미지를 수집하는 이미지 수집부, 사용자 이미지에 포함된 제1 사물의 특징 정보를 추출하고 특징 정보를 기반으로 제1 사물에 대한 사물 인식을 수행하는 사물 인식부, 사용자 장치의 장치 식별자 정보와 제1 사물의 사물 식별자 정보를 매칭한 제1 매칭 정보 및 광고의 광고 식별자 정보와 광고 이미지에서 사물 인식된 제2 사물의 사물 식별자 정보를 매칭한 제2 매칭 정보를 생성하고, 제1 매칭 정보 및 제2 매칭 정보를 기반으로 사용자 장치의 식별자 정보에 매칭되는 광고 식별자 정보를 검색하는 검색부와 사용자 장치의 요청에 따라 검색부로 사용자 장치의 식별자 정보에 매칭되는 광고 식별자 정보에 대한 검색을 요청하고, 검색된 광고 식별자에 대응되는 광고를 사용자 장치로 전송하는 광고 정보 처리부를 포함할 수 있다.
본 발명과 관련된 일 예로서 사물 인식부는 광고 이미지에 포함된 제2 사물의 특징 정보를 추출하고, 추출된 특징 정보를 기반으로 제2 사물에 대한 사물 인식을 수행할 수 있다.
본 발명과 관련된 일 예로서 사물 인식을 기반한 광고를 제공하는 서비스 장치는 제1 사물의 특징 정보를 기반으로 제1 사물에 대한 사물 인식을 하기 위한 복수의 사물에 대한 식별자 정보와 복수의 사물에 대한 특징 정보가 매칭되어 저장된 사물 특징 정보 데이터 베이스와 제1 매칭 정보와 제2 매칭 정보를 저장되는 검색 색인 데이터 베이스를 더 포함할 수 있다.
본 발명과 관련된 일 예로서 광고 정보 처리부는, 새로운 광고가 등록되는 경우, 등록된 새로운 광고를 사물 인식부로 전송하여 새로운 광고에 포함된 광고 이미지를 기반으로 사물 인식을 수행하도록 요청할 수 있다.
본 발명과 관련된 일 예로서 이미지 수집부는 사용자 이미지에 포함된 제1 사물이 광고 대상 객체인지 여부를 판단하고, 제1 사물이 광고 대상 객체인 경우에만, 사물 인식부로 제1 사물에 대한 사물 인식을 요청할 수 있다.
본 발명과 관련된 일 예로서 광고 정보 처리부는 제1 사물이 포함된 사용자 이미지의 개수를 고려하여 사용자 장치로 전송될 광고의 전송 빈도를 결정할 수 있다.
본 발명과 관련된 일 예로서 광고 정보 처리부는 사용자 이미지가 촬영된 촬영 시기를 더 고려하여 사용자 장치로 전송될 광고의 전송 빈도를 결정할 수 있다.
본 발명과 관련된 일 예로서 광고 정보 처리부는 사용자 장치에서 삭제된 이미지 정보를 더 고려하여 사용자 장치로 전송될 광고의 전송 빈도를 결정할 수 있다.
본 발명의 실시예에 따른 사물 인식에 기반한 광고를 수신하는 사용자 장치는 사용자 장치에서 촬영된 이미지의 저장 경로를 판단하고, 촬영된 이미지 중 사물 인식에 기반한 광고 서비스를 수행하는 서비스 장치로부터 수신할 광고 결정을 위해 사용될 사용자 이미지를 결정하는 전송 이미지 결정부, 사용자 이미지를 사물 인식에 기반한 광고 서비스를 수행하는 서비스 장치로 전송하는 통신부와 사용자 이미지 기반의 광고를 서비스 장치로 요청하고, 서비스 장치로부터 광고를 수신하여 출력하는 광고 출력부를 포함할 수 있다.
본 발명과 관련된 일 예로서 전송 이미지 결정부는, 촬영된 이미지에 포함된 사물이 광고 대상 객체인지 여부를 판단하여 사물이 광고 대상 객체인 경우에만, 촬영된 이미지를 사용자 이미지로 결정할 수 있다.
본 발명의 실시예에 따른 사물 인식에 기반한 광고를 제공하는 방법은 사용자 장치로부터 사용자 이미지를 수신하는 단계, 사용자 이미지에 포함된 제1 사물의 특징 정보를 추출하고 특징 정보를 기반으로 제1 사물에 대한 사물 인식을 수행하는 단계, 사용자 장치의 장치 식별자 정보와 제1 사물의 사물 식별자 정보를 매칭한 제1 매칭 정보 및 광고의 광고 식별자 정보와 광고 이미지에서 사물 인식된 제2 사물의 사물 식별자 정보를 매칭한 제2 매칭 정보를 생성하는 단계, 제1 매칭 정보 및 제2 매칭 정보를 기반으로 사용자 장치의 식별자 정보에 매칭되는 광고 식별자 정보를 검색하는 단계와 사용자 장치의 요청에 따라 검색부로 사용자 장치의 식별자 정보에 매칭되는 광고 식별자 정보를 검색을 요청하고, 검색된 광고 식별자에 대응되는 광고를 사용자 장치로 전송하는 단계를 포함할 수 있다.
본 발명과 관련된 일 예로서 제1 사물의 특징 정보는 사용자 이미지에서 배경과 객체를 분리하고, 객체의 에지 정보를 기반으로 추출될 수 있다.
본 발명의 실시예에 따른 컴퓨터 프로그램이 기록된 기록매체에는 상술한 실시예에 따른 방법을 수행하는 컴퓨터 프로그램이 저장될 수 있다.
본 발명의 실시예에 따른 사물 인식에 기반한 광고를 제공하는 시스템은 멀티미디어 정보를 생성하고, 생성된 멀티미디어 정보 중 서비스 장치로 전송될 사용자 이미지를 결정하여 전송하고, 서비스 장치로 광고 정보를 요청하고, 서비스 장치로부터 수신한 광고 정보를 출력하는 사용자 장치; 및 사용자 장치로부터 수신된 사용자 이미지를 저장하고, 사용자 이미지에 포함된 객체의 특징 정보를 추출하고, 추출된 객체의 특징 정보를 기반으로 사물 인식을 수행하고, 인식된 사물 정보를 기반으로 광고 정보를 검색하고, 사용자 장치의 광고 요청에 응답하여 검색된 광고 정보를 사용자 장치로 전송하는 서비스 장치를 포함할 수 있다.
본 발명은 사용자 장치에 저장된 이미지 정보를 기반으로 사용자 장치의 사용자의 관심분야를 판단하여 사용자의 관심분야에 맞는 광고를 제공함으로써 필요한 물품 정보에 대한 광고 정보를 사용자가 수신할 수 있다. 마켓팅 입장에서도 광고 타겟팅 대상을 한정하여 효과적으로 마케팅을 할 수 있다.
사용자의 관심사를 분석하기 위해 사용자 이미지를 분석하여 사물 인식을 수행함에 있어서 사용자의 이미지 중 광고 대상 객체가 포함되어 있는 이미지만을 선별하여 분석함으로써 불필요한 분석 로딩을 줄일 수 있다.
또한, 사용자 이미지를 분석하여 사용자가 현재 관심있는 상품에 대한 정보를 판단하여 그 우선 순위에 따라 사용자에게 광고를 노출하는 빈도를 조절함으로써 효과적으로 광고를 사용자에게 전달할 수 있다.
도 1은 본 발명의 실시예에 따른 사진 내 사물 인식을 통한 광고 추천 시스템을 나타낸 개념도이다.
도 2는 본 발명의 실시예에 따른 사진 내 사물 인식을 통한 광고 추천 시스템을 나타낸 개념도이다.
도 3은 본 발명의 실시예에 따른 장치 정보에 매칭되는 광고 정보를 찾기 위한 방법을 나타낸 개념도이다.
도 4는 본 발명의 실시예에 따른 사용자 장치로부터 전송된 이미지 정보를 기반으로 검색 색인 DB부를 구성하는 방법을 나타낸 흐름도이다.
도 5는 본 발명의 실시예에 따른 광고의 이미지 정보를 기반으로 검색 색인 DB부를 구성하는 방법을 나타낸 흐름도이다.
도 6은 본 발명의 실시예에 따른 사용자 장치에서 광고를 요청하고 광고를 수신하는 방법을 나타낸 흐름도이다.
도 7은 본 발명의 실시예에 따른 사용자 장치로 광고를 제공하는 방법을 나타낸 개념도이다.
도 8은 본 발명의 실시예에 따른 사용자 장치로 광고를 제공하는 방법을 나타낸 개념도이다.
본 발명에서 사용되는 기술적 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 발명에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.
또한, 본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 본 발명에서 "구성된다" 또는 "포함한다" 등의 용어는 발명에 기재된 여러 구성 요소들 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
또한, 본 발명에서 사용되는 제 1, 제 2 등과 같이 서수를 포함하는 용어는 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성 요소는 제 2 구성 요소로 명명될 수 있고, 유사하게 제 2 구성 요소도 제 1 구성 요소로 명명될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.
사용자 장치(user equipment, 예를 들어, 모바일 장치)의 사용자는 본인이 관심이 있는 사물(또는 객체)들을 빈번하게 촬영할 수 있다. 즉, 사용자가 촬영한 이미지에 많이 등장한 사물일수록 사용자의 관심도가 높은 사물일 수 있다. 예를 들면, 사용자는 스마트폰과 같은 사용자 장치를 사용하여 책, 애완 동물, 사람, 옷과 같은 주변의 관심있는 사물을 촬영할 수 있다.
본 발명의 실시예에서는 사용자 장치를 기반으로 촬영된 이미지 정보를 기반으로 사용자 장치의 사용자에게 특정한 광고 정보를 타겟팅하여 전송하는 방법에 대해 개시한다. 각각의 사용자 장치에서 촬상된 이미지를 기반으로 개별 사용자에게 적응적으로 특정한 광고를 타겟팅하는 경우, 광고의 CTR(click through rate) 및 eCPM(effective cost per mille)을 높일 수 있다. CTR은 노출당 클릭율, eCPM은 유효 노출당 클릭율이다.
이하, 본 발명의 실시예에서는 설명의 편의상 사용자 장치를 기반으로 촬영된 이미지 정보를 기반으로 설명하나, 사용자 장치에 저장된 동영상 정보, 멀티미디어 컨텐츠 정보 등 다양한 정보가 개별 사용자에게 적응적으로 특정한 광고를 타겟팅하기 위한 정보로 활용될 수 있다.
도 1은 본 발명의 실시예에 따른 사진 내 사물 인식에 기반한 광고를 제공하는 시스템을 나타낸 개념도이다.
도 1에서는 사용자 장치에서 촬상된 이미지 정보를 기반으로 사용자 장치로 특정한 광고 정보를 타겟팅하여 전송하는 방법에 대해 개략적으로 개시한다.
도 1을 참조하면, 사진 내 사물 인식에 기반한 광고를 제공하는 시스템은 사용자 장치, 서비스 장치를 포함할 수 있다.
사용자 장치는 멀티미디어 정보 생성부(100), 전송 이미지 결정부(110), 광고 출력부(120), 통신부(130) 및 프로세서(140)를 포함할 수 있다.
서비스 장치는 이미지 수집부(150), 사물 인식부(160), 검색부(170), 광고 정보 처리부(180), 통신부(190) 및 프로세서(190)를 포함할 수 있다.
사용자 장치 및 서비스 장치의 구성부는 각 장치의 기능을 설명하기 위해 기능상으로 분류한 것으로써 복수의 구성부가 하나의 구성부로 구현되거나 하나의 구성부가 복수의 구성부로 구현될 수 있다.
사용자 장치를 참조하면, 멀티미디어 정보 생성부(100)는 멀티미디어 정보를 생성하기 위해 구현될 수 있다. 멀티미디어 정보는 이미지 정보, 동영상 정보, 소리 정보 등 다양한 정보를 포함할 수 있다. 예를 들어, 멀티미디어 정보 생성부(100)는 사용자 장치에 설치된 카메라 어플리케이션일 수 있다. 전술한 바와 같이 본 발명의 실시예에서는 설명의 편의상 멀티미디어 정보 중 이미지 정보에 대해 개시한다.
전송 이미지 결정부(110)는 멀티미디어 정보 생성부(100)에 의해 생성된 이미지 정보 중 서비스 장치로 전송될 정보를 결정하기 위해 구현될 수 있다. 서비스 장치에서는 전송 이미지 결정부(110)에서 결정된 이미지 정보를 기반으로 사용자 장치로 전송할 광고를 결정할 수 있다. 전송 이미지 결정부(110)는 SDK(software development kit)를 기반으로 구현될 수 있고, 사용자 장치에서 이미지 정보를 생성하는 어플리케이션의 이미지 저장 경로를 파악하여 서비스 장치로 전송될 이미지를 결정할 수 있다. 이하, 본 발명의 실시예에서는 사용자 장치로부터 전송된 이미지를 사용자 이미지라고 한다.
광고 출력부(120)는 서비스 장치로 광고 정보를 요청하고 서비스 장치로부터 수신한 광고 정보를 출력하기 위해 구현될 수 있다. 광고 출력부(120)도 SDK를 기반으로 구현될 수 있다.
통신부(130)는 서비스 장치와 데이터를 송신 및 수신하기 위해 구현될 수 있다.
프로세서(140)는 멀티미디어 정보 생성부(100), 전송 이미지 결정부(110), 광고 출력부(120) 및 통신부(130)를 제어하기 위해 구현될 수 있다.
서비스 장치는 이미지 수집부(150), 사물 인식부(160), 검색부(170), 광고 정보 처리부(180), 통신부(190) 및 프로세서(195)를 포함할 수 있다.
이미지 수집부(150)는 사용자 장치로부터 수신한 사용자 이미지를 저장하기 위해 구현될 수 있다. 이미지 수집부(150)는 사용자 장치의 전송 이미지 결정부(110)로부터 결정되어 사용자 장치로부터 전송된 사용자 이미지를 파일로 저장할 수 있다.
사물 인식부(160)는 이미지 수집부(150)에 저장된 사용자 이미지의 객체를 인식하기 위해 구현될 수 있다. 예를 들어, 사물 인식부(160)에서는 사용자 이미지에 포함된 객체의 특징 정보 추출할 수 있다. 또한 사물 인식부(160)는 추출된 객체의 특징 정보를 기반으로 객체가 어떠한 사물에 해당하는지에 대해 인식할 수 있다. 예를 들어 객체의 특징 정보가 차가 가진 특징 정보와 일치되는 경우, 사물 인식부(160)는 객체를 차라고 인식할 수 있다. 사물 인식부(160)에서는 사용자 이미지에 포함된 객체에 사물의 식별자(identifier, id)(이하 사물 식별자라고 함)를 할당할 수 있다. 사용자 이미지에 포함된 객체의 사물 식별자와 객체를 촬상한 사용자 장치의 식별자를 매핑하여 사용자 장치의 식별자와 사물 식별자를 매핑한 테이블을 생성할 수 있다.
또한, 사물 인식부(160)는 광고에 포함된 광고 이미지 정보를 기반으로 사물 인식을 수행하여 광고 이미지에 포함된 객체에 사물 식별자를 할당할 수 있다. 사물 인식부(160)에서는 광고 이미지에 포함된 객체의 사물 식별자와 광고의 식별자 정보는 매핑할 수 있다. 사물 식별자와 광고 식별자를 매핑한 테이블을 생성할 수 있다.
검색부(170)는 사물 인식부(160)에서 인식을 수행한 사물에 대한 정보를 기반으로 사용자 장치에 대한 광고 정보를 검색할 수 있다. 검색부(170)에서는 사용자 장치의 식별자 정보(예를 들어, device_id 또는 mdn(mobile directory number))와 사물 식별자 정보를 매핑한 테이블, 사물 식별자 정보와 광고 식별자 정보를 매핑한 테이블을 기반으로 사용자 장치로 전송할 광고에 대한 검색을 수행할 수 있다.
광고 정보 처리부(180)는 사용자 단말로부터 광고 요청이 있는 경우, 사용자 단말의 식별자 정보 등을 기반으로 검색된 광고 정보를 사용자 단말로 전송하기 위해 구현될 수 있다.
통신부(190)는 사용자 장치와 서비스 장치 간의 데이터를 송신 및 수신하기 위해 구현될 수 있다.
프로세서(195)는 이미지 수집부(150), 사물 인식부(160), 검색부(170), 광고 정보 처리부(180) 및 통신부(190)의 동작을 제어하기 위해 구현될 수 있다.
이하, 본 발명의 실시예에서는 사용자 장치와 서비스 장치의 동작에 대해 구체적으로 개시한다.
도 2는 본 발명의 실시예에 따른 사진 내 사물 인식에 기반한 광고 제공 시스템을 나타낸 개념도이다.
도 2에서는 사용자 장치에서 촬상된 이미지 정보를 기반으로 사용자 장치가 광고 정보를 수신하는 방법에 대해 구체적으로 개시한다. 도 2에서 개시하는 각 구성부의 동작은 도 1에서 개시한 사용자 장치 및 서비스 장치에 포함된 각 구성부의 동작과 대응될 수 있다. 각 구성부의 구체적인 연결 관계는 미도시하였으나, 이하 본 발명의 실시예에 따라 각 구성부 간의 구체적인 연결 관계를 가질 수 있다.
또한, 설명의 편의상 서비스 장치에 각 구성부가 포함되는 것으로 게시하나, 각각의 구성부는 별도의 장치로 구현될 수 있다. 이뿐만 아니라 각각의 구성부는 기능적으로 분리한 것으로 하나의 구성부가 복수의 구성부로 구현되거나 복수의 구성부가 하나의 구성부로 구현될 수도 있다.
도 2를 참조하면, 사용자 장치의 이미지 정보 처리부(200)는 촬상된 사용자 이미지를 이미지 수집부(205)로 전송할 수 있다.
예를 들어, 이미지 정보 처리부(200)는 사용자 장치에 구비된 영상 촬상 어플리케이션을 통해 사용자 이미지를 생성할 수 있다. 또한, 이미지 정보 처리부(200)는 영상 촬상 애플리케이션의 이미지 저장 경로를 파악하여 이미지 수집부(205)로 사용자 이미지를 전송할 수 있다.
이미지 수집부(205)는 사용자 장치의 이미지 정보 처리부(200)로부터 수신한 사용자 이미지를 파일 형태로 저장할 수 있다.
입력 정보 특징 추출부(210)는 사용자 이미지를 읽고 특징 정보를 추출할 수 있다. 입력 정보 특징 추출부(210)는 이미지 수집부(205)에 저장된 사용자 이미지를 읽고 특징 정보를 추출할 수 있다. 예를 들어, 입력 정보 특징 추출부(210)는 사용자 이미지의 객체(예를 들어, 차)에 대한 특징들(예를 들어, 색, 모양 등의 세부 정보)을 추출할 수 있다.
이뿐만 아니라 입력 정보 특징 추출부(210)는 추후 등록된 광고의 소재를 분석하고, 특징 정보를 분석하여 사물 식별자와 광고에 대한 관계를 설정하기 위해 구현될 수도 있다.
입력 정보 특징 추출부(210)에서 객체의 특징 정보를 추출하기 위해서는 다양한 방법이 사용될 수 있다. 예를 들어, 영상의 경계선(edge) 정보를 특징으로 이용하여 특징점을 추출하고, 특징점 간의 관계 정보를 설정하여 객체별 특징 정보를 추출할 수 있다. 또는 색체 정보를 고려하여 배경과 객체를 분리하고 분리된 객체 별로 특징점을 추출하여 객체의 특징 정보를 결정할 수도 있다.
사물 인식부(215)는 입력 정보 특징 추출부(210)에 의해 추출된 객체의 특징 정보를 기반으로 사물 인식을 위한 사물 특징 정보 DB부(220)에 저장된 특징 정보와 비교하여 사물 인식을 수행할 수 있다.
예를 들어, 사물 특징 정보 DB부(220)에는 다양한 객체들의 특징 정보가 포함될 수 있다. 사물 인식부(215)는 사물 특징 정보 DB부(220)에 포함된 객체들의 특징 정보와 사용자 이미지에서 추출된 객체의 특징 정보 사이의 유사도 판단을 수행할 수 있다. 유사도 판단을 수행한 결과, 사물 특징 정보 DB부(220)에 포함된 객체 중 사용자 이미지의 객체와 가장 유사도가 높은 객체를 최종 인식 사물로 결정할 수 있다.
사물 인식부(215)는 사용자 이미지의 객체에 최종 인식 사물로 결정된 사물의 식별자를 매칭시킬 수 있다. 사물 인식부(215)는 사용자 이미지의 객체에 대응되는 사물 식별자에 대한 정보를 검색 색인 구성부(225)로 리턴할 수 있다.
이뿐만 아니라 사물 인식부(215)는 등록된 광고 이미지에 포함된 객체 특징 정보를 기반으로 광고 이미지에 포함된 객체에 대응되는 사물 식별자 정보를 획득할 수 있다.
사용자 이미지의 객체에 대응되는 사물 식별자에 대한 정보 및 광고 이미지에 포함된 객체에 대응되는 사물 식별자에 대한 정보는 장치-사물 관계 테이블 및 사물-광고 관계 테이블을 생성하기 위해 사용될 수 있다.
검색 색인 구성부(225) 및 검색 색인 DB부(230)는 사물 인식부에서 인식한 사물에 대해 관계 정보를 형성하기 위해 구현될 수 있다.
도 3은 본 발명의 실시예에 따른 장치 정보에 매칭되는 광고 정보를 찾기 위한 방법을 나타낸 개념도이다.
도 3에서는 설명의 편의상 테이블을 기반으로 정보 간의 매핑 관계에 대해 개시하나, 다른 다양한 방법으로 매핑 관계를 표현할 수 있다.
도 3의 (a)를 참조하면, 검색 색인 구성부(225)는 예를 들어, 장치-사물 관계 테이블을 구성할 수 있다. 장치-사물 관계 테이블은 제1 필드로 장치 식별자 정보(device id 또는 mdn(mobile device number))를 정의하고 제2 필드로 사물 식별자 정보를 정의하여 장치 식별자 정보와 사물 식별자 정보에 대한 관계에 대한 정보를 정의할 수 있다.
도 3의 (b)를 참조하면, 검색 색인 구성부(225)는, 예를 들어, 사물-광고 관계 테이블을 구성할 수 있다. 사물-광고 관계 테이블은 제1 필드로 광고 식별자 정보를 정의하고, 제2 필드는 사물 식별자 정보를 정의하여 사물 식별자 정보와 광고 식별자 정보 사이의 관계에 대한 정보를 정의할 수 있다.
장치-사물 관계 테이블을 기반으로 특정한 사용자 장치의 장치 식별자 정보에 대한 사물 식별자 정보를 찾을 수 있고, 사물-광고 관계 테이블을 기반으로 특정한 사물 식별자에 대한 광고 식별자를 찾을 수 있다. 구체적인 예로, 사용자 장치가 차에 대한 이미지를 촬상하여 사용자 장치에 차라는 객체가 매핑된 장치 사물 관계 테이블이 형성될 수 있다. 또한, 차량 광고에서 차와 차량 광고라는 식별자가 매핑된 사물-광고 관계 테이블이 형성될 수 있다. 이러한 경우, 사용자 장치로 차량 광고가 제공될 수 있다.
즉, 두 개의 테이블을 기반으로 사용자 장치에 대응되는 광고 정보를 찾을 수 있다.
장치-사물 관계 테이블 및 사물-광고 관계 테이블의 관계는 0...n 관계(relationship)로 매칭될 수 있다. 예를 들어, 테이블 각각 서로 개별적으로 데이터가 관리될 수 있고, 실제 검색 시 두 테이블(장치-사물 관계 테이블 및 사물-광고 관계 테이블) 사이의 연관 관계에 대해 확인할 수 있다. 장치-사물 관계 테이블은 사용자 장치로부터 전송된 이미지를 기반으로 업데이트될 수 있다. 사물-광고 관계 테이블은 사물 식별자와 매핑되는 광고 소재 등록 시 소재 분석을 통해서 업데이트될 수 있다.
검색 색인 DB부(230)는 장치-사물 관계 테이블 및 사물-광고 관계 테이블에 대한 정보를 저장할 수 있다. 또한, 검색부(235)의 요청에 따라 검색부(235)가 입력한 장치 식별자 정보에 대응되는 광고 식별자 정보를 검색부(235)로 전송할 수 있다.
검색 색인 DB부(230)는 검색의 용이성을 위해 사물 식별자에 별도의 인덱스를 매핑하여 관리 할 수 있다. 또한, 장치 식별자 정보에 인덱스를 매핑할 수 있다. 또한, 검색 색인 DB부(230)는 종료된 광고의 광고 식별자 정보에 대한 매핑 정보는 삭제할 수 있다.
검색부(235)는 검색 색인 DB부(230)를 기반으로 장치 식별자에 대응되는 광고 식별자 정보를 검색하기 위해 구현될 수 있다. 검색부(235)는 장치 식별자 정보에 매칭되는 광고 식별자 정보를 검색하여 광고 송출부(240)로 전송할 수 있다.
광고 등록부(250)는 광고를 등록하기 위해 구현될 수 있다. 전술한 바와 같이 광고 등록 시 입력 정보 특징 추출부(210)에서 등록될 광고의 소재에 대한 특징 정보를 추출할 수 있다. 예를 들어, 입력 정보 특징 추출부(210)는 입력된 광고의 이미지에 포함된 객체에서 특징 정보를 추출할 수 있다.
추출된 광고 이미지의 특징 정보는 사물 인식부(215)를 통해 대응되는 사물의 사물 식별자 정보로 매핑될 수 있다. 인식된 사물 식별자 및 광고 식별자 간의 관계를 기반으로 사물-광고 테이블이 생성될 수 있고, 이는 검색 색인 DB부에 저장될 수 있다.
광고 송출부(240)는 광고 송출을 담당하며 검색부(235)를 기반으로 검색된 광고를 송출할 수 있다. 구체적으로 사용자 장치가 SDK를 기반으로 광고 요청을 수행할 수 있다. 사용자 장치로부터 광고가 요청된 경우, 사용자 장치로부터 수신한 장치 식별자를 기반으로 검색부(235)를 이용하여 사용자 장치의 장치 식별자에 대응되는 광고 식별자에 대한 검색을 수행할 수 있다. 예를 들어, 검색부(235)는 장치-사물 관계 테이블 정보를 기반으로 장치 식별자에 매핑되는 사물 식별자를 획득할 수 있다. 또한, 검색부(235)는 사물-광고 관계 테이블을 기반으로 사물 식별자에 매핑되는 광고 식별자를 획득할 수 있다. 검색부(235)는 검색된 결과를 광고 송출부(240)로 전송할 수 있다.
검색부(235)를 기반으로 검색된 광고가 있다면, 광고 송출부(240)는 광고를 사용자 장치로 전송할 수 있다. 반대로 검색부(235)를 기반으로 검색된 광고가 없다면, 광고 송출부(240)는 다른 스케줄링 광고를 검색하여 사용자 장치로 전송할 광고를 조회하고, 스케쥴링된 광고를 사용자 장치로 전송할 수 있다.
광고 스케줄링부(245)는 사용자 장치로 전송이 스케쥴링된 광고 정보를 결정하기 위해 구현될 수 있다.
광고 컨텐츠부(255)는 광고 컨텐츠를 광고 등록부(250)에 등록하거나, 사용자 장치로 전송될 광고 컨텐츠를 결정하기 위해 구현될 수 있다.
광고 DB부(260)는 광고 스케줄링부(245)와 연결되어 광고 스케쥴링을 수행하고, 광고 등록부(250)와 연결되어 광고 등록을 수행할 수 있다.
이하, 본 발명의 실시예에서는 사용자 장치에 대응되는 광고 정보를 전송하는 방법에 대해 흐름도를 기반으로 게시한다.
도 4는 본 발명의 실시예에 따른 사용자 장치로부터 전송된 이미지 정보를 기반으로 검색 색인 DB부를 구성하는 방법을 나타낸 흐름도이다.
도 4에서는 사용자 장치로부터 전송된 이미지 정보를 기반으로 특징 정보 추출 및 사물 인식을 수행하여 검색 색인 DB부에 장치-사물 관계 테이블을 생성하여 저장하는 방법에 대해 개시한다.
도 4를 참조하면, 사용자 장치는 SDK를 기반으로 촬상된 이미지를 이미지 수집부로 전송할 수 있다(단계 S400).
사용자 장치에는 영상 촬상 어플리케이션이 구비될 수 있다. 영상 촬상 어플리케이션을 통해 이미지를 촬상할 수 있다. 해당 SDK는 영상 촬상 어플리케이션의 이미지 저장 경로를 파악하여 이미지 수집부로 사용자 이미지를 전송할 수 있다.
이미지 수집부에서 입력 정보 특징 추출부로 이미지 정보를 전송한다(단계 S410).
이미지 수집부는 사용자 장치의 SDK를 기반으로 사용자 장치로부터 수신한 이미지를 파일 형태로 저장할 수 있다. 이미지 수집부는 입력 정보 특징 추출부의 요청에 따라 이미지 정보를 입력 정보 특징 추출부로 전송할 수 있다.
입력 정보 특징 추출부는 이미지를 읽고 이미지에 포함된 객체의 특징 정보를 추출할 수 있다. 또한, 입력 정보 특징 추출부는 사물 인식부로 객체의 특징 정보를 전송할 수 있다(단계 S420).
사물 인식부는 입력 정보 특징 추출부에 의해 추출된 객체의 특징 정보를 기반으로 사물 인식을 위한 사물 특징 정보 DB부에 저장된 특징 정보와 비교하여 사물 인식을 수행할 수 있다(단계 S430).
사물 인식부는 객체의 특징 정보와 매칭되는 사물을 인식할 수 있다. 객체의 특징 정보와 매칭되는 사물은 사물 식별자 정보를 기반으로 특정될 수 있다.
검색 색인 구성부는 인식된 사물에 대한 색인 정보를 구성할 수 있다(단계 S440).
검색 색인 구성부는 객체를 포함하는 이미지를 전송한 사용자 장치의 식별자 정보와 사물 식별자 정보를 매핑하는 장치-사물 관계 테이블을 생성할 수 있다. 검색 색인 구성부에서는 검색의 용이성을 위해 사물 식별자 및 장치 식별자에 인덱스를 부여하여 관리할 수 있다.
장치-사물 관계 테이블은 검색 색인 DB부에 저장될 수 있다(단계 S450).
검색 색인 DB부에서는 인덱스 정보를 기반으로 한 장치-사물 관계 테이블이 저장될 수 있다. 추후 사용자 장치로부터 광고 정보가 요청될 경우, 장치-사물 관계 테이블을 사용하여 사용자 장치의 장치 식별자 정보에 대응되는 사물 식별자를 탐색할 수 있다.
도 5는 본 발명의 실시예에 따른 광고의 이미지 정보를 기반으로 검색 색인 DB부를 구성하는 방법을 나타낸 흐름도이다.
도 5에서는 광고 등록 DB부, 광고 컨텐츠부로부터 광고 정보를 수신하고 광고 이미지 정보에 대한 특징 정보 추출 및 사물 인식을 수행하여 검색 색인 DB부에 사물-광고 관계 테이블을 생성하여 저장하는 방법에 대해 게시한다.
도 5를 참조하면, 광고 등록 DB부, 광고 컨텐츠부는 광고 등록부로부터 등록된 광고를 수신하여 저장하고 광고의 소재 파일을 저장할 수 있다(단계 S500).
광고 등록부는 입력 정보 특징 추출부로 광고 이미지를 전송할 수 있다(단계 S510).
예를 들어, 광고 등록부는 전송하는 광고에 포함된 이미지 정보를 입력 정보 특징 추출부로 전송할 수 있다. 광고를 구성하는 이미지 정보에는 광고의 소재를 이루는 객체들이 포함될 수 있다. 본 발명의 실시예에 따르면, 광고를 구성하는 이미지에 포함되는 객체의 정보와 전술한 사용자 장치로부터 전송된 이미지에 포함되는 객체의 정보를 매칭하여 각각의 사용자 장치에 매칭되는 광고 정보를 개별 사용자 장치로 전송할 수 있다.
입력 정보 특징 추출부는 이미지를 읽고 이미지에 포함된 객체의 특징 정보를 추출할 수 있다. 또한, 입력 정보 특징 추출부는 사물 인식부로 객체의 특징 정보를 전송할 수 있다(단계 S520).
입력 정보 특징 추출부는 광고 관련 정보가 포함하는 이미지를 기반으로 이미지에 포함된 객체의 특징 정보를 추출할 수 있다. 추출된 객체의 특징 정보는 사물 인식부로 전송될 수 있다.
사물 인식부는 입력 정보 특징 추출부에 의해 추출된 객체의 특징 정보를 기반으로 사물 인식을 위한 사물 특징 정보 DB부에 저장된 특징 정보와 비교하여 사물 인식을 수행할 수 있다(단계 S530).
사물 인식부는 광고 이미지에 포함되는 객체의 특징 정보와 매칭되는 사물을 인식할 수 있다. 광고 이미지에 포함되는 객체의 특징 정보와 매칭되는 사물은 사물 식별자 정보를 기반으로 특정될 수 있다.
검색 색인 구성부는 인식된 사물에 대한 색인 정보를 구성할 수 있다(단계 S540).
검색 색인 구성부는 객체를 포함하는 이미지를 전송한 광고의 식별자 정보와 사물 식별자 정보를 매핑하는 사물-광고 관계 테이블을 생성할 수 있다. 검색 색인 구성부에서는 검색의 용이성을 위해 사물 식별자 및 광고 식별자에 인덱스를 부여하여 관리할 수 있다.
사물-광고 관계 테이블은 검색 색인 DB부에 저장될 수 있다(단계 S550).
검색 색인 DB부에서는 인덱스 정보를 기반으로 한 사물-광고 관계 테이블이 저장될 수 있다. 추후 사용자 장치로부터 광고 정보가 요청될 경우, 장치-사물 관계 테이블을 사용하여 사용자 장치의 장치 식별자 정보에 대응되는 사물 식별자를 탐색한 후, 사물-광고 관계 테이블을 통해 사물 식별자에 대응되는 광고 식별자를 탐색할 수 있다.
광고 등록 절차를 완료한다(단계 S560).
도 6은 본 발명의 실시예에 따른 사용자 장치에서 광고를 요청하고 광고를 수신하는 방법을 나타낸 흐름도이다.
도 6에서는 사용자 장치의 요청에 따라 사용자 장치에 대응되는 광고 정보를 전송하는 방법에 대해 게시한다.
도 6을 참조하면, 광고 등록 DB부는 광고 스케줄링부로 광고 스케쥴링 정보를 전송할 수 있다(단계 S600).
광고 스케줄링부는 광고 송출부로 스케줄링 데이터를 전달할 수 있다(단계 S610).
광고 송출부는 사용자 장치로부터 광고 정보에 대한 요청을 받을 수 있다(단계 S620).
광고 송출부는 사용자 장치의 식별자 정보를 기반으로 사용자 장치에 타게팅되는 광고 정보에 대한 검색을 요청할 수 있다(단계 S630).
광고 송출부는 광고 정보에 대한 요청을 수행한 사용자 장치의 식별자 정보(device_id, mdn)를 기반으로 검색부로 사용자 장치에 매칭되는 타게팅 광고가 존재하는지 여부를 검색해줄 것을 요청할 수 있다.
검색부가 검색 색인 DB부를 통해 사용자 식별자 정보에 대응되는 타게팅 광고가 존재하는지 여부를 검색할 수 있다(단계 S640).
검색 색인 DB부가 광고 송출부로 검색 결과를 전송한다(단계 S650).
검색 색인 DB부를 기반으로 검색된 결과가 존재하는 경우, 검색부는 광고 송출부로 검색 결과를 전달할 수 있다.
광고 송출부는 검색부의 검색 결과를 기반으로 검색된 광고를 단말로 전송할 수 있다(단계 S660).
사용자 장치는 광고 컨텐츠부로부터 광고 소재를 수신할 수도 있다(단계 S670).
사용자 장치로 광고가 노출된다(단계 S680).
도 7은 본 발명의 실시예에 따른 사용자 장치로 광고를 제공하는 방법을 나타낸 개념도이다.
도 7에서는 사용자 장치로 광고를 제공함에 있어서 사용자 장치에서 촬상된 이미지에서 광고 대상 이미지를 탐색하는 방법에 대해 개시한다.
도 7을 참조하면, 우선 사용자 장치에서 촬상된 이미지 중 광고 정보를 생성하기 위한 이미지가 아닌 경우, 광고 정보를 생성하기 위한 이미지에서 제외하여 특징 정보 추출 절차 및 사물 인식 절차를 수행하지 않을 수 있다.
즉, 광고 정보 생성 이미지 판단 절차(단계 S700)를 거쳐 특징 정보 추출 절차(단계 S720), 사물 인식 절차(단계 S740)를 수행할 수 있다.
광고 정보를 생성하기 위한 이미지(이하, 광고 정보 생성 이미지)는 다양한 방법으로 판단될 수 있다. 예를 들어, 사용자 장치에서 촬상된 이미지에 포함된 객체 중 중심 객체를 판단하여 중심 객체가 광고 대상 객체에 해당하는 경우에만 해당 이미지를 광고 정보 생성 이미지로 판단할 수 있다. 중심 객체는 이미지의 중심에 위치한 객체 또는 이미지에서 포커싱된 객체 등을 의미할 수 있다.
예를 들어, 사용자 장치에서 촬상된 이미지의 중심 객체가 신발, 책, 음식과 같은 광고 대상 객체인 경우, 해당 이미지를 광고 정보 생성 이미지라고 판단할 수 있다. 반대로, 예를 들어, 사용자 장치에서 촬상된 이미지의 중심 객체가 건물, 사람 등과 같은 광고 대상인 객체가 아닌 경우, 해당 이미지를 광고 정보 생성 이미지가 아닌 것으로 판단할 수 있다. 이러한 광고 대상 객체인지 여부는 미리 저장된 광고 대상 객체 제외 정보에 의해 판단될 수 있다. 광고 대상 객체 제외 정보는 사람, 건물, 풍경과 같은 광고 대상 객체가 아닌 정보로써 미리 설정되어 있을 수 있다.
이러한 광고 정보 생성 이미지를 판단하는 절차는 사용자 장치 또는 이미지 수집부에서 수행될 수 있다. 사용자 장치에서 광고 정보 생성 이미지를 판단하는 절차가 수행되는 경우, 사용자 장치에서 광고 정보 생성 이미지만을 이미지 수집부로 전송할 수 있다. 이미지 수집부에서 광고 정보 생성 이미지를 판단하는 절차가 수행되는 경우, 이미지 수집부에서 광고 정보 생성 이미지만을 입력 정보 특징 추출부로 전송할 수 있다.
이러한 절차는 광고 등록시 광고 이미지 정보에서 광고 정보 생성 이미지를 판단하기 위해 사용될 수 있다. 즉, 등록된 광고 중 광고 정보 생성 이미지만을 추출하여 입력 정보 특징 추출 및 사물 인식을 수행할 수 있다.
도 8은 본 발명의 실시예에 따른 사용자 장치로 광고를 제공하는 방법을 나타낸 개념도이다.
도 8에서는 사용자 장치로 광고를 제공함에 있어서 사용자 장치에서 촬상된 이미지의 빈도 및/또는 이미지의 촬영 시기를 고려하는 방법에 대해 개시한다.
도 8을 참조하면, 사용자 장치에서 촬영된 이미지의 빈도를 기록하여 사용자 장치로 전송될 광고의 우선 순위를 결정할 수 있다
예를 들어, 사용자 장치에서 신발에 대한 이미지가 10회, 스마트폰에 대한 이미지가 5회, 바지에 대한 이미지가 2회 존재하는 경우를 가정할 수 있다. 이러한 경우, 본 발명의 실시예에 따르면, 이미지의 빈도 수에 따라 광고 노출 빈도를 다르게 조정할 수 있다.
예를 들어, 위와 같은 경우, 신발에 대한 광고를 가장 높은 빈도로 사용자에게 노출하고, 스마트폰 및 바지에 대한 광고를 그 다음 순서로 사용자에게 노출할 수 있다.
또한, 본 발명의 실시에에 따르면, 추가적으로 사용자가 촬영한 시기를 고려하여 광고의 노출 빈도를 조절할 수도 있다. 예를 들어, 최근에 사용자 장치에 저장된 이미지일수록 높은 가중치를 부여하여 광고 노출 빈도를 조절할 수 있다. 바지에 대한 이미지가 2회가 존재하는 경우에도 바지에 대한 이미지가 가장 최근에 저장된 이미지인 경우를 가정할 수 있다. 이러한 경우, 바지 광고에 대해 가중치를 부여하여 바지에 대해 광고의 노출 빈도를 높일 수 있다.
또한, 본 발명의 추가적인 실시예에 따르면, 사용자 장치에서 삭제된 이미지를 분석하여 삭제된 이미지와 관련된 광고의 경우, 광고 노출 빈도가 낮아지도록 제어할 수 있다.
본 발명의 실시예에 따른 사물 인식을 기반한 광고를 제공하는 서비스 장치, 사물 인식에 기반한 광고를 수신하는 사용자 장치, 사물 인식에 기반하여 광고를 제공하는 방법은 컴퓨터 프로그램으로 작성 가능하며, 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 해당 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 정보저장매체(computer readable media)에 저장되고, 컴퓨터나 본 발명의 실시예에 따른 서비스 장치, 사용자 장치 등에 의하여 읽혀지고 실행됨으로써 상품 제공 서비스를 구현할 수 있다.
정보저장매체는 자기 기록매체, 광 기록매체 및 캐리어 웨이브 매체를 포함한다. 본 발명의 실시예에 따른 사물 인식을 기반한 광고를 제공하는 서비스 장치, 사물 인식에 기반한 광고를 수신하는 사용자 장치, 사물 인식에 기반하여 광고를 제공하는 방법을 구현하는 컴퓨터 프로그램은 사용자 장치 등의 내장 메모리에 저장 및 설치될 수 있다. 또는, 본 발명의 실시예에 따른 사물 인식을 기반한 광고를 제공하는 서비스 장치, 사물 인식에 기반한 광고를 수신하는 사용자 장치, 사물 인식에 기반하여 광고를 제공하는 방법을 구현하는 컴퓨터 프로그램을 저장 및 설치한 스마트 카드 등의 외장 메모리가 인터페이스를 통해 사용자 장치 등에 장착될 수도 있다.
전술된 내용은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
본 발명은 사용자 장치에 저장된 이미지 정보를 기반으로 사용자 장치의 사용자의 관심분야를 판단함으로써, 사용자의 관심사에 맞는 광고를 제공할 수 있다. 사용자 장치에 저장된 이미지 정보 중 사용자가 관심이 있어하는 광고 대상 물품을 포함하는 이미지만을 선별하고, 사용자 장치에 저장된 이미지를 기반으로 사용자의 관심 물품의 우선 순위를 결정하여 관심도가 높은 물건에 대한 광고를 가장 높은 빈도로 노출되게 함으로써 효과적으로 광고를 사용자 장치의 사용자에게 타게팅할 수 있다. 이러한 방법을 사용함으로써 사용자에게 불필요한 광고를 최소화하고 광고의 CTR(click through rate) 및 eCPM(effective cost per mille)을 높일 수 있다.

Claims (14)

  1. 사용자 장치로부터 사용자 이미지를 수집하는 이미지 수집부;
    상기 사용자 이미지에 포함된 제1 사물의 특징 정보를 추출하고 상기 특징 정보를 기반으로 상기 제1 사물에 대한 사물 인식을 수행하는 사물 인식부;
    상기 사용자 장치의 장치 식별자 정보와 상기 제1 사물의 사물 식별자 정보를 매칭한 제1 매칭 정보 및 광고의 광고 식별자 정보와 광고 이미지에서 사물 인식된 제2 사물의 사물 식별자 정보를 매칭한 제2 매칭 정보를 생성하고, 상기 제1 매칭 정보 및 상기 제2 매칭 정보를 기반으로 상기 사용자 장치의 식별자 정보에 매칭되는 광고 식별자 정보를 검색하는 검색부; 및
    상기 사용자 장치의 요청에 따라 상기 검색부로 상기 사용자 장치의 식별자 정보에 매칭되는 광고 식별자 정보에 대한 검색을 요청하고, 검색된 광고 식별자에 대응되는 광고를 상기 사용자 장치로 전송하는 광고 정보 처리부를 포함하는 사물 인식에 기반한 광고를 제공하는 서비스 장치.
  2. 제 1항에 있어서,
    상기 사물 인식부는 상기 광고 이미지에 포함된 상기 제2 사물의 특징 정보를 추출하고, 상기 특징 정보를 기반으로 상기 제2 사물에 대한 사물 인식을 수행하는 것을 특징으로 하는 사물 인식에 기반한 광고를 제공하는 서비스 장치.
  3. 제 1항에 있어서,
    상기 제1 사물의 특징 정보를 기반으로 상기 제1 사물에 대한 사물 인식을 하기 위한 복수의 사물에 대한 식별자 정보와 상기 복수의 사물에 대한 특징 정보가 매칭되어 저장된 사물 특징 정보 데이터 베이스; 및
    상기 제1 매칭 정보와 상기 제2 매칭 정보를 저장되는 검색 색인 데이터 베이스를 더 포함하는 사물 인식에 기반한 광고를 제공하는 서비스 장치.
  4. 제 1항에 있어서,
    상기 광고 정보 처리부는, 새로운 광고가 등록되는 경우, 상기 등록된 새로운 광고를 상기 사물 인식부로 전송하여 상기 새로운 광고에 포함된 광고 이미지를 기반으로 사물 인식을 수행하도록 요청하는 것을 특징으로 하는 사물 인식에 기반한 광고를 제공하는 서비스 장치.
  5. 제 1항에 있어서,
    상기 이미지 수집부는 상기 사용자 이미지에 포함된 상기 제1 사물이 광고 대상 객체인지 여부를 판단하고, 상기 제1 사물이 상기 광고 대상 객체인 경우에만, 상기 사물 인식부로 상기 제1 사물에 대한 사물 인식을 요청하는 것을 특징으로 하는 사물 인식에 기반한 광고를 제공하는 서비스 장치.
  6. 제 1항에 있어서,
    상기 광고 정보 처리부는 상기 제1 사물이 포함된 사용자 이미지의 개수를 고려하여 상기 사용자 장치로 전송될 상기 광고의 전송 빈도를 결정하는 것을 특징으로 하는 사물 인식에 기반한 광고를 제공하는 서비스 장치.
  7. 제 6항에 있어서,
    상기 광고 정보 처리부는 상기 사용자 이미지가 촬영된 촬영 시기를 더 고려하여 상기 사용자 장치로 전송될 상기 광고의 상기 전송 빈도를 결정하는 것을 특징으로 하는 사물 인식에 기반한 광고를 제공하는 서비스 장치.
  8. 제 7항에 있어서,
    상기 광고 정보 처리부는 상기 사용자 장치에서 삭제된 이미지 정보를 더 고려하여 상기 사용자 장치로 전송될 상기 광고의 상기 전송 빈도를 결정하는 것을 특징으로 하는 사물 인식에 기반한 광고를 제공하는 서비스 장치.
  9. 촬영된 이미지의 저장 경로를 판단하고, 상기 촬영된 이미지 중 사물 인식에 기반한 광고 서비스를 수행하는 서비스 장치로부터 수신할 광고 결정을 위해 사용될 사용자 이미지를 결정하는 전송 이미지 결정부;
    상기 사용자 이미지를 상기 서비스 장치로 전송하는 통신부; 및
    상기 사용자 이미지 기반의 광고를 상기 서비스 장치에 요청하고, 상기 서비스 장치로부터 상기 광고를 수신하여 출력하는 광고 출력부를 포함하는 사물 인식에 기반한 광고를 수신하는 사용자 장치.
  10. 제 9항에 있어서,
    상기 전송 이미지 결정부는 상기 촬영된 이미지에 포함된 사물이 광고 대상 객체인지 여부를 판단하고, 상기 사물이 상기 광고 대상 객체인 경우에만, 상기 촬영된 이미지를 상기 사용자 이미지로 결정하는 것을 특징으로 하는 사물 인식에 기반한 광고를 수신하는 사용자 장치.
  11. 사용자 장치로부터 사용자 이미지를 수신하는 단계;
    상기 사용자 이미지에 포함된 제1 사물의 특징 정보를 추출하고 상기 특징 정보를 기반으로 상기 제1 사물에 대한 사물 인식을 수행하는 단계;
    상기 사용자 장치의 장치 식별자 정보와 상기 제1 사물의 사물 식별자 정보를 매칭한 제1 매칭 정보 및 광고의 광고 식별자 정보와 광고 이미지에서 사물 인식된 제2 사물의 사물 식별자 정보를 매칭한 제2 매칭 정보를 생성하는 단계;
    상기 제1 매칭 정보 및 상기 제2 매칭 정보를 기반으로 상기 사용자 장치의 식별자 정보에 매칭되는 광고 식별자 정보를 검색하는 단계; 및
    상기 사용자 장치의 요청에 따라 상기 검색부로 상기 사용자 장치의 식별자 정보에 매칭되는 광고 식별자 정보를 검색을 요청하고, 검색된 광고 식별자에 대응되는 광고를 상기 사용자 장치로 전송하는 단계를 포함하는 사물 인식에 기반한 광고를 제공하는 방법.
  12. 제 11항에 있어서,
    상기 제1 사물의 특징 정보는 상기 사용자 이미지에서 배경과 객체를 분리하고, 상기 객체의 에지 정보를 기반으로 추출되는 것을 특징으로 하는 사물 인식에 기반한 광고를 제공하는 방법.
  13. 제 11항 내지 제 12항 중 어느 한 항에 따른 방법을 수행하는 컴퓨터 프로그램이 기록된 기록매체.
  14. 멀티미디어 정보를 생성하고, 생성된 멀티미디어 정보 중 서비스 장치로 전송될 사용자 이미지를 결정하여 전송하고, 상기 서비스 장치로 광고 정보를 요청하고, 상기 서비스 장치로부터 수신한 광고 정보를 출력하는 사용자 장치; 및
    상기 사용자 장치로부터 수신된 상기 사용자 이미지를 저장하고, 상기 사용자 이미지에 포함된 객체의 특징 정보를 추출하고, 추출된 상기 객체의 특징 정보를 기반으로 사물 인식을 수행하고, 인식된 상기 사물 정보를 기반으로 광고 정보를 검색하고, 상기 사용자 장치의 광고 요청에 응답하여 검색된 상기 광고 정보를 상기 사용자 장치로 전송하는 서비스 장치를 포함하는 사물 인식에 기반한 광고를 제공하는 시스템.
PCT/KR2014/011175 2014-02-26 2014-11-20 사물 인식에 기반한 광고를 제공하는 서비스 장치, 사물 인식에 기반한 광고를 수신하는 사용자 장치, 사물 인식에 기반한 광고를 제공하는 시스템, 방법 및 컴퓨터 프로그램이 기록된 기록매체 Ceased WO2015129987A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020140022319A KR20150101488A (ko) 2014-02-26 2014-02-26 사물 인식에 기반한 광고를 제공하는 서비스 장치, 사물 인식에 기반한 광고를 수신하는 사용자 장치, 사물 인식에 기반한 광고를 제공하는 시스템, 방법 및 컴퓨터 프로그램이 기록된 기록매체
KR10-2014-0022319 2014-02-26

Publications (1)

Publication Number Publication Date
WO2015129987A1 true WO2015129987A1 (ko) 2015-09-03

Family

ID=54009272

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2014/011175 Ceased WO2015129987A1 (ko) 2014-02-26 2014-11-20 사물 인식에 기반한 광고를 제공하는 서비스 장치, 사물 인식에 기반한 광고를 수신하는 사용자 장치, 사물 인식에 기반한 광고를 제공하는 시스템, 방법 및 컴퓨터 프로그램이 기록된 기록매체

Country Status (2)

Country Link
KR (1) KR20150101488A (ko)
WO (1) WO2015129987A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017171231A1 (en) * 2016-04-01 2017-10-05 Samsung Electronics Co., Ltd. Method for synthesizing image and an electronic device using the same
CN110049094A (zh) * 2019-02-28 2019-07-23 阿里巴巴集团控股有限公司 信息推送的方法和线下展示终端

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108322782B (zh) * 2018-01-19 2021-03-26 西安万像电子科技有限公司 多媒体信息的推送方法、装置和系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080306749A1 (en) * 2007-06-05 2008-12-11 Fredlund John R System and method for presenting image bearing products for sale
KR20090014655A (ko) * 2007-08-06 2009-02-11 주식회사 인스프리트 맞춤형 광고 서비스 제공 장치 및 방법
US20100228558A1 (en) * 2009-03-03 2010-09-09 International Business Machines Corporation Aggregate Content-Based Advertising
US20110295693A1 (en) * 2010-06-01 2011-12-01 Microsoft Corporation Generating Tailored Content Based On Scene Image Detection
KR20120003587A (ko) * 2010-07-05 2012-01-11 에스케이플래닛 주식회사 객체 인식 기반 쇼핑 정보 서비스 제공 방법, 서버 및 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080306749A1 (en) * 2007-06-05 2008-12-11 Fredlund John R System and method for presenting image bearing products for sale
KR20090014655A (ko) * 2007-08-06 2009-02-11 주식회사 인스프리트 맞춤형 광고 서비스 제공 장치 및 방법
US20100228558A1 (en) * 2009-03-03 2010-09-09 International Business Machines Corporation Aggregate Content-Based Advertising
US20110295693A1 (en) * 2010-06-01 2011-12-01 Microsoft Corporation Generating Tailored Content Based On Scene Image Detection
KR20120003587A (ko) * 2010-07-05 2012-01-11 에스케이플래닛 주식회사 객체 인식 기반 쇼핑 정보 서비스 제공 방법, 서버 및 시스템

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017171231A1 (en) * 2016-04-01 2017-10-05 Samsung Electronics Co., Ltd. Method for synthesizing image and an electronic device using the same
US10043260B2 (en) 2016-04-01 2018-08-07 Samsung Electronics Co., Ltd. Method for synthesizing image and an electronic device using the same
CN108781262A (zh) * 2016-04-01 2018-11-09 三星电子株式会社 用于合成图像的方法和使用该方法的电子装置
US11145047B2 (en) 2016-04-01 2021-10-12 Samsung Electronics Co., Ltd. Method for synthesizing image and an electronic device using the same
CN108781262B (zh) * 2016-04-01 2022-03-08 三星电子株式会社 用于合成图像的方法和使用该方法的电子装置
CN110049094A (zh) * 2019-02-28 2019-07-23 阿里巴巴集团控股有限公司 信息推送的方法和线下展示终端
CN110049094B (zh) * 2019-02-28 2022-03-04 创新先进技术有限公司 信息推送的方法和线下展示终端

Also Published As

Publication number Publication date
KR20150101488A (ko) 2015-09-04

Similar Documents

Publication Publication Date Title
US20230254523A1 (en) System and Method for Surveying Broadcasting Ratings
WO2013141630A1 (en) Mobile communication terminal and method of recommending application or content
WO2014069891A1 (en) Method and device for providing information regarding an object
WO2020162709A1 (en) Electronic device for providing graphic data based on voice and operating method thereof
WO2020171558A1 (en) Method of providing augmented reality contents and electronic device therefor
WO2019164288A1 (en) Method for providing text translation managing data related to application, and electronic device thereof
WO2012128538A2 (ko) 식별 코드 처리 시스템, 그의 식별 코드 처리 방법 및 이를 지원하는 장치
WO2015147437A1 (ko) 모바일 서비스 시스템, 그 시스템에서의 위치 기반 앨범 생성 방법 및 장치
WO2016035970A1 (ko) 검색광고를 이용한 광고 시스템
WO2013165083A1 (ko) 이미지에 기반하여 동영상 서비스를 제공하는 시스템 및 방법
WO2016013767A1 (ko) 근거리 무선 장치를 이용한 이동 단말기들 사이의 커뮤니케이션 서비스 제공 방법
US10628955B2 (en) Information processing device, information processing method, and program for identifying objects in an image
WO2020085558A1 (ko) 고속분석 영상처리장치 및 그 장치의 구동방법
WO2019156543A2 (ko) 동영상의 대표 이미지를 결정하는 방법 및 그 방법을 처리하는 전자 장치
WO2020032383A1 (ko) 이미지에 대한 인식 정보, 인식 정보와 관련된 유사 인식 정보, 및 계층 정보를 이용하여 외부 객체에 대한 인식 결과를 제공하는 전자 장치 및 그의 동작 방법
WO2015080347A1 (en) Method, storage medium, and apparatus for performing peer to peer service by using contacts information
WO2014148691A1 (en) Mobile device and method for controlling the same
WO2015129987A1 (ko) 사물 인식에 기반한 광고를 제공하는 서비스 장치, 사물 인식에 기반한 광고를 수신하는 사용자 장치, 사물 인식에 기반한 광고를 제공하는 시스템, 방법 및 컴퓨터 프로그램이 기록된 기록매체
WO2016114475A1 (en) Method of providing preset service by bending mobile device according to user input of bending mobile device and mobile device performing the same
WO2018066938A1 (ko) 디스플레이 장치, 이의 제어 방법 및 정보 제공 시스템
WO2021045414A1 (ko) 이미지추천장치 및 이미지추천장치의 동작 방법
WO2020106011A1 (en) Device for generating user profile and system comprising the device
WO2020138696A1 (ko) 가상 이미지를 중개하는 시스템, 가상 이미지를 삽입하는 장치 및 그것들의 동작방법
WO2014030966A1 (en) System and method for providing settlement information
WO2019164196A1 (ko) 문자를 인식하기 위한 전자 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14884118

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14884118

Country of ref document: EP

Kind code of ref document: A1