WO2011108183A1 - 画像処理装置、コンテンツ配信システム、画像処理方法、及びプログラム - Google Patents

画像処理装置、コンテンツ配信システム、画像処理方法、及びプログラム Download PDF

Info

Publication number
WO2011108183A1
WO2011108183A1 PCT/JP2011/000296 JP2011000296W WO2011108183A1 WO 2011108183 A1 WO2011108183 A1 WO 2011108183A1 JP 2011000296 W JP2011000296 W JP 2011000296W WO 2011108183 A1 WO2011108183 A1 WO 2011108183A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
image
image data
face
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2011/000296
Other languages
English (en)
French (fr)
Inventor
孝之 小平
聡 今泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Solution Innovators Ltd
Original Assignee
NEC Solution Innovators Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Solution Innovators Ltd filed Critical NEC Solution Innovators Ltd
Priority to HK13105160.8A priority Critical patent/HK1178354B/xx
Priority to CN201180011876.0A priority patent/CN102783174B/zh
Priority to US13/582,198 priority patent/US8971635B2/en
Publication of WO2011108183A1 publication Critical patent/WO2011108183A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41415—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance involving a public display, viewable by several users in a public space outside their home, e.g. movie theatre, information kiosk
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV programme
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Definitions

  • the present invention relates to an image processing apparatus, a content distribution system, an image processing method, and a program for extracting a person image from an image.
  • a service in which an image display device is installed in a place where an unspecified passer passes and information is provided to the passer-by through this image display device is spreading.
  • One technique related to such a service is the technique described in Patent Document 1. This technology should acquire passerby's face, half body, or whole body image information, parameterize the face configuration from this image information and extract it as a feature, and provide it to the passerby based on the extracted feature Information is determined.
  • detecting the number of people passing in front of the image display device and the direction of the body of the passerby is important in measuring the effect of providing information.
  • An object of the present invention is to provide an image processing device, a content distribution system, an image processing method, and a program capable of accurately detecting a human image regardless of the direction of the person and detecting the direction of the human body. is there.
  • the body direction feature data indicating the body of the person and indicating that the body is facing a specific direction
  • the direction data indicating the direction of the body direction feature data
  • Body feature data storage means for storing in a plurality of directions in association with By reading the plurality of body direction feature data stored in the body feature data storage means in association with the direction data and using each of the plurality of body direction feature data, Body detection means for extracting body image data representing the body; An image processing apparatus is provided.
  • content storage means for storing video content
  • An image display device for receiving the video content stored in the content storage means via a communication network and displaying the received video content
  • An imaging device that images the front of the image display device to generate image data
  • An image processing apparatus for receiving and processing the image data via a communication network;
  • the image processing apparatus includes: The body direction feature data indicating that the body is a person and indicating that the body is facing a specific direction is associated with the direction data indicating the direction of the body direction feature data.
  • Body feature data storage means for storing each direction; By reading the plurality of body direction feature data stored in the body feature data storage means in association with the direction data and using each of the plurality of body direction feature data, Body detection means for extracting body image data representing the body; A content distribution system is provided.
  • image acquisition means for acquiring image data
  • An image processing unit that extracts body image data indicating a human upper body from the image data acquired from the image acquisition unit, and specifies an orientation of the body indicated by the body image data;
  • An image processing apparatus is provided.
  • the body direction feature data indicating that the computer is the upper body of a person and that the body is facing a specific direction is used as the direction of the body direction feature data. It is stored in correspondence with the direction data shown for each direction, There is provided an image processing method in which the computer uses each of the plurality of body direction feature data to extract body image data indicating a person's body from image data.
  • a program for causing a computer to function as an image processing apparatus In the computer, The body direction feature data indicating that the body is a person and indicating that the body is facing a specific direction is associated with the direction data indicating the direction of the body direction feature data.
  • the ability to remember by direction A function of extracting body image data indicating a person's body from image data by using each of the plurality of body direction feature data; A program for realizing the above is provided.
  • the present invention it is possible to accurately detect a human image regardless of the direction of the person and to detect the direction of the person's body.
  • FIG. 1 is a block diagram illustrating a configuration of an image processing apparatus according to a first embodiment. It is a figure which shows the structure of the data which the upper body characteristic data storage part has memorize
  • 2 is a flowchart illustrating an operation of the image processing apparatus illustrated in FIG. 1. It is a figure which shows the modification of the structure of the data which the face image memory
  • FIG. 1 It is a figure which shows the structure of the data which the upper body image memory
  • “storage” includes both a case of temporarily storing in a memory and a case of storing and storing in a hard disk or the like.
  • the storage unit may be a memory, a hard disk, a storage, or the like in terms of hardware configuration.
  • the body direction feature data is data used when extracting a human body from image data. More specifically, the body direction characteristic data is data indicating that the body is a person and that the body is facing a specific direction.
  • the direction data is data indicating which direction the upper body or face of a person is facing.
  • the face feature data is data used when extracting a human face from image data.
  • the moving image identification information is data for identifying moving image data processed by the image processing apparatus 100 from each other.
  • FIG. 1 is a block diagram illustrating a configuration of an image processing apparatus 100 according to the first embodiment.
  • the image processing apparatus 100 includes a body feature data storage unit 110 and a body detection unit 140.
  • the body feature data storage unit 110 indicates body direction feature data indicating that the body is a human body and indicating that the body is facing a specific direction, and indicates the direction of the body direction feature data. It is stored for each of a plurality of directions in association with the direction data shown.
  • the upper body refers to a part of the human body including the head and both shoulders, for example.
  • the body detection unit 140 reads a plurality of body direction feature data stored in the body feature data storage unit 110 in association with the direction data, and uses each of the plurality of body direction feature data to obtain image data. Body image data indicating the upper body of the person is extracted from.
  • the image processing apparatus 100 also includes a face feature data storage unit 120, an image data acquisition unit 130, a face image detection unit 150, and a face image storage unit 160.
  • the face feature data storage unit 120 stores face direction feature data indicating that the face is a person and indicating that the face is facing a specific direction in association with the direction data.
  • the image data acquisition unit 130 acquires image data processed by the image processing apparatus 100 in association with image identification information that identifies the image data from other image data.
  • the image data may be image data indicating a still image or a plurality of image data indicating each frame of a moving image.
  • the face image detection unit 150 acquires the body image data in association with the direction data corresponding to the body direction feature data used when extracting the body image data, and the face corresponding to the acquired direction data
  • the feature data is read from the face feature data storage unit 120. Then, the face image detection unit 150 extracts face image data indicating a person's face from the body image data using the read face feature data. However, the face image detection unit 150 may extract face image data using face feature data that does not correspond to the acquired direction data.
  • the face image storage unit 160 stores the face image data detected by the face image detection unit 150.
  • the face image storage unit 160 may store the face image data in association with the direction data corresponding to the face direction feature data used when extracting the face image data.
  • each component of the image processing apparatus 100 illustrated in FIG. 1 is not a hardware unit configuration but a functional unit block.
  • Each component of the image processing apparatus 100 is centered on an arbitrary computer CPU, memory, a program that realizes the components shown in the figure loaded in the memory, a storage unit such as a hard disk for storing the program, and a network connection interface. It is realized by any combination of hardware and software.
  • FIG. 2 is a diagram showing the configuration of data stored in the body feature data storage unit 110 in a table format.
  • the body feature data storage unit 110 stores, for each of a plurality of orientations (angles), feature data (body direction feature data) of a body image of a person facing that orientation.
  • the data structure of the body direction feature data may be different depending on the orientation corresponding to the body direction feature data.
  • the body direction feature data is determined by how to capture both hands, the shape of the torso, the shape of the face, the number of eyes, and the like.
  • FIG. 3 is a diagram showing the configuration of data stored in the face feature data storage unit 120 in a table format.
  • the face feature data storage unit 120 stores, for each of a plurality of orientations (angles), feature data (face feature data) used when extracting a face image of a person facing that orientation.
  • the face feature data is determined by, for example, the shape of the face and the number of eyes.
  • FIG. 4 is a diagram showing the configuration of data stored in the face image storage unit 160 in a table format.
  • the face image storage unit 160 stores face image data extracted from image data corresponding to the image identification information for each image identification information.
  • the image data is each frame constituting the moving image data. Therefore, the image identification information includes moving image identification information for identifying moving image data and information (for example, time information) for specifying a frame.
  • the face image storage unit 160 stores face image data in association with direction data corresponding to the face image data. For example, the face image storage unit 160 has the table shown in FIG. 4 for each image identification information and each direction data.
  • FIG. 5 is a flowchart showing the operation of the image processing apparatus 100 shown in FIG. Each process described below including this figure may be performed immediately or may be performed at an appropriate timing by batch processing.
  • the image data acquisition unit 130 of the image processing apparatus 100 acquires image data in association with image identification information (step S10).
  • the body detection unit 140 acquires the image data and image identification information acquired by the image data acquisition unit 130.
  • the body detection unit 140 reads any body direction feature data from the body feature data storage unit 110 in association with the direction data (step S20).
  • the body detection unit 140 extracts the body image data by processing the image data using the read body direction feature data (step S30).
  • the body detection unit 140 outputs the extracted body image data to the face image detection unit 150.
  • the body detection unit 140 outputs the image identification information and the direction data corresponding to the body direction feature data read in step S20 to the face image detection unit 150 in association with the body image data.
  • the face image detection unit 150 reads face direction feature data corresponding to the direction data acquired from the body detection unit 140 from the face feature data storage unit 120 (step S40).
  • the face image detection unit 150 extracts face image data from the body image data acquired from the body detection unit 140 by using the read face direction feature data (step S50).
  • the face image detection unit 150 stores the extracted face image data in the face image storage unit 160 in association with the image identification information and the direction data acquired from the body detection unit 140 (step S60).
  • the face image detection unit 150 may extract face image data using face feature data that does not correspond to the acquired direction data.
  • the image processing apparatus 100 performs the processes shown in steps S20 to S60 on all body direction feature data (step S62).
  • the body feature data storage unit 110 of the image processing apparatus 100 stores body direction feature data corresponding to the direction for each direction data.
  • the body detection unit 140 extracts body image data from the image data using the body direction feature data stored in the body feature data storage unit 110. Accordingly, it is possible to accurately detect a human image regardless of the direction of the person and to detect the direction of the person's body.
  • the face image detection unit 150 detects face image data from the body image data detected by the body detection unit 140. In this way, it is possible to detect the face image data with higher accuracy than in the case where the face image is directly detected from the image data.
  • the face image storage unit 160 uses not only the direction data (face direction) corresponding to the face feature data used when extracting the face image data, but also the face image data.
  • the direction data (body direction) corresponding to the body image data from which the face image data has been extracted may be stored in association with each other.
  • FIG. 7 is a block diagram illustrating a functional configuration of the image processing apparatus 100 according to the second embodiment.
  • the functional configuration of the image processing apparatus 100 according to the present embodiment is the same as that of the image processing apparatus 100 according to the first embodiment, except that the body image storage unit 145 is included.
  • the body image storage unit 145 stores the body image data detected by the body detection unit 140 in association with the direction data corresponding to the body direction feature data used when extracting the body image data. ing.
  • FIG. 8 is a diagram showing the configuration of data stored in the body image storage unit 145 in a table format.
  • the body image storage unit 145 stores body image data extracted from image data corresponding to the image identification information for each image identification information.
  • the configuration of the image identification information is the same as that described with reference to FIG. 4 in the first embodiment.
  • the body image storage unit 145 stores body image data in association with direction data corresponding to the body image data.
  • the body image storage unit 145 has the table shown in FIG. 8 for each image identification information and each direction data.
  • FIG. 9 is a flowchart showing the operation of the image processing apparatus 100 shown in FIG.
  • the processing (steps S10 to S30) until the body image data is extracted is the same as the processing described in the first embodiment with reference to FIG.
  • the body detection unit 140 After extracting the body image data, the body detection unit 140 stores the extracted body image data in the body image storage unit 145 in association with the image identification information and the direction data (step S32). The body detection unit 140 performs the processing shown in steps S20 to S32 on all body direction feature data (step S34).
  • the face image detection unit 150 reads only the body image data corresponding to the specific direction data. That is, the face image detection unit 150 does not read at least one predetermined direction data, for example, body image data associated with backward (180 °) or horizontal (90 °, 270 °), and the remaining directions. Data, for example, body image data associated with the front direction (0 °) is read (step S36).
  • step S40 to step S60 Since the subsequent processing (step S40 to step S60) is the same as that of the first embodiment, description thereof is omitted.
  • the body image storage unit 145 the body image data can be processed using the extracted body image data and the direction data indicating the direction.
  • the face image detection unit 150 does not perform face image extraction processing on all body image data, but applies to body image data facing a specific direction, for example, the front. Only the face image data is extracted. For this reason, the load of the image processing apparatus 100 can be reduced.
  • FIG. 10 is a block diagram illustrating a functional configuration of the image processing apparatus 100 according to the third embodiment.
  • the image processing apparatus 100 according to the present embodiment is the same as the image processing apparatus 100 shown in the image processing apparatus according to the first or second embodiment except that the image processing apparatus 100 includes an attribute detection unit 170 and an attribute data storage unit 175. It is the same composition.
  • FIG. 10 shows the same case as in the second embodiment.
  • the attribute data storage unit 175 stores attribute feature data indicating facial features by attribute, for example, by age and sex, for example, by direction data.
  • the attribute detection unit 170 reads out and uses the attribute feature data stored in the attribute data storage unit 175, and classifies the face image data stored in the face image storage unit 160 by age and sex.
  • the attribute detection unit 170 reads the face image data from the face image storage unit 160 in association with the direction data. Then, the attribute detection unit 170 reads attribute feature data corresponding to the direction data read from the face image storage unit 160 from the attribute data storage unit 175. Then, the attribute detection unit 170 uses the feature data read from the attribute data storage unit 175 to determine data indicating the attribute of the face image data read from the face image storage unit 160. Then, the attribute detection unit 170 stores data indicating the attribute in the face image storage unit 160 in association with the face image data.
  • the processing performed by the attribute detection unit 170 may be performed only on predetermined direction data, for example, face image data corresponding to direction data indicating that the front is facing.
  • FIG. 11 is a diagram showing the data stored in the attribute data storage unit 175 in a table format.
  • the attribute data storage unit 175 stores attribute feature data indicating facial features by age group and sex in association with direction data.
  • the age group is divided in units of 10 years old, but the unit defining the age group is not limited to this.
  • the attribute data storage unit 175 stores feature data used when the direction data is 0 °, that is, when facing the front, but is used when facing the other direction. The feature data may be further stored.
  • FIG. 12 is a diagram showing data stored in the face image storage unit 160 according to the present embodiment in a table format.
  • the face image storage unit 160 stores data indicating attributes in association with the face image data in addition to the data shown in FIG.
  • the same effects as those of the first or second embodiment can also be obtained by this embodiment. Further, since the data indicating the attribute is associated with the face image data, it is possible to analyze what kind of attribute the person is facing in which direction. Further, since the attribute data storage unit 175 stores the attribute data for each direction data, the attribute detection unit 170 can determine the attribute for each face image data with high accuracy.
  • FIG. 13 is a block diagram illustrating a functional configuration of the image processing apparatus 100 according to the fourth embodiment.
  • the image processing apparatus 100 according to the present embodiment has the same configuration as that of the second or third embodiment except for the following points.
  • FIG. 13 shows a case similar to that of the third embodiment.
  • the image data is generated by imaging the front of the image display device.
  • the plurality of direction data is divided into viewing direction data and non-viewing direction data.
  • the viewing direction data indicates that the upper body indicated by the upper body image data faces the image display device
  • the non-viewing direction data indicates that the upper body indicated by the upper body image data does not face the image display device. It is shown that.
  • the image processing apparatus 100 includes an audience rating calculation unit 180 and an audience rating storage unit 185.
  • the audience rating calculation unit 180 uses the body image data stored in the body image storage unit 145 to calculate the audience rating of the image display device.
  • the audience rating is calculated, for example, as a ratio of the number of body image data corresponding to the viewing direction data to the total number of body image data.
  • the audience rating storage unit 185 calculates an audience rating for each piece of identification information of the image processing apparatus 100.
  • the audience rating storage unit 185 stores the audience rating calculated by the audience rating calculation unit 180 in association with information indicating the date and time.
  • FIG. 14 is a diagram showing data stored in the audience rating storage unit 185 in a table format.
  • the audience rating storage unit 185 stores the audience ratings by day and by time zone.
  • the audience rating storage unit 185 may store the audience ratings for each day and for each time period for each piece of identification information of the image processing apparatus 100.
  • the unit of the audience rating is not limited to this, and the overall audience rating may be stored instead of the identification information of the image processing apparatus 100.
  • FIG. 15 is a flowchart showing the operation of the audience rating calculation unit 180.
  • the audience rating calculation unit 180 performs the processing shown in the figure at a predetermined timing.
  • the audience rating calculation unit 180 counts the number of body image data stored in the body image storage unit 145 for each predetermined time period. As a result, the total number of body image data, that is, the total number of people who have passed in front of the image processing apparatus during that time period is calculated (step S110).
  • the audience rating calculation unit 180 counts the number of body image data corresponding to the viewing direction data among the body image data stored in the body image storage unit 145 for each predetermined time period. . Thereby, the number of persons estimated to have visually recognized the image processing apparatus in the time zone is calculated (step S120).
  • the audience rating calculation unit 180 calculates the audience rating for each predetermined time period by dividing the number calculated in step S120 by the number calculated in step S110 (step S130). Thereafter, the audience rating calculation unit 180 causes the audience rating storage unit 185 to store the audience rating for each time period (step S140).
  • the audience rating calculation unit 180 calculates the audience rating, and this audience rating is calculated based on the number of body image data. That is, in the present embodiment, the data that is the parameter of the audience rating includes a person who is difficult to detect only by face detection, such as a person facing sideways or backward. Therefore, the audience rating can be calculated with high accuracy.
  • the image data processed by the image processing apparatus 100 may be generated by imaging the exhibition space.
  • the image processing apparatus 100 it is possible to calculate the audience rating of the exhibition space, that is, the ratio of the person who viewed the exhibition space to the total number of people who passed in front of the exhibition space.
  • the audience rating calculation unit 180 may calculate the audience rating using the data stored in the face image storage unit 160. In this case, the audience rating calculation unit 180 can individually calculate the audience rating based on the combination of the body direction and the face direction.
  • the face feature data storage unit 120 stores face feature data for each face orientation in a state independent of the body orientation indicated by the body image data. Then, the face image data detection unit 150 causes the face image storage unit 160 to store the face orientation corresponding to the face feature data used when detecting the face image data.
  • the audience rating calculation unit 180 calculates the number of face image data in which both the upper body and the face are facing the front of the image display device for each predetermined time period, and this number is calculated as the first audience rating. It is good also as a molecule
  • FIG. 16 is a diagram illustrating a configuration of a content distribution system according to the fifth embodiment.
  • This content distribution system includes an image processing device 100, a content distribution device 200, an image display device 300, and an imaging device 400.
  • the content distribution device 200 stores video content, and transmits this video content to the image display device 300 via the communication network 10 such as the Internet.
  • the image display device 300 displays the video content received from the content distribution device 200.
  • the imaging device 400 captures the front of the image display device 300 to generate image data, for example, moving image data, and immediately transmits the generated image data to the image processing device 100 via the communication network 10.
  • the image processing apparatus 100 performs the process shown in the fourth embodiment on the image data received from the imaging apparatus 400.
  • FIG. 17 is a block diagram illustrating a functional configuration of the image processing apparatus 100 according to the present embodiment.
  • the image processing apparatus 100 in the present embodiment has the same configuration as the image processing apparatus 100 shown in the fourth embodiment except for the following points.
  • the image data acquisition unit 130 receives image data from the imaging device 400. Then, the body detection unit 140 immediately processes the received image data and extracts body image data.
  • the image processing apparatus 100 includes a display control unit 190.
  • the display control unit 190 includes the number of body image data corresponding to the viewing direction data among the body image data detected by the body detection unit 140 and the direction data corresponding to the extracted body image data.
  • the image display apparatus 300 is controlled based on the above.
  • FIG. 18 is a flowchart for explaining an example of processing performed by the display control unit 190.
  • the body detection unit 140 When the image data acquisition unit 130 of the image processing apparatus 100 acquires image data (step S110), the body detection unit 140 immediately reads body direction feature data corresponding to the viewing direction data (step S120). . Next, the body detection unit 140 performs a process of extracting body image data from the image data acquired in step S110 by using the body direction feature data read in step S120 (step S130).
  • step S140: Yes the display control unit 190 does not perform processing.
  • the display control unit 190 controls the image display device 300 (step S150).
  • the control performed here includes, for example, a process for increasing the sound of the image display apparatus 300 and a process for canceling the display of the image display apparatus 300.
  • the display control unit 190 controls the image display device 300 based on the direction data corresponding to the extracted body image data
  • the body detection unit 140 uses all body direction feature data.
  • the process of extracting the body image data from the image data acquired in step S110 is immediately performed.
  • the image display device 300 is controlled based on the totaled result of the direction data corresponding to the extracted body image data.
  • the contents of the control include, for example, a process for increasing the sound of the image display apparatus 300 and a process for canceling the display of the image display apparatus 300.
  • the display control unit 190 also controls the image display device 300 based on the number of body image data corresponding to the viewing direction data. Therefore, the image display device 300 can be controlled based on the number of people viewing the image display device 300.
  • the image processing apparatus 100 may control the content distribution apparatus 200. For example, the image processing apparatus 100 extracts face image data from the body image data extracted in step S130, and recognizes data indicating attributes corresponding to the face image data. Then, the image processing apparatus 100 causes the content distribution apparatus 200 to distribute video content corresponding to the recognized attribute to the image display apparatus 300. In this way, video content can be displayed on the image display device 300 in accordance with the attribute of the person who is watching the image display device 300.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

　上体特徴データ記憶部（１１０）は、人物の上体であることを示し、かつ当該上体が特定の方向を向いていることを示す上体方向特徴データを、当該上体方向特徴データの方向を示す方向データに対応付けて複数の方向別に記憶している。上体検出部（１４０）は、上体特徴データ記憶部（１１０）が記憶している複数の上体方向特徴データを方向データに対応付けて読み出し、複数の上体方向特徴データそれぞれを用いることにより、画像データから人物の上体を示す上体画像データを抽出する。

Description

画像処理装置、コンテンツ配信システム、画像処理方法、及びプログラム
　本発明は、画像から人物像を抽出する画像処理装置、コンテンツ配信システム、画像処理方法、及びプログラムに関する。
　不特定の通行人が通る場所に画像表示装置を設置し、この画像表示装置を介して通行人に情報を提供する、というサービス（以下、デジタルサイネージと記載）が広がっている。このようなサービスに関する技術の一つに、特許文献１に記載の技術がある。この技術は、通行人の顔、半身、又は全身の画像情報を取得し、この画像情報から顔の構成をパラメータ化して特徴量として抽出し、抽出した特徴量に基づいて通行人に提供すべき情報を決定するものである。
特開２００３－２７１０８４号公報
　デジタルサイネージにおいて、画像表示装置の前を通行する人の数と、通行人の体の向きを検出することは、情報提供の効果を測定する上で重要である。従来は、画像データから直接顔画像を抽出していたため、例えば後ろ向きの人など、画像データに顔が十分に移っていない人を検出することは難しかった。このようなことから、人の向きによらずに人物像を精度よく検出し、かつこの人の体の向きを検出できる技術を開発することが望まれている。
　本発明の目的は、人の向きによらずに人物像を精度よく検出し、かつこの人の体の向きを検出できる画像処理装置、コンテンツ配信システム、画像処理方法、及びプログラムを提供することにある。
　本発明によれば、人物の上体であることを示し、かつ当該上体が特定の方向を向いていることを示す上体方向特徴データを、当該上体方向特徴データの方向を示す方向データに対応付けて複数の方向別に記憶する上体特徴データ記憶手段と、
　前記上体特徴データ記憶手段が記憶している前記複数の上体方向特徴データを前記方向データに対応付けて読み出し、前記複数の上体方向特徴データそれぞれを用いることにより、画像データから人物の上体を示す上体画像データを抽出する上体検出手段と、
を備える画像処理装置が提供される。
　本発明によれば、映像コンテンツを記憶しているコンテンツ記憶手段と、
　通信網を介して前記コンテンツ記憶手段が記憶している前記映像コンテンツを受信し、受信した前記映像コンテンツを表示する画像表示装置と、
　前記画像表示装置の前を撮像して画像データを生成する撮像装置と、
　通信網を介して前記画像データを受信して処理する画像処理装置と、
を備え、
　前記画像処理装置は、
　人物の上体であることを示し、かつ当該上体が特定の方向を向いていることを示す上体方向特徴データを、当該上体方向特徴データの方向を示す方向データに対応付けて複数の方向別に記憶する上体特徴データ記憶手段と、
　前記上体特徴データ記憶手段が記憶している前記複数の上体方向特徴データを前記方向データに対応付けて読み出し、前記複数の上体方向特徴データそれぞれを用いることにより、前記画像データから人物の上体を示す上体画像データを抽出する上体検出手段と、
を備えるコンテンツ配信システムが提供される。
　本発明によれば、画像データを取得する画像取得手段と、
　前記画像取得手段が取得した画像データから、画像データから人物の上体を示す上体画像データを抽出するとともに、当該上体画像データが示す上体の向きを特定する画像処理手段と、
を備える画像処理装置が提供される。
　本発明によれば、コンピュータが、人物の上体であることを示し、かつ当該上体が特定の方向を向いていることを示す上体方向特徴データを、当該上体方向特徴データの方向を示す方向データに対応付けて複数の方向別に記憶しておき、
　前記コンピュータが、前記複数の上体方向特徴データそれぞれを用いることにより、画像データから人物の上体を示す上体画像データを抽出する、画像処理方法が提供される。
　本発明によれば、コンピュータを画像処理装置として機能させるプログラムであって、
　前記コンピュータに、
　　人物の上体であることを示し、かつ当該上体が特定の方向を向いていることを示す上体方向特徴データを、当該上体方向特徴データの方向を示す方向データに対応付けて複数の方向別に記憶する機能と、
　前記複数の上体方向特徴データそれぞれを用いることにより、画像データから人物の上体を示す上体画像データを抽出する機能と、
を実現させるプログラムが提供される。
　本発明によれば、人の向きによらずに人物像を精度よく検出し、かつこの人の体の向きを検出できる。
　上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。
第１の実施形態にかかる画像処理装置の構成を示すブロック図である。 上体特徴データ記憶部が記憶しているデータの構成をテーブル形式で示す図である。 顔特徴データ記憶部が記憶しているデータの構成をテーブル形式で示す図である。 顔画像記憶部が記憶しているデータの構成をテーブル形式で示す図である。 図１に示した画像処理装置の動作を示すフローチャートである。 顔画像記憶部が記憶しているデータの構成の変形例を示す図である。 第２の実施形態に係る画像処理装置の機能構成を示すブロック図である。 上体画像記憶部が記憶しているデータの構成をテーブル形式で示す図である。 図７に示した画像処理装置の動作を示すフローチャートである。 第３の実施形態に係る画像処理装置の機能構成を示すブロック図である。 属性データ記憶部が記憶しているデータをテーブル形式で示す図である。 顔画像記憶部が記憶しているデータをテーブル形式で示す図である。 第４の実施形態に係る画像処理装置機能構成を示すブロック図である。 視聴率記憶部が記憶しているデータをテーブル形式で示す図である。 視聴率算出部の動作を示すフローチャートである。 第５の実施形態に係るコンテンツ配信システムの構成を示す図である。 画像処理装置の機能構成を示すブロック図である。 表示制御部が行う処理の一例を説明するためのフローチャートである。
　以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また以下の各実施形態において「記憶」には、メモリ上に一時的に記憶する場合と、ハードディスクなどに記憶させて保存する場合の双方が含まれる。このため、記憶部は、ハード構成上は、メモリである場合や、ハードディスクやストレージ等である場合などがある。
　また以下の各実施形態において、上体方向特徴データとは、画像データから人の上体を抽出するときに用いられるデータである。詳細には、上体方向特徴データは、人物の上体であることを示し、かつ当該上体が特定の方向を向いていることを示すデータである。また方向データとは、人の上体や顔がどの方向を向いているかを示すデータである。顔特徴データは、画像データから人の顔を抽出するときに用いられるデータである。動画識別情報は、画像処理装置１００が処理する動画データを互いに識別するためのデータである。
（第１の実施形態）
　図１は、第１の実施形態にかかる画像処理装置１００の構成を示すブロック図である。画像処理装置１００は、上体特徴データ記憶部１１０及び上体検出部１４０を供えている。上体特徴データ記憶部１１０は、人物の上体であることを示し、かつ当該上体が特定の方向を向いていることを示す上体方向特徴データを、当該上体方向特徴データの方向を示す方向データに対応付けて複数の方向別に記憶している。ここで上体とは、例えば人体のうち頭部及び両肩を含む部分を指す。上体検出部１４０は、上体特徴データ記憶部１１０が記憶している複数の上体方向特徴データを方向データに対応付けて読み出し、複数の上体方向特徴データそれぞれを用いることにより、画像データから人物の上体を示す上体画像データを抽出する。
　また画像処理装置１００は、顔特徴データ記憶部１２０、画像データ取得部１３０、顔画像検出部１５０、及び顔画像記憶部１６０を備えている。
　顔特徴データ記憶部１２０は、人物の顔であることを示し、かつ当該顔が特定の方向を向いていることを示す顔方向特徴データを方向データに対応付けて記憶している。
　画像データ取得部１３０は、画像処理装置１００が処理する画像データを、その画像データを他の画像データから識別する画像識別情報に対応付けて取得する。画像データは、静止画を示す画像データであってもよいし、動画の各フレームを示す複数の画像データであってもよい。
　顔画像検出部１５０は、上体画像データを、当該上体画像データを抽出するときに用いた上体方向特徴データに対応する方向データに対応付けて取得し、取得した方向データに対応する顔特徴データを顔特徴データ記憶部１２０から読み出す。そして顔画像検出部１５０は、読み出した顔特徴データを用いて上体画像データから人物の顔を示す顔画像データを抽出する。ただし顔画像検出部１５０は、取得した方向データに対応していない顔特徴データを用いて、顔画像データを抽出してもよい。
　顔画像記憶部１６０は、顔画像検出部１５０が検出した顔画像データを記憶する。顔画像記憶部１６０は、顔画像データを、この顔画像データを抽出するときに用いられた顔方向特徴データに対応する方向データに対応付けて記憶してもよい。
　なお、図１に示した画像処理装置１００の各構成要素は、ハードウエア単位の構成ではなく、機能単位のブロックを示している。画像処理装置１００の各構成要素は、任意のコンピュータのＣＰＵ、メモリ、メモリにロードされた本図の構成要素を実現するプログラム、そのプログラムを格納するハードディスクなどの記憶ユニット、ネットワーク接続用インタフェースを中心にハードウエアとソフトウエアの任意の組合せによって実現される。
　図２は、上体特徴データ記憶部１１０が記憶しているデータの構成をテーブル形式で示す図である。上体特徴データ記憶部１１０は、複数の向き（角度）別に、その向きを向いている人物の上体画像の特徴データ（上体方向特徴データ）を記憶している。上体方向特徴データのデータ構成は、その上体方向特徴データに対応している向きによって異なっていてもよい。例えば上体方向特徴データは、両手の写り方、胴体の形状、顔の形状、及び目の数等によって定められる。
　図３は、顔特徴データ記憶部１２０が記憶しているデータの構成をテーブル形式で示す図である。顔特徴データ記憶部１２０は、複数の向き（角度）別に、その向きを向いている人物の顔画像を抽出するときに用いられる特徴データ（顔特徴データ）を記憶している。顔特徴データは、例えば顔の形状、及び目の数等によって定められる。
　図４は、顔画像記憶部１６０が記憶しているデータの構成をテーブル形式で示す図である。顔画像記憶部１６０は、画像識別情報別に、その画像識別情報に対応する画像データから抽出された顔画像データを記憶している。図４に示す例では、画像データは動画データを構成する各フレームである。そのため画像識別情報は、動画データを識別するための動画識別情報と、フレームを特定するための情報（例えば時刻情報）によって構成されている。また顔画像記憶部１６０は、顔画像データを、その顔画像データに対応する方向データに対応付けて記憶している。例えば顔画像記憶部１６０は、図４に示すテーブルを、画像識別情報別かつ方向データ別に有している。
　図５は、図１に示した画像処理装置１００の動作を示すフローチャートである。本図を含め、これ以降に説明する各処理は、即時に行われてもよいし、バッチ処理によって適切なタイミングで行われてもよい。
　まず画像処理装置１００の画像データ取得部１３０は、画像データを画像識別情報に対応付けて取得する（ステップＳ１０）。上体検出部１４０は、画像データ取得部１３０が取得した画像データ及び画像識別情報を取得する。次いで上体検出部１４０は、いずれかの上体方向特徴データを方向データに対応付けて上体特徴データ記憶部１１０から読み出す（ステップＳ２０）。次いで上体検出部１４０は、読み出した上体方向特徴データを用いて画像データを処理することにより、上体画像データを抽出する（ステップＳ３０）。次いで上体検出部１４０は、抽出した上体画像データを顔画像検出部１５０に出力する。このとき上体検出部１４０は、画像識別情報、及びステップＳ２０で読み出した上体方向特徴データに対応する方向データを、上体画像データに対応付けて顔画像検出部１５０に出力する。
　次いで顔画像検出部１５０は、上体検出部１４０から取得した方向データに対応する顔方向特徴データを顔特徴データ記憶部１２０から読み出す（ステップＳ４０）。次いで顔画像検出部１５０は、読み出した顔方向特徴データを用いることにより、上体検出部１４０から取得した上体画像データから顔画像データを抽出する（ステップＳ５０）。そして顔画像検出部１５０は、抽出した顔画像データを、上体検出部１４０から取得した画像識別情報及び方向データに対応付けて顔画像記憶部１６０に記憶させる（ステップＳ６０）。ただし上述したように顔画像検出部１５０は、取得した方向データに対応していない顔特徴データを用いて、顔画像データを抽出してもよい。
　画像処理装置１００は、ステップＳ２０～ステップＳ６０に示した処理を、全ての上体方向特徴データに対して行う（ステップＳ６２）。
　次に、本実施形態の作用及び効果について説明する。本実施形態において画像処理装置１００の上体特徴データ記憶部１１０には、方向データ別に、その方向に対応する上体方向特徴データが記憶されている。そして上体検出部１４０は、上体特徴データ記憶部１１０が記憶している上体方向特徴データを用いて、画像データから上体画像データを抽出する。従って、人の向きによらずに人物像を精度よく検出し、かつこの人の体の向きを検出することができる。
　また顔画像検出部１５０は、上体検出部１４０が検出した上体画像データから顔画像データを検出している。このようにすると、画像データから直接顔画像を検出する場合と比較して、精度よく顔画像データを検出することができる。
　なお図６に示すように、顔画像記憶部１６０は、顔画像データを、その顔画像データを抽出するときに用いた顔特徴データに対応している方向データ（顔方向）のみではなく、その顔画像データを抽出した上体画像データに対応している方向データ（上体方向）にも対応付けて記憶してもよい。
（第２の実施形態）
　図７は、第２の実施形態に係る画像処理装置１００の機能構成を示すブロック図である。本実施形態に係る画像処理装置１００の機能構成は、上体画像記憶部１４５を有している点を除いて、第１の実施形態に係る画像処理装置１００と同様の構成である。上体画像記憶部１４５は、上体検出部１４０が検出した上体画像データを、当該上体画像データを抽出するときに用いた上体方向特徴データに対応する方向データに対応付けて記憶している。
　図８は、上体画像記憶部１４５が記憶しているデータの構成をテーブル形式で示す図である。上体画像記憶部１４５は、画像識別情報別に、その画像識別情報に対応する画像データから抽出された上体画像データを記憶している。画像識別情報の構成は、第１の実施形態において図４を用いて説明した構成と同様である。また上体画像記憶部１４５は、上体画像データを、その上体画像データに対応する方向データに対応付けて記憶している。例えば上体画像記憶部１４５は、図８に示すテーブルを、画像識別情報別かつ方向データ別に有している。
　図９は、図７に示した画像処理装置１００の動作を示すフローチャートである。本実施形態において、上体画像データを抽出するまでの処理（ステップＳ１０～ステップＳ３０）は第１の実施形態において図５を用いて説明した処理と同様であるため、説明を省略する。
　上体検出部１４０は上体画像データを抽出すると、抽出した上体画像データを、画像識別情報及び方向データに対応付けて上体画像記憶部１４５に記憶させる（ステップＳ３２）。そして上体検出部１４０は、ステップＳ２０～ステップＳ３２に示した処理を、全ての上体方向特徴データに対して行う（ステップＳ３４）。
　その後顔画像検出部１５０は、特定の方向データに対応している上体画像データのみを読み出す。すなわち顔画像検出部１５０は、予め定められた少なくとも一つの方向データ、例えば後ろ向き（１８０°）や横向き（９０°，２７０°）に対応付けられている上体画像データを読み出さず、残りの方向データ、例えば正面向き（０°）に対応付けられている上体画像データを読み出す（ステップＳ３６）。
　その後の処理（ステップＳ４０～ステップＳ６０）は、第１の実施形態と同様であるため説明を省略する。
　本実施形態によっても、第１の実施形態と同様の効果を得ることができる。また上体画像記憶部１４５を有しているため、抽出した上体画像データとその方向を示す方向データを用いて、上体画像データを処理することができる。例えば図９に示す例では、顔画像検出部１５０は、全ての上体画像データに対して顔画像の抽出処理を行うのではなく、特定の方向、例えば正面を向いている上体画像データに対してのみ顔画像データの抽出処理を行う。このため、画像処理装置１００の負荷を少なくすることができる。
（第３の実施形態）
　図１０は、第３の実施形態に係る画像処理装置１００の機能構成を示すブロック図である。本実施形態における画像処理装置１００は、属性検出部１７０及び属性データ記憶部１７５を有している点を除いて、第１又は第２の実施形態に係る画像処理装置に示す画像処理装置１００と同様の構成である。なお図１０は、第２の実施形態と同様の場合を示している。
　属性データ記憶部１７５は、属性別、例えば年齢別及び性別に顔の特徴を示す属性特徴データを、例えば方向データ別に記憶している。属性検出部１７０は、属性データ記憶部１７５が記憶している属性特徴データを読み出して用いることにより、顔画像記憶部１６０が記憶している顔画像データを年齢別かつ性別に分類する。
　具体的には属性検出部１７０は、顔画像記憶部１６０から顔画像データを方向データに対応付けて読み出す。そして属性検出部１７０は、顔画像記憶部１６０から読み出した方向データに対応する属性特徴データを、属性データ記憶部１７５から読み出す。そして属性検出部１７０は、属性データ記憶部１７５から読み出した特徴データを用いることにより、顔画像記憶部１６０から読み出した顔画像データの属性を示すデータを定める。そして属性検出部１７０は、属性を示すデータを、その顔画像データに対応させて顔画像記憶部１６０に記憶させる。
　なお属性検出部１７０が行う処理は、予め定められた方向データ、例えば正面を向いていることを示す方向データに対応している顔画像データに対してのみ行われてもよい。
　図１１は、属性データ記憶部１７５が記憶しているデータをテーブル形式で示す図である。本図に示すように属性データ記憶部１７５は、年齢層別及び性別に顔の特徴を示す属性特徴データを、方向データに対応付けて記憶している。なお本図に示す例では、年齢層は１０歳単位で区切られているが、年齢層を定義する単位はこれに限定されない。また本図に示す例では属性データ記憶部１７５は、方向データが０°、すなわち正面を向いているときに用いられる特徴データを記憶しているが、他の方向を向いているときに用いられる特徴データをさらに記憶していてもよい。
　図１２は、本実施形態における顔画像記憶部１６０が記憶しているデータをテーブル形式で示す図である。本実施形態において顔画像記憶部１６０は、図４に示したデータに加えて、さらに属性を示すデータを顔画像データに対応付けて記憶している。
　本実施形態によっても第１又は第２の実施形態と同様の効果を得ることができる。また顔画像データに属性を示すデータが対応付けられるため、どのような属性の人がどの方向を向いているかを分析することができる。また属性データ記憶部１７５は方向データ別に属性データを記憶しているため、属性検出部１７０は、高い精度で顔画像データ別に属性を定めることができる。
（第４の実施形態）
　図１３は、第４の実施形態に係る画像処理装置１００の機能構成を示すブロック図である。本実施形態に係る画像処理装置１００は、以下の点を除いて第２又は第３の実施形態のいずれかと同様の構成である。なお図１３は、第３の実施形態と同様の場合を示している。
　本実施形態において画像データは、画像表示装置の前を撮像することにより生成されている。そして複数の方向データは、視認方向データと非視認方向データとに分けられている。視認方向データは、上体画像データが示す上体が画像表示装置を向いていることを示すものであり、非視認方向データは、上体画像データが示す上体が画像表示装置を向いていないことを示している。
　そして画像処理装置１００は、視聴率算出部１８０及び視聴率記憶部１８５を備えている。視聴率算出部１８０は、上体画像記憶部１４５が記憶している上体画像データを用いて、画像表示装置の視聴率を算出する。視聴率は、例えば、上体画像データの総数に対する、視認方向データに対応している上体画像データの数の比率として算出される。画像処理装置１００が複数存在している場合、視聴率記憶部１８５は、画像処理装置１００の識別情報別に視聴率を算出する。視聴率記憶部１８５は、視聴率算出部１８０が算出した視聴率を、日時を示す情報に対応付けて記憶する。
　図１４は、視聴率記憶部１８５が記憶しているデータをテーブル形式で示す図である。視聴率記憶部１８５は、日別かつ時間帯別に視聴率を記憶している。画像処理装置１００が複数存在している場合、視聴率記憶部１８５は、画像処理装置１００の識別情報別に、日別かつ時間帯別の視聴率を記憶してもよい。ただし、視聴率の単位はこれに限定されず、画像処理装置１００の識別情報別ではなく全体的な視聴率を記憶してもよい。
　図１５は、視聴率算出部１８０の動作を示すフローチャートである。視聴率算出部１８０は、予め決められたタイミングで、本図に示す処理を行う。
　まず視聴率算出部１８０は、予め決められた時間帯別に、上体画像記憶部１４５が記憶している上体画像データの数を集計する。これにより、上体画像データの総数すなわちその時間帯に画像処理装置の前を通った人の総数が算出される（ステップＳ１１０）。
　次いで視聴率算出部１８０は、予め決められた時間帯別に、上体画像記憶部１４５が記憶している上体画像データのうち視認方向データに対応している上体画像データの数を集計する。これにより、その時間帯に画像処理装置を視認したと推定される人の数が算出される（ステップＳ１２０）。
　次いで視聴率算出部１８０は、ステップＳ１２０で算出した数をステップＳ１１０で算出した数で除することにより、予め決められた時間帯別に視聴率を算出する（ステップＳ１３０）。その後視聴率算出部１８０は、視聴率記憶部１８５に、時間帯別の視聴率を記憶させる（ステップＳ１４０）。
　本実施形態によっても、第２又は第３の実施形態と同様の処理を行い、これらと同様の効果を得ることができる。また視聴率算出部１８０が視聴率を算出しているが、この視聴率は、上体画像データの数に基づいて算出されている。すなわち本実施形態において視聴率の母数となるデータには、例えば横向きや後ろ向きの人など、顔検出のみでは検出することが難しい人物も含まれる。従って、高い精度で視聴率を算出することができる。
　また非視認方向データに対応している上体画像データの数等を分析することにより、画像処理装置の前を通る人が画像処理装置を視認しない理由を推定できる場合もある。
　なお本実施形態において、画像処理装置１００が処理する画像データは、展示スペースを撮像することにより生成されてもよい。この場合、画像処理装置１００を用いることにより、展示スペースの視聴率、すなわち展示スペースの前を通った人の総数に対する展示スペースを視認した人の割合を算出することができる。
　また顔画像記憶部１６０が図６に示すデータ構成を有していた場合、視聴率算出部１８０は、顔画像記憶部１６０が記憶しているデータを用いて視聴率を算出してもよい。この場合、視聴率算出部１８０は、上体の方向と顔の方向の組み合わせに基づいて、視聴率を個別に算出することができる。この場合、顔特徴データ記憶部１２０は、上体画像データが示す上体の向きから独立した状態で、顔の向き別に顔特徴データを記憶している。そして顔画像データ検出部１５０は、顔画像データを検出するときに用いた顔特徴データに対応する顔の向きを、顔画像記憶部１６０に記憶させる。
　例えば視聴率算出部１８０は、上体と顔の双方が画像表示装置の正面を向いていた顔画像データの数を予め定められた時間帯別に算出し、この数を、第１の視聴率を算出するときの分子としてもよい。また視聴率算出部１８０は、顔のみが画像表示装置の正面を向いていた顔画像データの数を予め定められた時間帯別に算出し、この数を、第２の視聴率を算出するときの分子としてもよい。なお、第１の視聴率及び第２の視聴率を算出する場合のいずれにおいても、視聴率の分母は、顔画像記憶部１６０が記憶している顔画像データの総数を予め定められた時間帯別に算出することにより、定められる。これらの場合は、例えば画像処理装置１００は第1の実施形態と同様の構成をとることもできる。
（第５の実施形態）
　図１６は、第５の実施形態に係るコンテンツ配信システムの構成を示す図である。このコンテンツ配信システムは、画像処理装置１００、コンテンツ配信装置２００、画像表示装置３００、及び撮像装置４００を備えている。
　コンテンツ配信装置２００は映像コンテンツを記憶しており、この映像コンテンツを、インターネット等の通信網１０を介して画像表示装置３００に送信する。画像表示装置３００は、コンテンツ配信装置２００から受信した映像コンテンツを表示する。撮像装置４００は、画像表示装置３００の前を撮像して画像データ、例えば動画データを生成し、生成した画像データを、即時に通信網１０を介して画像処理装置１００に送信する。画像処理装置１００は、撮像装置４００から受信した画像データに対して、第４の実施形態に示した処理を行う。
　図１７は、本実施形態における画像処理装置１００の機能構成を示すブロック図である。本実施形態における画像処理装置１００は、以下の点を除いて第４の実施形態に示した画像処理装置１００と同様の構成である。
　まず、画像データ取得部１３０は、撮像装置４００から画像データを受信する。そして上体検出部１４０は、受信した画像データを即時に処理して上体画像データを抽出する。
　また画像処理装置１００は、表示制御部１９０を備えている。表示制御部１９０は、上体検出部１４０が検出した上体画像データのうち視認方向データに対応している上体画像データの数や、抽出された上体画像データに対応している方向データに基づいて、画像表示装置３００を制御する。
　図１８は、表示制御部１９０が行う処理の一例を説明するためのフローチャートである。画像処理装置１００の画像データ取得部１３０が画像データを取得する（ステップＳ１１０）と、上体検出部１４０は、視認方向データに対応している上体方向特徴データを即時に読み出す（ステップＳ１２０）。次いで上体検出部１４０は、ステップＳ１２０で読み出した上体方向特徴データを用いることにより、ステップＳ１１０で取得した画像データから上体画像データを抽出する処理を行う（ステップＳ１３０）。上体画像データが抽出された場合（ステップＳ１４０：Ｙｅｓ）、表示制御部１９０は処理を行わない。上体画像データが抽出されなかった場合（ステップＳ１４０：Ｎｏ）、表示制御部１９０は、画像表示装置３００を制御する（ステップＳ１５０）。ここで行う制御は、例えば画像表示装置３００の音声を大きくする処理や、画像表示装置３００の表示を中止する処理がある。
　また表示制御部１９０は、抽出された上体画像データに対応している方向データに基づいて、画像表示装置３００を制御する場合、上体検出部１４０は、全ての上体方向特徴データを用いて、ステップＳ１１０で取得した画像データから上体画像データを抽出する処理を即時に行う。そして抽出した上体画像データに対応している方向データの集計結果に基づいて、画像表示装置３００の制御を行う。制御の内容には、例えば画像表示装置３００の音声を大きくする処理や、画像表示装置３００の表示を中止する処理がある。
　本実施形態によっても、第４の実施形態と同様の効果を得ることができる。また表示制御部１９０は、視認方向データに対応している上体画像データの数に基づいて、画像表示装置３００を制御する。従って、画像表示装置３００を視認している人の数に基づいて、画像表示装置３００を制御することができる。
　なお、映像コンテンツが属性を示すデータ（性別や年齢層）に対応付けられている場合、画像処理装置１００はコンテンツ配信装置２００を制御してもよい。例えば画像処理装置１００は、ステップＳ１３０で抽出された上体画像データから顔画像データを抽出し、この顔画像データに対応する属性を示すデータを認識する。そして画像処理装置１００はコンテンツ配信装置２００に、認識した属性に対応する映像コンテンツを画像表示装置３００に配信させる。このようにすると、画像表示装置３００を注視している人の属性に合わせて、画像表示装置３００に映像コンテンツを表示させることができる。
　以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。
　この出願は、２０１０年３月２日に出願された日本特許出願特願２０１０－０４５７４４を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (15)

  1. 　人物の上体であることを示し、かつ当該上体が特定の方向を向いていることを示す上体方向特徴データを、当該上体方向特徴データの方向を示す方向データに対応付けて複数の方向別に記憶する上体特徴データ記憶手段と、
    　前記上体特徴データ記憶手段が記憶している前記複数の上体方向特徴データを前記方向データに対応付けて読み出し、前記複数の上体方向特徴データそれぞれを用いることにより、画像データから人物の上体を示す上体画像データを抽出する上体検出手段と、
    を備える画像処理装置。
  2. 　請求項１に記載の画像処理装置において、
    　前記上体検出手段が検出した前記上体画像データを、当該上体画像データを抽出するときに用いた前記上体方向特徴データに対応する前記方向データに対応付けて記憶する上体画像記憶手段を備える画像処理装置。
  3. 　請求項１又は２に記載の画像処理装置において、
    　人物の顔であることを示す顔方向特徴データを前記方向データに対応付けて記憶する顔特徴データ記憶手段と、
    　前記上体画像データを、当該上体画像データを抽出するときに用いた前記上体方向特徴データに対応する前記方向データに対応付けて取得し、取得した前記方向データに対応する前記顔方向特徴データを前記顔特徴データ記憶手段から読み出し、読み出した前記顔方向特徴データを用いて前記上体画像データから人物の顔を示す顔画像データを抽出する顔画像検出手段と、
    　前記顔画像検出手段が検出した顔画像データを記憶する顔画像記憶手段と、
    を備える画像処理装置。
  4. 　請求項３に記載の画像処理装置において、
    　前記顔画像検出手段は、予め定められた少なくとも一つの前記方向データに対応付けられている前記上体画像データを読み出さず、残りの前記方向データに対応付けられている前記上体画像データを読み出す画像処理装置。
  5. 　請求項３又は４に記載の画像処理装置において、
    　属性別に顔の特徴を示す属性特徴データを記憶する属性データ記憶手段と、
    　前記属性データ記憶手段が記憶している前記属性特徴データを読み出して用いることにより、前記顔画像データを年齢別かつ性別に分類する属性検出手段をさらに備える画像処理装置。
  6. 　請求項５に記載の画像処理装置において、
    　前記属性検出手段は、予め定められた前記方向データに対応している前記顔画像データのみを、年齢別かつ性別に分類する画像処理装置。
  7. 　請求項１～６のいずれか一つに記載の画像処理装置において、
    　前記画像データは、画像表示装置の前を撮像することにより生成されている画像処理装置。
  8. 　請求項７に記載の画像処理装置において、
    　前記方向データは、前記上体画像データが示す上体が前記画像表示装置を向いていることを示す視認方向データと、前記画像表示装置を向いていないことを示す非視認方向データとに分けられており、
    　前記上体検出手段が検出した前記上体画像データを、当該上体画像データを抽出するときに用いた前記上体方向特徴データに対応する前記方向データに対応付けて記憶する上体画像記憶手段と、
    　前記上体画像記憶手段が記憶している前記上体画像データを用いて、前記上体画像データの総数に対する、前記視認方向データに対応する前記上体画像データの数の比率を視聴率として算出する視聴率算出手段をさらに備える画像処理装置。
  9. 　請求項３に記載の画像処理装置において、
    　前記画像データは、画像表示装置の前を撮像することにより生成されており、
    　前記顔特徴データ記憶手段は、前記顔の向き別に前記顔特徴データを記憶しており、
    　前記顔画像記憶手段は、前記顔画像データを、当該顔画像データを抽出するときに用いた前記顔特徴データに対応する向き、及び当該顔画像データが抽出された前記上体画像データを抽出するときに用いた前記上体方向特徴データに対応する前記方向データに対応付けて記憶しており、
    　前記顔画像記憶手段が記憶している前記顔の向き及び前記方向データの組み合わせを用いて、前記画像表示装置を視認したと推定される前記顔画像データの数を算出し、前記顔画像データの総数に対する、前記算出した数の比率を視聴率として算出する視聴率算出手段をさらに備える画像処理装置。
  10. 　請求項７～９のいずれか一項に記載の画像処理装置において、
    　前記方向データは、前記上体画像データが示す上体が前記画像表示装置を向いていることを示す視認方向データと、前記画像表示装置を向いていないことを示す非視認方向データとに分けられており、
    　前記上体検出手段は、前記画像データを生成する撮像装置から即時に前記画像データを取得し、当該即時に取得した前記画像データから前記上体画像データを抽出し、
    　さらに、前記即時に取得した前記画像データから抽出され、かつ前記視認方向データに対応している前記上体画像データの数に基づいて、前記画像表示装置を制御する表示制御手段を備える画像処理装置。
  11. 　請求項７～１０のいずれか一項に記載の画像処理装置において、
    　前記上体検出手段は、前記画像データを生成する撮像装置から即時に前記画像データを取得し、当該即時に取得した前記画像データから前記上体画像データを抽出し、
    　さらに、前記即時に取得した前記画像データから抽出された前記上体画像データに対応している前記方向データに基づいて、前記画像表示装置を制御する画像処理装置。
  12. 　画像データを取得する画像取得手段と、
    　前記画像取得手段が取得した画像データから人物の上体を示す上体画像データを抽出するとともに、当該上体画像データが示す上体の向きを特定する画像処理手段と、
    を備える画像処理装置。
  13. 　映像コンテンツを記憶しているコンテンツ記憶手段と、
    　通信網を介して前記コンテンツ記憶手段が記憶している前記映像コンテンツを受信し、受信した前記映像コンテンツを表示する画像表示装置と、
    　前記画像表示装置の前を撮像して画像データを生成する撮像装置と、
    　通信網を介して前記画像データを受信して処理する画像処理装置と、
    を備え、
    　前記画像処理装置は、
    　人物の上体であることを示し、かつ当該上体が特定の方向を向いていることを示す上体方向特徴データを、当該上体方向特徴データの方向を示す方向データに対応付けて複数の方向別に記憶する上体特徴データ記憶手段と、
    　前記上体特徴データ記憶手段が記憶している前記複数の上体方向特徴データを前記方向データに対応付けて読み出し、前記複数の上体方向特徴データそれぞれを用いることにより、前記画像データから人物の上体を示す上体画像データを抽出する上体検出手段と、
    を備えるコンテンツ配信システム。
  14. 　コンピュータが、人物の上体であることを示し、かつ当該上体が特定の方向を向いていることを示す上体方向特徴データを、当該上体方向特徴データの方向を示す方向データに対応付けて複数の方向別に記憶しておき、
    　前記コンピュータが、前記複数の前記上体方向特徴データそれぞれを用いることにより、画像データから人物の上体を示す上体画像データを抽出する、画像処理方法。
  15. 　コンピュータを画像処理装置として機能させるプログラムであって、
    　前記コンピュータに、
    　　人物の上体であることを示し、かつ当該上体が特定の方向を向いていることを示す上体方向特徴データを、当該上体方向特徴データの方向を示す方向データに対応付けて複数の方向別に記憶する機能と、
    　前記複数の上体方向特徴データそれぞれを用いることにより、画像データから人物の上体を示す上体画像データを抽出する機能と、
    を実現させるプログラム。
PCT/JP2011/000296 2010-03-02 2011-01-20 画像処理装置、コンテンツ配信システム、画像処理方法、及びプログラム Ceased WO2011108183A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
HK13105160.8A HK1178354B (en) 2010-03-02 2011-01-20 Image processing device, content delivery system, image processing method, and program
CN201180011876.0A CN102783174B (zh) 2010-03-02 2011-01-20 图像处理设备、内容传递系统、图像处理方法和程序
US13/582,198 US8971635B2 (en) 2010-03-02 2011-01-20 Image processing apparatus, content delivery system, image processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-045744 2010-03-02
JP2010045744A JP5115763B2 (ja) 2010-03-02 2010-03-02 画像処理装置、コンテンツ配信システム、画像処理方法、及びプログラム

Publications (1)

Publication Number Publication Date
WO2011108183A1 true WO2011108183A1 (ja) 2011-09-09

Family

ID=44541854

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/000296 Ceased WO2011108183A1 (ja) 2010-03-02 2011-01-20 画像処理装置、コンテンツ配信システム、画像処理方法、及びプログラム

Country Status (4)

Country Link
US (1) US8971635B2 (ja)
JP (1) JP5115763B2 (ja)
CN (1) CN102783174B (ja)
WO (1) WO2011108183A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10120057B1 (en) 2015-10-13 2018-11-06 Google Llc System and method for determining the direction of an actor
US9691153B1 (en) 2015-10-21 2017-06-27 Google Inc. System and method for using image data to determine a direction of an actor
WO2017120469A1 (en) * 2016-01-06 2017-07-13 Tvision Insights, Inc. Systems and methods for assessing viewer engagement
US10025308B1 (en) 2016-02-19 2018-07-17 Google Llc System and method to obtain and use attribute data
CN106385624A (zh) * 2016-09-29 2017-02-08 乐视控股（北京）有限公司 视频播放方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005503726A (ja) * 2001-09-20 2005-02-03 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ ユーザの注目に基づくリアルタイム・マルチメディア・コンテンツ送出の品質適合
JP2006065447A (ja) * 2004-08-25 2006-03-09 Nippon Telegr & Teleph Corp <Ntt> 識別器設定装置、注目度計測装置、識別器設定方法、注目度計測方法、およびプログラム
JP2006254274A (ja) * 2005-03-14 2006-09-21 Mitsubishi Precision Co Ltd 視聴層分析装置、販売戦略支援システム、広告支援システム及びｔｖ装置
JP2008085685A (ja) * 2006-09-28 2008-04-10 Hitachi Ltd 小型カメラ搭載型の列車内情報表示システム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4165095B2 (ja) * 2002-03-15 2008-10-15 オムロン株式会社 情報提供装置および情報提供方法
JP3954484B2 (ja) * 2002-12-12 2007-08-08 株式会社東芝 画像処理装置およびプログラム
JP4450799B2 (ja) * 2006-03-10 2010-04-14 富士フイルム株式会社 対象画像検出装置の制御方法
JP5010905B2 (ja) * 2006-12-13 2012-08-29 パナソニック株式会社 顔認証装置
JP4518157B2 (ja) * 2008-01-31 2010-08-04 カシオ計算機株式会社 撮像装置及びそのプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005503726A (ja) * 2001-09-20 2005-02-03 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ ユーザの注目に基づくリアルタイム・マルチメディア・コンテンツ送出の品質適合
JP2006065447A (ja) * 2004-08-25 2006-03-09 Nippon Telegr & Teleph Corp <Ntt> 識別器設定装置、注目度計測装置、識別器設定方法、注目度計測方法、およびプログラム
JP2006254274A (ja) * 2005-03-14 2006-09-21 Mitsubishi Precision Co Ltd 視聴層分析装置、販売戦略支援システム、広告支援システム及びｔｖ装置
JP2008085685A (ja) * 2006-09-28 2008-04-10 Hitachi Ltd 小型カメラ搭載型の列車内情報表示システム

Also Published As

Publication number Publication date
US8971635B2 (en) 2015-03-03
CN102783174B (zh) 2015-12-02
JP2011180917A (ja) 2011-09-15
HK1178354A1 (zh) 2013-09-06
US20120321197A1 (en) 2012-12-20
JP5115763B2 (ja) 2013-01-09
CN102783174A (zh) 2012-11-14

Similar Documents

Publication Publication Date Title
JP5224360B2 (ja) 電子広告装置、電子広告方法及びプログラム
JP4934861B2 (ja) 表示システム、表示方法、表示効果測定システム、及び、表示効果測定方法。
JP4876687B2 (ja) 注目度計測装置及び注目度計測システム
JP5217922B2 (ja) 電子広告システム、電子広告配信装置、及びプログラム
JP2020078058A (ja) 画像処理装置、監視システム、画像処理方法、及びプログラム
KR20190020779A (ko) 인게이지먼트값 처리 시스템 및 인게이지먼트값 처리 장치
US9361705B2 (en) Methods and systems for measuring group behavior
JP2008112401A (ja) 広告効果測定装置
JP5115763B2 (ja) 画像処理装置、コンテンツ配信システム、画像処理方法、及びプログラム
WO2017018012A1 (ja) 情報処理システム、情報処理方法、および記録媒体
CN111639702A (zh) 一种多媒体数据分析方法、设备、服务器及可读存储介质
JP2013157984A (ja) Ｕｉ提供方法およびそれを適用した映像受信装置
JP5460793B2 (ja) 表示装置、表示方法、テレビジョン受信機及び表示制御装置
US20140240222A1 (en) Image processing apparatus, image processing method, and non-transitory computer readable medium
JP5489197B2 (ja) 電子広告装置・方法及びプログラム
CN103514429B (zh) 检测对象的特定部位的方法及图像处理设备
CN102542300B (zh) 体感游戏中人体位置自动识别的方法及显示终端
JP2007265125A (ja) コンテンツ表示装置
JP7329967B2 (ja) 画像処理装置、システム、画像処理装置の制御方法、及び、プログラム
US20100150447A1 (en) Description based video searching system and method
WO2012054048A1 (en) Apparatus and method for evaluating an object
JP6198187B2 (ja) 信号処理装置及び信号処理方法
TW201305967A (zh) 具學習力之視覺注意預測系統及其方法
US12175795B2 (en) Device and method for determining engagement of a subject
JP2010161573A5 (ja) 情報処理装置、制御方法、コンピュータプログラム、および記憶媒体

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180011876.0

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11750298

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13582198

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11750298

Country of ref document: EP

Kind code of ref document: A1