WO2011046128A1 - 人物服装特徴抽出装置、人物検索装置、及びその処理方法 - Google Patents

人物服装特徴抽出装置、人物検索装置、及びその処理方法 Download PDF

Info

Publication number
WO2011046128A1
WO2011046128A1 PCT/JP2010/067914 JP2010067914W WO2011046128A1 WO 2011046128 A1 WO2011046128 A1 WO 2011046128A1 JP 2010067914 W JP2010067914 W JP 2010067914W WO 2011046128 A1 WO2011046128 A1 WO 2011046128A1
Authority
WO
WIPO (PCT)
Prior art keywords
person
clothing
clothes
feature
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2010/067914
Other languages
English (en)
French (fr)
Inventor
亮磨 大網
康史 平川
高橋　祐介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2011536146A priority Critical patent/JP5664553B2/ja
Priority to EP10823396.6A priority patent/EP2490171B1/en
Priority to CN201080045981.1A priority patent/CN102687171B/zh
Priority to US13/501,647 priority patent/US8891880B2/en
Publication of WO2011046128A1 publication Critical patent/WO2011046128A1/ja
Anticipated expiration legal-status Critical
Priority to US14/508,477 priority patent/US9495754B2/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30124—Fabrics; Textile; Paper
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/16—Cloth

Definitions

  • the present invention relates to a person clothes feature extraction apparatus that extracts person clothes features from an input video.
  • the present invention also relates to a person search apparatus for searching for a person based on a person clothes feature extracted from an input video.
  • the present invention relates to a person clothes feature extraction processing method and a person search processing method.
  • Patent Document 1 discloses a person search method for searching for a person from videos stored in a monitoring system.
  • this monitoring system when recording a video, information on a person's face and clothes is extracted and stored in a database.
  • searching for a person the face / clothing feature stored in the database is compared with the face / clothing feature of the image given as a query to determine whether or not they are the same person.
  • FIG. 10 shows the configuration of a person search apparatus, which includes face area detection / face feature extraction units 1000 and 1020, clothing area detection / clothing feature extraction units 1010 and 1030, clothing feature database 1040, face feature database 1050, and face similarity.
  • the degree calculation unit 1070 and the person identity determination unit 1080 are configured.
  • the face area detection / face feature extraction unit 1000 performs face area detection and face feature extraction from the video acquired from the monitoring system, and outputs the extracted face features to the face feature database 1050.
  • the clothing region detection / clothing feature extraction unit 1010 performs clothing region detection and clothing feature extraction from the video acquired from the monitoring system, and outputs the extracted clothing features to the clothing feature database 1040.
  • the face area detection / face feature extraction unit 1020 performs face area detection and face feature extraction from the input query image, and outputs the query face feature to the clothing similarity calculation unit 1070.
  • the face similarity calculation unit 1060 compares the face feature stored in the face feature database 1050 with the query face feature input from the face area detection / face feature extraction unit 1020, calculates the face similarity, and calculates the person identity determination unit. Output to 1080.
  • the clothing similarity calculation unit 1070 compares the clothing feature stored in the clothing feature database 1040 with the query clothing feature input from the clothing region detection / clothing feature extraction unit 1030, calculates the clothing similarity, and calculates the person identity determination unit. Output to 1080.
  • the person identity determination unit 1080 determines person identity based on the face similarity calculated by the face similarity calculation unit 1060 and the clothing similarity calculated by the clothing similarity calculation unit 1070, and the person search result is obtained. Output.
  • the video acquired from the monitoring system is input to the face area detection / face feature extraction unit 1000 and the clothes area detection / clothing feature extraction 1010.
  • the face area detection / face feature extraction unit 1000 performs face area detection for each frame of the input video, and performs face feature extraction for the detected face area. Face features extracted from the face area detected from the input video are stored in the face feature database 1050.
  • the clothing region detection / clothing feature extraction unit 1010 detects a clothing region from the input video and extracts the visual feature, that is, the clothing feature.
  • the extracted clothing features are stored in the clothing feature database 1040.
  • the query image is input to the face area detection / face feature extraction unit 1020 and the clothes area detection / clothing feature extraction 1030.
  • the face region detection / face feature extraction unit 1020 and the clothing region detection / clothing feature extraction unit 1030 function in the same manner as the face region detection / face feature extraction unit 1000 and the clothing region detection / clothing feature extraction 1010, and query face features. And query clothing features.
  • the face similarity calculation unit 1060 compares the query face feature and the face feature stored in the face feature database 1050 to calculate the face similarity.
  • the clothing similarity calculation unit 1070 compares the query clothing feature and the clothing feature stored in the clothing similarity database 1040 to calculate the clothing similarity.
  • the person identity determination unit 1080 determines the person identity by integrating the face similarity and the clothing similarity, and outputs a person search result.
  • Patent Document 2 discloses an image storage / retrieval system, which retrieves image data having image characteristics suitable for a color sensation language representing a hue that is perceived subjectively by humans.
  • the correspondence between the color expression included in the human natural language and the pixels in the color space is set in advance.
  • pixels are extracted from the image data stored in the database, and the similarity with the color expression is calculated and saved.
  • a color expression is given as a query, the similarity between the color expression and the image data is examined, and image data having a high similarity is retrieved and displayed.
  • the person search system shown in FIG. 10 accepts only query images and cannot perform person search using query text. That is, a person search is performed by extracting visual features (for example, clothing color and pattern information) from the query image, and the query text indicating the linguistic expression “red clothes” is converted into a visual feature to search for a person. Cannot be done.
  • visual features for example, clothing color and pattern information
  • the direction of the person is not considered, and the difference in the appearance of the clothing due to the difference in the direction of the person cannot be considered.
  • the visual features of the entire clothing area are extracted, if the visual features of the clothing differ between the upper body / lower body, such as “white pants and blue pants”, the difference between the upper body / lower body clothing is reflected in the person search.
  • the person search result output by the conventional person search system includes many errors.
  • Patent Document 2 can search for a person using a query text for a single-colored clothing such as “red clothes”. However, since the query text can specify only one color, You can't search for people using colors. Similar to Patent Document 1, differences in the orientation of the person and differences in visual characteristics between the upper and lower body of the person cannot be reflected in the person search results.
  • the present invention has been made in view of the above circumstances, and provides a person clothes feature extraction apparatus that can characterize the clothes characteristics of a person included in a video.
  • the present invention provides a person search apparatus that searches for a person by comparing a person's clothing feature acquired from a video with a query text.
  • the present invention provides a program describing a person clothes feature extraction processing method and a person search processing method.
  • the human clothes feature extraction apparatus includes a person area detection unit that detects a person area from an input video, a person direction determination unit that determines the direction of a person in the person area, and the possibility of separation of person clothes in the person area.
  • a clothing part separation unit that outputs clothing part separation information; and a clothing feature extraction unit that extracts a clothing feature indicating a visual feature of a person's clothes in a person region in consideration of the person's orientation and clothing part separation information;
  • a clothing feature storage unit for storing the extracted clothing features.
  • the person search device includes a clothes feature search unit that searches for clothes feature parameters based on clothes query text representing the type and color of a person's clothes, and a clothes feature that outputs clothes feature queries based on the clothes feature parameters.
  • the person clothes feature extraction method includes a person area detection process for detecting a person area from an input video, a person direction determination process for determining a person direction in the person area, and the possibility of separation of person clothes in the person area.
  • Human clothing part separation processing for determining clothes and generating clothing part separation information
  • clothing feature extraction processing for extracting the clothing features indicating the visual features of the person's clothes in the person region in consideration of the person's orientation and clothing part separation information Execute.
  • the person search method includes a clothing feature search process for searching for a clothing feature parameter based on a clothing query text representing a type and color of a person's clothing, and a clothing feature for generating a clothing feature query based on the clothing feature parameter.
  • a query generation process, a clothing feature matching process for matching a clothing feature retrieved from a clothing feature storage unit with a clothing feature query, and a person search process for outputting a person search result based on the matching result are executed.
  • the present invention provides a program in which the above-described clothing feature extraction method is described in a format that can be read and executed by a computer.
  • the present invention also provides a program in which the person search method is described in a format that can be read and executed by a computer.
  • the present invention detects a person area from a video acquired by a surveillance camera or the like, accurately extracts clothes characteristics of a person existing in the person area, and a person close to a searcher's intention based on the extracted person clothes characteristics
  • the search result is output.
  • FIG. 1 is a block diagram illustrating a configuration of a person clothes feature extraction apparatus according to the present embodiment.
  • the person clothes feature extraction apparatus includes a person region detection unit 100, a person orientation determination unit 110, a clothing part separation unit 120, and a person clothes feature extraction unit 140.
  • the person clothes feature extraction apparatus is realized by installing a person clothes feature extraction program in a computer including a CPU, a ROM, a RAM, and the like.
  • the person clothes feature extraction program (or information collection program) may be stored in various storage media, or may be transferred via a communication medium.
  • Storage media include flexible disks, hard disks, magnetic disks, magneto-optical disks, CD-ROMs, DVDs, ROM cartridges, RAM cartridges with battery backup, flash memory cartridges, and nonvolatile RAM cartridges.
  • the communication medium includes a wired communication medium such as a telephone line, a wireless communication medium such as a microwave line, and the Internet.
  • the person area detection unit 100 detects a person area existing in the input video.
  • the person region detected from the input information is input to the person orientation determining unit 110, the clothing part separating unit 120, and the person clothing feature extracting unit 130.
  • the person orientation determination unit 110 determines the orientation of the person in the person area of the input video and outputs the person orientation feature extraction unit 130.
  • the clothing part separation unit 120 determines whether or not the clothing of the person existing in the person area of the input information can be separated into each part, and outputs the clothing part separation information to the person clothing feature extraction unit 130. Specifically, the clothing part separation information is calculated based on the person region and the background region of the input video, and is output to the person clothing feature extraction unit 130.
  • the person clothes feature extraction unit 130 extracts visual information of the person's clothes based on the person area, the person orientation, and the clothes part separation information of the input video, and outputs them to the person clothes feature storage unit 140.
  • the person clothes feature is extracted from the person area, the person orientation, and the clothes part separation information of the input information and is output to the person clothes feature storage unit 140.
  • the person clothes feature storage unit 140 receives and stores the person clothes features from the person clothes feature extraction unit 130.
  • the person area extraction unit 100 inputs a desired video as an image processing target, and can receive image data of a predetermined compression format and image data of an uncompressed format after decoding processing.
  • a compression format MPEG-2 (Moving Picture Expert Group) format or H.264 is used.
  • the H.264 format (or MPEG-4 format) may be adopted.
  • the compressed format image data is decoded and input in frame units or field units.
  • the input video is in frame units, but similar image processing is possible even in field units.
  • a YUV format, RGB format, or other color space description format can be adopted as the color format of the input video.
  • the person area detection unit 100 performs a person area detection process for each frame of the input video.
  • Various methods can be adopted as the person area detection processing method. For example, a difference between the background image acquired in advance and the input video (hereinafter referred to as “difference image”) is calculated, and threshold processing is executed to extract only the person region in the input video.
  • a difference image indicating a difference between the input video and the background image may be extracted from each frame, or each frame may be divided into a plurality of regions and a difference image may be extracted for each divided portion. That is, for each divided part of each frame of the input video, it is determined whether or not a moving object (animal other than a person, etc.) exists, and the difference between the video with no moving object and the background image is calculated.
  • the threshold value used in the threshold processing performed on the difference image may be set uniformly for the entire screen, or may be set adaptively for each screen region. For example, the threshold value may be increased for a screen region where information fluctuation is large over time, while the threshold value may be decreased for a screen area where there is little temporal information fluctuation and is stable.
  • the human regions extracted from the input video are grouped for each adjacent region, and an individual ID (identification information) is assigned to each group, and the region corresponding to each ID constitutes a human region.
  • Various methods can be applied as a description method of the person area. For example, you may calculate as mask information which shows the two-dimensional information comprised by substituting the value different from the value which shows the background of the area
  • the person area calculated in this way is output to the person orientation determination unit 110 together with the input video.
  • the person orientation determination unit 110 determines the orientation of the person based on the input video and the person area.
  • the orientation of the person is determined based on the orientation of the face, the movement direction of the person, and the symmetry of the person's clothes. This is because the direction of the person has a strong correlation with the direction of the face and the movement of the person. In general, since clothes often have a symmetrical pattern, the symmetry of clothes can be used to determine whether a person is facing the front. These pieces of information are used to determine the orientation of a person existing in the person area in the input image. Details of the information used for the person orientation determination will be described later.
  • the person orientation is calculated for each ID corresponding area.
  • the direction of the person is calculated by dividing into three sections: front, back, and direction indefinite (that is, the person direction cannot be determined).
  • the calculated person orientation is output to the person clothes feature extraction unit 130.
  • it is not necessary to limit a person's direction to 3 divisions of a front, back, and direction indefinite, and you may subdivide into 4 divisions or more.
  • the clothing part separation unit 120 inputs an input image, a person area, and a background area.
  • the clothing part separation unit 120 separates a person's clothes into a plurality of parts based on these pieces of information.
  • the background area is information indicating how the person changes depending on the position of the person area on the background. For example, when the lower end (foot, shoes, etc.) of the person area exists on the floor in the imaging range of the camera, the background area is considered to visualize the whole body of the person. On the other hand, if there are obstacles such as desks and shelves in the imaging range of the camera, and the lower end of the person area is in contact with the obstacles, the background area only visualizes a part of the person (for example, the upper body) Conceivable.
  • the background is marked as a background area where the entire image of the person can be visualized, while a part of the person (for example, the upper body) is visualized above the obstacle. Mark as area. Since the imaging range is fixed in the surveillance camera, the background area needs to be acquired only once. As a method for acquiring the background area, a monitor (or an operator) manually acquires the background area by marking it. When the imaging range of the surveillance camera changes to a plurality of fixed positions, the background area is manually marked and acquired for each fixed position. When the imaging range of the monitoring camera changes continuously, the background area is once marked and acquired by human, and the background area is automatically changed following the movement of the monitoring camera. Specifically, feature points such as shelf and desk corners are automatically extracted by conventional feature point extraction methods, and feature points that move within the imaging range following the movement of the camera are correlated between frames. The movement of the person area in each background area can be tracked.
  • the clothing feature extraction unit 130 determines the visual features in the person region for each part of the person based on the input video, the person region output from the person region extraction unit 100, and the clothing part separation information output from the clothing part separation unit 120. To extract.
  • the clothing part separation information is that the person's image is separated into the upper body and lower body, and the separation position is specified
  • the visual features of the upper body are extracted from the part above the separation position in the person region
  • the visual features of the lower body are extracted from the lower side than the separation position in the person area.
  • the human face portion and foot portion may be determined from the upper and lower body portions of the person region, and the visual features excluding these portions may be extracted.
  • the visual features extracted from the person area in this way are output in association with each part of the person.
  • the visual feature of the upper body is output in combination with an index indicating the upper body of a person. Further, it may be output in combination with the person orientation output from the person orientation determining unit 110.
  • the information when the person orientation is the front direction, the information is output together with an index indicating the front direction.
  • the person orientation is the back direction (or side surface direction)
  • it is output together with an index indicating the back surface direction (or side surface direction).
  • the information is output together with an index indicating the indefinite direction (for example, an index having a specific value).
  • Visual features indicate the color and pattern of a person's clothes.
  • visual features When visual features are expressed in the HSV color space, pixel information of the human region is converted into hue (Hue), saturation (Saturation), and lightness (Value), and further quantized to generate an HSV histogram.
  • the representative color is a visual feature, as in the MPEG-7 Dominant Color Descriptor specified in ISO / IEC 15938-3, the person area is color-divided, and the dominant color is searched within each division.
  • Visual features In addition to the above methods, various visual features representing colors can be used, such as the color layout of MPEG-7.
  • an edge histogram is used as a visual feature representing a pattern, an edge histogram is generated by extracting edges in each direction in the person region.
  • a visual feature based on the wavelet method wavelet conversion is performed on the person region, and a wavelet coefficient is calculated.
  • the wavelet coefficient or the statistical value (that is, the average value of the direction component of the wavelet coefficient, variance, etc.) is used as a visual feature.
  • various visual features related to patterns can be used, such as MPEG-7 Homogeneous Texture.
  • the visual feature does not need to include both color and pattern components, and may be either a color or pattern component.
  • the visual features may include components other than colors and patterns.
  • the visual features of the person's clothes extracted as described above are stored in the clothes feature storage unit 140 as clothes features.
  • Various formats can be used as a storage format for clothing features.
  • the input video is divided into time units of a fixed time length and stored in a file in units of each time.
  • each video is stored in a file.
  • FIG. 6 shows an example of a visual feature storage format.
  • visual features are sequentially stored for each person area following the header information. For each person area, the person area ID, clothing part index, person orientation index, color visual feature, and pattern visual feature are sequentially stored.
  • the visual feature storage format is not limited to the format shown in FIG. 6, and any format may be used as long as each person area can be uniquely identified.
  • FIG. 5 is a flowchart showing the entire processing of the person clothes feature extraction apparatus.
  • the person area detection unit 100 detects a person area from the input video for each frame (step S100).
  • the person orientation determination unit 110 determines the orientation of the person in the person area (step S110). Details of this processing will be described later.
  • the clothing part separation unit 120 separates the person's clothes into a plurality of parts (step S120). Details of this processing will be described later.
  • the clothing feature extraction unit 130 extracts the clothing features of the person (step S130). Note that the order of step S110 and step S120 may be reversed.
  • the person clothes feature extraction device extracts and stores clothes features based on the orientation of the person and the separability of the clothes parts. For this reason, it is possible to provide information (that is, clothing feature information) that makes it possible to search for clothing having different visual features for each person's orientation and clothing part.
  • FIG. 3 is a block diagram illustrating an internal configuration of the person orientation determination unit 110.
  • the person orientation determination unit 110 includes a face orientation determination unit 300, a person motion analysis unit 310, a clothing symmetry determination unit 320, and an integrated orientation determination unit 330.
  • the face orientation determining unit 300 determines the orientation of the person's face from the input video, and outputs the determination result to the integrated orientation determining unit 330.
  • the person motion analysis unit 310 analyzes the person motion based on the input video and the person region, and outputs the analysis result to the integrated direction determination unit 330.
  • the clothing symmetry determination unit 320 determines clothing symmetry based on the input video and the person area, and outputs the determination result to the integrated direction determination unit 330.
  • the integrated orientation determination unit 330 determines the orientation of the person based on the orientation of the person's face, person movement, and clothing symmetry.
  • the face orientation determination unit 300 detects a human face area for each frame of the input video and estimates the face orientation.
  • Various conventional methods can be used as a method for detecting a human face area and estimating a face direction.
  • the face orientation of each person is estimated.
  • the information related to the orientation of a person's face is a collection of face positions and orientations (particularly, the orientation in the left-right direction) for each person's face. If no human face is detected in the input image, information indicating that no human face has been detected is output.
  • a reliability indicating the certainty of detection / estimation is also calculated and attached to information related to the face direction of the person.
  • the orientation of the person's face determined in this way is output to the integrated orientation determination unit 330.
  • the person motion analysis unit 310 analyzes the motion of the person area based on the input video and the time series information of the person area. For example, feature points in the person area are detected for each frame and tracked between frames, thereby estimating the movement of the person area. Alternatively, the center of gravity of the person area is calculated for each frame, and the movement of the person area is estimated by tracking the movement. At this time, the motion of the person area may be estimated based on two frames that are moved back and forth in time series. Alternatively, the motion of the person area may be estimated based on a large number of frames. When the movement of the person area is relatively small, an optical flow is calculated between frames, and the movement of the person area is estimated based on the optical flow.
  • the motion of the person area may be estimated by calculating an average value of optical flows between pixels in the person area, or performing nonlinear statistical processing such as median.
  • the estimated movement of the person area (that is, the person movement) is output to the integrated direction determination unit 330.
  • the clothing symmetry determination unit 320 determines clothing symmetry based on the input video and the person area.
  • Various methods can be considered as a method of determining the symmetry of clothes. For example, whether or not the pixel function obtained by scanning the pixels in the person area in the horizontal direction has the objectivity around the center of the person area. You may make it check. Specifically, the deviation of symmetry is calculated according to Equation 1.
  • I (x, y) indicates pixel data (three-dimensional vector of color spaces R, G, and B) at coordinates (x, y).
  • M (x, y) is mask information indicating a person area, and is set to “1” when the coordinate (x, y) is the person area, and is set to “0” otherwise.
  • W is a constant, and u is set to a value near the center of the person area.
  • Formula 1 calculates D s (y) for each value of y as the minimum value of the deviation in objectivity when the center of the person region is moved (that is, when the u value is changed).
  • the I (x, y) bar indicates a value obtained by averaging pixel data obtained by scanning in the horizontal direction with y fixed.
  • the D s bar and D f bar calculated as described above are output to the integrated direction determination unit 330 as clothing symmetry. Or you may make it output the function value of symmetry and flatness represented by Numerical formula 1 and Numerical formula 3 as clothes symmetry.
  • the integrated direction determination unit 330 determines the integrated person direction based on the face direction of the person in the person area, the movement of the person, and the clothing symmetry.
  • various methods can be applied. For example, a score for the front direction (hereinafter referred to as “frontality score”) is calculated for each of the face direction of the person, the movement of the person, and the clothing symmetry. The score is integrated to determine the orientation of the person. In this case, the orientation of the person's face may be used as it is as the frontality score.
  • the direction of the person is moving is estimated by calculating the similarity between the calculated motion vector and the downward vector.
  • the cosine value of the motion vector and the downward vector is calculated, and the direction of the person is estimated based on the magnitude of the cosine value.
  • the motion vector is an upward vector
  • the cosine value is “ ⁇ 1”.
  • the frontality score is calculated according to Equation 5.
  • the correlation between the motion vector and the downward vector is high, the frontality score is a large positive value.
  • the correlation between the motion vector and the upward vector is high, the frontality score is a large negative value.
  • the positive direction of the y-axis is downward.
  • the frontality score may be calculated in consideration of the magnitude of the motion vector. For example, when the magnitude of the motion vector is equal to or smaller than the threshold value, the frontality score calculated by Expression 5 may be “0”.
  • the frontality score can be calculated based on clothes symmetry. That is, when the D s bar and the D f bar are output from the clothing symmetry determination unit 320 as clothing symmetry, the frontality score is calculated according to Equation 6.
  • g (x) is a monotone non-decreasing function with respect to x
  • s (x) is a monotonic non-increasing function that becomes “0” when x is large.
  • D s (y) and D f (y) are output from the clothing symmetry determination unit 320 as clothing symmetry, the frontality score is calculated according to Equation 7.
  • the orientation of the person is determined based on the frontality score calculated for the orientation of the person's face, the movement of the person, and the clothing symmetry.
  • the sum or product of each frontality score is calculated, and when the value is larger than a certain threshold value, it is determined that the person is facing the front.
  • an identification system such as a neural network that inputs each frontality score and outputs an overall frontality determination result is constructed by using a learning function of input data, thereby determining the frontality of a person. May be.
  • the direction of the person is classified into one of the front direction, the back direction, and the direction indefinite to determine the person direction.
  • the face orientation determination unit 300 determines the orientation of the person's face, and outputs the determination result to the integrated orientation determination unit 330 (step S300).
  • the person motion analysis unit 310 estimates the motion of the person region and outputs the estimation result to the integrated direction determination unit 330 (step S310).
  • the clothing symmetry determination unit 320 determines the clothing symmetry of the person, and outputs the determination result to the integrated orientation determination unit 330 (step S320).
  • the integrated orientation determination unit 330 determines the orientation of the person based on the orientation of the person's face, the movement of the person, and the clothing symmetry (step S330). Note that the order of steps S300, S310, and S320 may be changed.
  • FIG. 4 is a block diagram showing an internal configuration of the clothing part separating unit 120.
  • the clothing part separating unit 120 includes an area shape analyzing unit 400, a visible part determining unit 410, and an integrated part separating unit 420.
  • the region shape analysis unit 400 analyzes the person region, generates shape analysis information, and outputs the shape analysis information to the integrated part separation unit 420.
  • the visible part determination unit 410 generates visible part information based on the person area and the background area, and outputs the visible part information to the integrated part separation unit 420.
  • the integrated part separation unit 420 generates clothing part separation information based on the input video, the shape analysis information output from the region shape determination unit 400, and the visible part information output from the visible part determination unit 410.
  • the area shape separation unit 400 analyzes the geometric shape of the person area and generates shape analysis information for determining whether the person is standing or whether only the upper body of the person is in the imaging range. . For example, assuming a rectangular area surrounding a person area, the aspect ratio is calculated and used as shape analysis information. The calculated shape analysis information is output to the integrated part separation unit 420.
  • the visible region determination unit 410 determines whether or not a person can be separated into an upper body and a lower body based on the person region and the background region. Specifically, a coordinate value corresponding to the lower end of the person area is calculated, and based on this, it is determined whether or not the whole body of the person can be seen in the person area. When the whole body of a person can be visualized, visible part information indicating that fact is output. When the person area visualizes only the upper half (or lower half) of the person, the visible part information indicating that fact is output. In cases other than the above, visible part information indicating that the visible part is unknown is output. The visible part information is output to the integrated part separation unit 420.
  • the integrated part separation unit 420 determines whether or not the clothes part of the person can be separated based on the shape analysis information and the visible part information. Specifically, based on the shape analysis information, it is determined whether or not the person is within an appropriate range (that is, an appropriate range within the imaging range). For example, if the upright person is within a reasonable range and the visible part information indicates that the whole body of the person can be visualized, the integrated part separating unit 420 can make the person an upper body and a lower body. It is determined that separation is possible. On the other hand, when the shape analysis information indicates that only the upper body of the person is within an appropriate range, the integrated part separating unit 420 determines that only the upper body of the person can be visualized.
  • an appropriate range that is, an appropriate range within the imaging range. For example, if the upright person is within a reasonable range and the visible part information indicates that the whole body of the person can be visualized, the integrated part separating unit 420 can make the person an upper body and a lower body. It is determined that separation is
  • the integrated part separating unit 420 determines that the person cannot be separated into the upper body and the lower body.
  • the integrated part separation unit 420 sets the person to the upper body and the lower body. Judged as inseparable.
  • the integrated part separation unit 420 determines that the person can be separated into the upper body and the lower body
  • the integrated part separation unit 420 also calculates the separation position.
  • Various methods for calculating the separation position are conceivable. For example, pixel function values obtained by scanning the pixel data of the person area in the horizontal direction according to Equation 8 and projecting in the y-axis direction are calculated.
  • I (x, y) indicates pixel data (three-dimensional vector of color spaces R, G, and B) at coordinates (x, y), and M (x, y) indicates mask information of the person area.
  • a y-coordinate that greatly changes the pixel function value f (y) is obtained. For example, it is determined that the maximum value of the difference between the pixel function value according to Equation 9, the maximum difference value D 0 is the larger than the threshold can be separated into upper and lower body of a person. When it is determined that the person can be separated into the upper body and the lower body, the y-coordinate value y 0 at that time is calculated according to Equation 10.
  • integration site separation unit 420 in addition to the determination result to allow separation of the person on the upper body and lower body, and outputs the stored values y 0 y coordinate at that time to dress site separation information.
  • the person area can be divided at a predetermined division ratio, and the division ratio is determined based on the clothing part separation information. Store in the output.
  • the region shape analysis unit 400 analyzes the shape of the human region and outputs shape analysis information to the integrated part separation unit 420 (step S400).
  • the visible region determination unit 410 determines a visible region visualized in the imaging range of the camera based on the person region and the background region, and outputs the visible region information to the integrated region separation unit 420 (step S410).
  • the integrated part separation unit 420 executes the above-described integrated part separation process, thereby generating clothing part separation information (step S420). Note that the order of steps S400 and S410 may be changed.
  • FIG. 2 is a block diagram illustrating the configuration of the person search apparatus according to the present embodiment.
  • the person search apparatus includes a clothing feature search unit 200, a clothing feature query generation unit 210, a clothing feature matching unit 220, a person search unit 230, and a clothing feature storage unit 140.
  • the person search apparatus shown in FIG. 2 does not include the constituent elements of the person clothes feature extraction apparatus other than the clothes feature storage unit 140 shown in FIG.
  • the person search device of FIG. 2 and the person clothes feature extraction device of FIG. 1 may be combined.
  • the function of the person search apparatus can be realized by installing a person search program in a computer constituted by a CPU, ROM, RAM, and the like.
  • the clothing feature search unit 200 searches for a word representing a clothing type and a visual feature based on the clothing query text, and outputs the word as a clothing feature parameter. More specifically, the clothes query text is analyzed with reference to the clothes dictionary to generate clothes feature parameters, which are output to the clothes feature query generation unit 210.
  • the clothing feature query generation unit 210 estimates the visual features of the clothing from the clothing feature parameters, generates a clothing feature query, and outputs the clothing feature query to the clothing feature matching unit 220.
  • the clothing feature storage unit 140 stores the clothing features of the person extracted by the person clothing feature extraction device shown in FIG. This clothing feature is a visual feature of a person's clothing generated based on the person region of the input video and the clothing part separation information.
  • the clothing feature matching unit 220 matches the clothing feature stored in the clothing feature storage unit 140 with the clothing feature query, and outputs the matching result to the person search unit 230.
  • the person search unit 230 counts the collation results of the clothing feature collation unit 220 and outputs the person search results.
  • the clothing feature search unit 200 inputs a clothing query text.
  • the clothing feature search unit 200 refers to the clothing dictionary and searches for clothing feature parameters indicating the type and color of clothing from the clothing query text.
  • the clothing dictionary stores pixel data (for example, RGB data or HSV data) as clothing information in association with words representing various colors.
  • the clothes dictionary also describes in the clothes information whether the type of clothes is related to the upper body or the lower body.
  • the clothing feature search unit 200 refers to the clothing information registered in the clothing dictionary, analyzes the clothing query text, and generates clothing feature parameters.
  • the clothing feature search unit 200 when “white shirt and blue jacket, black trousers” is input as the clothing query text, the clothing feature search unit 200 relates “shirt” and “jacket” to the upper body, and each color is “white”. And “blue” are searched from the clothes dictionary. Also, the clothing feature search unit 200 searches the clothing dictionary that “trousers” are related to the lower body and the color is “black”. In addition, the clothing feature search unit 200 determines that the jacket and the jacket are placed on the upper side when layered, and the ratio of “blue” is larger than “white” as the upper body color. Determine.
  • the clothing feature search unit 200 Considering that both a shirt and a jacket are visible when a person is viewed from the front, and only a jacket is visible when viewed from the back, the clothing feature search unit 200 generates different color parameters for the front and back of the upper body. To do. For the lower body, a color parameter indicating that both the front and back colors are “black” is generated.
  • the degree of ambiguity is also described in the clothes feature parameter. For example, when clothing features are represented by a color histogram, the degree of spread of the color histogram can be adjusted according to the degree of ambiguity.
  • the clothing feature query generation unit 210 describes pixel data (for example, RGB data or HSV data) corresponding to the upper body and the lower body, the color ratio, the color parameter, and the degree of ambiguity of the color expression in the clothing feature parameter. Output to.
  • pixel data for example, RGB data or HSV data
  • the clothing feature query generation unit 210 generates a clothing feature query based on the clothing feature parameters output from the clothing feature search unit 200. For example, when a color histogram is used as a clothing feature, the pixel data included in the clothing feature parameter is used as a peak value, and a color histogram having a spread determined by the degree of ambiguity of the color expression is generated. Here, the peak value of the color histogram is adjusted according to the color ratio. In addition, since the appearance of the color of the clothes varies depending on the orientation of the person (that is, whether or not the person is facing the front), a color histogram is generated individually for the front direction and the non-front direction of the person. Also, a clothing feature query is generated for each of the upper and lower body of the person. The clothing feature query generated in this way is output to the clothing feature matching unit 220.
  • the clothing feature matching unit 220 compares the clothing feature query output from the clothing feature query generation unit 210 with the clothing features stored in the clothing feature storage unit 140 (that is, the clothing features of the person to be searched), Calculate the matching score.
  • the comparison between the clothing feature query and the clothing feature may be performed for each clothing site specified by the clothing site separation information.
  • the above collation score represents the similarity of clothing features, and can be calculated by, for example, the inner product of clothing feature vectors.
  • a distance (difference) between clothing features may be calculated and converted into a similarity of clothing features. That is, the distance d between the clothing features is converted into the similarity S according to Equation 11.
  • the clothing feature matching unit 220 also considers the information and searches the clothing feature query and search clothing features. Is checked. Specifically, when the search clothing feature corresponds to the front of the person, it is compared with the clothing feature query related to the front of the person. If the retrieved clothing feature corresponds to the non-frontal direction of the person, it is matched with a clothing feature query related to the non-frontal direction of the person. In addition, when the person related to the retrieval clothes feature is indefinite, the clothes characteristics related to both the front direction and the non-front direction of the person are collated, and the one with the better collation result is adopted.
  • the retrieved clothing feature corresponds to the upper body of the person, it is checked against the clothing feature query for the upper body of the person. If the retrieved clothing feature corresponds to the lower body of the person, it is checked against a clothing feature query for the lower body of the person.
  • the clothes are matched with the integrated clothes feature query obtained by integrating the clothes feature queries related to the upper body and the lower body of the person. For example, when clothing features are represented by a color histogram, the clothing features of the upper and lower body of the person are added, normalized as necessary, and collated with the retrieved clothing features.
  • the clothing feature verification unit 220 can obtain the verification results for both the upper body and the lower body of the person at the same time.
  • the matching degree is determined using both the matching results of the clothing features of the upper body and lower body of the person.
  • the clothing feature matching unit 220 can obtain only one matching result. In this case, the degree of matching is determined using only one matching result.
  • the clothing feature matching unit 220 generates different numbers of matching results depending on how the person looks.
  • the similarity of the clothing feature at that time becomes the entire collation result as it is.
  • the similarity S 1 and S 2 of the plurality of clothing features are calculated.
  • the integrated similarity S is calculated according to Equation 12.
  • h (x) represents a monotonous non-decreasing function, and is represented by, for example, Expression 13.
  • the matching result of the clothing feature matching unit 220 is output to the person search unit 230.
  • the person search unit 230 outputs a person search result based on the matching result of the clothing feature matching unit 220. Specifically, the collation results are rearranged in descending order of the integrated similarity, and they are output as person search results. When the number of collation results included in the person search result is fixed to N, the top N collation results are selected and output in order of large integrated similarity.
  • the clothing feature retrieval unit 200 retrieves a clothing feature parameter corresponding to the clothing query text from the clothing dictionary and outputs it to the clothing feature query generation unit 210 (step S200).
  • the clothing feature query generation unit 210 generates a clothing feature query based on the clothing feature parameters and outputs the clothing feature query to the clothing feature matching unit 220 (step S210).
  • the clothing feature matching unit 220 matches the clothing feature query and the retrieved clothing feature (read from the clothing feature storage unit 140), and outputs the matching result to the person searching unit 230 (step S220).
  • the person search unit 230 generates and outputs a person search result based on the matching result between the clothes feature query and the search clothes feature (step S230).
  • the person search apparatus shown in FIG. 2 realizes an advanced person search process in consideration of a person's direction and clothes part separation information based on clothes query text expressed in a natural language such as Japanese or English. Is.
  • the clothes feature of a person is input in a natural language, and the person search is performed in consideration of the difference in the direction of the person and the clothes feature.
  • the clothing part separating unit 120 may not only separate a person's clothing part into two parts, an upper body and a lower body, but also separable into other clothing parts such as shoes and hats.
  • the present invention detects a person area in the imaging range of the surveillance camera, extracts clothes features of the person included in the person area, and searches for a person with high accuracy by referring to a database. It is applied to security use of institutions and private companies.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

　監視カメラの入力映像から人物領域を検出し、当該人物領域における人物の向きを判定するとともに、人物の服装の分離可能性を判定して服装部位分離情報を生成し、更に、人物の向き及び服装部位分離情報を考慮して人物領域における人物の服装の視覚特徴を示す服装特徴を抽出する。人物の向きは、人物の顔の向き、人物の動き、及び服装の対称性に基づいて判定される。服装部位分離情報は、人物領域の幾何学的形状の分析情報と、人物領域及び背景領域により可視化された人物の服装部位を示す可視部位情報に基づいて生成する。人物の服装の種類と色を表す服装クエリーテキストと抽出された人物の服装特徴との照合結果に基づいて人物を検索する。

Description

人物服装特徴抽出装置、人物検索装置、及びその処理方法
　本発明は、入力映像から人物服装特徴を抽出する人物服装特徴抽出装置に関する。また、本発明は入力映像から抽出した人物服装特徴に基づいて人物を検索する人物検索装置に関する。更に、本発明は人物服装特徴抽出処理方法及び人物検索処理方法に関する。
　本願は、２００９年１０月１６日付で日本国に出願された特願２００９－２３９３６０号に基づき優先権を主張し、その内容をここに援用する。
　従来、種々の人物検索方法及び監視システム、及び画像蓄積・検索システムが開発されている。特許文献１は監視システムにおいて蓄積された映像から人物を検索する人物検索方法を開示している。この監視システムでは映像を録画する際に、人物の顔及び服装の情報を抽出してデータベースに格納する。人物検索時には、データベースに格納された顔・服装特徴とクエリーとして与えられる画像の顔・服装特徴を比較して同一人物かどうかを判定する。
　特許文献１に開示された人物検索システムについて図１０を参照して詳述する。図１０は、人物検索装置の構成を示しており、顔領域検出／顔特徴抽出部１０００、１０２０、着衣領域検出／着衣特徴抽出部１０１０、１０３０、着衣特徴データベース１０４０、顔特徴データベース１０５０、顔類似度算出部１０７０、及び人物同一性判定部１０８０より構成される。
　顔領域検出／顔特徴抽出部１０００は、監視システムから取得した映像から顔領域検出及び顔特徴抽出を行い、抽出した顔特徴を顔特徴データベース１０５０へ出力する。着衣領域検出／着衣特徴抽出部１０１０は、監視システムから取得した映像から着衣領域検出及び着衣特徴抽出を行い、抽出した着衣特徴を着衣特徴データベース１０４０へ出力する。一方、顔領域検出／顔特徴抽出部１０２０は入力したクエリー画像から顔領域検出及び顔特徴抽出を行い、クエリー顔特徴を着衣類似度算出部１０７０へ出力する。顔類似度算出部１０６０は、顔特徴データベース１０５０に蓄積された顔特徴と顔領域検出／顔特徴抽出部１０２０から入力したクエリー顔特徴を比較し、顔類似度を算出して人物同一性判定部１０８０へ出力する。着衣類似度算出部１０７０は、着衣特徴データベース１０４０に蓄積された着衣特徴と着衣領域検出／着衣特徴抽出部１０３０から入力したクエリー着衣特徴を比較し、着衣類似度を算出して人物同一性判定部１０８０へ出力する。人物同一性判定部１０８０は、顔類似度算出部１０６０で算出された顔類似度と着衣類似度算出部１０７０で算出された着衣類似度に基づいて人物の同一性を判定し、人物検索結果を出力する。
　次に、図１０に示す人物検索装置の動作について説明する。先ず、監視システムから取得した映像は顔領域検出／顔特徴抽出部１０００及び着衣領域検出／着衣特徴抽出１０１０へ入力される。顔領域検出／顔特徴抽出部１０００は、入力映像の各フレームについて顔領域検出を行い、検出した顔領域について顔特徴抽出を行なう。入力映像から検出した顔領域から抽出された顔特徴は、顔特徴データベース１０５０に格納される。
　着衣領域検出／着衣特徴抽出部１０１０は、入力映像から着衣領域を検出し、その視覚特徴、即ち着衣特徴を抽出する。抽出した着衣特徴は、着衣特徴データベース１０４０に格納される。
　人物検索時、クエリー画像を顔領域検出／顔特徴抽出部１０２０及び着衣領域検出／着衣特徴抽出１０３０に入力する。顔領域検出／顔特徴抽出部１０２０及び着衣領域検出／着衣特徴抽出部１０３０は、前記顔領域検出／顔特徴抽出部１０００及び着衣領域検出／着衣特徴抽出１０１０と同様に機能して、クエリー顔特徴及びクエリー着衣特徴を抽出する。
　顔類似度算出部１０６０は、クエリー顔特徴と顔特徴データベース１０５０に格納されている顔特徴を比較して、顔類似度を算出する。一方、着衣類似度算出部１０７０はクエリー着衣特徴と着衣類似度データベース１０４０に格納された着衣特徴を比較して、着衣類似度を算出する。人物同一性判定部１０８０は、顔類似度と着衣類似度を統合して人物同一性を判定し、以って、人物検索結果を出力する。
　特許文献２は、画像蓄積・検索システムを開示しており、人間が主観的に感知する色合いを表す色感覚言語に相応しい画像特徴を有する画像データを検索するものである。ここで、人間の自然言語に含まれる色合表現と色空間の画素の対応関係を予め設定する。また、データベースに格納した画像データから画素を抽出して、色合表現との類似度を算出し、保存する。クエリーとして色合表現が与えられると、その色合表現と画像データとの類似度を調べ、類似度の高い画像データを検索して、表示する。
特開２００９－１９９３２２号公報 特開２００９－３５８１号公報
　図１０に示す人物検索システムは、クエリー画像のみを受け付けるものであり、クエリーテキストによる人物検索を行なうことはできない。即ち、クエリー画像から視覚特徴（例えば、着衣の色や模様の情報）を抽出して人物検索を行なうものであり、「赤い服」という言語表現を示すクエリーテキストを視覚特徴に変換して人物検索を行なうことはできない。また、入力映像から着衣領域を検出する際、人物の向きを考慮しておらず、人物の向きの違いによる着衣の見え方の相違については考慮できない。更に、着衣領域全体の視覚特徴を抽出しているため、「白い上着に青いズボン」といった上半身／下半身で着衣の視覚特徴が異なる場合には、上半身／下半身の着衣の相違を人物検索に反映することはできない。このため、検索者が正面を向いた人物を検索しようとしても該当する人物以外の検索結果が出力されてしまい、また、上半身の着衣のみで人物検索を実行しようとしても上半身以外の着衣部分の視覚特徴が類似する人物が検索されることとなる。このように、従来の人物検索システムの出力する人物検索結果には誤りが多く含まれてしまう。
　特許文献２の画像蓄積・検索システムは、「赤い服」のように１色からなる着衣についてクエリーテキストによる人物検索は可能であるが、クエリーテキストが１色のみを指定可能としているため、複数の色を用いて人物検索を行なうことができない。特許文献１と同様、人物の向きの相違や人物の上半身／下半身での視覚特徴の相違を人物検索結果に反映できない。
　本発明は、上記の事情に鑑みてなされたものであり、映像に含まれる人物の服装の特徴を性格に抽出することができる人物服装特徴抽出装置を提供するものである。
　また、本発明は映像より取得した人物服装特徴とクエリーテキストを照合して人物検索を行なう人物検索装置を提供するものである。
　更に、本発明は人物服装特徴抽出処理方法や人物検索処理方法を記述したプログラムを提供するものである。
　本発明に係る人物服装特徴抽出装置は、入力映像から人物領域を検出する人物領域検出部と、人物領域における人物の向きを判定する人物向き判定部と、人物領域における人物の服装の分離可能性を判定し、服装部位分離情報を出力する服装部位分離部と、人物の向き及び服装部位分離情報を考慮して人物領域における人物の服装の視覚特徴を示す服装特徴を抽出する服装特徴抽出部と、抽出した服装特徴を格納する服装特徴格納部を具備する。
　本発明に係る人物検索装置は、人物の服装の種類と色を表す服装クエリーテキストに基づいて服装特徴パラメータを検索する服装特徴検索部と、服装特徴パラメータに基づいて服装特徴クエリーを出力する服装特徴クエリー生成部と、服装特徴格納部から検索した服装特徴と服装特徴クエリーを照合し、その照合結果を出力する服装特徴照合部と、照合結果に基づいて人物検索結果を出力する人物検索部を具備する。
　本発明に係る人物服装特徴抽出方法は、入力映像から人物領域を検出する人物領域検出処理と、人物領域における人物の向きを判定する人物向き判定処理と、人物領域における人物の服装の分離可能性を判定して服装部位分離情報を生成する人物服装部位分離処理と、人物の向き及び服装部位分離情報を考慮して人物領域における人物の服装の視覚特徴を示す服装特徴を抽出する服装特徴抽出処理を実行する。
　本発明に係る人物検索方法は、人物の服装の種類と色を表す服装クエリーテキストに基づいて服装特徴パラメータを検索する服装特徴検索処理と、服装特徴パラメータに基づいて服装特徴クエリーを生成する服装特徴クエリー生成処理と、服装特徴格納部から検索した服装特徴と服装特徴クエリーを照合する服装特徴照合処理と、その照合結果に基づいて人物検索結果を出力する人物検索処理を実行する。
　本発明は、上記の服装特徴抽出方法をコンピュータに読み取り実行可能な形式で記述したプログラムを提供する。また、本発明は上記の人物検索方法をコンピュータに読み取り実行可能な形式で記述したプログラムを提供する。
　本発明は、監視カメラ等で取得した映像から人物領域を検出し、当該人物領域に存在する人物の服装特徴を正確に抽出するとともに、抽出した人物服装特徴に基づいて検索者の意図に近い人物検索結果を出力するものである。
本発明の実施例に係る人物服装特徴抽出装置の構成を示すブロック図である。 本発明の実施例に係る人物検索装置の構成を示すブロック図である。 人物向き判定部の内部構成を示すブロック図である。 服装部位分離部の内部構成を示すブロック図である。 人物服装特徴抽出装置の処理を示すフローチャートである。 人物服装特徴を示す視覚特徴の格納形式の一例を示す図である。 人物向き判定部の処理を示すフローチャートである。 服装部位分離部の処理を示すフローチャートである。 人物検索装置の処理を示すフローチャートである。 従来の人物検索システムの構成を示すブロック図である。
　本発明の実施例について添付図面を参照して詳細に説明する。
　図１は、本実施例に係る人物服装特徴抽出装置の構成を示すブロック図である。人物服装特徴抽出装置は、人物領域検出部１００、人物向き判定部１１０、服装部位分離部１２０、人物服装特徴抽出部１４０より構成される。
　人物服装特徴抽出装置は、ＣＰＵ、ＲＯＭ、ＲＡＭ等により構成されるコンピュータに、人物服装特徴抽出プログラムをインストールすることにより実現される。人物服装特徴抽出プログラム（或いは、情報収集プログラム）を種々の記憶媒体に格納してもよいし、或いは、通信媒体を介して転送するようにしてもよい。記憶媒体には、フレキシブルディスク、ハードディスク、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ、ＲＯＭカートリッジ、バッテリーバックアップ付きＲＡＭカートリッジ、フラッシュメモリカートリッジ、及び不揮発性ＲＡＭカートリッジが含まれる。通信媒体には、電話回線等の有線通信媒体、マイクロ波回線等の無線通信媒体、及びインターネットが含まれる。
　人物領域検出部１００は、入力映像に存在する人物領域を検出する。入力情報から検出した人物領域は、人物向き判定部１１０、服装部位分離部１２０、及び人物服装特徴抽出部１３０に入力される。人物向き判定部１１０は、入力映像の人物領域における人物の向きを判定して、人物服装特徴抽出部１３０に出力する。服装部位分離部１２０は、入力情報の人物領域に存在する人物の服装を各部位に分離可能か否かを判定して、服装部位分離情報を人物服装特徴抽出部１３０に出力する。詳細には、入力映像の人物領域及び背景領域に基づいて服装部位分離情報を算出して人物服装特徴抽出部１３０に出力する。人物服装特徴抽出部１３０は、入力映像の人物領域、人物向き、及び服装部位分離情報に基づいて、人物の服装の視覚情報を抽出して人物服装特徴格納部１４０へ出力する。換言すれば、入力情報の人物領域、人物向き、及び服装部位分離情報から人物服装特徴を抽出して人物服装特徴格納部１４０へ出力する。人物服装特徴格納部１４０は、人物服装特徴抽出部１３０から人物服装特徴を入力して格納する。
　次に、図１に示す人物服装特徴抽出装置の動作について詳述する。人物領域抽出部１００は、画像処理対象として所望の映像を入力するものであり、所定の圧縮フォーマットの画像データ、復号処理後の非圧縮フォーマットの画像データを受け付けることができる。圧縮フォーマットとして、ＭＰＥＧ―２（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔ　Ｇｒｏｕｐ）フォーマットやＨ．２６４フォーマット（或いは、ＭＰＥＧ－４フォーマット）を採用してもよい。圧縮フォーマットの画像データについては、復号処理を行なってフレーム単位或いはフィールド単位で入力する。以下の説明では、入力映像をフレーム単位とするが、フィールド単位であっても同様の画像処理が可能である。また、入力映像の色フォーマットとしてＹＵＶ形式、ＲＧＢ形式、或いは他の色空間の記述形式を採用することができる。
　人物領域検出部１００は、入力映像の各フレームについて人物領域の検出処理を行なう。人物領域検出処理方法として種々の方法を採用することができる。例えば、予め取得した背景画像と入力映像との差分（以後、「差分画像」と称する）を算出し、閾値処理を実行することにより、入力映像における人物領域のみを抽出する。入力映像と背景画像との差分を示す差分画像を各フレームから抽出してもよいし、或いは、各フレームを複数の領域に分割して、各分割部分について差分画像を抽出してもよい。即ち、入力映像の各フレームの分割部分毎に動物体（人物以外の動物等）が存在しているか否かを判定し、動物体が存在していない状態の映像と背景画像との差分を算出して人物領域を抽出するようにしてもよい。また、差分画像に対して施される閾値処理で使用される閾値を全画面に対して一様に設定してもよいし、或いは、各画面領域に対して適応的に設定してもよい。例えば、時間的に情報変動が大きい画面領域については閾値を増大し、一方、時間的な情報変動が少なく安定した画面領域については閾値を減少するようにしてもよい。
　入力映像から抽出された人物領域は、近接した領域毎にグループ化され、各グループに個別のＩＤ（識別情報）が割り当てられ、各ＩＤに対応する領域が人物領域を構成する。人物領域の記述方法として様々な方法を適用することができる。例えば、各ＩＤに対応する領域の背景を示す値と異なる値を代入して構成される２次元情報を示すマスク情報として算出してもよい。このようにして算出された人物領域は入力映像とともに人物向き判定部１１０へ出力される。
　人物向き判定部１１０は、入力映像と人物領域に基づいて人物の向きを判定する。人物の向きは、顔の向き、人物の動き方向、及び人物の服装の対称性に基づいて決定する。これは、人物の向きが顔の向きや人物の動きと強い相関があることによる。一般に、服装は左右対称の模様パターンを有することが多いため、服装の対称性を人物が正面を向いているか否かの判定に用いることができる。これらの情報を入力画像における人物領域に存在する人物の向き判定に用いる。人物向き判定に用いる情報の詳細については、後述する。人物向き判定に顔の向き、人物の動き方向、及び服装の対称性を全て用いる必要はなく、これらの情報の少なくとも１つに基づいて人物の向き判定を行なってもよい。ここで、人物向きは各ＩＤ対応領域毎に算出される。例えば、人物向きを正面、背面、及び方向不定（即ち、人物方向の判定不能）の３つの区分に分けて算出する。算出された人物向きは人物服装特徴抽出部１３０に出力される。尚、人物向きを正面、背面、及び方向不定の３区分に限定する必要はなく、４区分以上に細分化してもよい。
　服装部位分離部１２０は、入力映像、人物領域、及び背景領域を入力する。服装部位分離部１２０は、これらの情報に基づいて人物の服装を複数の部位に分離する。
　背景領域は、人物領域の背景上の位置に応じて変化する人物の見え方を示す情報である。例えば、カメラの撮像範囲において床の上に人物領域の下端（足、靴、等）が存在する場合、その背景領域は人物の全身を可視化すると考えられる。一方、カメラの撮像範囲に机や棚等の障害物が存在し、人物領域の下端が障害物に接している場合には、その背景領域は人物の一部（例えば、上半身）のみを可視化すると考えられる。このように、カメラの撮像範囲に床が存在する場合には、人物の全体像可視化しうる背景領域としてマークし、一方、障害物の上側を人物の一部（例えば、上半身）を可視化する背景領域としてマークする。監視カメラでは撮像範囲を固定しているため、背景領域の取得は一度のみでよい。この背景領域の取得方法としては、監視者（或いは、オペレータ）が人的に背景領域をマークして取得する。監視カメラの撮像範囲が複数の固定位置に変化する場合には、各固定位置について人的に背景領域をマークして取得する。監視カメラの撮像範囲が連続的に変化する場合には、一旦、人的に背景領域をマークして取得しておき、監視カメラの動きに追従して、自動的に背景領域も変更する。具体的には、棚や机の角等の特徴点を従来の特徴点抽出方法により自動的に抽出し、カメラの動きに追従して撮像範囲内で移動する特徴点をフレーム間で対応付けることにより、各背景領域における人物領域の移動を追跡することができる。
　服装特徴抽出部１３０は、入力映像、人物領域抽出部１００から出力される人物領域、及び服装部位分離部１２０から出力される服装部位分離情報に基づいて、人物領域における視覚特徴を人物の部位毎に抽出する。
　例えば、服装部位分離情報が人物の画像が上半身と下半身に分離するものであり、その分離位置が指定されている場合には、人物領域における分離位置よりも上側の部分から上半身の視覚特徴を抽出し、その人物領域における分離位置よりも下側から下半身の視覚特徴を抽出する。人物領域の上半身部分及び下半身部分から人物の顔部分や足部分を判定し、これらの部分を除く視覚特徴を抽出するようにしてもよい。このように人物領域から抽出された視覚特徴は、人物の各部分と対応付けて出力される。例えば、上半身の視覚特徴は人物の上半身であることを示すインデックスと組み合わせて出力する。また、人物向き判定部１１０から出力される人物向きと組み合わせて出力するようにしてもよい。例えば、人物向きが正面方向である場合、その正面方向を示すインデックスとともに出力する。人物向きが背面方向（或いは、側面方向）である場合、その背面方向（或いは、側面方向）を示すインデックスとともに出力する。人物向きが方向不定である場合、方向不定を示すインデックス（例えば、特定の値を有するインデックス）とともに出力する。
　視覚特徴は、人物の服装の色や模様等を示すものである。視覚特徴をＨＳＶ色空間で表現する場合、人物領域の画素情報を色相（Ｈｕｅ）、彩度（Ｓａｔｕｒａｔｉｏｎ）、及び明度（Ｖａｌｕｅ）に変換し、更に量子化することによりＨＳＶヒストグラムを生成する。ＩＳＯ／ＩＥＣ　１５９３８－３で規定されているＭＰＥＧ－７のＤｏｍｉｎａｎｔ　Ｃｏｌｏｒ　Ｄｅｓｃｒｉｐｔｏｒのように代表色を視覚特徴とする場合、人物領域の色分割を行い、各分割区分内で支配的な色を検索して視覚特徴とする。上記の方法以外にも、ＭＰＥＧ－７のカラーレイアウトのように、色を表す様々な視覚特徴を用いることができる。模様を表す視覚特徴としてエッジヒストグラムを用いる場合には、人物領域内の各方向のエッジを抽出してエッジヒストグラムを生成する。Ｗａｖｅｌｅｔ方に基づく視覚特徴の場合には、人物領域に対してＷａｖｅｌｅｔ変換を行い、Ｗａｖｅｌｅｔ係数を算出する。そのＷａｖｅｌｅｔ係数、或いは、その統計値（即ち、Ｗａｖｅｌｅｔ係数の方向成分の平均値、分散、等）を視覚特徴とする。更に、ＭＰＥＧ－７のＨｏｍｏｇｅｎｅｏｕｓ　Ｔｅｘｔｕｒｅのように、模様に関する様々な視覚特徴を用いることができる。尚、視覚特徴は色及び模様の両方の成分を含む必要はなく、色及び模様のいずれか一方の成分であってもよい。更に、視覚特徴は色及び模様以外の成分を含んでもよい。
　上記のように抽出された人物の服装の視覚特徴は服装特徴として服装特徴格納部１４０に格納される。服装特徴の格納形式として様々な形式を用いることができる。例えば、入力映像を固定時間長の時間単位に区切り、各時間単位でファイルに格納する。或いは、映像の録画時間が短い場合には、各映像単位でファイルに格納する。図６は、視覚特徴の格納形式の一例を示す。ここでは、ヘッダ情報に続いて人物領域毎に視覚特徴を順次格納する。各人物領域について、人物領域ＩＤ、服装部位インデックス、人物向きインデックス、色の視覚特徴、及び模様の視覚特徴を順次格納する。尚、視覚特徴の格納形式は図６の形式に限定されるものではなく、各人物領域を一意に特定可能であればどのような形式でもよい。
　次に、図１に示す人物服装特徴抽出装置の動作について詳述する。図５は、人物服装特徴抽出装置の処理全体を示すフローチャートである。先ず、人物領域検出部１００が入力映像から人物領域をフレーム毎に検出する（ステップＳ１００）。次に、人物向き判定部１１０が人物領域内の人物の向きを判定する（ステップＳ１１０）。この詳細な処理内容については後述する。次に、服装部位分離部１２０が人物の服装を複数の部位に分離する（ステップＳ１２０）。この詳細な処理内容については後述する。次に、服装特徴抽出部１３０が人物の服装特徴を抽出する（ステップＳ１３０）。尚、ステップＳ１１０とステップＳ１２０の順序は逆であってもよい。
　人物服装特徴抽出装置は、人物の向きや服装部位の分離可能性に基づいて服装特徴を抽出して格納する。このため、人物の向きや服装部位毎に異なる視覚特徴を有する服装の検索を可能とする情報（即ち、服装特徴情報）を提供することができる。
　次に、人物服装特徴抽出装置の人物向き判定部１１０の動作について詳述する。図３は、人物向き判定部１１０の内部構成を示すブロック図である。人物向き判定部１１０は、顔向き判定部３００、人物動き解析部３１０、服装対称性判定部３２０、及び統合向き判定部３３０より構成される。
　顔向き判定部３００は、入力映像から人物の顔の向きを判定して、その判定結果を統合向き判定部３３０へ出力する。人物動き解析部３１０は、入力映像と人物領域に基づいて人物動きを解析して、その解析結果を統合向き判定部３３０へ出力する。服装対称性判定部３２０は、入力映像と人物領域に基づいて服装対称性を判定し、その判定結果を統合向き判定部３３０へ出力する。統合向き判定部３３０は、人物の顔の向き、人物動き、及び服装対称性に基づいて人物向きを判定する。
　次に、人物向き判定部１１０の動作について詳述する。顔向き判定部３００は、入力映像の各フレームについて人物の顔領域を検出するとともに、顔の向きを推定する。人物の顔領域の検出及び顔の向きの推定方法として、従来の様々な方法を用いることができる。入力画像の各フレームにおいて複数の人物の顔が検出された場合には、各人物の顔の向きを推定する。人物の顔の向きに係る情報は、顔の位置や向き（特に、左右方向の向き）の集合を各人物の顔毎にまとめたものである。もし、入力画像において人物の顔が検出されなかった場合には、人物の顔が検出されなかったことを示す情報を出力する。人物の顔領域の検出や顔の向きを推定する際、検出／推定の確かさを示す信頼度についても算出して、人物の顔の向きに係る情報に添付する。このようにして判定された人物の顔の向きは統合向き判定部３３０へ出力される。
　人物動き解析部３１０は、入力映像と人物領域の時系列情報に基づいて人物領域の動きを解析する。例えば、人物領域内の特徴点をフレーム毎に検出て、フレーム間で追跡し、以って、人物領域の動きを推定する。或いは、人物領域の重心を各フレームで算出し、その移動を追跡することにより人物領域の動きを推定する。その際、時系列で前後する２枚のフレームに基づいて人物領域の動きを推定してもよい。或いは、多数のフレームに基づいて人物領域の動きを推定してもよい。人物領域の動きが比較的小さい場合には、フレーム間でオプティカルフローを算出し、そのオプティカルフローに基づいて人物領域の動きを推定する。この場合、人物領域内の画素間のオプティカルフローの平均値を算出したり、メディアン等の非線形統計処理を行なうことにより、人物領域の動きを推定してもよい。推定された人物領域の動き（即ち、人物動き）は統合向き判定部３３０へ出力される。
　服装対称性判定部３２０は、入力映像と人物領域に基づき服装の対称性を判定する。服装の対称性を判定する方法として様々な方法が考えられるが、例えば、人物領域の画素を水平方向に走査して得られる画素関数が人物領域の中心付近を軸として対象性を有するか否かを調べるようにしてもよい。具体的には、数式１に従い対称性のズレを算出する。
Figure JPOXMLDOC01-appb-M000001
　ここで、Ｉ（ｘ，ｙ）は座標（ｘ，ｙ）における画素データ（色空間Ｒ、Ｇ、Ｂの３次元ベクトル）を示す。Ｍ（ｘ，ｙ）は、人物領域を示すマスク情報であり、座標（ｘ，ｙ）が人物領域の場合には「１」となり、それ以外の場合には「０」に設定される。Ｗは定数であり、ｕは人物領域の中心付近の値に設定される。数式１は、人物領域の中心を動かした場合（即ち、ｕ値を変化させた場合）における、対象性のズレの最小値としてＤｓ（ｙ）をｙの各値について算出する。このようにして算出した対象性ズレＤｓ（ｙ）を、数式２に従って人物領域の上端ｙ＝Ｙ０と下端ｙ＝Ｙ１の間で平均し、以って、平均的な対象性の歪みを算出する。
Figure JPOXMLDOC01-appb-M000002
　但し、撮像領域における画素データが一様であり向きによらず対象性が高くなる場合の想定されるため、画素データの平坦性も同時にチェックし、画素データの平坦性が高い場合には、対象性ズレの算出値が高くても、計算の信頼性が低いと判定する。このため、数式３に従って水平方向の走査線毎に画素データの平坦性を算出し（即ち、人物領域の左端ｘ＝Ｘ０と右端ｘ＝Ｘ１）、数式４に従って人物領域の上端ｙ＝Ｙ０と下端ｙ＝Ｙ１との間で平均し、以って、平均的な対象性の歪を算出する。
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
　ここで、Ｉ（ｘ，ｙ）バーは、ｙを固定して水平方向に走査して得られる画素データを平均した値を示す。上記のように計算したＤｓバー及びＤｆバーを服装対称性として統合向き判定部３３０へ出力する。或いは、数式１及び数式３で表される対称性及び平坦性の関数値を服装対称性として出力するようにしてもよい。
　統合向き判定部３３０は、人物領域における人物の顔の向き、人物の動き、及び服装対称性に基づいて統合的な人物向きを判定する。ここでも、様々な方法を適用できるが、例えば、人物の顔の向き、人物の動き、及び服装対称性の夫々について正面方向に対するスコア（以下、「正面性スコア」と称す）を計算し、そのスコアを統合して人物向きを判定する。この場合、人物の顔の向きをそのまま正面性スコアとしてもよい。
　人物の動きについては、計算した動きベクトルと下向きのベクトルとの類似度を算出することにより、人物がどちらの方向に移動している（歩いている）のか推測する。例えば、動きベクトルと下向きのベクトルとの余弦値を算出し、その余弦値の大きさに基づいて人物の向きを推測する。ここで、動きベクトルが上向きのベクトルの場合には、余弦値は「－１」となる。具体的には、数式５に従って正面性スコアを算出する。動きベクトルが下向きのベクトルとの相関性が高い場合には、正面性スコアが大きな正の値となる。これとは逆に、動きベクトルが上向きのベクトルとの相関性が高い場合には、正面性スコアが大きな負の値となる。ここでは、ｙ軸の正の方向を下向きとしている。
Figure JPOXMLDOC01-appb-M000005
　ここで、動きベクトルの大きさも考慮して正面性スコアを算出するようにしてもよい。例えば、動きベクトルの大きさが閾値以下の場合には、数式５で算出される正面性スコアが「０」となるようにしてもよい。
　また、服装対称性に基づいて正面性スコアを算出することもできる。即ち、Ｄｓバー及びＤｆバーが服装対称性として服装対称性判定部３２０から出力される場合には、数式６に従って正面性スコアを算出する。
Figure JPOXMLDOC01-appb-M000006
　ここで、ｇ（ｘ）はｘに対する単調非減少関数、ｓ（ｘ）はｘが大きいときに「０」となる単調非増加関数である。或いは、Ｄｓ（ｙ）、Ｄｆ（ｙ）が服装対称性として服装対称性判定部３２０から出力される場合には、数式７に従って正面性スコアを算出する。
Figure JPOXMLDOC01-appb-M000007
　上記のように、人物の顔の向き、人物の動き、及び服装対称性について算出した正面性スコアに基づいて、人物向きを判定する。ここでは、各正面性スコアの和或いは積を算出し、その値が一定の閾値よりも大きい場合には人物が正面を向いていると判定する。或いは、各正面性スコアを入力して全体的な正面性の判定結果を出力するニューラルネットワーク等の識別システムを入力データの学習機能を用いて構築し、以って、人物の正面性を判定してもよい。ここでは、人物の向きとして正面方向、背面方向、及び方向不定のいずれかに分類して、人物向きを判定する。
　次に、図３に示す人物向き判定部１１０の全体的処理について図７に示すフローチャートを参照して説明する。先ず、顔向き判定部３００は人物の顔の向きを判定して、その判定結果を統合向き判定部３３０へ出力する（ステップＳ３００）。次に、人物動き解析部３１０は人物領域の動きを推定し、その推定結果を統合向き判定部３３０へ出力する（ステップＳ３１０）。次に、服装対称性判定部３２０は人物の服装対称性を判定し、その判定結果を統合向き判定部３３０へ出力する（ステップＳ３２０）。その後、統合向き判定部３３０は人物の顔の向き、人物の動き、及び服装対称性に基づいて人物向きを判定する（ステップＳ３３０）。尚、ステップＳ３００、Ｓ３１０、及びＳ３２０の順序を変更してもよい。
　次に、図１に示す人物服装特徴抽出装置の服装部位分離部１２０について詳述する。図４は、服装部位分離部１２０の内部構成を示すブロック図である。服装部位分離部１２０は、領域形状分析部４００、可視部位判定部４１０、及び統合部位分離部４２０より構成される。
　領域形状分析部４００は、人物領域を分析して形状分析情報を生成して統合部位分離部４２０へ出力する。可視部位判定部４１０は、人物領域と背景領域に基づいて可視部位情報を生成して統合部位分離部４２０へ出力する。統合部位分離部４２０は、入力映像、領域形状判定部４００から出力される形状分析情報、及び可視部位判定部４１０から出力される可視部位情報に基づいて服装部位分離情報を生成する。
　次に、図４に示す服装部位分離部１２０の処理について説明する。以下の説明では、服装部位として上半身と下半身の２つの部位を想定し、それらを分離する情報として服装部位分離情報が生成されるものとする。領域形状分離手段４００は、人物領域の幾何学的な形状を分析し、人物が立っている状態かどうか、或いは人物の上半身のみが撮像範囲に映っているかどうかを判定する形状分析情報を生成する。例えば、人物領域を囲む矩形範囲を想定し、その縦横比を算出して形状分析情報とする。算出された形状分析情報は、統合部位分離部４２０へ出力される。
　可視部位判定部４１０は、人物領域と背景領域に基づいて人物を上半身と下半身に分離可能かどうかを判定する。具体的には、人物領域の下端に対応する座標値を算出し、それに基づいて人物領域に人物の全身を可視しうるか否かを判定する。人物の全身の可視化が可能な場合には、その旨を示す可視部位情報を出力する。人物領域が人物の上半身（或いは、下半身）のみを可視化している場合には、その旨を示す可視部位情報を出力する。上記以外の場合には、可視部位不明である旨を示す可視部位情報を出力する。可視部位情報は、統合部位分離部４２０へ出力される。
　統合部位分離部４２０は、形状分析情報と可視部位情報に基づいて人物の服装部位が分離可能か否かを判定する。具体的には、形状分析情報に基づいて人物が妥当な範囲（即ち、撮像範囲内の妥当な範囲）に収まっているか否かを判定する。例えば、直立した人物が妥当な範囲で収まっており、かつ、可視部位情報が人物の全身の可視化が可能であることを示している場合には、統合部位分離部４２０は人物を上半身と下半身に分離可能であると判定する。一方、形状分析情報が人物の上半身のみが妥当な範囲に収まっていることを示している場合には、統合部位分離部４２０は人物の上半身のみ可視化できると判定する。可視部位情報が可視部位不明を示している場合には、統合部位分離部４２０は人物を上半身と下半身に分離不可能と判定する。また、形状分析情報が直立した人物が妥当な範囲に収まっていない、或いは、人物の上半身が妥当な範囲に収まっていないことを示す場合には、統合部位分離部４２０は人物を上半身と下半身に分離不可能と判定する。
　統合部位分離部４２０は、人物を上半身と下半身に分離可能と判定する場合には、その分離位置も算出する。この分離位置の算出方法には様々な方法が考えられる。例えば、数式８に従って人物領域の画素データを水平方向に走査し、ｙ軸方向に射影した画素関数値を算出する。
Figure JPOXMLDOC01-appb-M000008
　ここで、Ｉ（ｘ，ｙ）は座標（ｘ，ｙ）における画素データ（色空間Ｒ、Ｇ、Ｂの３次元ベクトル）を示し、Ｍ（ｘ，ｙ）は人物領域のマスク情報を示す。数式８では、画素関数値ｆ（ｙ）が大きく変化するようなｙ座標を求める。例えば、数式９に従って画素関数値の差分の最大値を求め、その最大差分値Ｄ０が閾値より大きい場合には、人物を上半身と下半身に分離可能であると判定する。人物を上半身と下半身に分離可能と判定される場合には、そのときのｙ座標の値ｙ０を数式１０に従って算出する。このように、統合部位分離部４２０は人物を上半身と下半身に分離可能とする判定結果に加えて、そのときのｙ座標の値ｙ０を服装部位分離情報に格納して出力する。
Figure JPOXMLDOC01-appb-M000009
Figure JPOXMLDOC01-appb-M000010
　尚、人物の服装において上半身と下半身との間の視覚特徴の相違が比較的小さい場合には、所定の分割割合にて人物領域を分割可能であると判定し、その分割割合を服装部位分離情報に格納して出力する。
　次に、図４に示す服装部位分離部１２０の処理について図８に示すフローチャートを参照して説明する。先ず、領域形状分析部４００は人物領域の形状を分析して形状分析情報を統合部位分離部４２０に出力する（ステップＳ４００）。次に、可視部位判定部４１０は人物領域と背景領域に基づいてカメラの撮像範囲にて可視化されている可視部位を判定して、可視部位情報を統合部位分離部４２０へ出力する（ステップＳ４１０）。統合部位分離部４２０は、上述の統合部位分離処理を実行し、以って、服装部位分離情報を生成する（ステップＳ４２０）。尚、ステップＳ４００及びＳ４１０の順序を変更してもよい。
　次に、本発明の実施例に係る人物検索装置について詳述する。図２は、本実施例に係る人物検索装置の構成を示すブロック図である。人物検索装置は、服装特徴検索部２００、服装特徴クエリー生成部２１０、服装特徴照合部２２０、人物検索部２３０、並びに服装特徴格納部１４０より構成される。図２に示す人物検索装置は、図１に示す服装特徴格納部１４０以外の人物服装特徴抽出装置の構成要素を具備していない。しかし、図２の人物検索装置と図１の人物服装特徴抽出装置を組み合わせるようにしてもよい。
　人物検索装置の機能は、ＣＰＵ、ＲＯＭ、ＲＡＭ等により構成されるコンピュータに人物検索プログラムをインストールすることにより実現されうるものである。
　服装特徴検索部２００は、服装クエリーテキストに基づいて服装の種類と視覚特徴を表す単語を検索して、服装特徴パラメータとして出力する。詳細には、服装辞書を参照して服装クエリーテキストを解析して服装特徴パラメータを生成し、服装特徴クエリー生成部２１０へ出力する。服装特徴クエリー生成部２１０は、服装特徴パラメータから服装の視覚特徴を推定し、服装特徴クエリーを生成して服装特徴照合部２２０へ出力する。服装特徴格納部１４０は、図１に示す人物服装特徴抽出装置により抽出した人物の服装特徴を格納している。この服装特徴は、入力映像の人物領域と服装部位分離情報に基づいて生成された人物の服装の視覚特徴である。この服装特徴に人物の向きに基づいて抽出した服装の視覚特徴を加えてもよい。服装特徴照合部２２０は、服装特徴格納部１４０に格納した服装特徴と服装特徴クエリーを照合して、その照合結果を人物検索部２３０へ出力する。人物検索部２３０は、服装特徴照合部２２０の照合結果を集計し、以って、人物検索結果を出力する。
　次に、図２に示す人物検索装置の動作について詳述する。服装特徴検索部２００は、服装クエリーテキストを入力する。服装特徴検索部２００は、服装辞書を参照して服装クエリーテキストから服装の種類と色を示す服装特徴パラメータを検索する。服装辞書は、様々な色を表す単語に対応付けて画素データ（例えば、ＲＧＢデータやＨＳＶデータ）を服装情報として記憶する。また、服装辞書は服装の種類が上半身に関連するか、或いは、下半身に関連するかについても服装情報に記述する。服装特徴検索部２００は、服装辞書に登録された服装情報を参照して、服装クエリーテキストを解析し、以って、服装特徴パラメータを生成する。
　例えば、服装クエリーテキストとして「白いシャツに青いジャケット、黒いズボン」が入力された場合、服装特徴検索部２００は「シャツ」と「ジャケット」が上半身に関連し、かつ、夫々の色が「白」と「青」であることを服装辞書から検索する。また、服装特徴検索部２００は、「ズボン」が下半身に関連し、かつ、その色が「黒」であることを服装辞書から検索する。更に、服装特徴検索部２００はシャツとジャケットでは、重ね着した際にジャケットの方が上側になることを判定するとともに、上半身の色としては「青」の比率が「白」よりも大きくなることを判定する。人物を正面からみた場合にはシャツとジャケットの両方が見え、背面から見た場合にはジャケットのみが見えることを考慮して、服装特徴検索部２００は上半身の正面及び背面について異なる色パラメータを生成する。また、下半身については、正面と背面の両方の色が「黒」であることを示す色パラメータを生成する。
　日本語の「～っぽい」、「～系」といった曖昧さを表す言葉を服装クエリーテキストに含めた場合には、曖昧さの度合いについても服装特徴パラメータに記述する。例えば、服装特徴を色ヒストグラムで示す場合には、色ヒストグラムの広がりの度合いを曖昧さの度合いによって調節することができる。
　上記のように、上半身及び下半身に対応する画素データ（例えば、ＲＧＢデータやＨＳＶデータ）、色の比率、色パラメータ、色表現の曖昧さ度合いを服装特徴パラメータに記述して服装特徴クエリー生成部２１０へ出力する。
　服装特徴クエリー生成部２１０は、服装特徴検索部２００から出力された服装特徴パラメータに基づいて服装特徴クエリーを生成する。例えば、色ヒストグラムを服装特徴として用いる場合には、服装特徴パラメータに含まれる画素データをピーク値とし、色表現の曖昧さ度合いにより定まる広がりを有する色ヒストグラムを生成する。ここで、色の比率に応じて色ヒストグラムのピーク値を調整する。また、人物の向き（即ち、人物が正面を向いているかどうか）によって服装の色の見え方が異なるため、人物の正面方向と非正面方向について個別に色ヒストグラムを生成する。また、人物の上半身と下半身の夫々についても服装特徴クエリーを生成する。このようにして生成した服装特徴クエリーを服装特徴照合部２２０へ出力する。
　服装特徴照合部２２０は、服装特徴クエリー生成部２１０から出力される服装特徴クエリーと服装特徴格納部１４０に蓄積された服装特徴（即ち、検索対象となっている人物の服装特徴）を比較し、照合スコアを計算する。服装特徴クエリーと（服装特徴格納部１４０から検索された）服装特徴の比較は、服装部位分離情報により指定された各服装部位に対して行なってもよい。
　上記の照合スコアは、服装特徴の類似度を表しており、例えば、服装特徴ベクトルの内積により計算することができる。或いは、服装特徴間の距離（相違）を算出して、服装特徴の類似度に変換してもよい。即ち、数式１１に従って服装特徴間の距離ｄを類似度Ｓに変換する。
Figure JPOXMLDOC01-appb-M000011
　服装特徴格納部１４０に蓄積された服装特徴は、人物の向きや服装部位分離情報と対応付けて格納されているため、服装特徴照合部２２０はその情報も加味して服装特徴クエリーと検索服装特徴との照合を行なう。具体的には、検索服装特徴が人物の正面に対応する場合、人物の正面に係る服装特徴クエリーと照合する。検索服装特徴が人物の非正面方向に対応する場合には、人物の非正面方向に係る服装特徴クエリーと照合する。また、検索服装特徴に係る人物が方向不定の場合には、人物の正面方向及び非正面方向に係る服装特徴の両方と照合し、照合結果のよい方を採用する。
　服装部位分離情報を考慮して、検索服装特徴が人物の上半身に対応する場合には、人物の上半身に係る服装特徴クエリーと照合する。検索服装特徴が人物の下半身に対応する場合には、人物の下半身に係る服装特徴クエリーと照合する。一方、人物の服装を上半身と下半身に分離できない場合には、人物の上半身と下半身に係る服装特徴クエリーを統合して得た統合服装特徴クエリーと照合する。例えば、服装特徴を色ヒストグラムで表す場合、人物の上半身と下半身の服装特徴を加算し、必要に応じて正規化を行なって、検索服装特徴と照合する。
　人物の上半身と下半身が同時に見えている場合には、服装特徴照合部２２０は人物の上半身と下半身の両方について同時に照合結果を得ることができる。この場合、人物の上半身と下半身の服装特徴の照合結果の両方を用いて照合度合いを判定する。人物の上半身と下半身の一方しか見えていない場合や、人物の服装を上半身と下半身に分離できなかった場合には、服装特徴照合部２２０は１つの照合結果のみ得ることとなる。この場合、１つの照合結果のみを用いて照合の度合いを判定する。
　上記のように、服装特徴照合部２２０は人物の見え方に応じて異なる数の照合結果を生成する。１つのみの照合結果が得られる場合には、そのときの服装特徴の類似度がそのまま全体の照合結果となる。また、人物の上半身と下半身のように複数の照合結果が得られる場合には、複数の服装特徴の類似度Ｓ１、Ｓ２を計算する。この場合、数式１２に従って統合類似度Ｓを計算する。
Figure JPOXMLDOC01-appb-M000012
　ここで、ｈ（ｘ）は単調非減少関数を示し、例えば、数式１３で表される。
Figure JPOXMLDOC01-appb-M000013
　上記の処理により、統合的に照合した方の類似度が高くすることにより、直感に近い人物の服装特徴の照合結果を得ることができる。服装特徴照合部２２０の照合結果は、人物検索部２３０へ出力される。
　人物検索部２３０は、服装特徴照合部２２０の照合結果に基づいて人物検索結果を出力する。具体的には、統合類似度の大きい順に照合結果を並べ替えて、それらを人物検索結果として出力する。人物検索結果に含める照合結果の個数をＮ個に固定する場合には、統合類似度の大きい順序で上位Ｎ個の照合結果を選択して出力する。
　次に、図２に示す人物検索装置の動作について図９に示すフローチャートを参照して詳述する。先ず、服装特徴検索部２００は服装クエリーテキストに対応する服装特徴パラメータを服装辞書から検索して、服装特徴クエリー生成部２１０へ出力する（ステップＳ２００）。次に、服装特徴クエリー生成部２１０は服装特徴パラメータに基づいて服装特徴クエリーを生成して、服装特徴照合部２２０へ出力する（ステップＳ２１０）。次に、服装特徴照合部２２０は服装特徴クエリーと（服装特徴格納部１４０から読み出した）検索服装特徴を照合し、その照合結果を人物検索部２３０へ出力する（ステップＳ２２０）。人物検索部２３０は、服装特徴クエリーと検索服装特徴との照合結果に基づいて人物検索結果を生成して出力する（ステップＳ２３０）。
　図２に示した人物検索装置は、日本語や英語等の自然言語により表された服装クエリーテキストに基づいて、人物の向きや服装部位分離情報を考慮して、高度な人物検索処理を実現するものである。換言すれば、本実施例は人物の服装特徴を自然言語により入力し、人物の向きや服装特徴の相違を考慮して人物検索を行なうものであるため、検索者の意図に近い人物検索結果を得ることができる。
　尚、本発明は上記の実施例に限定されるものではなく、添付した特許請求の範囲に規定される発明の範囲内の変更を許容するものである。例えば、服装部位分離部１２０は人物の服装部位を上半身と下半身の２つに分離するのみならず、靴や帽子等の他の服装部位に分離可能としてもよい。
　本発明は、監視カメラの撮像範囲において人物領域を検出し、その人物領域に含まれる人物の服装特徴を抽出して、データベースを参照して高精度に人物を検索するものであるため、公的機関や私企業のセキュリティ用途等に適用されるものである。
　１００　　人物領域検出部
　１１０　　人物向き判定部
　１２０　　服装部位分離部
　１３０　　服装特徴抽出部
　１４０　　服装特徴格納部
　２００　　服装特徴検索部
　２１０　　服装特徴クエリー生成部
　２２０　　服装特徴照合部
　２３０　　人物検索部
　３００　　顔向き判定部
　３１０　　人物動き解析部
　３２０　　服装特徴対象性判定部
　３３０　　統合向き判定部
　４００　　領域形状分析部
　４１０　　可視部位判定部
　４２０　　統合部位分離部
　１０００　顔領域検出／顔特徴抽出部
　１０１０　着衣領域検出／着衣特徴抽出部
　１０２０　顔領域検出／顔特徴抽出部
　１０３０　着衣領域検出／着衣特徴抽出部
　１０４０　着衣特徴データベース（ＤＢ）
　１０５０　顔特徴データベース（ＤＢ）
　１０６０　顔類似度算出部
　１０７０　着衣類似度算出部
　１０８０　人物同一性判定部

Claims (22)

  1. 　入力映像から人物領域を検出する人物領域検出部と、
    　人物領域における人物の向きを判定する人物向き判定部と、
    　人物領域における人物の服装の分離可能性を判定し、服装部位分離情報を出力する服装部位分離部と、
    　人物の向き及び服装部位分離情報を考慮して人物領域における人物の服装の視覚特徴を示す服装特徴を抽出する服装特徴抽出部と、
    　抽出した服装特徴を格納する服装特徴格納部を具備する人物服装特徴抽出装置。
  2. 　前記人物向き判定部は、人物の顔の向き、人物の動き、及び服装の対称性の少なくとも１つに基づいて人物の向きを判定するようにした請求項１記載の人物服装特徴抽出装置。
  3. 　前記人物向き判定部により判定された人物の向きは、正面方向、背面方向、及び方向不定の少なくとも１つを示すものである請求項１記載の人物服装特徴抽出装置。
  4. 　前記服装部位分離部は、入力映像、人物領域、及び背景領域に基づいて人物の服装部位の分離可能性を判定するものである請求項１記載の人物服装特徴抽出装置。
  5. 　前記服装部位分離部は、人物領域の幾何学的形状を分析して形状分析情報を生成する領域形状分析部と、人物領域と背景領域に基づいて可視化された人物の服装部位を示す可視部位情報を生成する可視部位判定部と、形状分析情報及び可視部位情報に基づいて人物の服装部位の分離可能性を判定して服装部位分離情報を生成する統合部位分離部を具備する請求項４記載の人物服装特徴抽出装置。
  6. 　人物の服装の種類と色を表す服装クエリーテキストに基づいて服装特徴パラメータを検索する服装特徴検索部と、
    　服装特徴パラメータに基づいて服装特徴クエリーを出力する服装特徴クエリー生成部と、
    　服装特徴格納部から検索した服装特徴と服装特徴クエリーを照合し、その照合結果を出力する服装特徴照合部と、
    　照合結果に基づいて人物検索結果を出力する人物検索部を具備する人物検索装置。
  7. 　前記服装部位格納部は、入力映像の人物領域と人物の服装部位の分離可能性を示す服装部位分離情報に基づいて予め生成された服装特徴を格納するものである請求項６記載の人物検索装置。
  8. 　前記服装部位格納部は、入力映像の人物領域及び服装部位分離情報に加えて人物の向きを考慮して生成された服装特徴を格納するものである請求項７記載の人物検索装置。
  9. 　前記服装特徴照合部は、服装部位分離情報で指定される服装部位毎に検索服装特徴と服装特徴クエリーを照合するものである請求項６記載の人物検索装置。
  10. 　入力映像から人物領域を検出する人物領域検出部と、
    　人物領域における人物の向きを判定する人物向き判定部と、
    　人物領域における人物の服装の分離可能性を判定し、服装部位分離情報を出力する服装部位分離部と、
    　人物の向き及び服装部位分離情報を考慮して人物領域における人物の服装の視覚特徴を示す服装特徴を抽出する服装特徴抽出部を更に具備し、
    　前記服装特徴格納部は抽出された服装特徴を格納するものである請求項６記載の人物検索装置。
  11. 　入力映像から人物領域を検出し、
    　人物領域における人物の向きを判定し、
    　人物領域における人物の服装の分離可能性を判定して服装部位分離情報を生成し、
    　人物の向き及び服装部位分離情報を考慮して人物領域における人物の服装の視覚特徴を示す服装特徴を抽出して格納するようにした人物服装特徴抽出方法。
  12. 　人物の顔の向き、人物の動き、及び服装の対称性の少なくとも１つに基づいて人物の向きを判定するようにした請求項１１記載の人物服装特徴抽出方法。
  13. 　人物の向きは、正面方向、背面方向、及び方向不定の少なくとも１つを示すものである請求項１１記載の人物服装特徴抽出方法。
  14. 　入力映像、人物領域、及び背景領域に基づいて人物の服装部位の分離可能性を判定するものである請求項１１記載の人物服装特徴抽出方法。
  15. 　人物領域の幾何学的形状を分析して形状分析情報を生成し、
    　人物領域と背景領域に基づいて可視化された人物の服装部位を示す可視部位情報を生成し、
    　形状分析情報及び可視部位情報に基づいて人物の服装部位の分離可能性を判定して服装部位分離情報を生成するようにした請求項１４記載の人物服装特徴抽出方法。
  16. 　人物の服装の種類と色を表す服装クエリーテキストに基づいて服装特徴パラメータを検索し、
    　服装特徴パラメータに基づいて服装特徴クエリーを生成し、
    　服装特徴格納部から検索した服装特徴と服装特徴クエリーを照合して、その照合結果を出力し、
    　照合結果に基づいて人物検索結果を出力するようにした人物検索方法。
  17. 　前記服装特徴格納部は、入力映像の人物領域と人物の服装部位の分離可能性を示す服装部位分離情報に基づいて予め生成された服装特徴を格納するものである請求項１６記載の人物検索方法。
  18. 　前記服装部位格納部は、入力映像の人物領域及び服装部位分離情報に加えて人物の向きを考慮して生成された服装特徴を格納するものである請求項１７記載の人物検索方法。
  19. 　服装部位分離情報で指定される服装部位毎に検索服装特徴と服装特徴クエリーを照合するものである請求項１６記載の人物検索方法。
  20. 　入力映像から人物領域を検出し、
    　人物領域における人物の向きを判定し、
    　人物領域における人物の服装の分離可能性を判定して、服装部位分離情報を生成し、
    　人物の向き及び服装部位分離情報を考慮して人物領域における人物の服装の視覚特徴を示す服装特徴を抽出して前記服装特徴格納部に格納するものである請求項１６記載の人物検索方法。
  21. 　請求項１１乃至１５記載の服装特徴抽出方法をコンピュータに読み取り実行可能な形式で記述したプログラム。
  22. 　請求項１６乃至２０記載の人物検索方法をコンピュータに読み取り実行可能な形式で記述したプログラム。
PCT/JP2010/067914 2009-10-16 2010-10-13 人物服装特徴抽出装置、人物検索装置、及びその処理方法 Ceased WO2011046128A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2011536146A JP5664553B2 (ja) 2009-10-16 2010-10-13 人物服装特徴抽出装置、人物検索装置、人物服装特徴抽出方法、人物検索方法及びプログラム
EP10823396.6A EP2490171B1 (en) 2009-10-16 2010-10-13 Person image search starting from clothing query text.
CN201080045981.1A CN102687171B (zh) 2009-10-16 2010-10-13 人物检索装置及人物检索方法
US13/501,647 US8891880B2 (en) 2009-10-16 2010-10-13 Person clothing feature extraction device, person search device, and processing method thereof
US14/508,477 US9495754B2 (en) 2009-10-16 2014-10-07 Person clothing feature extraction device, person search device, and processing method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009239360 2009-10-16
JP2009-239360 2009-10-16

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US13/501,647 A-371-Of-International US8891880B2 (en) 2009-10-16 2010-10-13 Person clothing feature extraction device, person search device, and processing method thereof
US14/508,477 Division US9495754B2 (en) 2009-10-16 2014-10-07 Person clothing feature extraction device, person search device, and processing method thereof

Publications (1)

Publication Number Publication Date
WO2011046128A1 true WO2011046128A1 (ja) 2011-04-21

Family

ID=43876178

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/067914 Ceased WO2011046128A1 (ja) 2009-10-16 2010-10-13 人物服装特徴抽出装置、人物検索装置、及びその処理方法

Country Status (5)

Country Link
US (2) US8891880B2 (ja)
EP (1) EP2490171B1 (ja)
JP (1) JP5664553B2 (ja)
CN (2) CN104933669A (ja)
WO (1) WO2011046128A1 (ja)

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102521565A (zh) * 2011-11-23 2012-06-27 浙江晨鹰科技有限公司 低分辨率视频的服装识别方法及系统
JP2013046135A (ja) * 2011-08-23 2013-03-04 Nec Corp 映像提供装置、映像利用装置、映像提供システム、映像提供方法、および、コンピュータ・プログラム
CN103108151A (zh) * 2011-11-09 2013-05-15 华为技术有限公司 视频监控的方法和系统
JP2013186546A (ja) * 2012-03-06 2013-09-19 Tokyo Denki Univ 人物検索システム
JP2013200895A (ja) * 2013-06-28 2013-10-03 Casio Comput Co Ltd データ処理装置及びプログラム
JPWO2012161291A1 (ja) * 2011-05-20 2014-07-31 日本電気株式会社 部位分離位置抽出装置、プログラム、方法
JP2014229010A (ja) * 2013-05-21 2014-12-08 株式会社デンソー 物体検出装置
JP2015002547A (ja) * 2013-06-18 2015-01-05 富士通株式会社 画像処理装置、プログラム、および画像処理方法
US8989454B2 (en) 2011-06-17 2015-03-24 Casio Computer Co., Ltd Sales data processing apparatus and computer-readable storage medium
JP2016162099A (ja) * 2015-02-27 2016-09-05 富士通株式会社 画像判定装置、画像判定方法、及びプログラム
JP2018028784A (ja) * 2016-08-17 2018-02-22 富士通株式会社 移動体群検出プログラム、移動体群検出装置、及び移動体群検出方法
JP2018081654A (ja) * 2016-11-18 2018-05-24 株式会社東芝 検索装置、表示装置および検索方法
US10037466B2 (en) 2013-08-23 2018-07-31 Nec Corporation Video processing apparatus, video processing method, and video processing program
US10127310B2 (en) 2015-03-24 2018-11-13 Fujitsu Limited Search method and system
US20190188486A1 (en) * 2012-09-28 2019-06-20 Nec Corporation Information processing apparatus, information processing method, and information processing program
JP2019212205A (ja) * 2018-06-08 2019-12-12 トヨタ自動車株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP2020021170A (ja) * 2018-07-30 2020-02-06 Kddi株式会社 特定装置、特定方法及び特定プログラム
WO2020065790A1 (ja) * 2018-09-26 2020-04-02 日本電気株式会社 推定装置、推定方法、および記憶媒体
US10635908B2 (en) 2013-09-19 2020-04-28 Nec Corporation Image processing system and image processing method
JPWO2021176945A1 (ja) * 2020-03-05 2021-09-10
JPWO2021220354A1 (ja) * 2020-04-27 2021-11-04
JP2022510963A (ja) * 2019-11-20 2022-01-28 上▲海▼商▲湯▼智能科技有限公司 人体向き検出方法、装置、電子機器及びコンピュータ記憶媒体
CN114549475A (zh) * 2022-02-24 2022-05-27 浙江大华技术股份有限公司 一种人体实时档案的检索方法、装置及存储介质
KR102403242B1 (ko) * 2021-08-23 2022-05-30 (주)그린아이티코리아 객체 특징 식별을 위한 서비스 제공 장치 및 방법
JP2023109299A (ja) * 2022-01-27 2023-08-08 富士通株式会社 人物推定プログラム、人物推定方法、及び人物推定装置
JP2024029417A (ja) * 2022-08-22 2024-03-06 日本電気株式会社 画像処理装置、画像処理方法、およびプログラム
KR102923528B1 (ko) * 2025-05-09 2026-02-06 (주) 씨이랩 Ai를 활용한 복장 검출 장치 및 그 방법

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8798362B2 (en) * 2011-08-15 2014-08-05 Hewlett-Packard Development Company, L.P. Clothing search in images
US10685234B2 (en) * 2012-03-31 2020-06-16 Xerox Corporation Automatic and semi-automatic metadata generation via inheritance in homogeneous and heterogeneous environments
US9528847B2 (en) * 2012-10-15 2016-12-27 Microsoft Technology Licensing, Llc Pictures from sketches
JP6098133B2 (ja) * 2012-11-21 2017-03-22 カシオ計算機株式会社 顔構成部抽出装置、顔構成部抽出方法及びプログラム
RU2676147C2 (ru) 2013-07-22 2018-12-26 Конинклейке Филипс Н.В. Непрерывное автоматическое наблюдение за движениями пациента
GB201320974D0 (en) * 2013-11-28 2014-01-15 Univ Dublin City System and method for identifying an image
JP6428144B2 (ja) * 2014-10-17 2018-11-28 オムロン株式会社 エリア情報推定装置、エリア情報推定方法、および空気調和装置
JP6492746B2 (ja) * 2015-02-23 2019-04-03 富士通株式会社 画像処理プログラム、画像処理装置、及び画像処理方法
CN105069466B (zh) * 2015-07-24 2019-01-11 成都市高博汇科信息科技有限公司 基于数字图像处理的行人服饰颜色识别方法
US9449254B1 (en) * 2015-08-04 2016-09-20 Adobe Systems Incorporated Adaptive environment targeting
US9811762B2 (en) * 2015-09-22 2017-11-07 Swati Shah Clothing matching system and method
TWI569212B (zh) * 2015-12-10 2017-02-01 財團法人工業技術研究院 影像辨識方法
RU2634225C1 (ru) 2016-06-20 2017-10-24 Общество с ограниченной ответственностью "САТЕЛЛИТ ИННОВАЦИЯ" (ООО "САТЕЛЛИТ") Способы и системы поиска объекта в видеопотоке
CN106599880A (zh) * 2016-12-29 2017-04-26 湖南强视信息科技有限公司 一种面向无人监考的同人判别方法
CN106845373A (zh) * 2017-01-04 2017-06-13 天津大学 面向监控视频的行人属性预测方法
CN109426785B (zh) * 2017-08-31 2021-09-10 杭州海康威视数字技术股份有限公司 一种人体目标身份识别方法及装置
CN109426787A (zh) * 2017-08-31 2019-03-05 杭州海康威视数字技术股份有限公司 一种人体目标轨迹确定方法及装置
US11361018B2 (en) 2017-11-28 2022-06-14 Adobe Inc. Automatically curated image searching
US11030236B2 (en) * 2017-11-28 2021-06-08 Adobe Inc. Image searching by employing layered search constraints
CN108230297B (zh) * 2017-11-30 2020-05-12 复旦大学 一种基于服装替换的色彩搭配评估方法
WO2019169053A1 (en) * 2018-02-27 2019-09-06 Levi Strauss & Co. Laser finishing design tool
CN108769585A (zh) * 2018-05-30 2018-11-06 深圳万智联合科技有限公司 一种监控效果良好的监控系统
JP7132046B2 (ja) 2018-09-13 2022-09-06 株式会社東芝 検索装置、検索方法及びプログラム
CN109376256B (zh) * 2018-09-29 2021-03-26 京东方科技集团股份有限公司 图像搜索方法及装置
JP2020119284A (ja) 2019-01-24 2020-08-06 日本電気株式会社 情報処理装置、情報処理方法及びプログラム
US11334617B2 (en) * 2019-09-25 2022-05-17 Mercari, Inc. Paint-based image search
US11599575B2 (en) 2020-02-17 2023-03-07 Honeywell International Inc. Systems and methods for identifying events within video content using intelligent search query
US11030240B1 (en) 2020-02-17 2021-06-08 Honeywell International Inc. Systems and methods for efficiently sending video metadata
US11681752B2 (en) 2020-02-17 2023-06-20 Honeywell International Inc. Systems and methods for searching for events within video content
WO2022003854A1 (ja) * 2020-07-01 2022-01-06 日本電気株式会社 画像処理装置、画像処理方法、及びプログラム
EP3937071A1 (fr) * 2020-07-06 2022-01-12 Bull SAS Procédé d'assistance au suivi en temps réel d'au moins une personne sur des séquences d'images
US12106486B2 (en) 2021-02-24 2024-10-01 Snap Inc. Whole body visual effects
US11790531B2 (en) 2021-02-24 2023-10-17 Snap Inc. Whole body segmentation
US12100156B2 (en) 2021-04-12 2024-09-24 Snap Inc. Garment segmentation
US11670059B2 (en) 2021-09-01 2023-06-06 Snap Inc. Controlling interactive fashion based on body gestures
US12198664B2 (en) 2021-09-02 2025-01-14 Snap Inc. Interactive fashion with music AR
US11673054B2 (en) 2021-09-07 2023-06-13 Snap Inc. Controlling AR games on fashion items
US11900506B2 (en) 2021-09-09 2024-02-13 Snap Inc. Controlling interactive fashion based on facial expressions
US11734866B2 (en) 2021-09-13 2023-08-22 Snap Inc. Controlling interactive fashion based on voice
US11636662B2 (en) 2021-09-30 2023-04-25 Snap Inc. Body normal network light and rendering control
US11983826B2 (en) 2021-09-30 2024-05-14 Snap Inc. 3D upper garment tracking
US11651572B2 (en) 2021-10-11 2023-05-16 Snap Inc. Light and rendering of garments
US12190270B2 (en) 2022-05-16 2025-01-07 Honeywell International Inc. Methods and systems for managing an incident

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000030033A (ja) * 1998-07-09 2000-01-28 Matsushita Electric Ind Co Ltd 人物検出方法
JP2005202938A (ja) * 2003-12-19 2005-07-28 Matsushita Electric Ind Co Ltd 映像検索装置及び映像検索方法
JP2008139941A (ja) * 2006-11-30 2008-06-19 Seiko Epson Corp 画像処理装置、画像処理方法、および画像処理プログラム
JP2008165700A (ja) * 2007-01-05 2008-07-17 Seiko Epson Corp 画像処理装置、電子機器、画像処理システム、画像処理方法、および、プログラム
JP2009003581A (ja) 2007-06-19 2009-01-08 Viva Computer Co Ltd 画像蓄積・検索システム及び画像蓄積・検索システム用プログラム
JP2009110460A (ja) * 2007-11-01 2009-05-21 Hitachi Ltd 人物画像検索装置
JP2009199322A (ja) 2008-02-21 2009-09-03 Hitachi Kokusai Electric Inc 監視システム、人物検索方法

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SG91841A1 (en) * 1999-11-03 2002-10-15 Kent Ridge Digital Labs Face direction estimation using a single gray-level image
US7206778B2 (en) * 2001-12-17 2007-04-17 Knova Software Inc. Text search ordered along one or more dimensions
US6937745B2 (en) * 2001-12-31 2005-08-30 Microsoft Corporation Machine vision system and method for estimating and tracking facial pose
EP1434170A3 (en) * 2002-11-07 2006-04-05 Matsushita Electric Industrial Co., Ltd. Method and apparatus for adding ornaments to an image of a person
US7221775B2 (en) * 2002-11-12 2007-05-22 Intellivid Corporation Method and apparatus for computerized image background analysis
JP4479194B2 (ja) * 2003-08-29 2010-06-09 富士ゼロックス株式会社 動作識別装置、及び対象物の姿勢識別装置
US20080064333A1 (en) * 2004-02-28 2008-03-13 Hymes Charles M System and method for specifying observed targets and subsequent communication
US20060159370A1 (en) * 2004-12-10 2006-07-20 Matsushita Electric Industrial Co., Ltd. Video retrieval system and video retrieval method
US7783135B2 (en) * 2005-05-09 2010-08-24 Like.Com System and method for providing objectified image renderings using recognition information from images
US7657126B2 (en) * 2005-05-09 2010-02-02 Like.Com System and method for search portions of objects in images and features thereof
ATE546800T1 (de) 2005-07-05 2012-03-15 Omron Tateisi Electronics Co Tracking-vorrichtung
US7457825B2 (en) * 2005-09-21 2008-11-25 Microsoft Corporation Generating search requests from multimodal queries
GB2430736A (en) * 2005-09-30 2007-04-04 Sony Uk Ltd Image processing
JP2007147762A (ja) * 2005-11-24 2007-06-14 Fuji Xerox Co Ltd 発話者予測装置および発話者予測方法
US20070237364A1 (en) * 2006-03-31 2007-10-11 Fuji Photo Film Co., Ltd. Method and apparatus for context-aided human identification
US7864989B2 (en) * 2006-03-31 2011-01-04 Fujifilm Corporation Method and apparatus for adaptive context-aided human classification
US8270709B2 (en) * 2006-08-31 2012-09-18 Corel Corporation Color selection and/or matching in a color image
US20090058615A1 (en) * 2007-08-30 2009-03-05 Motorola, Inc. Clothing history application and method for mobile station having an integrated transponder reader
US8447100B2 (en) * 2007-10-10 2013-05-21 Samsung Electronics Co., Ltd. Detecting apparatus of human component and method thereof
US8036416B2 (en) * 2007-11-06 2011-10-11 Palo Alto Research Center Incorporated Method and apparatus for augmenting a mirror with information related to the mirrored contents and motion
US8170280B2 (en) * 2007-12-03 2012-05-01 Digital Smiths, Inc. Integrated systems and methods for video-based object modeling, recognition, and tracking
US8150098B2 (en) * 2007-12-20 2012-04-03 Eastman Kodak Company Grouping images by location
CN100568262C (zh) * 2007-12-29 2009-12-09 浙江工业大学 基于多摄像机信息融合的人脸识别检测装置
US8180112B2 (en) * 2008-01-21 2012-05-15 Eastman Kodak Company Enabling persistent recognition of individuals in images
JP5155001B2 (ja) * 2008-04-01 2013-02-27 株式会社日立製作所 文書検索装置
US20090296989A1 (en) * 2008-06-03 2009-12-03 Siemens Corporate Research, Inc. Method for Automatic Detection and Tracking of Multiple Objects
US8379920B2 (en) * 2010-05-05 2013-02-19 Nec Laboratories America, Inc. Real-time clothing recognition in surveillance videos

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000030033A (ja) * 1998-07-09 2000-01-28 Matsushita Electric Ind Co Ltd 人物検出方法
JP2005202938A (ja) * 2003-12-19 2005-07-28 Matsushita Electric Ind Co Ltd 映像検索装置及び映像検索方法
JP2008139941A (ja) * 2006-11-30 2008-06-19 Seiko Epson Corp 画像処理装置、画像処理方法、および画像処理プログラム
JP2008165700A (ja) * 2007-01-05 2008-07-17 Seiko Epson Corp 画像処理装置、電子機器、画像処理システム、画像処理方法、および、プログラム
JP2009003581A (ja) 2007-06-19 2009-01-08 Viva Computer Co Ltd 画像蓄積・検索システム及び画像蓄積・検索システム用プログラム
JP2009110460A (ja) * 2007-11-01 2009-05-21 Hitachi Ltd 人物画像検索装置
JP2009199322A (ja) 2008-02-21 2009-09-03 Hitachi Kokusai Electric Inc 監視システム、人物検索方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MASAAKI SATO ET AL: "Person Search System using Face and Clothing Features", MATSUSHITA TECHNICAL JOURNAL, vol. 52, no. 3, 2006, pages 67 - 71, XP008155788 *
See also references of EP2490171A4

Cited By (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2012161291A1 (ja) * 2011-05-20 2014-07-31 日本電気株式会社 部位分離位置抽出装置、プログラム、方法
US8989454B2 (en) 2011-06-17 2015-03-24 Casio Computer Co., Ltd Sales data processing apparatus and computer-readable storage medium
US9483798B2 (en) 2011-06-17 2016-11-01 Casio Computer Co., Ltd Sales data processing apparatus and computer-readable storage medium
JP2013046135A (ja) * 2011-08-23 2013-03-04 Nec Corp 映像提供装置、映像利用装置、映像提供システム、映像提供方法、および、コンピュータ・プログラム
CN103108151A (zh) * 2011-11-09 2013-05-15 华为技术有限公司 视频监控的方法和系统
CN102521565A (zh) * 2011-11-23 2012-06-27 浙江晨鹰科技有限公司 低分辨率视频的服装识别方法及系统
CN102521565B (zh) * 2011-11-23 2014-02-26 浙江晨鹰科技有限公司 低分辨率视频的服装识别方法及系统
JP2013186546A (ja) * 2012-03-06 2013-09-19 Tokyo Denki Univ 人物検索システム
US12315260B2 (en) 2012-09-28 2025-05-27 Nec Corporation Information processing apparatus, information processing method, and information processing program
US12183083B2 (en) 2012-09-28 2024-12-31 Nec Corporation Information processing apparatus, information processing method, and information processing program
US11816897B2 (en) * 2012-09-28 2023-11-14 Nec Corporation Information processing apparatus, information processing method, and information processing program
US20190188486A1 (en) * 2012-09-28 2019-06-20 Nec Corporation Information processing apparatus, information processing method, and information processing program
US9501720B2 (en) 2013-05-21 2016-11-22 Denso Corporation Object detection apparatus
JP2014229010A (ja) * 2013-05-21 2014-12-08 株式会社デンソー 物体検出装置
JP2015002547A (ja) * 2013-06-18 2015-01-05 富士通株式会社 画像処理装置、プログラム、および画像処理方法
JP2013200895A (ja) * 2013-06-28 2013-10-03 Casio Comput Co Ltd データ処理装置及びプログラム
US10037466B2 (en) 2013-08-23 2018-07-31 Nec Corporation Video processing apparatus, video processing method, and video processing program
US10956753B2 (en) 2013-09-19 2021-03-23 Nec Corporation Image processing system and image processing method
US10635908B2 (en) 2013-09-19 2020-04-28 Nec Corporation Image processing system and image processing method
JP2016162099A (ja) * 2015-02-27 2016-09-05 富士通株式会社 画像判定装置、画像判定方法、及びプログラム
US10489640B2 (en) 2015-02-27 2019-11-26 Fujitsu Limited Determination device and determination method of persons included in imaging data
US10127310B2 (en) 2015-03-24 2018-11-13 Fujitsu Limited Search method and system
JP2018028784A (ja) * 2016-08-17 2018-02-22 富士通株式会社 移動体群検出プログラム、移動体群検出装置、及び移動体群検出方法
JP2018081654A (ja) * 2016-11-18 2018-05-24 株式会社東芝 検索装置、表示装置および検索方法
CN110580272A (zh) * 2018-06-08 2019-12-17 丰田自动车株式会社 信息处理装置、系统、方法及非暂时性存储介质
JP2019212205A (ja) * 2018-06-08 2019-12-12 トヨタ自動車株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
US11758375B2 (en) 2018-06-08 2023-09-12 Toyota Jidosha Kabushiki Kaisha Information processing apparatus, information processing system, information processing method, and non-transitory storage medium
JP7006515B2 (ja) 2018-06-08 2022-01-24 トヨタ自動車株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP6995714B2 (ja) 2018-07-30 2022-01-17 Kddi株式会社 特定装置、特定方法及び特定プログラム
JP2020021170A (ja) * 2018-07-30 2020-02-06 Kddi株式会社 特定装置、特定方法及び特定プログラム
US12217539B2 (en) 2018-09-26 2025-02-04 Nec Corporation Estimation device, estimation method, and storage medium
US12125315B2 (en) 2018-09-26 2024-10-22 Nec Corporation Direction estimation device, direction estimation method, and storage medium
US12112570B2 (en) 2018-09-26 2024-10-08 Nec Corporation Direction estimation device, direction estimation method, and storage medium
WO2020065790A1 (ja) * 2018-09-26 2020-04-02 日本電気株式会社 推定装置、推定方法、および記憶媒体
JP2022510963A (ja) * 2019-11-20 2022-01-28 上▲海▼商▲湯▼智能科技有限公司 人体向き検出方法、装置、電子機器及びコンピュータ記憶媒体
JP7456659B2 (ja) 2020-03-05 2024-03-27 Ｎｅｃソリューションイノベータ株式会社 認証装置
JPWO2021176945A1 (ja) * 2020-03-05 2021-09-10
WO2021176945A1 (ja) * 2020-03-05 2021-09-10 Ｎｅｃソリューションイノベータ株式会社 認証装置
WO2021220354A1 (ja) * 2020-04-27 2021-11-04 日本電気株式会社 人物検索システム
JP7485017B2 (ja) 2020-04-27 2024-05-16 日本電気株式会社 人物検索システム
US12437503B2 (en) 2020-04-27 2025-10-07 Nec Corporation Person retrieval system
JPWO2021220354A1 (ja) * 2020-04-27 2021-11-04
KR102403242B1 (ko) * 2021-08-23 2022-05-30 (주)그린아이티코리아 객체 특징 식별을 위한 서비스 제공 장치 및 방법
JP2023109299A (ja) * 2022-01-27 2023-08-08 富士通株式会社 人物推定プログラム、人物推定方法、及び人物推定装置
JP7783491B2 (ja) 2022-01-27 2025-12-10 エフサステクノロジーズ株式会社 人物推定プログラム、人物推定方法、及び人物推定装置
CN114549475A (zh) * 2022-02-24 2022-05-27 浙江大华技术股份有限公司 一种人体实时档案的检索方法、装置及存储介质
JP2024029417A (ja) * 2022-08-22 2024-03-06 日本電気株式会社 画像処理装置、画像処理方法、およびプログラム
KR102923528B1 (ko) * 2025-05-09 2026-02-06 (주) 씨이랩 Ai를 활용한 복장 검출 장치 및 그 방법

Also Published As

Publication number Publication date
JP5664553B2 (ja) 2015-02-04
US8891880B2 (en) 2014-11-18
CN104933669A (zh) 2015-09-23
CN102687171B (zh) 2015-07-08
JPWO2011046128A1 (ja) 2013-03-07
US20150023596A1 (en) 2015-01-22
US9495754B2 (en) 2016-11-15
EP2490171A4 (en) 2017-10-25
EP2490171B1 (en) 2020-11-25
CN102687171A (zh) 2012-09-19
US20120201468A1 (en) 2012-08-09
EP2490171A1 (en) 2012-08-22

Similar Documents

Publication Publication Date Title
JP5664553B2 (ja) 人物服装特徴抽出装置、人物検索装置、人物服装特徴抽出方法、人物検索方法及びプログラム
JP7132387B2 (ja) 画像処理装置、画像処理方法およびプログラム
US8897560B2 (en) Determining the estimated clutter of digital images
JP6013241B2 (ja) 人物認識装置、及び方法
US8270806B2 (en) Information processing apparatus and method of controlling same
US20090290791A1 (en) Automatic tracking of people and bodies in video
JP6527421B2 (ja) 人物認識装置及びそのプログラム
US20100118205A1 (en) Information processing apparatus and method of controlling same
JP5180922B2 (ja) 画像検索システム及び画像検索方法
JP6362085B2 (ja) 画像認識システム、画像認識方法およびプログラム
WO2006115939A1 (en) Using time in recognizing persons in images
US8731291B2 (en) Estimating the clutter of digital images
JP6349448B1 (ja) 情報処理装置、情報処理プログラム、及び、情報処理方法
CN107231519B (zh) 视频处理装置及控制方法
US20260045117A1 (en) Video processing system, video processing method, and non-transitory computer-readable medium
JP2016197345A (ja) 画像解析装置、画像解析方法、およびプログラム
JP6855175B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP2019121184A (ja) 照合装置、照合方法およびコンピュータプログラム
JP2019040592A (ja) 情報処理装置、情報処理プログラム、及び、情報処理方法
JP6789676B2 (ja) 画像処理装置、画像処理方法およびプログラム
CN115457644B (zh) 一种基于扩展空间映射获得目标的识图方法及装置
Moise et al. Face recognition using modified generalized Hough transform and gradient distance descriptor
Kim et al. Salient region detection using discriminative feature selection

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080045981.1

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10823396

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2011536146

Country of ref document: JP

Ref document number: 13501647

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2010823396

Country of ref document: EP