JP2016162103A - Image processing program, image processing apparatus, and image processing method - Google Patents
Image processing program, image processing apparatus, and image processing method Download PDFInfo
- Publication number
- JP2016162103A JP2016162103A JP2015039132A JP2015039132A JP2016162103A JP 2016162103 A JP2016162103 A JP 2016162103A JP 2015039132 A JP2015039132 A JP 2015039132A JP 2015039132 A JP2015039132 A JP 2015039132A JP 2016162103 A JP2016162103 A JP 2016162103A
- Authority
- JP
- Japan
- Prior art keywords
- region
- color
- skin
- image
- hair
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
開示の技術は、画像処理プログラム、画像処理装置、及び画像処理方法に関する。 The disclosed technology relates to an image processing program, an image processing apparatus, and an image processing method.
近年、オフィスやショッピングセンター、商店街等様々な場所に設置された監視カメラ等で撮像された映像に写る人物を検出することが行われている。 In recent years, it has been performed to detect a person appearing in an image captured by a monitoring camera or the like installed in various places such as an office, a shopping center, and a shopping street.
人物を検出する技術として、人物を検出するための照合パターンと画像とを照合することにより、人物を検出する技術が知られている。 As a technique for detecting a person, a technique for detecting a person by collating a collation pattern for detecting a person with an image is known.
また、撮像装置で撮像された映像から得られる画像において、肌の色らしさや髪の色らしさ等から人物を検出する技術が知られている。 In addition, there is known a technique for detecting a person from an image obtained from an image captured by an imaging apparatus based on skin color or hair color.
照合パターンと画像とを照合して人物を検出する場合、映像に写っている人物の顔の向きや髪型等に応じた複数種類の照合パターンが必要とされる場合がある。複数種類の照合パターンと画像とを照合する場合、例えば、照合に要する時間が膨大になる等の問題が生じる。 When a person is detected by collating a collation pattern with an image, a plurality of types of collation patterns may be required depending on the face orientation, hairstyle, and the like of the person shown in the video. When collating a plurality of types of collation patterns with images, for example, problems such as enormous time required for collation occur.
開示の技術は一つの側面として、顔の向きや髪型によらず、少ない照合パターンにより、人物を精度よく検出することを目的とする。 One aspect of the disclosed technology is to accurately detect a person with a small number of collation patterns regardless of the face orientation and hairstyle.
1つの態様では、人物が写っている画像から前記人物の肌領域を特定する。また、特定した前記肌領域と、前記肌領域から前記人物の頭髪部とみなせる頭髪部領域と、が照合処理で同じ領域とみなされるように、前記肌領域及び前記頭髪部領域の少なくとも一方の画素情報の値を変換する。さらに、値を変換した前記領域を含む画像を、頭部か否かを判断するための照合パターンと照合する前記照合処理を行う、ことを含む処理を実行させる。 In one aspect, the skin area of the person is specified from an image in which the person is captured. In addition, at least one pixel of the skin region and the hair portion region so that the identified skin region and a hair portion region that can be regarded as the head portion of the person from the skin region are regarded as the same region in the matching process Convert information values. Furthermore, a process including performing the collation process for collating an image including the region whose value has been converted with a collation pattern for determining whether or not it is the head is executed.
一つの側面として、顔の向きや髪型によらず、少ない照合パターンにより、人物を精度よく検出することができる、という効果を有する。 As one aspect, there is an effect that a person can be accurately detected with a small number of collation patterns regardless of the face orientation and hairstyle.
以下、図面を参照して開示の技術の一例を詳細に説明する。 Hereinafter, an example of the disclosed technique will be described in detail with reference to the drawings.
図1は、本実施形態に係る画像処理システム10の一例の概略構成図である。図1に示すように、画像処理システム10は、撮像装置12と、画像処理装置14と、を備える。撮像装置12と、画像処理装置14とは、ネットワーク16を介して接続されている。なお、画像処理システム10が備える撮像装置12の数は、本実施形態に限らず、2以上であってもよい。 FIG. 1 is a schematic configuration diagram of an example of an image processing system 10 according to the present embodiment. As shown in FIG. 1, the image processing system 10 includes an imaging device 12 and an image processing device 14. The imaging device 12 and the image processing device 14 are connected via a network 16. Note that the number of imaging devices 12 included in the image processing system 10 is not limited to this embodiment, and may be two or more.
図1に示した画像処理システム10は、撮像装置12が撮像した映像に写っている人物を検出する機能を有する。 The image processing system 10 illustrated in FIG. 1 has a function of detecting a person in an image captured by the imaging device 12.
撮像装置12は、所定のエリアの映像を撮像する機能を有しており、いわゆる監視カメラである。本実施形態の撮像装置12は、常に監視エリアの動画像を撮像しており、撮像した映像(動画像)は、ネットワーク16を介して画像処理装置14に出力される。 The imaging device 12 has a function of capturing an image of a predetermined area, and is a so-called monitoring camera. The imaging device 12 of the present embodiment always captures a moving image in the monitoring area, and the captured video (moving image) is output to the image processing device 14 via the network 16.
画像処理装置14は、撮像装置12が撮像した映像中の人物(具体的には、人物を表す画像)を検出する機能を有する。 The image processing device 14 has a function of detecting a person (specifically, an image representing a person) in a video imaged by the imaging device 12.
図2には、本実施形態の画像処理装置14の一例の機能的な概略構成を表す機能ブロック図を示す。 FIG. 2 is a functional block diagram showing a functional schematic configuration of an example of the image processing apparatus 14 of the present embodiment.
図2に示すように、画像処理装置14は、映像取得部20、映像DB(Data Base)22、肌色画素検出部24、肌領域生成部26、色変換部28、照合部30、検出用マスクDB32、検出結果DB34、及び表示部36を備える。 As shown in FIG. 2, the image processing apparatus 14 includes a video acquisition unit 20, a video DB (Data Base) 22, a skin color pixel detection unit 24, a skin region generation unit 26, a color conversion unit 28, a collation unit 30, and a detection mask. DB32, detection result DB34, and the display part 36 are provided.
映像取得部20は、撮像装置12が撮像した映像を撮像装置12から取得する機能を有する。映像取得部20が取得した映像は、映像DB22に記憶される。 The video acquisition unit 20 has a function of acquiring video captured by the imaging device 12 from the imaging device 12. The video acquired by the video acquisition unit 20 is stored in the video DB 22.
肌色画素検出部24は、開示の技術の特定部の一例であり、撮像装置12が撮像した動画像である映像をフレーム毎の画像(静止画像)に変換し、変換した画像から肌色の画素を検出する機能を有する。 The skin color pixel detection unit 24 is an example of a specifying unit of the disclosed technology, converts a video that is a moving image captured by the imaging device 12 into an image (still image) for each frame, and then converts skin color pixels from the converted image. It has a function to detect.
肌領域生成部26は、開示の技術の特定部の一例であり、肌色画素検出部24が検出した肌色画素に基づいて肌領域を形成する機能を有する。なお、本実施形態において、肌領域は、画像に写っている人物の頭部の肌領域(すなわち顔領域)を指す。 The skin region generation unit 26 is an example of a specifying unit of the disclosed technology, and has a function of forming a skin region based on the skin color pixels detected by the skin color pixel detection unit 24. In the present embodiment, the skin area refers to the skin area (that is, the face area) of the head of the person shown in the image.
色変換部28は、開示の技術の変換部の一例であり、肌領域生成部26が生成した肌領域の色を変換する機能を有する。本実施形態の色変換部28は、肌領域及び画像に写っている人物の頭髪部とみなせる領域(以下、「頭髪部領域」という)を対象領域として、当該対象領域の色を同一の色に変換する。本実施形態では、色変換部28は、具体例として、対象領域の色を、頭髪部領域(頭髪)の色、もしくは、無彩色に変換する機能を有する。なお、本実施形態では、画素の色が開示の技術の画素情報の一例に対応する。 The color conversion unit 28 is an example of a conversion unit of the disclosed technology, and has a function of converting the color of the skin region generated by the skin region generation unit 26. The color conversion unit 28 of the present embodiment uses a skin region and a region that can be regarded as a hair portion of a person shown in an image (hereinafter referred to as a “hair portion region”) as a target region, and changes the color of the target region to the same color. Convert. In the present embodiment, as a specific example, the color conversion unit 28 has a function of converting the color of the target region into the color of the hair region (hair) or an achromatic color. In the present embodiment, the color of the pixel corresponds to an example of pixel information of the disclosed technology.
照合部30は、色変換部28が色を変換した対象領域を含む画像を、検出用マスクDBに記憶されている検出用マスクと照合することにより、画像中に含まれる人物(人物の頭部)を検出する機能を有する。照合部30の検出結果は、検出結果DB34に記憶される。 The collation unit 30 collates an image including the target region whose color has been converted by the color conversion unit 28 with a detection mask stored in the detection mask DB, thereby to detect a person (person's head) included in the image. ). The detection result of the collation unit 30 is stored in the detection result DB 34.
表示部36は、検出した人物に関する情報等を表示する機能を有する。 The display unit 36 has a function of displaying information about the detected person.
なお、画像処理装置14は、例えば図3に示すコンピュータ50で実現することができる。コンピュータ50は、CPU(Central Processing Unit)52、入出力インターフェース(I/F)54、ネットワークI/F56、メモリ58、及び不揮発性の記憶部60を備える。CPU52、入出力I/F54、ネットワークI/F56、メモリ58、及び記憶部60は、バス80を介して互いに接続されている。ネットワークI/F56は、ネットワーク16を介して撮像装置12と接続される。 The image processing apparatus 14 can be realized by a computer 50 shown in FIG. 3, for example. The computer 50 includes a central processing unit (CPU) 52, an input / output interface (I / F) 54, a network I / F 56, a memory 58, and a nonvolatile storage unit 60. The CPU 52, input / output I / F 54, network I / F 56, memory 58, and storage unit 60 are connected to each other via a bus 80. The network I / F 56 is connected to the imaging device 12 via the network 16.
記憶部60はHDD(Hard Disk Drive)やフラッシュメモリ等によって実現できる。記憶媒体としての記憶部60には、コンピュータ50を画像処理装置14として機能させるため画像処理プログラム62が記憶されている。CPU52は、画像処理プログラム62を記憶部60から読み出してメモリ58に展開し、画像処理プログラム62が有する各プロセスを順次実行する。 The storage unit 60 can be realized by an HDD (Hard Disk Drive), a flash memory, or the like. An image processing program 62 for causing the computer 50 to function as the image processing apparatus 14 is stored in the storage unit 60 as a storage medium. The CPU 52 reads the image processing program 62 from the storage unit 60 and develops it in the memory 58, and sequentially executes each process of the image processing program 62.
画像処理プログラム62は、映像取得プロセス64、肌色画素検出プロセス66、肌領域生成プロセス68、色変換プロセス70、及び照合プロセス72を有する。 The image processing program 62 includes a video acquisition process 64, a skin color pixel detection process 66, a skin area generation process 68, a color conversion process 70, and a matching process 72.
また、記憶部60の映像DB記憶領域74は、映像DB22が記憶される記憶領域として機能する。また、記憶部60の検出用マスク記憶領域76は、検出用マスクDB32が記憶される記憶領域として機能する。また、記憶部60の検出結果DB記憶領域78は、検出結果DB34が記憶される記憶領域として機能する。 The video DB storage area 74 of the storage unit 60 functions as a storage area in which the video DB 22 is stored. Further, the detection mask storage area 76 of the storage unit 60 functions as a storage area in which the detection mask DB 32 is stored. Further, the detection result DB storage area 78 of the storage unit 60 functions as a storage area in which the detection result DB 34 is stored.
CPU52は、映像取得プロセス64を実行することで、映像取得部20として動作する。また、CPU52は、肌色画素検出プロセス66を実行することで、肌色画素検出部24として動作する。また、CPU52は、肌領域生成プロセス68を実行することで、肌領域生成部26として動作する。また、CPU52は、色変換プロセス70を実行することで、色変換部28として動作する。また、CPU52は、照合プロセス72を実行することで、照合部30として動作する。 The CPU 52 operates as the video acquisition unit 20 by executing the video acquisition process 64. The CPU 52 operates as the flesh color pixel detection unit 24 by executing the flesh color pixel detection process 66. Further, the CPU 52 operates as the skin region generation unit 26 by executing the skin region generation process 68. Further, the CPU 52 operates as the color conversion unit 28 by executing the color conversion process 70. Further, the CPU 52 operates as the matching unit 30 by executing the matching process 72.
これにより、画像処理プログラム62を実行したコンピュータ50が、画像処理装置14として機能する。 Thereby, the computer 50 that has executed the image processing program 62 functions as the image processing apparatus 14.
なお、コンピュータ50は、いわゆるデスクトップ型のパーソナルコンピュータに限定されない。コンピュータ50は、ラップトップ型のパーソナルコンピュータであってもよいし、タブレット端末やスマートフォンに代表されるPDA(Personal Digital Assistants:携帯情報端末装置)等であってもよい。 The computer 50 is not limited to a so-called desktop personal computer. The computer 50 may be a laptop personal computer, a PDA (Personal Digital Assistants: portable information terminal device) represented by a tablet terminal or a smartphone, or the like.
なお、画像処理装置14は、例えば半導体集積回路、より詳しくはASIC(Application Specific Integrated Circuit)等で実現することも可能である。 Note that the image processing apparatus 14 can be realized by, for example, a semiconductor integrated circuit, more specifically, an ASIC (Application Specific Integrated Circuit) or the like.
次に、本実施形態に係る画像処理装置14による作用について説明する。 Next, the operation of the image processing apparatus 14 according to this embodiment will be described.
画像処理装置14の映像取得部20は、撮像装置12が撮像した映像をネットワーク16を介して取得し、画像処理を行う前に、予め映像DB22に記憶させておく。映像取得部20が映像を取得して映像DB22に記憶させるタイミングは特に限定されない。このようなタイミングとしては、例えば、10分毎や数時間毎等、所定の時間毎のタイミング等が挙げられる。また例えば、撮像装置12が撮像するタイミングに応じて、撮像した映像をリアルタイムに取得するようにしてもよい。 The video acquisition unit 20 of the image processing device 14 acquires the video captured by the imaging device 12 via the network 16 and stores it in the video DB 22 in advance before performing image processing. The timing at which the video acquisition unit 20 acquires video and stores it in the video DB 22 is not particularly limited. Examples of such timing include timing at predetermined time intervals such as every 10 minutes and every several hours. Further, for example, the captured image may be acquired in real time according to the timing when the imaging device 12 captures an image.
本実施形態の画像処理装置14では、映像DB22に映像が記憶されている状態で、画像処理が実行される。本実施形態の画像処理装置14で行われる画像処理について説明する。図4には、本実施形態の画像処理装置14で行われる画像処理の一例のフローチャートを示す。 In the image processing apparatus 14 according to the present embodiment, image processing is executed in a state where video is stored in the video DB 22. Image processing performed by the image processing apparatus 14 of the present embodiment will be described. FIG. 4 shows a flowchart of an example of image processing performed by the image processing apparatus 14 of the present embodiment.
本実施形態の画像処理装置14では、図4に示した画像処理は、予め定められたタイミング、もしくは画像から人物の検出を行うことを所望するユーザが指示したタイミングで実行される。予め定められたタイミングとは、特に限定されないが、例えば、10分毎や数時間毎等、所定の時間毎のタイミング等が挙げられる。また例えば、所定の時間毎等ではなく、映像取得部20が撮像装置12から映像を取得して映像DB22に記憶させるのに連動して行うようにしてもよい。 In the image processing apparatus 14 of the present embodiment, the image processing shown in FIG. 4 is executed at a predetermined timing or a timing instructed by a user who desires to detect a person from an image. The predetermined timing is not particularly limited, and examples thereof include a timing at every predetermined time such as every 10 minutes or every several hours. Further, for example, instead of every predetermined time, the video acquisition unit 20 may acquire the video from the imaging device 12 and store the video in the video DB 22.
ステップS100で肌色画素検出部24は、映像(画像)中から肌色の画素を検出する。具体的には、肌色画素検出部24は、映像DB22から映像を読み出してフレーム毎の画像(静止画像)に変換する。図5には、本実施形態の肌色画素検出部24が、変換した画像の一例の模式図を示す。図5は、5人の人物(人物102、104、106、108、110)が写った画像100を示している。人物102、104、106は、画像100中に顔及び頭髪が写っている。人物108は、画像100中に顔が写っているが、頭髪は写っていない。また、人物110は、画像100中に後頭部が写っており、顔は写っていない。以下では、具体例として、図5に示した模式図に写る人物を検出する場合について説明する。 In step S100, the flesh color pixel detection unit 24 detects flesh color pixels from the video (image). Specifically, the flesh color pixel detection unit 24 reads a video from the video DB 22 and converts it into an image (still image) for each frame. In FIG. 5, the schematic diagram of an example of the image which the skin color pixel detection part 24 of this embodiment converted is shown. FIG. 5 shows an image 100 in which five persons (persons 102, 104, 106, 108, 110) are shown. The persons 102, 104, and 106 have faces and hairs in the image 100. The person 108 has a face in the image 100 but no hair. Further, the person 110 has a back head in the image 100 and no face. Hereinafter, as a specific example, a case where a person shown in the schematic diagram shown in FIG. 5 is detected will be described.
肌色画素検出部24は、該画像に含まれる肌色の画素を検出する。肌色の画素を検出することにより、人物の顔を構成する画素の候補を検出する。 The skin color pixel detection unit 24 detects skin color pixels included in the image. By detecting skin-colored pixels, pixel candidates that constitute a human face are detected.
肌色画素検出部24が肌色の画素を検出する方法は特に限定されず、画像中の各画素の色(R(Red)、G(Green)、B(Blue))が予め定義した肌色であるか否かを判定すればよい。また、下記の文献に記載されている方法を用いてもよい。 The method by which the flesh color pixel detection unit 24 detects flesh color pixels is not particularly limited. Is the color (R (Red), G (Green), B (Blue)) of each pixel in the image a predefined flesh color? What is necessary is just to determine. Moreover, you may use the method described in the following literature.
松橋 聡, 藤本 研司, 中村 納, 南 敏, “顔領域抽出に有効な修正HSV 表色系の提案,”テレビ誌, vol.49, no.6, pp.787−797, June 1995。 Satoshi Matsuhashi, Kenji Fujimoto, Nobu Nakamura, Satoshi Minami, “Proposal of a modified HSV color system effective for face region extraction,” TV magazine, vol.49, no.6, pp.787-797, June 1995.
Satoshi Matsuhashi, Osamu Nakamura and Toshi Minami,“Human-face extraction using modified HSV color system and personal identification through facial image based on isodensity maps,”。Proc. Canadian Conference on Electrical and Computer Engineering, pp. 909-912, 1995。 Satoshi Matsuhashi, Osamu Nakamura and Toshi Minami, “Human-face extraction using modified HSV color system and personal identification through facial image based on isodensity maps,”. Proc. Canadian Conference on Electrical and Computer Engineering, pp. 909-912, 1995.
次のステップS102で肌領域生成部26は、検出された肌色の画素をグルーピングし、肌領域を生成する。具体的には、近接する肌色の画素をグルーピングしてラベリングすることにより、画像に写る人物の顔の部分にあたる領域の候補を生成する。 In the next step S102, the skin region generation unit 26 groups the detected skin color pixels to generate a skin region. Specifically, by grouping and labeling adjacent skin-colored pixels, a candidate for a region corresponding to a face portion of a person appearing in an image is generated.
肌領域生成部26が、肌領域を生成する方法は、特に限定されず、例えば、下記文献に記載されている方法を用いればよい。
長尾真 デジタル画像処理 pp.360-361。
R. M. Haralick and L. Shapiro, Computer and robot vision, Addison-Wesley, pp. 28−48, 1992。
The method by which the skin region generation unit 26 generates the skin region is not particularly limited, and for example, a method described in the following document may be used.
Makoto Nagao Digital image processing pp.360-361.
RM Haralick and L. Shapiro, Computer and robot vision, Addison-Wesley, pp. 28-48, 1992.
図6には、図5に示した画像100において生成した肌領域の一例の模式図を示す。図6に点線で示すように、画像100からは、人物102、104、106、108の4人の肌領域が生成される。人物110については、画像100中に顔が写っておらず、肌色の画素が検出されなかったため、肌領域は生成されない。 FIG. 6 shows a schematic diagram of an example of a skin region generated in the image 100 shown in FIG. As indicated by dotted lines in FIG. 6, four skin areas of persons 102, 104, 106, and 108 are generated from the image 100. For the person 110, no face is shown in the image 100, and no skin color pixels are detected, so no skin region is generated.
次のステップS104で色変換部28は、肌領域(n)について、n=1とし、次のステップS106へ進む。 In the next step S104, the color conversion unit 28 sets n = 1 for the skin region (n), and proceeds to the next step S106.
ステップS106で色変換部28は、生成された肌領域に対して所定の位置関係の位置に頭髪部領域が有るか否かを判断する。 In step S <b> 106, the color conversion unit 28 determines whether or not the hair part region exists at a position having a predetermined positional relationship with the generated skin region.
色変換部28が、頭髪部領域が有るか否かを判断する方法は、特に限定されない。例えば、肌領域生成部26が生成した肌領域を人物の顔とみなした場合の、肌領域に隣接する頭頂部にあたる位置(図6では、上側)に、無彩色の画素が有る場合には、無彩色の画素が形成する領域を頭髪部領域と判断してもよい。一般的に、頭髪は、無彩色である場合が多いため、無彩色を、頭髪の色とみなすことにより、無彩色の画素が形成する領域を頭髪部領域とみなすことができる。なお、この場合において、頭頂部にあたる位置は、画像100中における肌領域に対する頭頂部の位置を、撮像装置12の向き等により予め得ておけばよい。 The method by which the color conversion unit 28 determines whether or not there is a hair part region is not particularly limited. For example, when the skin region generated by the skin region generation unit 26 is regarded as a person's face, and there is an achromatic pixel at a position corresponding to the top of the head adjacent to the skin region (upper side in FIG. 6), A region formed by achromatic pixels may be determined as a hair region. In general, since the hair is often achromatic, the region formed by the achromatic pixel can be regarded as the hair portion region by regarding the achromatic color as the color of the hair. In this case, the position corresponding to the top of the head may be obtained in advance from the position of the top of the head relative to the skin region in the image 100 depending on the orientation of the imaging device 12 or the like.
なお、「肌領域に隣接する頭頂部にあたる位置」の数は、1つでもよいが、複数であることが好ましい。なお、当該数については、肌領域の大きさ、画像全体の大きさ、及び画像の解像度等に応じて定めてもよい。 Note that the number of “positions corresponding to the top of the head adjacent to the skin region” may be one, but is preferably a plurality. Note that the number may be determined according to the size of the skin region, the size of the entire image, the resolution of the image, and the like.
なお、頭頂部にあたる位置には、頭髪が写っていないが、顔の横にあたる位置には、頭髪が写っている場合がある。そのため、このように、肌領域に隣接する領域から頭髪部領域を判断する場合は、頭頂部にあたる位置以外についても無彩色の画素の有無を判断し、無彩色の画素が有る場合には、無彩色の画素が形成する領域を頭髪部領域と判断してもよい。 In addition, although the hair is not reflected in the position corresponding to the top of the head, the hair may be reflected in the position corresponding to the side of the face. Therefore, when determining the hair region from the region adjacent to the skin region in this way, the presence or absence of achromatic pixels other than the position corresponding to the top of the head is determined. The region formed by the colored pixels may be determined as the hair region.
その他の判断方法としては、背景との差分から動きのある領域(前景)を抽出し、抽出した前景(人物の画像)が、肌領域に対して頭頂部にあたる位置に有る場合は、当該前景を頭髪部領域と判断してもよい。なお、背景差分から動きのある領域を抽出する方法は、特に限定されず、下記文献に記載されている方法を用いてもよい。 As another determination method, a moving area (foreground) is extracted from the difference from the background, and when the extracted foreground (person image) is in a position corresponding to the top of the skin area, the foreground is The hair region may be determined. In addition, the method of extracting the area | region with a motion from a background difference is not specifically limited, You may use the method described in the following literature.
時間相関型背景判定法による移動物体検出、電子情報通信学会論文誌、D-II, vol.79, no.4, pp.568-576, 1995。 Moving object detection by time correlation type background judgment method, IEICE Transactions, D-II, vol.79, no.4, pp.568-576, 1995.
頭髪が有ると判断した場合は、肯定判定となり、ステップS108へ移行する。色変換部28は、図5に示した画像100からは、人物102、104、106の3人について頭髪部領域が有ると判断する。 If it is determined that there is hair, an affirmative determination is made and the process proceeds to step S108. From the image 100 shown in FIG. 5, the color conversion unit 28 determines that there are hair region for three persons 102, 104, and 106.
ステップS108で色変換部28は、肌領域の色と頭髪部領域の色とを同一の色に変換する。本実施形態の色変換部28は、頭髪部領域の画素の色で肌領域の画素の色へ変換することにより、肌領域及び頭部領域(対象領域)の色を同一の色に変換する。 In step S108, the color conversion unit 28 converts the color of the skin region and the color of the hair region into the same color. The color conversion unit 28 of this embodiment converts the color of the skin region and the head region (target region) into the same color by converting the color of the pixel of the hair region into the color of the pixel of the skin region.
図7には、肌領域の画素の色を頭髪部領域の色に変換する色変換を説明するための説明図を示す。図7は、色変換部28が頭髪が有ると判断した人物102、104、106の3人について、肌領域の色を頭髪部領域の色に変換した状態を示している。 FIG. 7 is an explanatory diagram for explaining color conversion for converting the color of the pixel in the skin region into the color of the hair region. FIG. 7 shows a state in which the color of the skin region is converted into the color of the hair region for three persons 102, 104, and 106 that the color conversion unit 28 has determined to have hair.
色変換部28が、肌領域の画素の色を変換する方法は特に限定されない。例えば、上述したように、頭頂部にあたる位置の無彩色の領域を頭髪部領域と判断した場合は、各肌領域毎に、当該無彩色の領域の画素の色を、肌領域の画素の色へ変換する。この場合、無彩色の領域に複数の色の画素が含まれている場合は、例えば、最も多くの画素の色(無彩色)へ変換してもよいし、複数の無彩色のうちの予め定められた無彩色(または予め定められた無彩色に近い無彩色)へ変換してもよい。 The method by which the color conversion unit 28 converts the color of the pixel in the skin area is not particularly limited. For example, as described above, when the achromatic region at the position corresponding to the top of the head is determined as the hair region, the color of the pixel in the achromatic region is changed to the color of the pixel in the skin region for each skin region. Convert. In this case, when a pixel of a plurality of colors is included in the achromatic color region, for example, it may be converted to the color of the largest number of pixels (achromatic color), or a predetermined one of the plurality of achromatic colors may be determined in advance. You may convert into the achromatic color (or the achromatic color close | similar to a predetermined achromatic color) determined.
また例えば、上述したように、背景差分から頭髪部領域を判断した場合は、各肌領域毎に、肌領域の画素の色を、頭髪部領域の色へ変換する。この場合、例えば、上記と同様に、頭髪部領域に複数の色の画素が含まれている場合は、最も多くの画素に対応する色へ変換してもよいし、肌領域との境界にあたる色へ変換してもよい。 For example, as described above, when the hair region is determined from the background difference, the color of the pixel in the skin region is converted into the color of the hair region for each skin region. In this case, for example, as described above, when a plurality of color pixels are included in the hair region, it may be converted to a color corresponding to the most pixels, or a color corresponding to the boundary with the skin region May be converted to
次のステップS110で照合部30は、変換した色が無彩色であるか否かを判断する。無彩色の場合は、肯定判定となり、ステップS116へ移行する。一方、無彩色ではない場合は、否定判定となり、ステップS112へ移行する。 In the next step S110, the collation unit 30 determines whether or not the converted color is an achromatic color. If the color is achromatic, the determination is affirmative, and the process proceeds to step S116. On the other hand, if it is not an achromatic color, a negative determination is made and the process proceeds to step S112.
ステップS112で照合部30は、変換した色を、無彩色へ変換する。ここで照合部30が、変換する無彩色は特に限定されないが、例えば、予め定められた無彩色が挙げられる。なお、予め定められた無彩色とは、背景の色と離れた色(例えば、色座標上での距離が所定値以上)であることが好ましい。 In step S112, the collation unit 30 converts the converted color into an achromatic color. Here, the achromatic color to be converted by the collation unit 30 is not particularly limited, and examples thereof include a predetermined achromatic color. The predetermined achromatic color is preferably a color separated from the background color (for example, a distance on the color coordinate is a predetermined value or more).
なお、色変換部28が、頭頂部にあたる位置の無彩色の領域を頭髪部領域と判断した場合は、ステップS108で変換する色は無彩色になるため、上記ステップS110及びS112の処理を省略してもよい。一方、色変換部28が、背景差分から頭髪部領域を判断した場合は、ステップS108で変換する色が無彩色とは限らないため、本画像処理のように、ステップS108及びS112の処理を行う。 When the color conversion unit 28 determines that the achromatic region at the position corresponding to the top of the head is the hair region, the color to be converted in step S108 is an achromatic color, so the processing in steps S110 and S112 is omitted. May be. On the other hand, when the color conversion unit 28 determines the hair region from the background difference, the color to be converted in step S108 is not necessarily an achromatic color, and thus the processing in steps S108 and S112 is performed as in the main image processing. .
一方、ステップS106で色変換部28が、頭髪部領域がないと判断した場合は、否定判定となり、ステップS114へ移行する。色変換部28は、図5に示した画像100からは、人物108の1人について頭髪部領域がないと判断する。 On the other hand, if the color conversion unit 28 determines in step S106 that there is no hair region, the determination is negative and the process proceeds to step S114. The color conversion unit 28 determines from the image 100 shown in FIG. 5 that there is no hair region for one of the persons 108.
ステップS114で色変換部28は、肌領域の色を無彩色へ変換した後、ステップS116へ移行する。なお、色変換部28が変換する無彩色は特に限定されない。例えば、予め定められた無彩色へ変換してもよい。なお、予め定められた無彩色とは、上記ステップS112と同様に、背景の色と離れた色(例えば、色座標上での距離が所定値以上)であることが好ましい。また本ステップにおける予め定められた無彩色は、ステップS112で変換する予め定められた無彩色と同一であってもよいし、異なっていてもよい。 In step S114, the color conversion unit 28 converts the color of the skin region to an achromatic color, and then proceeds to step S116. The achromatic color converted by the color conversion unit 28 is not particularly limited. For example, it may be converted to a predetermined achromatic color. The predetermined achromatic color is preferably a color separated from the background color (for example, the distance on the color coordinates is a predetermined value or more), as in step S112. The predetermined achromatic color in this step may be the same as or different from the predetermined achromatic color converted in step S112.
また例えば、背景部にあたる画素の色から最も離れた無彩色へ変換してもよい。この場合の変換方法について図8を参照して詳細に説明する。図8には、頭髪部領域がない場合に肌領域の色を、無彩色へ変換する色変換を説明するための説明図を示す。 Further, for example, the color may be converted to an achromatic color farthest from the color of the pixel corresponding to the background portion. The conversion method in this case will be described in detail with reference to FIG. FIG. 8 is an explanatory diagram for explaining color conversion for converting the color of the skin region into an achromatic color when there is no hair region.
肌領域の重心の位置の画素(gx、gy)から、画像上で上下方向、及び左右方向(図8の矢印方向)に進み、肌領域に接する画素の色(ri、gi、bi)から最も離れた無彩色(c、c、c)に変換する。無彩色の色を規定する「c」は、下記(1)式の「J」が最大値となる場合のcを導出すればよい。なお下記(1)式に示したように、「i」は、無彩色の色(「c」)を導出するために用いる画素の位置の数である。例えば、上下方向、及び左右方向の各々から1画素ずつ用いて、それぞれの画素の色に対して最も離れた無彩色を導出する場合は、i=4になる。 From the pixel (gx, gy) at the position of the center of gravity of the skin region, it proceeds in the vertical direction and the left-right direction (the arrow direction in FIG. 8) on the image, and is the most from the color (ri, gi, bi) of the pixel in contact with the skin region Convert to separated achromatic colors (c, c, c). “C” that defines the achromatic color may be derived when “J” in the following equation (1) is the maximum value. As shown in the following formula (1), “i” is the number of pixel positions used for deriving an achromatic color (“c”). For example, when using one pixel from each of the vertical direction and the horizontal direction to derive the most distant achromatic color with respect to the color of each pixel, i = 4.
次のステップS116で照合部30は、nをインクリメントしてn=n+1とし、次のステップS118へ移行する。
In the next step S116, the collation unit 30 increments n to n = n + 1, and proceeds to the next step S118.
ステップS118で照合部30は、nが、検出した肌領域の数よりも大きいか否かを判断する。画像100の場合は、検出した肌領域の数が4であるため、n>4であるか否かを判断する。否定判定となった場合は、ステップS106に戻り、上記ステップS106〜S116の処理を繰り返す。一方、肯定判定となった場合は、ステップS120へ移行する。 In step S118, the collation unit 30 determines whether n is larger than the number of detected skin regions. In the case of the image 100, since the number of detected skin regions is 4, it is determined whether or not n> 4. When it becomes negative determination, it returns to step S106 and repeats the process of said step S106-S116. On the other hand, when it becomes affirmation determination, it transfers to step S120.
ステップS120で照合部30は、対象領域を含む画像と、検出用DB32に記憶されている検出用マスクと、を照合した後、本画像処理を終了する。本実施形態の検出用マスクとは、開示の技術の照合パターンの一例であり、頭部の形状モデルである。具体的には本実施形態の検出用マスクは、人物の後頭部の画像を検出するための検出用マスクである。上述のように、本実施形態では、顔にあたる領域である肌領域の色を、頭髪部領域の色へ変換しているため、後頭部を検出するための検出用マスクにより照合を行うことができる。 In step S120, the collation unit 30 collates the image including the target region with the detection mask stored in the detection DB 32, and then ends the image processing. The detection mask of the present embodiment is an example of a matching pattern according to the disclosed technique, and is a head shape model. Specifically, the detection mask of the present embodiment is a detection mask for detecting an image of a person's occipital region. As described above, in the present embodiment, since the color of the skin region that is the region corresponding to the face is converted into the color of the hair region, it is possible to perform collation using a detection mask for detecting the back of the head.
図9には、本実施形態の検出用マスクの一例の図を示す。図9に示した検出用マスク120は、頭髪の色を黒と想定した場合の検出用マスクの一例であり、頭部部分の色が一番暗く、上半身部分の色が二番目に暗く、周囲の部分(背景部分)の色が最も明るいことを想定した検出用マスクである。検出用マスク120の頭部部分122は、輝度値を−128、上半身部分の輝度値を1、及び背景部分124の輝度値を127としている。 FIG. 9 shows an example of the detection mask of this embodiment. The detection mask 120 shown in FIG. 9 is an example of a detection mask when the hair color is assumed to be black, the head portion color is the darkest, the upper body portion color is the second darkest, This is a detection mask assuming that the color of the part (background part) is the brightest. The head portion 122 of the detection mask 120 has a luminance value of −128, a luminance value of the upper body portion of 1, and a luminance value of the background portion 124 of 127.
照合方法は、特に限定されないが、具体例として本実施形態の照合部30は、画像100全体にわたり、検出用マスク120を移動させ、移動させた位置毎に、対応する画像100の領域の画素と検出用マスクとを照合する。まず、映像取得部20は、画像100の画素毎に0〜255で表される輝度値から、128を減算し、各画素の輝度値を、−128〜127へ変換する。そして、検出用マスク120の輝度値と、対応する位置にある画像100の画素の輝度値とを乗算し、乗算値を検出用マスク120の全体に亘って加算して加算値を導出する。対象領域を含む画像と検出用マスク120とを照合した場合、対象領域を含まない画像と検出用マスク120とを照合した場合に比べて、加算値の値が大きくなる。そのため、本実施形態の画像処理装置14では、予め実験等により、照合用の閾値を得ておき、加算値が当該閾値以上の場合は、対象領域の画像であると判断することにより、画像中の人物の画像を検出する。 Although the collation method is not particularly limited, as a specific example, the collation unit 30 of the present embodiment moves the detection mask 120 over the entire image 100, and for each of the moved positions, the corresponding pixels in the region of the image 100. Check against the detection mask. First, the video acquisition unit 20 subtracts 128 from the luminance value represented by 0 to 255 for each pixel of the image 100, and converts the luminance value of each pixel to -128 to 127. Then, the luminance value of the detection mask 120 is multiplied by the luminance value of the pixel of the image 100 at the corresponding position, and the multiplied value is added over the entire detection mask 120 to derive an added value. When the image including the target region and the detection mask 120 are collated, the value of the added value is larger than when the image not including the target region and the detection mask 120 are collated. Therefore, in the image processing apparatus 14 according to the present embodiment, a threshold value for collation is obtained in advance through experiments or the like, and when the added value is equal to or greater than the threshold value, it is determined that the image is in the target region. Detect the person's image.
なお、本実施形態の照合部30は、画像100中に写っている人物の顔の大きさが人物の位置等により異なるため、本実施形態では、検出用マスク120の大きさを異ならせて、複数回、画像100と検出用マスク120との照合を行う。 Note that the collation unit 30 of the present embodiment differs in the size of the person's face shown in the image 100 depending on the position of the person, etc. In this embodiment, the size of the detection mask 120 is varied, The image 100 and the detection mask 120 are collated a plurality of times.
また、検出用マスク120は、頭髪が黒色の場合の検出用マスクの具体例を示したが、頭髪が白色の場合の検出用マスクを別途用いることにより、頭髪が白色の人物の検出を行うことができる。このように、頭髪の色に応じて検出用マスクを検出用マスクDB32に予め記憶させておくことが好ましい。 Moreover, although the specific example of the detection mask when the hair is black is shown as the detection mask 120, it is possible to detect a person with white hair by separately using a detection mask when the hair is white. Can do. Thus, it is preferable that the detection mask is stored in advance in the detection mask DB 32 in accordance with the color of the hair.
本実施形態では、後頭部の画像を検出する検出用マスクを用いて照合を行うため、画像中に顔が写っている人物、及び顔が写っておらず、後頭部が写っている人物の両方を検出することができる。図5に示した画像100では、顔が写っている人物102、104、106、108、及び後頭部が写っている人物110の5人が検出される。 In this embodiment, since the detection mask for detecting the occipital image is used for collation, both the person whose face is reflected in the image and the person whose face is not reflected and whose occipital area is reflected are detected. can do. In the image 100 shown in FIG. 5, five persons 102, 104, 106, 108 with a face and a person 110 with a back head are detected.
本実施形態の照合部30は、検出結果として、画像中の人物の数を検出結果DB34に記憶させる。なお、検出結果をどのように記憶させるかは特に限定されず、検出元の画像や映像を特定する情報に対応付けて、画像中の人物の数を記憶させればよい。また、人物の数とともに、検出した人物の画像の位置を表す情報を記憶させてもよい。また、照合部30は、ユーザ等の所望に応じて検出結果を表示部36に表示してもよい。 The collation unit 30 of the present embodiment stores the number of persons in the image in the detection result DB 34 as the detection result. Note that how the detection result is stored is not particularly limited, and the number of persons in the image may be stored in association with the information specifying the detection source image or video. In addition to the number of persons, information indicating the position of the detected person image may be stored. Moreover, the collation part 30 may display a detection result on the display part 36 as desired by the user or the like.
このように検出用マスク120と画像100とを照合することにより、肌領域生成部26が生成した肌領域のうち、人物の顔及び後頭部の画像が検出され、顔ではない領域の画像は、検出されない。 In this way, by collating the detection mask 120 with the image 100, the human face and occipital images are detected from the skin area generated by the skin area generation unit 26, and the image of the area other than the face is detected. Not.
以上説明したように、本実施形態の画像処理装置14は、肌色画素検出部24が、撮像装置12から取得した映像に応じた画像から肌色の画素を検出する。肌領域生成部26は、検出した肌色の画素に基づいて、肌領域を生成する。これにより、肌色画素検出部24及び肌領域生成部26は、人物が写っている画像から人物の肌領域を特定する。そして、色変換部28は、特定した肌領域と、肌領域から当該人物の頭髪部領域と、が照合処理で同じ領域とみなされるように、肌領域の色を頭髪部領域の色(髪の毛の色)へ変換する。さらに、照合部30は、色を変換した対象領域の画像と、検出用マスクとを照合する照合処理を行い、輝度値に基づいて、人物の顔(顔画像)を検出する。 As described above, in the image processing device 14 of the present embodiment, the flesh color pixel detection unit 24 detects flesh color pixels from an image corresponding to the video acquired from the imaging device 12. The skin region generation unit 26 generates a skin region based on the detected skin color pixels. Thereby, the skin color pixel detection unit 24 and the skin region generation unit 26 specify the skin region of the person from the image in which the person is captured. Then, the color conversion unit 28 sets the color of the skin region to the color of the hair region (the hair region) so that the identified skin region and the human hair region from the skin region are regarded as the same region in the matching process. Color). Furthermore, the collation unit 30 performs collation processing for collating the image of the target area whose color has been converted with the detection mask, and detects a human face (face image) based on the luminance value.
一般的に、検出用マスクを用いて人物画像の検出を行う場合、顔の向きや髪型等に応じて、多数のパターンの検出用マスクを準備したり、多数のパターンを学習したりしなくてはならない。 In general, when detecting a human image using a detection mask, there is no need to prepare a detection mask for a large number of patterns or learn a large number of patterns according to the face orientation, hairstyle, etc. Must not.
また、人物を検出する元となる画像が低解像度(具体例として人物の頭部が10ピクセル以下)の場合、顔と頭髪部領域との境界を構成する画素自体が少ないため、大部分の画素が当該境界を構成する可能性がある。そのため、人物の顔の向きや髪型等を学習することにより検出用マスクを得る場合は、学習の効果が低く、また多数のパターンの検出用マスクを用意する必要が生じてしまう。 In addition, when the image from which the person is detected has a low resolution (specifically, the head of the person is 10 pixels or less), most of the pixels constituting the boundary between the face and the hair region are small. May constitute the boundary. Therefore, when a detection mask is obtained by learning the direction of the person's face, hairstyle, etc., the learning effect is low, and it becomes necessary to prepare detection masks for a large number of patterns.
これに対して本実施形態の画像処理装置14によれば、対象領域の色を同一の色とするため、人物の顔の向きや髪型等によらず、最も特徴が少ないパターンである後頭部用の検出用マスクを用いて画像中から人物を検出することができる。また、低解像度の画像からも、精度良く人物(人物の画像)を検出することができる。 On the other hand, according to the image processing apparatus 14 of the present embodiment, since the color of the target region is the same color, the pattern for the occipital region having the least feature is used regardless of the direction of the person's face or the hairstyle. A person can be detected from the image using the detection mask. In addition, a person (person image) can be detected with high accuracy from a low-resolution image.
従って、本実施形態の画像処理装置14によれば、顔の向きや髪型によらず、少ない照合パターンにより、人物を精度よく検出することができる。また、人物の顔を検出するための検出用マスクを得るために、人物の顔の向きや髪型等を学習する必要がなくなる。 Therefore, according to the image processing apparatus 14 of the present embodiment, it is possible to accurately detect a person with a small number of collation patterns regardless of the face orientation and hairstyle. In addition, in order to obtain a detection mask for detecting a person's face, it is not necessary to learn the direction of the person's face, the hairstyle, and the like.
また、本実施形態の画像処理装置14によれば、画像と照合する照合パターンの数が少なくなることにより、照合に要する時間を短縮することができる。 Moreover, according to the image processing apparatus 14 of this embodiment, the time required for collation can be shortened by reducing the number of collation patterns collated with the image.
また、本実施形態の画像処理装置14によれば、肌領域と、頭髪部領域とを、対象領域として用いて人物の検出を行うので、肌領域のみを用いる場合に比べて、領域の大きさ(面積)が大きくなるため、検出精度が向上する。 Further, according to the image processing apparatus 14 of the present embodiment, since the person is detected using the skin region and the hair region as the target region, the size of the region is larger than when only the skin region is used. Since (area) is increased, detection accuracy is improved.
なお、本実施形態では、画像処理のステップS108において、肌領域の色を、頭髪部領域の色へ変換することにより、対象領域の色を同一の色へ変換していたが、変換する色、及び方法は、これに限定されない。例えば、頭髪部領域の色を、肌領域の色へ変換してもよい。図10には、図7に示した 人物102、104、106の人物について、頭髪部領域の色を、肌領域の色へ変換する色変換を説明するための説明図を示す。図10に示すように、人物102、104、106の対象領域103、105、107の色は、それぞれ肌領域の色へ変換される。一般的に、人の肌の色は、髪の毛の色に比べて、個人差が少ないため、検出用マスクの数をより少なくすることができるので、照合にかかる処理をより高速に行うことができる。 In the present embodiment, in step S108 of the image processing, the color of the skin region is converted to the color of the hair region, so that the color of the target region is converted to the same color. The method is not limited to this. For example, the color of the hair region may be converted to the color of the skin region. FIG. 10 is an explanatory diagram for explaining color conversion for converting the color of the hair region into the color of the skin region for the persons 102, 104, and 106 shown in FIG. As shown in FIG. 10, the colors of the target areas 103, 105, and 107 of the persons 102, 104, and 106 are converted into the colors of the skin areas, respectively. In general, since the color of a person's skin has less individual differences than the color of the hair, the number of detection masks can be reduced, so that the processing for matching can be performed at a higher speed. .
なお、このように頭髪部領域の色を、肌領域の色へ変換する場合、人物108のように、頭髪部領域が検出されない場合は、そのまま色を変換をせずに、検出用マスクを用いて検出を行うことができる。一方、人物110のように後頭部が写っており、頭髪部領域のみであり、肌領域が検出されない場合は、別途、後頭部用の検出用マスクを用いて検出を行ってもよい。また、頭髪部領域の色を、肌領域の色へ変換する場合、上記画像処理のステップS100で肌色画素を検出し、ステップS102で肌領域を生成したのに代えて、頭髪とみなせる色の画素を検出し、頭髪部領域を生成してもよい。この場合、生成した頭髪部領域と、頭髪部領域に隣接する肌領域とを対象領域として同一の色へ変換すればよい。 When the color of the hair region is converted to the color of the skin region in this way, if the hair region is not detected as in the person 108, the detection mask is used without converting the color as it is. Can be detected. On the other hand, when the back of the head is shown like the person 110 and only the hair region is present, and the skin region is not detected, the detection may be performed separately using a detection mask for the back of the head. In addition, when converting the color of the hair region into the color of the skin region, the pixel of the color that can be regarded as the hair instead of detecting the skin color pixel in step S100 of the image processing and generating the skin region in step S102. May be detected to generate a hair region. In this case, the generated hair region and the skin region adjacent to the hair region may be converted into the same color as the target region.
なお、肌領域の色と頭髪部領域の色とを各々、変換してもよく、例えば、同一の無彩色に変換してもよい。 Note that the color of the skin region and the color of the hair region may be converted, for example, may be converted to the same achromatic color.
なお、本実施形態では、画素の輝度を用いて対象画像を含む画像と検出用マスクとを照合していたが、輝度に代わり彩度を用いてもよいし、輝度及び彩度を用いてもよい。 In the present embodiment, the image including the target image and the detection mask are collated using the luminance of the pixel. However, saturation may be used instead of the luminance, or luminance and saturation may be used. Good.
なお、本実施形態では、画像処理プログラム62が記憶部60に予め記憶(インストール)されている態様を説明したが、画像処理プログラム62を記憶媒体に記録された形態で提供することも可能である。記憶媒体としては、例えば、CD−ROM(Compact Disc Read Only Memory)、DVD−ROM(Digital Versatile Disk Read Only Memory)、及びUSB(Universal Serial Bus)メモリ等が挙げられる。 In the present embodiment, the mode in which the image processing program 62 is stored (installed) in advance in the storage unit 60 has been described. However, the image processing program 62 may be provided in a form recorded on a storage medium. . Examples of the storage medium include a CD-ROM (Compact Disc Read Only Memory), a DVD-ROM (Digital Versatile Disk Read Only Memory), and a USB (Universal Serial Bus) memory.
以上の上記実施形態に関し、更に以下の付記を開示する。 Regarding the above embodiment, the following additional notes are disclosed.
(付記1)
コンピュータに、
人物が写っている画像から前記人物の肌領域を特定し、
特定した前記肌領域と、前記肌領域から前記人物の頭髪部とみなせる頭髪部領域と、が照合処理で同じ領域とみなされるように、前記肌領域及び前記頭髪部領域の少なくとも一方の画素情報の値を変換し、
値を変換した前記領域を含む画像を、頭部か否かを判断するための照合パターンと照合する前記照合処理を行う、
ことを含む処理を実行させる画像処理プログラム。
(Appendix 1)
On the computer,
Identify the skin area of the person from the image of the person,
The pixel information of at least one of the skin region and the hair region is such that the identified skin region and the hair region that can be regarded as the human hair from the skin region are regarded as the same region in the matching process. Convert the value,
Performing the collation process for collating an image including the region into which the value has been converted with a collation pattern for determining whether or not the head.
An image processing program for executing processing including the above.
(付記2)
前記頭髪部領域の画素情報のうちの色情報を、前記肌領域の色情報を表す値へ変換する、
付記1に記載の画像処理プログラム。
(Appendix 2)
Converting the color information of the pixel information of the hair region into a value representing the color information of the skin region;
The image processing program according to attachment 1.
(付記3)
前記肌領域の画素情報のうちの色情報を、前記頭髪部領域の色情報を表す値へ変換する、
付記1に記載の画像処理プログラム。
(Appendix 3)
Converting the color information of the pixel information of the skin region into a value representing the color information of the hair region,
The image processing program according to attachment 1.
(付記4)
前記頭髪部領域が存在しない場合は、
前記肌領域の画素情報を変換せずにそのまま用いるか、前記肌領域の画素情報を予め定められた値に変換する、
付記1から付記3のいずれか1つに記載の画像処理プログラム。
(Appendix 4)
If the hair region does not exist,
The pixel information of the skin area is used as it is without being converted, or the pixel information of the skin area is converted into a predetermined value.
The image processing program according to any one of appendix 1 to appendix 3.
(付記5)
前記照合処理は、画素の輝度及び彩度の少なくとも一方を用いて照合を行う、
付記1から付記4のいずれか1つに記載の画像処理プログラム。
(Appendix 5)
The matching process performs matching using at least one of luminance and saturation of a pixel.
The image processing program according to any one of appendix 1 to appendix 4.
(付記6)
人物が写っている画像から前記人物の肌領域を特定する特定部と、
特定した前記肌領域と、前記肌領域から前記人物の頭髪部とみなせる頭髪部領域と、が照合処理で同じ領域とみなされるように、前記肌領域及び前記頭髪部領域の少なくとも一方の画素情報の値を変換する変換部と、
値を変換した前記領域を含む画像を、頭部か否かを判断するための照合パターンと照合する前記照合処理を行う照合部と、
を備えた画像処理装置。
(Appendix 6)
A specific unit that identifies the skin area of the person from an image of the person;
The pixel information of at least one of the skin region and the hair region is such that the identified skin region and the hair region that can be regarded as the human hair from the skin region are regarded as the same region in the matching process. A conversion unit for converting values;
A collation unit that performs the collation process for collating an image including the region in which the value is converted with a collation pattern for determining whether or not it is a head;
An image processing apparatus.
(付記7)
前記変換部は、前記頭髪部領域の画素情報のうちの色情報を、前記肌領域の色情報を表す値へ変換する、
付記6に記載の放射線画像撮影装置。
(Appendix 7)
The conversion unit converts color information of pixel information of the hair region into a value representing color information of the skin region.
The radiographic imaging apparatus according to appendix 6.
(付記8)
前記変換部は、前記肌領域の画素情報のうちの色情報を、前記頭髪部領域の色情報を表す値へ変換する、
付記6に記載の放射線画像撮影装置。
(Appendix 8)
The conversion unit converts color information of pixel information of the skin region into a value representing color information of the hair region;
The radiographic imaging apparatus according to appendix 6.
(付記9)
前記頭髪部領域が存在しない場合は、
前記変換部は、前記肌領域の画素情報を変換せずにそのまま用いるか、前記肌領域の画素情報を予め定められた値に変換する、
付記6から付記8のいずれか1つに記載の放射線画像撮影装置。
(Appendix 9)
If the hair region does not exist,
The conversion unit uses the pixel information of the skin region without conversion or converts the pixel information of the skin region into a predetermined value.
The radiographic imaging device according to any one of appendix 6 to appendix 8.
(付記10)
前記照合部が行う前記照合処理は、画素の輝度及び彩度の少なくとも一方を用いて照合を行う、
付記6から付記9のいずれか1つに記載の放射線画像撮影装置。
(Appendix 10)
The verification processing performed by the verification unit performs verification using at least one of luminance and saturation of a pixel.
The radiographic imaging device according to any one of appendix 6 to appendix 9.
(付記11)
コンピュータにより、
人物が写っている画像から前記人物の肌領域を特定し、
特定した前記肌領域と、前記肌領域から前記人物の頭髪部とみなせる頭髪部領域と、が照合処理で同じ領域とみなされるように、前記肌領域及び前記頭髪部領域の少なくとも一方の画素情報の値を変換し、
値を変換した前記領域を含む画像を、頭部か否かを判断するための照合パターンと照合する前記照合処理を行う、
ことを含む画像処理方法。
(Appendix 11)
By computer
Identify the skin area of the person from the image of the person,
The pixel information of at least one of the skin region and the hair region is such that the identified skin region and the hair region that can be regarded as the human hair from the skin region are regarded as the same region in the matching process. Convert the value,
Performing the collation process for collating an image including the region into which the value has been converted with a collation pattern for determining whether or not the head.
An image processing method.
(付記12)
前記頭髪部領域の画素情報のうちの色情報を、前記肌領域の色情報を表す値へ変換する、
付記11に記載の画像処理方法。
(Appendix 12)
Converting the color information of the pixel information of the hair region into a value representing the color information of the skin region;
The image processing method according to attachment 11.
(付記13)
前記肌領域の画素情報のうちの色情報を、前記頭髪部領域の色情報を表す値へ変換する、
付記11に記載の画像処理方法。
(Appendix 13)
Converting the color information of the pixel information of the skin region into a value representing the color information of the hair region,
The image processing method according to attachment 11.
(付記14)
前記頭髪部領域が存在しない場合は、
前記肌領域の画素情報を変換せずにそのまま用いるか、前記肌領域の画素情報を予め定められた値に変換する、
付記11から付記13のいずれか1つに記載の画像処理方法。
(Appendix 14)
If the hair region does not exist,
The pixel information of the skin area is used as it is without being converted, or the pixel information of the skin area is converted into a predetermined value.
The image processing method according to any one of appendix 11 to appendix 13.
(付記15)
前記照合処理は、画素の輝度及び彩度の少なくとも一方を用いて照合を行う、
付記11から付記14のいずれか1つに記載の画像処理方法。
(Appendix 15)
The matching process performs matching using at least one of luminance and saturation of a pixel.
The image processing method according to any one of appendix 11 to appendix 14.
10 人物検出システム
14 画像処理装置
24 肌色画素検出部
26 肌領域生成部
28 色変換部
30 照合部
50 コンピュータ
52 CPU
60 記憶部
62 画像処理プログラム
DESCRIPTION OF SYMBOLS 10 Person detection system 14 Image processing apparatus 24 Skin color pixel detection part 26 Skin area production | generation part 28 Color conversion part 30 Collation part 50 Computer 52 CPU
60 Storage Unit 62 Image Processing Program
Claims (7)
人物が写っている画像から前記人物の肌領域を特定し、
特定した前記肌領域と、前記肌領域から前記人物の頭髪部とみなせる頭髪部領域と、が照合処理で同じ領域とみなされるように、前記肌領域及び前記頭髪部領域の少なくとも一方の画素情報の値を変換し、
値を変換した前記領域を含む画像を、頭部か否かを判断するための照合パターンと照合する前記照合処理を行う、
ことを含む処理を実行させる画像処理プログラム。 On the computer,
Identify the skin area of the person from the image of the person,
The pixel information of at least one of the skin region and the hair region is such that the identified skin region and the hair region that can be regarded as the human hair from the skin region are regarded as the same region in the matching process. Convert the value,
Performing the collation process for collating an image including the region into which the value has been converted with a collation pattern for determining whether or not the head.
An image processing program for executing processing including the above.
請求項1に記載の画像処理プログラム。 Converting the color information of the pixel information of the hair region into a value representing the color information of the skin region;
The image processing program according to claim 1.
請求項1に記載の画像処理プログラム。 Converting the color information of the pixel information of the skin region into a value representing the color information of the hair region,
The image processing program according to claim 1.
前記肌領域の画素情報を変換せずにそのまま用いるか、前記肌領域の画素情報を予め定められた値に変換する、
請求項1から請求項3のいずれか1項に記載の画像処理プログラム。 If the hair region does not exist,
The pixel information of the skin area is used as it is without being converted, or the pixel information of the skin area is converted into a predetermined value.
The image processing program according to any one of claims 1 to 3.
請求項1から請求項4のいずれか1項に記載の画像処理プログラム。 The matching process performs matching using at least one of luminance and saturation of a pixel.
The image processing program according to any one of claims 1 to 4.
特定した前記肌領域と、前記肌領域から前記人物の頭髪部とみなせる頭髪部領域と、が照合処理で同じ領域とみなされるように、前記肌領域及び前記頭髪部領域の少なくとも一方の画素情報の値を変換する変換部と、
値を変換した前記領域を含む画像を、頭部か否かを判断するための照合パターンと照合する前記照合処理を行う照合部と、
を備えた画像処理装置。 A specific unit that identifies the skin area of the person from an image of the person;
The pixel information of at least one of the skin region and the hair region is such that the identified skin region and the hair region that can be regarded as the human hair from the skin region are regarded as the same region in the matching process. A conversion unit for converting values;
A collation unit that performs the collation process for collating an image including the region in which the value is converted with a collation pattern for determining whether or not it is a head;
An image processing apparatus.
人物が写っている画像から前記人物の肌領域を特定し、
特定した前記肌領域と、前記肌領域から前記人物の頭髪部とみなせる頭髪部領域と、が照合処理で同じ領域とみなされるように、前記肌領域及び前記頭髪部領域の少なくとも一方の画素情報の値を変換し、
値を変換した前記領域を含む画像を、頭部か否かを判断するための照合パターンと照合する前記照合処理を行う、
ことを含む画像処理方法。 By computer
Identify the skin area of the person from the image of the person,
The pixel information of at least one of the skin region and the hair region is such that the identified skin region and the hair region that can be regarded as the human hair from the skin region are regarded as the same region in the matching process. Convert the value,
Performing the collation process for collating an image including the region into which the value has been converted with a collation pattern for determining whether or not the head.
An image processing method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015039132A JP6467994B2 (en) | 2015-02-27 | 2015-02-27 | Image processing program, image processing apparatus, and image processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015039132A JP6467994B2 (en) | 2015-02-27 | 2015-02-27 | Image processing program, image processing apparatus, and image processing method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016162103A true JP2016162103A (en) | 2016-09-05 |
| JP6467994B2 JP6467994B2 (en) | 2019-02-13 |
Family
ID=56847023
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015039132A Expired - Fee Related JP6467994B2 (en) | 2015-02-27 | 2015-02-27 | Image processing program, image processing apparatus, and image processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6467994B2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020129298A (en) * | 2019-02-08 | 2020-08-27 | 株式会社日立製作所 | Computation system |
| JPWO2021186866A1 (en) * | 2020-03-19 | 2021-09-23 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08329278A (en) * | 1995-02-02 | 1996-12-13 | Matsushita Electric Ind Co Ltd | Image processing device |
| JP2006259847A (en) * | 2005-03-15 | 2006-09-28 | Matsushita Electric Ind Co Ltd | Automatic tracking device and automatic tracking method |
| JP2009169692A (en) * | 2008-01-16 | 2009-07-30 | Tokai Rika Co Ltd | Image forming apparatus and image processing method |
| JP2009237993A (en) * | 2008-03-27 | 2009-10-15 | Secom Co Ltd | Image monitoring device |
| JP2011141622A (en) * | 2010-01-05 | 2011-07-21 | Canon Inc | Detection apparatus and method |
| JP2011221812A (en) * | 2010-04-09 | 2011-11-04 | Sony Corp | Information processing device, method and program |
-
2015
- 2015-02-27 JP JP2015039132A patent/JP6467994B2/en not_active Expired - Fee Related
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08329278A (en) * | 1995-02-02 | 1996-12-13 | Matsushita Electric Ind Co Ltd | Image processing device |
| JP2006259847A (en) * | 2005-03-15 | 2006-09-28 | Matsushita Electric Ind Co Ltd | Automatic tracking device and automatic tracking method |
| JP2009169692A (en) * | 2008-01-16 | 2009-07-30 | Tokai Rika Co Ltd | Image forming apparatus and image processing method |
| JP2009237993A (en) * | 2008-03-27 | 2009-10-15 | Secom Co Ltd | Image monitoring device |
| JP2011141622A (en) * | 2010-01-05 | 2011-07-21 | Canon Inc | Detection apparatus and method |
| JP2011221812A (en) * | 2010-04-09 | 2011-11-04 | Sony Corp | Information processing device, method and program |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020129298A (en) * | 2019-02-08 | 2020-08-27 | 株式会社日立製作所 | Computation system |
| JP7079742B2 (en) | 2019-02-08 | 2022-06-02 | 株式会社日立製作所 | Computer system |
| JPWO2021186866A1 (en) * | 2020-03-19 | 2021-09-23 | ||
| JP7405238B2 (en) | 2020-03-19 | 2023-12-26 | 日本電気株式会社 | Information processing device, monitoring system, information processing method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6467994B2 (en) | 2019-02-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102596897B1 (en) | Method of motion vector and feature vector based fake face detection and apparatus for the same | |
| TWI394093B (en) | An image synthesis method | |
| Shreve et al. | Macro-and micro-expression spotting in long videos using spatio-temporal strain | |
| JP6636154B2 (en) | Face image processing method and apparatus, and storage medium | |
| TWI505200B (en) | Method, system, computer program product and program for determining the location and attributes of an object in a video | |
| Ahmed et al. | Vision based hand gesture recognition using dynamic time warping for Indian sign language | |
| CN104517102B (en) | Method and system for detecting students' classroom attention | |
| WO2019033571A1 (en) | Facial feature point detection method, apparatus and storage medium | |
| CN109448007B (en) | Image processing method, image processing apparatus, and storage medium | |
| WO2019033569A1 (en) | Eyeball movement analysis method, device and storage medium | |
| JP6071002B2 (en) | Reliability acquisition device, reliability acquisition method, and reliability acquisition program | |
| JP6225460B2 (en) | Image processing apparatus, image processing method, control program, and recording medium | |
| JP6157165B2 (en) | Gaze detection device and imaging device | |
| WO2019033567A1 (en) | Method for capturing eyeball movement, device and storage medium | |
| CN109063598A (en) | Face pore detection method, device, computer equipment and storage medium | |
| Vadlapati et al. | Facial recognition using the opencv libraries of python for the pictures of human faces wearing face masks during the covid-19 pandemic | |
| WO2023165616A1 (en) | Method and system for detecting concealed backdoor of image model, storage medium, and terminal | |
| JPWO2020213166A1 (en) | Image processing device, image processing method, and image processing program | |
| KR101344851B1 (en) | Device and Method for Processing Image | |
| JP6467994B2 (en) | Image processing program, image processing apparatus, and image processing method | |
| JP2012221053A (en) | Image recognition apparatus, image recognition method and program | |
| JP5552946B2 (en) | Face image sample collection device, face image sample collection method, program | |
| CN108197549A (en) | Face identification method and terminal based on 3D imagings | |
| JP2007233871A (en) | Image processor, control method for computer, and program | |
| JP2007052609A (en) | Hand region detection device, hand region detection method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171215 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181213 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181218 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181231 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6467994 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |