JP2012185827A - フォトプリンティングのための顔領域検出装置及び補正方法 - Google Patents

Abstract

【課題】改善された画質のフォトプリンティングのために、映像データから顔領域を検出して補正する方法を提供する。
【解決手段】映像データを映像処理装置に入力する映像データ入力段階（Ｓ１００）と、前記入力された映像データから肌色領域を抽出し、顔存在候補領域から顔画像または回転された顔画像を検出する顔領域検出段階（Ｓ２００）と、前記顔領域検出段階で検出された顔領域を分割する領域分割段階（Ｓ３００）と、前記領域分割段階を通じて分割された領域から、歪曲されたデータ値を抽出して補正する補正段階（Ｓ４００）と、前記補正段階を経て最終的に補正された映像データを視覚的に出力するフォトプリンティング段階とからなり（Ｓ５００）、フォトプリンターで印刷する前に、顔映像の多様な歪曲を効果的に補正することができるため、さらに改善された画質を有する顔映像を印刷することができるようになる。
【選択図】図１

Description

本発明は、デジタル顔映像を、さらに改善された画質で印刷するための映像データの処理方法に関するものであって、特に、入力された映像データから顔領域を検出して分離し、多様な歪曲及び色相補正を行う映像処理技術であるフォトプリンティングのための顔領域検出装置及び補正方法に関するものである。

最近、広く使用されるデジタル映像システムは、圧縮と貯蔵だけではなく、映像処理を通じて画質改善及び操作変形が容易であるという長所がある。

このようなデジタル映像システムの処理機能を利用してフォトプリンターでデジタル映像を印刷する前に、顔映像に存在する色相歪曲や望まない要素を効果的に除去すると、フォトプリンター自体の性能よりもさらに優れた顔映像を印刷することが可能である。

このようなフォトプリンターのための映像処理システムは、プリンター及びカメラを製造する機関で広く研究してきた主題であって、従来技術の共通的な特徴は、肌色分布及び顔の典型的なパターンを利用して顔領域を分離し出し、色相補正を行うという点にあり、色相補正においては、赤目現象、唇、肌色、髪色などの補正を重点的に行ってきた。

しかしながら、従来技術では、映像データにおいて顔が回転された場合は、顔の検出が正確にできないという問題があって、赤目現象及び逆光による暗い肌色に対する補正とは異なり、フラッシュや照明による反射に対する補正はなされておらず、低画質、高圧縮率で映像を貯蔵する場合、ブロックの境界現象が発生する問題点があった。
特開２０００−１３７７８８号公報 特開２００１−１８６３２５号公報 国際公開第０２／０９３９３５号 特開２０００−２７０２２２号公報 特開平１１−３２８３５９号公報

上記のような問題点を解決するために、本発明は、顔が回転された映像データでも正確に顔を検出し、顔領域を分離する技術を提供して、照明により反射される領域や肌の煌きを抽出・除去して、元の色相を再現する技術する提供する一方、低画質、高圧縮率で映像を貯蔵する場合に発生するブロック化現象を除去できる、フォトプリンティングのための顔領域検出装置及び補正方法を提供することにその目的がある。

上記のような目的を達成するための本発明は、改善された画質のフォトプリンティングのために、映像データから顔領域を検出して補正する方法であって、前記映像データを映像処理装置に入力する映像データ入力段階と、前記入力された映像データから肌色領域を抽出し、顔存在候補領域から顔画像または回転された顔画像を検出する顔領域検出段階と、前記顔領域検出段階で検出された顔領域を分割する領域分割段階と、前記領域分割段階を通じて分割された領域から、歪曲されたデータ値を抽出して補正する補正段階と、前記補正段階を経て最終的に補正された映像データを視覚的に出力するフォトプリンティング段階と、を含むことを特徴とする。

また、前記補正段階は、前記抽出されたデータから赤目現象と全反射成分とを抽出して除去し、元の色相である乱反射成分を復元して、二色性モデルに基づく全反射及び乱反射成分を表現する段階と、ブロック境界現象を抽出し、フィルターを通じて線形的に除去する段階と、明度値分布を通じて顔の明度を調節して、ヒストグラム平滑化を通じて顔映像の明度対比を調節する段階と、低域通過フィルターを通じて顔映像の画質を調節する段階と、を含むことを特徴とする。

また、本発明は、改善された画質のフォトプリンティングのために、映像データから顔領域を検出する装置であって、顔検出を行うための色相映像を入力する導入部と、前記入力された色相映像から肌色領域を抽出し、円形の顔存在候補領域を決定する予備部と、前記円形の顔存在候補領域を各成分に分割し、分割領域内のエッジ投影成分の和を通じて、顔特性に適した顔候補領域を抽出する抽出部と、前記抽出部で抽出された顔候補領域を３つの円形分割領域に分けて、顔の目部位の明度特性を利用し、誤った結果を排除できるように、前記顔候補領域を検証する第１の検証部と、前記第１の検証部を経た顔候補領域を２つの円形分割領域に分けて、前記２つの円形分割領域を垂直方向区間に該当する映像のエッジ成分の平均を求めて、左右２つの垂直方向ヒストグラムで示し、水平方向区間に該当する映像のエッジ成分の平均を求めて、１つの水平方向ヒストグラムで示し、最終的に顔領域を検証する第２の検証部と、前記第２の検証部を経て獲得された映像から、顔の位置、大きさ及び回転角度の情報を導出する導出部と、を含むことを特徴とする。

また、前記第２の検証部において、前記垂直方向及び水平方向領域は、顔において、目が存在する上位領域のみを利用することを特徴とする。

また、前記垂直方向ヒストグラムは、顔において、目と口周囲のエッジ成分の特性により２つのピークを有して、左右対称であることを特徴とする。

また、前記水平方向ヒストグラムは、顔において、目周囲のエッジ成分の特性により左右対称のピークを有することを特徴とする。

本発明により、映像データから顔領域を検出して補正する方法を示す流れ図である。 本発明による顔領域検出段階を示す流れ図である。 本発明による顔回転角度及び顔存在候補領域を探すための方向性円形ウィンドーを示す図である。 本発明による顔存在候補領域の検証のための領域ウィンドーを示す図である。 本発明による顔存在候補領域の検証のための領域ウィンドーを示す図である。 本発明による顔領域検出過程と補正の結果を示す図である。

以下、本発明を、添付の図面を参照し詳細に説明する。

図１は、本発明により、映像データから顔領域を検出して補正する方法を示す流れ図、図２は、本発明による顔領域検出段階を示す流れ図であり、図３は、本発明による顔回転角度及び顔存在候補領域を探すための方向性円形ウィンドーを示す図、図４及び図５は、本発明による顔存在候補領域の検証のための領域ウィンドーを示す図、図６は、本発明による顔領域検出過程と補正の結果を示す図である。

本発明は、 改善された画質のフォトプリンティングのために、映像データから顔領域を検出して補正する方法であって、図１に示したように、前記映像データを映像処理装置に入力する映像データ入力段階Ｓ１００と、前記入力された映像データから肌色領域を抽出し、顔存在候補領域から顔画像または回転された顔画像を検出する顔領域検出段階Ｓ２００と、前記顔領域検出段階で検出された顔領域を分割する領域分割段階Ｓ３００と、前記領域分割段階を通じて分割された領域から、歪曲されたデータ値を抽出して補正する補正段階Ｓ４００と、前記補正段階を経て最終的に補正された映像データを視覚的に出力するフォトプリンティング段階Ｓ５００とを含む。

ここで、前記顔領域検出段階Ｓ２００では、映像から、顔の位置と大きさ及び顔の回転方向などの情報を抽出する。

この時、正面顔及び正面に近い顔を抽出するようになるが、映像平面で３６０゜全ての回転角を有する顔に対して、顔領域を検出することができる技術を利用する。

前記顔領域検出段階Ｓ２００をさらに詳細に説明すると、図２から分かるように、導入部で、顔検出を行う色相映像を入力し、予備部では、入力された色相映像から肌色相領域を抽出し、顔存在候補領域を決定する。

肌色は、人種や個人別に差があるが、一般に、色相成分をＲ、Ｇ、Ｂドメイン((Red, Green, Blue domain)で分析した時、個人別に表れる肌色相特性は、非常に多様であって、共通点を見つけ出すことが難しい。

しかし、ＲＧＢ信号を、輝度信号のＹと色差信号のＣｂ、Ｃｒ(またはＰｂ、Ｐｒともいう)とに分離して変換すると、肌色相は、Ｃｂ、Ｃｒ領域で特定な分布特性を示す。

これをモデリングする時、２つの色相領域のＣｂ、Ｃｒ領域において、最大値、最小値を、次のように[ｃｂ_ｍｉｎ、ｃｂ_ｍａｘ]、[ｃｒ_ｍｉｎ、ｃｒ_ｍａｘ]として決定し、肌色相を探し出す。

しかし、実際、肌色相データを利用してモデリングをすると、長方形の領域ではなく、楕円形に近い色相領域として分布する。

したがって、このような楕円形領域を、探そうとする肌色相領域として決定する。

その後、抽出部では、図３〜図５に示したように、円形候補領域を各成分に分割して、分割領域内のエッジ投影成分の和を利用し、顔特性に一致する顔候補領域を抽出する。

即ち、前記予備部で行った作業を通じて、肌色相領域を探し出したら、この領域は、顔検出候補領域となる。この領域の中から顔を探し出すことになるが、この時、顔は、正面顔を目標として、回転に関係なく行い、顔の回転角度を共に導出する。

この過程では、顔が有している構造的な特性を利用して、回転角を共に導出するために、図３に示したような、方向性円形ウィンドー(Window)を利用する。

図３のように、円形ウィンドーを、角方向θに領域を分割して、その領域成分の平均値を比較する。この時、成分は、目と口が有している映像のエッジ(edge)値とする。

即ち、角方向θで成分を求めた時、顔でのみ表れるエッジ成分特性が示され、これは、顔における目と口部分から強く表れるエッジ成分が分布していることを意味する。

その後、これをヒストグラムで表すと、ヒストグラムの単純な左右移動だけで顔の回転角を求めることができ、上述の顔の構造的な特性に一致するヒストグラムが表れるようになる。

そして、回転角領域ヒストグラムを利用して顔を探し出すことができ、且つ、回転角度も分かるようになる。

しかしながら、この過程だけでは、顔ではない部分から生じえる間違った検出が起こる可能性がある。これは、自然映像では、顔で表れる回転角領域ヒストグラムと同様な成分を有する場合が多いからである。

したがって、本発明では、顔として探し出した領域を、後述の第１検証部と第２検証部を通して、顔ではない部分を除去するようになる。

第１検証部は、図４に示したように、３つの分割領域に分けて、顔で表れる目部位の明度特性を利用して、前記抽出部で得られた候補領域を検証し、間違った結果をフィルタリングする。

即ち、前記抽出部で、回転角成分のみを利用して顔を探し出したら、検出エラーが生じ得るため、第１検証部では、図４の分割ウィンドーを利用する。既に抽出部で回転角度が分かったため、図４の分割ウィンドーを角度に合わせて回転し、顔候補映像に適用する。

図４に示したように、円形ウィンドーが３つの対称領域(０、１及び２)からなっている。これは、顔において目部位は、一般に暗く表現されるため、目周辺の明度特性を利用する。

即ち、目領域(１、ｒ２)と目周辺領域(０、ｒ３及び２、ｒ１)の明度特性によって分割し、顔特性に一致する顔候補を探し出す。

また、目領域１、ｒ２は、一般に左右対称をなしているため、このような特性を利用する。このように、総６個の領域の明度を比較して、顔特性に一致する結果を探し出し、一致しない部分を有する候補は除去する。

第２検証部は、図５に示したように、横軸及び縦軸に領域を分割した後、各領域に該当する明度成分の和を求めて、横と縦とに該当する特性を抽出し、顔特性と比較した後、前記抽出部と第１検証部を経た顔候補を最終検証する。

即ち、最終エラーを減らすために、第１検証部を経た、顔と考えられる候補に対し、第２の検証を行う。既に、第１の段階において、相当数の顔ではない映像がフィルタリングされたが、さらによい性能を持たせるために、もう１回の検証段階を利用する。この過程では、図５に示したように、２つの円形分割ウィンドーを利用する。

まず、垂直方向に区間(Ｒ/σ)を分けて、その区間(Ｒ/σ)に入る目と口の映像エッジ成分の平均を求めて、ヒストグラムで表す。この時、左右２つのヒストグラムを製作する。

そして、水平方向に区間(Ｒ/σ)を分けて、同様にその区間(Ｒ/σ)に入る目と口の映像エッジ成分の平均を求めて、一つのヒストグラムを製作する。この時、顔の口周辺の下位領域は除いて、目が存在する上位領域のみを利用する。

まず、垂直方向ヒストグラムでは、目と口周囲で表れる強いエッジ成分のため、２つのピークを有するヒストグラムが表れる特性を利用して検証を行うようになる。

もちろん２つのヒストグラムも同様に、対称特性を有しなければならないという点を共に利用する。最後に、水平方向ヒストグラムでは、目周囲の強いエッジ成分により、左右対称の目部位でピークを有するヒストグラムが表れなければならない。このような特性を利用して最終的な検証段階を完了する。

導出部では、前記抽出部と第１検証部及び第２検証部を経て得られた最終顔領域に対する位置情報及び大きさ情報、そして顔の回転角度情報を導出する。このような情報は、その他の映像作業をする時にも有用に使用できる。

そして、本発明による補正段階Ｓ４００では、次のような補正を行う。

まず、赤目現象の除去過程が行われるが、検出された顔領域から目の位置が把握されたら、赤め現象の発生有無を確認する。赤目現象は、照明により瞳孔から光が反射され、黒い瞳が赤く見える現象であって、顔映像において非常によく発生する歪曲要素である。

本発明では、検出された目の位置に対して赤色有無を確認することにより、赤目現象を検出することができ、赤目現象が検出されたら、赤色成分を除去して、黒色の瞳にする。

そして照明反射成分の除去及び補正過程を行う。一般に色相情報は、全反射成分と乱反射成分との線形結合で表現できる。

乱反射成分は、物体の表面が有している元の色感そのものを表し、全反射成分は、周辺の照明により左右される、煌く反射成分である。

全反射成分は、照明に対する強い反射が起こる部分であって、結果的に、乱反射成分である色相情報が一部損失される。顔映像において、全反射成分の強い部分は、眼鏡、額、目のような部位であり、顔の肌全体が煌く現象も現れる。

本発明では、通常の異色性反射モデルに基づいて、全反射成分と乱反射成分とを分離し、反射の激しい全反射成分に該当する映像領域に、元の色相情報を推定して補正する公知技術を適用する。

次に、ブロック境界除去過程を行うが、ＪＰＥＧのような映像圧縮方式は、ブロックベースからなり、圧縮率の高い低画質の場合、圧縮された映像のブロック境界が著しく表れる歪曲現象が発生する。

このようなブロック境界現象は、視覚的に非常に好ましくないため、本発明では、フォトプリントを行う前に、ブロック境界現象を検出して、通常の除去フィルターを利用し、これを除去する。

そして、逆光による暗い肌の補正過程を行うが、逆光や暗い環境、あるいは光が強く入る場合は、顔映像の明度があまりにも暗くなるか、明るくなり、顔領域の明度対比が悪くなる。

検出された顔領域に対して明度値の分布を測定し、暗すぎるか明るすぎる場合は、通常のヒストグラム均一化技法を利用し、明度対比を増加させることにより、顔領域の画質を改善する。

最後に、肌補正過程を行うが、顔の額や頬のような領域は、比較的平坦且つ滑らかな映像で表現されることが好ましい。

特に、顔に肌トラブルが多いか、雑音の激しい映像が取られた場合、これを効果的に除去することが重要であるため、本発明では、顔の額や頬のような領域に対し、低域通過フィルターを適用して、雑音及び肌トラブルを除去する。

本発明によると、図６に示したように、映像データから顔領域を検出して補正する過程を行うことにより、暗い画質の顔映像から、より改善された画質の顔映像を得ることができるようになる。

以上説明したように、本発明によると、フォトプリンターを通じて顔映像を印刷する前に、顔領域に存在する色相成分及び雑音などの歪曲を除去して、画質を改善し、さらに望ましい顔映像を印刷することができる効果がある。

また、ハードウェア的にフォトプリンターの機能及びカラートナーの色感を改善しなくても、本発明による映像処理により、さらに改善された望ましい映像を印刷することが可能である。特に、赤目現象、ブロック境界現象、反射及び煌きのような顔映像の強い歪曲を除去することにより、正確な顔映像を印刷することができ、また肌色補正機能及び低域通過フィルターを利用し、改善された顔映像を取得して印刷することができて、このような一連の映像処理を自動的に行うことにより、熟練した使用者の操作を要求する様々な映像処理過程を、誰でも容易に利用できるようにする効果がある。

以上、本発明を特定の実施例を挙げて説明したが、本発明は、これらの実施例に限定されるものではなく、本発明の属する技術分野で通常の知識を有する者が、特許請求の範囲に記載の本発明の技術的思想を外れない範囲内で多様に変更、実施することができる。

Claims (5)

1. 改善された画質のフォトプリンティングのために、映像データから顔領域を検出して補
   正する方法であって、
   前記映像データを映像処理装置に入力する映像データ入力段階と、
   前記入力された映像データから肌色領域を抽出し、顔存在候補領域から顔画像または回
   転された顔画像を検出する顔領域検出段階と、
   前記顔領域検出段階で検出された顔領域を分割する領域分割段階と、
   前記領域分割段階を通じて分割された領域から、歪曲されたデータ値を抽出して補正す
   る補正段階と、
   前記補正段階を経て最終的に補正された映像データを視覚的に出力するフォトプリンテ
   ィング段階と、を含み、
   前記顔領域検出段階は、顔検出を行うための色相映像を入力する段階と、
   前記入力された色相映像から肌色領域を抽出し、円形の顔存在候補領域を決定する段階と、
   前記円形の顔存在候補領域を各成分に分割し、分割領域内のエッジ投影成分の和を通じて、顔特性に適した顔候補領域を抽出する段階と、
   抽出された顔候補領域を３つの領域に分けて、顔の目部位の明度特性を利用し、誤った結果を排除できるように、前記顔候補領域を検証する段階と、
   前記検証段階を経た顔候補領域を２つの領域に分割し、前記２つの分割領域のうち、垂直方向区間に該当する映像のエッジ成分の平均を求めて、左右２つの垂直方向ヒストグラムで示し、前記２つの分割領域のうち、水平方向区間に該当する映像のエッジ成分の平均を求めて、１つの水平方向ヒストグラムで示し、最終的に顔領域を検証する段階と、
   前記検証段階を経て獲得された映像から、顔の位置、大きさ及び回転角度の情報を導出する段階と、を含んでなることを特徴とする、フォトプリンティングのための顔領域補正方法。
2. 前記補正段階は、前記抽出されたデータから赤目現象と全反射成分とを抽出して除去し、元の色相である乱反射成分を復元して、二色性モデルに基づく全反射及び乱反射成分を
   表現する段階と、
   ブロック境界現象を抽出し、フィルターを通じて線形的に除去する段階と、
   明度値分布を通じて顔の明度を調節して、ヒストグラム平滑化を通じて顔映像の明度対
   比を調節する段階と、
   低域通過フィルターを通じて顔映像の画質を調節する段階と、
   を含むことを特徴とする、請求項１に記載のフォトプリンティングのための顔領域補正方
   法。
3. 前記垂直方向及び水平方向領域は、顔において、目が存在する上位領域のみを利用することを特徴とする、請求項１に記載のフォトプリンティングのための顔領域補正方法。
4. 前記垂直方向ヒストグラムは、顔において、目と口周囲のエッジ成分の特性により２つのピークを有して、左右対称であることを特徴とする、請求項１に記載のフォトプリンティングのための顔領域補正方法。
5. 前記水平方向ヒストグラムは、顔において、目周囲のエッジ成分の特性により左右対称のピークを有することを特徴とする、請求項１に記載のフォトプリンティングのための顔領域補正方法。

Images