JPH0862741A

JPH0862741A - 階調補正装置

Info

Publication number: JPH0862741A
Application number: JP6198308A
Authority: JP
Inventors: Katsuhiro Kanamori; 克洋金森; Tsumoru Fukushima; 積福島; Haruo Yamashita; 春生山下
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1994-08-23
Filing date: 1994-08-23
Publication date: 1996-03-08
Anticipated expiration: 2015-03-13
Also published as: JP3018914B2

Abstract

(57)【要約】【目的】逆光状態や人物の肌色の美しくないビデオプ
リントをより高画質化するために入力画像を判定して最
適な階調補正カーブを生成するための判定処理の高精度
化を目的とする。入力画像が「逆光シーン」である信頼
度、及びもし逆光シーンであるならば逆光度合を画像処
理により判定する。同時に入力画像が「人物撮影シー
ン」である信頼度、および人物度を判定する。【構成】画像をブロック化してから二値化して暗部の
輝度と形状から逆光を判定し、人物の顔輝度の推定から
逆光度合を算出する逆光判定部１０３と肌色の色度と輝
度から人物の存在を判定し、肌色輝度から人物度合を算
出する人物判定部１０４、およびカテゴリ分類部１０５
とシーン情報決定部１０６によってシーン特徴の信頼度
を算出し、それらの情報を階調補正部１０７へ入力して
最適な画像の階調補正を行なう。【効果】従来よりも精度の高い画像判定結果が得られ
るため階調補正が画像に対して最適化される。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はビデオプリンタなどの画
像の高画質化のための階調補正装置に関する。

【０００２】

【従来の技術】ビデオプリンタでプリントされる画像・
映像はアマチュアが家庭用ムービーカメラで撮影したも
のが多い。屋外で日中撮影された映像は専用ビデオライ
トなどの照明が無いために多くの場合人物が逆光シーン
になっており、このままプリントすると人物の顔が暗く
再現されてしまう。そこで入力画像が逆光シーンである
ことを判定し、逆光と判定された場合には画像の輝度と
彩度を増加して暗い顔を美しく再現する技術が必要であ
る。また人物の顔アップの人物撮影シーンにおいて、肌
色階調を特に調整されたものに変更し、より美しい肌色
を再現する技術も重要である。この場合には人物判定の
技術が必要になる。

【０００３】逆光シーン判定の従来の技術においては、
ビデオカメラに搭載されて中央重点測光により被写体が
暗くならないように露出を最適制御するアイリスを自動
制御するもの（特開平５−１２２６００号公報）と劣化
した画像について階調カーブを最適に選択して階調補正
するもの（特開平３−１０６２６９号公報）の２種類が
ある。しかし、いずれも逆光シーン判定において画面の
中央部と全体の輝度比を計算して判定している。被写体
が常に画面の中央に存在する、あるいは被写体の平均輝
度が逆光の度合に相当するという仮定をおいている点に
特徴があると思われる。被写体位置にやや自由度をもた
せたものとして画面をブロック分割し画面中央部ブロッ
ク内の輝度分布との相関により主要被写体を見つけるも
の（特開平４−３４０８７５号公報）があり、画面の特
殊な分割測光によって被写体の平均輝度を求める際に被
写体の着ている明るい色あるいは暗い色の服などの影響
をなくすもの（特開平５−１２２６００号公報）があ
る。

【０００４】一方、人物判定における従来の技術は、肌
色近傍の色相を検出するもの（特開平４−２３５９２号
公報）、色相と彩度の２次元ヒストグラムにて画像領域
分割を用いるもの（特開平４−３４６３３４号公報）な
どがあるが、いずれも色度平内で肌色らしい領域を決め
て色度のみで処理、判定している。

【０００５】

【発明が解決しようとする課題】従来、逆光判定におい
ては、被写体が画面中央に存在するとの前提に基づいて
いるため、被写体が画面上で左右に片寄っている場合、
あるいは２人の被写体が分離している場合、などに逆光
判定が正しく行われない課題があった。また、背景のみ
が暗い画像、あるいは長い黒髪の女性の画像など黒領域
面積が多い画像を逆光と誤判定する課題があった。さら
に、同じ照明状態でも黒服と白服で大きく逆光度合が変
化してしまうなど逆光度合計算の基準があいまいであっ
た。一方、人物判定においては、人物形状のモデル化は
困難であることから画像上の色分布を色度図へマッピン
グして肌色の確率が高い場所を色相、彩度で検出する方
針をとる技術が多い。しかし、屋外では照明光の影響で
肌色の色相、彩度がずれている。また肌色の色度は人種
や化粧により変動する。さらに肌色系統の色は自然界に
いくらでも存在するため、特に画像下部など本来人物の
顔がありえないような場所にある肌色領域で過剰検出さ
れるなどの課題があった。

【０００６】本発明は上記従来の課題を解決するもの
で、従来より高精度に逆光判定でき、また照明の影響を
受けずに人物判定でき、その結果高画質のビデオプリン
トを得ることができる階調補正装置を提供することを目
的とする。

【０００７】

【課題を解決するための手段】この目的を達成するため
に本発明の階調補正装置は入力画像をブロック分割して
輝度色度情報を求めるブロック情報取得部と、前記ブロ
ック情報取得部の出力により、例えば逆光シーン及び人
物シーン等の前記入力画像の特徴ごとに前記特徴の有無
を判定する特徴有無判定手段と、前記特徴に合致した画
像処理により前記入力画像の特定部位の明るさ度合を決
定する度合情報決定手段と、前記入力画像を前記各特徴
有無判定手段の出力の組み合わせによって個々のカテゴ
リへと分類するカテゴリ分類部と、前記個々のカテゴリ
毎に前記入力画像が前記各特徴をどの程度の信頼度にて
有しているかを決定するシーン情報決定部と、前記度合
情報決定手段の出力と前記シーン情報決定部の出力に応
じて前記入力画像に最適な階調補正を施す階調補正部と
を具備するものである。

【０００８】

【作用】この構成により、まず入力画像を縦横に粗くブ
ロック分割し、そのブロック情報を処理することにより
逆光判定と人物判定をする。

【０００９】逆光判定においては、逆光被写体は画面中
央に存在する仮定を使わずに逆光シーンを暗部の形状と
輝度において判定するために従来よりも高精度の判定が
でき、逆光度合についても人物顔部を推定して評価する
ため信頼できる値を得ることができる。また人物判定に
おいては、肌色判定を基調とするが、色度からの候補デ
ータを基に、肌色階調を含めて主成分分析手法で肌色分
布を求め、その角度で判定する方法をとっており、比較
的に照明変動の影響を受けずに検出できる。

【００１０】上記の逆光判定及び人物判定からそれぞれ
の度合及び信頼度が得られ、それらから最適な階調補正
カーブが生成されて階調補正を行うことができるため、
元画像の品質があまり高画質でない場合でも高画質のビ
デオプリントを得ることができる。

【００１１】

【実施例】以下、本発明の一実施例の全体構成につい
て、図１を用いて説明する。図１は本発明の一実施例に
おける階調補正装置のブロック結線図である。図１にお
いて、１０１は入力画像で、ビデオプリンタなどから入
力された画像であり、１０２はブロック情報取得部で、
入力画像１０１を縦横にブロック分割し、各ブロックで
の代表値を決定し、その代表値をブロック情報として出
力する。１０３は逆光判定部で、前記ブロック情報を受
けて、逆光有無判定手段１０３ａ及び逆光度合情報決定
手段１０３ｂにより、それぞれ逆光有無判定１０８及び
逆光度合１１０を計算する。１０４は人物判定部で、前
記ブロック情報を受けて、人物有無判定手段１０４ａ及
び人物度合情報決定手段１０４ｂにより、それぞれ人物
有無判定１０９及び人物度合１１１を計算する。１０５
はカテゴリ分類部で、逆光有無判定１０８と人物有無判
定１１０の２つの情報を組み合わせて入力画像を第１に
「逆光の人物撮影シーンである」、第２に「逆光である
が人物撮影シーンではない」、第３に「逆光ではなく人
物撮影シーンである」、第４に「逆光ではなく人物撮影
シーンでもない」という４カテゴリのうちの１つのカテ
ゴリに分類する。１０６はシーン情報決定部で、選択さ
れたカテゴリ情報から、階調補正での補正カーブの合成
時に必要な「逆光シーン」・「人物撮影シーン」・「そ
の他」という画像シーンの３つの特徴の各信頼度情報１
１２を決定する。１０７は階調補正部で、信頼度情報１
１２、逆光度合１１０、及び人物度合１１１を基にして
階調補正カーブを生成する。

【００１２】以下、本発明の一実施例の各ブロックにつ
いて説明する。まず、ブロック情報取得部１０２につい
て説明する。ブロック情報取得部１０２に入力される入
力画像１０１は、ビデオプリンタなどからのアナログ信
号をＡ／Ｄ変換した各画素が輝度Ｙ、及び色差ＲＹ、Ｂ
Ｙで表現されたフルカラー画像である。ここで、ＲＹ＝
Ｒ−Ｙ、ＢＹ＝Ｂ−Ｙである。この画像をそのまま逆光
判定及び人物判定に用いるとデータ処理量が増えてしま
うのでブロック情報取得部１０２では画面を縦横にブロ
ック分割し、各ブロックでの代表値のみをブロック情報
として判定に使用する。ブロック情報は（１）平均値各ブロックでの色の平均値（２）ＷＰ値各ブロック内での輝度Ｙの最大である画
素（箇所）での色（３）ＢＰ値各ブロック内での輝度Ｙの最小である画
素（箇所）での色の３種類の色情報からなり、いずれも輝度Ｙと色差Ｒ
Ｙ、ＢＹにて表現されている。この情報はブロック内の
色分布情報と階調情報との両方を含んでいるといえる。
たとえば、色としておなじ肌色でも塗り壁のように１ブ
ロックがすべて「べた色」の場合には３種類の情報はす
べて一致するが、人間の顔のような凹凸物体ではブロッ
ク内に陰影を持つため一般に３種類の肌色は異なりＷＰ
はほとんどハイライト、ＢＰはほとんど黒になる。この
ようにブロック情報は解像度情報は低下しているが、あ
る程度の階調情報を持っている。

【００１３】また、本実施例では記述していないが、こ
のブロック情報は、被写体の照明による影響を取り除く
ホワイトバランス補正処理や標準的な輝度補正であるＡ
ＧＣ（オートゲインコントロール）処理などは既に実施
されているものとする。

【００１４】次に逆光判定部１０３の詳細について図２
を用いて説明する。図２は本発明の一実施例における階
調補正装置の要部である逆光判定部１０３のブロック結
線図である。はじめに、逆光画像の判定方針を説明す
る。本実施例では「逆光画像と順光画像との差は画像内
での陰影の分布パターンにある」と考える。順光状態で
は照明光が被写体の正面から投影されるので画像をブロ
ック平均画像にて表現した場合の陰影ブロックは、画像
全体に片寄りなくまばらに存在する。逆光画像では照明
光が被写体に対して上方あるいは背面から投影されるの
で陰影ブロックは画像の下部に塊として存在するか、あ
るいは画像の上部から下部にかけて存在する。この陰影
ブロックの輝度と塊パターンの２つ（輝度と形状）を用
いて逆光を判断することとした。２人の人物が逆光状態
にある場合には画像の中央が明るくなることもあるため
本手法では、陰影が画像中央にあるという仮定は使用し
なかった。この方針にしたがってブロック情報の平均輝
度を主として用い、輝度のしきい値処理により陰影（暗
部）になっているブロックを判定後、暗部平均輝度値、
明部/暗部の輝度比、暗部の形状という３条件を全て考
慮して逆光判定する。

【００１５】図２において入力画像ブロック情報２０１
は、前記ブロック情報の３種類の情報のうち、ブロック
平均色で作られる画像であり、各ブロックごとに平均輝
度と平均色度が算出されている。画像平均輝度計算手段
２０２にて全ブロックの平均輝度の平均値を求め、明暗
ブロック輝度処理手段２０３にて画像が二値化され暗部
と明部の２種類のブロックに分類される。図３に以上の
処理の実施例を示す。図３（ａ）は入力されるカラー画
像であり、この場合は逆光の人物のバストショットであ
る。図３（ｂ）は画面を縦（ｘ方向）７ブロック横（ｙ
方向）１０ブロックの計７０ブロックに分割して取得さ
れたブロック平均色画像のうち平均輝度画像を示してお
り、これを各ブロックの輝度の全体の平均で二値化する
と図３（ｃ）のようになる。逆光部分の人物の形がほぼ
暗部に相当する。ここで、ブロック平均輝度画像、二値
化画像をそれぞれ２次元配列 AV_YY[x][y]、dark_tbl
[x][y] 、として表現すると全ブロックの平均輝度の平
均値mean_yは、

【００１６】

【数１】

【００１７】であり、二値化画像作成は、明部 if AV_YY[x][y] > mean_y then dark_tbl[x][y] = 0 暗部 if AV_YY[x][y] < mean_y then dark_tbl[x][y] = 1 によって行われる。次におなじく明暗ブロック輝度処理
手段２０３にて、（１）暗部平均輝度 dark_mean、
（２）明部平均輝度 light_mean、（３）明暗輝度比
LDratio が計算される。

【００１８】

【数２】

【００１９】

【数３】

【００２０】

【数４】

【００２１】ここで暗部ブロック総数を dark_large
とする。暗部ブロック彩度処理手段２０４は、逆光の人
物を撮影した場合に比較的彩度と輝度の高い背景（山の
緑、木の緑など）が手前の逆光状態の人物被写体と接続
した状態で二値化画像の暗部を形成してしまう問題を解
決するために導入されている。処理内容は二値化画像を
対象に暗部のみを平均彩度によって再二値化し、暗部で
かつ彩度の低いモノクロ領域部のみを二値画像として残
すことである。ただし彩度処理による再二値化はすべて
の画像について有効であるわけではなく元々彩度の低い
モノクロの逆光領域ではほとんど同じ程度のモノクロ領
域をわづかな彩度変動を用いて再二値化するので逆効果
になる。また、彩度が高く輝度の低い服を着ている逆光
人物画像では、服装部分がすべて逆光領域でなくなるた
め、顔のみが分離されて典型的な逆光パターンが壊され
てしまう。このため暗部での平均彩度をまず求め、その
平均彩度が非常に低い、あるいは非常に高い場合には再
二値化はしない。具体的な処理手順は以下の通りであ
る。（１）暗部内での２乗彩度平均値（dark_mean_s）を求
める。

【００２２】

【数５】

【００２３】（２）dark_mean_sの値がしきい値 S1より
も大きい場合（S_CHECK=1）には彩度が十分高いので二
値化しない。（３）dark_mean_sの値がしきい値 S2よりも小さい場合
（S_CHECK=2）には彩度が十分低いので二値化しない。（４）dark_mean_sの値が S1 S2の中間にあるとき（S_
CHECK=0）に再二値化を行う。再二値化は、 if （AV_RY[x][y]）²×（AV_BY[x][y]）² ＜ dark_mean_s then dark_tbl[x][y] = 0 として行われる。暗部ブロック形状処理手段２０５で
は、暗部の４つの周辺特徴を計算する。上述したように
逆光の被写体は陰影の塊として画面上では下部から上部
にかけて発生する形状特徴をもっている。そこで画像を
二値化処理し、上下左右４つの周囲の辺からはじめて黒
ブロックがなくなるまでの黒ブロックの連続数を各辺方
向に加算して４つの周辺特徴（Peripheral Characteris
tics）を求める。周辺特徴の値の順位づけを１位から４
位まで行うことにより画像内での暗部の塊の形状と位置
を表現している。処理方法を図４を用いて説明する。図
４は暗部ブロック形状処理の実施例の概念図である。図
４において、左上を原点として横をｘ軸、縦をｙ軸と
し、ｘ方向に１０個、ｙ方向に７個のブロックに分割し
たものである。また画像の右辺からの方向を（０）方
向、左辺からを（１）方向、上辺からを（２）方向、下
辺からを（３）方向とする。周辺特徴は、この４つの方
向から反対方向に向かって連続する黒ブロックを累積し
て辺上にて加算することで得られる量である。これらの
量は periph[0]からperiph[3]に蓄積される。

【００２４】

【数６】

【００２５】

【数７】

【００２６】

【数８】

【００２７】

【数９】

【００２８】ここでS0,S1,S2,S3の求め方を図５を用い
て説明する。図５は暗部ブロック形状処理の流れ図であ
る。S0からS3は同じ処理で求められるのでS0のみをy=0
の場合について説明する。図５において、まずS0=0,y=
0、x=9とセットし（図５のステップ(イ)、(ロ)）、xが0で
なければdark_tbl[x][y]=1か否かを判定する（ステップ
(ハ)、(ニ)）。dark_tbl[x][y]=0なら処理は終了する。dar
k_tbl[x][y]=1ならS0を1増やし（ステップ(ホ)）、xを1
減らして（ステップ(ヘ)）、再度xが0以上か否かの判定
にもどる。ｘ＝0なら処理は終了する（ステップ(ト)）。
この処理をy=0からy=6まで行い、和をとる。図４の実施
例でいうと、以下のような暗部ブロックの周辺情報が得
られる。

【００２９】periph[0]=17 periph[1]=14 periph[2]=0 periph[3]=37 暗部ブロック周辺情報順序付手段２０６では暗部周辺情
報periph[0]からperiph[3]を大小関係で順序をつけてor
der[0]からorder[3]に順位づけされた方向 0,1,2,3 を
セットする。図４の実施例では、周辺情報が大きい順に
37, 17, 14, 0 となるので、その方向をセットする
と、 order[0]=3 （下方向） order[1]=0 （右方向） order[2]=1 （左方向） order[3]=2 （上方向）となる。この順序関係を大小関係の大きい方向から簡略
化して４方向のパターン形状情報として（3 0 1 2）と
表現する。このパターン情報２１２は、「画像の下部か
ら右部にかけて暗部があり上部には存在しない」、とい
う位置形状情報を意味している。

【００３０】逆光最終判定手段２０７は、明暗ブロック
輝度処理手段２０３から暗部平均輝度 dark_mean と明
暗輝度比 LDratio の２つの情報２１１を得、暗部ブロ
ック周辺情報順序付手段２０６からは暗部パターン形状
情報２１２を得る。そして、（１）暗部平均輝度値が明暗しきい値dark_mean_tより
も暗いこと (dark_mean <= dark_mean_t) （２）明/暗の輝度比が輝度比しきい値 LD_tよりも大き
いこと (LDratio >= LD_t) （３）暗部の形状パターンが（3 x x x）または（2 3
x x ）であること。という３条件を同時に満たす場合に「逆光である」、い
ずれか１つの条件を満たさない場合には「逆光ではな
い」として逆光の有無を判定する。ここで×は任意であ
ることを示す。すなわち、暗部形状は３（下）方向が最
も大きいパターンである場合と２（上）の次に３（下）
が大きい場合を逆光としている。前者が最も一般的な人
物の逆光バストショットに相当し、後者が人物の逆光の
顔アップなどの場合に相当する。これが逆光有無判定１
０８となる。

【００３１】次に暗部ブロック重心処理手段２０８では
後の人物顔位置の推定のため暗部の重心を求める。重心
処理の場合に注意すべきことは、逆光シーンでは画像の
右左の端に被写体以外の手前の暗い部分が写り込むこと
がひんぱんにあり、この影響で、暗部全体としての重心
位置が左右に大きくずれてしまう点である。そこで暗部
のうち、画像の左右の端の１ブロックであるｘ＝０とｘ
＝９のブロックは除外してｘ方向については１から８ま
でのブロックを用いて重心計算をする。重心位置をブロ
ック座標（x,y）にて（gcenterX, gcenterY）とする
と、

【００３２】

【数１０】

【００３３】

【数１１】

【００３４】となる。次に逆光度合計算時に人物の顔部
の位置推定のために使うための重心の暗部の内外判定を
行う。重心が暗部内部にある場合には暗部の分布が集中
しており逆光の被写体は画像中心に山型に存在すること
が推定できる。一方重心が暗部外にある場合には逆光の
被写体が２人の人物で暗部が双峰性の山型を呈している
ことが推定できる。この情報は重心位置のブロックを図
８のように表現する際にＧ ...重心が暗部内部に存在ｇ ...重心が暗部外部に存在のように場合わけして表示される。

【００３５】暗部ブロック人物顔輝度処理手段２０９で
は逆光度合を計算する。当初、簡単に暗部の平均輝度が
度合の指標になると考えたが、実際には人物の顔が暗い
のに服が白いため平均輝度は大きくなっている場合など
があり判定が主観評価と一致しなかった。そこで人間の
主観評価にならい人物の顔の輝度を指標とすることにし
た。顔の探索には肌色の探索が使われることがおおいが
逆光状態での人物の顔は陰になっており色彩情報は無い
に等しく色を使った探索は不可能である。しかし逆光画
像は人物が逆光部内に存在していることが特徴なので暗
部の重心位置を基準に暗部内部のみで顔位置を推定すれ
ばよい。この際、暗部ブロック周辺情報順序付処理の結
果を考えて暗部の形状を以下に示す３通りに場合わけ
し、その各場合で人物顔部の位置を仮定して平均輝度 f
acelight を算出する。以下、facelightの算出方法を暗
部ブロック人物顔部推定例の概念図である図６を用いて
説明する。図６において黒部分が暗部ブロックを、網か
け部分が暗部ブロック内で人物の顔と推定された部分を
示しており、人物の顔部分と判断されたブロック数をfa
ce_num とする。第１に、図６（ａ）を参照して暗部重
心が暗部外にある場合を説明する。暗部は双峰性の形を
呈しているので重心ブロックｇは暗部の谷付近に外部に
存在しており、２人以上の人物が逆光状態にあると考え
られる。このときには「重心位置より上部の暗部全体」
を２人の人物の顔と考えて平均輝度を求める。

【００３６】

【数１２】

【００３７】第２に、図６（ｂ）を参照して暗部重心が
暗部内かつ暗部形状が（2 3 X X）の場合（ただしXは任
意を示す）を説明する。これは暗部が画像の上部から下
部にかけて存在する場合であり、逆光の人物をアップで
撮影した場合か、逆光人物の上部に当たる背景に森など
遠景部分がある場合に相当する。このとき暗部の上部を
顔と考えると遠景部分のやや明るい輝度をとってきてし
まう可能性があるため「重心位置よりも下部でかつ重心
の左右３ブロック分の長方形領域内部の暗部」を人物の
顔と考えて平均輝度を求める。

【００３８】

【数１３】

【００３９】第３に、図６（ｃ）を参照して、暗部重心
が暗部内かつ暗部形状が（3 X X X）の場合を説明す
る。これは暗部が画像の下部に存在する場合であり、逆
光人物をバストショット撮影した場合の標準的なケース
である。この場合には、暗部の下部には人物の「服」が
存在する可能性が高く、平均輝度は服の色が黒いか白い
かによって大きく影響を受けてしまう。そこで、これを
避けるため「重心位置よりも上部でかつ重心の左右３ブ
ロック分の長方形領域内部の暗部」を人物の顔と考えて
平均輝度を求める。

【００４０】

【数１４】

【００４１】暗部重心から決定した顔候補領域に暗ブロ
ックが１つもない場合（face_num ==0）もある。たとえ
ば、（１）重心が暗部外にあり、かつ顔部候補ブロック数＝
０（２）重心が暗部内にあり、かつ形状パタン=2xxx 3xxx
以外の場合であり、この場合においては顔部平均輝度 facel
ightは最大値 255とする。逆光度合計算手段２１０では
逆光度は顔部輝度が明暗しきい値 dark_mean_t と比較
してどの程度暗いかを評価値（0 - 255）とする。また
逆光度の最大値255をとる場合の顔部輝度 most_dark
を決めることによって正規化する。すなわち、

【００４２】

【数１５】

【００４３】facelight が255などの逆光度が負になる
場合には逆光度は０とする。これが逆光度合１１０とな
る。

【００４４】次に人物判定部１０４の詳細について図７
を用いて説明する。図７は本発明の一実施例の階調補正
装置の要部である人物判定部１０４のブロック結線図で
ある。はじめに人物画像の判定方針を説明する。

【００４５】人物の検出には従来技術と同様に顔などの
肌色の検出を用いるが顔色は色度だけでなく階調情報の
特徴もきわめて重要である。人物の顔では肌色は明るい
陰影を持ち、鼻や頬、額などはほとんど白色にちかい程
の肌色であり、一方髪、目、鼻の穴、口などの開口部は
ほとんど黒色にちかい。これはブロック情報において、
各ブロックにおいて白色に近い部分がＷＰ値として、黒
色に近い部分がＢＰ値として、全体的な肌色が平均値と
して検出できることを意味している。彩度の低い白と
黒、および彩度の高い肌色が存在するためにこれらを色
度図上にプロットすると肌色画像では階調のハイライト
部、平均値、ダーク部が同一色相線を形成する傾向があ
る。ところが、おなじ色相のクリーム色系統を持つ壁な
どでは一様な色であって陰影はあまり無いため色度図上
で明瞭な色相線が形成されない。また肌色の同一色相で
ある赤色などではダーク部の彩度が高いので明確に区別
できる。以上の考察から本発明では画像の各ブロックに
おいてＷＰ値、ＢＰ値、平均値の各情報すべてを色度図
上にプロットして主成分分析法を用いて統計的に色相線
を抽出し肌色らしいかどうかの検出を行うこととする。
この計算を行う際に（１）簡易色度図の第二象限に存在
するサンプルデータのみを用いて、主成分分析による色
相線を検出すること、（２）検出された色相線の角度が
簡易色度図でπ／４からπの範囲にあることの二段階で
検出することにより、照明光の影響で色相線が原点を通
らずに平行移動してしまった場合でもデータ分布全体の
なす角度をほぼ正しく計算できるようにしている。

【００４６】図７において肌色候補ブロック選択手段３
０１では入力画像ブロック情報２０１を処理して肌色ら
しい色相角度内に存在するブロック情報を選択する。こ
の候補ブロック選びを行わないと、肌色とは全く無関係
の色まで含んで統計処理することとなり意味のある結果
が求められない。そこで「肌色は照明変動を受けてもＲ
ＧＢ空間のイエロー色相からレッド色相までの範囲に存
在する」という仮定をし、色度図として簡易色差(R-G)
(B-G)色度図（カラー・モメント・ダイアグラム）を使
用する。簡易色差色度図ではＲＧＢ色空間内で定義され
る色相におけるイエローからレッドまでの色相は第二象
限に相当するので候補ブロックの判定は単純な正負判定
でよく角度計算をする必要がなくなる利点がある。した
がって以降の説明では、RYはR-G、BYはB-G という意味
になる。図８に簡易色差色度図上に色相線９０１が表現
されている様子を描いた。この例のように屋外で撮影さ
れた肌色は簡易色度図ではイエローからレッドまでの第
２象限に存在することが多い。

【００４７】そこで、候補ブロック選択はＢＰ値につい
ては条件をつけずＷＰ値、平均値の両方のみが図８の簡
易色度色差図で第２象限に存在することを用いる。本来
（Y,RY=R-Y,BY=B-Y）にて表現されているブロック情報
を簡易色差（Y,R-G,B-G）に変換したものをあらためて（１）平均値 AV_YY[x][y],AV_RY[x][y],AV_BY[x][y] （２）ＷＰ値 WP_YY[x][y],WP_RY[x][y],WP_BY[x][y] （３）ＢＰ値 BP_YY[x][y],BP_RY[x][y],BP_BY[x][y] とすると、図８に示す簡易色差色度図の第２象限に存在
するブロックのみを候補とするために、候補ブロックテ
ーブル Zin_tbl[x][y]を用いて、 if（ WP_RY[x][y] >= 0 WP_BY[x][y] <= 0 AV_RY[x][y] >= 0 AV_BY[x][y] <= 0 ）then Zin_tbl[x][y] = 1 else Zin_tbl[x][y] = 0 とする。もう１つの条件としてＷＰ値の彩度が極端に大
きくないこともつけ加える。このようにして Zin_tbl[x][y]==1とし
て検出された肌色候補ブロック数をhada_num とする。
共分散行列計算手段３０２では、肌色候補ブロック内で
のＷＰ値、ＢＰ値、平均値という３種類のブロック情報
を利用し、これらブロック内の階調情報を用いて色分布
の統計を求める。統計手法は共分散行列から第一固有ベ
クトルを求める主成分分析手法を用いるため、肌色候補
ブロックについてＷＰ、ＢＰ、平均の各色度の全体の平
均値、分散値、共分散値の計算を行う。RY,BYの平均値
ry_av , by_av は以下の式にて求められる。ただし、和
はZin_tbl[x][y] ＝ 1である全ての x、y についてとる
ものとする。

【００４８】

【数１６】

【００４９】

【数１７】

【００５０】ここで hada_num は肌色候補ブロックの
数であり、3 × hada_numは全色度サンプル数である。R
Y,BYの分散値Srr,Sbb,及び共分散値Srbは、以下の式に
て求められる。おなじく和はZin_tbl[x][y] ＝ 1である
全ての x、y についてとるものとする。

【００５１】

【数１８】

【００５２】

【数１９】

【００５３】

【数２０】

【００５４】この結果、共分散行列計算手段３０２では
行列

【００５５】

【数２１】

【００５６】が計算される。次に、肌色色相線検出手段
３０３では肌色色相線をこの統計分布の第一主成分軸、
すなわち最大固有値をもつ固有ベクトルとして計算す
る。具体的には主成分軸である色相線とBY正軸となす角
度をθとして TanValue = tan 2θ を、

【００５７】

【数２２】

【００５８】なる関係式で計算する。肌色色相線検出手
段３０３では計算単純化のために直接θを求めずTanVal
ueの値にて代用することになる。

【００５９】つぎに肌色色相角存在領域検出手段３０４
では肌色線の色相角θがあらかじめさだめてある範囲内
に存在するかどうか決定を行う。ここで問題となるのは
Tan^- ¹の多価関数性であるがこの問題はつぎのように２
θの存在する象限を考慮すれば解決できる。肌色色相角
２θの存在領域を示す概念図である図９及び肌色色相角
の存在領域判定の原理図である図１０において２θの存
在する象限は、 Srb >=0 かつ (Sbb-Srr) >=0 =>第１象限 Srb >=0 かつ (Sbb-Srr) <0 =>第２象限 Srb < 0 かつ (Sbb-Srr) <0 =>第３象限 Srb < 0 かつ (Sbb-Srr) >=0 =>第４象限として決定される。本発明では検出された肌色色相線の
角度θの範囲は図８に示すごとく簡易色差色度図の斜線
範囲で示されるπ/4からπまでと仮定する。従って２θ
はその２倍で図９に示すごとくtan 2θのπ/2 から2π
の範囲である。このため、２θは図９で斜線範囲の角度
で示されるように第２象限から第３象限を経て第４象限
にまで存在するが、第１象限にはありえない。この性質
を利用してθの角度範囲の指定をTanValue = tan 2θの
しきい値処理に置き換えることができる。図１０に２θ
とtan2θの関係を示した。図１０において上記の議論よ
り第２、第３象限と第４象限の一部まで、tan2θのリニ
ア性と一価性が保たれるので、ここからしきい値TH1とT
H2を決定すればよい。肌色色相角存在領域検出手段３０
４の出力は以下のように、 if （TanValue ＞ TH1 または TanValue ＜ TH2）肌色である else 肌色ではないとする。ただし、TH1 > TH2であることが必要であり、
この条件がないと一価性が成立しなくなる。

【００６０】肌色候補ブロック重心処理手段３０５で
は、肌色候補ブロックの位置の重心を計算する。この処
理は、画像下部にある「机」や「地面」などの肌色に色
として類似した領域の誤判定を防ぐための重心位置のし
きい値処理のために導入されている。重心位置をブロッ
ク座標（x,y）にて（hada_gcenterX, hada_gcenterY）
とすると、

【００６１】

【数２３】

【００６２】

【数２４】

【００６３】となる。人物最終判定処理手段３０６で
は、以下の判定基準によって入力画像が人物画像である
かないかを最終判定する。すなわち（１）肌色色相角存在領域検出手段３０４からの出力が
以下の３つの範囲のいずれかに入る。

【００６４】（ａ）2θが第２象限にあり、かつ TanValue ＞ TH1 （ｂ）2θが第３象限にある（ｃ）2θが第４象限にあり、かつ TanValue ＜ th2 （２）肌色候補ブロック重心処理手段３０５からの出力
が以下の範囲にある。

【００６５】hada_gcenterY ＜ hada_gcenter_max （すなわち肌色重心の画面上Ｙ座標が４ブロック目より
も画像で上方にある。）の２条件を両方とも満たす場合
に人物撮影シーンである、それ以外は人物撮影シーンで
はない、とする。これが、人物判定部１０４における人
物有無判定１０９となる。

【００６６】肌色輝度処理手段３０７では、人物度合を
求めるために肌色候補ブロックの平均の肌色の明るさ h
ada_Yを求める。配列 Zin_tbl[][]が１であるブロック
のみにつき、肌色候補の（ハイライト輝度値）＋（平均
輝度値）の平均値を求める。

【００６７】

【数２５】

【００６８】人物度合計算手段３０８では、「最も暗い
肌色輝度」 hada_most_dark 、「最も明るい肌色輝度」
hada_most_lightを画像処理実験から得られる「肌輝
度」を参考にして決め、hada_Y を hada_most_dark と
hada_most_light の間に正規化する。

【００６９】

【数２６】

【００７０】人物有無判断がNO の場合には人物度＝０
としている。これが人物度合１１１となる。

【００７１】次にカテゴリ分類部１０５及びシーン情報
決定部１０６の詳細について説明する。カテゴリ分類部
１０５では逆光有無判定１０８と人物有無判定１１０の
２つの情報を組み合わせて入力画像を「逆光YES人物YE
S」「逆光YES人物NO」「逆光NO人物YES」「逆光NO人物N
O」の４カテゴリのうちの１つのカテゴリに分類する。
シーン情報決定部１０６では、選択されたカテゴリ情報
から、階調補正での補正カーブの合成時に必要な「逆光
シーン」・「人物撮影シーン」・「その他」という画像
シーンの３つの特徴の各信頼度を決定する。信頼度の和
は１である。信頼度の値はあらかじめカテゴリ毎に決め
ておく方式がとられる。たとえば画像が「逆光YES人物Y
ES」のカテゴリに所属するという判断がなされれば、自
動的に３種の信頼度が決まるように構成されており、逆
光度合や人物度合のように各画像ごとに信頼度の計算が
行われるのではない。そこで、あらかじめカテゴリと信
頼度の対応関係を求めておく事前処理が必要になる。

【００７２】以下、信頼度計算のための事前処理を示す
ブロック結線図である図１１を用いて事前処理について
説明する。図１１において、サンプル画像４０１は事前
処理のために用いる多数の画像である。これらの画像は
人間の主観評価によってあらかじめ「逆光画像」「人物
画像」「その他画像」（風景、静物などを一括して「そ
の他」と称する）のいずれかにラベル付けしておくもの
とする。

【００７３】この各サンプル画像について逆光判定部１
０３にて逆光有無判定手段１０３ａの処理を行い逆光有
無判定１０８を出力すると同時に人物判定部１０４にて
人物有無判定手段１０４ａの処理を行い人物有無判定１
０９を出力する。カテゴリ分類部１０５はこの「逆光シ
ーン」と「人物撮影シーン」という２つの特徴の有無の
組み合わせから２²＝４通りのカテゴリ、すなわち「逆
光YES人物YES」「逆光YES人物NO」「逆光NO人物YES」
「逆光NO人物NO」へ自動分類する。全サンプル画像につ
いて処理後、図４に示すように「逆光YES人YES」のカテ
ゴリに合計Ｎ１例の画像サンプルが分類され、その内訳
は主観評価で「逆光画像」とラベル付けされた画像がＧ
１例、おなじく「人物画像」がＺ１例、おなじく「その
他画像」がＡ１例であったとする。このとき、「逆光YE
S人物YES」カテゴリにおける信頼度を各々次のように定
義する。

【００７４】

【数２７】

【００７５】「逆光YES人物NO」カテゴリにおける信頼
度は、同様に、

【００７６】

【数２８】

【００７７】となる。他のカテゴリについても同様であ
る。シーン情報決定部１０６はこのような事前処理によ
って求められた各特徴の信頼度により入力画像の信頼度
を決定する。階調補正部１０７は、入力画像についての
逆光信頼度・人物信頼度・その他信頼度という信頼度情
報１１２と、逆光度合１１０、人物度合１１１を基にし
て階調補正カーブを生成する。階調補正部１０７には逆
光補正用階調カーブ、人物補正用階調カーブ、その他補
正用階調カーブの３種類の雛形が容易されている。階調
カーブの生成は二段階で行われる。まず逆光と人物の度
合情報を基にして逆光補正用階調カーブの補正度合と人
物補正用階調カーブの補正度合を調整する。その他補正
用階調カーブは度合とは無関係に決定する。次に、生成
された３種類のカーブを逆光信頼度・人物信頼度・その
他信頼度の３種類の信頼度情報で重み付け合成して最終
カーブを生成する。以上の操作によって、画像シーンに
応じた最適な階調補正カーブが生成できる。

【００７８】

【発明の効果】本発明では、入力された画像から逆光シ
ーンと人物シーンを判定し、その度合と信頼度に応じて
最適に階調補正カーブが生成されて階調補正を行うこと
ができるため、元画像の品質があまり高画質でない場合
でも高画質のビデオプリントを得ることができる。

【００７９】逆光判定においては、逆光被写体は画面中
央に存在する仮定を使わずに逆光シーンを暗部の形状と
輝度において判定するために従来よりも高精度の判定が
でき、逆光度合についても人物顔部を推定して評価する
ため信頼できる値を得ることができる。

【００８０】人物判定においては、肌色判定を基調とす
るが、色度からの候補データを基に、肌色階調を含めて
主成分分析手法で肌色分布を求め、その角度で判定する
方法をとっており、比較的に照明変動の影響を受けずに
検出できる。

【図面の簡単な説明】

【図１】本発明の一実施例における階調補正装置のブロ
ック結線図

【図２】同実施例の階調補正装置の要部である逆光判定
部を示すブロック結線図

【図３】同実施例の階調補正装置における明暗ブロック
輝度処理を示す概念図

【図４】同実施例の階調補正装置における暗部ブロック
形状処理の例を示す概念図

【図５】同実施例の階調補正装置における暗部ブロック
形状処理の処理流れ図

【図６】同実施例の階調補正装置における暗部ブロック
人物顔部推定例を示す概念図

【図７】同実施例の階調補正装置の要部である人物判定
部を示すブロック結線図

【図８】同実施例の階調補正装置における肌色色相線の
角度θの範囲を示す簡易色差色度図

【図９】同実施例の階調補正装置における肌色色相角２
θの存在領域を示す概念図

【図１０】同実施例の階調補正装置における肌色色相角
の存在領域の判定の原理図

【図１１】同実施例の階調補正装置における信頼度計算
のための事前処理を示すブロック結線図

【符号の説明】

１０１入力画像１０２ブロック情報取得部１０３逆光判定部１０３ａ逆光有無判定手段１０３ｂ逆光度合情報決定手段１０４人物判定部１０４ａ人物有無判定手段１０４ｂ人物度合情報決定手段１０５カテゴリ分類部１０６シーン情報決定部１０７階調補正部１０８逆光有無判定１０９人物有無判定１１０逆光度合情報１１１人物度合情報１１２信頼度情報

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号庁内整理番号ＦＩ技術表示箇所Ｈ０４Ｎ 9/79

Claims

【特許請求の範囲】

【請求項１】入力画像をブロック分割して輝度色度情
報を求めるブロック情報取得部と、前記ブロック情報取
得部の出力により前記入力画像の特徴ごとに前記特徴の
有無を判定する特徴有無判定手段と、前記特徴に合致し
た画像処理により前記入力画像の特定部位の明るさ度合
を決定する度合情報決定手段と、前記入力画像を前記各
特徴有無判定手段の出力の組み合わせによって個々のカ
テゴリへと分類するカテゴリ分類部と、前記個々のカテ
ゴリ毎に前記入力画像が前記各特徴をどの程度の信頼度
にて有しているかを決定するシーン情報決定部と、前記
度合情報決定手段の出力と前記シーン情報決定部の出力
に応じて前記入力画像に対し階調補正を施す階調補正部
とを具備する階調補正装置。
【請求項２】特徴有無判定手段は、ブロック情報取得
部の出力から入力画像全体の平均輝度を求める画像平均
輝度計算手段と、前記入力画像を明部ブロックと暗部ブ
ロックに二値化する明暗ブロック輝度処理手段と、前記
暗部ブロックを処理して暗部周辺情報を出力する暗部ブ
ロック形状処理手段と、前記暗部周辺情報を順序付ける
暗部ブロック周辺情報順序付処理手段を有する請求項１
記載の階調補正装置。
【請求項３】特徴有無判定手段は、ブロック情報取得
部の出力から入力画像全体の平均輝度を求める画像平均
輝度計算手段と、前記入力画像を明部ブロックと暗部ブ
ロックに二値化する明暗ブロック輝度処理手段と、前記
暗部ブロックを彩度により二値化する暗部ブロック彩度
処理手段と、前記暗部ブロック彩度処理手段の出力を処
理して暗部周辺情報を出力する暗部ブロック形状処理手
段と、前記暗部周辺情報を順序付ける暗部ブロック周辺
情報順序付処理手段を有する請求項１記載の階調補正装
置。
【請求項４】度合情報決定手段は、ブロック情報取得
部の出力から入力画像全体の平均輝度を求める画像平均
輝度計算手段と、前記入力画像を明部ブロックと暗部ブ
ロックに二値化して処理する明暗ブロック輝度処理手段
と、前記暗部ブロックを処理して前記暗部ブロックの重
心を出力する暗部ブロック重心処理手段と、前記暗部ブ
ロック重心処理手段の出力を用いて暗部ブロック内の人
物の顔部領域を推定し、その輝度を計算する暗部ブロッ
ク人物顔輝度処理手段を有する請求項１記載の階調補正
装置。
【請求項５】特徴有無判定手段は、ブロック情報取得
部の出力を処理して肌色候補ブロックを選択する肌色候
補ブロック選択手段と、前記肌色候補ブロック選択手段
の出力から統計処理を行う共分散行列計算手段と、前記
共分散行列計算手段の出力より肌色色相線を検出する肌
色色相線検出手段と、前記肌色色相線の色相角の存在領
域を検出する肌色色相角存在領域検出手段とを有する請
求項１記載の階調補正装置。
【請求項６】特徴有無判定手段は、ブロック情報取得
部の出力を処理して肌色候補ブロックを選択する肌色候
補ブロック選択手段と、前記肌色候補ブロック選択手段
の出力から統計処理を行う共分散行列計算手段と、前記
共分散行列計算手段の出力より肌色色相線を検出する肌
色色相線検出手段と、前記肌色色相線の色相角の存在領
域を検出する肌色色相角存在領域検出手段と、前記肌色
候補ブロック選択手段の出力を処理して前記肌色候補ブ
ロックの重心を出力する肌色候補ブロック重心処理手段
とを有する請求項１記載の階調補正装置。
【請求項７】度合情報決定手段は、ブロック情報取得
部の出力を処理して肌色候補ブロックを選択する肌色候
補ブロック選択手段と、前記肌色候補ブロックを処理し
て肌色の明るさを出力する肌色輝度処理手段を有する請
求項１記載の階調補正装置。
【請求項８】カテゴリ分類部は、入力画像を逆光シー
ン特徴の有無と人物シーン特徴の有無の組み合わせによ
って、第１に逆光の人物撮影シーンである、第２に逆光
であるが人物撮影シーンではない、第３に逆光ではなく
人物撮影シーンである、第４に逆光ではなく人物撮影シ
ーンでもないという４つに分類する請求項１記載の階調
補正装置。
【請求項９】シーン情報決定部は、あらかじめＭ個の
特徴Ｃm（m=1...M)の個々の１つでラベル付けされた多
数の画像サンプルをカテゴリ分類部によって前記特徴の
有無の組み合わせから２^M 個に自動分類し、ｉ番目に分
類されたＮi 個の画像サンプルのうち特徴Ｃmでラベル
付けされているもののサンプル数をＬm個とし、ｉ番目
に分類された画像の各特徴Ｃmの信頼度をＬm／Ｎi と
することを特徴とする請求項１記載の階調補正装置。
【請求項１０】入力画像の特徴は第１に逆光シーン、
第２に人物撮影シーン第３に前記第１及び２を除くシー
ンの３つであることを特徴とする請求項１記載の階調補
正装置。
【請求項１１】ブロック情報取得部は、入力画像を縦
横に粗いブロックに分割し、各ブロックごとにブロック
内の画素全ての色の輝度と色度の平均値を取得すること
を特徴とする請求項１記載の階調補正装置。
【請求項１２】ブロック情報取得部は、入力画像を縦
横に粗いブロックに分割し、各ブロックごとに画素集合
を規定し、ブロック内の前記画素集合全てについて色の
輝度が最大である前記画素集合内での平均輝度と平均色
度を取得することを特徴とする請求項１記載の階調補正
装置。
【請求項１３】ブロック情報取得部は、入力画像を縦
横に粗いブロックに分割し、各ブロックごとに画素集合
を規定し、ブロック内の前記画素集合全てについて色の
輝度が最小である前記画素集合内での平均輝度と平均色
度を取得することを特徴とする請求項１記載の階調補正
装置。