JP3510040B2

JP3510040B2 - 画像処理方法

Info

Publication number: JP3510040B2
Application number: JP07065596A
Authority: JP
Inventors: 洋道榎本
Original assignee: Konica Minolta Inc
Current assignee: Konica Minolta Inc
Priority date: 1996-03-26
Filing date: 1996-03-26
Publication date: 2004-03-22
Anticipated expiration: 2016-03-26
Also published as: JPH09261580A

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、カラー写真撮影時
のフラッシュ発光による被写体画像内の瞳の色調不良を
補正する画像処理方法に関する。

【０００２】

【従来の技術】従来、前記瞳の色調不良いわゆる赤目を
補正する技術が、いくつか提案されている (米国特許５
１３０７８９号、特開平７−７２５３７号等参照) 。米
国特許５１３０７８９号に開示される技術は、矩形マス
クで対象となる目の周囲を囲み、赤目の領域の数点をポ
インタで指定して、色彩情報に基づいて赤目の領域を設
定し、対象画素がこの領域内であれば赤目と判定して補
正する。この際、補正量を領域の境界からの距離によっ
て変えるというものである。

【０００３】また、特開平７−７２５３７号に開示され
る技術は、対象となる目の領域を指定し、色彩情報によ
り候補画素を選定し、ラベリング後、それぞれのラベル
についての情報も加味して、赤目であるかどうか評価し
ていくものである。また、補正方法に関しては赤目の本
体と周辺部に分けて、補正量を変えている。

【０００４】

【発明が解決しようとする課題】米国特許５１３０７８
９号の技術に関しては、矩形マスクで対象となる目の周
囲を囲む以外に、さらに赤目の領域内の数点を指定する
必要があり、オペレータに負担が掛かる。特開平７−７
２５３７号の技術に関しては、複数の色情報を閾値と比
較することにより、候補領域を設定しているが、特に赤
目を囲む部分の色情報は撮影シーン、個人差により大き
く異なるため、同一条件で設定することは難しく、これ
が収率を低下させる原因となる。また、補正方法に関し
ても本体と周辺部を分け、補正量を変える必要があるた
め複雑である。

【０００５】本発明は、このような従来の問題点に鑑み
なされたもので、赤目の補正を簡易で、かつ、精度良く
行えるようにした画像処理方法を提供することを目的と
する。

【０００６】

【課題を解決するための手段】このため、請求項１に係
る発明は図１に機能ブロック図として示すように、被写
体中に瞳が含まれた撮影画像に対し、１以上の瞳の色調
不良が存在する可能性がある領域を設定し、前記設定し
た領域内を複数の小領域に分割し、前記各小領域の色彩
情報と、位置情報とに基づいて色調不良が存在している
瞳を含む可能性の高い小領域を瞳候補領域として選択
し、前記選択された瞳候補領域の中から、色調が不良な
画素を抽出し、前記抽出された画素の色調不良を補正す
ることを特徴とする。

【０００７】また、請求項２に係る発明は、前記瞳の色
調不良が存在する可能性がある領域として、１対の瞳を
囲む範囲を設定し、かつ、該設定した領域の中心点を計
算により求め、該中心点を基準とした色彩情報及び位置
情報に基づいて小領域への分割、瞳候補領域の選択を行
うことを特徴とする。

【０００８】また、請求項３に係る発明は、前記１対の
瞳を囲む範囲の設定は、１対の瞳の中間付近の１点を指
定し、該指定された点を中心に予め設定された面積の領
域を設定することにより行い、かつ、前記指定した点を
基準とした色彩情報及び位置情報に基づいて小領域への
分割、瞳候補領域の選択を行うことを特徴とする。

【０００９】また、請求項４に係る発明は、前記瞳の色
調不良が存在する可能性がある領域は、１以上の瞳が色
調不良である１対の瞳を囲む範囲を指定し、かつ、１対
の瞳の中心付近のポイントを指定し、該指定した点を基
準とした色彩情報及び位置情報に基づいて小領域への分
割、瞳候補領域の選択を行うことを特徴とする。

【００１０】また、請求項５に係る発明は、前記小領域
への分割は、前記設定された領域内から色彩情報に基づ
いてエッジ画素を抽出し、該エッジ画素に囲まれた領域
に分割することで行うことを特徴とする。また、請求項
６に係る発明は、前記瞳候補領域の選択は、前記小領域
２つを１組とした各組み合わせについて、色彩情報及び
位置情報に基づいて瞳らしさを示す評価関数を求め、最
も評価が高い組み合わせを選択することで行うことを特
徴とする。

【００１１】また、請求項７に係る発明は、前記色調不
良画素の補正は、色調不良画素の赤以外の色成分の明度
情報に基づいて行うことを特徴とする。また、請求項８
に係る発明は、前記色調不良画素の補正は、オペレータ
が複数の色見本から選択した色の情報に基づいて行うこ
とを特徴とする。

【００１２】また、請求項９に係る発明は、前記色調不
良画素の補正は、オペレータが色調不良画素を抽出する
ための色彩情報に関する閾値を任意に設定することによ
り、色調不良画素の補正領域を調整可能としたことを特
徴とする。

【００１３】

【発明の効果】請求項１に係る発明によれば、１以上の
瞳の色調不良が存在する可能性がある領域を分割した各
小領域の中から、色彩情報と位置情報とに基づいて高精
度に瞳候補領域を選択することができ、以て、該瞳候補
領域内の色調不良画素を補正することにより、赤目補正
を精度良く行うことができる。

【００１４】また、請求項２〜請求項４に係る発明によ
れば、オペレータの最小限の負担により瞳候補領域を高
精度に選択することができる。また、請求項５に係る発
明によれば、エッジ画素で囲まれた領域に分割すること
で、略同一の色調ベースを持つ小領域に分割することが
でき、小領域内から色調不良画素を抽出しやすくなる。

【００１５】また、請求項６に係る発明によれば、小領
域２つを１組として組み合わせについて評価すること
で、特に２つの瞳に赤目が発生した場合に、対称性を利
用した評価関数によって高い精度で瞳候補領域を選択す
ることができる。また、請求項７に係る発明によれば、
赤以外の色成分、例えば青と緑の明度情報に基づいて、
該明度の傾向に合わせるように赤あるいは赤、青、緑の
明度を補正することにより、自然な感じに補正できる。

【００１６】また、請求項８に係る発明によれば、オペ
レータが色見本から選択して好みの色に補正することが
できる。また、請求項９に係る発明によれば、閾値の設
定によって補正領域をオペレータが色調不良と感じる程
度に応じて拡大あるいは縮小して設定することができ、
また、撮影シーン、個人差により発生する色調不良領域
及びその周辺領域の色彩情報のバラツキを吸収すること
ができる。

【００１７】

【発明の実施の形態】以下に、本発明の実施形態を図に
基づいて説明する。図２は、一実施形態のシステム構成
を示す。スチルビデオカメラにより撮影されたカラー画
像のデジタル画像データ、あるいは、銀塩フィルムカメ
ラにより撮影されフィルムに現像されたカラー画像を、
スキャナで読み取ったデジタル画像データが、光ディス
ク等の記憶装置１に記憶されている。

【００１８】前記記憶装置１に記憶された画像データ
が、制御装置２によって読み出され、モニタ３に画像表
示される。オペレータは、前記モニタ３に表示された画
像をみながら、フラッシュ撮影により赤目を生じている
被写体画像に対し、以下のように画像領域を設定するこ
とにより、前記制御装置２が該設定された領域の中から
赤目の画素を抽出して補正を行い、補正された画像をモ
ニター３に表示する。

【００１９】以下に、本発明にかかる赤目補正のルーチ
ンを、図３以下のフローチャートに従って説明する。図
３は、赤目補正のメインルーチンを示す。ステップ (図
ではＳと記す。以下同様) １では、モニタ２に表示され
た瞳を含む被写体画像に対して、１対の目の周辺を囲む
矩形領域を設定すると共に、一対の目の中間付近の１点
を後述する色彩情報及び位置情報の基準点として指定す
る (図６参照) 。

【００２０】前記対象領域及び中間点の設定方法として
対象領域、中間点共にオペレータが指定してもよいし、
対象領域のみを指定し、中間点は計算によって求めても
よいし (例えば指定した矩形領域の中心を中間点として
計算) 、中間点のみを指定し、そこを中心として予め設
定されている面積を対象領域としてもよい。赤目補正の
精度としては、１番目の方法が対象領域の指定と中間点
の指定を共にマニュアルで行うため最も高い。

【００２１】本発明の特徴は、例えば１対の瞳の中で、
色調不良の瞳が１つの場合でも１対の瞳を囲む領域を指
定することである。また、１対の瞳の両方が赤目の場
合、１回の領域指定で同時に２つの赤目を補正すること
ができる。例えば、前記米国特許５１３０７８９号に開
示される技術では、瞳１つずつについて領域指定するた
め、オペレータの介入度が大きくなる。

【００２２】ステップ２では、前記ステップ１で指定し
た点の色彩情報、例えばＲ (赤) ，Ｇ (緑) ，Ｂ (青)
の各明度値の合計値 (Ｒ＋Ｇ＋Ｂ) を特徴量として演算
する。ステップ３では、前記指定点の特徴量との特徴量
の差が指定した閾値以内の画素を肌色画素として、該肌
色画素の領域を抽出する。即ち、前記指定点は、１対の
目の中間付近の点は、鼻の付け根部分に位置するから、
その点における色彩は肌色と推定されるので、該点に近
い色をしている領域を肌色の画素と推定できる。この
他、一般的な色彩情報である色相，彩度を特徴量として
もかまわない。このようにして、前記閾値以内の画素を
ラベリングし、指定点が含まれるラベリング領域を肌色
領域として抽出する。

【００２３】ステップ４では、前記肌色領域内の赤の色
度［＝Ｒ／ (Ｒ＋Ｇ＋Ｂ) ］の平均値Ｒｓｋｉｎを求め
る。ステップ５では、以下の演算量、及び該演算に必要
なデータ量を減らすために、前記ステップ３で抽出され
た肌色領域に外接する矩形領域 (両目同時に外接するよ
うに目と目の間の部分も含んで横長の１つの領域) を、
新たな対象領域として設定する。該矩形領域の設定は、
自動で行われる。手動で行ってもよいが、自動で行うこ
とにより、オペレータが顔以外の領域が含まれるような
広い領域指定を行ってしまった場合にも対応できる。

【００２４】ステップ６では、前記対象領域を、小領域
に分割する。この小領域分割のサブルーチンを、図４の
フローチャートに従って説明する。ステップ11では、前
記設定された領域内でエッジ画素を求める。該エッジ画
素の求め方は、例えば明度 (Ｒ＋Ｇ＋Ｂ) を特徴量とし
て、対象画素の周囲４画素との明度の差の絶対値の和を
求め、これが設定した閾値以上であれば対象画素をエッ
ジ画素と判定する。この他、Ｓｏｂｅｌオペレータ、Ｐ
ｒｅｗｉｔｔオペレータ等のエッジ検出フィルタを用い
てもかまわない。

【００２５】ステップ12では、前記ステップ11で検出さ
れたエッジ画素をラベリングする。ステップ13では、同
じラベルのエッジ画素で少なくとも３方を囲まれた画素
を、前記エッジ画素と同一ラベルに変更する。つまりエ
ッジで囲まれた領域が同一のラベルとなる。このように
して、設定領域が同一のラベルを有した小領域に分割さ
れる。

【００２６】図３のメインルーチンに戻って、ステップ
７では、前記分割された小領域の中から、色調不良が存
在する瞳が含まれる可能性の高い領域を、瞳候補領域と
して選択する。前記ステップ７の瞳候補領域選択のサブ
ルーチンを、図５のフローチャートに従って説明する。

【００２７】本実施形態では、前記分割された複数の小
領域の２つを１組として、全ての組み合わせについて以
下の特徴量を演算することにより瞳らしさを求める。ス
テップ21では、各小領域の赤の色度［＝Ｒ／ (Ｒ＋Ｇ＋
Ｂ) ］を求め、領域内で赤の色度の最高値 (Ｒｉ) 、及
び前記ステップ１で指定した目と目の中間付近の点を原
点としたとき、前記最高値 (Ｒｉ) の画素のＸ軸、Ｙ軸
上での位置 (Ｘｉ、Ｙｉ) を特徴量とする。ここで、ｉ
は、小領域を識別する値を表す。

【００２８】例えば、小領域１と小領域２を組み合わせ
るとき、以下のようにして瞳候補領域を選択する。ステ
ップ22では、色彩情報の特徴量Ｃ12と、位置情報の特徴
量Ｐ12とを、次式により求める。色彩情報の特徴量Ｃ12＝Ｒ１＋Ｒ２位置情報の特徴量Ｐ12＝Ｘ１＋Ｘ２＋Ｙ１＋Ｙ２ここで、色彩情報の特徴量は大きいほど、位置情報の特
徴量は小さいほど、瞳らしさは高いので、ステップ23で
は、瞳らしさを示す特徴量Ｅ12を、例えばＥ12＝Ｃ12−
Ｐ12と設定し、この値が最も高い小領域の組み合わせ
を、少なくとも一方が色調不良 (赤目) となっている瞳
を含んでいる可能性が高い瞳候補領域として抽出する。

【００２９】ここで、位置情報の特徴量が小さくなるほ
ど、瞳らしさが高いのは、両方の瞳に赤目がある場合、
目と目の間の点に対して、左右一方のＸ１を＋、他方の
Ｘ２を−として合計すると小さくなることによる。ま
た、一方の瞳のみ赤目である場合でもよいのは、両方の
瞳の組み合わせを選択したときには、一方の瞳に赤目が
なくとも位置情報Ｐ12の値が小さくなり、また、赤目が
１つあるだけでも、赤目が１つもない組み合わせに比べ
れば色彩上方の特徴量も大きくなるためである。

【００３０】図３のメインルーチンに戻って、ステップ
８では、ステップ７で抽出された瞳候補領域の中から、
色調不良 (赤目) 画素を抽出する。該抽出方法は以下の
とおりである。対象画素の赤の色度［＝Ｒ／ (Ｒ＋Ｇ＋
Ｂ) ］が、ステップ２で求めた肌色領域の平均値Ｒｓｋ
ｉｎより大きく、なおかつ、対象領域の色彩情報の特徴
量 (Ｒｉ) から設定した閾値ＴＨを引いた値より大きい
場合は、赤目画素とする。つまり、次式を満たす画素を
赤目画素とする。

【００３１】Ｒ／ (Ｒ＋Ｇ＋Ｂ) ＞Ｒｓｋｉｎ∩Ｒ／
(Ｒ＋Ｇ＋Ｂ) ＞Ｒｉ−ＴＨステップ９では、ステップ８で抽出された赤目画素を適
正な色調に補正する。この場合、全ての画素を同一の画
素値に補正すると、非常に不自然に見えるため、赤以外
の明度情報を活かすようにする。例えば、デジタル値が
Ｒ，Ｇ，ＢそれぞれＲ＝２００、Ｇ＝５０、Ｂ＝３０の
とき、最もデジタル値が低い値に合わせたグレー色の補
正する。この場合は、Ｒ＝Ｇ＝Ｂ＝３０の明度をある程
度反映した瞳画像に補正できるため、自然な感じに見え
る。

【００３２】または、もともと瞳の色がグレーでない場
合にも対応するために、例えば、前記と同じくデジタル
値がＲ，Ｇ，ＢそれぞれＲ＝２００、Ｇ＝５０、Ｂ＝３
０のとき、ＧとＢとはそのままの値を維持し、ＲをＧと
Ｂとの大きい方の値、この場合ではＧの５０に合わせ
る。その他、Ｒの値をＧとＢとの平均値、この場合では
４０に合わせるようにしてもよい。

【００３３】さらに、オペレータの好みの瞳の色と合わ
ない場合は、瞳の色のパレット (見本) から、好みの色
を選択してもらい、その色情報を基に補正する。補正の
仕方としては、例えば以下の手順で行う。選択された色
の色彩情報、例えばＹＩＱを次式により求める。

【００３４】

【数１】

【００３５】赤目画素の中で、Ｂ＋Ｇの値の最大値を求
め、これをＬｍａｘとする。パレットの明度Ｙに、対象
画素のＬ (＝Ｂ＋Ｇ) をＬｍａｘで割った値を掛け合わ
せる (次式参照) 。Ｙ’＝Ｙ×Ｌ／ＬｍａｘＩ、Ｑの値は維持したままで、Ｒ，Ｇ，Ｂに逆変換し、
このデジタル値を補正値とする。このようにすること
で、より自然に見える。

【００３６】つまり、色の選択はパレットで行うが、明
度については、赤目画素の赤以外の成分の明度情報を活
かして補正が行われるので自然な感じも得ることができ
る。一連の処理において、赤の色度を求めたが、その他
の一般的な色彩情報、例えば明度、色相、彩度等の組み
合わせを用いてもかまわない。本実施形態によれば、以
下のような効果が得られる。

【００３７】オペレータの介入度が少なくて済む。エッジ情報を用いて領域分割しているため、色彩情
報のみを用いて分割する方法と比較して、撮影シーン、
個人差による影響を受けにくく、高い収率で補正するこ
とができる。前記、瞳の色がグレーでない場合に、前記補正を行
うことにより、日本人以外の場合にも対応することがで
きる。

【００３８】次に、第２の実施形態について説明する。
前記第１の実施形態では、赤目部分の個人差により修正
したい赤目部分の一部のみしか補正されていなかった
り、赤目でない部分まで補正されている場合がある。本
実施形態では、これを防止するためにオペレータが画像
を見ながら、補正の有無を判別するための閾値を調整し
て、補正領域を調整することができるようにしたもので
ある。

【００３９】具体的には、オペレータが画像を見て、赤
目の部分の一部しか補正されていないと判断した場合に
は、前記赤目画素抽出用に設定された閾値ＴＨの値を下
げていき、補正領域が適切に拡大されるまで繰り返し、
逆に、オペレータが赤目でない部分まで補正されている
と判断した場合には、前記閾値ＴＨの値を上げていき、
補正領域が適切に縮小されるまで繰り返す。

【００４０】赤目の領域設定に関しては主観に負う部分
もあり、このようにすることで、オペレータの主観を満
足させるような補正を行うことができる。また、シー
ン、個人差により発生する赤目及び赤目周辺の色彩情報
のバラツキを吸収することができる。

【図面の簡単な説明】

【図１】本発明の構成・機能を示すブロック図。

【図２】一実施形態のシステム構成を示す図。

【図３】同上実施形態における赤目補正のメインルーチ
ンを示すフローチャート。

【図４】同上ルーチンの小領域分割のサブルーチンを示
すフローチャート。

【図５】同上ルーチンの瞳候補領域選択のサブルーチン
を示すフローチャート。

【図６】同上実施形態における対象領域の指定方法を示
す図。

【符号の説明】

１記憶装置２制御装置３モニタ

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩＨ０４Ｎ 5/91 Ｈ０４Ｎ 5/91 Ｊ 9/79 9/79 Ｇ (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 9/64 H04N 1/46 H04N 1/60 H04N 5/91 H04N 9/79 G03B 15/05 G06T 1/00 340

Claims

(57)【特許請求の範囲】

【請求項１】被写体中に瞳が含まれた撮影画像に対し、
１以上の瞳の色調不良が存在する可能性がある領域を設
定し、前記設定した領域内を複数の小領域に分割し、前記各小領域の色彩情報と、位置情報とに基づいて色調
不良が存在している瞳を含む可能性の高い小領域を瞳候
補領域として選択し、前記選択された瞳候補領域の中から、色調が不良な画素
を抽出し、前記抽出された画素の色調不良を補正することを特徴と
する画像処理方法。
【請求項２】前記瞳の色調不良が存在する可能性がある
領域として、１対の瞳を囲む範囲を設定し、かつ、該設
定した領域の中心点を計算により求め、該中心点を基準
とした色彩情報及び位置情報に基づいて小領域への分
割、瞳候補領域の選択を行うことを特徴とする請求項１
に記載の画像処理方法。
【請求項３】前記１対の瞳を囲む範囲の設定は、１対の
瞳の中間付近の１点を指定し、該指定された点を中心に
予め設定された面積の領域を設定することにより行い、
かつ、前記指定した点を基準とした色彩情報及び位置情
報に基づいて小領域への分割、瞳候補領域の選択を行う
ことを特徴とする請求項１に記載の画像処理方法。
【請求項４】前記瞳の色調不良が存在する可能性がある
領域は、１以上の瞳が色調不良である１対の瞳を囲む範
囲を指定し、かつ、１対の瞳の中心付近のポイントを指
定し、該指定した点を基準とした色彩情報及び位置情報
に基づいて小領域への分割、瞳候補領域の選択を行うこ
とを特徴とする請求項１に記載の画像処理方法。
【請求項５】前記小領域への分割は、前記設定された領
域内から色彩情報に基づいてエッジ画素を抽出し、該エ
ッジ画素に囲まれた領域に分割することで行うことを特
徴とする請求項１〜請求項４のいずれか１つに記載の画
像処理方法。
【請求項６】前記瞳候補領域の選択は、前記小領域２つ
を１組とした各組み合わせについて、色彩情報及び位置
情報に基づいて瞳らしさを示す評価関数を求め、最も評
価が高い組み合わせを選択することで行うことを特徴と
する請求項１〜請求項５のいずれか１つに記載の画像処
理方法。
【請求項７】前記色調不良画素の補正は、色調不良画素
の赤以外の色成分の明度情報に基づいて行うことを特徴
とする請求項１〜請求項６のいずれか１つに記載の画像
処理方法。
【請求項８】前記色調不良画素の補正は、オペレータが
複数の色見本から選択した色の情報に基づいて行うこと
を特徴とする請求項１〜請求項７のいずれか１つに記載
の画像処理方法。
【請求項９】前記色調不良画素の補正は、オペレータが
色調不良画素を抽出するための色彩情報に関する閾値を
任意に設定することにより、色調不良画素の補正領域を
調整可能としたことを特徴とする請求項１〜請求項８の
いずれか１つに記載の画像処理方法。