JPH11136498A - 赤目検出用コンピュータプログラム物 - Google Patents

赤目検出用コンピュータプログラム物

Info

Publication number
JPH11136498A
JPH11136498A JP10243275A JP24327598A JPH11136498A JP H11136498 A JPH11136498 A JP H11136498A JP 10243275 A JP10243275 A JP 10243275A JP 24327598 A JP24327598 A JP 24327598A JP H11136498 A JPH11136498 A JP H11136498A
Authority
JP
Japan
Prior art keywords
eye
color
image
red
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP10243275A
Other languages
English (en)
Other versions
JP4428737B2 (ja
Inventor
Jay S Schildkraut
エス シルトクラウト ジェイ
Robert T Gray
ティー グレイ ロバート
Jiebo Luo
ルオ ジエボ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Eastman Kodak Co
Original Assignee
Eastman Kodak Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eastman Kodak Co filed Critical Eastman Kodak Co
Publication of JPH11136498A publication Critical patent/JPH11136498A/ja
Application granted granted Critical
Publication of JP4428737B2 publication Critical patent/JP4428737B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/62—Retouching, i.e. modification of isolated colours only or in isolated picture areas only
    • H04N1/624—Red-eye correction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30216—Redeye defect

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Analysis (AREA)
  • Stroboscope Apparatuses (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

(57)【要約】 【課題】 候補赤目欠陥が人間の顔の一部であるか、ま
た人間の目の一部であるかどうかを決定しうる赤目欠陥
を自動的に検出する方法を提供することを目的とする。 【解決手段】 フラッシュ照明による画像中の対称の目
の色の欠陥を検出するためのコンピュータプログラム物
であって、（ａ）ディジタル画像中の肌色領域を検出す
る段階と、（ｂ）赤目欠陥の色特徴を有する画素の組に
対して肌色領域をサーチする段階と、（ｃ）上記段階
（ｂ）において見出された赤目欠陥の位置に基づいて画
素の色を修正する段階とを実行するコンピュータプログ
ラムを記憶させたコンピュータ読み取り可能な記憶媒体
を含むコンピュータプログラム物である。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は概してディジタル画
像処理の分野に関し、更に特定的にはディジタル画像中
の赤目を検出する方法に関する。
【０００２】
【従来の技術】画像の捕捉のためにフラッシュ照明が使
用されるとき、画像の中の人の瞳孔は赤く見えることが
ある。これはフラッシュユニットからの光が瞳孔に入
り、網膜上で色々な向きに反射し、最後に瞳孔を通って
外に出ることによって生ずる。光は部分的に網膜の中の
毛細血管によって吸収されるため、瞳孔は画像の中で赤
く見える。この現象は「赤目」と称される。赤目が認め
られる確率はフラッシュユニットがレンズの光学軸に近
いほど増加する。従って、赤目は一般的に一体型のフラ
ッシュユニットを有する小型カメラによって捕捉された
画像の中に認められる。
【０００３】共通に譲受される米国特許第５，４３２，
８６３号は、赤目の色特徴を有する画像中の対象を検出
するユーザ対話型の方法を記載する。この方法は形状、
色彩及び明るさに基づいて候補赤目画素を自動的に検出
する。
【０００４】
【発明が解決しようとする課題】現在知られている赤目
を検出する方法は充分であるが、欠点が無いわけではな
い。米国特許第５，４３２，８６３号の方法は候補画素
が顔の上に配置されている、又は人間の目の一部である
かを決定しない。従って、上述の欠点を克服する赤目を
検出する方法が必要とされる。
【０００５】
【課題を解決するための手段】本発明は上述の１つ以上
の問題を克服することを目的とする。簡単に要約する
に、本発明の１つの面によれば、フラッシュ照明による
画像中の対称の目の色の欠陥を検出するためのコンピュ
ータプログラム物であって、（ａ）ディジタル画像中の
肌色領域を検出する段階と、（ｂ）赤目欠陥の色特徴を
有する画素の組に対して肌色領域をサーチする段階と、
（ｃ）上記段階（ｂ）において見出された赤目欠陥の位
置に基づいて画素の色を修正する段階とを実行するコン
ピュータプログラムを記憶させたコンピュータ読み取り
可能な記憶媒体を含むコンピュータプログラム物が提供
される。
【０００６】本発明は赤目欠陥を自動的に検出する方法
を提供することを目的とする。本発明は候補赤目欠陥が
人間の顔の一部であるかどうかを決定する方法を提供す
ることを目的とする。本発明はまた候補赤目欠陥が人間
の目の一部であるかどうかを決定する方法を提供するこ
とを目的とする。
【０００７】
【発明の実施の形態】本発明の上述及び他の面、目的、
特徴及び利点は以下詳述される実施例及び添付の図面を
参照して明らかとなろう。以下の説明において、ソフト
ウエアプログラムとしての望ましい実施例によって本発
明を説明する。当業者はそのようなソフトウエアの等価
物がハードウエア中に構築されうることを容易に認識す
るであろう。
【０００８】図１は２対の赤目２０を示すカラー画像の
グレースケール画像１０を示す図である。図２を参照す
るに、本発明のフローチャートの全体図が示されてい
る。カラーディジタル画像は従来技術によって周知のコ
ンピュータシステム上に存在するソフトウエアプログラ
ムに入力される。ディジタル画像の符号値は元のシーン
による画像を捕捉するのに使用されるフィルムの露出の
量の対数に正比例することが望ましい（Ｓ２）。プログ
ラムは画像中の全ての別個の連続した肌色領域を同定す
ることから開始する（Ｓ４）。
【０００９】図３を参照するに、図２のステップＳ４の
詳細なフローチャートが示されている。まずカラー画像
の赤、緑及び青の値は、Ｒ，Ｇ及びＢを夫々カラー画像
中の画素の赤、緑及び青の符号値とすると、以下の関係
式：
【００１０】
【数１】
【００１１】を使用してＬＳＴカラー空間へ変換される
（Ｓ４ａ）。次のステップでは３次元のヒストグラムが
構築される。ヒストグラムの大きさを減少させるため、
まず、Ｌ，Ｓ及びＴの符号値は、夫々８．０ｘ（３）
1/2 ，２．０及び２．０で割り算されることによって量
子化される（Ｓ４ｂ）。これらの量子化された符号値は
Ｌ’，Ｓ’及びＴ’と称される。Ｌ’，Ｓ’及びＴ’の
各組み合わせはヒストグラムの「ｂｉｎ」と称される。
ヒストグラムＨ（Ｌ’，Ｓ’，Ｔ’）の値は（Ｓ４
ｃ）、Ｌ’，Ｓ’及びＴ’の量子化された符号値を有す
る画像中の画素の数に等しい。換言すれば、ヒストグラ
ムによって各ｂｉｎに属する画像中の画素の数が分か
る。この数はｂｉｎの値と称される。
【００１２】ヒストグラムは、各ｂｉｎの値をそのｂｉ
ｎの値と隣接するｂｉｎの値との加重平均によって置き
換えることによって平滑化される（Ｓ４ｄ）。次に、ヒ
ストグラム中のピーク値が見つけられ（Ｓ４ｅ）、ヒス
トグラム中の各ｂｉｎは最も近くに配置されるピーク値
が割り当てられる（Ｓ４ｆ）。最後に、カラー画像中の
各画素はヒストグラムのｂｉｎに割り当てられており、
各ｂｉｎはピークに割り当てられているため、ピークは
カラー画像中の各画素に割り当てられる（Ｓ４ｇ）。画
素の符号値がそれが割り当てられたピークの数に等しい
単一帯域画像はセグメント化された画像と称される。
【００１３】同一の符号値を有するセグメント化された
画像中の連続領域はカラー画像中の対象又は対象の一部
に対応しやすい。固有の番号（ラベル）はセグメント化
された画像中の全てのそのような領域に割り当てられる
（Ｓ４ｈ）。番号は、最も多くの画素を有する領域に対
して割り当てられる１から始まり、順次的に割り当てら
れる。符号値が画素の属する領域のラベルに対応する単
一帯域画像はラベル付けされた画像と称される。
【００１４】プログラムは次にセグメント化された画像
中のどの連続領域が人間の肌の典型的な色を有するかを
決定する。各領域の平均Ｌ，Ｓ及びＴ符号値が計算さ
れ、これに基づいて各領域にはスコアＰskinが割り当て
られる（Ｓ４ｉ）。Ｐskinの高い値はその領域が人間の
肌の典型的な色であることを示す。或いは、低い値はそ
の領域の色が典型的な肌の色ではないことを示す。Ｐ
skinが閾値Ｔskin０．１０を超過する領域は肌色領域と
称される（Ｓ４ｊ）。
【００１５】カラー画像中の夫々の顔を単一の肌色領域
に関連づけるために、１つの最終的な段階が必要であ
る。上述の方法は、しばしば顔のつや、影等により顔の
色が均一でないことにより、単一の顔を１つ以上の肌色
領域に関連づけさせることがある。２つの肌色領域は２
つの条件が満たされれば単一の肌色領域の中にマージさ
れる（Ｓ４ｋ）。第１の条件は、２つの領域が相互連結
されることである。領域ｉ中の画素は、領域ｊに属する
画素が８つの最も近傍の画素のうちの１つであれば、領
域ｊに対して連結されている。領域ｉ及びｊの画素の間
の連結の数に正比例する関数Ｑ（ｉ，ｊ）が計算され
る。関数はＱ（ｉ，ｊ）が１．０となるよう正規化され
る。Ｑ（ｉ，ｊ）が閾値MinMergerFraction を超過すれ
ば、第２の条件が満たされれば、例えば閾値０．００５
が使用されれば、ｉ及びｊは単一の領域中にマージす
る。第２の条件は、 Ｄcolor ＝（（Ｌi −Ｌj ）2 ＋（Ｓi −Ｓj ）2 ＋
（Ｔi −Ｔj ）2 ）1/2 によって与えられる領域ｉ及びｊの色の間の距離が、４
０．０に設定されるMaxMergeColorDistance 以下にされ
ることである。
【００１６】肌色領域をマージする方法は、２つの条件
が満たされる場合に、最小の領域をより大きな領域にマ
ージすることから開始する。領域ｉがより大きな領域ｊ
にマージされる場合、次に領域ｊが更に大きな領域ｋに
マージされることが起こりうる。これが起こるとき、領
域ｉ，ｊ及びｋは単一の領域にマージされる。領域ｉ及
びｋは、これらの２つの領域について上述の２つの条件
が満たされない場合でもマージされうることに注意する
こと。これらは領域ｊに対する相互連結によってマージ
される。
【００１７】肌色検出の結果としてカラー画像中に肌色
領域のマップが与えられる（Ｓ４ｌ）。肌色でない領域
はゼロの符号値が与えられる。別個の連続した肌色領域
は番号１から始まって領域の大きさの降順に連続して番
号が付けられる。図４は図１の肌色領域のマップを示す
図である。図２を参照し、また図５に図示されるよう
に、各肌色領域のサブマップは肌マップ（図４）からそ
の肌領域全てを含む最小の矩形セクションを切り出すこ
とによって形成される（Ｓ６）。例えば、図５の肌領域
３０ｂは図４の肌領域３０ａに対応する。図５は夫々の
別々の連続する肌色領域を個々のサブマップとして示す
図である。サブマップの左上の隅に対応する肌マップの
列及び行は夫々Col cu tout及びRow cutoutと称される。
サブマップでは、２５５の値（白）は画素が肌色が存在
する位置に配置されていることを示す。ゼロの符号値
（黒）は肌色がないことを示す。
【００１８】図２を参照し、図６に示されるように、次
の段階において楕円形３５はステップＳ６において見つ
けられた個々の肌色サブマップに当てはめられる（Ｓ
８）（図５）。楕円形を２値画像に当てはめる方法は、
１９９２年Addison-WesleyからのRobert M. Haralick
及びLinda G. Shapiroによる「Computer and Robot Vis
ion. Volume I 」に記載されている。人間の顔はほぼ楕
円形である。従って、肌色サブマップが人間の顔のもの
であれば、楕円は肌色マップによく当てはまり、楕円の
短軸は顔の幅にほぼ等しくなるべきである。楕円形の肌
色サブマップへの当てはめの尺度は、Ｎをマップ中の肌
色画素（符号値２５５）の数、Ｎout を楕円形の外側に
なる肌色画素の数、Ｎinを楕円形の内側の肌色画素の
数、またＡを楕円形の中の画素の数とすると、
【００１９】
【数２】
【００２０】によって与えられる。Ａは楕円形の面積と
も称される。肌色画素の全てが楕円形の中にあり、肌色
画素の数が楕円の面積と等しければ、Ｆｉｔは１とな
り、当てはめは完全である。肌色画素が楕円の外側にあ
る、又は楕円の面積がその中の肌色画素の数以上である
とき、Ｆｉｔの値は減少される。Ｆｉｔの値が０．７０
とされる所定の値MinEllipseFit 以下であれば、肌色領
域は顔ではなく、それを更に処理しないものとする（Ｓ
１０）。
【００２１】肌色サブマップが顔のサブマップであるか
どうかの他の印は、Ｄmajor を楕円形の長軸とし、Ｄ
minor を画素中の短軸とすると、 AspectRatio ＝ Ｄmajor ／Ｄminor に与えられる楕円形のアスペクト比AspectRatio であ
る。AspectRatio が３．０とされるMaxAspectRatio以上
であれば、肌色領域は顔であるには細長すぎる画像中の
対象に対応する。プログラムは肌色領域が顔ではないと
決定し、これを更には処理しない（Ｓ１０）。
【００２２】肌サブマップが楕円形に対する許容可能な
当てはめの度合いを有し、楕円形が許容可能なアスペク
ト比を有する場合、マップは潜在的に顔の位置を示す。
次に、７５ピクセルに設定されるAimEyeDistanceを目の
間の所望の距離とし、２．０に設定されるFaceWidthEye
DistanceRatio を典型的な顔に対する幅と目の間の距離
との比とすると、以下の式、 Ｓprescale＝（AimEyeDistance x FaceWidthEyeDistanc
eRatio）／Ｄminor によって与えられるリサイズ係数Ｓprescaleを計算す
る。Ｓprescaleが０．１０であるMinPrescale 以下であ
るか、又は１．５０であるMaxPrescale 以上であれば、
肌色領域は更には処理されない（Ｓ１０）。次の段階
は、カラー画像からサブマップの位置に正確に対応する
副カラー画像を切り出す段階である（Ｓ１２）。楕円形
の短軸が顔の幅と略等しければ顔の中の目の間の距離は
AimEyeDistanceに近いはずである。図７はこのようにし
てリサイズされた後の副カラー画像４０を示す図であ
る。図７はグレースケールの図として示されているが、
実際の画像はカラー画像であることに注意すべきであ
る。図８はやはりリサイズされており（Ｓ１４）副カラ
ー画像の夫々に対応する楕円形５０を示す図である。実
際は、これらの画像が更に処理されたときに境界外の画
素がアドレス指定されないよう、リサイズされた副カラ
ー画像及びサブマップの縁に余分な行及び列を加えるこ
とが望ましい。画像の上部及び下部はパッド行によって
埋められ、左側及び右側はパッド列によって埋められ
る。
【００２３】ここで顔の形状を有する肌色領域が同定さ
れており、候補赤目の位置は同定される必要があり（Ｓ
１６）、これは図９に詳細に図示される。ここで図９を
参照するに、副カラー画像４０は小さな赤い特徴を同定
するよう処理される。プログラムは、Ｒ，Ｇ及びＢを副
カラー画像の赤，緑及び青の符号値とすると、 Ｘ＝Ｒ−Ｍａｘ（Ｇ，Ｂ） によって与えられる画素値Ｘを有する新しい単一帯域画
像を決めることによって開始する（Ｓ１６ａ）。
【００２４】新しい画像の中の赤目は、高い符号値と、
多分瞳孔の中のきらめき（glint ）による中心の小さな
低い符号値の領域とを有する小さな楕円形の面積として
現れる。きらめきの影響は、例えば３ｘ３のカーネルと
いったW ＿close x W ＿close のカーネルを使用するこ
とによってグレースケールの形態学的クローズ操作を実
行することによって除去される（Ｓ１６ｂ）。また、３
ｘ３以外の他の大きさのカーネルも使用されうる。グレ
ースケールの形態学的操作は１９８２年にAcademic Pr
ess 社から出版されたJean Serra による「Image Anal
ysis and Mathematical Morphology Volume 1 」の第４
２４乃至４７８頁を参照のこと。次に、高い符号値の小
さな領域は、例えば５ｘ５のカーネルといったW ＿open
x W＿openのカーネルを使用することによってグレース
ケールの形態学的オープン操作を実行することによって
除去される（Ｓ１６ｃ）。また５ｘ５以外の他の大きさ
のカーネルも使用されうる。残りの画像を形成するよ
う、オープン画像は次にクローズ画像から引き算される
（Ｓ１６ｄ）。この画像はオープン画像の中にあったの
ものを示すが、クローズ画像の中のもの、即ち、副カラ
ー画像中の小さな赤い特徴に対応する高い符号値の小さ
な領域は示さない。次に、残りの画像は以下のカーネ
ル、即ち、 １ ２ １ ２ ４ ２ １ ２ １ を有する線形フィルタを使用して平滑化される（Ｓ１６
ｅ）。平滑化された残りの画像中の各画素に対して、そ
の画素を中心として配置された７ｘ７の窓が検査され
る。この画素の符号値が、５に設定された閾値Ｔpeakを
超過し、窓の中の他の全ての画素の符号値以上であれ
ば、その画素はピークとして分類される（Ｓ１６ｆ）。
図１０の（Ａ）及び（Ｂ）は図７中の全ての副カラー画
像に対するピーク３７を示す図である。平滑化された残
りの画像の中の全てのピークが見つけられたあと、個々
のピークが検査される（Ｓ１６ｇ）。まず、画素がピー
クであると分類され、この画素の西、北西、北又は北東
側にある隣接する画素もまたピークであると分類された
とき、ピークは除去される（Ｓ１６ｈ）。
【００２５】ピークとして分類された画素は候補赤目画
素である。しかしながらピークの位置が瞳孔の中のきら
めきと一致し、赤い欠陥ではないことも可能である。こ
のため、ピークからの２に等しい距離GlintRadius より
内側の画素が検査される（Ｓ１６ｉ）。候補赤目画素は
以下定義される最高の色スコアＰcolor を有する近傍の
画素へ移動される。
【００２６】次に、候補赤目画素は類似した色の画素の
連続領域を成長させるための種（ｓｅｅｄ）として使用
される。領域内の画素の数がMinSize より小さいか、Ma
xSize より大きければ、領域は赤目欠陥の特徴である大
きさではなく、候補赤目画素は除去される（Ｓ１６
ｊ）。上述の処理の結果として、各副カラー画像１６ｋ
に対する候補赤目画素のマップが得られる（Ｓ１６
ｋ）。図８の楕円形は、潜在的に顔であると同定された
図７の対応する副カラー画像中の領域の近似したマップ
である。従って、図１１に概説される次の段階の目の検
出では、楕円の内側にある候補赤目画素のみが考慮され
る。
【００２７】再び図２を参照するに、目の検出の目的は
候補赤目画素が実際に目の一部であるかどうかを決定す
ることである。目の検出の手順はカラー画像の単色版を
必要とする（Ｓ１８）。Ｇを緑帯域の符号値とし、γを
２．０に設定されるパラメータとすると、カラー画像の
緑帯域は、緑画素符号値を以下の式、即ち、
【００２８】
【数３】
【００２９】を使用して変形することによってコントラ
ストが増加された後に使用される。カラー画像の単色版
はルミナンス画像と称される。図２中の目の検出手順Ｓ
２０はテンプレートマッチングの方法に基づく。これは
目のどの画像もテンプレートとして使用されうることに
注意することによって理解が容易にされる。図１２の上
の画像６０は左目のテンプレートを示す。下の画像７０
はテンプレートのゾーンへの分割を示す。ゾーン１は眉
毛の領域である。ゾーン２及び３は夫々目の左側及び右
側である。ゾーン４は瞳孔及び虹彩を含む。ゾーン０は
使用されない。目のテンプレートは、目の間の距離が３
０６ピクセルのTemplateEyeDistance であり、２つの目
の傾斜がゼロに近い画像から得られた。上述のように、
リサイズされた副カラー画像中の１対の赤目は約AimEye
Distance（７５ピクセル）だけ離れているはずである。
従って、テンプレートが一致するよう正しい大きさであ
るためには、目は以下の係数、即ち、 Ｓ0 ＝ AimEyeDistance ／ TemplateEyeDistance によってリサイズされねばならない。
【００３０】実際は、楕円形の短軸からの顔の幅の推定
は常に正確ではない。また、目は傾斜されうる。このた
め、元の左目のテンプレート及びゾーンマップから開始
し、広がった範囲の大きさ及び向きの左目、右目（左目
の鏡像）及びゾーンマップが形成される（Ｓ２２）。元
の目のテンプレート及びゾーンマップはＳ0 x Narrowか
らＳ0 x wideまでSStep の増分でリサイズされる。Narr
ow, Wide及びSStep の望ましい値は夫々１．５，０．５
０及び０．０５である。各リサイズ係数に対して傾斜を
適応させるために、TStep 度の増分の-MaxTilt度（時計
回りの傾斜）からMaxTilt 度までの範囲の一連の傾斜さ
れたテンプレート及びゾーンマップが生成される（Ｓ２
２）。MaxTilt の望ましい値は３０°であり、TStep の
望ましい値は２．０°である。
【００３１】図１１を参照するに、図２のステップＳ２
０の詳細なフローチャートが示されている。左及び右赤
目対に属すると仮定される１対の候補赤目画素を考える
（Ｓ２０ａ）。元の目のテンプレートに対する目の縮尺
は、Ｌp （Ｒp ）を左（右）の候補赤目画素の列である
とし、Ｌl （Ｒl ）を左（右）の候補赤目画素の行であ
るとすると、以下の関係式、即ち、
【００３２】
【数４】
【００３３】によって候補赤目画素対の間の距離と関連
づけられる（Ｓ２０ｂ）。（列の番号は１から開始し、
左から右へ増加する。行の番号は１から開始し上から下
へ増加する）。候補赤目画素の間の傾斜（Ｓ２０ｂ）
は、
【００３４】
【数５】
【００３５】によって与えられる。上述のように、目の
テンプレート及びゾーンマップの組は、SStep の解像度
のＳ0 x NarrowからＳ0 x wideまでのリサイズ係数の範
囲及び解像度TStep で-MaxTilt度（時計回りの傾斜）か
らMaxTilt 度までの範囲に広がるよう形成される。候補
赤目画素の対に対するＳpair及びTiltの値に最もよく一
致する左目テンプレート、右目テンプレート及びゾーン
マップは続く相関段階で使用される。Ｓpair及びTiltが
この範囲外であれば、この対は更なる処理をされない
（Ｓ２０ｃ）。
【００３６】目のテンプレートが選択された後、次の段
階では赤目画素の周囲の領域が目に一致するかどうかが
決定される。これはルミナンス画像の左の候補赤目画素
の周囲の領域で左目テンプレートの相関を、右の候補赤
目画素の周囲の領域で右目テンプレートの相関を実行す
ることによって行われる（Ｓ２０ｄ）。相関方法の１つ
の段階は、テンプレート及びルミナンス画像の画素を一
致させ、それらの符号値の積を計算することである。テ
ンプレート画像の中心は目の中心に対応する。候補赤目
画素は目の中心に近いが、目の中心にある必要はないた
め、ここでは候補赤目画素の回りに３に等しい距離Look
Aroundに亘って広がる方形の中の全ての画素に一致され
るテンプレートの中心に対して数回相関を行う。相関は
テンプレートのゾーン１からゾーン４に対して別々に行
われる（図１２参照）。これらの相関はＣｚ１，Ｃｚ
２，Ｃｚ３及びＣｚ４と称される。更に、ゾーン１から
ゾーン４までの合計からなる領域に対して全体の相関が
計算される。全体の相関Ｃの最も高い値を有する候補赤
目画素の周囲の方形の中の画素は、候補赤目画素を含む
目の中心の最もよい推測である。この画素は目の中心の
画素と称される。左及び右の候補赤目画素は共に関連す
る目の中心の画素を有する。
【００３７】ここで相関処理を詳述する。ｐを列の番号
とし、ｌを行の番号とすると、テンプレート画像は関数
Φ（ｐ，ｌ）によって示される。テンプレートの中の列
及び行の番号は夫々ｗ及びｈである。目のテンプレート
の中心は略目の中心の位置である。テンプレートのゾー
ンは、ｐ∈Ｚが列ｐがゾーンＺにあることを意味し、ｌ
∈Ｚが行ｌがゾーンＺにあることを意味し、ＮZ はゾー
ンの中の画素の数であるときに、
【００３８】
【数６】
【００３９】によって与えられる積Πによって、列ｐ0
及び行ｌ0 においてΓ（ｐ，ｌ）によって示されるルミ
ナンス画像と相関される。また、
【００４０】
【数７】
【００４１】によって与えられるゾーンＺの中のテンプ
レートの平均符号値が計算される。更に、ゾーンＺの中
のテンプレートの標準偏差は、以下の式、
【００４２】
【数８】
【００４３】によって計算される。同様に、ゾーンＺの
中のルミナンス画像の平均符号値は以下の式、
【００４４】
【数９】
【００４５】によって計算され、標準偏差は以下の式、
【００４６】
【数１０】
【００４７】によって計算される。上述によって定義さ
れた量を使用して、ルミナンス画像のゾーンＺの中のテ
ンプレートとの相関は、以下の関係式、
【００４８】
【数１１】
【００４９】によって与えられる。画像及びテンプレー
トの符号値がゾーン１の中で全く同じであれば、ＣZ は
１．０となる。画像及びテンプレートが完全に相関され
ていなければＣZ はゼロとなる。目の中心の画素に対す
るＣ，ＣZ1，ＣZ2，ＣZ3及びＣZ4の値は、候補赤目画素
の対が副カラー画像中の赤目欠陥の一部である可能性の
尺度であるスコアの計算に使用される（Ｓ２０ｅ）。相
関は夫々０．０乃至１．０の範囲の関連するスコアリン
グ関数の中の変数として使用される。例えば、目の中心
の画素に対するＣの値が画素が実際に目の中心に配置さ
れている可能性が非常に低いことを示す場合、ｐＣ
（Ｃ）と称される全体の相関Ｃに関連するスコアリング
関数は０．０となる。一方、Ｃの値が目のテンプレート
の相関の典型的な範囲である場合、ｐＣ（Ｃ）は１．０
となる。そうでなければ、ｐＣ（Ｃ）は中間値を取る。
スコアリング関数ｐＣ（Ｃ）及び後述される他のスコア
リング関数は図１３に示される。
【００５０】後に候補赤目対に対する全体のスコアと組
み合わせられるスコアはこれらのスコアリング関数に基
づいて定義される。以下の式は全体の相関Ｃに関するス
コアＰcorrを、 Ｐcorr＝ｐＣ（Ｃ） として簡単に定義する。ゾーン相関に関連するスコアＰ
zoneはゾーン相関スコアリング関数の加重平均である。
ゾーン４（瞳孔）の中の相関は目の存在に関して他のゾ
ーンよりもはるかに信頼できる指標であることが分かっ
ている。このためゾーン４の相関は他のゾーンよりも多
くの重みをあたえられている。典型的には、重みＷを
６．０とする。Ｐzoneは、
【００５１】
【数１２】
【００５２】によって与えられる。全体の相関Ｃの計算
過程において計算された
【００５３】
【外１】
【００５４】は、目の中心の画素に中心を合わせられた
ルミナンス画像の中の特徴が実際に目であればよい指標
であることが分かっている。例えば、
【００５５】
【外２】
【００５６】が非常に低ければ、特徴が目であるには低
すぎるコントラストを有する。これを考慮したうえで、
【００５７】
【外３】
【００５８】に関連するスコアを、
【００５９】
【数１３】
【００６０】によって定義する。最後に、候補赤目画素
の色は実際の赤目欠陥を示すものでなくてはならない。
この計算のために、候補赤目画素の赤、緑及び青の符号
値はルミナンス（Lum ）、色調（Hue ）及び飽和（Sat
）の値に変換される。ルミナンスは、
【００６１】
【数１４】
【００６２】によって計算される。画素の対するLum の
値はゼロから可能な限り高い符号値までの範囲を取る。
飽和は以下の式、
【００６３】
【数１５】
【００６４】によって与えられ、０から１００までの値
の範囲を取る。色調は、赤色は１２０度の色調角へ変位
される以外は、Addison-Wesley Publishing Company
出版の「Computer Graphics Principles and Practice
2nd ed. 」の第５９２頁と同様に定義される。Hue の値
は０乃至３６０度の範囲を取りうる。候補赤目画素の色
に関連するスコアは、 Ｐcolor ＝pL(Lum)pH(Hue)pS(Sat) によって定義される。
【００６５】結果は、候補赤目画素が実際に画像中の赤
目欠陥の一部である可能性を示すスコアＰeye である。
このスコアは、 Ｐeye ＝ＰcorrＰzoneＰsigma Ｐcolor によって定義され、その値は０．０から１．０までの範
囲を取る。対の中の左び右の候補赤目画素の両方に対し
て良さの尺度Ｐeye が計算される。これらの２つの値の
平均は、
【００６６】
【数１６】
【００６７】によって与えられる。Ｐpairが最大となる
候補赤目画素の対は候補赤目画素の最善の対と称される
（Ｓ２０ｆ）。Ｐpairが０．０５である閾値MinEyeScor
e を超過すれば、プログラムは更なる処理を行う。そう
でなければ、プログラムは副カラー画像の中に１対の赤
目がないと決定する（Ｓ２０ｇ）。カラー画像中の赤目
欠陥を有する対の一部でない候補赤目画素の最善の対が
誤って分類される確率を最小化させることが重要であ
る。赤目の対が実際に配置されていることを確かめる１
つの方法は、人間の顔が顔を二分する線に対して略対称
であることを使用することである（図２のＳ２４）。こ
れを行うため、副カラー画像は候補赤目画素の最善の対
を連結する線の傾斜が略ゼロであるよう回転される。次
に、副カラー画像から目の間の中点を中心とされた画像
が切り出される。この画像は候補赤目画素の間の距離の
１．５倍の幅と、その幅の４分の１の高さを有する。こ
の画像は次に半分に切断される。ここで添え字ｘはカラ
ー画像の帯域を示すとすると、左半分の画像は、Ｅx
left(p,l) と称され、右半分の画像は、Ｅx right (p,
l) と称される。例えば、Ｅr left p,l)は画像の赤の
帯域を示す。右半分の画像の中の列はそれ自体の構造と
なるよう反転される（最初の列が最後の列になる等）。
Ｅx left(p,l) とＥx right (p,l) との相関はまず、p
及びl に亘る総和は夫々半分の画像の列及び行の全てに
対するものであり、Ｎは半分の画像の中の画素数である
として、積の和、即ち、
【００６８】
【数１７】
【００６９】を計算することによって実行される。相関
は、Ｍx left及びＭx right を半分の画像の帯域ｘの平
均符号値とし、σx left及びσx right を標準偏差とす
ると、
【００７０】
【数１８】
【００７１】によって与えられる。スコアＰsym は対称
スコアリング関数pSym（Ｃx sym ）に基づいて、 Ｐsym ＝pSym（Ｃr sym ）pSym（Ｃg sym ）pSym（Ｃb
sym ） によって定義される。最終的なスコアＰは端にＰsym 及
びＰpairの積、即ち、 Ｐ＝Ｐsym Ｐpair である。この０．０から１．０までの範囲を取りうるス
コアが０．０５に設定されている閾値MinScoreを超える
場合（Ｓ２６）、候補赤目対はリサイズされた副カラー
画像の中の赤目欠陥の対の位置をマークすると考えられ
る。
【００７２】最後に、原カラー画像の中の左及び右の赤
目欠陥の位置は、p 及びl をリサイズされた副カラー画
像中の左の候補赤目画素の列及び行とし、p'及びl'を原
カラー画像中の対応する位置とすると、以下の関係式、
【００７３】
【数１９】
【００７４】を使用してリサイズされた副カラー画像の
左及び右の候補赤目画素に基づいて計算される（Ｓ２
８）。時々、楕円形に当てはめられた後の２つの異なる
肌領域が重なり合う、又は互いに非常に近接することが
ある。これによって、同じ赤目対が２回見つけられる、
又は互いに近すぎる２つの赤目対の検出が真に赤目対で
あるとされうる。このため、カラー画像中の全ての赤目
対が配置された後、いずれかの２つの対が２０ピクセル
のMinInterpairEyeDistance よりも小さい赤目位置を有
するかどうかが決定される。この場合、より低いスコア
を有する対は除去される（Ｓ３０）。
【図面の簡単な説明】
【図１】赤目を示す図である。
【図２】本発明のソフトウエアプログラムのフローチャ
ートを示す全体図である。
【図３】図２の連続する肌色領域を決定する部分の詳細
なフローチャートを示す図である。
【図４】肌色領域を示す図１の２値表現である。
【図５】図４の個々の連続する色領域の詳細図を示す図
である。
【図６】図５のに当てはめられる楕円形を示す図であ
る。
【図７】リサイズされた候補顔領域を示す図である。
【図８】図７に当てはめられた候補顔領域に対応するリ
サイズされた楕円形を示す図である。
【図９】図２の候補赤目決定部分の詳細なフローチャー
トである。
【図１０】図７の候補赤目欠陥を示す図である。
【図１１】図２の目の検出の部分の詳細なフローチャー
トである。
【図１２】目のテンプレート及びゾーンマップを示す図
である。
【図１３】本発明のスコアリング関数を示す図である。
【符号の説明】
１０ グレースケール画像 ２０ 赤目 ３０ａ，３０ｂ 肌領域 ３５ 楕円形 ３７ ピーク ４０ 副カラー画像 ５０ 楕円形 ６０ 上の画像 ７０ 下の画像
フロントページの続き (72)発明者 ジエボ ルオ アメリカ合衆国，ニューヨーク 14620, ロチェスター，ユニヴァーシティー・パー ク 805

Claims (3)

    【特許請求の範囲】
  1. 【請求項１】 フラッシュ照明による画像中の対称の目
    の色の欠陥を検出するためのコンピュータプログラム物
    であって、（ａ）ディジタル画像中の肌色領域を検出す
    る段階と、（ｂ）赤目欠陥の色特徴を有する画素の組に
    対して肌色領域をサーチする段階と、（ｃ）上記段階
    （ｂ）において見出された赤目欠陥の位置に基づいて画
    素の色を修正する段階とを実行するコンピュータプログ
    ラムを記憶させたコンピュータ読み取り可能な記憶媒体
    を含むコンピュータプログラム物。
  2. 【請求項２】 上記段階（ａ）は、（ａ１）ディジタル
    画像を均一な色の連続領域に分割し、候補肌領域を形成
    するよう該領域が肌に対応する確率を示すスコアを割り
    当てる段階を含む、請求項１記載のコンピュータプログ
    ラム物。
  3. 【請求項３】 上記段階（ａ１）は、色の類似性及び接
    続性の度合いに基づいて２つ以上の候補肌領域をマージ
    する段階を含む、請求項２記載のコンピュータプログラ
    ム物。
JP24327598A 1997-08-29 1998-08-28 赤目検出方法 Expired - Lifetime JP4428737B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US08/919,560 US6292574B1 (en) 1997-08-29 1997-08-29 Computer program product for redeye detection
US919560 1997-08-29

Publications (2)

Publication Number Publication Date
JPH11136498A true JPH11136498A (ja) 1999-05-21
JP4428737B2 JP4428737B2 (ja) 2010-03-10

Family

ID=25442312

Family Applications (1)

Application Number Title Priority Date Filing Date
JP24327598A Expired - Lifetime JP4428737B2 (ja) 1997-08-29 1998-08-28 赤目検出方法

Country Status (3)

Country Link
US (1) US6292574B1 (ja)
EP (1) EP0899686A3 (ja)
JP (1) JP4428737B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005316958A (ja) * 2004-03-30 2005-11-10 Fuji Photo Film Co Ltd 赤目検出装置および方法並びにプログラム
JP2009064459A (ja) * 2008-10-24 2009-03-26 Konica Minolta Business Technologies Inc 画像中の赤目を補正するプログラム、記録媒体および赤目補正方法
JP2009080522A (ja) * 2007-09-25 2009-04-16 Mitsubishi Electric Corp 物体画像認識装置
US7724950B2 (en) 2005-06-14 2010-05-25 Canon Kabushiki Kaisha Image processing apparatus, image processing method, computer program, and storage medium
US7826659B2 (en) 2005-06-14 2010-11-02 Canon Kabushiki Kaisha Image processing apparatus and method, computer program, and storage medium dividing an input image into band images
US8045795B2 (en) 2005-06-14 2011-10-25 Canon Kabushiki Kaisha Image processing apparatus, image processing method, computer program, and storage medium
US9460347B2 (en) 2013-06-28 2016-10-04 Canon Kabushiki Kaisha Image processing apparatus and method for processing image for detecting an image area including a defective color tone

Families Citing this family (117)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6786420B1 (en) 1997-07-15 2004-09-07 Silverbrook Research Pty. Ltd. Data distribution mechanism in the form of ink dots on cards
US6618117B2 (en) 1997-07-12 2003-09-09 Silverbrook Research Pty Ltd Image sensing apparatus including a microcontroller
AUPO802797A0 (en) 1997-07-15 1997-08-07 Silverbrook Research Pty Ltd Image processing method and apparatus (ART54)
US6985207B2 (en) 1997-07-15 2006-01-10 Silverbrook Research Pty Ltd Photographic prints having magnetically recordable media
US6690419B1 (en) 1997-07-15 2004-02-10 Silverbrook Research Pty Ltd Utilising eye detection methods for image processing in a digital image camera
AUPO850597A0 (en) * 1997-08-11 1997-09-04 Silverbrook Research Pty Ltd Image processing method and apparatus (art01a)
US7246897B2 (en) 1997-07-15 2007-07-24 Silverbrook Research Pty Ltd Media cartridge for inkjet printhead
US6879341B1 (en) 1997-07-15 2005-04-12 Silverbrook Research Pty Ltd Digital camera system containing a VLIW vector processor
US7551201B2 (en) 1997-07-15 2009-06-23 Silverbrook Research Pty Ltd Image capture and processing device for a print on demand digital camera system
US7551202B2 (en) * 1997-07-15 2009-06-23 Silverbrook Research Pty Ltd Digital camera with integrated inkjet printer
AUPO799997A0 (en) 1997-07-15 1997-08-07 Silverbrook Research Pty Ltd Image processing method and apparatus (ART10)
US20040160524A1 (en) * 1997-07-15 2004-08-19 Kia Silverbrook Utilising exposure information for image processing in a digital image camera
US7077515B2 (en) * 1997-07-15 2006-07-18 Silverbrook Research Pty Ltd Media cartridge for inkjet printhead
US7593058B2 (en) * 1997-07-15 2009-09-22 Silverbrook Research Pty Ltd Digital camera with integrated inkjet printer having removable cartridge containing ink and media substrate
US7724282B2 (en) 1997-07-15 2010-05-25 Silverbrook Research Pty Ltd Method of processing digital image to correct for flash effects
US7714889B2 (en) * 1997-07-15 2010-05-11 Silverbrook Research Pty Ltd Digital camera using exposure information for image processing
US7110024B1 (en) 1997-07-15 2006-09-19 Silverbrook Research Pty Ltd Digital camera system having motion deblurring means
US6624848B1 (en) 1997-07-15 2003-09-23 Silverbrook Research Pty Ltd Cascading image modification using multiple digital cameras incorporating image processing
US7352394B1 (en) 1997-10-09 2008-04-01 Fotonation Vision Limited Image modification based on red-eye filter analysis
US7630006B2 (en) 1997-10-09 2009-12-08 Fotonation Ireland Limited Detecting red eye filter and apparatus using meta-data
US7042505B1 (en) 1997-10-09 2006-05-09 Fotonation Ireland Ltd. Red-eye filter method and apparatus
US7738015B2 (en) 1997-10-09 2010-06-15 Fotonation Vision Limited Red-eye filter method and apparatus
JPH11175699A (ja) * 1997-12-12 1999-07-02 Fuji Photo Film Co Ltd 画像処理装置
JP2000048184A (ja) * 1998-05-29 2000-02-18 Canon Inc 画像処理方法及び顔領域抽出方法とその装置
US6631208B1 (en) * 1998-05-29 2003-10-07 Fuji Photo Film Co., Ltd. Image processing method
AUPP400998A0 (en) 1998-06-10 1998-07-02 Canon Kabushiki Kaisha Face detection in digital images
AUPP702098A0 (en) 1998-11-09 1998-12-03 Silverbrook Research Pty Ltd Image creation method and apparatus (ART73)
WO2000067204A2 (en) * 1999-05-03 2000-11-09 Pictuality, Inc. Image analysis process
AUPQ056099A0 (en) 1999-05-25 1999-06-17 Silverbrook Research Pty Ltd A method and apparatus (pprint01)
AU769886B2 (en) * 2000-03-01 2004-02-05 Canon Kabushiki Kaisha Segmenting an image
US7092122B2 (en) * 2000-07-18 2006-08-15 Fuji Photo Film Co., Ltd. Image processing device and method
JP2002043200A (ja) * 2000-07-24 2002-02-08 Mitsubishi Electric Corp 異常原因検出装置及び異常原因検出方法
US6728401B1 (en) * 2000-08-17 2004-04-27 Viewahead Technology Red-eye removal using color image processing
US6711286B1 (en) * 2000-10-20 2004-03-23 Eastman Kodak Company Method for blond-hair-pixel removal in image skin-color detection
US6920237B2 (en) * 2000-12-19 2005-07-19 Eastman Kodak Company Digital image processing method and computer program product for detecting human irises in an image
US6792134B2 (en) 2000-12-19 2004-09-14 Eastman Kodak Company Multi-mode digital image processing method for detecting eyes
US20020081003A1 (en) * 2000-12-27 2002-06-27 Sobol Robert E. System and method for automatically enhancing graphical images
US6895112B2 (en) * 2001-02-13 2005-05-17 Microsoft Corporation Red-eye detection based on red region detection with eye confirmation
JP4190739B2 (ja) * 2001-02-19 2008-12-03 日本電気株式会社 画像特徴量生成装置および方法、ならびに画像特徴量生成プログラムを記録した記憶媒体
US7092554B2 (en) * 2001-05-01 2006-08-15 Eastman Kodak Company Method for detecting eye and mouth positions in a digital image
US20020172419A1 (en) * 2001-05-15 2002-11-21 Qian Lin Image enhancement using face detection
JP4778158B2 (ja) * 2001-05-31 2011-09-21 オリンパス株式会社 画像選出支援装置
US6895103B2 (en) 2001-06-19 2005-05-17 Eastman Kodak Company Method for automatically locating eyes in an image
US6980691B2 (en) 2001-07-05 2005-12-27 Corel Corporation Correction of “red-eye” effects in images
EP1293933A1 (de) * 2001-09-03 2003-03-19 Agfa-Gevaert AG Verfahren zum automatischen Erkennen von rote-Augen-Defekten in fotografischen Bilddaten
US7058209B2 (en) * 2001-09-20 2006-06-06 Eastman Kodak Company Method and computer program product for locating facial features
US7133070B2 (en) * 2001-09-20 2006-11-07 Eastman Kodak Company System and method for deciding when to correct image-specific defects based on camera, scene, display and demographic data
US7155058B2 (en) * 2002-04-24 2006-12-26 Hewlett-Packard Development Company, L.P. System and method for automatically detecting and correcting red eye
JP2004053324A (ja) * 2002-07-17 2004-02-19 Denso Corp 自動車用衝突安全制御装置
US7035461B2 (en) * 2002-08-22 2006-04-25 Eastman Kodak Company Method for detecting objects in digital images
US7035462B2 (en) * 2002-08-29 2006-04-25 Eastman Kodak Company Apparatus and method for processing digital images having eye color defects
US7397969B2 (en) * 2002-08-30 2008-07-08 Fujifilm Corporation Red eye compensation method, image processing apparatus and method for implementing the red eye compensation method, as well as printing method and printer
US20040093432A1 (en) * 2002-11-07 2004-05-13 Eastman Kodak Company Method and system for conducting image processing from a mobile client device
US7116820B2 (en) * 2003-04-28 2006-10-03 Hewlett-Packard Development Company, Lp. Detecting and correcting red-eye in a digital image
US7224850B2 (en) * 2003-05-13 2007-05-29 Microsoft Corporation Modification of red-eye-effect in digital image
EP1482724B1 (fr) * 2003-05-19 2007-07-11 STMicroelectronics S.A. Méthode de traitement d'images numériques avec correction d'exposition par reconnaissance de zones appartenant à la peau du sujet photographié
US20040239968A1 (en) * 2003-06-02 2004-12-02 Gondek Jay S. Color correction in images
US7970182B2 (en) 2005-11-18 2011-06-28 Tessera Technologies Ireland Limited Two stage detection for photographic eye artifacts
US7689009B2 (en) 2005-11-18 2010-03-30 Fotonation Vision Ltd. Two stage detection for photographic eye artifacts
US7920723B2 (en) 2005-11-18 2011-04-05 Tessera Technologies Ireland Limited Two stage detection for photographic eye artifacts
US7536036B2 (en) 2004-10-28 2009-05-19 Fotonation Vision Limited Method and apparatus for red-eye detection in an acquired digital image
US7574016B2 (en) 2003-06-26 2009-08-11 Fotonation Vision Limited Digital image processing using face detection information
US8036458B2 (en) 2007-11-08 2011-10-11 DigitalOptics Corporation Europe Limited Detecting redeye defects in digital images
US7792970B2 (en) 2005-06-17 2010-09-07 Fotonation Vision Limited Method for establishing a paired connection between media devices
US7587085B2 (en) 2004-10-28 2009-09-08 Fotonation Vision Limited Method and apparatus for red-eye detection in an acquired digital image
US8254674B2 (en) 2004-10-28 2012-08-28 DigitalOptics Corporation Europe Limited Analyzing partial face regions for red-eye detection in acquired digital images
US8170294B2 (en) 2006-11-10 2012-05-01 DigitalOptics Corporation Europe Limited Method of detecting redeye in a digital image
US9412007B2 (en) 2003-08-05 2016-08-09 Fotonation Limited Partial face detector red-eye filter method and apparatus
US8520093B2 (en) 2003-08-05 2013-08-27 DigitalOptics Corporation Europe Limited Face tracker and partial face tracker for red-eye filter method and apparatus
US20050031224A1 (en) * 2003-08-05 2005-02-10 Yury Prilutsky Detecting red eye filter and apparatus using meta-data
US7454040B2 (en) * 2003-08-29 2008-11-18 Hewlett-Packard Development Company, L.P. Systems and methods of detecting and correcting redeye in an image suitable for embedded applications
US7333653B2 (en) * 2003-08-29 2008-02-19 Hewlett-Packard Development Company, L.P. Detecting and correcting redeye in an image
US7835572B2 (en) * 2003-09-30 2010-11-16 Sharp Laboratories Of America, Inc. Red eye reduction technique
JP4345622B2 (ja) * 2003-11-05 2009-10-14 オムロン株式会社 瞳色推定装置
US7684642B2 (en) * 2004-03-03 2010-03-23 Eastman Kodak Company Correction of redeye defects in images of humans
JP4505362B2 (ja) * 2004-03-30 2010-07-21 富士フイルム株式会社 赤目検出装置および方法並びにプログラム
US7852377B2 (en) * 2004-04-16 2010-12-14 Arcsoft, Inc. Automatic red eye removal
JP4496465B2 (ja) * 2004-04-23 2010-07-07 ノーリツ鋼機株式会社 赤目補正方法、プログラム、及びこの方法を実施する装置
US20050248664A1 (en) * 2004-05-07 2005-11-10 Eastman Kodak Company Identifying red eye in digital camera images
JP4574249B2 (ja) * 2004-06-29 2010-11-04 キヤノン株式会社 画像処理装置及びその方法、プログラム、撮像装置
JP4599110B2 (ja) * 2004-07-30 2010-12-15 キヤノン株式会社 画像処理装置及びその方法、撮像装置、プログラム
US7894666B2 (en) * 2004-07-30 2011-02-22 Canon Kabushiki Kaisha Image processing method and apparatus, image sensing apparatus, and program
US8000505B2 (en) * 2004-09-01 2011-08-16 Eastman Kodak Company Determining the age of a human subject in a digital image
US7623707B2 (en) * 2004-09-15 2009-11-24 Adobe Systems Incorporated Hierarchically locating a feature in a digital image
US8081818B2 (en) * 2004-09-15 2011-12-20 Adobe Systems Incorporated Locating a feature in a digital image
US7444017B2 (en) * 2004-11-10 2008-10-28 Eastman Kodak Company Detecting irises and pupils in images of humans
US20070036438A1 (en) * 2005-08-15 2007-02-15 Lexmark International, Inc. Methods and systems for identifying red eye pairs
US7747071B2 (en) * 2005-10-27 2010-06-29 Hewlett-Packard Development Company, L.P. Detecting and correcting peteye
US7599577B2 (en) 2005-11-18 2009-10-06 Fotonation Vision Limited Method and apparatus of correcting hybrid flash artifacts in digital images
GB2432659A (en) * 2005-11-28 2007-05-30 Pixology Software Ltd Face detection in digital images
JP4712563B2 (ja) * 2006-01-16 2011-06-29 富士フイルム株式会社 顔検出方法および装置並びにプログラム
EP1987475A4 (en) 2006-02-14 2009-04-22 Fotonation Vision Ltd AUTOMATIC DETECTION AND CORRECTION OF RED EYE FLASH DEFECTS
WO2008023280A2 (en) 2006-06-12 2008-02-28 Fotonation Vision Limited Advances in extending the aam techniques from grayscale to color images
US8064694B2 (en) * 2006-06-21 2011-11-22 Hewlett-Packard Development Company, L.P. Nonhuman animal integument pixel classification
US20080170778A1 (en) * 2007-01-15 2008-07-17 Huitao Luo Method and system for detection and removal of redeyes
US8055067B2 (en) 2007-01-18 2011-11-08 DigitalOptics Corporation Europe Limited Color segmentation
WO2008109708A1 (en) 2007-03-05 2008-09-12 Fotonation Vision Limited Red eye false positive filtering using face location and orientation
US20090024687A1 (en) * 2007-07-20 2009-01-22 Thomas Quigley Method and system for formatting returned result from remote processing resource in wireless system
US7755802B2 (en) * 2007-08-24 2010-07-13 Eastman Kodak Company Toner-based noise reduction in electrostatography
US8031970B2 (en) * 2007-08-27 2011-10-04 Arcsoft, Inc. Method of restoring closed-eye portrait photo
US8503818B2 (en) 2007-09-25 2013-08-06 DigitalOptics Corporation Europe Limited Eye defect detection in international standards organization images
US8391596B2 (en) * 2007-10-17 2013-03-05 Qualcomm Incorporated Effective red eye removal in digital images without face detection
US8212864B2 (en) 2008-01-30 2012-07-03 DigitalOptics Corporation Europe Limited Methods and apparatuses for using image acquisition data to detect and correct image defects
JP2011511358A (ja) * 2008-02-01 2011-04-07 ヒューレット−パッカード デベロップメント カンパニー エル．ピー． 自動赤目検出
US8331666B2 (en) * 2008-03-03 2012-12-11 Csr Technology Inc. Automatic red eye artifact reduction for images
US8081254B2 (en) 2008-08-14 2011-12-20 DigitalOptics Corporation Europe Limited In-camera based method of detecting defect eye with high accuracy
JP4912374B2 (ja) * 2008-09-10 2012-04-11 富士フイルム株式会社 顔イラスト画生成方法及び顔イラスト画生成装置
US8786735B2 (en) * 2011-03-21 2014-07-22 Apple Inc. Red-eye removal using multiple recognition channels
US8837827B2 (en) 2011-03-21 2014-09-16 Apple Inc. Red-eye removal using multiple recognition channels
US8818091B2 (en) 2011-03-21 2014-08-26 Apple Inc. Red-eye removal using multiple recognition channels
US8837822B2 (en) 2011-03-21 2014-09-16 Apple Inc. Red-eye removal using multiple recognition channels
US8837785B2 (en) * 2011-03-21 2014-09-16 Apple Inc. Red-eye removal using multiple recognition channels
US8571271B2 (en) 2011-05-26 2013-10-29 Microsoft Corporation Dual-phase red eye correction
US8811683B2 (en) 2011-06-02 2014-08-19 Apple Inc. Automatic red-eye repair using multiple recognition channels
US9041954B2 (en) 2011-06-07 2015-05-26 Hewlett-Packard Development Company, L.P. Implementing consistent behavior across different resolutions of images
US8970902B2 (en) 2011-09-19 2015-03-03 Hewlett-Packard Development Company, L.P. Red-eye removal systems and method for variable data printing (VDP) workflows
US9378564B2 (en) * 2013-03-01 2016-06-28 Colormodules Inc. Methods for color correcting digital images and devices thereof

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60217353A (ja) * 1984-04-13 1985-10-30 Fuji Photo Film Co Ltd 肌色検出方法
JPH0520455A (ja) * 1991-07-15 1993-01-29 Sanyo Electric Co Ltd 画像処理方法
JPH0667601A (ja) * 1992-08-24 1994-03-11 Hitachi Ltd 手話通訳装置および手話通訳システム
JPH06258732A (ja) * 1993-03-05 1994-09-16 Minolta Camera Co Ltd 赤目位置検出装置
JPH06309433A (ja) * 1993-04-20 1994-11-04 Sony Corp 画像識別方式
JPH0713274A (ja) * 1993-06-25 1995-01-17 Olympus Optical Co Ltd 赤目修正装置
JPH07182483A (ja) * 1993-12-24 1995-07-21 Nec Corp 目尻検出装置
JPH07296299A (ja) * 1994-04-20 1995-11-10 Nissan Motor Co Ltd 画像処理装置およびそれを用いた居眠り警報装置
JPH08138024A (ja) * 1994-11-04 1996-05-31 Konica Corp 画像の向き判定方法
JPH08149480A (ja) * 1994-11-25 1996-06-07 Matsushita Electric Ind Co Ltd 画像符号化装置
JPH08272973A (ja) * 1995-03-31 1996-10-18 Hitachi Ltd 顔面特徴抽出を行なうイメージ処理
JPH0935070A (ja) * 1995-07-14 1997-02-07 Mitsubishi Electric Corp 顔画像処理装置
JPH0950528A (ja) * 1995-08-09 1997-02-18 Nippon Telegr & Teleph Corp <Ntt> 人物検出装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5130935A (en) * 1986-03-31 1992-07-14 Canon Kabushiki Kaisha Color image processing apparatus for extracting image data having predetermined color information from among inputted image data and for correcting inputted image data in response to the extracted image data
US5128711A (en) * 1989-04-28 1992-07-07 Fuji Photo Film Co., Ltd. Apparatus for recording position information of principal image and method of detecting principal image
US5150433A (en) * 1989-12-01 1992-09-22 Eastman Kodak Company Histogram/variance mechanism for detecting presence of an edge within block of image data
US5130789A (en) * 1989-12-13 1992-07-14 Eastman Kodak Company Localized image recoloring using ellipsoid boundary function
US5089976A (en) * 1990-07-18 1992-02-18 Friends Of The Ucsd Library, Inc. Color normalization process
JP2522859B2 (ja) * 1990-12-14 1996-08-07 日産自動車株式会社 眼位置検出装置
US5680481A (en) * 1992-05-26 1997-10-21 Ricoh Corporation Facial feature extraction method and apparatus for a neural network acoustic and visual speech recognition system
US5432863A (en) * 1993-07-19 1995-07-11 Eastman Kodak Company Automated detection and correction of eye color defects due to flash illumination
US5724456A (en) * 1995-03-31 1998-03-03 Polaroid Corporation Brightness adjustment of images using digital scene analysis
JP3510040B2 (ja) 1996-03-26 2004-03-22 コニカミノルタホールディングス株式会社 画像処理方法
JP2907120B2 (ja) * 1996-05-29 1999-06-21 日本電気株式会社 赤目検出補正装置
US6009209A (en) 1997-06-27 1999-12-28 Microsoft Corporation Automated removal of red eye effect from a digital image
US6016354A (en) 1997-10-23 2000-01-18 Hewlett-Packard Company Apparatus and a method for reducing red-eye in a digital image

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60217353A (ja) * 1984-04-13 1985-10-30 Fuji Photo Film Co Ltd 肌色検出方法
JPH0520455A (ja) * 1991-07-15 1993-01-29 Sanyo Electric Co Ltd 画像処理方法
JPH0667601A (ja) * 1992-08-24 1994-03-11 Hitachi Ltd 手話通訳装置および手話通訳システム
JPH06258732A (ja) * 1993-03-05 1994-09-16 Minolta Camera Co Ltd 赤目位置検出装置
JPH06309433A (ja) * 1993-04-20 1994-11-04 Sony Corp 画像識別方式
JPH0713274A (ja) * 1993-06-25 1995-01-17 Olympus Optical Co Ltd 赤目修正装置
JPH07182483A (ja) * 1993-12-24 1995-07-21 Nec Corp 目尻検出装置
JPH07296299A (ja) * 1994-04-20 1995-11-10 Nissan Motor Co Ltd 画像処理装置およびそれを用いた居眠り警報装置
JPH08138024A (ja) * 1994-11-04 1996-05-31 Konica Corp 画像の向き判定方法
JPH08149480A (ja) * 1994-11-25 1996-06-07 Matsushita Electric Ind Co Ltd 画像符号化装置
JPH08272973A (ja) * 1995-03-31 1996-10-18 Hitachi Ltd 顔面特徴抽出を行なうイメージ処理
JPH0935070A (ja) * 1995-07-14 1997-02-07 Mitsubishi Electric Corp 顔画像処理装置
JPH0950528A (ja) * 1995-08-09 1997-02-18 Nippon Telegr & Teleph Corp <Ntt> 人物検出装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005316958A (ja) * 2004-03-30 2005-11-10 Fuji Photo Film Co Ltd 赤目検出装置および方法並びにプログラム
US7724950B2 (en) 2005-06-14 2010-05-25 Canon Kabushiki Kaisha Image processing apparatus, image processing method, computer program, and storage medium
US7826659B2 (en) 2005-06-14 2010-11-02 Canon Kabushiki Kaisha Image processing apparatus and method, computer program, and storage medium dividing an input image into band images
US8045795B2 (en) 2005-06-14 2011-10-25 Canon Kabushiki Kaisha Image processing apparatus, image processing method, computer program, and storage medium
EP2544146A1 (en) 2005-06-14 2013-01-09 Canon Kabushiki Kaisha Image processing apparatus, image processing method, computer program, and storage medium
JP2009080522A (ja) * 2007-09-25 2009-04-16 Mitsubishi Electric Corp 物体画像認識装置
JP2009064459A (ja) * 2008-10-24 2009-03-26 Konica Minolta Business Technologies Inc 画像中の赤目を補正するプログラム、記録媒体および赤目補正方法
US9460347B2 (en) 2013-06-28 2016-10-04 Canon Kabushiki Kaisha Image processing apparatus and method for processing image for detecting an image area including a defective color tone

Also Published As

Publication number Publication date
EP0899686A2 (en) 1999-03-03
EP0899686A3 (en) 2000-06-14
US6292574B1 (en) 2001-09-18
JP4428737B2 (ja) 2010-03-10

Similar Documents

Publication Publication Date Title
JP4428737B2 (ja) 赤目検出方法
US6252976B1 (en) Computer program product for redeye detection
US7035461B2 (en) Method for detecting objects in digital images
US7444017B2 (en) Detecting irises and pupils in images of humans
US7116820B2 (en) Detecting and correcting red-eye in a digital image
US7403654B2 (en) Enhanced automatic red eye removal
JP3557659B2 (ja) 顔抽出方法
US6728401B1 (en) Red-eye removal using color image processing
JP2907120B2 (ja) 赤目検出補正装置
US7684642B2 (en) Correction of redeye defects in images of humans
US20080170778A1 (en) Method and system for detection and removal of redeyes
JP2000137788A (ja) 画像処理方法、画像処理装置及び記録媒体
JP2008146650A (ja) 適応赤目補正
US20050232481A1 (en) Automatic red eye removal
US20060066912A1 (en) Image processing apparatus, method and program
CN107368806B (zh) 图像矫正方法、装置、计算机可读存储介质和计算机设备
JP2008004123A (ja) 特定形状領域の抽出装置及び方法、特定領域の抽出装置及び方法、複写条件決定装置及び方法
CN118196218B (zh) 一种眼底图像处理方法、装置及设备
JP3499305B2 (ja) 顔領域抽出方法及び露光量決定方法
CN115482216A (zh) 一种腹腔镜图像增强方法及系统
JP3510040B2 (ja) 画像処理方法
JPH08138024A (ja) 画像の向き判定方法
CN118507037B (zh) 快速干眼检测方法、装置及电子设备
JPH04346332A (ja) 露光量決定方法
JP3754786B2 (ja) 画像処理装置およびその方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050819

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070424

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070723

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20070821

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071119

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20080104

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20080222

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090218

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090219

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091109

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091215

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121225

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121225

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131225

Year of fee payment: 4

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term