JP2001069334A

JP2001069334A - 写真処理方法、写真処理装置及び記憶媒体

Info

Publication number: JP2001069334A
Application number: JP23802999A
Authority: JP
Inventors: Juichi Kuramoto; 寿一倉本; Minoru Uchida; 内田　　稔
Original assignee: TOYO JOHO SYST KK; Noritsu Koki Co Ltd
Current assignee: TOYO JOHO SYST KK; Noritsu Koki Co Ltd
Priority date: 1999-08-25
Filing date: 1999-08-25
Publication date: 2001-03-16

Abstract

(57)【要約】【課題】本発明は、熟練を要することなく、表示され
た画像のうち瞳領域を自動的に補正するため瞳領域を抽
出する自動抽出の可能な写真処理方法、写真処理装置及
び記憶媒体を提供することを課題とする。【解決手段】本発明に係わる写真処理方法は、瞳を含
む画像を、色分解したディジタル画像の画像データに変
換し、該画像データ中から瞳画像を特定して瞳画像に対
して色等を補正する補正工程を含む写真処理方法におい
て、瞳を含む領域を指定したとき、瞳の色状態の種別に
対応した各抽出処理を順次行って瞳画像候補を作製し表
示したとき各瞳画像候補から瞳画像を特定する候補特定
段階を前記補正工程が含むことを特徴とする。また、該
方法を実施できる写真処理装置及び記憶媒体を提供す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ディジタル画像の
自動補正ができる写真処理方法、写真処理装置及び記憶
媒体に関する。さらに詳しくは、銀塩写真処理露光機へ
のディジタル画像出力において、瞳を含む画像を、色分
解したディジタル画像の画像データに変換し、該画像デ
ータ中から瞳画像を抽出して特定したのち瞳画像を自然
な感じの色に補正する写真処理方法、写真処理装置及び
記憶媒体に関する。

【０００２】

【従来の技術】人物をカラー撮影する際、被写体周辺が
暗い場合等にフラッシュ等の閃光光源を用いると瞳孔部
分が赤く撮影されてしまうという、いわゆる赤目現象が
しばしば発生し、撮影した画像が不自然な画像となって
しまうことがある。これを避けるために、撮影レンズの
光軸とフラッシュの光軸とを接近させない撮影方法や、
撮影条件をフィルム等に記録し、該記録を利用して補正
する記録方法等が提案されている。

【０００３】また、撮影された画像をディジタル画像に
変換して色分解し、各色データを使用して補正すべき領
域を抽出して画像処理技術によって補正を行う方法もあ
る。即ち、例えば、いわゆるレタッチソフト等の画像処
理ソフトを用いて、撮影画像を表示画面に表示して赤目
の箇所を１画素ずつマウス等で補正するというものであ
る。

【０００４】このように画像を補正する場合、オペレー
タが手作業で瞳を含む周辺部分をマウスやキーボード操
作によって大まかに指定する必要がある。そして、この
大まかに指定された領域から真の瞳領域を抽出して瞳の
色変換が行われる。

【０００５】この真の瞳領域を抽出する際、ディジタル
画像を自動的に又は機械的にデータ処理して抽出しよう
とすると、撮影時の種々の状況によって瞳領域の形状
や、瞳領域とその周辺領域との色のバランス等が種々多
様であるので、データ処理のアルゴリズムは、本来の瞳
領域を間違って抽出する場合がある。

【０００６】即ち、顔の地肌の色等は次のような要素が
互いに関連しているので、案外単純には処理できないの
である。まず、目尻は睫の影響で一般には黒く見える
が、地肌は赤味がかっているので目尻からは赤色を検出
し得る。眉毛は人種や個人差が生じており、黒色や金
色、白色もある。そして、肌の色も人種や個人差が生じ
ており、黒人の場合や陰影の強い場所での撮影の場合で
も肌の色が赤味を呈することがある。

【０００７】この場合の赤味はかなり濃度や彩度が高い
ことがある。また、毛髪が目や眉毛にかかっていること
がある。さらに、特に彫りの深い顔立ちの人は目の周辺
の陰影がかなり濃い傾向がある。このように種々の要素
が絡んでいるので、いかに画素値からディジタルデータ
処理によって瞳を抽出するといっても、一様の処理では
さまざまな限界があるという問題があるのである。

【０００８】そして、本来の瞳領域を抽出できた場合で
も、抽出した瞳領域と、元の画像との境界にどうしても
ディジタルデータ処理特有の不自然な部分が生じてしま
うという画像処理技術上の問題もある。

【０００９】

【発明が解決しようとする課題】本発明は、前述した問
題点に鑑みてなされたものであり、熟練を要することな
く、表示された画像のうち瞳領域を自動的に補正するた
め瞳領域を抽出する自動抽出の可能な写真処理方法、写
真処理装置及び記憶媒体を提供することを課題とする。

【００１０】

【課題を解決するための手段】前述した課題を解決すべ
く本発明者らが鋭意試験研究を行った結果、瞳の形状に
着目して瞳を抽出することは、安定した抽出結果を得る
ことが困難であるので、色及び濃度に着目し、それらの
性質が当然同じではないことから、統一的に処理するの
ではなく、各々の場合に対応して色及び濃度を使い分け
て瞳の抽出を行うことにしたものである。

【００１１】つまり、瞳の形状に関しては、詳細に分析
するならば、例えば、円形(瞳が瞼にかかっていない)、
半円形(いわゆる上目遣いのように、瞳の上半分等が隠
れている)、トラック型(笑っている顔等、瞳の上下が隠
れている)、扇型(目が左右何れかを見ているときなど、
扇形又は三角形に見える)等、種々の形状を呈するばか
りでなく、顔の表情、姿勢、視線によってまさに千変万
化しているのであり、これらの全ての場合に対して、従
来の単純な識別アルゴリズムでは有効に対処しきれるも
のではないのである。

【００１２】以上の知見から本発明者らが採った手段と
して、本発明の請求項１記載の写真処理方法は、瞳を含
む画像を、色分解したディジタル画像の画像データに変
換し、該画像データ中から瞳画像を特定して瞳画像に対
して色等を補正する補正工程を含む写真処理方法におい
て、瞳を含む領域を指定したとき、瞳の色状態の種別に
対応した各抽出処理を順次行って瞳画像候補を作製し表
示した各瞳画像候補から瞳画像を特定する候補特定段階
を前記補正工程が含むことを特徴とする。

【００１３】該方法によれば、瞳の形状によらず、指定
した領域が瞼や白目を含んでいても、又は、地肌や睫等
の影響を有していても瞳部分を検出できる。

【００１４】また、請求項２記載の写真処理方法は、前
記各抽出処理ごとに、判別分析法により閾値を決定し、
該閾値に従って画像データ中から瞳画像候補を得るの
で、最適な閾値を一義的且つ動的に決定できる。

【００１５】請求項３記載の写真処理装置は、ディジタ
ル画像を表示する表示手段51と、ディジタル画像の画像
データと、該画像データを記憶する記憶手段54と、画像
中の任意の範囲を指定する指定手段52と、前記画像デー
タを画像化する変換処理を行う変換手段53とを具備し瞳
画像に対して色等を補正して写真を作製する写真処理装
置において、瞳を含む領域が指定されたとき、瞳の色状
態に対応した瞳画像候補が抽出される各抽出処理が順次
行われて瞳画像候補を作成して各瞳画像候補を表示させ
る候補作成手段55がさらに備えられてなることを特徴と
する。

【００１６】該装置によれば、瞳色補正を行う際、複数
の瞳画像候補が容易に客観的に得られ、最適の瞳画像候
補から最適の瞳部分を選択するだけでよい。

【００１７】請求項４記載の記憶媒体は、コンピュータ
によってディジタル画像の変換、抽出、候補画像作成、
色補正等を行って瞳画像の色補正を行うための制御プロ
グラムを記憶した記憶媒体であって、瞳を含む領域を指
定したとき、瞳の色状態の種別に対応した各抽出処理を
順次行って瞳画像候補を作製し表示した各瞳画像候補か
ら瞳画像を特定する特定段階の手続を含んでなることを
特徴とする。

【００１８】該記憶媒体によれば、写真処理装置の機種
に適した記憶媒体を利用して特定段階を実行できる。

【００１９】

【発明の実施の形態】以下、添付図面を参照しつつ、本
発明の実施の形態について説明する。

【００２０】本実施の形態は、人物の顔画像のうち瞳を
画像処理対象物として扱い、その色や濃度等を補正す
る。尚、人物の目のうち、いわゆる瞳孔及び虹彩を合わ
せて瞳とする。また、本実施の形態は、瞳の色の補正と
して、従来技術の項で説明した赤目の他、青目、金目等
の色等を補正する場合も含む。

【００２１】図１は、本発明に係わる瞳画像を特定し補
正する自動補正システム（以下、「瞳画像自動補正シス
テム」という）を有する写真処理装置の構成を概略的に
示す構成説明図であり、図２は、主として画像データ処
理系統を概念的に示すブロック図である。

【００２２】本発明に係わる写真処理装置は、以下に詳
細に説明する画像処理部50を具備する他は、従来から知
られている銀塩写真方式による写真処理装置と同様に、
現像、定着、水洗及び乾燥等の種々の化学的処理又は物
理的処理を一連の工程で自動的に行う処理装置61や、カ
ラーネガ等のカラー画像の各画素を青(Ｂ)、緑(Ｇ)及び
赤(Ｒ)の３原色に分解測光するという色分解を行い、各
画素ごとに青、緑及び赤の各光強度を色信号として色ご
とに順番に読み出すためのカラースキャナ装置62、露光
データを写真感光材料に走査露光する露光装置部63等を
備えてなる写真処理部60や、電源等(図示せず)に接続
し、写真処理装置全体の操作制御を行う制御部70を具備
している。

【００２３】そして、カラー画像の各画素ごとに色信号
をディジタル信号に変換したのち、後述するように、補
正すべき画像を抽出し、補正する補正工程において種々
の画像処理を行ったうえで、画像処理された画像データ
に基づいて露光データを決定し、この露光データを写真
感光材料40に走査露光する。このとき、写真感光材料40
はマガジン42から引き出され、ローラ43等によって露光
ポイント41まで搬送され、露光装置部51において露光さ
れる。こののち、通常の写真処理を行ってカラープリン
ト等を得る。以上のような写真処理装置１全体としての
操作は操作部70によって制御される。

【００２４】前記処理装置61や、カラースキャナ装置6
2、露光装置部51等は従来知られた写真処理装置と同等
であるので、その説明を省略し、以下、本実施の形態に
係わる瞳画像自動補正システムを有する画像処理部50に
ついて説明する。

【００２５】当該画像処理部50は、ディジタル画像を表
示する表示手段としての画像表示部51と、表示された画
像中の任意の領域を指定して抽出する指定手段52として
のマウスと、統計的演算処理や画像変換処理等を行うた
めの演算手段である変換手段53と、画像データ等を記憶
する記憶手段54である記憶部と、瞳を含む領域が指定さ
れたとき、瞳の色状態に対応した瞳候補を抽出させる各
抽出処理が順次行われて瞳画像候補を作成して各瞳画像
候補を表示させる候補作成手段55と、瞳を含む領域が指
定され、補正を行う補正領域が決定されたとき、補正領
域において補正領域の中央から補正領域の境界に向けて
元のデータを混合する度合を変える境界領域補正演算手
段56とを備えて構成され、写真処理装置１全体として操
作は制御部70によって制御される。

【００２６】本写真処理装置の特徴は、以下、瞳画像候
補の特定の要領、境界領域補正の要領を説明するなかで
明らかになるが、要約すれば、瞳画像を特定するに際し
て、所要の操作は、眼鏡程度の大きさの領域を指定する
だけで複数の瞳画像候補が容易に客観的(又は機械的に)
に得られ、瞳画像候補から最適の瞳部分を選択するだけ
でよいので、熟練を要することなく、最適の瞳画像候補
を選択するだけで、好適に且つ容易に瞳画像を特定して
補正等を行って写真を作製できる。

【００２７】また、本写真処理装置によれば、補正した
画像が元の画像と連続的であるという自然な感じの補正
画像を自動処理的に得ることができ、高度な職人技的な
熟練を要する作業を伴うことなく、閾値等のパラメータ
を調整でき、最適の補正画像を好適に且つ極めて容易に
決定してカラー写真を作製できる。

【００２８】まず、画像表示部51は、ネガフィルムＦ等
の写真感光材料等に記録された画像情報をカラースキャ
ナ装置62等によってディジタルデータとして読み取った
画像データを画像表示するものであり、ＣＲＴ又は液晶
表示装置、プラズマ表示装置等によって構成される。そ
して、画像表示部51に付随して、対象画像に関する統計
的演算処理や画像変換処理に関する追加的の指示や情報
の入出力が可能なインターフェイス57(キーボード等)を
設けている。

【００２９】また、指定手段52としてのマウスは、画像
表示部51上の画像の任意の点又は領域を指定する機能を
有し、且つ、後述するように画像表示部51に作用する機
能を有するものである。同様の機能を有するものであれ
ば他の装置でもよく、いわゆるトラックボール等を用い
てもよい。

【００３０】また、変換手段53は、種々の閾値やＬＵＴ
(luckup table)を発生させるための演算処理や、統計的
演算処理(例えば、判別分析法(後述))、特定された赤目
等に対する色補正等の画像変換処理等を行うための演算
処理の他、一般的に画像に対して行う調色(色、濃度)や
階調、拡大縮小、回転、反転、投影、陰影付与、合成、
分割等種々の画像処理を行うこともでき、種々の論理回
路や演算回路、レジスタ等によって構成される。

【００３１】また、記憶手段54は、本実施の形態に係わ
る閾値やＬＵＴに関する所定のデータや、前記画像デー
タ等の演算処理途中のデータ、後述する候補特定段階及
び境界領域補正段階という瞳色補正に関するアルゴリズ
ムによるコンピュータプログラム等を記憶するものであ
り、ＲＡＭ及びＲＯＭ等によって低廉な装置コストで構
成される。このように、記憶手段54に、画像データ等を
記憶するので、通常の記憶手段等を用いて本実施の形態
に係わる瞳色自動補正を、低廉な装置コストで高速の自
動処理によって行うことができる。

【００３２】そして、本発明に係わる候補作成手段55
は、瞳を含む領域が指定されたとき、瞳の色状態に対応
した瞳候補を抽出させる各抽出処理を順次行い、瞳画像
候補を作成して各瞳画像候補を画像表示部51に表示させ
るものであり、境界領域補正演算手段56は、瞳を含む領
域が指定され、補正を行う補正領域が決定されたとき、
補正領域において補正領域の中央から補正領域の境界に
向けて元のデータを混合する度合を変えるものである。
両者は何れも、種々の閾値やＬＵＴを発生させるための
演算処理や、統計的演算処理、色補正等の画像変換処理
等を行うための演算処理を行うことができるように種々
の論理回路や演算回路、レジスタ等によって構成され
る。

【００３３】尚、瞳画像を特定する特定段階での手続
(手順)及び境界領域補正段階での手続をコンピュータに
よって実行可能とした前記コンピュータプログラムはフ
ロッピーディスクやＣＤ−Ｒ(compact disc-recordabl
e)、ＭＯ(magnet optical disc)等の記憶媒体に記憶さ
せて保管し、記憶手段54に搭載して利用することもで
き、本実施の形態に係わる写真処理装置とは別個に利用
することもできる。

【００３４】この場合、写真処理装置の機種に適した記
憶媒体を利用して特定段階及び境界領域補正段階を実行
できる。さらには、該特定段階及び境界領域補正段階を
記憶させた記憶媒体の、他機種等への広汎な適用が可能
となる。

【００３５】以下、図３〜図１３に示したフローチャー
トを参照しつつ、本実施の形態に係わる画像処理部50に
よって行う瞳色自動補正システムによる補正工程のう
ち、瞳画像候補を特定する特定段階の実施要領について
説明する。この特定段階での手続は、主として、前記候
補作成手段55において演算処理される。

【００３６】本発明が対象とする瞳の色状態とは、いわ
ゆる赤目の他、黒目、青目、金目という状態があり、各
々の色彩的な特徴が異なるので、まずその特徴を説明
し、この特徴を反映して設定した抽出方法の原理を説明
する。このうち、赤目や金目は、ストロボ等外界の光を
反射する等、撮影の条件に関わるものであり、瞳孔又は
瞳全体が赤く見えるものを赤目といい、瞳孔又は瞳全体
が金色、輝度の高い白色に見えるものを金目という。ま
た、これらの色に赤、青、緑がかっているものをも含
む。尚、以下の説明では瞳画像(候補)を抽出すること
を、単に、瞳を抽出するという。

【００３７】まず、虹彩の色は人種や個人差により濃度
の濃い黒又は茶色(両者を併せて黒系統の目とし、黒系
統のうち赤目又は金目になっていない目を黒目とす
る)、或いは、濃度の薄い灰色、青色又は青緑色(三者を
併せて青系統の目とし、青系統の目のうち赤目又は金目
になっていない目を青目とする)に大別される。本発明
は、赤目のような撮影条件に関わる調色の問題だけでな
く、虹彩色のような生来的条件に関わる調色の問題の場
合も併せて、これらの瞳色を補正することを対象とす
る。

【００３８】以下、各色傾向の目の特徴を各々説明す
る。但し、以下の説明において、キャッチライトは、よ
く知られているように、眼球上の一部に反射光が写って
いるものをいう。この写り方は、輝度、位置、サイズ、
形等の観点において、さまざまなものが認められる。

【００３９】さて、赤目の特徴は、以下の通りである。
即ち、 (i)瞳は瞳孔の赤色領域、キャッチライト、虹彩の３つ
に分けられることが多い。(ii)赤色領域ではＲ値は高
く、ＧＢ値は低い。 (iii)キャッチライトは無彩色か少し赤味がかってお
り、ＲＧＢが全体に高い。 (iv)虹彩は全体に無彩色か少し赤味がかっており、ＲＧ
Ｂ値は全体に低い。 (v)肌色よりは相対的に彩度が高い傾向にある。但し、
陰影の濃い箇所や黒人の肌は彩度が高い傾向にある。

【００４０】以上の(i)〜(v)の特徴から、赤目はＲ値と
彩度が高いこととなり、色相が赤で、彩度が高いという
傾向により他の領域と分離を行うことができる。

【００４１】次に、青目の特徴は、以下の通りである。
即ち、 (i)瞳は瞳孔、キャッチライト、虹彩の３つに分けられ
ることが多い。 (ii)瞳孔のＲＧＢ値は全体に低い。 (iii)キャッチライトは無彩色に近くＲＧＢ値は全体に
高い。 (iv)虹彩はＧ値やＢ値が高く、Ｒ値は低い。 (v)青目は白人系なので瞳の周辺は白目や色白の肌(ＲＧ
Ｂ値が高い)に囲まれる傾向が高い。以上の(i)〜(v)の特徴から、青目は、キャッチライト以
外は、周辺に比べてＲ値が全体に低いという傾向から他
の領域と分離できる。

【００４２】次に、黒目の特徴は、以下の通りである。
即ち、 (i)瞳は瞳孔、キャッチライト、虹彩の３つに分かれる
ことが多い。 (ii)瞳孔、虹彩のＲＧＢ値は全体に低い。 (iii)キャッチライトは無彩色に近く、ＲＧＢ値は全体
に高い。以上の(i)〜(iii)の特徴から、Ｇ値が白目や肌とのコン
トラストが高く、画質が安定しており、Ｇ値をもって青
目を分離することができる。

【００４３】次に、金目の特徴は、以下の通りである。
即ち、 (i)瞳は瞳孔、虹彩の２つに分かれることが多い。 (ii)瞳孔は、金目、白色、赤味、青味、緑味がさした場
合等さまざまな場合があり、ＲＧＢ値のうちの何れか
は、かなり高い値を示す。 (iii)虹彩のＲＧＢ値は瞳孔より低い。以上の(i)〜(iii)の特徴から、金目はＲＧＢ値のうちの
何れかは、高い値を有していることから金目を分離する
ことができる。

【００４４】以上説明した赤目や青目等の各々の色状態
に関する知見に基づいて瞳を抽出するため、以下のアル
ゴリズム(１)〜(８)を構成した。尚、このとき、瞳の色
と、顔の地肌の色等との関係によって、ディジタル画像
データ中から赤や青を抽出することは、前述したよう
に、一様には処理できないので、各色状態ごとにフロー
が異なることに注意すべきである。

【００４５】また、以上説明した各色の目の特徴の他、
一般的には、解像度によっては虹彩の放射状の構造まで
識別できたり、画像が小さい場合には、逆に、瞳孔と虹
彩との識別ができなかったりすることや、ピントがあま
いときには瞳と瞳以外の領域との判別がしにくいことも
考慮に入れてアルゴリズム(１)〜(７)を構成した。

【００４６】さて、本発明に係わる瞳を抽出するアルゴ
リズムにおいて、まず瞳の領域をマウス等により指定す
るが、瞳の領域の指定に関する要件として、サイズ指定
は、瞳に対して眼鏡程度の大きさの円形で指定し領域内
には少なくとも１つの瞳が含まれる(瞳の色は問わない)
ものとし、瞳の大きさは前記円に外接する正方領域の例
えば、４％以上あるものとする。

【００４７】以下、本発明に係わる瞳を抽出する全体フ
ローである瞳画像候補を特定する特定段階のアルゴリズ
ム(１)〜(７)を説明する。かかるアルゴリズムは、(１)
画像サイズ調整、(２)ＲＧＢ分解、(３)Ｒ彩度画像によ
る赤目抽出、(４)Ｒ画像による青目抽出、(５)Ｇ画像に
よる黒目抽出、(６)ＲＧＢ最大値画像による金目抽出、
(７)画像サイズ調整、の各段階からなる(７)までが全体
フローである。

【００４８】そして、この全体フロー(１)〜(７)中で、
各段階に共通に用いられる重要且つ特徴的なデータ処理
手法として、(Ａ)判別分析法による閾値決定、(Ｂ)候補
探索、(Ｃ)特徴計算、(Ｄ)候補探索２、(Ｅ)クロージン
グ・オープニングというデータ処理手法が用いられる。
さらに、これらの全体フロー(１)〜(７)及びデータ処理
手法(Ａ)〜(Ｅ)は、後述する(ａ)〜(ｈ)のサブルーチン
を含んでいる。そこで、以下、全体フロー、重要なデー
タ処理手法(以下、処理手法という)、サブルーチンの順
に各々について説明する。

【００４９】まず、図３は全体フローを示しており、全
体フローにおいて、ビット画像で表された候補画像と、
ＲＧＢカラー画像とが全体フローに入力されている。以
下、フローチャート中で、候補画像をcnd、ＲＧＢカラ
ー画像をrgbのように記載する。以下、特に断らない記
号は、従前の用法によるものとする。

【００５０】(１)「画像サイズ調整」段階(段階1000、1
100、図３ではリサイズと表記)は、候補画像cndとＲＧ
Ｂカラー画像rgbとに関し、指定された画像(ビット画
像)が、既定の閾値(例えば、150)よりも大きい場合に、
線形補間により縮小するものであり、候補画像は縮小さ
れた画像と同じサイズの画像領域を確保することで代用
している。他方、前記既定の閾値以下であれば、指定さ
れた画像がそのまま用いられる。

【００５１】(２)「ＲＧＢ分解」(段階2000)は、前記指
定された画像が、全画素について、Ｒ、Ｇ、Ｂ各色ごと
の画像に分解される。色分解された画像を以下、各々
r、g、bと記載する。

【００５２】(３)「Ｒ彩度画像による赤目抽出」段階
(段階3000、及び図４)では、Ｒに対して「最大値フィル
タ(後述するサブルーチンの(ｂ))」が、Ｇ及びＢに対し
て「最小値フィルタ(同サブルーチンの(ａ))」が施され
る。よく知られているように、最大値フィルタは、明る
い部分を太くする処理であり、最小値フィルタは明るい
部分を細くする処理である。これらの処理で彩度が強調
された画像となり、次式［数１］により、赤の彩度画像
が生成される(赤彩度画像作成)。

【００５３】即ち、ｓを着目画素の彩度値、ｒ、ｇ、ｂ
を着目画素のＲＧＢ値、ｇ、ｂのうち、小さい方の値を
min、大きい方の値をmaxのようにそれぞれ表し、PERM
は、有彩度と判定するＲ値の閾値であり、例えば、５０
を設定している。このとき、ビット演算(論理演算)の論
理和を「＆」と書いて、画素ごとにPERMが、(PERM<r)＆
＆(max<r)に対しては、

【数１】ｓ＝１００×(r−min)／(r＋１)、他の場合に対しては、ｓ＝０とする。

【００５４】この赤彩度画像に対して、よく知られた
「判別分析法」により閾値が決定されるとともに、この
閾値を利用して、判定条件１及び判定条件２が設定さ
れ、瞳画像の候補が探索される「候補探索」が行われ
る。図４において、red がＲ彩度画像、bin1、bin2は２
値画像、min、max、dltはＲ彩度値の最小値、最大値、
増分をそれぞれ表わす。「候補探索」の詳細フローは図
８に示されている(後述)。

【００５５】本「Ｒ彩度画像による赤目抽出」段階にお
いては、判別分析法を利用することによって、最適な閾
値を一義的且つ動的に決定できるのであり、主観的なパ
ラメータが介在することなく閾値を決定できる利点があ
る。

【００５６】(４)「Ｒ画像による青目抽出」段階(段階4
000、及び図５)では、Ｒ画像に対して「最小値フィル
タ」が施され、段階3000と同様、「判別分析法」により
閾値が決定されるとともに前記判定条件１及び判定条件
２により「候補探索」が行われる。

【００５７】(５)「Ｇ画像による黒目抽出」(段階500
0、及び図６)段階では、Ｇ画像に対して「最小値フィル
タ」が施され、「判別分析法」により閾値が決定される
とともに前記判定条件１及び判定条件２により「候補探
索」が行われる。ここで、ｇは、Ｇ画像の意味である。

【００５８】(６)「ＲＧＢ最大値画像による金目抽出」
(段階6000、図７)段階では、「ＲＧＢ最大値フィルタ」
操作により着目画素値をその画素のＲＧＢ値の最大値で
置換える処理を行ったのち、「最大値フィルタ」を施
し、判定条件を決定したのち、「候補探索」が行われ、
瞳画像候補が存在していたとき、その瞳画像候補が登録
される。「ＲＧＢ最大値フィルタ」は、着目画素の値を
ＲＧＢの最大値に置き換える。ここで、cthはＲＧＢ最
大値画像の意味である。

【００５９】次に、(７)「画像サイズ調整」(段階700
0、7100、図３ではリサイズと表記)が行われる。ここで
は、候補画像が、既定の閾値よりも大きい場合に、線形
補間により縮小するものとし、候補画像は縮小画像と同
じサイズの画像領域を確保することで代用している。他
方、既定の閾値以下であれば、候補画像がそのまま用い
られる。

【００６０】このようにして(１)〜(７)の段階を経て、
瞳画像候補が登録される。次に、重要なデータ処理手法
(Ａ)〜(Ｅ)を説明する。

【００６１】まず、前記段階(３)〜(６)における処理手
法(Ａ)「判別分析法による閾値決定」(例えば段階3250)
を説明する。判別分析法に先立って、各画素の値のヒス
トグラムhistが作成される。このヒストグラムhistに対
して、ある値でヒストグラムを２群に分離するとき、分
離する値をヒストグラム全体にわたって動かしながら
(即ち、動的に)、群間分散と群内分散との比が最大にな
るときの値を閾値thとする。この比が、分離の良さを計
る評価関数であり、この評価関数を最大にするように閾
値thを求めるわけである。このよく知られた統計的手法
が判別分析法である。ここでは、ヒストグラムを物体と
背景とに２分する最適な閾値thを動的に決定する。

【００６２】次に、前記段階(３)〜(６)における処理手
法(Ｂ)「候補探索」(段階3400、3500、4400、4500等、
図８)について説明する。「候補探索」では、赤目(又は
金目、本段落の記載においては括弧内は同時に読替)に
対しては、Ｒ彩度画像(又はＲＧＢ最大値画像)grayを入
力し、thとして彩度の最小値minを代入し、２値化計
算、「ラベリング」及び「特徴計算」を行ったのち、
「候補探索２」を行い、候補画像について、彩度の最大
値(又はＲＧＢ最大値の最大値)maxに対し、th≦maxの判
定を行う。

【００６３】ここで、２値化計算は、画素の座標をｘ、
ｙで表すと、Ｒ彩度画像(又はＲＧＢ最大値画像)grayに
対して、gray[x、y]<thのとき、bin[x、y]＝０とし、gr
ay[x、y]≧thのとき、bin[x、y]＝１とする。尚、フロ
ーチャート中、grayはＲ彩度画像、ＲＧＢ最大値画像、
Ｒ画像又はＧ画像を表し、lblはラベリング画像(後述)
を表す。

【００６４】一方、青目(又は黒目、本段落の記載にお
いては括弧内は同時に読替)に対しては、図８のアルゴ
リズムと略同じアルゴリズムを適用する。図８のアルゴ
リズムと異なる点は、Ｒ画像(又はＧ画像)を入力したの
ち、thとして彩度の最大値maxを代入する点、２値化計
算を、gray[x、y]≧thのとき、bin[x、y]＝０とし、gra
y[x、y]<thのとき、bin[x、y]＝１とする点であり、
「ラベリング」及び「特徴計算」を行ったのち、「候補
探索２」を行う。但し、段階7810において、th≦max の
代わりに、min≦thの判定を行う点も赤目又は金目の場
合と異なる。

【００６５】ここで、「ラベリング」とは、いくつかの
かたまりの領域がある場合に、それらを区別するために
行う処理であり、２値化処理を受けた画像に対して、連
続した領域ごとに番号を付けて分離された対象物の切り
出しを行う。アルゴリズムは、サブルーチンの項におい
て説明する。

【００６６】次に、前記処理手法(Ｂ)「候補探索」にお
ける処理手法(Ｃ)「特徴計算」を説明する。「特徴計
算」(例えば、段階7450)では、後述する特徴条件のう
ち、特徴条件を満たすとき、ラベルの外接矩形及び半
径を計算し、特徴条件を満たすときラベルの密度を計
算し、特徴条件を満たすか否かを順に判定する。

【００６７】ここで、特徴条件は、ゴミ判定として行
うものであり、Pixel ≦ pixel、特徴条件もゴミ判定
として行うものであり、Smin ≦ cw×ch、特徴条件
は、位置及びサイズの判定として行うものであり、rmin
≦Rmin、且つ rmean≦Rmean、且つ rmax≦Rmax 且つ si
ze≦Smaxである。

【００６８】但し、cw、chは外接矩形の幅、高さ、rmi
n、rmax、rmeanは、それぞれラベルの中心からの最小
値、最大値、平均距離、Rmin、Rmean、Rmaxは、それぞ
れラベルの最小半径、平均半径、最大半径の閾値、nlab
elはラベル数、densityはラベルの密度、Smin、Smax
は、それぞれラベル外接矩形最小サイズの閾値、ラベル
外接矩形最大サイズの閾値、Pixelはラベル画素数の閾
値、pixelはラベル画素数である。

【００６９】次に、前記処理手法(Ｂ)「候補探索」にお
ける処理手法(Ｄ)「候補探索２」(例えば、段階7470、
図９、図１０)では、赤目に対しては、特徴条件、
を満たすか否かを判定したのち、２値化し、穴埋め、構
造要素サイズ計算を行ったのち、「クロージング・オー
プニング」(段階7560、後述)処理し、いわゆるゴミ除去
を行う。そして、再度候補ラベルの特徴を再計算し、特
徴条件を満たすか否かを順に判定する。このうち、特
徴条件を満たすとき候補有りとする。

【００７０】ここで、構造要素サイズσの計算は、cw≦
chのとき、σ＝cw／２＋１、ch<cwのとき、σ＝ch／２
＋１と計算するものである。また、特徴再計算は、外接
矩形の縦横比をrateと表し、cw≦chのとき、rate＝１０
０×cw／ch、ch<cwのとき、rate＝１００×ch／cwと計
算するものである。

【００７１】そして、特徴条件は、次候補条件に関す
るものであり、「rminが最小の次候補ラベルあり」であ
り、特徴条件は、形状補正前の特徴判定において、rm
ean≦Rmean 且つ Density/5 ≦ densityであり、特徴条
件は、Smin≦cw×ch且つRate<rate 且つ Density≦de
nsityである。但し、Densityはラベル密度の閾値、Rate
はラベル外接矩形縦横比の閾値である。

【００７２】赤目以外の目に対しては、赤目に対すると
同様のアルゴリズムを行いつつ、「クロージング・オー
プニング」の代わりに、「オープニング・クロージン
グ」(図１０、段階7660)を行う。

【００７３】処理手法(Ｄ)「候補探索２」における前述
した処理手法(Ｅ)「クロージング・オープニング」や、
「オープニング・クロージング」は、２値画像に対して
「画像拡張」(後述)を行ったのち、「構造要素を作成」
(後述)したのち行う演算処理である。

【００７４】まず、「クロージング」は、ディレーショ
ン(dilation)とエロージョン(erosion)とをこの順で行
い、「オープニング」は、この逆に、エロージョンとデ
ィレーションとをこの順で行う。そして、「クロージン
グ」や「オープニング」は、１つの画像から、もう１つ
の画像へと滑らかに変換させる画像処理技術手法として
行う演算処理である。

【００７５】これらの「クロージング・オープニング」
や、「オープニング・クロージング」という演算は、い
わゆるモルフォロジー(morphology)演算のうち、ミンコ
フスキー(Minkovski)和によって定義される処理がディ
レーションであり、画像処理技術手法としての意味は、
「ずらし重ね(又は膨張)」に相当する。この処理を行う
と、小さな穴や入江状の画像は塞がれ、分離されていた
ものが繋がることがある。

【００７６】他方、ミンコフスキー差によって定義され
る処理が、エロージョンであり、「掻き取り(又は収
縮)」に相当する。この処理を行うと、狭い地峡状の画
像は分離され、細い半島状の画像は削られて失われる。
そして、画像内部に位置する穴形状は拡大したものとな
る。

【００７７】次に、前記構造要素は、指定サイズの円領
域を表す２値画像であり、画像拡張とは、この構造要素
を集合演算するに必要なだけ幅及び高さを広げるもので
ある。以上説明したような画像処理が行われたのち、画
像拡張が行われた部分以外の画像を切り出すように抽出
して出力する。

【００７８】次に、以下、各サブルーチンについて説明
する。 (ａ)最小値フィルタ(例えば、図４の段階3150)は、着目
画素の画素値をフィルタ内の最小値で置換えるものであ
り、フィルタサイズは例えば５×５である。最小値フィ
ルタは、着目画素周辺の輝度が低ければ(濃度が高けれ
ば)それに引きずられるように着目画素の輝度を低下さ
せる機能を有する。

【００７９】(ｂ)最大値フィルタ(例えば、図４の段階31
00)は、着目画素の画素値をフィルタ内の最大値で置換
えるものであり、フィルタサイズは例えばＲＧＢ最大値
画像のみ５×５を用いており、他は、３×３を用いてい
る。最大値フィルタは、着目画素周辺の輝度が高ければ
(濃度が低ければ)それに引きずられるように着目画素の
輝度を上昇させる機能を有する。

【００８０】(ｃ)候補登録では、ビットＯＲ演算(論理
演算のＯＲ)で瞳画像候補を追加登録する。そして、瞳
画像候補の全画素に対して変換を行う。

【００８１】(ｄ)ヒストグラム作成は、全画素の座標値
に対してよく知られた計算アルゴリズムによって行う。

【００８２】(ｅ)ラベリングでは、「８隣接」画素でラ
ベリングする。図１１及び図１２は、「８隣接」画素で
ラベリングするアルゴリズムのフローチャートを示す。
ここで、ラベリングする画素値は全て所定の上限値SUP
がセットされているものとし、ラベルの最大値はSUPま
で取り得るとする。尚、段階8859では、再帰呼出であっ
た場合、呼出元の段階へと戻るものとする。

【００８３】(ｆ)ラベル外接矩形計算は、指定ラベルの
外接矩形の計算を行う。指定ラベルを持つ画素位置のう
ちｘ、ｙそれぞれの最小値xmin、ymin、最大値xmax、ym
axを求めて次式で外接矩形の左上位置x₀、y₀と、幅ｗ、
高さｈを算出する。但し、x₀＝xmin、y₀＝ymin、w＝xma
x−xmin＋１、h＝ymax−ymin＋１である。

【００８４】(ｇ)ラベル半径計算は、指定ラベルの画像
中心からの最小値rmin、最大値rmax、平均値rmeanを求
める。即ち、最初に画像の中心からの距離画像を作成
し、指定ラベルを持つ画素に対応する距離画像から最小
値、最大値、平均値を算出する。この平均値は距離の総
和を指定ラベルの画素数で除することによって計算す
る。

【００８５】(ｈ)穴埋めは、２値画像に対して、ラベリ
ングを利用して行っている。穴埋めは、図１３に示した
アルゴリズムによって行う。段階9010の反転画像は、２
値画像のhighとlowとを反転した画像である。反転画像
の淵はhighにセットすることにより、ラベリングの際に
必ず淵に接する画像は同一ラベルで繋がることになる。
段階9050では、反転画像中から淵と同一ラベルを有する
画素を除去する。そして、段階9060では、反転画像でラ
ベルを有する画素位置と同じ位置にある元画素の値をhi
ghにセットする。尚、w、hを各々画像サイズ(幅、高さ)
とするとき、［0,y］［w-1,y］［x,0］［x,h-1］を満た
す画素を、「画像の淵に接する」という。

【００８６】尚、以上説明した各段階、該各段階におけ
る各処理手法やサブルーチンにおいて適用する閾値や計
算式は瞳の色状態を好適に反映するために変更すること
ができる。

【００８７】以上説明したように、本発明に係わる瞳色
自動補正システムによれば、瞳の形状によらず、指定し
た領域が瞼や白目を含んでいても、又は、地肌や睫等の
影響を有していても瞳部分を検出でき、高度な職人技的
な熟練を要する作業等を伴うことなく、瞳部分のみを極
めて高い確率で検出して本当に瞳であるか否かを決定で
きる。従って、写真処理の補正工程のうち候補特定工程
を大幅に合理的なものとできる利点がある。

【００８８】以上のようにして瞳画像候補が抽出され、
表示された瞳画像候補から瞳画像を特定する。このの
ち、この瞳画像候補に対して色補正等を行う。以下、図
１４〜図１９に示したフローチャートを参照しつつ、本
実施の形態に係わる画像処理部50によって行う瞳色自動
補正システムによる補正工程のうち、瞳画像候補に境界
領域補正を行う境界領域補正段階について説明する。こ
の境界領域補正段階での手続は、主として、前記境界領
域補正演算手段56において演算処理される。

【００８９】本実施の形態においては、実際の補正を開
始する前に、抽出された瞳候補に対応して、予め設定さ
れた複数の補正形態のうちから何れかを選択できるもの
とする。このとき選択しなかった補正形態は、選択した
補正形態の処理が終了した後に別途選択して処理し、先
に選択した補正形態の処理結果と比較して、より好まし
い方に決定することもできる。

【００９０】まず、複数の補正形態のうち、境界領域処
理と濃度彩度調整処理とをあわせた処理形態を説明す
る。かかる処理における第１の工程は等高線画像の作
製であるが、これに先立ち、輝度最小値を算出する。輝
度ｄは、ｄ＝(r＋g＋b)／３により求める。

【００９１】但し、ここで、境界とは、抽出された瞳候
補画像の補正処理を行う領域と、行わない領域との境界
をいうものとし、前記ｒ、ｇ、ｂは各々、着目画素のＲ
ＧＢ値を用いる。

【００９２】次に、等高線画像を作製する。本実施の形
態においては、等高線画像は、境界に接する画素には高
度１を割り振り、まだ高度を割り振っていない画素のう
ち、高度１に接するものに高度２を割り振る。以下、全
ての画素に高度を割り振り、抽出領域内の全画素に等高
線が割り当てられるまで計算を繰返すという、いわゆる
８隣接で、等高線画像を作製するものである。図１４
は、この等高線画像を得るアルゴリズムを示しており、
このアルゴリズムに従って等高線画像を計算して作製す
る。

【００９３】図１４のフローチャートにおいて、ｘ、ｙ
は座標、cntは等高線画像、cndは候補画像、bitは候補
ビット、＆はビット演算を表す。ステップ２において、
w、hを各々画像サイズ(幅、高さ)とするとき、［0,y］
［w-1,y］［x,0］［x,h-1］を満たす画素を、「画像の
淵に接する」という。

【００９４】そして、この等高線画像に対して色等を補
正するが、高度が所定の一定値以上では無条件に補正
し、一定値未満であれば高度が小さい程、元のＲＧＢ値
に近くなるように混合度合を変えて値を混合して補正す
る。例えば、段階8040ではcnt[x,y]が画像の淵にあると
き、cnt[x,y]＝１とし、段階8070ではcnt[x,y]が画像の
淵にあるときcnt[x,y]＝levelとして段階8020〜8080を
繰返す。このように等高線高さに対応して、境界に近い
画素ほど元の色、輝度に近くなるように、即ち、領域の
境界で色や濃度が連続的に変化しているように補正す
る。このとき、連続的な変化となるように、等高線の高
さと色、輝度の変化との対応関係は、比例直線的であっ
てもよく、指数関数や高次曲線のような曲線的であって
もよい。

【００９５】こののち、等高線変換を行うための変換Ｌ
ＵＴを作製する。本実施の形態においては、まず、等高
線の最大値(等高線画像作成関数の返り値)をPECSlope
(境界処理で混合する割合)で除して商levelを算出す
る。但し、levelが［PEMLevel,PECMax］の範囲に収まる
ようにする。従って、PEMLevel< levelのとき、level＝
PEMLevelとし、level< PECMaxのとき、level ＝PECMax
とし、その他のとき、商levelをlevelとする。但し、等
高線の最大値は「PECMax」と表し、PEMLevelは、境界処
理で混合する等高線最小値、PECMaxは、閾値で分割する
幅を表す。

【００９６】そして、次に、level以下は、level：ｉの
比で、levelよりも大きいときは０：１の比で元の画素
の値を補正値とを混合して変換LUTを作成する。LUT[ｉ]
は変換テーブル、Ａは規格化定数である。即ち、ｉ≦le
velのとき、LUT[ｉ]＝Ａ×ｉ／levelであり、Ａ<ｉのと
き、LUT[ｉ]＝Ａである。

【００９７】このように等高線画像を作成してこの等高
線を利用して色等の補正を行うので、補正領域が元の画
像と、画像として滑らかに連続しつつ色補正等ができる
補正効果を得る。従って、自然な感じの瞳画像に、ディ
ジタルデータ処理として一義的に補正できる利点があ
る。

【００９８】次に、第２の工程として、以下では、元の
瞳画像の色状態に応じて、以下に説明する複数の形態の
何れかにより色等の補正を行う。その第１形態として、
濃度及び彩度の調整を行う形態を説明する。図１５は、
濃度及び彩度の調整を示すフローチャートである。

【００９９】以下のフローチャートの説明及び各段階の
アルゴリズムの説明において、cndはビット画像による
候補画像、bitはビット値、rgbはＲＧＢカラー画像、cn
tは等高線画像、 lutは等高線変換ＬＵＴ、w、hは画像
の幅、高さ、r、g、bはｉ番目の画素の入力ＲＧＢ値、
r′g′b′はｉ番目の画素の出力ＲＧＢ値、cdはｉ番目
の画素のcnd値、ctはｉ番目の画素のcnt値、Dltは彩度
の閾値、Intensityは濃度補正量である。

【０１００】次に、段階8150の濃度調整について説明す
る。濃度に関しては、青目以外は、一般的に瞳は濃度が
濃いときれいに見えることがわかっているので、濃度を
次式［数２］に従って変換する。

【数２】ｄ′＝Intensity×(d−min)／Ａ＋min

【０１０１】但し、ｄ＝(r＋g＋b)／３はその画素の輝
度、minは瞳抽出で抽出された領域の最小値、Intensity
は変換の幅としてのスケールを決めるパラメータであ
り、例えば、Intensity＝Ａ／２と設定する。

【０１０２】即ち、抽出された領域の輝度の最小値を求
め、この最小値を基準にして輝度をスケールするのであ
る。従って、最小値からの輝度差が元の半分になるよう
にしている。

【０１０３】そこで、例えば、各濃度dr、dg、dbは、 F
d(x、r、g、b、dmin)＝ｘ＋(ｄ−ｖ)、但し、ｖ＝Inten
sity ×(d−din)／Ａ＋dmin によって表すことにより、
dr＝Fd(r、r、g、b、dmin)、dg＝Fd(g、r、g、b、dmi
n)、db＝Fd(b、r、g、b、dmin)である。

【０１０４】また、彩度に関しては、彩度を弱めると赤
目を和らげることができ、自然な目の色の感じに近づく
ことがわかっている。但し、実際の赤目の色バランスは
種々雑多であり、例えば、赤の彩度を引けば自然な仕上
がりになるように思われたが必ずしもそうではなく、特
に、ＧとＢとのバランスが好ましくないときは紫色や黄
色を帯びた不自然な仕上がりになることがあり、一律で
はないのである。

【０１０５】そこで、実際の補正は色相に関係なく閾値
を超えないように次式に従って彩度を変換する。このと
き、彩度ＳはＳ(C)＝１００×(C−min)／(c＋１) で
あり、ｃはＲＧＢ何れかの値、minはＲＧＢの最小値を
表す。閾値としては、例えば、１０を用いるが、適宜変
更できる。

【０１０６】実際の補正の例は、 cminはr、g、bの最小
値を表し、Fs(ｘ、cmin)は、Dlt<100×(x −cmin)／(x＋
1) を表すとき、Fs(ｘ、cmin)＝(100× cmin)／(100- Dl
t)とし、その他のとき、Fs(ｘ、cmin)＝ｘと表すとき、
sr＝Fs(r、cmin)、sg＝Fs(g、cmin)、sb＝Fs(b、cmin) と
なる。

【０１０７】そして、閾値＜Ｓ(C)のときＳ(C)＝閾値
となるようにＲＧＢの各値を補正する。以上のうち、補
正後の仕上り状況に応じて彩度のみの補正とすることも
できる。彩度のみの補正にする場合は、図１５に示した
段階8110及び8150を除いて処理を行う。このように第１
形態のうちで、補正後の仕上り状況に応じた補正を行う
のは、東洋人系の場合、赤目を直してもまだ赤っぽく感
じることがあることによる。

【０１０８】最後に、段階8170において、境界領域補正
の変換を行う。即ち、rate1＝Ａ−rate2、rate2＝lut[c
t]、Fb(r、rate1、ｙ、rate2)＝(ｘ×rate1＋ｙ×rate
2)／Ａとするとき、r′＝Fb(r、rate1、sr 、rate2)、
g′＝Fb(g 、rate1、sg 、rate2)、b′＝Fb(b、rate1、
sb、rate2) によって算出する。

【０１０９】次に、第２形態として、境界領域処理とグ
レー変換とを合わせた処理について説明する。図１６
は、かかる処理を示すフローチャートである。図１６
において、グレー補正は、ＲＧＢ値を次式によりグレー
に変換するものである。ｃ＝(r＋g＋b)／３

【０１１０】このとき、補正結果はグレーから黒系統の
色となり、強い赤目の場合には西洋人のような仕上りで
ある。この処理に対しては、補正後の仕上り状況に応じ
て、第１形態において行った濃度調整を行わない場合も
ある。この場合は、段階8210及び8260を除いて処理を行
う。

【０１１１】次に、第３形態として、境界領域処理とブ
ルーへの変換(又はグリーンブルーへの変換、本段落の
記載においては括弧内は同時に読替)とを合わせた処理
(又は)について説明する。この処理(又は)は、
仕上げ自体を西洋人のような目の色に仕上げる補正であ
る。図１７は、ブルーへの変換の補正の場合の例、図１
８は、グリーンブルーへの変換の場合の例をそれぞれ示
すフローチャートである。補正は、元の画像が明るい瞳
のとき、ブルー又はグリーンブルーへの変換を行う。

【０１１２】即ち、ブルーへの変換はＲＧ値に比べてＢ
値が高くなるように、例えば、次式：ｒ＝min(g、b)、
ｇ＝min(g、b)、ｂ＝max(g、b) で変換するのであり、
グリーンブルーへの変換は、例えば、次式で変換する：
ｂ＝min(g、b)、g＝max(g、b)、ｂ＝max(g、b)。境界領
域処理の要領は、処理又はと同じである。

【０１１３】このようにして最小値及び最大値をＧ、Ｂ
から選ぶのはＲを用いると強い赤目を補正したときＲ値
が高すぎるため、人の目としては不自然なほど鮮やかな
青又は青緑の目となる。このようなグリーン又はグリー
ンブルーへの変換は、元の値が低かったら補正しないよ
うに、即ち、彩度を青側に寄せるように色相を変えるよ
うにするのである。

【０１１４】次に、第４形態として、境界領域処理と金
目の補正とを合わせた処理について説明する。金目は
瞳孔が開いている上に瞳孔全体が光っているものである
から、単純な処理では自然な仕上りとならない。

【０１１５】そこで、金目補正では瞳の中央から端にか
けてＶ字状に輝度を落とし(端から端へと中央を経て観
るときはＷ字状に落とす(図２０参照)ことになる)、後
に彩度調整及び境界領域補正を行う。即ち、指定されて
いる矩形領域にＶ字型の輝度分布を有する円領域を設定
したのち、円の中心がmax、境界が０、中心と境界との
中央がminになる輝度を決定する。このことにより、自
然な目に見られる輝度分布に合わせた。図１９は、かか
る処理のアルゴリズムを示すフローチャートである。

【０１１６】但し、図１９において、cthは金目補正画
像、chは画素のcth 値、difは、dif＝dmin−dmaxとし、
金目補正は、cmin＝dif 、cmax＝dif／４によって行っ
た例を示す。彩度調整及び境界領域補正は、処理〜
と同じである。本処理の段階8590〜8595においては、
４隣接平滑化を、３×３の４隣接マスクで平滑化処理を
行う。

【０１１７】以上のようにそれぞれ補正された瞳画像の
中から最も自然な感じの瞳画像を選定する。このよう
に、本境界領域補正段階を補正工程が含むことにより、
補正領域が元の画像と、画像として滑らかに連続するよ
うに補正でき、瞳の色状態や地肌や睫等の周辺の領域の
影響によらず、自然な感じの瞳画像を種々の補正候補画
像のうちから比較して決定するだけで、簡単に補正でき
るという利点がある。

【０１１８】

【発明の効果】本発明に係わる写真処理方法は、瞳を含
む領域を指定したとき、瞳の色状態の種別に対応した各
抽出処理を順次行って瞳画像候補を作製し表示した各瞳
画像候補から瞳画像を特定する候補特定段階を前記補正
工程が含むことを特徴としている。

【０１１９】該方法によれば、瞳の形状によらず、指定
した領域が瞼や白目を含んでいても、又は、地肌や睫等
の影響を有していても瞳部分を検出できるので、高度な
職人技的な熟練を要する作業等を伴うことなく、瞳部分
のみを極めて高い確率で検出して本当に瞳であるか否か
を決定できる。

【０１２０】また、前記各抽出処理ごとに、判別分析法
により閾値を決定し、該閾値に従って画像データ中から
瞳画像候補を得るので、最適な閾値を一義的且つ動的に
決定できる。よって、主観的なパラメータが介在するこ
となく閾値を決定できる。

【０１２１】本発明に係わる写真処理装置は、瞳を含む
領域が指定されたとき、瞳の色状態に対応した瞳画像候
補が抽出される各抽出処理が順次行われて瞳画像候補を
作成して各瞳画像候補を表示させる候補作成手段がさら
に備えられてなることを特徴とする。

【０１２２】該装置によれば、瞳色補正を行う際、複数
の瞳画像候補が容易に客観的に得られ、最適の瞳画像候
補から最適の瞳部分を選択するだけでよいので、閾値等
のパラメータ設定を調整でき、最適の瞳画像候補を好適
に特定して補正等を行って写真を作製できる。

【０１２３】本発明に係わる記憶媒体は、コンピュータ
によってディジタル画像の変換、抽出、候補画像作成、
色補正等を行って瞳画像の色補正を行うための制御プロ
グラムを記憶した記憶媒体であって、瞳を含む領域を指
定したとき、瞳の色状態の種別に対応した各抽出処理を
順次行って瞳画像候補を作製し表示した各瞳画像候補か
ら瞳画像を特定する特定段階の手続を含んでなることを
特徴とする。

【０１２４】該記憶媒体によれば、写真処理装置の機種
に適した記憶媒体を利用して特定段階を実行できるの
で、該特定段階を記憶させた記憶媒体の、他機種等への
広汎な適用が可能となる。

【図面の簡単な説明】

【図１】本発明の実施の形態に係わる写真処理装置の構
成を概略的に示すブロック図。

【図２】本発明の実施の形態に係わる写真処理装置の構
成を概略的に示すブロック図。

【図３】本発明の実施の形態に係わる補正工程の瞳候補
特定段階を工程順に示したフローチャート。

【図４】本発明の実施の形態に係わる補正工程の瞳候補
特定段階を工程順に示したフローチャート。

【図５】本発明の実施の形態に係わる補正工程の瞳候補
特定段階を工程順に示したフローチャート。

【図６】本発明の実施の形態に係わる補正工程の瞳候補
特定段階を工程順に示したフローチャート。

【図７】本発明の実施の形態に係わる補正工程の瞳候補
特定段階を工程順に示したフローチャート。

【図８】本発明の実施の形態に係わる補正工程の瞳候補
特定段階を工程順に示したフローチャート。

【図９】本発明の実施の形態に係わる補正工程の瞳候補
特定段階を工程順に示したフローチャート。

【図１０】本発明の実施の形態に係わる補正工程の瞳候
補特定段階を工程順に示したフローチャート。

【図１１】本発明の実施の形態に係わる補正工程の瞳候
補特定段階を工程順に示したフローチャート。

【図１２】本発明の実施の形態に係わる補正工程の瞳候
補特定段階を工程順に示したフローチャート。

【図１３】本発明の実施の形態に係わる補正工程の瞳候
補特定段階を工程順に示したフローチャート。

【図１４】本発明の実施の形態に係わる補正工程の境界
領域補正段階を工程順に示したフローチャート。

【図１５】本発明の実施の形態に係わる補正工程の境界
領域補正段階を工程順に示したフローチャート。

【図１６】本発明の実施の形態に係わる補正工程の境界
領域補正段階を工程順に示したフローチャート。

【図１７】本発明の実施の形態に係わる補正工程の境界
領域補正段階を工程順に示したフローチャート。

【図１８】本発明の実施の形態に係わる補正工程の境界
領域補正段階を工程順に示したフローチャート。

【図１９】本発明の実施の形態に係わる補正工程の境界
領域補正段階を工程順に示したフローチャート。

【図２０】本発明の実施の形態に係わる金目補正の輝度
分布を示したグラフ。

【符号の説明】

50…画像処理部、51…画像表示部、53…演算処理部、54
…記憶部、55…候補作成手段、56…境界領域補正演算手
段

───────────────────────────────────────────────────── フロントページの続き (72)発明者内田稔大阪府吹田市江の木町11番30号株式会社東洋情報システム内Ｆターム(参考） 5C076 AA21 AA22 AA26 BA03 BA07 BB42 CA02 CA10 5C079 HB01 HB06 JA12 LA02 LA10 LA12 LA37 LB12 MA01 MA04 MA11 NA05 NA27 PA08

Claims

【特許請求の範囲】

【請求項１】瞳を含む画像を、色分解したディジタル
画像の画像データに変換し、該画像データ中から瞳画像
を特定して瞳画像に対して色等を補正する補正工程を含
む写真処理方法において、瞳を含む領域を指定したと
き、瞳の色状態の種別に対応した各抽出処理を順次行っ
て瞳画像候補を作製し表示した各瞳画像候補から瞳画像
を特定する候補特定段階を前記補正工程が含むことを特
徴とする写真処理方法。
【請求項２】前記各抽出処理ごとに、判別分析法によ
り閾値を決定し、該閾値に従って画像データ中から瞳画
像候補を得る請求項１記載の写真処理方法。
【請求項３】ディジタル画像を表示する表示手段(51)
と、ディジタル画像の画像データと、該画像データを記
憶する記憶手段(54)と、画像中の任意の範囲を指定する
指定手段(52)と、前記画像データを画像化する変換処理
を行う変換手段(53)とを具備し瞳画像に対して色等を補
正して写真を作製する写真処理装置において、瞳を含む
領域が指定されたとき、瞳の色状態に対応した瞳画像候
補が抽出される各抽出処理が順次行われて瞳画像候補を
作成して各瞳画像候補を表示させる候補作成手段(55)が
さらに備えられてなることを特徴とする写真処理装置。
【請求項４】コンピュータによってディジタル画像の
変換、抽出、候補画像作成、色補正等を行って瞳画像の
色補正を行うための制御プログラムを記憶した記憶媒体
であって、瞳を含む領域を指定したとき、瞳の色状態の
種別に対応した各抽出処理を順次行って瞳画像候補を作
製し表示した各瞳画像候補から瞳画像を特定する特定段
階の手続を含んでなることを特徴とする記憶媒体。