JP2000207564A

JP2000207564A - 画像の被写体の検出方法

Info

Publication number: JP2000207564A
Application number: JP11370111A
Authority: JP
Inventors: Jiebo Luo; ルオジェボ; Stephen Etz; エッツスティーブン; Amit Singhal; シンハルエイミット
Original assignee: Eastman Kodak Co
Current assignee: Eastman Kodak Co
Priority date: 1998-12-31
Filing date: 1999-12-27
Publication date: 2000-07-28
Also published as: EP1017019A2; US6282317B1; EP1017019A3

Abstract

(57)【要約】【課題】画像中の主被写体を検出する方法を提供す
る。【解決手段】デジタル画像は同種の特性を有する少数
の領域にセグメント化され（Ｓ２）、知覚上まとまった
対象に対応する大きな領域にグループ化される（Ｓ
６）。領域は、顕著性特徴すなわち構造上の顕著性特徴
と意味上の顕著性特徴を用いて評価される（Ｓ８ａ、Ｓ
８ｂ）。両形式の特徴は推論エンジンを用いて統合さ
れ、主被写体の最終確信度マップが生成される（Ｓ１
２）。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、広くは、ディジタ
ル画像処理分野に関し、より詳しくは、ディジタル画像
において、主被写体、または同等に、写真撮影上関心の
ある領域の位置を捜し当てることに関する。

【０００２】

【従来の技術】写真画像において、主被写体は、写真家
が情景内に取り込むことを試みるものとして定義され
る。第１当事者の真意は、写真家の意見として定義さ
れ、第３者の真意は、写真家以外の観察者および被写体
（適用できる場合）の意見として定義される。一般に、
写真家が人物、背景、事象などについて有する特定の知
識は得られないため、写真家である第１当事者の真意
は、通常利用できない。他方、写真家が画像を巧みに用
いて主被写体に関する自身の関心を見る人に伝達した場
合は、一般に、第３者である観察者間で主被写体につい
ての意見の一致が認められる。したがって、画像の主被
写体を検出する作業を自動的に実行する方法を設計する
ことが可能である。

【０００３】主被写体検出によって、画像中の異なる被
写体に関連する異なる領域について顕著性または相対的
重要性の測定が可能となる。これによって、多数の応用
分野について、情景内容について識別力のある処理が可
能となる。システム全体の出力は、画像、意味情報、お
よび行動の変形版とすることができる。

【０００４】先行技術によって開示された方法は、２つ
の主要部類に分類される。第１部類は、「画素ベース」
と考えられた。その理由は、このような方法は関心のあ
る画素または「スポット」または「ブロック」の位置を
捜し当てるように設計され、これは、通常、画像の対象
または被写体の実体に対応しなかったためである。第２
部類は、「領域ベース」と考えられた。その理由は、こ
のような方法は、画像中の対象または被写体の実体に対
応する関心のある領域の位置を捜し当てるためである。

【０００５】関心のある領域検出のための大部分の画素
ベース手法は、本質上、辺縁検出機能である。Ｖ．Ｄ．
Ｇｅｓｕらによる“Ｌｏｃａｌｏｐｅｒａｔｏｒｓ
ｔｏｄｅｔｅｃｔｒｅｇｉｏｎｓｏｆｉｎｔｅｒ
ｅｓｔ”、ＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎＬ
ｅｔｔｅｒｓ、ｖｏｌ．１８、１０７７〜１０８１ペー
ジ、１９９７年では、局所モーメントおよび対称性の計
算に基づく２つの局所演算子を用いて選択を駆動する。
視覚システムの性能は初期の観察段階において実施され
る情報処理によって強く影響されることを論証するた
め、個別モーメント変換（ＤＭＴ）および個別対称性変
換（ＤＳＴ）と呼ばれる２つの変換を計算して、各画素
の回りの局所中心モーメントおよび局所放射形対称が測
定される。自明対称の場合を除くため、不均一領域選択
が必要とされる。特定の個別モーメント変換演算子は、
目立つ辺縁（閉塞境界線）の検出機能と同様に作用し、
個別対称性変換演算子は、対称ブロブの検出機能と同様
に作用する。２つの演算子から得られる結果は、論理Ａ
ＮＤ演算を介して結合される。個別モーメント変換演算
子によって生成される辺縁様の未処理出力マップを拡張
するため幾つかの形態上の演算が必要とされる。

【０００６】Ｒ．Ｍｉｌａｎｅｓｅによる“Ｄｅｔｅｃ
ｔｉｎｇｓａｌｉｅｎｔｒｅｇｉｏｎｓｉｎａ
ｎｉｍａｇｅ：Ｆｒｏｍｂｉｏｌｏｇｙｔｏｉ
ｍｐｌｅｍｅｎｔａｔｉｏｎ”（ＰｈＤ学位請求論文、
スイスのＧｅｎｅｖａ大学、１９３３年）には、人間の
視覚システムに関する知識をコンピュータ観察技術と結
合する視覚注意力の計算モデルが記載されている。この
モデルは、３つの主要段階から構成されている。第１
に、多数の特徴マップが入力画像から抽出される（たと
えば、配置方向、曲率、色対比など）。第２に、「顕然
性」マップの対応数が、ガウスモデルの導関数を用いて
計算され、この対応数によって各特徴マップの関心のあ
る領域が強調される。最後に、非線形弛緩法を用いて、
マップ間およびマップ内不一致の間の折衷案を見出し、
顕著性マップを積分して単一の表現とする。この手法の
有効性は、関心のある顕著な領域を有する幾つかの比較
的簡単な画像を用いて実証された。

【０００７】最適な色調再生を決定するため、Ｊ．Ｒ．
Ｂｏｙａｃｋらによる米国特許第５，７２４，４５６号
には、画像をブロックに分割し、幾つかのブロックを結
合してセクタとし、次に、各セクタについて最大および
最小平均ブロック値間の差を決定するシステムが開示さ
れている。差が所定のしきい値を越える場合、セクタは
活性セクタとして標識付けされる。活性セクタのすべて
の加重計数と平均輝度セクタ値の関係をヒストグラムに
プロットし、次に、関心のある平均輝度セクタ値が宛先
アプリケーションの色調再生機能に対応する宛先ウィン
ドウ内に入るように、幾つかの所定の基準によって、こ
のヒストグラムを移動させる。

【０００８】要約すると、この形式の画素ベース手法
は、情景内の意味上意義のある被写体に対応する関心の
ある領域を明確に検出しない。むしろ、これらの方法
は、情景に注意を向けるためまたは情景についての統計
を集めるため、ある一定の変化が発生する領域を検出す
ることを試みる。

【０００９】Ｐｒｏｃ．ＩＥＥＥＩｎｔ．Ｃｏｎｆ．
Ｉｍａｇｅｐｒｏｃｅｓｓ．１９９６年に記載のＸ．
Ｍａｒｉｃｈａｌらによる“Ａｕｔｏｍａｔｉｃｄｅ
ｔｅｃｔｉｏｎｏｆｉｎｔｅｒｅｓｔａｒｅａｓ
ｏｆａｎｉｍａｇｅｏｒｏｆａｓｅｑｕｅ
ｎｃｅｏｆｉｍａｇｅｓ”には、ビデオシーケンス
の関心のある領域を検出するファジー論理ベースシステ
ムが記載されている。被写体知識をベースとする多数の
関心基準が、画像のセグメント化された領域について評
価された。これらの基準は、（１）相互作用基準（操作
員によって事前に定められたウィンドウ）、（２）境界
線基準（絵画境界線に沿って多数の画素を有する領域の
拒絶）、（３）顔面質感基準（その質感が皮膚試料に対
応しない非強調領域）、（４）運動基準（運動がなく低
階調度の領域または過度の運動および高階調度を有する
領域を拒絶）、（５）連続性基準（運動の一時的安定
性）を含む。この方法の主な適用分野は、資源をビデオ
コーディング、特にテレビ電話またはテレビ会議に向け
るためである。静止画像の代わりにビデオを目標とする
この技術の場合は、運動が最も有効な基準であることは
明らかである。さらに、ファジー論理関数は、特定の問
題のみを対象として設計された。最後に、この方法は、
操作員によって事前に定められるウィンドウを必要とす
るので、完全に自動的ではない。

【００１０】Ｐｒｏｃ．ＩＥＥＥＩｎｔ．Ｃｏｎｆ．
ＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ、１９９８年
に記載のＷ．Ｏｓｂｅｒｇｅｒらによる“Ａｕｔｏｍａ
ｔｉｃｉｄｅｎｔｉｆｉｃａｔｉｏｎｏｆｐｅｒ
ｃｅｐｔｕａｌｌｙｉｍｐｏｒｔａｎｔｒｅｇｉｏ
ｎｓｉｎａｎｉｍａｇｅ”では、セグメント化さ
れた画像の各領域について、各領域の各特徴に対する重
要度値を生成する人間の視覚注意力に影響を与えること
が知られている幾つかの特徴が評価されている。記載さ
れている特徴には、低レベル因子（コントラスト、サイ
ズ、形状、色、運動）および高レベル因子（場所、前景
／背景、人物、コンテキスト）があるが、コントラス
ト、サイズ、形状、場所、および前景／背景（各領域に
含まれる全画像境界線の割合を決定することによって背
景を決めて）のみが具体化された。さらに、この方法
は、（１）これらの異なる因子の相対的重要度を示す定
量的データはほとんど存在しないこと、および（２）相
対的重要度は画像ごとに変化する可能性があることを論
証し、各因子が等しい重要度を有するものとして処理す
ることを選択する。セグメント化は、８×８画像ブロッ
クに基づく分割−組合せ法を用いて得られ、このセグメ
ント化法は、過剰セグメント化および実際の対象の周辺
で斑点生成を招くことが頻繁にあることに注意された
い。

【００１１】Ｐｒｏｃ．ＩＥＥＥＩｎｔ．Ｃｏｎｆ．
Ｉｍａｇｅｐｒｏｃｅｓｓ．１９９５年に記載のＱ．
Ｈｕａｎｇらによる“Ｆｏｒｅｇｒｏｕｎｄ／ｂａｃｋ
ｇｒｏｕｎｄｓｅｇｍｅｎｔａｔｉｏｎｏｆｃｏ
ｌｏｒｉｍａｇｅｓｂｙｉｎｔｅｇｒａｔｉｏｎ
ｏｆｍｕｌｔｉｐｌｅｃｕｅｓ”では、背景領域は
比較的滑らかであるが、徐々に色が変化または軽い質感
がある場合があることを仮定して、カラー画像の前景お
よび背景への自動セグメント化が取り扱われた。色クラ
スタ化、ＭＤＬ（最小記述長さ）原理に基づく非管理セ
グメント化、縁に基づく前景／背景分離、および領域に
基づくセグメント化と縁に基づくセグメント化の統合を
含む多レベルセグメント化スキーマが考案された。特
に、ＭＤＬに基づくセグメント化アルゴリズムを用い
て、最初の色クラスタ化に基づいてさらに領域をグルー
プ化し、また画像の四隅を用いて背景階調度の大きさの
推定値を適切に決定した。この方法は、大領域の仮定さ
れた形式のクラスタ化されない背景を背にして画像の中
央に位置する顕著な主被写体を有するおよそ１００の構
成の良好な画像について試験された。

【００１２】Ｔ．Ｆ．Ｓｙｅｄａ−Ｍａｈｍｏｏｄは、
“Ｄａｔａａｎｄｍｏｄｅｌ−ｄｒｉｖｅｎｓｅ
ｌｅｃｔｉｏｎｕｓｉｎｇｃｏｌｏｒｒｅｇｉｏ
ｎｓ”Ｉｎｔ．Ｊ．Ｃｏｍｐｕｔ．Ｖｉｓｉｏｎ、２１
巻１号、９〜３６ページ、１９９７年において、色領域
セグメント化と領域を基礎とする顕著性測定とを用いる
データ駆動領域選択法を提案した。２２０の主要カラー
部類のコレクションが、カラーＬＵＴ（索引テーブル）
の形式で事前に形成された。画素は、カラー部類の１つ
にマップされ、結合成分解析によってまとめてグループ
化され、さらに互換性カラー部類に従って組み合わされ
た。２形式の顕著性測定、すなわち、自己顕著性と相対
的顕著性が、帰納的加重係数を用いて線形に結合され、
全体の顕著性が決定された。特に、自己顕著性は、彩
度、明るさおよびサイズを含み、一方、相対的顕著性
は、関心のある領域と、サイズ、広がりおよびコントラ
ストによって連続する順序で近傍で最も高く順位付けさ
れる周辺領域との間の色対比（ＣＩＥ間隔によって定義
される）およびサイズ対比を含む。

【００１３】

【発明が解決しようとする課題】要約すると、これらの
報告された方法はほとんど全部、目標とする形式の画像
に対して開発されたものである。たとえば、ビデオ会議
またはテレビニュース放送画像の場合は、主被写体は比
較的単純な静止背景を背にする話者であり（Ｏｓｂｅｒ
ｇ、Ｍａｒｉｃｈａｌ）、音楽画像の場合は、顕著な主
被写体は大領域の比較的鮮明な背景を背にして画像の中
央に位置し（Ｈｕａｕｎｇ）、また玩具世界の画像の場
合は、主被写体は数個の目立つ色彩および形状の対象で
ある（Ｍｉｌａｎｅｓｅ、Ｓｙｅｄａ）。これらの方法
は、無条件写真画像のために設計されたものではなく、
または一般的な原理によって設計されたとしても、これ
らの方法の有効性はどちらかと言えば簡単な画像につい
て実証されたに過ぎない。用いられた基準および推理方
法は、写真画像などのほとんど制約されない画像に対し
ては幾分不適切であった。

【００１４】本発明は、ディジタルで取り込まれた画像
内の主被写体の位置を検出することによって、前述した
１つ以上の問題を解決する方法を提供することを目的と
する。

【００１５】また、本発明は、ディジタルで取り込まれ
た画像内の主被写体の位置についての確信度の算定基準
を提供することによって、画像内の異なる被写体の相対
的重要度の決定における固有の程度の不確定性を取り込
むことを目的とする。アルゴリズムの出力は、セグメン
ト化された領域が、一般または特定適用分野に対して可
能性のある主被写体である確度の降順でランク付けされ
たリストの形式で表される。その上、このリストは、領
域の明るさが領域の主被写体確信度に比例するマップに
変換することができる。

【００１６】また、本発明は、地上較正データを用いる
ことも目的とする。地上較正は、人間が輪郭を描いた主
被写体として定義され、選択を特徴付け、推論エンジン
をトレーニングするために用いられる。

【００１７】また、本発明は、自動方式によって、画像
内の主被写体を見出す方法を提供することも目的とす
る。

【００１８】また、本発明は、情景内容に関する制約ま
たは仮定を有しない画像内の主被写体を見出す方法も提
供する。

【００１９】さらに、本発明は、主被写体位置および主
被写体確信度を用いて、情景特性の推定値を生成するこ
とを目的とする。

【００２０】

【課題を解決するための手段】上記目的を達成するため
に、本発明は、ａ）デジタル画像を受け取るステップ
と、ｂ）任意の形状であり、実際の対象によって定めら
れるサイズを有する領域を前記ディジタル画像から抽出
するステップと、ｃ）各前記領域について、少なくとも
１つの構造上の顕著性特徴および少なくとも１つの意味
上の顕著性特徴を抽出するステップと、ｄ）確率的推論
エンジンを用いて、前記構造上の顕著性特徴および前記
意味上の顕著性特徴を統合し、各領域が前記主被写体で
ある確信度の推定値を生成するステップとを含む。

【００２１】また、本発明は、ａ）ディジタル画像を受
け取るステップと、ｂ）ディジタル画像から、実際の対
象によって定められる任意の形状およびサイズの領域を
抽出するステップと、ｃ）領域を、物理的にまとまった
対象に対応するより大きなセグメントにグループ化する
ステップと、ｄ）各領域について、少なくとも１つの構
造上の顕著性特徴および少なくとも１つの意味上の顕著
性特徴を抽出するステップと、ｅ）確率的推論エンジン
を用いて、顕著性特徴を統合し、各領域が主被写体であ
る確信度の推定値を生成するステップとを含む。

【００２２】本発明の前述した目的および他の目的は、
以下の詳細な説明および図面によって、一層明らかにな
る。図面においては、各図に共通の同じ要素は、同じ符
号を用いて示す。

【００２３】

【発明の実施の形態】以下の説明において、本発明の好
適な実施形態を、ソフトウェアプログラムとして述べ
る。当業者は、このようなソフトウェアの同等物は容易
にハードウェアに構成することができることを容易に認
識するであろう。

【００２４】その上さらに、本明細書において使用され
るように、コンピュータ読み取り可能記憶媒体には、た
とえば、磁気ディスク（フロッピーディスクなど）また
は磁気テープなどの磁気記憶媒体と、光ディスク、光テ
ープ、または機械読み取り可能バーコードなどの光記憶
媒体と、ランダムアクセスメモリ（ＲＡＭ）または読み
取り専用メモリ（ＲＯＭ）などの固体電子記憶装置と、
コンピュータプログラムを記憶するために使用される任
意の他の物理的装置がある。

【００２５】図１は、本発明を具体化するためのコンピ
ュータシステム１０を示す図である。コンピュータシス
テム１０は、好適な実施形態を図解するために示した
が、本発明は、図示のコンピュータシステム１０に限定
されるものではなく、任意の電子処理システムによって
使用できる。コンピュータシステム１０は、ソフトウェ
アプログラムを受け取り処理するためおよび他の処理機
能を実行するためのマイクロプロセッサを基体とする装
置２０を備える。タッチスクリーン表示装置３０は、マ
イクロプロセッサを基体とする装置２０と電気接続さ
れ、ソフトウェアに関連する情報を利用者に表示し、ま
た利用者の入力をスクリーンに対するタッチを介して受
け取る。キーボード４０も、マイクロプロセッサを基体
とする装置２０と接続され、その結果、利用者が情報を
ソフトウェアに入力することが可能となる。入力にキー
ボード４０を使用する代わりに、技術上公知のように、
マウス５０を用いて、表示装置３０上でセレクタ５２を
動かしてアイテムを選択し、セレクタをその上に重ねる
ことができる。

【００２６】コンパクトディスク読み出し専用メモリ
（ＣＤ−ＲＯＭ）５５は、マイクロプロセッサを基体と
する装置２０に接続され、ソフトウェアプログラムを受
け取り、また、通常、ソフトウェアプログラムを含むコ
ンパクトディスク５７を介して、ソフトウェアプログラ
ムおよび他の情報をマイクロプロセッサを基体とする装
置２０に入力する手段を提供する。さらに、フロッピー
ディスク６１も、ソフトウェアプログラムを含むことが
でき、マイクロプロセッサを基体とする装置２０に挿入
され、ソフトウェアプログラムが入力される。その上さ
らに、マイクロプロセッサを基体とする装置２０は、技
術上公知であるように、ソフトウェアプログラムを内部
に記憶するようにプログラムすることができる。プリン
タ５６は、マイクロプロセッサを基体とする装置２０に
接続され、コンピュータシステム１０の出力のハードコ
ピーをプリントする。

【００２７】画像は、パーソナルコンピュータカード
（ＰＣカード）６２、または、既に知られているよう
に、カード６２に電子的に組み込まれたディジタル化画
像を含むパーソナルコンピュータメモリーカード国際協
会カード（ＰＣＭＣＩＡカード）を介して表示装置３０
に表示することもできる。ＰＣカード６２は、結局、マ
イクロプロセッサを基体とする装置２０に挿入され、表
示装置３０に画像を表示することが可能になる。

【００２８】図２は、本発明の全体像を示すフローチャ
ート図である。最初に、自然情景の入力画像が取り込ま
れディジタル形式で記憶される（ステップＳ０）。次
に、画像は、同種の特性を有する少数の領域にセグメン
ト化される（ステップＳ２）。次に、領域セグメント
は、知覚による無目的グループ化を用いる類似性測定に
基づいてより大きな領域にグループ化され（ステップＳ
４）、さらに、有目的グループ化（特定の対象に関する
目的を有するグループ化）によって知覚上まとまった対
象に対応するさらに大きな領域にグループ化される（ス
テップＳ６）。領域は、２つの独立であるが補完的であ
る形式の顕著性特徴、すなわち、構造上の顕著性特徴お
よび意味上の顕著性を用いて、それらの顕著性について
評価される（ステップＳ８）。構造上の顕著性特徴は、
１組の低レベルの初期観察特徴および１組の幾何学的特
徴を含み、ステップＳ８ａにおいて抽出され、さらに処
理されて１組の自己顕著性特徴および１組の相対的顕著
性特徴を生成する。重要な主題の形式の意味上の顕著性
特徴は、前景（たとえば、人物）または背景（たとえ
ば、空、草地）の一部分である可能性が大きく、ステッ
プＳ８ｂにおいて検出され、意味上のキューならびに情
景コンテキストキューが提供される。両形式の証拠は、
ステップＳ１０において、ベイズネットに基づく推理エ
ンジンを用いて統合され、ステップＳ１２において、主
被写体の最終確信度マップが生成される。

【００２９】画像の意味解釈の終了時まで、単独の基準
では明らかに不十分である。人間の脳には先天的な知識
と実世界被写体および筋書きについての膨大な記憶とが
備えられ、情景中の関心のあるまたは主要な被写体（単
数または複数）を評価するため、異なる被写体の基準を
結合する。下記の特徴についての広範囲なリストは、主
被写体検出のような幾分漠然とした作業の実行におい
て、人間の脳に影響を与えると考えられている。すなわ
ち、位置、サイズ、明るさ、色彩の豊富さ、質感の豊富
さ、重要な主題、形状、対称性、空間関係（包囲／突
出）、境界性、屋内／屋外、配置方向、奥行き（適用で
きる場合）、および運動（ビデオ順序について適用でき
る場合）。

【００３０】本発明において、低レベル初期観察特徴に
は、色、明るさ、および質感が含まれる。幾何学的特徴
には、位置（中心の位置）、空間関係（境界性、近接
性、包囲、および突出）、サイズ、形状、および対称性
が含まれる。意味上の特徴には、身体、顔、空、草地、
および他の緑色草木が含まれる。当業者は、本発明の範
囲から逸脱することなく、さらに多数の特徴を明確にす
ることができる。

【００３１】Ｓ２：領域セグメント化適応性のあるベイズ色セグメント化アルゴリズム（Ｌｕ
ｏら、“Ｔｏｗａｒｄｓｐｈｙｓｉｃｓ−ｂａｓｅｄ
ｓｅｇｍｅｎｔａｔｉｏｎｏｆｐｈｏｔｏｇｒａ
ｐｈｉｃｃｏｌｏｒｉｍａｇｅｓ”、Ｐｒｏｃｅｅ
ｄｉｎｇｓｏｆｔｈｅＩＥＥＥｉｎｔｅｒｎａ
ｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＩｍａｇｅ
Ｐｒｏｃｅｓｓｉｎｇ、１９９７年）を用いて、任意
の形状の物理的にまとまった扱いやすい数の領域を生成
した。このセグメント化法は好ましいが、普通の当業者
は、本発明の思想から逸脱することなく、異なるセグメ
ント化法を用いて任意の形状の対象領域を得ることがで
きることは理解される。任意の形状をした領域のセグメ
ント化によって、（１）対象のサイズ、形状、位置およ
び対象間の空間関係の正確な測定、（２）対象の正確な
色および質感、（３）重要な主題の正確な分類が提供さ
れる。

【００３２】図１２は、好適なセグメント化アルゴリズ
ムのブロック図を示す。最初に、ステップＳ５０におい
て、画像の初期セグメント化によって領域が生成され
る。画像のカラーヒストグラムが計算され、次に、画像
中の特有の顕著な色に対応する複数のクラスタに分割さ
れる。画像の各画素は、好適な物理学に基づく色間隔計
量に従って、カラークラスタの平均値に関して、色空間
において最も密接なクラスタに分類される（Ｌｕｏら、
“Ｔｏｗａｒｄｓｐｈｙｓｉｃｓ−ｂａｓｅｄｓｅｇ
ｍｅｎｔａｔｉｏｎｏｆｐｈｏｔｏｇｒａｐｈｉｃ
ｃｏｌｏｒｉｍａｇｅｓ”、Ｐｒｏｃｅｅｄｉｎｇｓ
ｏｆｔｈｅＩＥＥＥｉｎｔｅｒｎａｔｉｏｎａ
ｌＣｏｎｆｅｒｅｎｃｅｏｎＩｍａｇｅＰｒｏ
ｃｅｓｓｉｎｇ、１９９７年）。この分類方法の結果、
画像の初期セグメント化が得られる。どの近傍画素を用
いてこの画素に関する局所カラーヒストグラムを計算す
るかを決定するため、各画素に近傍ウィンドウが配置さ
れる。ウィンドウサイズは、最初は、ステップＳ５２に
おいて、画像全体のサイズに設定され、その結果、局所
カラーヒストグラムは画像全体のものと同じであり、再
計算する必要がない。次に、２つの交替する過程間、す
なわち、現在のセグメント化に基づいて各カラークラス
の局所平均値を再計算するステップＳ５４と、カラーク
ラスの更新された局所平均値に従って画素を再分類する
ステップＳ５６との間において、反復手法が実行され
る。この反復方法は、収斂に達するまで実行される（ス
テップＳ６０）。この反復手法の実施中、空間制約の強
さは、漸進的方式によって調整することができる（ステ
ップＳ５８）（たとえば、空間制約の強さを示すβの値
は、各反復ごとに１次的に増加する）。特定のウィンド
ウサイズに収斂された後、カラークラスに対する局所平
均値を推定するために使用されたウィンドウは、サイズ
が半分に縮小される（ステップＳ６２）。反復手法が縮
小されたウィンドウサイズに対して実行されることによ
って、カラークラスに対するより正確な局所平均値の推
定が可能となる。この機構によって、空間適応性がセグ
メント化過程に導入される。最後に、反復手法が最小ウ
ィンドウサイズに収斂されるとき、画像のセグメント化
が得られる（ステップＳ６４）。

【００３３】Ｓ４およびＳ６：知覚によるグループ化セグメント化された領域は、同じ対象に属する領域から
なるより大きなセグメントにグループ化される。知覚に
よるグループ化は、無目的および有目的とすることがで
きる。図２に示すステップＳ４において、知覚による無
目的グループ化によって、大きな照度差、たとえば、あ
る距離の間に著しい照度低下を有するテーブルまたは壁
による過度のセグメント化を排除することができる。知
覚による有目的グループ化ステップＳ６は、一般に、同
じ対象の部分間の接合点の滑らかな一致しない結合、お
よびある場合には典型的な対象のモデル（たとえば、
頭、胴および手足を有する人間）を基礎としている。

【００３４】知覚によるグループ化によって、高レベル
の観察特徴の認識が容易になる。適切な知覚によるグル
ープ化なしに、対象認識およびサイズおよび形状のよう
な特性の評価を実行することは困難である。知覚による
グループ化には、特性の類似性および併合される見込み
の領域のまとまり具合に基づく小領域の大領域への併合
（無目的グループ化）と、通例、共有される背景、併合
される見込みの領域のまとまり具合、領域間の輪郭結合
の滑らかさ、および特定の対象のモデルに基づく同じ対
象に属する部分のグループ化（有目的グループ化）とが
ある。

【００３５】Ｓ８：特徴抽出各領域について、視覚注意力に寄与することが示され
る、特徴の拡張セットが抽出され、次に、関連する証拠
が計算される。特徴のリストは、低レベル観察特徴、幾
何学的特徴、および意味上の特徴の３部類から構成され
る。各特徴について、自己顕著性特徴および相対的顕著
性特徴の片方または両者が計算される。自己顕著性特徴
を用いて、それ自体によって（たとえば、色、質感、位
置などの点で）目立つ被写体が取り込まれ、一方、相対
的特徴を用いて、それらの周辺と著しい対比をなす（た
とえば、形状）被写体が取り込まれる。その上、自己顕
著性および相対的顕著性の特徴の未処理測定値は、証拠
に変換され、それらの値は、適切な非線形特性を有する
確信度センサ関数によって、［０，１，０］内であるよ
うにに正規化される。図３は、本発明に使用されるＳ字
型確信度センサ関数を示す図である。最小値と最大値の
間の値を有する未処理の特徴測定値は、マップされ
［０，１］内の確信度値となる。ガウス型の確信度セン
サ関数（図示してない）も、以下に述べるように、一部
の特徴について使用される。

【００３６】構造上の顕著性特徴構造上の顕著性特徴には、独立の結合自己顕著性特徴お
よび相対的顕著性特徴および両者の結合がある。

【００３７】図１０は、拡張した近傍を用いる相対的顕
著性の計算を示す図である。最初に、関心のある領域１
０（中心円形領域として示される）の最小境界形成長方
形（ＭＢＲ）１４が決定される。次に、最小境界形成長
方形は、適切な係数（たとえば、２）を用いて、領域の
４方向すべてに拡張される（適用可能な場合は常に画像
境界線で停止）。点線で示されるこの引き伸ばされた最
小境界形成長方形と交差するすべての領域は、この領域
の近傍であると考えられる。この拡張された近傍によっ
て、相対的顕著性特徴を計算するための十分に自然な拡
張容易性として適切なコンテキストが保証される。

【００３８】以下の構造顕著性特徴が計算される。

【００３９】・色相のコントラスト（相対的顕著性特
徴）色の観点から、対象とその周辺との間の色相のコントラ
ストは、色の顕著性の良好な指標である。

【数１】ここで、近傍とは、事前および今後に形成されるコンテ
キストを言う。

【００４０】・色彩の豊富さ（自己顕著性特徴）および
色彩の豊富さのコントラスト（相対的顕著性特徴）色彩の豊富さの観点から、色彩の豊富な対象と鈍い周辺
との間のコントラストは、鈍い対象と色彩の豊富な周辺
との間のコントラストと、ほとんど同様な良好な指標で
ある。したがって、色彩の豊富さのコントラストは、常
に明確である。一般に、自己顕著性および対応する相対
的顕著性を、ある種の発見的手法を用いてこれらを結合
するよりもむしろ別々の特徴として処理することが有利
である。各特徴の影響は、以下に述べるトレーニングプ
ログラム法によって別々に決定される。

【数２】

【数３】

【００４１】・明るさ（自己顕著性特徴）および明るさ
のコントラスト（相対的顕著性特徴）明るさの観点から、輝く対象と暗い周辺とのコントラス
トは、暗い対象と輝く周辺とのコントラストとほとんど
同様に良好である。特に、主被写体は、フラッシュを用
いた情景において明るくなる傾向がある。

【数４】

【数５】

【００４２】・質感の豊かさ（自己顕著性特徴）および
質感の豊かさのコントラスト（相対的顕著性特徴）質感の豊かさの観点から、一般に、非常に僅かな質感し
か有しない大きな一様な領域は、背景となる傾向があ
る。他方、高度な質感を有する対象と質感のないまたは
ほとんど質感のない周辺とのコントラストは、主被写体
の良好な指標である。質感のないまたはほとんど質感の
ない対象および高度に質感のある対象に対して、同じこ
とが当てはまる。

【数６】

【数７】

【００４３】・位置（自己顕著性特徴）位置の観点から、主被写体は、必ずしも正確に画像の中
央にではなくても、画像の周辺ではなく中央の近くに位
置する傾向がある。実際、専門の写真家は、主被写体を
水平上の黄金分割の位置に配置する傾向がある。

【００４４】領域のサイズおよび形状についての表示な
しに、領域の重心のみでは、領域の位置を示すために、
通常、不十分である。中心の位置の測定は、所定の領域
の全面積について、確率密度関数（ＰＤＦ）の積分を計
算することによって定められる。確率密度関数は、トレ
ーニングセット全体について地上較正マップを合計する
ことによって、主被写体領域が手作業で輪郭を描かれる
１組のトレーニング画像から導かれる。言い換えれば、
確率密度関数は、位置に関して主被写体の分布を表す。
この中心の位置の測定のさらに重要な利点は、所定の領
域のあらゆる画素が、重心のみでなく、その位置に応じ
て種々の程度に領域の中心の位置の測定に寄与すること
である。

【００４５】

【数８】ここで、（ｘ、ｙ）は領域Ｒの画素を示し、Ｎ_Rは領域
Ｒ内の画素の数であり、また、ＰＤＦ_MSD#locationは主
被写体位置の２Ｄ確率密度関数（ＰＤＦ）を示す。配置
方向が未知の場合、確率密度関数は、垂直および水平方
向の両者において画像の中心に関して対称であり、その
結果、配置方向に無関係な中心の位置測定となる。配置
方向を意識しない確率密度関数を図４に、また幅および
高さ方向の投影をそれぞれ図５および図６に示す。配置
方向が知られている場合、確率密度関数は画像の中心に
関して水平方向においては対称であるが、垂直方向では
対象でなく、その結果、配置方向を意識する中心の位置
測定となる。配置方向を意識する確率密度関数を図７
に、また水平および垂直方向の投影を図８および図９に
示す。

【００４６】・サイズ（自己顕著性）主被写体は、かなりのサイズであるが、妥当なサイズで
あることが望ましい。しかし、ほとんどの場合、非常に
大きな領域または少なくとも１つの空間方向に広がる領
域（たとえば、水平方向）が、空、草地、壁、雪、また
は水などの背景領域である可能性が最も大きい。一般
に、非常に小さい領域および非常に大きい領域の両者は
無視することが望ましい。

【数９】ここで、ｓ１、ｓ２、ｓ３およびｓ４は、事前に定めら
れるしきい値である（ｓ１＜ｓ２＜ｓ３＜ｓ４）。

【００４７】実際に、領域のサイズは、全体の画像サイ
ズの小部分として測定され、拡大縮小に対する不変性が
実現される。

【数１０】本発明において、２つのしきい値ｓ２およびｓ３を用い
て、領域サイズは、「小」、「中間」、および「大」と
標識付けされる３つのビンに分類され、ここで、ｓ２＜
ｓ３である。

【００４８】・形状（自己顕著性特徴）および形状のコ
ントラスト（相対的顕著性特徴）一般に、特有の幾何学的形状および滑らかな輪郭を有す
る対象は、人工である傾向があり、したがって、主被写
体である可能性が高い。形状のコントラストが顕著さを
示す場合もある（たとえば、泡ボールの中の子供）。

【００４９】形状特徴は、２つの部類、すなわち自己顕
著性特徴と比較顕著性特徴とに分割される。自己顕著性
特徴は、領域自体の形状特性が特徴であり、比較顕著性
特徴は、近傍領域の形状特性と比較したその領域の形状
特性が特徴である。

【００５０】領域のアスペクト比は、領域の他より大き
い軸／他より小さい方の軸である。ガウスの確信度関数
によって、アスペクト比が確信度値に対してマップされ
る。この特徴検出機能を用いて、細長い形状は主被写体
の一部であることを無視する。

【００５１】３種の異なる測定値を用いて、領域の凸状
を特徴付ける。すなわち、（１）周長を基礎とする測
定、すなわち凸状本体を領域の周長によって除したも
の、（２）面積を基礎とする測定、すなわち領域の面積
を凸状本体の面積によって除したもの、および（３）過
度の凸状、すなわち周長を基礎とする凸状と面積を基礎
とする凸状の比である。一般に、複雑な形状の対象は、
１．０より大きい過度の凸状を有する。この３つの凸状
特徴によって、領域のまとまり具合が測定される。Ｓ字
型確信度関数を用いて、凸状測定値が確信度に対してマ
ップされる。

【００５２】長方形度は、領域の最小境界形成長方形の
面積を領域の面積によって除したものである。Ｓ字型確
信度関数によって、長方形度が確信度値に対してマップ
される。円形度は、領域の周長の２乗を領域の面積によ
って除したものである。Ｓ字型の確信度関数によって、
円形度が確信度値に対してマップされる。

【００５３】比較形状顕著性特徴には、相対的長方形
度、相対的円形度および相対的凸状度が含まれる。特
に、これらの各相対的形状特徴は、その領域の対応する
自己顕著性形状特徴と近傍領域の自己顕著性形状特性と
の平均差として定められる。最後に、ガウス関数を用い
て、相対的測定値が確信度に対してマップされる。

【００５４】・対称性（自己顕著性特徴）天然または人工の目立つ対称性を有する対象も、非常に
関心を持たれる可能性が大きい。局所的対称性は、Ｖ．
Ｄ．Ｇｅｓｕらによって、“Ｌｏｃａｌｏｐｅｒａｔ
ｏｒｓｔｏｄｅｔｅｃｃｔｒｅｇｉｏｎｓｏｆ
ｉｎｔｅｒｅｓｔ”、ＰａｔｔｅｒｎＲｅｃｏｇｎ
ｉｔｉｏｎＬｅｔｔｅｒｓ、ｖｏｌ．１８、１０７７
〜１０８１ページ、１９９７年に記載されている方法を
用いて、計算することができる。

【００５５】・空間関係（相対的顕著性特徴）一般に、主被写体は前景に存在する傾向がある。その結
果、主被写体は、多数の背景領域（背景クラスタ）と境
界線を共有し、または空、草地、雪、壁および水など大
きな背景領域によって囲まれ、または他の領域を閉塞す
る傾向がある。これらの特性によって、空間関係の点か
ら、注意を引く領域が明らかになる。近接、包囲および
閉塞は、空間関係の点から、主要な特徴である。多くの
場合、閉塞は、Ｔ字型接合点から推論することができる
（Ｌ．Ｒ．Ｗｉｌｌｉａｍｓ、“Ｐｅｒｃｅｐｔｕａｌ
ｏｒｇａｎｉｚａｔｉｏｎｏｆｏｃｃｌｕｄｉｎ
ｇｃｏｎｔｏｕｒｓ”、Ｐｒｏｃ．ＩＥＥＥＩｎｔ．
Ｃｏｎｆ．ＣｏｍｐｕｔｅｒＶｉｓｉｏｎ、１９９０
年）。また切片は、知覚による閉塞の原理に基づいてグ
ループ化することができる（Ｊ．Ａｕｇｕｓｔら、“Ｆ
ｒａｇｍｅｎｔｇｒｏｕｐｉｎｇｖｉａｔｈｅｐ
ｒｉｎｃｉｐｌｅｏｆｐｅｒｃｅｐｔｕａｌｏｃ
ｃｌｕｓｉｏｎ”、Ｐｒｏｃ．ＩＥＥＥＩｎｔ．Ｃ
ｏｎｆ．ＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ、１
９９６年）。

【００５６】特に、単独の他の領域によってほとんど完
全に包囲されている領域は、主被写体である可能性がさ
らに大きい。包囲は、どれか１つの近傍領域と共有する
領域の周の最大切片として測定される。単独の他の領域
によって完全に包囲される領域は、可能性のある最高の
包囲値である１．０を有する。

【数１１】

【００５７】・境界性（自己顕著性特徴）多数の背景領域は、１つ以上の画像境界と接触する傾向
がある。言い換えれば、その輪郭の相当な量を画像境界
上に有する領域は、背景に属する傾向がある。画像境界
上の輪郭の割合および共有される画像境界の数（多くて
４）は背景の良好な指標とすることができる。

【００５８】配置方向が未知である場合は、１つの境界
性特徴によって、各領域を、その領域が「接触してい
る」画像境界の数および構成によって決定される６つの
部類の１つに入れられる。領域内の少なくとも１つの画
素が画像の境界から一定の間隔内に存在するとき、領域
はその境界と「接触している」。間隔は、画像の短い方
の寸法の分数として表される。ｂｏｒｄｅｒｎｅｓｓ＿
ａに関する６部類は、表１のように定められる。

【００５９】

【表１】

【００６０】画像の適切な配置方向を知ることによっ
て、境界性特徴をさらに精密にし、頂部境界に接触する
領域は、底部境界に接触する領域より背景である可能性
が高いと言う事実を説明することができる。この特徴に
よって、前述した「領域と接触している境界」の定義を
用いて、領域が「接触している」画像境界の数および構
成によって決定される１２部類の１つに、各領域が入れ
られる。画像が情景中で直立して立っている対象と方向
を合わせられたとき、画像の４つの境界は、それらの位
置に従って、「頂部」「底部」「左」および「右」と標
識付けされる。この場合、ｂｏｒｄｅｒｎｅｓｓ＿ｂに
関する１２の部類は表２ように定められ、この表は、領
域が接触する可能性がある境界の可能性のある各組合せ
を列挙し、その組合せに対する部類割り当てを与える。

【００６１】

【表２】

【００６２】画像境界の大きな切片を含む領域も、背景
である可能性が大きい。この特徴は、画像境界のどの切
片が所定の領域と接触しているかを示す。

【数１２】

【００６３】領域周の大きな切片が画像境界線上にある
ときも、領域は背景である可能性が大きい。このような
比は、０．５を越える可能性はないので、この比を係数
２によって拡大し、この比を１．０の値で飽和させるこ
とによって、［０，１］の範囲の値が得られる。

【数１３】

【００６４】繰り返すが、発見的手法に基づく複合境界
性測定の代わりに、前述したすべての境界性測定は、個
別に調整され、主被写体検出に使用されることに注意さ
れたい。

【００６５】意味上の顕著性特徴・身体／顔／人物（前景、自己顕著性特徴）大部分の写真画像は人物を有し、ほぼ同じ数の画像がそ
の中に相当の大きさの顔を有する。ある種の形状解析お
よびパターン解析に関連して、一部の検出された身体領
域が顔として識別される場合がある。その結果、人間の
外観モデルを用いて、身体検出および顔検出は、衣類検
出さらに最後には人物検出に達することができる。

【００６６】現在の身体検出アルゴリズムは、カラー画
像セグメント化およびクロミナンス空間において所定の
身体分布を用いる（Ｌｅｅ、“Ｃｏｌｏｒｉｍａｇｅ
ｑｕａｎｔｉｚａｔｉｏｎｂａｓｅｄｏｎｐｈ
ｉｓｙｉｃｓａｎｄｐｓｙｃｈｏｐｈｙｓｉｃ
ｓ”、ＪｏｕｒｎａｌｏｆＳｏｃｉｅｔｙｏｆ
ＰｈｏｔｏｇｒａｐｈｉｃＳｃｉｅｎｃｅａｎｄ
ＴｅｃｈｎｏｌｏｇｙｏｆＪａｐａｎ、Ｖｏｌ．５
９、Ｎｏ．１、２１２〜２２５ページ、１９９６年）。
身体領域分類は、セグメント化された領域の平均色によ
る最大可能性推定（ＭＬＥ）を基礎としている。条件付
き確率が、Ｓ字型確信度関数によって確信度値に対して
マップされる。

【００６７】本発明においては、基本的な顔検出アルゴ
リズムが用いられる。このアルゴリズムによって、身体
検出アルゴリズムによる身体マップ出力が他の顔発見的
手法と結合され、画像中の顔の位置に関する確信度が出
力される。身体領域として識別される、画像内の各領域
は、長円に適合する。長円の長軸および短軸は、長円の
外側にある領域の画素の数および領域の部分でない長円
内の画素の数としても計算される。アスペクト比は、短
軸に対する長軸の比として計算される。顔に対する確信
度は、適合する長円のアスペクト比の関数である。ガウ
ス確信度センサ関数を用いて、粗関数出力が確信度に拡
張される。

【００６８】普通の当業者は、本発明から逸脱すること
なく、異なる顔検出方法を用いることができることは理
解される。

【００６９】・重要な背景主題（自己顕著性特徴）写真画像に頻繁に出現する多数の対象、たとえば、空、
雲、草地、樹木、群葉、植生、水体（河川、湖、池）、
木質、金属、などが存在する。これらの大部分の対象
は、背景対象として高い可能性を有する。したがって、
このような対象は排除することはできるが、同時に、こ
れらの対象は主被写体ならびに情景形式に対する前駆体
としての機能も果たす。

【００７０】これらの背景主題の中で、空および草地
（他の緑生植物も含まれる場合がある）は、それらの
色、質感、空間の大きさ、および空間の位置によって、
比較的高い信頼性で検出される。

【００７１】・確率的推論すべての顕著性特徴は、ベイズネットによって統合さ
れ、主被写体の可能性が生成される。一方、異なる証拠
が、相互に競合または矛盾する場合がある。他方、異な
る証拠が、通常の写真情景の先行モデルまたは知識に従
って、相互に相互を強化する場合がある。競合および強
化の両者とも、ベイズネットに基づく推論エンジンによ
って解決される。

【００７２】ベイズネット（Ｊ．Ｐｅａｒｌ、Ｐｒｏｂ
ａｂｉｌｉｓｔｉｃＲｅａｓｏｎｉｎｇｉｎＩｎ
ｔｅｌｌｉｇｅｎｔＳｙｓｔｅｍｓ、カリフォルニア
州サンフランシスコのＭｏｒｇａｎＫａｕｆｍａｎ
ｎ、１９８８年）は、グラフ内の種々の実体間の因果関
係を表す有向非周期グラフである。リンクの方向は、因
果関係を表す。種々の実体間の共同の確率分布関数（Ｐ
ＤＦ）を知ることが、評価手段である。その長所には、
明確な不確定性特性、迅速かつ効率的な計算、迅速なト
レーニング、高い適応性および容易な構築、ならびに人
間による推理枠組みのコンテキスト知識の表現がある。
ベイズネットは、４つの構成要素からなる。

【００７３】１．先行部：ベイズネットの種々のノード
に関する最初の確信度２．条件付き確率マトリックス（ＣＰＭｓ）：ベイズネ
ットの２つの結合ノード間の統計的関係３．証拠：ベイズネットに入力される特徴検出機能に基
づく観察４．後行部：ベイズネットによって証拠が用意された後
の最後に計算される確信度。

【００７４】図１１は、種々の特徴検出機能間の条件依
存性を仮定する、本発明に使用される２レベルベイズネ
ットを示す図である。主被写体は、ルートノード２０に
おいて決定され、すべての特徴検出機能は、終端ノード
２２において検出される。画像の各領域（セグメント化
アルゴリズムによって定められる）に対して作用する１
つのベイズネットが存在する。ルートノードによって、
その領域が主被写体の一部であると言う後行部確信度が
与えられる。本発明の範囲から逸脱することなく、本発
明を２レベル以上を有するベイズネットと共に用いるこ
とができることを理解すべきである。

【００７５】ベイズネットのトレーニングベイズネットの１つの長所は、各リンクが、同レベルに
おいてリンク群から独立であると仮定されることであ
る。したがって、各リンクを個別にトレーニングするこ
とによって、すなわち所定のリンクに対する条件付き確
率マトリックスを他のリンクとは独立に誘導することに
よって、全体のネットをトレーニングすることは便利で
ある。一般に、２つの方法を用いて、各ルートノード対
に対する条件付き確率マトリックスが得られる。

【００７６】１．専門家知識を用いてこれは、特定の問題のみについての方法である。主被写
体があれば、専門家に相談して、主被写体を観察する各
特徴検出機能の条件付き確率を得る。

【００７７】２．偶発事態テーブルを用いてこれは、サンプリングして相関関係を求める方法であ
る。各特徴検出機能による多数の観察が、主被写体に関
する情報と共に記録される。次に、これらの観察は、一
緒にコンパイルされ、偶発事態テーブルが生成され、こ
のテーブルは、正規化されると、次に、条件付き確率マ
トリックスとして用いることができる。この方法は、ニ
ューラルネットワーク型のトレーニング（学習）に類似
である。本発明においては、この方法が好ましい。

【００７８】例として、中心の位置に関する条件付き確
率マトリックスを考察する。このマトリックスは、地上
較正および特徴検出機能から導かれる偶発事態テーブル
を用いて生成された。一般に、特徴検出機能は２進決定
（表３参照）を提供しないので、部分頻度計数を用いて
条件付き確率マトリックスを誘導した。条件付き確率マ
トリックスへの入口は、下式によって決定される。

【００７９】

【数１４】ここで、Ｉはすべてのトレーニング画像のセットであ
り、Ｒ₁は画像ｉ内のすべての領域のセットであり、ｎ_i
は画像ｉに関する観察（観察者）の数である。さらに、
Ｆ_rは領域ｒに対するＭ−ラベル特徴ベクトルを表し、
Ｔ_rはＬ−レベル地上較正ベクトルを表し、またＰは正
規化定数係数のＬ×Ｌ対角行列を示す。たとえば、表３
において、領域１、４、５および７は、それぞれ表４の
ボックス００、１１、１０および０１に寄与する。すべ
ての確信度値は適切な確信度センサによって正規化済み
であることに注意されたい。中心の位置に対する条件付
き確率マトリックスの第１列の直観的解釈として、「中
央」領域が主被写体である可能性は、主被写体でない可
能性の約２倍である。

【００８０】

【表３】

【表４】

【００８１】アルゴリズムの出力は、セグメント化され
た領域が、一般または特定の応用分野に対する可能性の
ある主被写体である確度の降順にランク付けされたのリ
ストの形式である。さらに、このリストは、領域の明る
さが領域の主被写体確信度に比例するマップに変換する
ことができる。この「確信度」マップは、決定された主
被写体の位置のみを示す２進マップより高度のものであ
る。大きな明るさの値を有する領域は主被写体の一部で
ある高い信頼性すなわち確信度を有する領域に対応する
ように、関連する可能性も各領域に付与される。これ
は、人間がこのような作業を実行する場合に固有の不確
定性を反映する。しかし、２進決定は、所望により、適
切なしきい値を確信度マップに適用することによって容
易に得ることができる。その上、確信度情報は、ダウン
ストリームアプリケーションに対して非常に有用であ
る。たとえば、画像コーディングのためのビット割当に
おいて、異なる加重係数を異なる領域に割り当てること
ができる。

【００８２】

【発明の効果】本発明は、以下の長所を有する。すなわ
ち、物理的特性によって誘導される適応性のあるベイズ
のクラスタ化（Ｂａｙeｓｉａｎｃｌｕｓｔｅｒｉｎ
ｇ）および無目的グループ化に基づいて、任意の形状お
よびサイズの対象領域を識別することができる強い画像
セグメント化方法と、物理的にまとまった被写体の異な
る部分に対応する領域をまとめることができる知覚によ
るグループ化の強調と、主被写体の確信度の決定におけ
る固有の不確定性を取り込み、システムの設計を誘導す
る、地上較正の非二次元表現の利用と、地上較正コレク
ションおよび偶発事態テーブル構築によって、異なる特
性の相対的重要度を決定するための厳格な系統的な統計
的トレーニング機構と、拡張性のある強い特徴抽出およ
び証拠コレクションと、構造上の顕著性と、重要な前景
と背景と主題の明確な識別によって容易になる意味上の
顕著性との結合と、構造上の顕著性特徴に関する、自己
顕著性と相対的顕著性の結合と、不完全な情報の統合に
適する、強いベイズネットに基づく確率的推論エンジン
とである。

【図面の簡単な説明】

【図１】本発明を具体化するコンピュータシステムの
斜視図である。

【図２】本発明のソフトウェアプログラムを示すフロ
ーチャート図である。

【図３】本発明に使用される確信度センサの、Ｓ字状
の形状を有する感度特性を示す図である。

【図４】２Ｄ関数の形式の確率密度関数を示す図であ
る。

【図５】幅方向に沿ってその突起を有する形式の確率
密度関数を示す図である。

【図６】高さ方向に沿ってその突起を有する確率密度
関数を示す図である。

【図７】２Ｄ関数の形式の確率密度関数を示す図であ
る。

【図８】幅方向に沿ってその突起を有する形式の確率
密度関数を示す図である。

【図９】高さ方向に沿ってその突起を有する確率密度
関数を示す図である。

【図１０】点線のボックスによって指定される拡張性
近傍を用いる、中央円形領域に関する相対的顕著性の計
算を示す図である。

【図１１】本発明に使用される２レベルベイズネット
を示す図である。

【図１２】好ましいセグメント化法を示すフローチャ
ート図である。

【符号の説明】

１０コンピュータシステム、２０マイクロプロセッ
サを基体とする装置、３０タッチスクリーン表示装
置、４０キーボード、５０マウス、５２セレク
タ、５５コンパクトディスク読み出し専用メモリ（Ｃ
Ｄ−ＲＯＭ）、５６プリンタ、５７コンパクトディス
ク、６１フロッピーディスク、６２パーソナルコン
ピュータカード。

フロントページの続き (72)発明者エイミットシンハルアメリカ合衆国ニューヨーク州ロチェスターウエストスクエアードライブ 81 アパートメント＃７

Claims

【特許請求の範囲】

【請求項１】画像の主被写体を検出する方法であっ
て、ａ）デジタル画像を受け取るステップと、ｂ）任意の形状であり、実際の対象によって定められる
サイズを有する領域を前記ディジタル画像から抽出する
ステップと、ｃ）各前記領域について、少なくとも１つの構造上の顕
著性特徴および少なくとも１つの意味上の顕著性特徴を
抽出するステップと、ｄ）確率的推論エンジンを用いて、前記構造上の顕著性
特徴および前記意味上の顕著性特徴を統合し、各領域が
前記主被写体である確信度の推定値を生成するステップ
と、を含むことを特徴とする画像の被写体の検出方法。
【請求項２】請求項１に記載の方法において、前記ス
テップ（ｂ）は、色空間によって定められる色間隔計量
と、空間同質性制約と、空間適応性を可能とする機構と
を用いることを特徴とする画像の被写体の検出方法。
【請求項３】画像の主被写体を検出する方法であっ
て、ａ）デジタル画像を受け取るステップと、ｂ）任意の形状であり、実際の対象によって定められる
サイズを有する領域を前記ディジタル画像から抽出する
ステップと、ｃ）前記領域をグループ化し、物理的にまとまった対象
に対応するより大きなセグメントとするステップと、ｄ）各前記領域について、少なくとも１つの構造上の顕
著性特徴および少なくとも１つの意味上の顕著性特徴を
抽出するステップと、ｅ）確率的推論エンジンを用いて、前記構造上の顕著性
特徴および前記意味上の顕著性特徴を統合し、各領域が
前記主被写体である確信度の推定値を生成するステップ
と、を含むことを特徴とする画像の被写体の検出方法。