JP5968098B2 - 画像処理装置、画像処理方法、プログラム、及び記憶媒体 - Google Patents

Description

本発明は画像処理装置、画像処理方法、プログラム、及び記憶媒体に関し、特に背景領域と被写体領域とを含む画像から被写体領域を抽出する技術に関する。

従来から、画像における被写体抽出技術、（以下、セグメンテーション技術とも呼ぶ）が研究されて、映像編集における画像合成や被写体のリフォーカス等の目的で応用されている。被写体を、以下、前景とも呼び、被写体抽出は、以下、前景背景分離とも呼ぶ。

被写体抽出技術として、背景差分法やクロマキー法が良く知られている。背景差分法は、被写体を含まない背景のみの画像を予め撮影しておき、被写体を含む画像と背景のみの画像とを比較して、その差分を計算することにより被写体を抽出する手法である。クロマキー法は映画業界で標準的に用いられている手法で、背景領域を一定の色にして、被写体の色に背景色が含まれないことを仮定して被写体を抽出する手法である。

しかしながら、背景差分法もクロマキー法も背景の制御が容易な環境のみで使われ、被写体に背景と近い色の部分がある場合などにおいて、被写体領域が背景領域として誤判定されやすいという問題がある。

近年、特定の背景を必要としない被写体抽出方法として、画像中の被写体領域を含む情報を大まかに予め手動で与え、任意の背景を有する画像から被写体を分離する方法が提案されている（非特許文献１）。非特許文献１に記載の方法（以下、グラブカット処理と呼ぶ）は、エネルギー関数の最小化に基づいてグローバルな最優解を解くものである。グラブカットは精度良く被写体の抽出が出来、また、手動指定も簡単なため、セグメンテーションの研究分野では注目が集められている。

ROTHER et al., Grabcut - Interactive foreground extraction using iterated graph cuts, ACM Trans. Graph., vol. 23, No. 3, 2004, pp. 309-314

しかしながら、非特許文献１に記載のグラブカット処理方法を用いる場合、背景の一部が被写体（前景）として誤抽出されることがある。以下、この課題について説明する。

グラブカット処理は、以下のように行われる。まずステップＳ１において、被写体が含まれる領域が指定される。通常、この領域指定はユーザによって行われ、被写体を包含する矩形領域が指定される。図１は入力画像の例を示し、図１にはまたユーザによって指定された矩形領域が示されている。

ここで、ユーザによって指定されなかった領域は背景として扱われる。以下、ユーザによって指定されなかった領域のことを確定背景領域と呼ぶ。確定背景領域内の画素は背景を表す画素（背景画素）であり、確定背景領域内の画素のことを確定背景画素と呼ぶ。一方で、ユーザによって指定された領域には、通常は前景と背景との双方が含まれている。以下、ユーザによって指定された領域のことを前景候補領域と呼び、前景候補領域内の画素を前景候補画素と呼ぶ。以下の処理によって、前景候補領域内の画素が前景を表す画素（前景画素）であるか、背景を表す画素（背景画素）であるかが判定される。

次にステップＳ２において、前景候補領域内の画素群と、確定背景領域内の画素群とのそれぞれについて、クラスタリング処理が行われる。クラスタリングは画素値に基づいて行われる。すなわち、類似の画素値を有する画素が同じクラスタに含まれるように、クラスタリングは行われる。このクラスタリングは、前景候補領域内の画素群と、確定背景領域内の画素群とのそれぞれについて、独立に行われる。すなわち、確定背景領域内の画素は、それぞれ異なる色特性を有するいくつかの背景クラスタへと分類される。また同様に、前景候補領域内の画素は、それぞれ異なる色特性を有するいくつかの前景クラスタへと分類される。

次にステップＳ３において、グラフについてのエネルギー関数のパラメータが設定される。具体的には、それぞれの画素ｍについて、隣接画素ｎとの類似度を表す指標Ｎ（ｍ，ｎ）と、前景らしさを表す指標Ｄ_Ｆｏｒｅ（ｍ）と、背景らしさを表す指標Ｄ_ｂａｃｋ（ｍ）が算出される。

指標Ｎ（ｍ，ｎ）は、画素ｍと画素ｎとの色の類似度を表すパラメータであって、色が類似しているほど大きい値をとる。指標Ｎ（ｍ，ｎ）は、例えば以下の式（１）に従って算出されうる。
ここで、γは予め設定されている値であり、ｄｉｓｔ（ｍ，ｎ）は画素ｍと隣接画素ｎとの間の物理距離（画像上の画素間の距離）であり、
は画素ｍと隣接画素ｎとの間の色距離（色の違いの大きさ）である。指標Ｎ（ｍ，ｎ）は、互いに隣接する画素ｍ，ｎの全ての組み合わせについて算出される。もっとも、指標Ｎ（ｍ，ｎ）は２つの画素ｍ，ｎの全ての組み合わせについて、又は互いに近接する画素ｍ，ｎの全ての組み合わせについて算出されてもよい。この指標Ｎ（ｍ，ｎ）を考慮することにより、互いに色が類似している画素の間よりも、互いに色が類似していない画素の間に、前景と背景との間の境界が設定されやすくなる。

指標Ｄ_Ｂａｃｋ（ｍ）は、画素ｍの背景らしさを示すパラメータである。同様に指標Ｄ_Ｆｏｒｅ（ｍ）は、画素ｍの前景らしさを示すパラメータである。指標Ｄ_Ｂａｃｋ（ｍ）及び指標Ｄ_Ｆｏｒｅ（ｍ）は、ステップＳ２におけるクラスタリング処理の結果に依存して、それぞれの画素について算出される。

ステップＳ１においてそれぞれの画素は確定背景画素又は前景候補画素に分類されている。確定背景画素については、指標Ｄ_Ｂａｃｋ（ｍ）はＬ（ｍ）であり、指標Ｄ_Ｆｏｒｅ（ｍ）は０である。ここでＬ（ｍ）は予め定められた任意の値であり、前景らしさ又は背景らしさを示す指標Ｄの最大値を示す。ステップＳ１での処理に加えて、確定背景画素と同様に、確定前景画素としていくつかの画素がユーザによって特定されてもよい。この場合確定前景画素については、指標Ｄ_Ｂａｃｋ（ｍ）は０であり、指標Ｄ_Ｆｏｒｅ（ｍ）はＬ（ｍ）である。

前景候補画素ｍについては、指標Ｄ_Ｂａｃｋ（ｍ）は以下の式（２ａ）に従って算出される。
式（２ａ）において、ｚ_ｍは画素ｍの色ベクトルである。μ_ｉは確定背景領域についてのクラスタｉに属する画素の平均色ベクトルである。Σ_ｉはクラスタｉの固有ベクトルである。π_ｉは画素についての加重係数である。Ｋは確定背景領域についてのクラスタ番号の最大値であり、通常はクラスタの数を示す。

一方で、前景候補画素ｍについての指標Ｄ_Ｆｏｒｅ（ｍ）は以下の式（２ｂ）に従って算出される。
式（２ｂ）において、ｚ_ｍは画素ｍの色ベクトルである。μ_ｉは前景候補領域についてのクラスタｉに属する画素の平均色ベクトルである。Σ_ｉはクラスタｉの固有ベクトルである。π_ｉは画素についての加重係数である。Ｋは前景候補領域についてのクラスタ番号の最大値であり、通常はクラスタの数を示す。

このように、画素ｍの画素値が確定背景領域についてのクラスタの色に近いほど、画素ｍの背景らしさは大きくなる。一方で画素ｍの画素値が前景候補領域についてのクラスタの色に近いほど、画素ｍの前景らしさは大きくなる。

次にステップＳ４において、非特許文献１に記載されているように、ステップＳ３で算出された各画素についてのパラメータを用いて、エネルギー関数の最小化問題を解くことにより、前景候補画素が前景画素と背景画素とに分類される。

以上のステップＳ２〜Ｓ４の処理を繰り返すことにより、各画素が前景であるか背景であるかを示す２値のデータが得られる。すなわち２回目以降のステップＳ２においては、直前のステップＳ４で前景画素に分類された画素が新たな前景候補画素となり、この前景候補画素についてクラスタリングが行われる。また、直前のステップＳ４で背景画素に分類された画素と、既に確定背景画素として特定されている画素との双方が確定背景画素となり、この確定背景画素についてクラスタリングが行われる。そして、ステップＳ３においてはこのクラスタリング結果に従ってパラメータが算出され、ステップＳ４においてこのパラメータに従って前景候補画素が前景画素と背景画素とにさらに分類される。

以下に、図１に示される入力画像をグラブカット処理する場合を例として用いながら、上述したグラブカット処理についてより詳しく説明する。図２は、グラブカット処理における中間結果を示す。図１の入力画像は、黒色領域、ダークグレー領域、ライトグレー領域、及び白色領域を含む。上述のように入力画像中にはユーザによって前景候補領域が指定されており、この前景候補領域は黒色領域、ダークグレー領域、ライトグレー領域、及び白色領域を含む。一方で確定背景領域は、ライトグレー領域、及び白色領域を含む。

図２（Ａ）は、１回目のステップＳ２におけるクラスタリング処理の結果を示す。図２（Ａ）には、前景候補領域についてのクラスタと、確定背景領域についてのクラスタとのそれぞれについての色分布を示す。図２（Ａ）で表される色分布は、それぞれのクラスタに含まれる画素について、３次元のＲＧＢ色情報を２次元へと投影することにより得られている。

１回目のステップＳ２において処理される前景候補領域（図１のように指定された前景候補領域）はライトグレー色の領域を含んでいる。したがって図２（Ａ）に示すように、前景候補領域についてのクラスタにはライトグレー色のクラスタがあり、このクラスタは確定背景領域についてのライトグレー色のクラスタと重なる。このクラスタリング結果を使ったエネルギー関数の最小化問題を解くことにより、図２（Ｂ）に示す分離結果が得られる。

図２（Ｂ）には、１回目の処理後の前景領域と背景領域とが示されている。２回目のステップＳ２においては、図２（Ｂ）に示される前景領域を新たな前景候補領域として扱ってクラスタリング処理を行い、背景領域を新たな確定背景領域として扱ってクラスタリング処理を行う。

このように、クラスタリング処理とエネルギー関数の最小化問題の解決とが繰り返し実行される。図２（Ｃ）は、ｎ回目の繰り返し処理における、前景候補領域と確定背景領域についてのクラスタリング結果を示す。また図２（Ｄ）は、ｎ回の繰り返し処理後における前景と背景の分離結果を示す。前景候補領域及び確定背景領域が毎回更新されるため、それぞれの領域についての各クラスタの色情報も更新される。このような処理を繰り返すことにより、一部が重なっている前景候補領域についてのクラスタと確定背景領域についてのクラスタとがだんだん離れていき、その結果、前景背景の分離結果が向上する。このように、クラスタリング処理とエネルギー関数の最小化処理とは相乗効果を示す。

しかしながら本願発明者は、グラブカット処理によっても被写体が抽出できない場合があることを発見した。図３は、このような場合の一例を示す。図４は、図３の画像についてのグラブカット処理の過程を示す図である。図４（Ａ）は、図２と同様に、図３に示されるように指定された前景候補領域と確定背景領域とのそれぞれについてクラスタリング処理を行うことにより得られるクラスタの分布を示す。図４（Ｂ）は、図４（Ａ）のクラスタリング結果に従ってエネルギー関数の最小化問題を解くことにより得られた前景と背景との分離結果を示す。図４（Ｃ）は、ｎ回目の繰り返し処理における前景候補領域と確定背景領域とについてのクラスタリング結果を示す。図４（Ｄ）は、ｎ回の繰り返し処理による前景と背景との分離結果を示す。

図４（Ａ）と図４（Ｃ）とを比較すると分かるように、前景候補領域と確定背景領域とが更新されることにより、前景候補領域についてのクラスタと確定背景領域についてのクラスタとは、少し分離される。しかしながら完全には分離されないため、図４（Ｄ）に示されるように、背景の一部が被写体として誤抽出されることとなる。

本発明は、グラブカット処理において、より正確に被写体領域を抽出することを目的とする。

本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。すなわち、
入力画像を取得する第１の取得手段と、
前記入力画像について、前景部分を包含する前景候補領域を指定する情報を取得する第２の取得手段と、
前記前景候補領域内の各画素を該画素の色情報に従って複数の第１のクラスタ群の何れかへと分類し、さらに前記前景候補領域外の各画素を該画素の色情報に従って複数の第２のクラスタ群の何れかへと分類する分類手段と、
前記入力画像の各画素について前景らしさ又は背景らしさを示すパラメータを設定する設定手段と、
前記第１のクラスタ群から、第１のクラスタについての色情報が示す色が、前記第２のクラスタ群のうちの何れかについての色情報が示す色と類似している該第１のクラスタを選択する選択手段と、
前記選択された第１のクラスタに属する各画素について、前記パラメータを調整する調整手段と、
前記調整手段による前記パラメータの調整後に、各画素についての前記パラメータを用いて前記前景部分に対応する領域を推定する推定手段と、
前記前景部分に対応する領域を特定する情報を出力する出力手段と、
を備えることを特徴とする。

グラブカット処理において、より正確に被写体領域を抽出することができる。

入力画像の例及び前景候補領域の指定例を示す図。 図１の入力画像に対するグラブカット処理結果を示す図。 入力画像の一例を示す図。 図３の入力画像に対する従来のグラブカット処理結果を示す図。 実施例１に係る画像処理装置の機能構成を示すブロック図。 実施例１に係る画像処理装置の主要部の構成を示すブロック図。 実施例１に係る画像処理方法を示すフローチャート。 実施例１に係るステップＳ１２の詳細なフローチャート。 実施例１に係るステップＳ１５の詳細なフローチャート。 図３の入力画像に対する実施例１でのグラブカット処理結果を示す図。 実施例４に係る画像処理方法を示すフローチャート。 実施例３に係る画像処理装置の機能構成を示すブロック図。 実施例３に係る画像処理方法を示すフローチャート。 実施例１に係るステップＳ３１４の詳細なフローチャート。

以下、図面を参照して、本発明の実施例について詳細に説明する。ただし、以下の実施例に記載されている構成要素はあくまで例示であり、本発明の技術の範囲は、特許請求の範囲によって確定されるものであって、以下の個別の実施例によって限定されるわけではない。

本願発明者は、被写体が背景と同じ色の領域を含んでいる場合に、背景の一部が被写体として誤抽出されやすいことを発見した。例えば、図３の画像に含まれる被写体はライトグレーの部分を含む一方で、背景もライトグレーの部分を含んでいる。前景候補領域内に確定背景領域と近い色の部分があるので、クラスタリング処理及びエネルギー関数の最小化処理を行っても、色の近いクラスタを分離することは困難である。そのため、前景と近い色を持つ背景の一部は被写体として誤抽出されることになるものと考えられる。

グラブカット処理の基本は、前景候補領域と確定背景領域とについてのクラスタリングと、エネルギー関数の最小化問題の解決とは、それぞれ独立に行われる。このため、前景候補領域と確定背景領域とについて独立にクラスタリング処理を行うだけでは、前景候補領域に含まれる背景部分と、前景候補領域に含まれる背景と色が似た被写体部分とは区別されない。その結果、分離後に被写体の一部と背景の一部とが混ざってしまうものと考えられる。

＜画像処理装置の構成＞
図５は、本発明の実施例１に係る画像処理装置１００の機能構成を示すブロック図である。画像処理装置１００は、領域指定部１０、色処理部２０、被写体分離部３０、処理制御部４０、画像取得部５０、及び出力部６０を備える。

領域指定部１０は、入力画像中の前景候補領域及び確定背景領域を指定する。上述のように、前景候補領域内の画素は前景画素又は背景画素に分類される。また、確定背景領域内の画素は背景画素に分類される。領域指定部１０は、この指定を含む情報を外部から受け取ることができる（第２の取得）。例えば領域指定部１０は、この指定をユーザ入力に従って行うことができる。すなわち領域指定部１０は入力画像中の所定領域を特定するユーザ入力を受け取り、特定された領域を前景候補領域として分類し、特定されなかった領域を確定背景領域として分類することができる。より具体的な例としては、ユーザは、入力画像中の矩形領域を前景候補領域として特定することができる。通常ユーザは、被写体（前景部分）が包含される領域を、前景候補領域として特定する。また領域指定部１０は、画像処理装置１００が有する他の処理部から受け取った指示に従ってこの指定を行うこともできる。

色処理部２０は、前景候補領域及び確定背景領域のそれぞれについてクラスタリング処理を行う。ここで、前景候補領域及び確定背景領域は、領域指定部１０によって指定された前景候補領域及び確定背景領域、又は被写体分離部３０の処理によって決定された前景候補領域及び確定背景領域を指す。詳しくは図７のフローチャートを参照して後に説明する。

色処理部２０は、クラスタリング処理部２１、及びクラスタ関係判定部２２を備える。クラスタリング処理部２１は、前景候補領域と確定背景領域とのそれぞれを、色特徴に基づいてクラスタリング（分類）する。すなわち、前景候補領域内の各画素は複数のクラスタ群（第１のクラスタ群）のいずれかへと分類され、確定背景領域内（前景候補領域外）の各画素は複数のクラスタ群（第２のクラスタ群）のいずれかへと分類される。クラスタ関係判定部２２は、クラスタリング処理部２１によって分類された各クラスタ間の色関係を分析する。より具体的にはクラスタ関係判定部２２は、前景候補領域についてのクラスタの中に、色特徴に関して、確定背景領域についてのクラスタと類似しているクラスタがあるか否かを判定する。

被写体分離部３０は、色処理部２０による処理結果を参照して、前景候補領域を前景領域と背景領域とに分離する。より詳細には、被写体分離部は、パラメータ設定部３１と、パラメータ調整部３２と、最小化部３３とを備える。

パラメータ設定部３１は、入力画像の各画素について、上述の式（１）を用いて類似度を表す指標Ｎを算出する。またパラメータ設定部３１は、入力画像の各画素について、上述の式（２ａ）（２ｂ）及び表１を用いて、前景らしさを表す指標Ｄ_Ｆｏｒｅと、背景らしさを表す指標Ｄ_Ｂａｃｋとを算出する。本実施例においては、前景らしさ又は背景らしさを示すパラメータとして、これら２つの指標が用いられる。パラメータ設定部３１の処理は、クラスタリング処理部２１によるクラスタリング結果に従って行われる。

パラメータ調整部３２は、クラスタ関係判定部２２が判定したクラスタ間の色の類似性に基づき、背景らしさを表す指標Ｄ_Ｂａｃｋを調整する。より具体的には、パラメータ調整部３２は、前景候補領域についての１つのクラスタが、確定背景領域についての任意のクラスタと色特徴に関して類似している場合、このクラスタに属する画素の指標をより背景らしいことを示すように調整する。

最小化部３３は、パラメータ設定部３１によって設定された、パラメータ調整部３２による調整後の指標によって決定されるエネルギー関数の値がより小さくなるように、前景候補領域を前景領域と背景領域とに分離する。

処理制御部４０は、色処理部２０及び被写体分離部３０による処理を繰り返すか否かを判定する。画像取得部５０は、入力画像データを取得する（第１の取得）。出力部６０は、被写体部分（前景部分）に対応する領域を特定する情報を出力する。例えば出力部６０は、直近の最小化部３３による分離結果に従って、各画素が前景領域にあるか背景領域にあるかを示す情報、すなわち被写体の抽出結果を出力することができる。

＜システム構成＞
図６は、本実施例に係る画像処理装置１００の主要部の構成を示す。本実施例に係る画像処理装置は、撮像装置である。１０１は中央処理装置ＣＰＵであり、以下の各部を制御する。１０２は撮影部であり、画像データを取得する。１０３はバスであり、各種データの転送経路である。例えば、撮像部１０２によって取得された画像データは、このバス１０３を介して所定の処理部に送られる。１０４は撮影画像や文字の表示を行う表示部である。表示部は例えば、液晶ディスプレイでありうる。表示部１０４はタッチスクリーン機能を有していてもよい。１０５は表示制御部であり、表示部１０４での表示を制御する。１０６はユーザの指示を受け取る操作部である。操作部１０６は、ボタン又は撮影モードダイヤルでありうる。操作部１０６を介して入力された設定に従って、ＣＰＵ１０１は、所定の処理を制御することができる。上述の領域指定部１０は、表示制御部１０５と操作部１０６を介してユーザが領域指定を取得しうる。

１０７は撮影制御部であり、ＣＰＵ２０１からの指示に基づいて撮影部１０２の撮像系を制御する。撮像系の制御には、フォーカスを合わせること、シャッターを開く・閉じること、絞りを調節することなどが含まれる。１０８はデジタル信号処理部であり、バス１０３を介して受け取った画像データに対し、ホワイトバランス処理、ガンマ処理、ノイズ低減処理などの各種画像処理を行う。１０９は画像処理部であり、撮像部１０２又はデジタル信号処理部１０８から出力された画像データに対して、ユーザの指定に応じて画像処理を行う。１１０は圧縮／伸長部であり、画像データの圧縮を行う。例えば圧縮／伸長部１１０は、ＪＰＥＧやＭＰＥＧなどのファイルフォーマットへの画像データの変換、画像データのベクトル化、又は符号化制御などを行うことができる。

１１１は内部メモリであり、ＣＰＵ１０１の主メモリ又はワークエリア等として機能しうる。また内部メモリ１１１は、ＣＰＵ１０１で実行される制御プログラム等を格納することができる。１１２は外部メモリ制御部であり、画像処理装置１００をＰＣ又はメディアに接続するためのインタフェースとして働く。メディアとしては例えば、ハードディスク、メモリカード、ＣＦカード、ＳＤカード、及びＵＳＢメモリなどが挙げられる。

画像処理装置１００の画像取得部５０は、撮影部１０２で撮影された画像データ、又は内部メモリ１１１若しくは外部メモリ１１２に蓄積された画像データを、入力画像データとして取得する。そして画像処理装置１００は、ＣＰＵ１０１による制御の下、入力画像から被写体を抽出する。さらに画像処理装置１００の出力部６０は、被写体の抽出結果を、圧縮／伸長部１１０、内部メモリ１１１、外部メモリ１１２、又はさらなる画像処理を行う非図示の処理部に出力する。この場合圧縮／伸長部１１０は、被写体の抽出結果を符号化して格納又は出力することができる。

撮像装置である本実施例の画像処理装置１００においては、図５に示される各部の機能は、ＣＰＵ１０１が、内部メモリ１１１又は外部メモリ１１２に記録されたコンピュータプログラムに従って動作することにより、実現されうる。もっとも、画像処理装置１００は撮像装置に限られるわけではなく、コンピュータプログラムに従って動作するＣＰＵと、コンピュータプログラムを記録するメモリとを有するコンピュータによっても実現されうる。また、本実施例において図５に示される各部の機能はＣＰＵ１０１の動作によって実現されるが、画像処理装置１００は、図５に示される各部の機能を実現する専用のハードウェアを有していてもよい。

＜画像処理方法の流れ＞
図７は、本実施例に係る処理を示すフローチャートである。ステップＳ５において画像取得部５０は、入力画像を取得する。ステップＳ１０において領域指定部は、入力画像中に前景候補領域を設定する。上述のように画像取得部５０は、操作部１０６から取得したユーザ指示に従って、この領域設定を行うことができる。入力画像のうち前景候補領域ではない部分は、確定背景領域として扱われる。

ステップＳ１１においてクラスタリング処理部２１は、前景候補領域と確定背景領域とのそれぞれについて、画素を複数のクラスタに分類する。上述のステップＳ２のように、類似の画素値を有する画素が同じクラスタに含まれるように、クラスタリングは行われる。また、クラスタリングは前景候補領域と確定背景領域とについて独立に行われる。このクラスタリング処理においては、公知の混合ガウス分布の推定手法を利用することが可能である。クラスタリング処理部２１は、前景候補領域と確定背景領域とのそれぞれの画素について、画素が属するクラスタの番号を記録する。

ステップＳ１２においてクラスタ関係判定部２２は、前景候補領域についての各クラスタと確定背景領域についての各クラスタとの間の色類似度を計算する。本実施例においてクラスタ関係判定部２２は、色類似度として色距離を用いる。色距離は、クラスタ間の色のユークリッド距離でもいいし、その他の距離でもよい。クラスタの色値としては、クラスタに属する画素の色値の代表値、例えば平均値を用いることができる。ステップＳ１２における処理の詳細は、図８を参照して後に詳しく述べる。

ステップＳ１３でパラメータ設定部３１は、前景候補領域についてのクラスタの中に、確定背景領域についてのクラスタと色が類似しているクラスタが存在するか否かを判定する。例えばパラメータ設定部３１は、ステップＳ１２９においてマークが付けられたクラスタが存在する場合に、色が類似しているクラスタが存在すると判定すればよい。色が類似しているクラスタが存在しない場合、処理はステップＳ１４に進む。色が類似しているクラスタが存在する場合、処理はステップＳ１５に進む。

ステップＳ１４においてパラメータ設定部３１は、各画素についてエネルギー関数のパラメータを算出する。本実施例においてパラメータ設定部３１は、上述のように類似度を表す指標Ｎ、前景らしさを表す指標Ｄ_Ｆｏｒｅ、及び背景らしさを表す指標Ｄ_Ｂａｃｋを算出する。

ステップＳ１５においてパラメータ設定部３１及びパラメータ調整部３２は、各画素についてエネルギー関数のパラメータを算出する。本実施例においてパラメータ設定部３１及びパラメータ調整部３２は、類似度を表す指標Ｎ、前景らしさを表す指標Ｄ_Ｆｏｒｅ、及び背景らしさを表す指標Ｄ_Ｂａｃｋを算出する。確定背景領域についてのクラスタと色が類似している前景候補領域についてのクラスタは、背景領域の一部である可能性が比較的高い。そこで本実施例においてパラメータ調整部３２は、確定背景領域についてのクラスタと色が類似している前景候補領域についてのクラスタに属する画素の背景らしさを高くする。ステップＳ１５における処理については図９を参照して後に詳しく述べる。

ステップＳ１６において最小化部３３は、ステップＳ１４又はステップＳ１５において設定されたパラメータに従って求められるエネルギー関数の値が最小となるように、前景候補領域の各画素を前景領域の画素と背景領域の画素とに分類する。最小化部３３がエネルギー関数の最小化問題を解くことにより、この処理は行われうる。このエネルギー関数の最小化処理は、公知のグラフ理論でのネットワーク流問題の解法を利用することが可能である。

ステップＳ１７で処理制御部４０は、エネルギー関数の流量が小さくなるか否か、及び繰り返し回数が所定回数に到達したか否か、を判定する。そして処理制御部４０は、判定結果に従って、繰り返し処理を終了するか否かを判定する。例えば、処理が所定回数繰り返された場合に、処理制御部４０は繰り返し処理を終了することができる。また、最小化部３３が算出したエネルギー関数の値が収束している場合に、処理制御部４０は繰り返し処理を終了することができる。例えば直近に最小化部３３が算出したエネルギー関数の値と、その前の繰り返しにおいて最小化部３３が算出したエネルギー関数の値との差が所定値以下である場合に、処理制御部４０はエネルギー関数の値が収束していると判断することができる。処理制御部４０は、これらの条件のうち一方が満たされた場合に繰り返し処理を終了してもよいし、双方が満たされた場合に繰り返し処理を終了してもよい。繰り返し処理を終了する場合、処理はステップＳ１９に進む。繰り返し処理を終了しない場合、処理はステップＳ１８に進む。

ステップＳ１８で処理制御部４０は、ステップＳ１６で決定された前景領域を新たな前景候補領域として指定する。また処理制御部４０は、ステップＳ１６で決定された背景領域を確定背景領域に追加する。その後処理はステップＳ１１に戻る。ステップＳ１９で出力部６０は、上述のように被写体の抽出結果を出力する。

＜ステップＳ１２の処理の詳細＞
ここで、ステップＳ１２の詳細について図８を参照して説明する。ステップＳ１２１においてクラスタ関係判定部２２は、変数ｉに１をセットする。変数ｉは、処理対象とする、前景候補領域についてのクラスタ番号を示す。ステップＳ１２２においてクラスタ関係判定部２２は、変数ｊに１をセットする。変数ｊは、処理対象とする、確定背景領域についてのクラスタ番号を示す。

ステップＳ１２３においてクラスタ関係判定部２２は、前景候補領域についてのｉ番目のクラスタと、確定背景領域についてのｊ番目のクラスタとについて、色距離を算出する。そして、算出された色距離と、変数Ｍを比較する。この変数Ｍは、ステップＳ１２３において算出された色距離のうちの最小値を示す変数である。変数Ｍはメモリ１１１に格納されており、ステップＳ１２を開始する際に初期化される。ステップＳ１２３で算出された色距離が変数Ｍよりも小さい場合、処理はステップＳ１２４に進む。この場合、ステップＳ１２３で算出された色距離は今まで算出された色距離の中で最も小さい。一方でステップＳ１２３で算出された色距離が変数Ｍ以上である場合、処理はステップＳ１２５に進む。

ステップＳ１２４においてクラスタ関係判定部２２は、ステップＳ１２３で算出された色距離を新たな変数Ｍとして記録する。またクラスタ関係判定部２２は、現在の変数ｉ及び変数ｊを、変数Ｍに対応する変数ｉ及び変数ｊとしてメモリ１１１に記録する。

ステップＳ１２５においてクラスタ関係判定部２２は、変数ｊが確定背景領域についてのクラスタの数に一致するか否かを判定する。一致しない場合、処理はステップＳ１２６に進む。一致する場合、処理はステップＳ１２７に進む。ステップＳ１２６においてクラスタ関係判定部２２は変数ｊに１を加え、その後処理はステップＳ１２３に戻る。

ステップＳ１２７においてクラスタ関係判定部２２は、変数ｉが前景候補領域についてのクラスタの数に一致するか否かを判定する。一致しない場合、処理はステップＳ１２８に進む。一致する場合、処理はステップＳ１２９に進む。ステップＳ１２６においてクラスタ関係判定部２２は変数ｉに１を加え、その後処理はステップＳ１２３に戻る。

ステップＳ１２９においてクラスタ関係判定部２２は、ステップＳ１２３においてメモリ１１１に記録された、変数Ｍに対応する変数ｉを取得する。そしてクラスタ関係判定部２２は、前景候補領域についてのｉ番目のクラスタにマークを付加する。具体的にはクラスタ関係判定部２２は、ｉ番目のクラスタにマークが付加されたという情報をメモリ１１１に記録すればよい。このｉ番目のクラスタは、確定背景領域についてのクラスタのうち任意の１つとの色距離が最も小さい、前景候補領域についてのクラスタである。このようにして、クラスタ関係判定部２２は、前景候補領域についてのクラスタ群の中から、確定背景領域についてのクラスタの色と類似した色を持つクラスタを選択し、選択したクラスタにマークを付加する。

＜ステップＳ１５の処理の詳細＞
次にステップＳ１５の処理について、図９のフローチャートを参照して説明する。ステップＳ１５１でパラメータ設定部３１は、ステップＳ１４と同様に各画素についてエネルギー関数のパラメータを算出する。ステップＳ１５２においてパラメータ調整部３２は、前景候補領域の各画素の背景らしさの平均値Ｔを算出する。

次に、ステップＳ１５３〜Ｓ１５５でパラメータ調整部３２は、前景候補領域の各画素の背景らしさを調整する。ステップＳ１５３〜Ｓ１５５の具体的な処理についてこれから説明する。ステップＳ１５３でパラメータ調整部３２は、前景候補領域の画素を１つ選択する。例えばパラメータ調整部３２は、ラスタ順に画素を順次選択すればよい。そしてパラメータ調整部３２は、選択された画素が属するクラスタが、ステップＳ１２９においてマークを付加されているか否かを判定する。マークが付加されている場合、処理はステップＳ１５４に進む。マークが付加されていない場合、処理はステップＳ１５５に進む。

ステップＳ１５４においてパラメータ調整部３２は、ステップＳ１５３で選択された画素の背景らしさを調整する。具体的にはパラメータ調整部３２は、ステップＳ１５３で選択された画素についての背景らしさを示す指標Ｄ_Ｂａｃｋに、ステップＳ１５２で算出されたＴを加える。

ステップＳ１５５でパラメータ調整部３２は、ステップＳ１５３において前景候補領域の全ての画素が選択されたか否かを判定する。前景候補領域の全ての画素が選択されていない場合、処理はステップＳ１５３に戻る。前景候補領域の全ての画素が選択されている場合、処理はステップＳ１５の処理は終了する。

＜処理結果例＞
図１０は、図３に示される入力画像を実施例１に従って処理した結果を示す。従来のグラブカット処理では、前景候補領域と確定背景領域とのそれぞれについて独立にクラスタリング処理が行われる。そして、クラスタリング処理の結果に従ってエネルギー関数のパラメータが設定され、エネルギー関数の最小化問題が解かれる。一方で本発明においては、前景候補領域と確定背景領域とのそれぞれについてクラスタリング処理を行った後、クラスタ間の色の関係が検出される。そして、クラスタリング結果とクラスタ間の関係に従って、エネルギー関数のパラメータが設定及び調整され、調整後のパラメータを使ってエネルギー関数の最小化問題が解かれる。その結果、被写体の一部が背景と近い色を持つ場合であっても、被写体の抽出をより正確に行うことができる。

例えば、それぞれの画素についての前景らしさ及び背景らしさについてのパラメータは、その画素の色が前景候補領域についてのクラスタの色に近いか、及びその画素の色が確定背景領域についてのクラスタの色に近いか、によって決定される。したがって、前景候補領域に含まれる背景部分の画素についての前景らしさ及び背景らしさと、前景候補領域に含まれる背景と色が似た被写体部分についての前景らしさ及び背景らしさは、類似の値を持つことになる。一方で本実施例の処理によれば、確定背景領域についてのクラスタと色が類似している前景候補領域についてのクラスタに属する画素に対して、背景らしさを高くする処理が行われる。この結果として、前景候補領域に含まれる背景部分の画素が、被写体部分として誤検出される可能性を減らすことができる。

実施例１においては、ステップＳ１５４について説明したように、背景らしさを調整するために、調整される画素についての指標Ｄ_Ｂａｃｋに平均値Ｔが加えられた。しかしながら、背景らしさの調整方法はこの方法に限定されず、他の方法を用いて画素についての背景らしさを高くすることができる。例えば、指標Ｄ_Ｂａｃｋに予め定められた所定値が加えられてもよい。

さらには、画素の背景らしさを調整する代わりに、画素の前景らしさを調整してもよい。具体的にはステップＳ１５４において、選択された画素の前景らしさを示す指標Ｄ_Ｆｏｒｅを、より低い前景らしさを示すように調整してもよい。例えば、調整される画素についての指標Ｄ_Ｆｏｒｅから所定値を減じることにより、この調整を行うことができる。さらにはステップＳ１５４において、選択された画素の背景らしさを高くすることと、選択された画素の前景らしさを低くすることとの双方を行ってもよい。

本実施例のステップＳ１２においては、確定背景領域についてのクラスタのうち任意の１つとの色距離が最も小さい、前景候補領域についてのクラスタにマークを付加した。そして、マークが付加されたクラスタに属する画素について、背景らしさを調整する処理が行われた。しかしながら、マークが付加されるクラスタの決定方法は、この方法には限られない。例えば本実施例においては、前景候補領域についてのクラスタのうち１つにマークが付加された。しかしながら、２つ以上のクラスタにマークが付加されてもよいし、どのクラスタにもマークが付加されなくてもよい。例えば、確定背景領域についてのクラスタのうち任意の１つとの色距離が最も小さくかつ色距離が所定値以下であるような、前景候補領域についてのクラスタにマークを付加してもよい。具体的にはステップＳ１２９において、変数Ｍが所定値より小さい場合にのみ、ｉ番目のクラスタにマークを付加してもよい。

また、確定背景領域についてのクラスタのうちいずれか１つとの色距離が所定値以下である、前景候補領域についてのクラスタに、マークが付加されてもよい。例えばステップＳ１２３においては、前景候補領域についてのｉ番目のクラスタと確定背景領域についてのｊ番目のクラスタとの間の色距離が所定値以下であるか否かを判定してもよい。そして、色距離が所定値以下である場合に、前景候補領域についてのｉ番目のクラスタにマークを付加してもよい。

さらには、本実施例においては、クラスタの色値の代表値が類似している場合に、クラスタの色が類似しているものとした。しかしながら、色空間上でクラスタを構成する画素の画素値の分布が重なる場合に、クラスタの色が類似していると判定することもできる。すなわち、前景候補領域についてのクラスタと確定背景領域についてのクラスタとについて、各クラスタを構成する画素の画素値の分布が重なる場合に、この前景候補領域についてのクラスタに属する画素の背景らしさを調整してもよい。さらには、色特徴空間上でクラスタの類似を判定するのではなく、前景候補領域のクラスタと確定背景領域のクラスタの中に重なる分布になるクラスタがあるかどうかについての特徴空間上で、クラスタの類似を判定してもよい。このように、確定背景領域についてのクラスタと色が類似している前景候補領域についてのクラスタの決定方法としては、様々な方法を採用することができる。

実施例１においては、類似度を表す指標Ｎ、前景らしさを表す指標Ｄ_Ｆｏｒｅ、及び背景らしさを表す指標Ｄ_Ｂａｃｋを、式（１）、式（２ａ）、及び式（２ｂ）に従って算出した。しかしながらこれらのパラメータは、別の方法にしたがって算出されてもよい。さらには実施例１においては、前景背景を分離するために、エネルギー関数のパラメータに基づき、エネルギー関数の最小化を解く方法を利用した。しかしながら、クラスタ情報に基づき画素の情報量を求め、取得した画素の情報量を用いる他の前景背景分離処理法を利用してもよい。

実施例１では、クラスタ間の色類似度に基づいて、背景らしさが調整される前景候補領域のクラスタを選択した。実施例２では、さらにクラスタの画素数を考慮に入れて、背景らしさが調整される前景候補領域のクラスタを選択する。

本実施例に係る処理は、図７に示される実施例１に係る処理と同様であるが、ステップＳ１３及びステップＳ１５３における処理が異なる。以下、本実施例におけるステップＳ１３及びステップＳ１５３の処理について説明する。その他の処理については実施例１と同様に行うことができ、したがって説明は省略する。本実施例に係る処理は、実施例１と同様に、図５及び図６に示される画像処理装置１００を用いて行うことができる。

ステップＳ１３においてパラメータ設定部３１は、前景候補領域についてのクラスタの中に、確定背景領域についてのクラスタと色が類似しているクラスタが存在するか否かを判定する。この判定は、実施例１と同様に行うことができる。ここで、確定背景領域についてのクラスタと色が類似している前景候補領域についてのクラスタのことを、着目クラスタと呼ぶ。

ステップＳ１３においてパラメータ設定部３１はさらに、着目クラスタに属する画素数が所定数又は所定割合以上であるか否かを判定する。着目クラスタが複数存在する実施例においては、少なくとも１つの着目クラスタに属する画素数が所定値又は所定割合以上であるか否かを判定すればよい。具体的な例として、パラメータ設定部３１は、前景候補領域の画素数に対する着目クラスタに属する画素数の割合が、所定数以上であるか否かを判定してもよい。別の例としてパラメータ設定部３１は、入力画像の画素数に対する着目クラスタに属する画素数の割合が、所定値以上であるか否かを判定してもよい。

前景候補領域についてのクラスタの中に、確定背景領域についてのクラスタと色が類似しているクラスタが存在し、かつ着目クラスタに属する画素数が所定数又は所定割合以上である場合、処理はステップＳ１５に進む。そうではない場合、処理はステップＳ１４に進む。

ステップＳ１５３においてパラメータ調整部３２は、実施例１と同様に前景候補領域の画素を１つ選択し、選択された画素が属するクラスタが、ステップＳ１２９においてマークを付加されているか否かを判定する。ステップＳ１５３においてパラメータ調整部３２はさらに、選択された画素が属するクラスタに属する画素数が所定数又は所定割合以上であるか否かを判定する。この判定は、ステップＳ１３と同様に行うことができる。選択された画素が属するクラスタにマークが付加されており、かつこのクラスタに属する画素数が所定数又は所定割合以上である場合に、処理はステップＳ１５４に進む。そうではない場合、処理はステップＳ１５５に進む。

前景候補領域についてのクラスタの色が、確定背景領域についてのクラスタの色と類似しており、かつこの前景候補領域についてのクラスタに属する画素数が多い場合、この前景候補領域についてのクラスタに属する画素は背景領域の一部である可能性が高い。そこで本実施例においては、このような前景候補領域についてのクラスタに属する画素について、背景らしさが高くなるように、エネルギー関数のパラメータが調整される。

実施例１及び実施例２においては、背景を示す画素が属している可能性がある前景候補領域についてのクラスタが特定され、このクラスタに属する画素についてのエネルギー関数のパラメータが調整された。実施例３においては、前景候補領域についてのクラスタが、確定背景領域についての色が類似しているクラスタへと統合される。そして、統合後のクラスタリング結果に従って、エネルギー関数のパラメータが設定される。

図１２は、実施例３に係る画像処理装置３００の機能構成を示すブロック図である。画像処理装置３００の機能は、図６に示される装置を用いて実現することができる。画像処理装置３００は、領域指定部３１０、色処理部３２０、被写体分離部３３０、処理制御部３４０、画像取得部３５０、及び出力部３６０を備える。領域指定部３１０、処理制御部３４０、画像取得部３５０、及び出力部３６０の動作は実施例１に係る領域指定部１０、処理制御部４０、画像取得部５０、及び出力部６０と同様であり、詳細な説明は省略する。

色処理部３２０は、クラスタリング処理部３２１、クラスタ関係判定部３２２、及びクラスタ統合部３２３を備える。クラスタリング処理部３２１及びクラスタ関係判定部３２２の動作は実施例１に係るクラスタリング処理部２１及びクラスタ関係判定部２２の動作と同様であり、詳細な説明は省略する。クラスタ統合部３２３は、クラスタ関係判定部３２２によって選択された、色が類似している前景候補領域についてのクラスタと確定背景領域についてのクラスタのペアを統合する。

被写体分離部３３０は、パラメータ設定部３３１及び最小化部３３２を備える。それぞれの動作は実施例１に係るパラメータ設定部３１及び最小化部３３と同様であり、詳細な説明は省略する。

図１３は、実施例３に係る処理のフローチャートを示す。ステップＳ３０５〜Ｓ３１２の動作は実施例１におけるステップＳ５〜Ｓ１２と同様であり、詳細な説明は省略する。ステップＳ３１３においてパラメータ設定部３３１は、前景候補領域についてのクラスタの中に、確定背景領域についてのクラスタと色が類似しているクラスタが存在するか否かを、実施例１と同様に判定する。色が類似しているクラスタが存在しない場合、処理はステップＳ３１５に進む。色が類似しているクラスタが存在する場合、処理はステップＳ３１４に進む。ステップＳ３１４でクラスタ統合部３２３は、前景候補領域についてのクラスタを確定背景領域についてのクラスタに統合する。ステップＳ３１４の処理については、後に詳しく説明する。

ステップＳ３１５の処理は、実施例１におけるステップＳ１４と同様である。しかしながらステップＳ３１４の処理が行われている場合、パラメータ設定部３３１は、ステップＳ３１４における処理後のクラスタリング結果を用いてエネルギー関数のパラメータが設定される。

Ｓ３１６〜Ｓ３１９の処理は、実施例１におけるステップＳ１６〜１９の処理と同様であり、詳しい説明は省略する。

＜ステップＳ３１４の処理＞
以下に、ステップＳ３１４の処理について、図１４を参照して詳しく説明する。ステップＳ３１４１〜ステップＳ３１４８の処理は、実施例１におけるステップＳ１２１〜ステップＳ１２８の処理と同様であり、詳細な説明を省略する。

ステップＳ３１４９においてクラスタ統合部３２３は、ステップＳ３１４３においてメモリ１１１に記録された変数Ｍを取得する。そしてクラスタ統合部３２３は、変数Ｍが閾値以下であるか否かを判定する。閾値以下である場合、ステップＳ３１４の処理は終了する。閾値以下ではない場合、処理はステップＳ３１５０に進む。

ステップＳ３１５０においてクラスタ統合部３２３は、ステップＳ３１４３においてメモリ１１１に記録された、変数Ｍに対応する変数ｉ及び変数ｊを取得する。そしてクラスタ統合部３２３は、前景候補領域についてのｉ番目のクラスタを、確定背景領域についてのｊ番目のクラスタへと統合する。本実施例においては、統合後の確定背景領域についてのｊ番目のクラスタは、統合前の前景候補領域についてのｉ番目のクラスタに属する画素と、統合前の確定背景領域についてのｊ番目のクラスタに属する画素とによって構成される。そしてクラスタ統合部３２３は、前景候補領域についてのｉ番目のクラスタの色情報を用いて、確定背景領域についてのｊ番目のクラスタの色情報を更新する。また、クラスタ統合部３２３は、前景候補領域についてのｉ番目のクラスタの情報を削除し、前景候補領域についてのクラスタ数を１つ減らす。

本実施例のステップＳ３１４９及びＳ３１５０においては、前景候補領域についてのｉ番目のクラスタの色と、確定背景領域についてのｊ番目のクラスタの色との色距離が閾値以下である場合に、これらのクラスタが統合された。しかしながら、色距離に関わらず、前景候補領域についてのｉ番目のクラスタと、確定背景領域についてのｊ番目のクラスタとを統合してもよい。このような構成は、ステップＳ３１４８の後に、ステップＳ３１４９を省略しながら、ステップＳ３１５０を実行することにより実現できる。

本実施例においては、前景候補領域についてのクラスタが、確定背景領域についての色が類似しているクラスタへと統合される。統合後のクラスタリング結果に従って各画素の背景らしさを算出すると、統合された前景候補領域についての属していた画素の背景らしさは、統合を行わなかった場合と比較して高くなる。この結果として実施例１と同様に、前景候補領域に含まれる背景部分の画素が、被写体部分として誤検出される可能性を減らすことができる。

以下で、実施例１〜３として説明した被写体抽出処理の応用例について説明する。実施例４では、被写体抽出結果に従って入力画像の符号化を行う。

実施例４の処理について、図１１のフローチャートを参照して説明する。実施例４に係る処理は、例えば図６に示される画像処理装置を用いて行うことができる。ステップＳ４０においてＣＰＵ１０１は、上述の実施例１〜３のいずれかに従って、入力画像から被写体を抽出する。具体的にはステップＳ４０においては、入力画像を構成するそれぞれの画素について、前景領域に属するか背景領域に属するかを示す情報が得られる。

ステップＳ５０において圧縮／伸長部１１０は、ステップＳ４０における抽出結果に従って、前景と背景とを別々のレイヤとして記録する。例えば圧縮／伸長部１１０は、前景レイヤに前景領域に属する各画素の色情報を記録し、背景レイヤに背景領域に属する各画素の色情報を記録すればよい。

ステップＳ６０において圧縮／伸長部１１０は、前景レイヤと背景レイヤとのそれぞれを符号化する。ここで圧縮／伸長部１１０は、前景レイヤと背景レイヤとをそれぞれ異なる圧縮率で符号化する。具体的な一例として、圧縮／伸長部１１０は、前景レイヤをより低い圧縮率で圧縮し（第１の処理）、背景レイヤを前景レイヤよりも高い圧縮率で圧縮する（第２の処理）。この場合、被写体を示す前景領域の画質をよりよく維持しながら、画像全体についての圧縮率を高めることができる。

本実施例のステップＳ６０においては、前景レイヤと背景レイヤとのそれぞれを符号化した。しかしながら圧縮／伸長部１１０は、入力画像を構成するそれぞれの画素について前景領域に属するか背景領域に属するかを示す２値のマスク画像を符号化してもよい。また圧縮／伸長部１１０は、前景領域と背景領域との境界を示す情報、例えば前景領域と背景領域との境界に位置する境界画素の位置情報を記録してもよい。

また、その他の応用例として、実施例１〜３における被写体抽出結果に従ってリフォーカス処理を行うこともできる。例えば、背景領域内の画像についてぼかし処理を行うことができるし、前景領域内の画像についてぼかし処理を行うこともできる。さらなる応用例としては、多眼撮影装置から取得した複数の画像のセグメンテーションや、深度画像の高精度化、なども挙げられる。

（その他の実施例）
上述の各実施例においては、色情報に従って被写体の抽出が行われた。しかしながら、各画素についての奥行き情報を用いて、同様の方法で被写体を抽出することもできる。このことは例えば、色情報の代わりに奥行き情報を用いてクラスタリング処理を行い、色情報の代わりに奥行き情報に従ってエネルギー関数のパラメータを求めることにより実現できる。また、色情報と奥行き情報との双方を用いて、被写体を抽出してもよい。

また、上述の各実施例においては、入力画像が前景と背景とに分離された。この分離結果に基づき、さらに各画素、特に被写体と背景との境界付近の画素について、アルファ、すなわち透明度を計算してもよい。

上述の各実施例においては、確定背景領域についてのクラスタと色が類似している前景候補領域についてのクラスタに属する画素に対して、背景らしさを高くする処理が行われた。この結果として、前景候補領域に含まれる背景部分の画素が、被写体部分として誤検出される可能性を減らすことができた。しかしながら、前景候補領域に含まれる被写体部分の画素が、背景部分として誤検出されるような場合にも、本発明の方法を適用することができる。すなわち、確定背景領域についてのクラスタと色が類似している前景候補領域についてのクラスタに属する画素に対して、背景らしさを低くする処理を行うこともできる。この場合、前景候補領域に含まれる被写体部分の画素が、背景部分として誤検出される可能性を減らすことができる。このように本発明によれば、確定背景領域についてのクラスタと色が類似している前景候補領域についてのクラスタに属する画素について、前景らしさ又は背景らしさを調整することにより、前景候補領域から被写体部分をより正確に抽出することができる。概して言えば、背景らしさを高くする処理を行う場合に良好な分離結果を得られる傾向がある。しかしながら、背景らしさを高くするか低くするか、及び背景らしさをどの程度高く又は低くするかは、被写体抽出結果を確認しながら適宜ユーザが設定することができる。

本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

Claims (12)

1. 入力画像を取得する第１の取得手段と、
   前記入力画像について、前景部分を包含する前景候補領域を指定する情報を取得する第２の取得手段と、
   前記前景候補領域内の各画素を該画素の色情報に従って複数の第１のクラスタ群の何れかへと分類し、さらに前記前景候補領域外の各画素を該画素の色情報に従って複数の第２のクラスタ群の何れかへと分類する分類手段と、
   前記入力画像の各画素について前景らしさ又は背景らしさを示すパラメータを設定する設定手段と、
   前記第１のクラスタ群から、第１のクラスタについての色情報が示す色が、前記第２のクラスタ群のうちの何れかについての色情報が示す色と類似している該第１のクラスタを選択する選択手段と、
   前記選択された第１のクラスタに属する各画素について、前記パラメータを調整する調整手段と、
   前記調整手段による前記パラメータの調整後に、各画素についての前記パラメータを用いて前記前景部分に対応する領域を推定する推定手段と、
   前記前景部分に対応する領域を特定する情報を出力する出力手段と、
   を備えることを特徴とする画像処理装置。
2. 前記設定手段は、前記入力画像の各画素について、該画素が示す色が前記第１のクラスタについての色情報が示す色に近いほど前景らしさが高くなり、該画素が示す色が前記第２のクラスタについての色情報が示す色に近いほど背景らしさが高くなるように、前記前景らしさ又は背景らしさを示すパラメータを設定することを特徴とする、請求項１に記載の画像処理装置。
3. 前記調整手段は、前記選択された第１のクラスタに属する画素数が所定数以上である場合に、当該選択された第１のクラスタに属する各画素について前記パラメータを調整することを特徴とする、請求項１又は２に記載の画像処理装置。
4. 前記調整手段は、背景らしさがより高くなるように前記パラメータを調整することを特徴とする、請求項１乃至３の何れか１項に記載の画像処理装置。
5. 前記推定手段が推定した前記前景部分に対応する領域を新たな前景候補領域として指定し、前記分類手段、前記設定手段、前記選択手段、前記調整手段、及び前記推定手段に繰り返し処理を行わせる制御手段をさらに備えることを特徴とする、請求項１乃至４の何れか１項に記載の画像処理装置。
6. 入力画像を取得する第１の取得手段と、
   前記入力画像について、前景部分を包含する前景候補領域を指定する情報を取得する第２の取得手段と、
   前記前景候補領域内の各画素を該画素の色情報に従って複数の第１のクラスタ群の何れかへと分類し、さらに前記前景候補領域外の各画素を該画素の色情報に従って複数の第２のクラスタ群の何れかへと分類する分類手段と、
   前記第１のクラスタ群から、第１のクラスタについての色情報が示す色が、前記第２のクラスタ群のうちの何れかについての色情報が示す色と類似している該第１のクラスタを選択する選択手段と、
   前記選択された第１のクラスタに含まれる画素が、該第１のクラスタと色情報が示す色が類似している第２のクラスタに含まれるように、該選択された第１のクラスタを該第２のクラスタへと統合する統合手段と、
   前記入力画像の各画素について前景らしさ又は背景らしさを示すパラメータを設定する設定手段と、
   各画素についての前記パラメータを用いて前記前景部分の位置を推定する推定手段と、
   前記前景部分に対応する領域を特定する情報を出力する出力手段と、
   を備えることを特徴とする画像処理装置。
7. 前記設定手段は、前記入力画像の各画素について、該画素が示す色が前記第１のクラスタについての色情報が示す色に近いほど前景らしさが高くなり、該画素が示す色が前記第２のクラスタについての色情報が示す色に近いほど背景らしさが高くなるように、前記前景らしさ又は背景らしさを示すパラメータを設定することを特徴とする、請求項６に記載の画像処理装置。
8. 前記入力画像のうち、前記前景部分に対応する領域に対して第１の処理を行う第１の処理手段と、
   前記入力画像のうち、前記前景部分に対応しない領域に対して前記第１の処理とは異なる第２の処理を行う第２の処理手段と、
   をさらに備えることを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
9. 画像処理装置が行う画像処理方法であって、
   第１の取得手段が、入力画像を取得する第１の取得工程と、
   第２の取得手段が、前記入力画像について、前景部分を包含する前景候補領域を指定する情報を取得する第２の取得工程と、
   分類手段が、前記前景候補領域内の各画素を該画素の色情報に従って複数の第１のクラスタ群の何れかへと分類し、さらに前記前景候補領域外の各画素を該画素の色情報に従って複数の第２のクラスタ群の何れかへと分類する分類工程と、
   設定手段が、前記入力画像の各画素について前景らしさ又は背景らしさを示すパラメータを設定する設定工程と、
   選択手段が、前記第１のクラスタ群から、第１のクラスタについての色情報が示す色が、前記第２のクラスタ群のうちの何れかについての色情報が示す色と類似している該第１のクラスタを選択する選択工程と、
   調整手段が、前記選択された第１のクラスタに属する各画素について、前記パラメータを調整する調整工程と、
   推定手段が、前記調整工程における前記パラメータの調整後に、各画素についての前記パラメータを用いて前記前景部分に対応する領域を推定する推定工程と、
   出力手段が、前記前景部分に対応する領域を特定する情報を出力する出力工程と、
   を備えることを特徴とする画像処理方法。
10. 画像処理装置が行う画像処理方法であって、
    第１の取得手段が、入力画像を取得する第１の取得工程と、
    第２の取得手段が、前記入力画像について、前景部分を包含する前景候補領域を指定する情報を取得する第２の取得工程と、
    分類手段が、前記前景候補領域内の各画素を該画素の色情報に従って複数の第１のクラスタ群の何れかへと分類し、さらに前記前景候補領域外の各画素を該画素の色情報に従って複数の第２のクラスタ群の何れかへと分類する分類工程と、
    選択手段が、前記第１のクラスタ群から、第１のクラスタについての色情報が示す色が、前記第２のクラスタ群のうちの何れかについての色情報が示す色と類似している該第１のクラスタを選択する選択工程と、
    統合手段が、前記選択された第１のクラスタに含まれる画素が、該第１のクラスタと色情報が示す色が類似している第２のクラスタに含まれるように、該選択された第１のクラスタを該第２のクラスタへと統合する統合工程と、
    設定手段が、前記入力画像の各画素について前景らしさ又は背景らしさを示すパラメータを設定する設定工程と、
    推定手段が、各画素についての前記パラメータを用いて前記前景部分の位置を推定する推定工程と、
    出力手段が、前記前景部分に対応する領域を特定する情報を出力する出力工程と、
    を備えることを特徴とする画像処理方法。
11. コンピュータを、請求項１乃至８の何れか１項に記載の画像処理装置の各手段として機能させるための、コンピュータプログラム。
12. 請求項１１に記載のコンピュータプログラムを格納した、コンピュータが読み取り可能な記憶媒体。