JP7374582B2 - 画像処理装置、画像生成方法およびプログラム - Google Patents

Description

本発明は、画像から前景領域を判定する技術に関する。

撮像装置が撮像した画像を受信することで得られた画像の前景を背景部分から切り離す処理が行われている。入力画像の前景を背景部分から切り離す方法として背景差分法が一般的に知られている。背景差分法は、入力画像に応じた背景画像と、前景を含む入力画像との差分を算出し、差分が所定の値より大きいと判定された画素の集まりである領域を前景の領域とする処理である。

特許文献１には、画素ごとに前景の領域を判定するための画素値を変更する技術が記載されている。具体的には、特許文献１では、画素の画素値の分散という単一の特徴量に基づいて、前景の領域を判定するための閾値を算出するという手法が記載されている。

特開２０１３－１８６８１７号公報

しかしながら、特許文献１のように単一の特徴量に基づき、前景領域の判定を行うと適切に前景領域を判定できない虞がある。例えば、背景差分法による前景の判定では、入力画像の輝度値と背景画像の輝度値との差分（輝度差）が、閾値より大きければ前景と判定することがある。この判定方法において画素の輝度差が閾値以下である場合は、当該画素が入力画像の前景を構成する画素であっても、その画素は前景を構成する画素と判定されない。

一方、レンズのボケや収差により入力画像の前景と背景の境界部分にはボケ領域があり、ボケ領域は背景画像との輝度差が小さい領域である。このため、閾値を単に小さくすると、ボケ領域を構成する画素は前景領域と判定されるべきではない画素であるにも係わらず、ボケ領域を構成する画素が前景領域を構成する画素と判定されることがある。

このような判定に基づいて、前景領域を示す画像を生成する場合、前景領域を示す画像を精度よく生成することができない可能性が生じる。

本発明は、精度よく前景領域を示す画像を生成することを目的とする。

本発明の画像処理装置は、撮像装置が撮像することにより得られた撮像画像を取得する第１の取得手段と、前記撮像画像に対応する背景画像を、前記撮像画像から生成して取得する第２の取得手段と、前記撮像画像の各画素の輝度値または前記背景画像の各画素の輝度値を第１の特徴量として特定する第１の特定手段と、前記撮像画像と前記背景画像とにおいて対応する位置にある画素どうしの輝度差に関する値を第２の特徴量として特定する第２の特定手段と、前記撮像画像と前記背景画像とにおいて対応する位置にある画素どうしの輝度差と、閾値と、に基づき前記撮像画像の前景領域を示す画像を生成する生成手段と、
を有し、前記閾値は、前記撮像画像の各画素または前記背景画像の各画素について、前記第１の特徴量が大きくなるほど大きくなるように、かつ、前記第２の特徴量が大きくなるほど大きくなるように決定され、前記生成手段は、前記撮像画像と前記背景画像とにおいて対応する位置にある画素どうしの輝度差が前記閾値より大きい場合に、前記撮像画像の当該画素を、前記前景領域を示す領域と判定することを特徴とする。

本発明によれば、精度よく前景領域を示す画像を生成することができる。

入力画像から前景領域を決定する処理を示す図である。 仮想視点システムを示す図である。 画像処理装置の機能構成を示すブロック図である。 前景領域を決定する処理を示すフローチャートである。 二次元テーブルを示す図である。 入力画像と背景画像の関係を示す図である。 画像処理装置の機能構成を示すブロック図である。 前景領域を決定する処理を示すフローチャートである。

以下、添付の図面を参照して、実施形態例のいくつかに基づいて本発明を詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

＜実施形態１＞
本実施形態では、仮想視点画像の生成に用いられる前景領域を生成する形態を説明する。そのために、仮想視点画像の概要を簡単に説明する。複数のカメラを異なる位置に設置して多視点で同期撮像し、当該撮像により得られた複数視点画像を用いて仮想視点画像を生成する技術がある。この複数視点画像から仮想視点画像を生成する技術によれば、例えば、サッカーやバスケットボールのハイライトシーンを様々な角度から視聴閲覧することが出来るため、通常の画像と比較してユーザに高臨場感を与えることができる。複数視点画像に基づく仮想視点画像の生成は、複数のカメラが撮像した画像の画像データを、画像処理をするサーバに集約し、レンダリングなどの処理を施すことにより行われる。

仮想視点画像を生成する技術についてはさまざまな手法が開発されている。例えば複数のカメラによる画像のうち、主な被写体（オブジェクト）である前景を分離し、前景を三次元モデル化した上でレンダリングする処理が行われる。前景の三次元モデル化する際には、複数のカメラから見たときの前景のシルエット（前景領域）を示す情報が必要となる。

ここで前景領域を示す画像を生成するために前景を背景部分から切り離す処理の方法の１つである背景差分法の説明をする。背景差分法は、背景画像と、前景を含む入力画像と、の輝度値の差分（輝度差）を算出し、輝度差が閾値より大きいと判定された画素の集まりである領域を、入力画像の前景領域と判定する方法である。

例えば、図１（ａ）は、前景領域を生成する画像処理装置が受信した入力画像の例であり、背景であるフィールドと、フィールドの内部に入力画像の前景である人物が映っている。図１（ｂ）は図１（ａ）の入力画像の前景領域を示す画像である。背景差分法によって、入力画像と、入力画像に対応した背景画像と、のそれぞれ画像の画素ごとの輝度差が算出される。算出された輝度差が閾値より大きい画素の集まりが前景領域として切り離されることにより、図１（ｂ）のように入力画像の前景領域を示す画像が生成される。前景領域を示す画像は、図１（ｂ）のように各画素が黒色の領域と白色の領域の２値の画像で表される。図１（ｂ）において、黒色の領域は、前景領域と判定された領域であることを示している。

仮想視点画像を高精細に生成するためには、図１（ｂ）のように前景領域の形状は、前景のシルエットを正確に示していることが要求される。しかし正確な前景領域の形状を得るためにはいくつかの問題がある。

入力画像の前景を示す画素のうち、背景画像との輝度差が小さい画素が存在している場合がある。このような輝度差の小さい画素は、本来、前景を示す画素であるにも係わらず輝度差が閾値より大きくないため前景の画素と判定されない。図１（ｃ）は入力画像の前景を示す画素の一部が前景であると判定されなかった場合の前景領域を示す図である。図１（ｃ）の前景領域は、図１（ｂ）の前景領域に比べ、本来は前景領域である部分に欠損が生じていることがわかる。

このため、前景領域を判定するための閾値を小さくすることによって、入力画像の前景を示す画素のうち背景画像との輝度差が小さい画素についても前景の画素であると判定されるようにして前景領域に欠損が生じることを解消することが考えられる。

しかし、例えば入力画像における背景と前景の境界部分にはレンズのボケ、収差または動きボケなどのため前景と背景の画素値が混合しているボケ領域がある。ボケ領域は前景ではない領域ではあるが、前景と背景画像の輝度差に比べ、背景画像との輝度差が少しではあるが生じている。このため、閾値を小さくすると、ボケ領域についても前景領域と判定され、図１（ｄ）のような前景領域の太り（図１（ｄ）の斜線部分）が発生する場合がある。

このように、閾値を一定にすると前景領域の形状の欠損または膨らみが発生しすることから、仮想視点画像の品質低下につながる虞がある。このため、本実施形態は、閾値を決定するため入力画像と背景画像の情報から特徴量を２つ算出し、２つの特徴量に基づき前景領域を判定する閾値を画素ごとに決める形態である。

［システム構成］
図２は、本実施形態のシステム２００の概略構成を説明する図である。競技場の周囲に、複数の撮像装置であるカメラ２０２が並べて配置されており、複数のカメラ２０２によって、複数の視点から競技場のフィールド２０１が撮像されるように構成されている。

フィールド２０１では、例えばサッカーなどの競技が行われており、フィールド２０１の中に入力画像の前景となる被写体（オブジェクト）として人物２０３が存在しているものとする。オブジェクトとは、例えば選手、監督、または審判等の特定の人物である。オブジェクトは、ボール、またはゴール等のように画像パターンが予め定められている物体であってもよい。また、オブジェクトは動体であってもよいし、静止体であってもよい。

各カメラ２０２はデータ伝送のための入出力ハードウェアを備えている。カメラ２０２同士は例えばネットワークケーブルを使ってリング型の接続がされており、ネットワークを介して隣のカメラへ画像を順次伝送するように構成されている。カメラ２０２のうちの一つは画像処理装置３００に接続されている。画像処理装置３００は各カメラ２０２から取得した画像データを用いて仮想視点画像を生成する処理が行われる。なお、仮想視点画像は、動画であっても、静止画であってもよい。

［画像処理装置の構成］
図３は、画像処理装置３００の内部構成を示すブロック図である。画像処理装置３００は、入力画像取得部３０１、背景生成部３０２、入力輝度値取得部３０３、背景輝度値取得部３０４、特徴量決定部３０５、閾値決定部３０６、前景生成部３０７および仮想視点画像生成部３０８を備える。

本実施形態における画像処理装置３００は内蔵されたＡＳＩＣ（application specific integrated circuit）やＦＰＧＡ（field programmable gate array）などを備える。図３に示した各モジュールはハードウェアとして画像処理装置３００のＡＳＩＣやＦＰＧＡの内部に実装されている。

なお、画像処理装置３００は、ＣＰＵ、ＲＡＭ、ＲＯＭ、およびＨＤＤを含む情報処理装置として構成され、ＣＰＵがＲＯＭ等に記憶されたプログラムをＲＡＭに読み出して実行することで、図３に示す各部として機能させる形態でもよい。

［フローチャート］
図４は、画像処理装置３００で行われる処理のフローチャートの一例を示す図である。図４におけるステップの一部または全部の機能は画像処理装置３００のＡＳＩＣ、ＦＰＧＡ、または電子回路等のハードウェアで実現される。あるいは、図４のフローチャートで示される一連の処理は、画像処理装置３００のＣＰＵがＨＤＤに記憶されているプログラムコードをＲＡＭに展開し実行することにより行われてもよい。なお、各処理の説明における記号「Ｓ」は、当該フローチャートにおけるステップであることを意味する。以下、図４を参照して、画像処理装置３００における処理の概要を説明する。

Ｓ４０１において入力画像取得部３０１は、ネットワークを介して各カメラ２０２から、各カメラが撮像した画像に基づく画像データを取得する。以下の説明では説明を容易にするために入力画像取得部３０１が取得した各カメラの画像データのうち、ある１つのカメラが撮像した画像に基づく画像データにおいて行われる処理について説明する。実際は以下のステップが各カメラの画像データごとに行われる。また、入力画像取得部３０１が取得した画像データによって表される画像を入力画像とよぶ。入力画像は静止画または動画のフレーム画像などの画像である。

Ｓ４０２において、入力画像取得部３０１は、入力画像を示す画像データに対して、画像の振動の補正、レンズ歪みなどの画像の歪みの補正、色およびガンマ調整などの前処理を行う。

Ｓ４０３において背景生成部３０２は、入力画像取得部３０１から入力画像の画像データを取得する。背景生成部３０２は、取得した画像データを用いて、背景画像を生成する。背景生成部３０２による背景画像の生成方法については限定しない。例えば混合ガウスモデル（ＧＭＭ：Ｇａｕｓｓｉａｎ ｍｉｘｔｕｒｅ ｍｏｄｅｌ）による背景推定方法など公知の手法を適用すればよい。混合ガウスモデルは一般的によく知られている手法であるので詳細な説明は省略する。背景画像の生成方法として、背景生成部３０２は、以前に生成された背景画像を取得し、以前に生成された背景画像を入力画像の画像データに基づき更新するようにして背景画像を生成してもよい。また、背景画像は他の装置で生成されたものを取得し、次以降の処理に用いてもよい。

Ｓ４０４において、入力画像のうち処理対象の画素を選択してＳ４０５～Ｓ４１１の処理が繰り返し行なわれ、入力画像の全ての画素についてＳ４０５～Ｓ４１１の処理が行われる。即ち、未処理の画素の中から処理対象の画素が選択され、Ｓ４０５～４１１の処理が行われる。処理対象の画素に対する処理が終了すると、再度、未処理の画素の中から処理対象の画素が選択される。未処理の画素が無くなったら、Ｓ４１２に進む。

Ｓ４０５において入力画像取得部３０１は、入力画像の未処理の画素から処理対象の画素である注目画素を選択する。入力画像取得部３０１は、注目画素に対応するフィルタ領域の画素の画像データを入力輝度値取得部３０３に送信する。

フィルタ領域とは、例えば注目画素を中心とした周囲を数画素で囲んだ矩形領域である。フィルタ領域は後述する閾値を決めるための特徴量を算出するために使用される。フィルタ領域を構成する画素数は予めユーザによって設定されている。または、フィルタ領域を決める画素数は入力画像の画像データの情報に応じて随時、変更される形態でもよい。

Ｓ４０６において背景輝度値取得部３０４は、背景生成部３０２から、背景画像のうち注目画素のフィルタ領域に対応する領域の画素の画像データを取得する。背景輝度値取得部３０４は、取得した画像データから、背景画像の注目画素のフィルタ領域に対応する領域の各画素の輝度値を、特徴量決定部３０５に送信する。特徴量決定部３０５は背景画像の注目画素に対応する画素の輝度値を、注目画素の第一の特徴量として決定する。輝度値は、例えば画像の各画素の情報がＲＧＢの値で構成されている場合、ＲＧＢの値に基づき算出された値である。

Ｓ４０７において入力輝度値取得部３０３は、入力画像の画像データを取得し、入力画像の注目画素およびフィルタ領域の画像データから、注目画素を含むフィルタ領域の各画素の輝度値を特徴量決定部３０５に送信する。

本実施形態では、後述する閾値を決定するための第一の特徴量は注目画素に対応した背景画像の輝度値であるものとして説明するが、Ｓ４０７において取得された入力画像の注目画素の輝度値を第一の特徴量としてもよい。

Ｓ４０８において、特徴量決定部３０５は、Ｓ４０７によって送信された入力画像のフィルタ領域における各画素と、Ｓ４０６によって送信された背景画像のフィルタ領域に応じた領域の各画素について、画素ごとに輝度値の差分（輝度差）を算出する。

Ｓ４０９において特徴量決定部３０５は、Ｓ４０８において算出された輝度差のうち最大値を、注目画素の第二の特徴量として決定する。

Ｓ４１０において閾値決定部３０６は、Ｓ４０６において決定された第一の特徴量（背景輝度値）および、Ｓ４０９において決定された第二の特徴量（輝度差の最大値）を取得する。閾値決定部３０６は、取得した第一の特徴量および第二の特徴量に応じて、注目画素が前景領域を構成する画素であるかを判定するための閾値を決定する。

前景領域を判定するための閾値は、第一の特徴量を一つの軸として規定され、第二の特徴量をもう一つの軸として規定されており、第一の特徴量と第二の特徴量の２つの特徴量が定まることによって閾値が定まるテーブル（二次元テーブル）に基づき決定される。図５は二次元テーブルの例をグラフとして表した図である。図５にあるとおり、二次元テーブルの閾値は、第一の特徴量（背景輝度値）が大きくなるほど、閾値が大きくなるように設定されている。この理由については図６（ａ）を用いて説明する。

図６（ａ）は、所定の入力画像において、輝度値を変化させた場合の前景を示す画素の輝度値と背景画像の対応する画素の輝度値との関係の例を示したグラフである。図６（ａ）のグラフの横軸は輝度値を示しており、グラフの縦軸は入力画像の前景を示す画素の輝度値および背景画像の画素の輝度値を示している。図６（ａ）のとおり、背景画像の画素の輝度値が高くなるほど対応する前景の画素との輝度差は大きくなる。反対に、背景画像の画素の輝度値が低い場合は、対応する前景との輝度差が小さくなる。

従って、背景画像の画素の輝度値が図６（ａ）のａよりも小さい場合は、入力画像の前景を示す画素と背景画像の画素との輝度差は図６（ａ）のｂよりも小さくなる。このため、前景領域を判定するための閾値を一定とした場合、輝度差が閾値より大きくならないことがある。よって閾値を一定とした場合、入力画像の前景が前景領域として判定されず、図１（ｃ）にあるように生成された前景領域を示す画像では前景領域に欠損が発生することがある。このため、閾値は、背景画像の画素の輝度値の大きさに応じて大きくすることが望ましい。

従って、閾値は、背景輝度値（第一の特徴量）が大きくなるほど、閾値が大きくなるように決定される。第一の特徴量を入力画像の注目画素の輝度値とした場合も同様である。背景画像の輝度値に対する閾値の変化の度合いについては、背景画像のガンマ特性などに応じて予め設定される。

また、図５にあるとおり、二次元テーブルの閾値は、第二の特徴量（輝度差の最大値）が大きくなるほど、閾値が大きくなるように設定がされている。この理由については図６（ｂ）を用いて説明する。

図６（ｂ）の上の図は、入力画像と背景画像との輝度差を示したグラフであり、図６（ｂ）の下の図はグラフの元になった前景（人物）を含む入力画像である。図６（ｂ）のグラフの横軸は、図６（ｂ）の下の図のａからａ´までの横方向のライン上の位置を表している。図６（ｂ）のグラフの縦軸は、入力画像上のａからａ´のライン上の入力画像の画素と、背景画像上における同じ位置の画素との輝度差を表している。また、グラフ上の曲線は、ａからａ´のライン上の各位置における輝度差と、を示す値をプロットした点を繋いだものである。

図６（ｂ）のグラフのαの値は、入力画像の前景と背景画像との輝度差の値である。図６（ｂ）のグラフのβの値は、入力画像における前景と背景との境界部分にあるボケ領域における背景画像との輝度差の値である。ボケ領域はレンズのボケ、収差または動きボケなどのため、前景と背景の画素値が混合したことにより発生する。図６（ｂ）のグラフのβの値が示すとおり入力画像のボケ領域は背景画像と輝度差はαに比べ少しではあるが生じていることになる。

一般的に前景の画素と対応する背景画像の画素の輝度差（図６（ｂ）におけるα）が大きいほど、ボケ領域における輝度差の最大値（図６（ｂ）におけるβ）も大きくなる。よってαが大きい場合、βも大きくなるためボケ領域を前景領域と判定しないために、αの大きさに応じて閾値を大きくする方が望ましい。

入力画像のボケ領域と前景は近接しているため、注目画素がボケ領域を構成する画素であった場合、注目画素のフィルタ領域には前景の画素も含まれる。この場合、第二の特徴量となるフィルタ領域における輝度差の最大値は前景と背景の輝度差（図６（ｂ）におけるα）となる。図５のとおりフィルタ領域の輝度差の最大値である第二の特徴量が大きくなるにつれて閾値が大きくなる。このため注目画素がボケ領域の画素であった場合であって、ボケ領域の輝度差が大きいとき、第二の特徴量であるフィルタ領域における輝度差の最大値も大きくなることから、閾値は大きくなるように決定されることになる。

単に背景画像の輝度値によって閾値を決定した場合であって、背景画像の輝度値が小さいために閾値を小さくすることが考えられる。その場合は、入力画像のボケ領域は、入力画像の前景と背景画像の輝度差に比べて、背景画像との輝度差が少しではあるが生じている領域であるから、ボケ領域が前景領域と判定される虞がある。この場合、図１（ｄ）のように判定された前景領域の形状が前景領域の外側の背景部分まで広がって太ってしまう現象が発生する。

このため、２つの特徴量に基づき閾値を決定することにより、注目画素の背景輝度値が小さい場合であっても、注目画素の近くに入力画像と背景画像との輝度差が大きい画素があるときは、閾値が大きくなるように閾値を調整させることができる。このため、ボケ領域の画素が前景領域と判定されることを抑制させることができるため、図１（ｄ）のように前景領域の形状が前景領域の外側の背景部分まで広がって太ってしまう現象を抑制させることができる。図４に戻りフローチャートの説明に戻る。

Ｓ４１１において前景生成部３０７は、特徴量決定部３０５によって算出された注目画素の輝度差、および閾値決定部３０６によって決定された閾値を取得する。前景生成部３０７は、注目画素の輝度差が閾値より大きければ注目画素については、前景領域を構成する画素と判定する。

以上の処理を入力画像の全ての画素に対して実行することにより、入力画像の前景領域が判定され、その結果に基づき前景生成部３０７は前景領域を示す画像を生成する。このため、本実施形態では、図１（ｃ）のような前景領域の欠損、および図１（ｄ）のような前景領域の太りが抑制された画像を生成することができる。

Ｓ４１２において仮想視点画像生成部３０８は、入力画像と、前景生成部３０７によって生成された各カメラによる入力画像の前景領域を示す画像と、背景画像と、を取得する。また、仮想視点画像生成部３０８は、入力画像および前景領域を示す画像に基づいて前景テクスチャを示す画像を生成する。前景テクスチャは例えば前景領域によって示されている前景に対応する領域の各画素のＲ、Ｇ、Ｂなどの色情報のことである。

仮想視点画像生成部３０８は、背景画像、前景領域を示す画像、前景テクスチャを示す画像を用いて仮想視点画像を生成する。ここで仮想視点画像を生成処理の概略を説明する。仮想視点画像生成部３０８は、取得した各カメラの前景領域を用いて、撮像シーン内に存在する各オブジェクトの３次元形状推定処理を実行する。推定手法としては、各カメラの前景領域を用いるＶｉｓｕａｌ－ｈｕｌｌ手法など公知の手法を適用すればよい。これにより、オブジェクトの３次元形状を表すデータ（例えば、ポリゴンデータまたはボクセルデータ）が生成される。そして、生成される仮想視点画像についての画質レベルが設定される。

また、仮想視点画像の対象タイムフレームにおける仮想カメラの位置・姿勢（仮想カメラパス）および注視する点（仮想注視点パス）といったパラメータがユーザ入力に基づき設定される。仮想視点画像生成部３０８は、ユーザが設定した仮想カメラのパラメータに従って仮想視点画像を生成する。仮想視点画像は、形状推定処理で得られたオブジェクトの３次元形状データを用いて、設定された仮想カメラから見た画像をコンピュータグラフィックスの技術を用いることで生成することができる。この生成処理には公知の技術を適宜適用すればよく、本実施形態の主眼ではないので説明は省略する。

以上が、本実施形態に係る仮想視点画像の生成の処理の内容である。動画の仮想視点画像を生成する場合には、上述の各ステップの処理をフレーム単位で繰り返し行いフレーム毎の仮想視点画像が生成される。

以上説明したように本実施形態において、閾値は、入力画像に基づく特徴量も寄与されて決定される。また、閾値の決定は前景領域を判定するための入力画像を取得するたびに行われる。このため本実施形態によれば入力画像に応じて閾値も変わることから閾値を固定とする場合に比べて前景領域を判定するための精度を高めることができる。

また本実施形態においては、第一の特徴量と第二の特徴量に基づき前景領域を判定するための閾値が決定される。第一の特徴量が小さい場合であっても第二の特徴量が大きい値である場合は、第一の特徴量のみよって決定される閾値に比べて、閾値は大きくなるように調整される。このため、本実施形態によれば、入力画像から前景領域を分離する際において、前景領域の欠損を抑制しつつ、前景領域の太りについても抑制させるようにして前景領域を生成することができる。

なお、上述の説明では、第一の特徴量を決定してから第二の特徴量を決定したが、この順にかぎられるものではない。逆の順序で処理が行われていてもよい。また第一の特徴量の決定と、第二の特徴量の決定とを同時進行で行ってもよい。

＜実施形態２＞
実施形態１では、第一の特徴量は背景画像の輝度値であり、第二の特徴量はフィルタ領域における入力画素と背景画素の輝度値の差の最大値として、第一の特徴量および第二の特徴量から閾値を決定する形態を説明した。本実施形態では、特徴量として他の値を用いて閾値を決定する形態について説明する。

本実施形態については、実施形態１からの差分を中心に説明する。特に明記しない部分については実施形態１と同じ構成および処理である。システム構成は実施形態１と同様であるので説明は省略する。

図７は、本実施形態の画像処理装置３００を示すブロック図である。本実施形態の特徴量決定部３０５は、輝度差決定部７０３、最小値決定部７０１および輝度差分散決定部７０２を有している。特徴量決定部３０５は以外の各機能については実施形態１と同様である。

［フローチャート］
図８は、本実施形態の画像処理装置３００で行われるフローチャートの一例を示す図である。Ｓ８０１～Ｓ８０５についてはＳ４０１～４０５の処理と同一であるため説明を省略する。

Ｓ８０６において背景輝度値取得部３０４は、背景生成部３０２から、背景画像のうち注目画素のフィルタ領域に対応した領域の画素の画像データを取得する。背景輝度値取得部３０４は、取得した画像データから、背景画像の注目画素に対応する画素の輝度値を、最小値決定部７０１に送信する。また、背景画像の注目画素のフィルタ領域に対応する領域の各画素の輝度値を、輝度差決定部７０３に送信する。

Ｓ８０７において入力輝度値取得部３０３は、入力画像を取得し、入力画像の注目画素および注目画素のフィルタ領域を構成する各画素の画像データを取得する。入力輝度値取得部３０３は、取得した画像データから、入力画像の注目画素の輝度値を最小値決定部７０１に送信する。また入力輝度値取得部３０３は、注目画素のフィルタ領域を構成する各画素の輝度値を輝度差決定部７０３に送信する。

Ｓ８０８において最小値決定部７０１は、Ｓ８０７において送信された入力画像の注目画素の輝度値、およびＳ８０６において送信された背景画像における注目画素に応じた画素の輝度値、をそれぞれ取得する。最小値決定部７０１は、入力画像の注目画素の輝度値と、背景画像の注目画素に応じた画素の輝度値のうち小さい方の値を、注目画素の第一の特徴量として決定する。

後述するように本実施形態においても閾値を決定するための二次元テーブルは、第一の特徴量が高くなるほど、閾値が大きくなるように設定され、第一の特徴量が小さくなるほど、閾値が小さくなるように設定されている。

本実施形態では入力画像の輝度値と、背景画像の輝度値の小さい値を第一の特徴量としている。このため入力画像と背景画像のいずれかの輝度値に基づき第一の特徴量を算出する実施形態１に比べ、閾値をより小さくすることができる場合がある。即ち、背景画像よりも入力画像の輝度値の方が小さい場合は入力画像の輝度値に基づき閾値が決定されることになる。その場合、実施形態１の方法により背景画像の輝度値に基づき決定される閾値に比べ、閾値を小さい値とすることができる。

図６（a）のグラフで示したように一般的に画像の輝度値が小さい場合、当該画像の前景と背景との輝度差が小さくなる傾向がある。本実施形態によれば入力画像の前景の輝度値が小さい場合は、注目画素が前景領域の画素と判定されるための閾値も小さく決定されるため、注目画素を前景領域の構成するための画素と判定させることができる。

Ｓ８０９において輝度差決定部７０３は、Ｓ８０７によって送信された入力画像のフィルタ領域における各画素と、Ｓ８０６によって送信された背景画像のフィルタ領域に応じた領域の各画素について画素ごとに輝度差を算出する。

Ｓ８１０において輝度差分散決定部７０２は、Ｓ８０９において算出されたフィルタ領域内の各画素における輝度差に基づいて、ファイルタ領域を構成する画素の輝度差の分布を表す分散値を算出する。輝度差分散決定部７０２は、算出した分散値を、注目画素における第二の特徴量として決定する。なお第二の特徴量としては、フィルタ領域の輝度差の分布を表す値であれば分散値に限られない。例えば、フィルタ領域の輝度差の標準偏差を算出して第二の特徴量としてもよい。

Ｓ８１１において閾値決定部３０６は、Ｓ８０８において決定された第一の特徴量（背景画像と入力画像の輝度値のうち小さい方の値）および、Ｓ８１０において算出された第二の特徴量（分散値）を取得する。閾値決定部３０６は、取得した第一の特徴量および第二の特徴量に応じて、注目画素が前景領域を構成する画素であるか判定するための閾値を決定する。

閾値は、実施形態１と同様に決定される。即ち、閾値は第一の特徴量を一つの軸とし、また第二の特徴量をもう一つの軸として設定されている二次元テーブルの値に基づき決定される。二次元テーブルで設定された閾値は、第一の特徴量が高くなるほど、閾値が大きくなるように設定されている。第一の特徴量に対する閾値の変化の度合いについては、背景画像または入力画像のガンマ特性などに応じて予め設定されている。また、二次元テーブルに設定される閾値は、分散値である第二の特徴量が大きくなるほど、大きくなるような設定がされている。

前景と背景の境界部に発生するボケ領域の輝度差ついては、図６（ｂ）のグラフに示すように前景に近づくにつれて輝度差が徐々に大きくなる。このためボケ領域を含むフィルタ領域では輝度差の分布の広がりが大きくなり分散値が大きくなる。即ち、フィルタ領域の分散値が大きい場合は、注目画素はボケ領域を構成する画素である可能性が高いことになる。このため閾値を決定するための二次元テーブルは第二の特徴量が大きくなるほど閾値が大きくなるように設定がされている。よってボケ領域が前景領域として判定されないようにすることができることから、図１（ｄ）のような前景領域の太りを抑制し前景領域の精度を向上する事を可能とすることができる。

第二の特徴量として他にも、フィルタ領域内の画素の輝度差の平均値、最大値、最小値を算出し平均値、最大値、最小値に基づき第二の特徴量を算出してもよい。例えば、平均値と最大値との中間値または、平均値と最小値の中間値を第二の特徴量としてもよい。この中間値が大きくなるほど、閾値が大きくなるように設定を行うことにより、分散を第二の特徴量とした場合と同様な効果を得ることができる。

Ｓ８１２～Ｓ８１３の処理は、Ｓ４１１～Ｓ４１２の処理と同一であるため説明を省略する。

以上説明したように本実施形態においては第一の特徴量として背景画像と入力画像のうち輝度値の小さい方の値が決定される。第一の特徴量が小さい場合は、閾値が小さくなるため、入力画像の前景にあって輝度差が小さい画素を前景領域として判定させることができることから、前景領域の欠損を抑制させることができる。

一方、本実施形態においては第二の特徴量としてフィルタ領域の輝度差の分散値が決定される。このため第一の特徴量が小さい場合であっても第二の特徴量が大きいときは、閾値は第一の特徴量のみよって決定される閾値に比べて大きくなるように調整される。このため、分散値の大きいボケ領域を構成する画素が前景領域を構成する画素であるかを判定する場合、ボケ領域が前景領域として判定されることを抑制させることができる。

このため本実施形態によれば、入力画像から前景領域を分離する際において、前景領域の欠損を抑制しつつ、前景領域の太りについても抑制させるようにして前景領域を生成することができる。

＜その他の実施形態＞
上述の実施形態では、競技場の周囲に複数のカメラを配置して仮想視点画像を生成するシステムを例に説明した。しかしながら、単一カメラによって撮像された画像データから前景領域の判定処理する形態でもよく、複数カメラ間の相対的な幾何学的設置条件に縛られるものではない。従って、例えば、画像処理装置３００が構内、屋外または遠隔地に設置された監視カメラから画像データを取得して前景領域を判定するようなシステムにおいても実現可能である。

上述の実施形態は、一つの画像処理装置３００が複数のカメラの画像データを取得して各カメラにおける入力画像の前景領域の生成をする形態である。前述した実施形態に限らず、各カメラのハードウェア（不図示）が、画像処理装置３００の仮想視点画像生成部の機能を除く機能を有する形態でもよい。例えば、各カメラのハードウェアにおいて、各カメラが撮像した撮像画像から前景領域を生成し、仮想視点画像を生成する別の装置に生成された前景領域を送信する形態でもよい。

上述の実施形態で説明した第一の特徴量と第二の特徴量について、閾値を決定させるための特徴量の組み合わせを入れ替えて閾値を決定させてもよい。例えば、第一の特徴量を実施形態１における第一の特徴量とし、第二の特徴量を実施形態２における第二の特徴量として、閾値を決定させてもよい。または、第一の特徴量を実施形態２における第一の特徴量とし、第二の特徴量を実施形態１における第二の特徴量として、閾値を決定させてもよい。

また、上述の実施形態では、閾値を決定するために２つの特徴量を用いたが、２より大きい複数の特徴量に基づき閾値を決定してもよい。例えば、実施形態１と実施形態２のそれぞれの第一の特徴量と第二の特徴量を用いて、４つの特徴量に基づき閾値を決定する形態でもよい。

上述の実施形態では閾値を決定するための特徴量として輝度値または輝度差等を用いたが特徴量は上記の例に限られない。入力画像のフィルタ領域および背景画像のうちフィルタ領域に対応する領域に含まれる画素の情報に基づき、夫々の特徴量が異なる基準で求まる特徴量であればよい。例えば、入力画像または背景画像の彩度、色相、明度などの画素の情報に基づき特徴量が算出されて、当該特徴量に基づき閾値が決定される形態であってもよい。

上述の実施形態では、注目画素が前景領域かを判定するための閾値については１つの閾値を設け、注目画素の輝度差が閾値より大きい場合は、注目画素は前景領域を構成する画素であると判定した。閾値については１つに限られない。例えば、２つの閾値（上限閾値および下限閾値）を決定し、注目画素の輝度値が２つの閾値の範囲内であれば前景領域と判定する形態であってもよい。

上述の実施形態では、特徴量決定部３０５が特徴量を算出してそれぞれの特徴量を決定したが、特徴量を取得することによりそれぞれの特徴量を決定してもよい。

上述の実施形態は、システム、装置、方法、プログラム若しくは記録媒体（記憶媒体）等としての実施態様をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インタフェース機器、撮像装置、ｗｅｂアプリケーション等）から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

上述の実施形態は、実施形態の機能を実現するソフトウェアのプログラムコード（コンピュータプログラム）を記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給することによっても実現可能である。記憶媒体はコンピュータに読み取り可能な記憶媒体であり、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出して処理を実行する。この場合、記録媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することになる。また、そのプログラムコードを記録した記録媒体は本発明を構成することになる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

３００ 画像処理装置
３０１ 入力画像取得部
３０２ 背景生成部
３０５ 特徴量決定部
３０６ 閾値決定部
３０７ 前景生成部

Claims (13)

1. 撮像装置が撮像することにより得られた撮像画像を取得する第１の取得手段と、
   前記撮像画像に対応する背景画像を、前記撮像画像から生成して取得する第２の取得手段と、
   前記撮像画像の各画素の輝度値または前記背景画像の各画素の輝度値を第１の特徴量として特定する第１の特定手段と、
   前記撮像画像と前記背景画像とにおいて対応する位置にある画素どうしの輝度差に関する値を第２の特徴量として特定する第２の特定手段と、
   前記撮像画像と前記背景画像とにおいて対応する位置にある画素どうしの輝度差と、閾値と、に基づき前記撮像画像の前景領域を示す画像を生成する生成手段と、
   を有し、
   前記閾値は、前記撮像画像の各画素または前記背景画像の各画素について、前記第１の特徴量が大きくなるほど大きくなるように、かつ、前記第２の特徴量が大きくなるほど大きくなるように決定され、
   前記生成手段は、前記撮像画像と前記背景画像とにおいて対応する位置にある画素どうしの輝度差が前記閾値より大きい場合に、前記撮像画像の当該画素を、前記前景領域を示す領域と判定する
   ことを特徴とする画像処理装置。
2. 前記第１の特定手段によって特定された前記第１の特徴量を一方の軸、前記第２の特定手段によって特定された前記第２の特徴量を他方の軸とした二次元テーブルを用いて前記閾値を決定する決定手段をさらに有する、ことを特徴とする請求項１に記載の画像処理装置。
3. 前記決定手段は、前記撮像画像における注目画素に対して適用する前記閾値を、前記二次元テーブルを用いて決定し、
   前記生成手段は、前記撮像画像における注目画素に対応する位置における前記撮像画像と前記背景画像との輝度差が、前記撮像画像における注目画素に対して決定された前記閾値より大きい場合に当該注目画素は前記前景領域を構成する画素であると判定して、前記撮像画像の前景領域を示す画像を生成する、
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記決定手段は、前記撮像画像における注目画素の輝度値と、前記背景画像における注目画素の輝度値と、のうち小さい方の輝度値を前記第１の特徴量として用いて、前記撮像画像における注目画素に対して適用する前記閾値を決定する、ことを特徴とする請求項３に記載の画像処理装置。
5. 前記決定手段は、前記撮像画像における注目画素を含む第一の領域を構成する各画素と、前記背景画像のうち前記第一の領域に対応する第二の領域を構成する各画素と、の画素ごとの輝度差に関する値を前記第２の特徴量として用いて、前記撮像画像における注目画素に対して適用する前記閾値を決定する、ことを特徴とする請求項３または４に記載の画像処理装置。
6. 前記決定手段は、前記撮像画像における前記第一の領域を構成する各画素と、前記背景画像における前記第二の領域を構成する各画素と、の画素ごとの輝度差を表す値の最大値を前記第２の特徴量として用いて、前記撮像画像における注目画素に対して適用する前記閾値を決定する、ことを特徴とする請求項５に記載の画像処理装置。
7. 前記決定手段は、前記撮像画像における前記第一の領域を構成する各画素と、前記背景画像における前記第二の領域を構成する各画素と、の画素ごとの輝度差の分布を表す値を前記第２の特徴量として用いて、前記撮像画像における注目画素に対して適用する前記閾値を決定する、ことを特徴とする請求項５に記載の画像処理装置。
8. 前記輝度差の分布を表す値は分散値である、ことを特徴とする請求項７に記載の画像処理装置。
9. 前記輝度差の分布を表す値は標準偏差である、ことを特徴とする請求項７に記載の画像処理装置。
10. 前記決定手段は、前記撮像画像における前記第一の領域を構成する各画素と、前記背景画像における前記第二の領域を構成する各画素と、の画素ごとの輝度差を示す値のうち、最大値、平均値、および最小値を求め、求められた最大値と平均値との中間値又は求められた最小値と平均値との中間値を前記第２の特徴量として用いて、前記撮像画像における注目画素に対して適用する前記閾値を決定する、ことを特徴とする請求項５に記載の画像処理装置。
11. 前記第１の取得手段によって取得された、複数の撮像装置により撮像された複数の撮像画像と、前記生成手段によって生成された前記複数の撮像画像ごとの前記前景領域を示す画像と、に基づいて、前記撮像が行われた空間を表す三次元空間に設定された仮想視点に対応する仮想視点画像を生成する手段をさらに備える、ことを特徴とする請求項１から１０のいずれか１項に記載の画像処理装置。
12. 撮像装置が撮像することにより得られた撮像画像を取得する第１の取得ステップと、
    前記撮像画像に対応する背景画像を、前記撮像画像から生成して取得する第２の取得ステップと、
    前記撮像画像の各画素の輝度値または前記背景画像の各画素の輝度値を第１の特徴量として特定する第１の特定ステップと、
    前記撮像画像と前記背景画像とにおいて対応する位置にある画素どうしの輝度差に関する値を第２の特徴量として特定する第２の特定ステップと、
    前記撮像画像と前記背景画像とにおいて対応する位置にある画素どうしの輝度差と、閾値と、に基づき前記撮像画像の前景領域を示す画像を生成する生成ステップと、
    を有し、
    前記閾値は、前記撮像画像の各画素または前記背景画像の各画素について、前記第１の特徴量が大きくなるほど大きくなるように、かつ、前記第２の特徴量が大きくなるほど大きくなるように決定され、
    前記生成ステップでは、前記撮像画像と前記背景画像とにおいて対応する位置にある画素どうしの輝度差が前記閾値より大きい場合に、前記撮像画像の当該画素を、前記前景領域を示す領域と判定する
    ことを特徴とする画像処理方法。
13. コンピュータを、請求項１から１１のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images