JP2025002994A - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】 シーンに適した仮想視点を設定できるようにする。【解決手段】 情報処理装置は、複数の撮像装置により撮像される撮像領域に含まれる被写体の位置を示す位置情報を取得する取得手段と、前記被写体の移動方向に基づいて、複数の関心位置のうち１つの関心位置を特定する特定手段と、前記特定手段により特定された前記関心位置と前記被写体の位置とに基づいて、前記被写体に関連する仮想視点画像に対応する仮想視点の位置と、前記仮想視点からの視線方向を決定する決定手段とを有する。【選択図】 図１

Description

本開示は、仮想視点画像を生成する画像処理装置に関する。

複数のカメラを異なる位置に設置して同期撮影し、撮影により得られた複数の画像を用いて、ユーザ操作に基づく任意の仮想カメラ（仮想視点）からの画像（仮想視点画像）を生成する技術が注目されている。このような技術によれば、例えば、サッカーやバスケットボールのハイライトシーンを様々な角度から視聴することが可能となり、通常の画像と比較してユーザに高い臨場感を与えることができる。

仮想視点の操作を容易にするため、特許文献１では、注目する第一被写体の位置情報と、合わせて仮想視点画像に収めたい第二の被写体の位置情報に基づき仮想視点の位置及び向きを決定する手法が記載されている。

特開２０２２－１７１４３６号公報

しかしながら、複雑な動きを行う被写体の仮想視点画像を生成する場合、シーンに適した仮想視点を決定できなかった。例えば、バスケットボールにおいて、ある選手に着目した仮想視点画像を生成したい場合、頻繁に攻守が切り替わるため、シーンの変化に伴い適切な仮想視点の位置が変化し、シーンに適した仮想視点の位置および仮想視点からの視線方向を設定できなかった。

本開示は、シーンに適した仮想視点を設定できるようにすることを目的とする。

本開示による情報処理装置は、以下の構成を有する。すなわち、複数の撮像装置により撮像される撮像領域に含まれる被写体の位置を示す位置情報を取得する取得手段と、前記被写体の移動方向に基づいて、複数の関心位置のうち１つの関心位置を特定する特定手段と、前記特定手段により特定された前記関心位置と前記被写体の位置とに基づいて、前記被写体に関連する仮想視点画像に対応する仮想視点の位置と前記仮想視点からの視線方向を決定する決定手段とを有する。

本開示によれば、シーンに適した仮想視点を設定できる。

実施形態１における画像処理システムの構成の一例を示すブロック図である。 実施形態１における被写体位置の追跡処理を説明するための図である。 実施形態１における被写体位置に識別子を付与する処理を説明するための図である。 実施形態１における被写体の代表位置の一例を示す図である。 実施形態１における追跡部１０６が被写体の位置を追跡する処理を示すフローチャートである。 実施形態１における関心対象決定部１１０が関心対象を決定する処理を示すフローチャート。 実施形態１における各被写体の速度ベクトルと平均速度ベクトルの一例を示す図である。 実施形態１における視点生成部１０９が生成する仮想視点の位置の一例である。 実施形態２における関心対象決定部１１０が関心対象を決定する処理を示すフローチャート。 実施形態２における関心対象と判定領域の一例を示す図である。 実施形態２における被写体と関心対象と仮想視点の動きの一例を示す図である。 情報処理装置３のハードウェア構成例を示すブロック図である。

＜実施形態１＞
（画像処理装置のシステム構成と動作）
画像処理システムは、複数の撮像装置による撮像に基づく複数の画像と、指定された仮想視点とに基づいて、指定された仮想視点からの光景を表す仮想視点画像を生成するシステムである。本実施形態における仮想視点画像は、自由視点映像とも呼ばれるものであるが、ユーザが自由に（任意に）指定した視点に対応する画像に限定されず、例えば複数の候補からユーザが選択した視点に対応する画像なども仮想視点画像に含まれる。また、本実施形態では仮想視点画像が動画である場合を中心に説明するが、仮想視点画像は静止画であってもよい。

仮想視点画像の生成に用いられる視点情報は、仮想視点の位置及び向き（視線方向）を示す情報である。具体的には、視点情報は、仮想視点の三次元位置を表すパラメータと、パン、チルト、及びロール方向における仮想視点の向きを表すパラメータとを含む、パラメータセットである。なお、視点情報の内容は上記に限定されない。例えば、視点情報としてのパラメータセットには、仮想視点の視野の大きさ（画角）を表すパラメータが含まれてもよい。また、視点情報は複数のパラメータセットを有していてもよい。例えば、視点情報が、仮想視点画像の動画を構成する複数のフレームにそれぞれ対応する複数のパラメータセットを有し、連続する複数の時点それぞれにおける仮想視点の位置及び向きを示す情報であってもよい。

画像処理システムは、撮像領域を複数の方向から撮像する複数の撮像装置を有する。撮像領域は、例えばサッカーや空手などの競技が行われる競技場、もしくはコンサートや演劇が行われる舞台などである。複数の撮像装置は、このような撮像領域を取り囲むようにそれぞれ異なる位置に設置され、同期して撮像を行う。なお、複数の撮像装置は撮像領域の全周にわたって設置されていなくてもよく、設置場所の制限等によっては撮像領域の周囲の一部にのみ設置されていてもよい。また、撮像装置の数は図に示す例に限定されず、例えば撮像領域をサッカーの競技場とする場合には、競技場の周囲に３０台程度の撮像装置が設置されてもよい。また、望遠カメラと広角カメラなど機能が異なる撮像装置が設置されていてもよい。

なお、本実施形態における複数の撮像装置は、それぞれが独立した筐体を有し単一の視点で撮像可能なカメラであるものとする。ただしこれに限らず、２以上の撮像装置が同一の筐体内に構成されていてもよい。例えば、複数のレンズ群と複数のセンサを備えており複数視点から撮像可能な単体のカメラが、複数の撮像装置として設置されていてもよい。

図１は、実施形態１における画像処理システムの構成を示すブロック図である。画像処理システムは例えば撮像部１０１、同期部１０２、三次元形状推定部１０３、形状抽出部１０４、識別設定部１０５、追跡部１０６、被写体位置算出部１０７、記憶部１０８、視点生成部１０９、関心対象決定部１１０、時刻指示部１１１を有する。さらに、画像処理システムは、画像生成部１１２および表示部１１３を有する。なお、本実施形態では、形状抽出部１０４、識別設定部１０５、追跡部１０６、被写体位置算出部１０７をまとめて被写体位置検出部１１４と呼称する。また、画像処理システムは、１つの画像処理装置によって構成されてもよいし、複数の画像処理装置によって構成されるシステムでもよい。例えば、視点生成部１０９、関心対象決定部１１０、時刻指示部１１１、被写体位置検出部１１４を画像処理装置と異なる１つの情報処理装置が有していてもよいし、記憶部１０８が専用のサーバ装置により構成されていてもよい。以下の説明では、画像処理システムは、１つの画像処理装置であるとして説明する。

撮像部１０１は、同期部１０２による同期信号に基づいて互いに同期して撮像を行う。そして撮像部１０１は撮影した撮像画像を三次元形状推定部１０３に出力する。なお、撮像部１０１は、被写体を複数の方向から撮影するために被写体を含む撮影領域を囲むように設置される。

同期部１０２は、複数の撮像部１０１に同期信号を出力する。

三次元形状推定部１０３は、入力された複数視点からの撮像画像を用いて、被写体のシルエット画像を生成する。さらに、視体積交差法などを用いて被写体の３Ｄモデル（３Ｄモデル）を生成する。また三次元形状推定部１０３は生成した被写体の３Ｄモデルおよび撮像画像を記憶部１０８と形状抽出部１０４に出力する。ここで、被写体は３Ｄモデルの生成対象となる物体のことであり、人物や人物が扱う物品などを含む。

形状抽出部１０４は、三次元形状推定部１０３から取得した被写体の３Ｄモデルの一部を抽出する。被写体の３Ｄモデルの一部を抽出することにより、複数の被写体の３Ｄモデルが存在する場合に、被写体同士の接触や隣接によってそれぞれの被写体の識別ができなくなる可能性を低減することができる。さらに、形状抽出部１０４は、抽出した被写体の３Ｄモデルを１方向から投影した二次元画像を生成する。本実施形態では、床面に対して垂直な方向から投影した二次元画像を生成する。そして、生成した二次元画像から被写体の３Ｄモデルの抽出情報を抽出し、追跡部１０６および識別設定部１０５に送信する。

識別設定部１０５は、形状抽出部１０４から取得した抽出情報に対し識別子を付与する。各抽出形状に付与した識別子を追跡部１０６に送信する。

追跡部１０６は、識別設定部１０５から識別子を入力されたことに応じて、初期状態として各抽出形状に当該識別子を付与する。以後、追跡部１０６は、この識別子が付与された抽出形状の追跡を行う。追跡した各抽出形状と識別子を被写体位置算出部１０７に送信する。

被写体位置算出部１０７は、追跡部１０６から取得する各抽出形状と識別子を用いて、各被写体の代表位置（被写体の位置）を算出する。算出した被写体の代表位置は、記憶部１０８に送信される。

記憶部１０８は、仮想視点画像の生成に用いられるデータ（仮想視点素材データ）として以下のデータ群を保存し、記憶する。本実施形態において仮想視点画像の生成に用いられるデータは、具体的には、三次元形状推定部１０３から入力された被写体の３Ｄモデルおよび撮像画像である。また、仮想視点画像の生成に用いられるデータは、各撮像部の位置姿勢及び光学特性などのカメラパラメータ、および、被写体位置検出部１１４で取得した被写体位置情報を含む。なお、仮想視点画像の背景の生成に用いられるデータとして、あらかじめ背景の３Ｄモデルと背景テクスチャ画像が記憶部１０８に保存（記憶）されているものとする。さらに、記憶部１０８に記憶される３Ｄモデルは、それぞれ種類が対応付けられ記憶される。ここで種類とは、撮像対象ごとに設定され、例えば、バスケットボールの場合、選手やボール、審判員などである。なお、各３Ｄモデルの種類は、ユーザによって指定されてもよいし、予め設定した条件に応じて自動的に設定されてもよい。また、記憶部１０８は、後述する関心対象候補を記憶する。関心対象候補は、背景モデルであってもよいし、三次元空間上の特定の三次元座標（関心位置）であってもよい。関心対象候補は、予めユーザによって設定されているものとして以降では説明するが、装置が自動で設定してもよい。装置が自動で設定する関心対象候補は、例えば、複数の撮像地による撮像領域の中心位置やその中心位置にある被写体であってもよいし、撮像領域とその他の領域との境界領域の位置やその位置にある被写体であってもよい。本実施形態では、関心対象候補は背景モデルであるものとして説明する。背景モデルは、例えばバスケットボールのゴールやサッカーのゴール、陸上競技のゴールラインである。

視点生成部１０９は、被写体位置検出部１１４が検出した被写体位置情報と、関心対象決定部１１０が出力する関心対象の位置情報に基づき仮想視点を生成する。具体的には、図８に示すように、視点生成部１０９は、ユーザが指定した被写体の位置を中心に、その被写体と関心対象である背景モデルの重心位置を結ぶ直線から所定の回転角度θで回転させた方向で、被写体から所定距離離れた位置に仮想視点の位置を設定する。そして、視点生成部１０９は、被写体と背景モデルとが、この仮想視点（仮想カメラ）の視野に含まれるように、仮想視点からの視線方向や画角を設定する。そして、視点生成部１０９は、それらの仮想視点の位置や仮想視点からの視線方向や仮想視点の画角などのパラメータを示す仮想視点情報を生成し、仮想視点情報を画像生成部１１２に出力する。なお、仮想カメラの位置は、ユーザが指定した被写体の位置と関心対象である背景モデルの重心位置を結ぶ直線上に設定されてもよい。また、回転角度θは、ユーザが設定してもよい。また視点生成部１０９は図示しないジョイスティックや操作ボタンなどの物理的なユーザインターフェースである視点操作部と、仮想視点画像を表示するための表示部を備える。視点操作部により仮想視点画像に含む被写体と仮想視点との距離や、仮想視点からの向きおよび、仮想視点の高さなど、仮想視点情報を生成のためのパラメータを設定できる。このパラメータの変更に応じて、後述の画像生成部１１２によって随時仮想視点画像が更新され、表示部に表示される。この表示部は後述の表示部１１３を共用してもよいし、別途表示装置を備える形としてもよい。視点生成部１０９が出力する仮想視点情報とは、仮想視点の位置および向きなどのカメラの外部パラメータに相当する情報、焦点距離や画角といったカメラの内部パラメータに相当する情報、および再生する撮影時刻を指定する時刻情報を含む。

関心対象決定部１１０は、後述する関心対象決定処理に基づき、あらかじめ設定された複数の関心対象候補の中から一つを関心対象と決定し、視点生成部１０９へ出力する。

時刻指示部１１１は後述の画像生成部１１２で生成したい仮想視点画像の時刻を指示するための時刻情報を生成し、視点生成部１０９および関心対象決定部１１０に出力する。時刻指示部１１１は図示しない複数のボタンやジョグダイヤルなどの物理的なユーザインターフェースまたは、ＧＵＩの少なくともいずれか一つのユーザインターフェースを備え、ユーザ操作により映像を生成する時刻を変更することが可能である。

画像生成部１１２は、入力された仮想視点情報に含まれる時刻情報に基づき、記憶部１０８から当該撮影時刻の素材データを取得する。画像生成部１１２は取得した素材データのうち被写体の３Ｄモデルおよび撮像画像を用いて、設定された仮想視点における仮想視点画像を生成し表示部１１３に出力する。

表示部１１３は、画像生成部１１２から入力された映像を表示する表示手段である。表示部１１３は、ディスプレイまたは、ヘッドマウントディスプレイ（ＨＭＤ）などで構成される。

（被写体位置の追跡方法）
次に本実施形態における被写体の三次元位置の追跡方法に関して説明する。

まず、三次元形状推定部１０３が、被写体の３Ｄモデルを生成し、生成された３Ｄモデルを記憶部１０８に出力するとともに、生成された３Ｄモデルを形状抽出部１０４に出力する。

図２は、実施形態１における被写体位置の追跡処理を説明するための図である。形状抽出部１０４は、図２（ａ）に示すような被写体の３Ｄモデルのうち、図２（ｂ）に示すように被写体の３Ｄモデルの下部を切り出す。本実施形態においては被写体の３Ｄモデルの外接直方体の底面から所定の高さ（例えば５０ｃｍに相当する高さ）までを切り出すものとする。例えば図２（ｃ）に示すように、被写体の一人が立っており、被写体の一人が跳躍などして撮影領域の床面から離れている場合には、被写体の３Ｄモデルは図２（ｄ）の示す範囲のように３Ｄモデルが切り出される。すなわち、どちらの被写体の３Ｄモデルも、足元に相当する部分から所定の高さまでの３Ｄモデルが切り出される。なお、３Ｄモデルから切り出す領域は３Ｄモデルの下部に限定されない。例えば、被写体の３Ｄモデルの中部（例えば、３Ｄモデルの外接直方体の底面から５０ｃｍから１００ｃｍの領域）を切り出してもよい。

次に図２（ｅ）に示すように、形状抽出部１０４は、切り出した３Ｄモデルを床面に投影して二次元画像を生成する。本実施形態では、投影された画像は、切り出した３Ｄモデルの部分を白、それ以外の部分を黒とする二値画像とする。形状抽出部１０４は、この二次元画像を独立した領域ごとに分割しそれらの図２（ｅ）に示す外接矩形２０１～２０４を求める。形状抽出部１０４は、この外接矩形の頂点情報を抽出された３Ｄモデルの抽出形状として出力する。具体的には、形状抽出部１０４は、外接矩形の頂点情報を、撮影領域の三次元空間と同じ座標系および単位に変換したうえで出力する。また、形状抽出部１０４で独立した形状の判定には、投影された二次元画像に対して例えば連続成分分析などの手法が用いられる。このような手法を用いることで、形状抽出部１０４は、３Ｄモデルを一つ一つの領域に分割することができる。

図３は、実施形態１における被写体位置に識別子を付与する処理を説明するための図である。識別設定部１０５は、形状抽出部１０４が出力した抽出形状に対して識別子を付与する。具体的には、識別設定部１０５は、各抽出形状間の距離の計算を行い、抽出形状間の距離に応じて識別子を付与する。例えば、図３（ａ）に示すように、識別設定部１０５は、抽出形状間の距離が所定の距離未満（実線矢印）の抽出形状には同一の識別子を割り当て、抽出形状間の距離が所定の距離以上（破線矢印）のものには異なる識別子を割り当てる。判定の基準として用いられる所定の距離の閾値は被写体が立った状態の足の開き幅に相当するような距離が望ましい。本実施形態では、所定の距離の閾値は５０ｃｍとして設定されるものとして説明する。

識別設定部１０５は、割り当てた識別子を、識別設定部１０５に備えられた表示部上に図３（ｂ）に示すようなグラフィカルユーザインターフェース（ＧＵＩ）によって表示する。ユーザは、このＧＵＩを見ながら画像処理システムを操作する。具体的には、識別設定部１０５は、ＧＵＩ上で現在の識別子の割り当て（初期状態の識別子の割り当て）を、文字および色分けの少なくとも一方で区別して表示する。図３（ｂ）では、識別設定部１０５は、識別子ごとに文字および色分けの両方を行って表示している。ユーザはＧＵＩを確認し、初期状態として所望の識別子の割り当てになっているか否かを確認する。所望の識別子の割り当てとなっていない場合は、ユーザは被写体に対して立ち位置の変更や足を閉じてもらうなどの指示をし、所望の割り当てとなるまで繰り返す。または、ユーザはＧＵＩを介して画像処理システムを操作し、所望の識別子の割り当てとなるように変更指示を行う。所望の識別子の割り当てである場合、ユーザは、例えば図３（ｂ）に示すようなグラフィカルユーザインターフェース上の決定ボタン（初期識別子決定ボタン）を押下する。この操作に応じて、識別設定部１０５は、初期状態の識別子を決定する。さらに、初期状態の識別子に対し、各被写体の種類を設定してもよい。この種類は撮像対象（例えば、野球やライブなど）ごとに設定されることを想定しており、本実施形態では、バスケットボールを想定し、各被写体に選手または審判員、ボールの何れかの種類を設定する。この種類はユーザ入力により設定されることを想定しているが、これに限定されない。例えば、初期状態において、所定の距離内に他の抽出形状が存在しない抽出形状に対応する被写体はボールと設定するような条件を予め設定し、識別子の決定と同時に種類が設定されてもよい。そして、識別設定部１０５は、各抽出形状に対して決定した識別子と種類を示す情報を追跡部１０６に出力する。

追跡部１０６は、識別設定部１０５から識別子を入力されたことに応じて、初期状態として各抽出形状に当該識別子を付与する。以後、追跡部１０６は、この識別子が付与された抽出形状の追跡を行う。なお、追跡中に抽出形状に付与される識別子は、識別設定部１０５によって決定された識別子ではなく、追跡部１０６による各抽出形状の位置の追跡結果に基づき決定された識別子が用いられる。抽出形状の追跡では、追跡部１０６は、当該抽出形状の撮影時刻に対してひとつ前の時刻における各抽出形状の位置、各抽出形状の識別子、および後述する被写体位置算出部から入力される被写体位置の情報に基づき、抽出形状の追跡を行う。なお、追跡部１０６による追跡の具体的な処理に関しては後述する。追跡部１０６は、追跡の結果に基づき当該時刻における、各抽出形状に対して識別子を付与し、各抽出形状を被写体位置算出部１０７に出力する。

図４は、実施形態１における被写体の代表位置を示す図である。被写体位置算出部１０７は、追跡部１０６より取得した識別子の付与された各抽出形状に対して、代表位置を求める。例えば、図４に示すように、被写体位置算出部１０７は、代表位置４０１、代表位置４０２のように、同一識別子が付与された抽出形状群ごとに、各抽出形状群を示す位置を求める。本実施形態では、代表位置は抽出形状群の中心位置とする。

ただし、この代表位置は形状推定誤差や形状抽出部１０４で形状を切り出した際の境界部分の揺らぎの影響を受けるため、被写体が静止していても各時刻で位置が揺らぐことがある。そのため、本実施形態では、被写体位置算出部１０７は、各時刻の中心位置情報に対して時間方向にローパスフィルタや移動平均などの処理を行い、高周波成分を抑制した位置情報を生成する。そして、被写体位置算出部１０７は、被写体の位置として識別子とともに代表位置の位置情報を追跡部１０６に出力する。また、被写体位置算出部１０７は、被写体の撮影された時刻の情報を代表位置の位置情報に付与した情報を、被写体の位置情報（被写体位置情報）として記憶部１０８に記録（記憶）する。

（追跡部１０６による追跡処理）
図５は、実施形態１における追跡部１０６が被写体の位置を追跡する処理を示すフローチャートである。

ステップＳ５０１では、追跡部１０６は、識別設定部１０５からの入力を受け各抽出形状の識別子および種類を取得する。

ステップＳ５０２では、追跡部１０６は、次に形状抽出部１０４から入力される抽出形状を取得する。

ステップＳ５０３では、追跡部１０６は、取得した各抽出形状に対して識別設定部１０５から取得した各識別子および種類を付与し、識別子および種類を付与した各抽出形状を、被写体位置算出部１０７に出力する。

ステップＳ５０４では、被写体位置算出部１０７は、同一識別子がつけられた抽出形状群から被写体位置を求め、被写体位置を追跡部１０６に出力する。

以上のステップＳ５０１～Ｓ５０４までの処理が初期化処理に相当する。

以降のステップＳ５０５～Ｓ５０９の処理は毎時刻の処理であり撮像部１０１が被写体を撮像している間は繰り返し実行される。撮像部１０１による被写体の撮像処理が終了した場合、ステップＳ５０９の処理が完了したことに応じて、本フローチャートの処理が終了される。

ステップＳ５０５では、追跡部１０６は、形状抽出部１０４から入力される抽出形状と、被写体位置算出部１０７が算出したひとつ前の時刻（前時刻）の被写体位置を取得する。ひとつ前の時刻は例えば、現在処理されている抽出形状の１フレーム前に生成された抽出形状の撮影時刻である。ここで、対比のために現在の時刻のことを現時刻とも記載する。ここで現在の時刻とは、現在処理されている抽出形状が生成されるために使われた画像の撮影時刻のことである。

ステップＳ５０６では、追跡部１０６は、前時刻における被写体位置と現時刻の各抽出形状の代表位置とが重なっている場合、抽出形状に対し、その代表位置と重なっている被写体位置に付与された識別子を付与する。ここで、ステップＳ５０６において、追跡部１０６は、一つの抽出形状の代表位置が複数の被写体位置と重なっている場合、当該抽出形状に対し、現時刻では「判定不能」を示す識別子を付与する。これは、例えば、２人の被写体が近接している状態のように、異なる識別子が付与された複数の抽出形状が現時刻で重畳している可能性があるため、本ステップの処理では「判定不能」を示す識別子を付与する。「判定不能」を示す識別子を含む識別子が付与された抽出形状は、後述のＳ５０９の処理が実行される。

ステップＳ５０７では、追跡部１０６は、まだ識別子が付与されていない抽出形状の代表位置が、前時刻の抽出形状と重なっている場合、前時刻の抽出形状に付与されている識別子を当該の現時刻の抽出形状に対して付与する。

ステップＳ５０８では、追跡部１０６は、まだ識別子が付与されていない抽出形状から所定の範囲内に、現時刻ですでに識別子が付与された他の抽出形状がある場合、当該の他の抽出形状に付与された識別子を、付与する。所定の範囲内は、被写体が立った状態の足の開き幅に相当する範囲が望ましい。例えば、所定の範囲は、抽出形状の中心から半径５０ｃｍの範囲である。ここで、ある抽出形状から所定の範囲内に識別子が付与された他の抽出形状が複数ある場合、追跡部１０６は、その他の抽出形状のうち最も近傍にある抽出形状の識別子を当該抽出形状に付与する。ステップＳ５０８までの処理を終えた段階で識別子を付与されていない抽出形状については、追跡部１０６は、当該の抽出形状を追跡対象外と判定する。この場合、追跡部１０６は、追跡対象外と判定された抽出形状は、被写体位置算出部１０７へ出力しない。

ステップＳ５０９では、追跡部１０６は、ステップＳ５０６からステップＳ５０８の処理で識別子が付与された抽出形状、およびそれに付与された識別子を被写体位置算出部１０７に出力する。

ステップＳ５１０では、不図示の制御部によって、撮像部１０１による被写体の撮像処理が終了されたか否かが判定される。撮像部１０１による被写体の撮像処理が終了されていないと判定された場合、ステップＳ５０８の処理が実行される。撮像部１０１による被写体の撮像処理が終了されたと判定された場合、本フローチャートの処理は終了される。

なお、ステップＳ５０６からステップＳ５０８の処理に関しては各処理において、抽出形状ごとに対して処理が行われる。ステップＳ５０６からステップＳ５０９の処理を繰り返すことで、識別設定部１０５で設定された識別子が各時刻の抽出形状と紐づけられる。この識別子を用いて、被写体位置算出部１０７は被写体ごとに区別して被写体位置を求めることができる。

また、追跡部１０６において識別子として、「判定不能」の識別子が抽出形状に付与された場合、ある時刻において、初期設定で定められた識別子のうち、一部の識別子が付与されない可能性がある。このような場合、被写体位置算出部１０７において、抽出形状に付与されていない識別子と同一の識別子である被写体位置情報は更新しない。これにより、複数の被写体が近づくなどにより抽出形状が重畳した場合でも、複数の被写体位置情報が同一の位置にならない。この場合、複数の被写体位置は、前時刻までのそれぞれの位置が維持される。その後、被写体同士が離れることにより、重畳した複数の抽出形状が再度分離した場合、それぞれの抽出形状に対して、もっとも最近の被写体位置に基づき識別子が割り当てされる。すなわち、複数の抽出形状の重畳が解消されたことに応じて、それぞれの被写体位置情報の更新が再開される。

以上の処理により、画像処理システムは、複数の被写体が撮影領域にいる場合でも、個々の被写体を追跡することや個々の被写体の位置情報を取得することができる。さらには、以上の処理により、画像処理システムは、被写体が近づいたり離れたりするなどして、生成された３Ｄモデルモデルに重畳や分離が発生する場合においても、個々の被写体を追跡することができる。

（関心対象決定処理）
図６は、実施形態１における関心対象決定部１１０が関心対象を決定する処理を示すフローチャートである。また、本実施形態では、バスケットボールの仮想視点画像の生成の際に関心対象を決定する例を説明する。このとき関心対象候補は両チームのバスケットゴールとし、予め記憶部１０８から関心対象候補の位置情報を取得しているものとする。なお、本処理は毎フレーム実施される。

図７は、本実施形態における各被写体の速度ベクトルと平均速度ベクトルを示す図である。図７（ａ）に示すように座標軸ｘ、ｙを定め、コート中央を原点（０，０）とし、ｘ軸上にバスケットゴールがあるものとする。

ステップＳ６０１では、関心対象決定部１１０は、被写体位置検出部１１４が検出し記憶部１０８に記録した被写体位置情報から、時刻指示部１１１より指示された時刻に基づいて被写体位置情報を取得する。このとき、指定された時刻の被写体位置情報のみではなく、その時刻の前後数フレーム～数十フレームの被写体位置情報を取得する。以降のＳ６０２からＳ６０５までは、各被写体について処理を行う。

ステップＳ６０２では、ある被写体が演算対象の被写体か否か判定する。具体的には、位置情報に含まれる被写体を識別するための識別子に対応する種類と、演算対象情報が合致するかに基づき、以後の処理を行うか否かの判定を行う。演算対象情報とは関心対象決定処理の演算対象を指定する情報であり、被写体の識別子に対応する種類を指定する情報となっている。例えば識別子に対応する種類が選手である被写体を演算対象とするといった演算対象情報を生成し、あらかじめ記憶部１０８ないしは、関心対象決定部１１０に記録しておく。その場合、種類が審判員およびボールとなっている被写体を演算対象から外すことで関心対象決定処理からは除外することができる。

ステップＳ６０３では、演算対象と判定された被写体の位置情報のフィルタ処理を行う。具体的にはＳ６０１で取得した複数フレーム分の位置情報を平均化した位置情報を算出する。これにより被写体位置検出部１１４の検出誤差によるブレを低減することができる。

ステップＳ６０４では、演算対象の被写体の時刻より過去の時刻、例えば１秒前の時刻およびその前後数フレーム～数十フレーム（所定の時間）の被写体位置情報を取得しその平均値を算出する。

ステップＳ６０５では、当該時刻の平均化処理後の位置情報から、過去の時刻の平均化後の位置情報を引いたうえで、当該時刻と過去の時刻の時間差、ここでは１秒間でその位置情報の差分を割ることで、当該時刻の単位時間の位置偏差（位置変化）を求める。この単位時間の位置偏差の大きさは移動速度であり、２次元平面上のベクトルの向きは被写体の移動方向となる。上記Ｓ６０２～Ｓ６０５の処理を各被写体に対して行う。全被写体に対して処理が完了した場合、Ｓ６０６に進む。

ステップＳ６０６では、得られた全演算対象の被写体の速度ベクトルの平均速度ベクトルを算出する。図７（ｂ）には、算出された全演算対象の被写体の平均速度ベクトルを示している。本実施形態では、この平均速度ベクトルに含まれるゴール方向の成分を求める。具体的には、ゴールの方向はｘ軸の正負の方向なので、平均速度ベクトルを（１，０）のベクトルに正射影して得られたベクトルの向きと大きさを求める。

ステップＳ６０７では、Ｓ６０６で算出した平均速度ベクトルが関心対象決定条件を満たすか否か判定する。関心対象決定条件は、撮像対象ごとに異なることを想定している。本実施形態では、平均速度ベクトルをゴール方向に射影して得られたベクトルが関心対象決定条件を満たすか否か判定する。なお、関心対象が決まっていない初期状態の場合、関心対象決定条件を満たすか否かを寄らず、Ｓ６０８に進む。本実施形態では、関心対象決定条件は、平均速度ベクトルをゴール方向に射影して得られたベクトルの向きが現在の関心対象を向いているか、およびベクトルの大きさが所定の大きさより大きいか否かとする。現在の関心対象が決定されている場合、正射影したベクトルの向きと大きさに基づき関心対象変更の判定を行う。正射影したベクトルが正方向を向いており、所定の大きさ以上であり、なおかつ現在の関心対象がｘ軸正側ゴール７１ではない場合、Ｓ６０８に進む。また、ベクトルが負方向を向いており、所定の大きさ以上であり、なおかつ現在注目しているゴールがｘ軸負側ゴール７２ではない場合、Ｓ６０８に進む。双方いずれの条件にも当てはまらない場合は現在の関心対象のまま変更を行わずに、現在のフレームにおける関心対象を決定する処理を終了する。

ステップＳ６０８では、複数の関心対象候補のうち、平均速度ベクトルに基づいて１つの関心対象を決定する。なお、関心対象が決まっていない初期状態の場合、平均速度ベクトルの向きに直線を伸ばし、その直線に最も近い関心対象を特定する。また、その直線に最も近い関心対象が複数存在する場合、注目対象の被写体の位置に最も近い関心対象を特定する。あるいは、予めユーザ操作により関心対象の初期値が設定されていてもよい。本実施形態では、正射影したベクトルの向きと大きさに基づき関心対象変更の判定を行う。正射影したベクトルが正方向を向いており、所定の大きさ以上であり、なおかつ現在の関心対象がｘ軸正側ゴール７１ではない場合、ゴール７１を関心対象として決定（特定）する。また、ベクトルが負方向を向いており、所定の大きさ以上であり、なおかつ現在注目しているゴールがｘ軸負側ゴール７２ではない場合、ゴール７２を関心対象として決定する。

このようなＳ６０１～Ｓ６０８の処理を毎フレーム行うことで、全被写体の動きを検出して関心対象を決定する。関心対象決定部１１０はこの決定した、関心対象の情報を視点生成部１０９に出力する。

視点生成部１０９は前述のとおり、被写体と関心対象を結ぶ直線上から所定角度回転させた方向に、仮想視点を配置する。関心対象がゴール７１からゴール７２に切り替わった際には、即座に視点が切り替わるのではなく、現在角度と切り替わり後の角度を求めたうえで、所定時間かけてこの角度差分回転し仮想視点を補完する。これにより、関心対象の切り替わりの際に視聴者が現在注目している関心対象が切り替わったことを正しく認識できるようにする。

このように本開示により、バスケットボールなどスポーツにおいて、全被写体の動きから攻守の切り替わりを検出することができ、それに合わせて視点生成部１０９が攻撃側のゴールをとらえるような仮想視点を自動で生成することが可能となる。これにより、ユーザが指定した被写体を追従し、仮想視点画像に含みつつ、シーンに適した仮想視点画像が制作可能となる。

なお、本実施形態ではＳ６０６で平均速度ベクトルのゴール方向成分を算出したが、どの方向成分を算出するかは撮像対象や関心対象候補によって異なるものとする。例えば、陸上の１００ｍ走を撮像対象とする場合、スタートからゴールまでの直線をｘ軸方向とする。このように平均速度ベクトルをどの方向成分に算出するかは、撮像対象や関心対象によって異なる。そのため、例えば、複数の関心対象候補の組み合わせが決まっている場合、その組み合わせに対し、所定の成分方向を予め設けて記憶しておいてもよい。

なお、本実施形態ではＳ６０６で平均速度ベクトルのゴール方向の成分を算出したが、これに限定されない。平均速度ベクトルの向きから関心対象を特定してもよい。具体的には、平均速度ベクトルの向きに直線を設け、直線に最も近い関心対象を特定する。なお、直線に最も近い関心対象候補が複数存在する可能性も存在する。その場合、さらに注目する被写体の位置に最も近い関心対象を特定する。これにより、複数の関心対象候補から１つの関心対象を特定することができる。

（実施形態１のその他の形態）
本実施形態において被写体位置検出部１１４として、形状推定結果に基づいた被写体位置検出手段の説明を行ったが、本開示はこの被写体の位置を検出する方法に限定するものではない。例えば選手にＧＰＳなどの位置センサを取り付けたうえで、そのセンサ値を取得する構成でも良いし、そのほかにも複数の撮像手段より得られる画像から画像認識技術を用いて被写体位置を検出する構成としてもよい。

また、本実施形態においては仮想視点画像生成時に関心対象決定部１１０が毎フレーム、速度および移動方向を計算する構成としたが必ずしもこれに限定するものではない。例えば、被写体位置検出部１１４で位置を検出するとともに、各被写体の速度ベクトル算出を行い、記憶部１０８に記録する構成としてもよい。この場合、関心対象決定部１１０は各被写体の速度ベクトルを記憶部１０８から取得し、関心対象の決定を行ってもよい。

本実施形態においては、位置情報のフィルタ処理として、平均化処理を行うとしたがこれに限定するものではない。例えば、ＩＩＲフィルタやＦＩＲフィルタなどのローパスフィルタを用いてもよい。ただし、都度速度などを計算する構成の場合、ローパスフィルタを用いると、仮想視点画像を再生する時刻を不連続に変更した場合に値が正しくなくなるので、そのような構成の場合、前述したように近傍の時刻の情報を取得したうえで平均化することが望ましい。

本実施形態では、例としてバスケットボールを例としたが、サッカーやラグビーなどの競技に適用してもよい、例えばサッカーの場合バスケットボールに比べて試合の展開が遅く選手全体が比較的停止した時間が長い場合がある。そうした場合には、被写体（選手）がフィールドのどちら側に多くいるかを判定し、その判定結果と被写体の速度ベクトルとを複合的に判断して関心対象を決定してもよい。

＜実施形態２＞
実施形態１では、選手である全被写体の平均速度ベクトルから関心対象を決定した。しかしながら、選手１人の動きに基づいて、関心対象を決定してもよい。例えば、野球の走者を追従するような仮想視点画像を生成する場合、走者の動きに着目して関心対象を決定してもよい。本実施形態では、撮像対象を野球とした例を説明する。本実施形態では、ブロック図は図１と同様であり、特に説明がない構成要素は実施形態１と同様であるため説明を省略する。

図９は、実施形態２における関心対象決定部１１０が関心対象を決定する処理を示すフローチャートである。なお、本処理は毎フレーム実施される。

図１０は、実施形態２における関心対象候補と判定領域（所定の領域）の一例を示す図である。本実施形態では、野球のホームベース１００５および一塁１００６、二塁１００７、三塁１００８の各ベースを関心対象候補とする。

ステップＳ９０１では、関心対象決定部１１０は、図示しないユーザインターフェースに対するユーザ操作により、第一の判定領域１００１と第二の判定領域１００２、第三の判定領域１００３、第四の判定領域１００４が設定される。このとき、各判定領域と結び付ける関心対象候補が設定される。具体的には、第一の判定領域１００１には、ホームベース１００５と一塁１００６が結び付けられる。他も同様に、第二の判定領域１００２には一塁１００６と二塁１００７が、第三の判定領域１００３には二塁１００７と三塁１００８が、第四の判定領域１００４には三塁１００８とホームベース１００５がそれぞれ結び付けられる。また、関心対象決定部１１０は判定領域に結びつけられた関心対象候補の位置情報を取得し、二つ関心対象候補を結ぶ方向ベクトルを求める。例えば第二の判定領域１００２の場合、一塁１００６から二塁１００７を結ぶ単位方向ベクトルを求める。このとき単位方向ベクトルは二塁方向を示すベクトルとなる。なお、これら判定領域と関心対象候補の位置情報は条件情報として管理され、関心対象部１１０に記憶されていてもよいし、記憶部１０８に記憶されていてもよい。なお、Ｓ９０１は、毎フレーム実施せずに、関心対象を決定する最初のフレームのみ実施する。なお、これに限定されず、ユーザの任意のタイミングによりＳ９０１が実施されてもよい。

ステップＳ９０２では、関心対象決定部１１０は、被写体位置検出部１１４が検出し記憶部１０８に記録した被写体位置情報から、時刻指示部１１１より指示された時刻に基づいた被写体位置情報を取得する。

ステップＳ９０３では、実施形態１同様に、当該被写体の速度ベクトルを求める。このとき実施形態１同様に、取得した被写体の位置情報に対してはフィルタ処理を行うものとする。

ステップＳ９０４では、関心対象決定部１１０は、当該被写体があらかじめ設定された４つの判定領域のいずれの領域内に存在しているか判定する。本実施形態では、第二の判定領域１００２内に当該被写体がいる場合として説明を行う。次に第二の判定領域１００２に対応づいた複数の関心対象候補を特定する。本実施形態では、一塁１００６と二塁１００７が関心対象候補となる。

ステップＳ９０５では、Ｓ９０３にて算出した速度ベクトルが関心対象決定条件を満たすか否かを判定する。なお、実施形態１と同様に関心対象が決まっていない初期状態の場合、関心対象決定条件を満たすか否かに寄らず、Ｓ９０６に進む。関心対象決定部１１０は、被写体の速度ベクトルを判定領域に結びつけられた単位方向ベクトルに正射影して得られたベクトルの向きと大きさを求める。本実施形態では、関心対象決定条件は、正射影して得られたベクトルの大きさが所定の大きさより大きいか否かとする。正射影して得られたベクトルの大きさが所定の大きさより大きい場合、Ｓ９０６に進み、正射影して得られたベクトルの大きさが所定の大きさ以下の場合、処理を終了する。

ステップＳ９０６では、Ｓ９０４で特定した複数の関心対象候補のうち、平均速度ベクトルに基づいて１つの関心対象を決定する。なお、関心対象が決まっていない初期状態の場合の処理は、実施形態１と同様とする。正射影して得られたベクトルの大きさが所定よりも大きく、正射影して得られたベクトルの向きが前述の単位方向ベクトルと同じ二塁方向の場合は、二塁１００７を関心対象と決定する。また、正射影して得られたベクトルの向きが単位方向ベクトルと逆向きの場合は、一塁１００６を関心対象と決定する。このＳ９０２～Ｓ９０６の処理を毎フレーム行うことで、選手の動きに追従しつつも適切な関心対象に注目した仮想視点が生成できる。

図１１は、実施形態２における被写体と関心対象と仮想視点の動きを示す図である。具体的に選手（走者）の動きと関心対象の切り替えに関して図１１を用いて説明する。ここでは走者１１０１が図１１（ａ）に示すように一塁１００６付近にいる状態として説明する。走者１１０１が一塁１００６付近にいる際には、そこに至るまでに、第一の判定領域１００１を通過してきているため、現在注目している関心対象は一塁１００６となっている。このとき、走者１１０１はリードを行い第二の判定領域１００２に侵入するが、低速での移動のため関心対象は一塁１００６のままとなる。このときの視点生成部１０９が生成する仮想視点は、図１１（ａ）で示すような走者１１０１の斜め後方から走者１１０１と一塁１００６を映す仮想視点１１０２となる。次に走者１１０１が進塁しようとして走りだし、速度が所定の速度以上になると、注目する関心対象が二塁１００７に切り替わる。これにより走者１１０１に追従している仮想視点１１０２が図１１（ｂ）の破線の矢印１１０３のように走者１１０１の周りを回転し、走者１１０１に追従しつつも走者１１０１の肩越しに二塁１００７が映る仮想視点１１０２へ自動的に遷移する。また例えば、進塁の途中で走者１１０１が一塁１００６に戻ろうとした場合、注目する関心対象は一塁１００６に切り替わり、走者１１０１と一塁１００６を含む仮想視点１１０２へ遷移する。次に、進塁が成功しさらにそのまま三塁１００８への進塁しようとした場合、走者１１０１は第三の判定領域１００３内に入る。これにより第三の判定領域１００３に結び付けられている、二塁１００７と三塁１００８で定義される単位方向ベクトルに基づき移動方向と速度の判定が行われる。その結果、第三の判定領域１００３に入った時点で注目する関心対象が三塁１００８となり、図１１（ｃ）に示すように仮想視点１１０２が走者１１０１と三塁１００８を含むような位置へ移動する。

このように本開示を適用することにより、複数の関心対象候補のうち、選手の位置および速度情報に基づいて適切な関心対象を特定することができるようになり、特定した関心対象を基に視点生成部１０９が適切な仮想視点を生成可能となる。これにより仮想視点を操作するオペレータがいなくてもシチュエーションに合わせた適切なカメラワークを作成することが可能となる。

（実施形態２のその他の形態）
実施形態１同様に被写体位置検出部１１４はＧＰＳや画像認識など別の位置検出手法を用いるものであってもよい。

本実施形態では視点生成部１０９が生成する仮想視点は、被写体を背後から追従する仮想視点として説明したがこれに限定するものではない。注目している被写体と、注目すべき関心対象の情報を用いて仮想視点を生成する物であればどのようなものであってもよい。例えば、関心対象となっているベース付近に仮想視点を配置し、追跡対象の被写体を待ち受けて画角に収まるようにカメラワークを作成する視点生成部１０９であってもよい。この場合、関心対象の切り替わりに伴い、追跡対象の被写体を正面から捉えながら仮想視点の配置が関心対象となるベース付近に遷移するのが望ましい。

本実施形態では、視点生成部１０９により自動的に仮想視点が生成され、オペレータは不要であるとしたが必ずしもこれに限定するものではない。例えば視点生成部１０９で生成する仮想視点の選手との距離や配置する高さ、画角といったものをオペレータが図示しないユーザインターフェースによって操作できる構成としてもよい。こうすることで被写体と関心対象を画角に収めるのは視点生成部１０９が担うが、画角などの構図に関してはオペレータがコントロールできる構成とすることができるのでより望ましい。

本実施形態では野球に適用したが、ソフトボールやそのほかにも選手のいる位置により、仮想視点に含めたい仮想視点が切り替わるようなスポーツ競技に適用してもよい。

本実施形態では、関心対象候補を背景モデルとし、ユーザが指定した被写体の位置と関心対象の重心位置とにより仮想視点の位置及び向きを決定したが、これに限定されない。例えば、関心対象候補の背景モデルに対し、重心位置と異なる三次元位置が対応付けられていてもよい。その場合、ユーザが指定した被写体の位置と関心対象に対応する三次元位置とに基づいて仮想視点の位置及び向きを決定する。このような処理は、バスケットボールのゴールなど、背景モデルの重心位置と異なる位置にゴールネットがある場合に、シーンに適した仮想視点を容易に設定できるようになる。なお、背景モデルに対応する三次元位置は被写体の重心位置と同じ高さに設定してもよい。例えば、関心対象が野球のベースの場合、床面に存在することになり、床面を向いた仮想視点に対応する仮想視点画像を生成してしまう虞がある。そのため、背景モデルに対応する三次元位置の高さを調整することにより、シーンに適した仮想視点を容易に設定できるようにする。

（その他の構成）
図１に示した各処理部はハードウェアで構成しているものとして上記実施形態では説明した。しかし、これらの図に示した各処理部で行う処理をコンピュータプログラムで構成しても良い。

図１２は、上記各実施形態に係る間接位置推定装置に適用可能なコンピュータのハードウェアの構成例を示すブロック図である。

ＣＰＵ１２０１は、ＲＡＭ１２０２やＲＯＭ１２０３に格納されているコンピュータプログラムやデータを用いてコンピュータ全体の制御を行うと共に、上記各実施形態に係る間接位置推定装置が行うものとして上述した各処理を実行する。即ち、ＣＰＵ１２０１は、図１に示した各処理部として機能することになる。

ＲＡＭ１２０２は、外部記憶装置１２０６からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ（インターフェース）１２０７を介して外部から取得したデータなどを一時的に記憶するためのエリアを有する。更に、ＲＡＭ１２０２は、ＣＰＵ１２０１が各種の処理を実行する際に用いるワークエリアを有する。即ち、ＲＡＭ１２０２は、例えば、フレームメモリとして割り当てたり、その他の各種のエリアを適宜提供したりすることができる。

ＲＯＭ１２０３には、本コンピュータの設定データや、ブートプログラムなどが格納されている。操作部１２０４は、キーボードやマウスなどにより構成されており、本コンピュータのユーザが操作することで、各種の指示をＣＰＵ１２０１に対して入力することができる。出力部１２０５は、ＣＰＵ１２０１による処理結果を表示する。また出力部１２０５は例えば液晶ディスプレイで構成される。たとえば視点生成部１０９は操作部１２０４で、表示部１１３は出力部１２０５で構成される。

外部記憶装置１２０６は、ハードディスクドライブ装置に代表される、大容量情報記憶装置である。外部記憶装置１２０６には、ＯＳ（オペレーティングシステム）や、図１に示した各部の機能をＣＰＵ１２０１に実現させるためのコンピュータプログラムが保存されている。更には、外部記憶装置１２０６には、処理対象としての各画像データが保存されていても良い。

外部記憶装置１２０６に保存されているコンピュータプログラムやデータは、ＣＰＵ１２０１による制御に従って適宜、ＲＡＭ１２０２にロードされ、ＣＰＵ１２０１による処理対象となる。Ｉ／Ｆ１２０７には、ＬＡＮやインターネット等のネットワーク、投影装置や表示装置などの他の機器を接続することができ、本コンピュータはこのＩ／Ｆ１２０７を介して様々な情報を取得したり、送出したりすることができる。実施形態１においては、撮像部１０１がこれに接続され、撮像された画像を入力したり、それぞれを制御したりする。１２０８は上述の各部を繋ぐバスである。

上述の構成からなる作動は前述の実施形態で説明した作動をＣＰＵ１２０１が中心となってその制御を行う。

尚、本実施形態における制御の一部または全部を上述した実施形態の機能を実現するコンピュータプログラムをネットワーク又は各種記憶媒体を介して画像処理システム等に供給するようにしてもよい。そしてその画像処理システム等におけるコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行するようにしてもよい。その場合、そのプログラム、および該プログラムを記憶した記憶媒体は本開示を構成することとなる。

なお、本実施形態の開示は、以下の構成、方法およびプログラムを含む。

（構成１）複数の撮像装置により撮像される撮像領域に含まれる被写体の位置を示す位置情報を取得する取得手段と、
前記被写体の移動方向に基づいて、複数の関心位置のうち１つの関心位置を特定する特定手段と、
前記特定手段により特定された前記関心位置と前記被写体の位置とに基づいて、前記被写体に関連する仮想視点画像に対応する仮想視点の位置と、前記仮想視点からの視線方向を決定する決定手段と
を有することを特徴とする情報処理装置。

（構成２）前記位置情報は、複数の被写体の位置を示し、
前記特定手段は、前記複数の被写体の移動方向に基づいて、前記複数の関心位置のうち１つの関心位置を特定することを特徴とする構成１に記載の情報処理装置。

（構成３）前記特定手段は、前記複数の被写体の移動方向および移動速度に基づいて、前記複数の関心位置のうち１つの関心位置を特定することを特徴とする構成２に記載の情報処理装置。

（構成４）前記複数の被写体は、第１種類と第２種類とを含む複数の種類に分類され、
前記特定手段は、前記第１種類に対応する前記複数の被写体の移動方向に基づいて、前記複数の関心位置のうち１つの関心位置を特定することを特徴とする構成２に記載の情報処理装置。

（構成５）前記複数の撮像装置は、競技を撮像し、
前記第１種類は、選手であり、
前記第２種類は、審判員であることを特徴とする構成４に記載の情報処理装置。

（構成６）前記取得手段は、三次元空間上の所定の領域と対応した前記複数の関心位置を示す条件情報を取得し、
前記特定手段は、前記条件情報が示す前記所定の領域内に前記被写体が位置する場合、前記所定の領域と対応した前記複数の関心位置から１つの関心位置を特定することを特徴とする構成１に記載の情報処理装置。

（構成７）前記被写体の移動方向は、所定の時間における前記被写体の位置変化に基づいて特定されることを特徴とする構成１に記載の情報処理装置。

（構成８）前記関心位置は、ユーザ操作に基づいて設定されることを特徴とする構成１に記載の情報処理装置。

（構成９）前記関心位置は、背景モデルに対応づいていることを特徴とする構成１に記載の情報処理装置。

（構成１０）前記背景モデルは、静止物体であることを特徴とする構成９に記載の情報処理装置。

（構成１１）前記背景モデルは、バスケットボールのゴールであることを特定する構成１０に記載の情報処理装置。

（構成１２）前記決定手段は、前記被写体の位置から前記関心位置に伸ばした半直線に基づいて、前記仮想視点の位置および前記仮想視点からの視線方向を決定することを特徴とする構成１に記載の情報処理装置。

（構成１３）前記決定手段は、前記被写体の位置から前記関心位置に伸ばした半直線と、前記仮想視点からの視線方向とが成す角度が所定の角度になるように、前記仮想視点の位置および前記仮想視点からの視線方向を決定することを特徴とする構成１２に記載の情報処理装置。

（構成１４）前記決定手段は、前記仮想視点画像に前記被写体と前記関心位置とを含むように、前記仮想視点の位置および前記仮想視点からの視線方向を決定することを特徴とする構成１に記載の情報処理装置。

（方法）複数の撮像装置により撮像される撮像領域に含まれる被写体の位置を示す位置情報を取得する取得工程と、
前記被写体の移動方向に基づいて、複数の関心位置のうち１つの関心位置を特定する特定工程と、
前記特定工程により特定された前記関心位置と前記被写体の位置とに基づいて、前記被写体を含む仮想視点画像に対応する仮想視点の位置と、前記仮想視点からの視線方向とを決定する決定工程と
を有することを特徴とする情報処理方法。

（プログラム）コンピュータを、構成１から構成１４のうちいずれか１項に記載の情報処理装置として機能させるためのプログラム。

１０４ 形状抽出部
１０５ 識別設定部
１０６ 追跡部
１０７ 被写体位置算出部
１０９ 視点生成部
１１０ 関心対象決定部
１１１ 時刻指示部

Claims (16)

1. 複数の撮像装置により撮像される撮像領域に含まれる被写体の位置を示す位置情報を取得する取得手段と、
   前記被写体の移動方向に基づいて、複数の関心位置のうち１つの関心位置を特定する特定手段と、
   前記特定手段により特定された前記関心位置と前記被写体の位置とに基づいて、前記被写体に関連する仮想視点画像に対応する仮想視点の位置と、前記仮想視点からの視線方向を決定する決定手段と
   を有することを特徴とする情報処理装置。
2. 前記位置情報は、複数の被写体の位置を示し、
   前記特定手段は、前記複数の被写体の移動方向に基づいて、前記複数の関心位置のうち１つの関心位置を特定することを特徴とする請求項１に記載の情報処理装置。
3. 前記特定手段は、前記複数の被写体の移動方向および移動速度に基づいて、前記複数の関心位置のうち１つの関心位置を特定することを特徴とする請求項２に記載の情報処理装置。
4. 前記複数の被写体は、第１種類と第２種類とを含む複数の種類に分類され、
   前記特定手段は、前記第１種類に対応する前記複数の被写体の移動方向に基づいて、前記複数の関心位置のうち１つの関心位置を特定することを特徴とする請求項２に記載の情報処理装置。
5. 前記複数の撮像装置は、競技を撮像し、
   前記第１種類は、選手であり、
   前記第２種類は、審判員であることを特徴とする請求項４に記載の情報処理装置。
6. 前記取得手段は、三次元空間上の所定の領域と対応した前記複数の関心位置を示す条件情報を取得し、
   前記特定手段は、前記条件情報が示す前記所定の領域内に前記被写体が位置する場合、前記所定の領域と対応した前記複数の関心位置から１つの関心位置を特定することを特徴とする請求項１に記載の情報処理装置。
7. 前記被写体の移動方向は、所定の時間における前記被写体の位置変化に基づいて特定されることを特徴とする請求項１に記載の情報処理装置。
8. 前記関心位置は、ユーザ操作に基づいて設定されることを特徴とする請求項１に記載の情報処理装置。
9. 前記関心位置は、背景モデルに対応づいていることを特徴とする請求項１に記載の情報処理装置。
10. 前記背景モデルは、静止物体であることを特徴とする請求項９に記載の情報処理装置。
11. 前記背景モデルは、バスケットボールのゴールであることを特定する請求項１０に記載の情報処理装置。
12. 前記決定手段は、前記被写体の位置から前記関心位置に伸ばした半直線に基づいて、前記仮想視点の位置および前記仮想視点からの視線方向を決定することを特徴とする請求項１に記載の情報処理装置。
13. 前記決定手段は、前記被写体の位置から前記関心位置に伸ばした半直線と、前記仮想視点からの視線方向とが成す角度が所定の角度になるように、前記仮想視点の位置および前記仮想視点からの視線方向を決定することを特徴とする請求項１２に記載の情報処理装置。
14. 前記決定手段は、前記仮想視点画像に前記被写体と前記関心位置とを含むように、前記仮想視点の位置および前記仮想視点からの視線方向を決定することを特徴とする請求項１に記載の情報処理装置。
15. 複数の撮像装置により撮像される撮像領域に含まれる被写体の位置を示す位置情報を取得する取得工程と、
    前記被写体の移動方向に基づいて、複数の関心位置のうち１つの関心位置を特定する特定工程と、
    前記特定工程により特定された前記関心位置と前記被写体の位置とに基づいて、前記被写体を含む仮想視点画像に対応する仮想視点の位置と、前記仮想視点からの視線方向とを決定する決定工程と
    を有することを特徴とする情報処理方法。
16. コンピュータを、請求項１から請求項１４のうちいずれか１項に記載の情報処理装置として機能させるためのプログラム。

Images