JP7708089B2 - 情報処理装置、情報処理方法及びコンピュータプログラム - Google Patents

Description

本開示は、情報処理装置、情報処理方法及びコンピュータプログラムに関する。

多視点映像に基づき、被写体の３次元モデルを生成する手法が知られている。例えば、前景画像と背景画像との差分を利用してシルエット画像を生成し、多視点のシルエット画像に視体積交差法を適用して交差領域を算出することによって、３次元モデルを生成する手法がある。

このようにして生成された３次元モデルを表示装置に表示した場合において、視聴者（ユーザ）が３次元モデルに含まれる任意の位置を指定し、例えばその位置をマーキングしたい要求がある。しかしながら、生成される３次元モデルの形状の精度が良くない場合（例えば３次元モデルの一部が欠けている場合）、被写体の３次元モデルのその位置を正確に指定することができない。また、指定したい位置が体の一部によって隠されている場合（例えば手によってふくらはぎが隠されている場合）も同様に、所望の位置を正確に指定することができない。

下記特許文献１は、３次元モデルを高精度に生成する方法が開示されている。しかしながら低品質の３次元モデルが生成された場合に、３次元モデルにおける所望の位置を正しく指定する方法に関しては記載されていない。

特開2018-195267号公報

本開示は、３次元モデルに含まれる任意の位置を高精度に指定できる情報処理装置、情報処理方法及びコンピュータプログラムを提供する。

本開示の情報処理装置は、複数の視点から被写体を撮像した複数の撮像画像に基づく前記被写体の３次元モデルを表示装置に表示する第１表示制御部と、前記複数の撮像画像のうち第１視点の第１撮像画像と第２視点の第２撮像画像とを前記表示装置に表示する第２表示制御部と、前記第１撮像画像において前記被写体に含まれる第１位置の位置情報を取得し、前記第２撮像画像において前記被写体に含まれる第２位置の位置情報を取得する位置取得部と、前記第１視点及び前記第２視点に関する情報と、前記第１位置の位置情報と、前記第２位置の位置情報とに基づき、前記３次元モデルに含まれる第３位置を算出する位置算出部と、前記第３位置の位置情報を前記３次元モデルに重畳して前記表示装置に表示する第３表示制御部と、を備える。

前記位置算出部は、前記第１視点の視線方向に応じて前記第１位置を投影した直線と、前記第２視点の視線方向に応じて前記第２位置を投影した直線とが交差する位置を算出してもよい。算出した位置は前記第３位置である。

前記位置算出部は、三角測量の原理に基づき前記第３位置を算出してもよい。

前記情報処理装置は、前記複数の撮像画像から前記３次元モデルを視聴するユーザの視点に最も近い２つの視点の撮像画像を選択する画像選択部を備え、
前記第２表示制御部は、前記画像選択部により選択された前記第１撮像画像及び前記第２撮像画像を表示してもよい。

前記情報処理装置は、前記第１撮像画像及び前記第２撮像画像を指定する選択情報に基づき前記第１撮像画像及び前記第２撮像画像を選択する画像選択部を備え、
前記第２表示制御部は、前記画像選択部により選択された前記第１撮像画像及び前記第２撮像画像を表示してもよい。

前記情報処理装置は、前記第１撮像画像及び前記第２撮像画像の少なくとも一方の拡大又は縮小を指示する指示情報を取得する指示情報取得部を備え、
前記第２表示制御部は、前記指示情報に基づき、前記第１撮像画像及び前記第２撮像画像の少なくとも一方を拡大又は縮小してもよい。

前記位置取得部は、前記第１撮像画像が拡大された状態でユーザの操作装置から前記第１位置の位置情報を取得し、前記第２撮像画像が拡大された状態で前記操作装置から前記第２位置の位置情報を取得してもよい。

前記情報処理装置は、前記第１撮像画像及び前記第２撮像画像の少なくとも一方の表示のオン又はオフを指示する指示情報を取得する指示情報取得部を備え、
前記第２表示制御部は、前記指示情報に基づいて、前記第１撮像画像及び前記第２撮像画像の少なくとも一方の表示のオン又はオフを切り替えてもよい。

前記第２表示制御部は、前記第１位置の位置情報を前記第１撮像画像に重畳して前記表示装置に表示し、
前記第２表示制御部は、前記第２位置の位置情報を前記第２撮像画像に重畳して前記表示装置に表示してもよい。

前記情報処理装置は、前記第１視点と前記第２視点に関する前記情報と、前記第１位置の位置情報とに基づき、前記第２位置の候補を含むガイド情報を生成するガイド情報生成部と、
前記ガイド情報を前記第２撮像画像に重畳して前記表示装置に表示する第４表示制御部と、
を備えてもよい。

前記ガイド情報は、エピポーラ線でもよい。

前記情報処理装置は、前記第３位置の位置情報の移動を指示する指示情報を取得する指示情報取得部を備え、
前記第３表示制御部は、前記指示情報に基づき前記第３位置の位置情報を移動させ、
前記第２表示制御部は、前記第３位置の位置情報の移動に応じて、前記第１位置の位置情報と前記第２位置の位置情報を移動させてもよい。

本開示の情報処理方法は、複数の視点から被写体を撮像した複数の撮像画像に基づく前記被写体の３次元モデルを表示装置に表示し、
前記複数の撮像画像のうち第１視点の第１撮像画像と第２視点の第２撮像画像とを前記表示装置に表示し、
前記第１撮像画像において前記被写体に含まれる第１位置の位置情報を取得し、前記第２撮像画像において前記被写体に含まれる第２位置の位置情報を取得し、
前記第１視点及び前記第２視点に関する情報と、前記第１位置の位置情報と、前記第２位置の位置情報とに基づき、前記３次元モデルに含まれる第３位置を算出し、
前記第３位置の位置情報を前記３次元モデルに重畳して前記表示装置に表示する。

本開示のコンピュータプログラムは、複数の視点から被写体を撮像した複数の撮像画像に基づく前記被写体の３次元モデルを表示装置に表示するステップと、
前記複数の撮像画像のうち第１視点の第１撮像画像と第２視点の第２撮像画像とを前記表示装置に表示するステップと、
前記第１撮像画像において前記被写体に含まれる第１位置の位置情報を取得し、前記第２撮像画像において前記被写体に含まれる第２位置の位置情報を取得するステップと、
前記第１視点及び前記第２視点に関する情報と、前記第１位置の位置情報と、前記第２位置の位置情報とに基づき、前記３次元モデルに含まれる第３位置を算出するステップと、
前記第３位置の位置情報を前記３次元モデルに重畳して前記表示装置に表示するステップと、
をコンピュータに実行させる。

第１実施形態に係る情報処理装置を備えた情報処理システムのブロック図。 あるフレームにおける３次元モデルを含む３次元画像の表示例を示す図。 画像選択部が選択したある視点の撮像画像の例を示す図。 画像選択部が選択した別の視点の撮像画像の例を示す図。 図３及び図４の撮像画像を縮小して、図２の３次元画像に合成した例を示す図。 拡大表示された撮像画像においてユーザが第１特徴点を選択した状態を示す図。 拡大表示された撮像画像においてユーザが第２特徴点を選択した状態を示す図。 第１特徴点及び第２特徴点の選択が完了した後の表示状態を示す図。 三角測量の演算例を模式的に示す図。 ３次元画像に対象点を表示した例を示す図。 図１０の表示状態において、撮像画像の表示をオフにした例を示す図。 第１実施形態に係る情報処理装置の動作の一例のフローチャート。 ３次元モデルの一部（頭部）が欠けている例を示す図。 ３次元モデルの欠けている部分において対象点を特定した例を示す図。 ２つの対象点を算出して３次元モデルに重畳して表示した例を示す図。 あるフレームに対応する３次元画像を表示した例を示す図。 図１６の表示状態から複数フレーム後の３次元画像の表示例を示す図。 第２実施形態に係る情報処理装置を備えた情報処理システムのブロック図。 エピポーラ線の説明図。 撮像画像にエピポーラ線を重畳して表示した例を示す図。 第２実施形態に係る情報処理装置の動作の一例のフローチャート。 第２実施形態の変形例を説明する図。 第２実施形態の変形例を説明する図。 第２実施形態の変形例を説明する図。 情報処理装置のハードウェア構成の一例を示す図。 第３実施形態に係る自由視点映像伝送システムの例を示す図。 符号化システムのブロック図。 画像取得部の構成例を示す図。 復号化システムのブロック図。

以下、図面を参照して、本開示の実施形態について説明する。本開示において示される１以上の実施形態において、各実施形態が含む要素を互いに組み合わせることができ、かつ、当該組み合わせられた結果物も本開示が示す実施形態の一部をなす。

（第１実施形態）
図１は、第１実施形態に係る情報処理装置を備えた情報処理システム１００のブロック図である。図１の情報処理システム１００の概要について説明する。

まず本実施形態の課題について説明する。予め複数の視点から被写体を撮像した複数の撮像画像（カメラ画像）に基づき、被写体の３次元モデルを表す３次元モデル情報を生成しておく。情報処理装置１０１は、被写体の３次元モデル情報を含む３次元画像を表示部３０１に表示する。情報処理装置１０１の操作者又は視聴者であるユーザは、表示された３次元モデルにおいて任意の位置（所望の位置）を指定し、例えば指定した位置をマーキングしたい要求がある。しかしながら、３次元モデルの生成の精度に起因して３次元モデルの一部が欠けている場合や、３次元モデルにおいて指定したい位置が３次元モデルの別の部分によって隠されている場合、ユーザは指定したい位置を正確に指定できない。本実施形態では以下の手法によりこの問題を解決することを特徴の１つとする。

情報処理装置１０１は、３次元モデルの生成元となった複数の撮像画像から視点の異なる２つの撮像画像を選択して、表示する。ユーザは、表示された２つの撮像画像において、３次元モデル内の所望の位置に対応する位置（第１位置、第２位置）を特定し、特定した位置を特徴点として選択する。

例えば３次元モデルが人間を表し、３次元モデルの頭部における特定の位置を指定したいとする。この場合、ユーザは、３次元モデルの頭部における特定の位置に対応する位置を、２つの撮像画像においてそれぞれ特定し、特定した位置（第１位置、第２位置）を特徴点として選択する。

情報処理装置１０１は、選択された２つの特徴点の位置情報（第１位置の位置情報、第２位置の位置情報）と、２つの撮像画像の各々の視点に関する情報（位置及び向き等）に基づき、三角測量の演算を行う。三角測量の演算により算出される位置（第３位置）を対象点として特定する。情報処理装置１０１は、対象点他方（第３位置の位置情報）を、３次元モデルに重畳して表示する。これにより、ユーザは３次元モデルにおいて所望の位置を正しく指定することが可能になる。
本実施形態では、３次元モデルにおいて所望の位置を正しく指定できない状況であっても、２つの撮像画像で互いに対応する特徴点を正しく選択すれば、三角測量の原理により２つの特徴点に対応する位置を対象点として高精度に指定できる。以下、本実施形態に係る情報処理システム１００について詳細に説明する。

図１の情報処理システム１００は、情報処理装置１０１、操作部２０１及び表示部３０１を備えている。

操作部２０１は、ユーザが各種指示又はデータを入力するための操作装置である。例えば操作部２０１は、キーボード、マウス、タッチパネル又はボタンなどの入力装置である。操作部２０１は情報処理装置１０１と同じ筐体に形成されていてもよい。例えば、情報処理装置１０１と操作部２０１を１台のスマートフォン、タブレット端末又はヘッドマウントディスプレイが備えるような構成でもよい。または、操作部２０１が情報処理装置１０１の筐体とは独立した装置として形成され、無線又は有線ケーブルにより情報処理装置１０１と接続されていてもよい。

表示部３０１は、液晶表示装置、有機ＥＬ表示装置又はプラズマ表示装置など、データを表示する表示装置である。表示部３０１は、一例として、ヘッドマウントディスプレイ、２次元モニタ、３次元モニタなどである。表示部３０１は、情報処理装置１０１と同じ筐体に形成されていてもよい。例えば、情報処理装置１０１及び表示部３０１を１台のスマートフォン、タブレット端末又はヘッドマウントディスプレイが備えるような構成でもよい。または、表示部３０１が、情報処理装置１０１の筐体とは独立したディスプレイとして構成され、無線又は有線ケーブルにより情報処理装置１０１と接続されていてもよい。

情報処理装置１０１は、情報記憶部１０、表示制御部２０、インタラクション検知部３０、位置記憶部４０、対象点算出部（三角測量演算部）５０及び画像選択部６０を備えている。情報処理装置１０１が備えるこれらの要素の一部又は全部は、ハードウェア、ソフトウェア又はこれらの組み合わせにより構成される。ハードウェアは、一例としてＣＰＵ等のプロセッサ又は専用の回路を含む。情報記憶部１０及び位置記憶部４０は、メモリ装置又はハードディスク装置等の記憶装置により構成される。情報記憶部１０及び位置記憶部４０は、情報処理装置１０１の外付け装置、あるいは通信ネットワーク上のサーバとして設けられてもよい。また、時刻をカウントする時計が、情報処理装置１０１に設けられていてもよい。

インタラクション検知部３０は、ユーザにより操作部２０１を介して入力される指示情報又はデータを検知する。インタラクション検知部３０は操作指示取得部３１と位置取得部３２とを備える。操作指示取得部３１は、操作部２０１から入力される各種の指示情報を検知する。検知された指示情報を、指示情報の種類に応じて、表示制御部２０又は画像選択部６０に出力する。位置取得部３２は、操作部２０１から撮像画像内においてユーザが選択した位置を特徴点として取得し、取得した特徴点の位置情報を位置記憶部４０に格納する。

情報記憶部１０は、複数の視点に対応する撮像カメラで被写体を撮像した複数の撮像画像（カメラ画像）をそれぞれ複数フレーム（複数の時刻）分格納している。複数の撮像画像はフレーム同期されている。複数の撮影画像に撮影時刻の情報が付与されていており、撮影時刻に基づき複数の撮影画像がフレーム同期されていてもよい。撮像画像はカラー画像であり、一例としてＲＧＢ画像である。１つの視点の複数フレーム分の撮像画像は、当該視点の動画像に対応する。

情報記憶部１０は、複数の視点の撮像画像に基づくモデリングにより生成された被写体の３次元モデルを表す３次元モデル情報を記憶している。３次元モデル情報は、被写体の３次元形状を表すデータである。視点ごとに上記撮像画像がＭフレーム存在する場合、３次元モデル情報も同様にＭ個存在する。但しフレーム数と３次元モデル情報の個数は一致していなくてもよい。３次元モデルは、複数の視点の撮像画像に基づくＶｉｓｕａｌ Ｈｕｌｌ等のモデリング手法により生成できる。以下、３次元モデルを生成する例について説明する。

予め複数の視点に対応する複数の撮像カメラについて、キャリブレーションによりカメラパラメータを算出しておく。カメラパラメータは、内部パラメータと外部パラメータとを含む。内部パラメータは撮像カメラ固有のパラメータであり、一例として、カメラレンズの歪み、イメージセンサとレンズの傾き（歪収差係数）、画像中心、画像サイズを含む。外部パラメータは、複数の撮像カメラの位置関係（撮影カメラの位置及び向き等）、世界座標系におけるレンズの中心座標（Translation）、当該レンズの光軸の方向（Rotation）等を含む。キャリブレーションの手法としては、チェスボードを用いるZhangの手法、３次元物体を撮像してカメラパラメータを求める手法、プロジェクタで投影画像を使ってカメラパラメータを求める手法などがある

複数の視点に対応する撮像画像を、複数の撮像カメラの内部パラメータを用いて補正する。複数の撮像カメラのうちの１つを基準カメラとして、残りを参照カメラとする。参照カメラの撮像画像のフレームを、基準カメラの撮像画像のフレームに同期させる。

複数の撮像画像に対して、前景画像（被写体の画像）と背景画像との差分を利用して、背景差分処理により、被写体のシルエット画像を生成する。シルエット画像は、一例として、撮像画像に被写体が含まれている範囲を示すシルエットを２値化することにより表される。

複数のシルエット画像、及びカメラパラメータを用いて、被写体のモデリングを行う。モデリングには、例えばＶｉｓｕａｌ Ｈｕｌｌ法を用いることができる。Ｖｉｓｕａｌ Ｈｕｌｌ法では、各シルエット画像をもとの３次元空間に逆投影して、それぞれの視体積の交差部分をＶｉｓｕａｌ Ｈｕｌｌとして求める。Ｖｉｓｕａｌ Ｈｕｌｌのボクセルデータに対してマーチングキューブ法などを適用することで、複数のメッシュを作成する。

メッシュを構成する各点（Vertex）の３次元位置と、各点のつながり（Polygon）を示す幾何情報（Geometry）とを、３次元形状データ（ポリゴンモデル）として生成する。ポリゴンデータにより３次元形状データを構成することで、ボクセルデータの場合よりもデータ量を低減できる。ポリゴンモデルにスムージング処理を行うことで、ポリゴンの表面を滑らかにしてもよい。

３次元形状データの各メッシュに、メッシュの画像を重ね合わせるテクスチャマッピングを行い、テクスチャマッピング後の３次元形状データを、被写体の３次元モデルを表す３次元モデル情報とする。但し、テクスチャマッピングされていない３次元形状データを３次元モデル情報としてもかまわない。

３次元モデルの生成方法は上述した方法に限定されるものではなく、複数の視点に対応する複数の撮像画像から生成されるものであれば、どのような方法を用いてもよい。

情報記憶部１０は、３次元モデル情報及び複数の視点の撮像画像以外にも、カメラパラメータなど、他の情報を記憶していてもよい。また、３次元モデルを表示する背景画像のデータを複数の視点について格納していてもよい。

表示制御部２０は、モデル表示制御部（第１表示制御部）２１と、画像表示制御部（第２表示制御部）２２と、対象点表示制御部（第３表示制御部）２３とを備えている。

モデル表示制御部２１は、操作指示取得部３１から提供されるユーザの指示情報に基づいて、情報記憶部１０から３次元モデル情報を読み出す。モデル表示制御部２１は、３次元モデル情報が表す３次元モデルを、表示部３０１に指示情報が指示する視点（ユーザが３次元モデルを視聴する視点）で表示する。３次元モデルを表示する視点は、予め決められていてもよい。３次元モデルを視聴する視点は、例えば、水平方向３６０度自由に可変でもよい。３次元モデルを背景画像と合成し、３次元モデルを含む３次元画像を時系列に表示することで、３次元動画像を再生してもよい。

モデル表示制御部２１は、３次元動画像の再生の途中でユーザの指示情報に基づいて、再生を一時停止したり、早送り又は巻き戻しを行ったりしてもよい。この場合、ユーザは、例えば、３次元モデルにおける所望の位置を指定したいフレームの３次元モデルが表示されているときに、一時停止指示を入力することで、そのフレームで３次元モデルを静止した状態で表示させる。あるいは、操作部２０１からのユーザの指示情報に基づいて、特定のフレームの３次元モデル情報を読み出し、３次元モデル情報が表す３次元モデルを表示してもよい。

図２は、あるフレームにおける３次元モデルを含む３次元画像７０の表示例を示す。３次元モデル７１は、野球選手を表す。ユーザは、野球選手のピッチングフォームを評価しようとしている。背景画像は、マウンド７２、及びピッチャーズプレート７３を含む。３次元モデル７１は、グローブ７１Ａ及びキャップ７１Ｂを含む。

画像選択部６０は、３次元画像のフレームに対応する複数の撮像画像（３次元モデルを生成する元となった、フレーム同期された複数の撮像画像）のうち、２つの異なる視点の撮像画像を選択する。２つの撮像画像を選択する方法は、３次元画像の視点に最も近い２つの視点の撮像画像を選択してもよいし、２つの視点の撮像画像を任意又はランダムに選択してもよい。あるいは、ユーザが操作部２０１を用いて、２つの視点の撮像画像を選択する指示情報を入力し、画像選択部６０がこの指示情報に基づいて、２つの撮像画像を選択してもよい。例えばユーザは、３次元モデルにおいて指定したい位置が最も鮮明に映っている視点の撮像画像を選択してもよい。

図３及び図４は、画像選択部６０が選択した２つの視点の撮像画像１１０、１２０の例を示している。図３及び図４の撮像画像１１０、１２０には被写体である野球選手９１が含まれている。また撮像画像１１０、１２０には、実際の撮影環境における様々な物体又は人が含まれている。例えば図３の撮像画像１１０には、被写体を囲む複数の視点の撮像カメラのうちの一部である撮像カメラ９２Ａ、９２Ｂ、９２Ｃが含まれている。また図４の撮像画像１２０には、被写体を囲む複数の視点の撮像カメラのうちの一部である撮像カメラ９２Ｂ、９２Ｃ、９２Ｄが含まれている。撮像カメラ９２Ｂ、９２Ｃは図３及び図４の撮像画像１１０、１２０に共通に含まれているが、撮像カメラ９２Ａは図３の撮像画像１１０にのみ、撮像カメラ９２Ｄは図４の撮像画像１２０にのみ含まれている。撮像カメラ以外の要素（例えば撮影スタッフ、撮影スタジオの各種機器など）も図３及び図４の撮像画像に含まれていてもよいが、図示を省略している。

画像表示制御部２２は、選択された２つの撮像画像を同時又は順番に表示する。一例として、選択された２つの撮像画像を縮小して、３次元画像７１内に並べて配置（合成）する。縮小した２つの撮像画像の配置箇所は、一例として、３次元モデル７１が表示されていない箇所である。つまり、２つの撮像画像により３次元モデル７１が隠れない位置に、２つの撮像画像を配置する。

図５は、図３及び図４の撮像画像１１０、１２０を縮小して、図２の３次元画像７０に合成した例を示す。３次元画像７０の上側の被写体が含まれていない領域に、撮像画像１１０、１２０が縮小表示されている。

図５の例では、選択した２つの撮像画像を３次元画像７１と合成しているが、これら２つの撮像画像及び３次元画像７１を、表示部３０１の画面を３分割した別々の領域に表示してもよい。この場合、３次元画像７１も縮小表示される。

また、選択した２つの撮像画像を、３次元画像７１とは別のウィンドウとして表示してもよい。

また、２つの撮像画像を同時に表示するのではなく、最初は一方の撮像画像のみ表示ししてもよい。表示された撮像画像に対して特徴点が選択された後に、他方の撮像画像を表示してもよい。他方の撮像画像を表示する際、一方の撮像画像の表示をオフにしてもよい。２つの撮像画像の表示形態には様々なバリエーションがあり、他の形態も可能である。

ユーザは、操作部２０１を用いて、２つの視点の撮像画像１１０、１２０に対してそれぞれ互いに対応する位置を特徴点（第１特徴点、第２特徴点）として選択する。以下具体例を説明する。

まず、ユーザは操作部２０１を用いて撮像画像１１０の拡大指示情報を入力する。インタラクション検知部３０の操作指示取得部３１は撮像画像１１０の拡大指示情報を取得し、画像表示制御部２２に撮像画像１１０の拡大表示を指示する。画像表示制御部２２は撮像画像１１０を拡大表示する。このとき、３次元画像７０及び撮像画像１２０は、拡大表示された撮像画像１１０によって一時的に隠されてもよい。

ユーザは、操作部２０１を用いて、拡大された撮像画像１１０において被写体の頭部における所望の位置（第１位置）を第１特徴点として指定する。インタラクション検知部３０の位置取得部３２は、操作部２０１から特徴点の位置情報を取得し、取得した位置情報を位置記憶部４０に格納する。撮像画像１１０は２次元画像であることから、第１特徴点は２次元座標である。２次元画像をuv座標系で表現する場合、第１特徴点は第１uv座標に対応する。画像表示制御部２２は、第１特徴点を撮像画像１１０に重畳して表示する。第１特徴点は、例えば所定形状のマークによって表示される。

図６は、拡大表示された撮像画像１１０においてユーザが第１特徴点を選択した状態を示す。第１特徴点９１Ａが２次元の被写体に重畳して表示されている。

ユーザは、第１特徴点を選択した後、撮像画像１１０の縮小指示情報を入力する。インタラクション検知部３０の操作指示取得部３１は撮像画像１１０の縮小指示情報を取得し、画像表示制御部２２に撮像画像１１０の縮小表示を指示する。画像表示制御部２２は撮像画像１１０を縮小表示する。撮像画像１１０は、元の縮小サイズ（図５参照）に戻る。第１特徴点９１Ａの表示は、縮小された撮像画像１１０に含まれている。

次いで、ユーザは、操作部２０１を用いて撮像画像１２０の拡大指示情報を入力する。インタラクション検知部３０の操作指示取得部３１は撮像画像１２０の拡大指示情報を取得し、画像表示制御部２２に撮像画像１２０の拡大表示を指示する。画像表示制御部２２は撮像画像１２０を拡大表示する。このとき３次元画像７０及び撮像画像１１０は、拡大表示された撮像画像１２０によって一時的に隠されてもよい。

ユーザは、操作部２０１を用いて、拡大された撮像画像１２０において、撮像画像１１０で指定した位置に対応する位置（第２位置）を第２特徴点として指定する。つまりユーザは、撮像画像１１０、１２０において被写体における同じ位置を第１特徴点及び第２特徴点として選択する。２つの撮像画像１１０、１２０において当該位置が鮮明に写っていれば、ユーザは２つの撮像画像１１０、１２０において互いに対応する位置を容易に選択可能である。インタラクション検知部３０の位置取得部３２は、操作部２０１から第２特徴点の位置情報を取得し、取得した位置情報を第２特徴点として位置記憶部４０に格納する。撮像画像１２０は２次元画像であることから、第２特徴点は２次元座標である。２次元画像をｕｖ座標系で表現する場合、第２特徴点は第２ｕｖ座標に対応する。画像表示制御部２２は、第２特徴点（第２位置の位置情報）を撮像画像１２０に重畳して表示する。

図７は、拡大表示された撮像画像１２０においてユーザが第２特徴点を選択した状態を示す。第２特徴点９１Ｂが被写体に重畳して表示されている。

ユーザは、第２特徴点を選択した後、撮像画像１２０の縮小指示情報を入力する。インタラクション検知部３０の操作指示取得部３１は撮像画像１２０の縮小指示情報を取得し、画像表示制御部２２に撮像画像１２０の縮小表示を指示する。画像表示制御部２２は撮像画像１２０を縮小表示する。撮像画像１２０は、元の縮小サイズ（図５参照）に戻る。第２特徴点９１Ｂの表示は、縮小された撮像画像１２０に含まれている。

図８は、図５の状態において第１特徴点及び第２特徴点の選択が完了した後の表示状態を示す。縮小された撮像画像１１０において第１特徴点９１Ａが表示されている。縮小された撮像画像１２０において第２特徴点９１Ｂが表示されている。

対象点算出部５０は、位置記憶部４０に第１特徴点の位置情報及び第２特徴点の位置情報が格納されると、選択された２つの撮像画像（１１０、１２０）の視点に関する情報に基づき、第１特徴点及び第２特徴点に基づく三角測量の演算を行うことにより、３次元モデルにおける位置（第３位置）を算出する。算出する位置は３次元座標であり、対象点に対応する。

図９は三角測量の演算例を模式的に示す。３次元モデルが存在する空間を表す座標系（ＸＹＺ座標系）が存在する。三角測量により、一方の撮像画像１１０の視点の視線方向９７Ａに第１特徴点９１Ａから投影した直線と、撮像画像１２０の視点の視線方向９７Ｂに第２特徴点９１Ｂから投影した直線とが交差する点を算出する。算出した点を、対象点７５とする。対象点７５は、ユーザが撮像画像１１０、１２０において選択した位置に対応する、３次元モデルにおける位置に対応する。つまり、視点の異なる２つの撮像画像で互いに対応する特徴点を選択すれば、三角測量の原理により、これら２つの特徴点に対応する、３次元モデル上の１点を対象点として一意に特定できる。

対象点算出部５０は、三角測量により算出した対象点の位置情報を位置記憶部４０に格納する。対象点表示制御部２３は、対象点の位置情報が位置記憶部４０に格納されると、位置情報に従って対象点を、３次元画像７０に重畳して表示する。

図１０は、３次元画像７０に対象点７５を表示した例を示す。２つの撮像画像１１０、１２０において選択した特徴点９１Ａ、９１Ｂに対応する３次元位置に、対象点７５が表示されている。

画像表示制御部２２は、図１０の表示状態において、撮像画像１１０、１２０の表示のオフの指示をユーザから受けた場合、撮像画像１１０、１２０の表示をオフにしてもよい。

図１１は、図１０の表示状態において、撮像画像１１０、１２０の表示をオフにした例を示す。

図１２は、第１実施形態に係る情報処理装置１０１の動作の一例のフローチャートである。モデル表示制御部２１が、情報記憶部１０から３次元モデル情報を読み出して、３次元モデルを表示する（Ｓ１０１）。３次元モデルを視聴する視点を、ユーザからの操作情報に基づき変更してもよい。操作指示取得部３１は、ユーザから撮像画像を表示する指示情報を受けたかを判断する（Ｓ１０２）。指示情報を受けていない場合は、ステップＳ１０１に戻る。指示情報を受けた場合は、画像選択部６０が、情報記憶部１０から、表示されている３次元モデルに対応する撮像画像を選択する（Ｓ１０３）。画像表示制御部２２は、選択された２つの撮像画像を縮小して表示部３０１に表示する（Ｓ１０４）。画像選択部６０は、一例として、表示されている３次元モデルの視点に最も近い２つの視点の撮像画像を選択する。ユーザは、表示部３０１に表示された２つの撮像画像のうちの一方又は両方を別の撮像画像に変更するよう指示してもよい。この場合、画像選択部６０は、ユーザの指示情報に従って、別の撮像画像を選択する。または、表示されている３次元モデルに対応する全て又は一定数の撮像画像を表示し、ユーザがこれらの撮像画像の中から使用する２つの撮像画像を選択してもよい。ユーザは、一例として所望の位置が鮮明に写っている撮像画像を選択する。

操作指示取得部３１は、ユーザから撮像画像の表示をオフにする指示情報を受けたかを判断する（Ｓ１０５）。オフの指示情報を受けた場合は、画像表示制御部２２に２つの撮像画像の表示をオフにさせ、ステップＳ１０１に戻る。オフの指示情報を受けていない場合は、ステップＳ１０６に進む。

操作指示取得部３１は、表示されている２つの撮像画像のうちの１つ（作業対象画像）を選択又は拡大する指示情報をユーザから受けたかを判断する（Ｓ１０６）。作業対象画像を選択する指示情報を受けていない場合は、ステップＳ１０５に戻る。指示情報を受けとった場合は、画像表示制御部２２に、指示情報で指定された撮像画像を拡大表示させる（Ｓ１０７）。

操作指示取得部３１は、ユーザから拡大表示さている撮像画像の縮小指示情報を受けたかを判断する（Ｓ１０８）。縮小指示情報を受けた場合は、ステップＳ１０４に戻って、画像表示制御部２２に、拡大表示さている撮像画像を元の状態に縮小させる。縮小指示情報を受けていない場合は、位置取得部３２が、ユーザにより特徴点（第１位置）を選択する情報が入力されたかを判断する（Ｓ１０９）。ユーザは、例えば、拡大表示されている撮像画像において所望の位置にカーソルを移動させてクリック又はタップすることで、特徴点の選択を行う。特徴点を選択する情報が入力されていない場合は、ステップＳ１０８に戻る。特徴点を選択する情報が入力された場合は、位置取得部３２は、選択された特徴点の位置情報（座標）を位置記憶部４０に格納する（Ｓ１１０）。画像表示制御部２２は、位置記憶部４０から、特徴点の位置情報を読み出し、位置情報に従って特徴点を撮像画像上に表示する。特徴点は、一例として任意の形状、任意の色又は任意の模様のマークとして表示される。

ステップＳ１１０で格納した特徴点が１つ目の特徴点か２つ目の特徴点かを判断する（Ｓ１１１）。１つ目の特徴点の場合、すなわち２つ目の特徴点がまだ選択されていない場合は、ステップＳ１０８に戻る。２つ目の特徴点の場合は、対象点算出部５０は、選択された２つの特徴点と、２つの特徴点が選択された２つの撮像画像に対応する視点に関する情報（位置及び向き等）に基づき、三角測量の演算を行うことにより、対象点（第３位置）を算出する（Ｓ１１２）。対象点算出部５０は、対象点の位置情報を位置記憶部４０に格納する。対象点表示制御部２３は、位置記憶部４０から対象点の位置情報を読み出し、位置情報に従って対象点を３次元モデルに重畳して表示する（Ｓ１１３）。対象点は、一例として任意の形状、任意の色又は任意の模様のマークとして表示される。

以上の処理により、ユーザにより選択された２つの特徴点から三角測量の演算により求まる位置を対象点として取得する。そして、取得した対象点を３次元モデルに重畳して表示する。よって、ユーザは、２つの撮像画像に含まれる被写体において互いに対応する特徴点を選択することで、３次元モデルにおける任意の位置（対象点）を容易に指定することができる。

以上、第１実施形態によれば、視点の異なる２つの撮像画像で互いに対応する特徴点を選択すれば、三角測量の原理によりこれらの特徴点に対応する、３次元モデル上の点（位置）を一意に特定できる。よって、ユーザは、２つの撮像画像に含まれる被写体において互いに対応する特徴点を選択することで、３次元モデルにおける任意の位置（対象点）を容易に指定することができる。特に３次元モデルの一部が欠けていたり、隠されていたりしても、その部分における位置を正確に指定することが可能になる。以下、具体例を示す。

図１３は３次元モデルの一部（頭部）が欠けている例を示す。このように３次元モデルの一部が欠けていても、頭部が鮮明に写っている撮像画像を２枚選択し、それぞれにおいて対応する特徴点を選択すれば、欠けている部分に含まれる対象点を正確に特定できる。

図１４は３次元モデルの欠けている部分において対象点を特定した例を示す。

このように、第１実施形態によれば、３次元モデルに含まれる任意の位置を高精度に指定することが可能になる。

［変形例１］
本実施形態では１つの対象点を算出したが、同じ３次元モデルにおいて２つ以上の対象点を算出し、これらの対象点を、３次元モデルに重畳して表示してもよい。この場合、図１１のフローチャートの動作を、算出する対象点の個数だけ繰り返し実行すればよい。

図１５は、２つの対象点を算出し、算出した対象点を３次元モデルに重畳して表示した例を示す。被写体の頭部における対象点７５に加えて、被写体の肩の部分に対象点７６が表示されている。モデル表示制御部２１又は対象点表示制御部２３により、対象点７５と対象点７６を結ぶ線分７７が描画されている。線分７７は、操作部２０１を用いたユーザの操作情報に基づき描画してもよい。ユーザは、例えば、線分７７の角度又は距離等を解析することで、ピッチングフォームを評価することができる。ピッチングの評価は、ユーザが行ってもよいし、ピッチングの評価を行うアプリケーションの実行により行ってもよい。この場合、アプリケーションは、線分の角度又は距離等を入力として、ピッチングの評価値を出力するニューラルネットワークに基づき評価を行ってもよい。

［変形例２］
変形例１では２つの対象点を同じフレームの３次元画像に対して算出したが、２つの対象点を別々のフレームの３次元画像に対して算出してもよい。例えば、各フレームの３次元画像において被写体の同じ位置に対して対象点を算出し、フレーム間で対象点の移動の軌跡を解析してもよい。以下、図１６及び図１７を用いて、具体例を説明する。

図１６は、あるフレームに対応する３次元画像１３１を、あるユーザ視点で表示した例を示す。図１６では３次元モデル７１を、上述した本実施形態の例（図２等参照）とは別の視点から見ている。上述した本実施形態の処理によって対象点１１５が算出され、対象点１１５（第３位置の位置情報）が、３次元モデル７１に重畳して表示されている。

図１７は、図１６の表示状態から複数フレーム後の３次元モデルを含む３次元画像１３２の表示例を示す。なお、図１６に対してユーザの操作によりユーザの視点が少し移動している。図１６の被写体の対象点１１５に対応する同じ位置に対象点１１６が算出され、表示されている。また、最初に算出した対象点１１５も表示されている。つまり、対象点表示制御部２３は、１番目に算出した対象点の表示を固定しつつ、２番目に算出した対象点を表示する。また、モデル表示制御部２１又は対象点表示制御部２３により、対象点１１５と対象点１１６を結ぶ線分１１７が描画されている。線分１１７は、ピッチング時における被写体の頭部における特定の位置の移動軌跡を表している。線分１１７は、操作部２０１を用いたユーザの操作情報により描画してもよい。線分１１７の角度又は距離等を解析することで、被写体のピッチングフォームを評価できる。ピッチングの評価は、ユーザが行ってもよいし、ピッチングの評価を行うアプリケーションの実行により行ってもよい。この場合、アプリケーションは、線分の角度又は距離等を入力として、ピッチングの評価値を出力するニューラルネットワークに基づき評価を行ってもよい。

（第２実施形態）
第１実施形態では、ユーザが２つの撮像画像において特徴点を選択する際、ユーザは直感又は目分量で選択するため、２番に選択する特徴点が、１番目に選択した特徴点に正しく対応していない可能性がある。つまり、１番目と２番目に選択した特徴点が被写体における同一の箇所を指していない可能性（特徴点の位置が互いに少しずれている可能性）がある。本実施形態では、一方の視点に対応する撮像画像に対して特徴点を選択した際に、他方の視点に対応する撮像カメラのエピポーラ線を算出する。算出したエピポーラ線を他方の特徴点を選択するためのガイド情報として、他方の視点に対応する撮像画像に表示する。ユーザは、エピポーラ線上から特徴点を選択する。これにより、最初に選択した特徴点に対応する位置を容易に選択できる。

図１８は、第２実施形態に係る情報処理装置１０１を備えた情報処理システム１００のブロック図である。図１の情報処理システム１００と同じ名称の要素には同一の符号を付し、拡張又は変更された処理を除き、説明を省略する。図１８の情報処理装置１０１では、ガイド情報算出部８０と、ガイド情報表示制御部２４が追加されている。

ガイド情報算出部８０は、ユーザにより最初の特徴点（第１特徴点）が選択されると、位置記憶部４０から第１特徴点の位置情報を読み出す。ガイド情報算出部８０は、カメラパラメータ（例えば２つの視点の位置及び向き）と、第１特徴点とに基づき、他方の視点に対応する撮像カメラのエピポーラ線を算出する。ガイド情報表示制御部２４は、算出されたエピポーラ線を、２つ目の特徴点を選択する撮像画像に重畳して表示する。エピポーラ線は、ユーザが２つ目の特徴点を選択するためのガイドとなる。

図１９は、エピポーラ線の説明図である。２つの視点（撮像カメラ）１４３、１４４が示される。撮像カメラ１４３、１４４の位置（光源位置）１４５、１４６を結ぶ線分と、撮像カメラ１４３、１４４の画像面１４１、１４２との交点はエピホール１４７、１４８に相当する。エピポールは、一方の撮像カメラの視点を、他方の撮像カメラの視点に投影した像であると言える。３次元空間上の任意の点を点Ｘとし、点Ｘを撮像カメラ１４３、１４４の画像面１４１、１４２に投影したときの投影点をｘ１、ｘ２とする。３次元点Ｘと、位置１４５、１４６とを含む平面はエピポーラ面１４９と呼ばれる。エピポーラ面１４９と画像面１４１との交線は、撮像カメラ１４３のエピポーラ線Ｌ１である。エピポーラ面と画像面１４２との交線は、撮像カメラ１４４のエピポーラ線Ｌ２である。

画像面１４１の任意の点ｘ１が与えられると、撮像カメラ１４３の視線方向に応じて画像面１４２のエピポーラ線Ｌ２が決まる。そして、点Ｘの位置に応じて、エピポーラ線Ｌ２上のいずれかの位置に、点ｘ１に対応する点が決まる。この決まりはエピポーラ制約と呼ばれる。この制約は以下の式で表現される。
ｍは点ｘ１を正規化画像座標から画像座標系に変換したものであり、ｍ＝Ａｘ１である。Ａは撮像カメラ１４３の内部パラメータ行列である。ｍ’は点ｘ２を正規化画像座標から画像座標系に変換したものであり、ｍ’＝Ａ’ｘ２である。Ａ’は撮像カメラ１４４の内部パラメータ行列である。Ｆは基礎行列と呼ばれるものである。Ｆは、カメラパラメータから８点アルゴリズムなどの手法を用いて算出できる。よって撮像カメラ１４３の画像上の点ｍが決まれば、対応する点が、撮像カメラ１４４のエピポーラ線上のいずれかに決定される。

本実施形態ではエピポーラ制約に基づき、選択された２つの撮像画像のうちの一方について特徴点を選択した際に、他方の撮像画像の撮像カメラに対してエピポーラ線を算出する。算出したエピポーラ線を他方の撮像画像に重畳して表示する。１つ目の特徴点に対応する点はエピポーラ線上に存在することから、ユーザは、エピポーラ線上から２つ目の特徴点を選択することで、１つの特徴点に対応する特徴点を容易に選択することができる。エピポーラ線のうちの一部の直線、例えば３次元モデルに重なる部分のみを表示してもよい。

以下、第２実施形態の具体例を記載する。ユーザが、２つの撮像画像のうちの１つ目の撮像画像に対して、前述した図６に示す位置に特徴点９１Ａを選択したとする。ガイド情報算出部８０は、特徴点９１Ａの位置と、選択された２つの撮像画像を撮像した撮像カメラのカメラパラメータに基づいて、２つ目の撮像画像に対するエピポーラ線を算出する。算出したエピポーラ線を、２つ目の撮像画像に重畳して表示する。

図２０には、２つ目の撮像画像にエピポーラ線１５１を重畳して表示した例を示す。ユーザはエピポーラ線１５１上から、１つ目の特徴点に対応する点を、２つ目の特徴点として選択すればよい。よって、ユーザは２つ目の特徴点を高精度に選択することができる。

図２１は、第２実施形態に係る情報処理装置１０１の動作の一例のフローチャートである。第１実施形態の図１２のフローチャートとの差分を中心に説明し、図１２のフローチャートと同じステップには同じ符号を付して、説明を適宜省略する。

ステップＳ１１１で１つ目の特徴点が保存されたと判断された場合に、ステップＳ１１４に進む。ステップＳ１１４において、ガイド情報算出部８０は、１つ目の特徴点の位置情報と、選択された２つの撮像画像の視点（撮像カメラ）のカメラパラメータとに基づき、２つ目の特徴点を選択するガイド情報として、エピポーラ線を算出する。ガイド情報表示制御部２４は、算出されたエピポーラ線を、１つ目の特徴点が選択された撮像画像とは異なる２つ目の撮像画像（縮小表示されている）に重畳して表示する。この後、ステップＳ１０８に戻る。ユーザが１つ目の撮像画像の縮小表示を指示し（Ｓ１０８のＹＥＳ）、２つ目の撮像画像を拡大指示することで（Ｓ１０５のＮＯ、Ｓ１０６のＹＥＳの後のＳ１０７）、拡大された撮像画像にエピポーラ線が表示された状態で、ユーザは２つ目の特徴点を選択することができる。

第２実施形態によれば、１つ目の特徴点と、カメラパラメータとに基づき２つ目の特徴点を選択する撮像画像に対するエピポーラ線を算出し、撮像画像にエピポーラ線をガイド情報として重畳する。ユーザは、エピポーラ線上から２つ目の特徴点を選択すればよいため、１つ目の特徴点に対応する特徴点を容易かつ正確に選択することができる。

［変形例］
対象点表示制御部２３は、３次元モデルに重畳された対象点をユーザの指示情報に基づき移動させてもよい。例えば、算出された対象点が、ユーザが所望する位置からずれており、ユーザが対象点の位置を微調整したい場合に、このように対象点を移動させることが考えられる。

ユーザは、対象点を移動させたい場合、画面に表示されている対象点をカーソル又はタッチ等で選択し、対象点を移動する指示情報を操作部２０１から入力する。入力された指示情報に従って、対象点表示制御部２３は、画面に表示されている対象点を移動させる。

この際、対象点を算出する元となった２つの特徴点（第１特徴点、第２特徴点）も、対象点の移動に合わせて移動させる。具体的には、対象点算出部５０が、移動後の対象点に対してエピポーラ制約を満たす２つの特徴点を算出し、算出した特徴点の位置に、元の特徴点を移動させる。これにより、ユーザはどの位置を特徴点として選択すればよかったのかを学習できる。

図２２～図２４は、本変形例の具体例を示す。図２２は、図１１の状態から対象点７５をユーザの指示情報に従って方向１６１に移動させる様子を示す。図２３は、対象点７５の移動に合わせて図６で選択した特徴点９１Ａを方向１６２に移動させる様子を示す。図２４は、対象点７５の移動に合わせて、図７で選択した特徴点９１Ｂを方向１６３に移動させる様子を示す。移動後の対象点７５、移動後の特徴点９１Ａ、９１Ｂは、エピポーラ制約を満たす。

（ハードウェア構成）
図２５に、図１又は図１８の情報処理装置１０１のハードウェア構成の一例を示す。図１又は図１８の情報処理装置１０１は、コンピュータ装置４００により構成される。コンピュータ装置４００は、ＣＰＵ４０１と、入力インタフェース４０２と、表示装置４０３と、通信装置４０４と、主記憶装置４０５と、外部記憶装置４０６とを備え、これらはバス４０７により相互に接続されている。コンピュータ装置４００は、一例として、スマートフォン、タブレット、デスクトップ型ＰＣ（Ｐｅｒｆｏｎａｌ Ｃｏｍｐｕｔｅｒ）、又はノート型ＰＣとして構成される。

ＣＰＵ（中央演算装置）４０１は、主記憶装置４０５上で、コンピュータプログラムである情報処理プログラムを実行する。情報処理プログラムは、情報処理装置１０１の上述の各機能構成を実現するプログラムのことである。情報処理プログラムは、１つのプログラムではなく、複数のプログラムやスクリプトの組み合わせにより実現されていてもよい。ＣＰＵ４０１が、情報処理プログラムを実行することにより、各機能構成は実現される。

入力インタフェース４０２は、キーボード、マウス、およびタッチパネルなどの入力装置からの操作信号を、情報処理装置１０１に入力するための回路である。入力インタフェース４０２はカメラ等の撮像装置、ＴＯＦ（Time Of Flight）センサ、ＬｉＤＡＲ（Light Detection and Ranging）等のセンサを含んでもよい。

表示装置４０３は、情報処理装置１０１から出力されるデータを表示する。表示装置４０３は、例えば、ＬＣＤ（液晶ディスプレイ）、有機エレクトロルミネッセンスディスプレイ、ＣＲＴ（ブラウン管）、またはＰＤＰ（プラズマディスプレイ）であるが、これに限られない。コンピュータ装置４００から出力されたデータは、この表示装置４０３に表示することができる。

通信装置４０４は、情報処理装置１０１が外部装置と無線または有線で通信するための回路である。データは、通信装置４０４を介して外部装置から入力することができる。外部装置から入力したデータを、主記憶装置４０５や外部記憶装置４０６に格納することができる。

主記憶装置４０５は、情報処理プログラム、情報処理プログラムの実行に必要なデータ、および情報処理プログラムの実行により生成されたデータなどを記憶する。情報処理プログラムは、主記憶装置４０５上で展開され、実行される。主記憶装置４０５は、例えば、ＲＡＭ、ＤＲＡＭ、ＳＲＡＭであるが、これに限られない。情報記憶部１０又は位置記憶部４０は、主記憶装置４０５上に構築されてもよい。

外部記憶装置４０６は、情報処理プログラム、情報処理プログラムの実行に必要なデータ、および情報処理プログラムの実行により生成されたデータなどを記憶する。これらの情報処理プログラムやデータは、情報処理プログラムの実行の際に、主記憶装置４０５に読み出される。外部記憶装置４０６は、例えば、ハードディスク、光ディスク、フラッシュメモリ、及び磁気テープであるが、これに限られない情報記憶部１０又は位置記憶部４０は、外部記憶装置４０６上に構築されてもよい。

なお、情報処理プログラムは、コンピュータ装置４００に予めインストールされていてもよいし、ＣＤ－ＲＯＭなどの記憶媒体に記憶されていてもよい。また、情報処理プログラムは、インターネット上にアップロードされていてもよい。

また、情報処理装置１０１は、単一のコンピュータ装置４００により構成されてもよいし、相互に接続された複数のコンピュータ装置４００からなるシステムとして構成されてもよい。

（第３実施形態）
図２６は、第３実施形態に係る自由視点映像伝送システムの例を示す。自由視点映像伝送システムは、符号化システム５１０、復号化システム５２０及び情報処理システム１００を備えている。情報処理システム１００は、図１又は図１８の情報処理システムである。

図２６の自由視点映像伝送システムは被写体の３次元モデリングを符号化システム５１０で行い、３次元モデリングにより生成した３次元モデルに関するデータを低データ量で復号化システム５２０に送信する。復号化システム５２０でデータを復号して３次元モデル情報等を取得し、情報処理システム１００の情報記憶部１０に３次元モデル情報等を格納する。

符号化システム５１０及び復号化システム５２０は、通信ネットワーク５３０を介して接続されている。通信ネットワーク５３０は、有線、無線、又は有線と無線の混合のネットワークである。通信ネットワーク５３０は、ローカルエリアネットワーク（ＬＡＮ）でも、インターネットのようなワイドエリアネットワーク（ＷＡＮ）でもよい。また通信ネットワーク５３０は、どのような規格又はプロトコルのネットワークでもよい。例えば、通信ネットワーク５３０は、無線ＬＡＮ、４Ｇ又は５Ｇモバイルネットワークなどでもよい。また通信ネットワーク５３０はシリアルケーブルのような通信ケーブルでもよい。

図２７は符号化システム５１０のブロック図である。符号化システム５１０は、画像取得部５１１、３次元モデル生成部５１２、２次元画像変換処理部５１３、符号化部５１４及び送信部５１５を備えている。符号化システム５１０は図２５と同様のハードウェア構成で実現できる。

画像取得部５１１は、複数の視点から被写体を撮像して、複数の撮像画像を取得する。

図２８は、画像取得部５１１の構成例を示す。画像取得部５１１はデータ取得部５１１Ａと、複数の視点に対応する複数の撮像カメラ５１１－１～５１１－Ｎとを備えている。撮像カメラ５１１－１～５１１－Ｎは、被写体５１１Ｂの周囲を囲む位置に配置されている。撮像カメラ５１１－１～５１１－Ｎは被写体５１１Ｂを向く向きに配置されている。撮像カメラ５１１－１～５１１－Ｎに対してカメラキャリブレーションが予め行われており、カメラパラメータが取得されている。カメラパラメータは前述したような内部パラメータと外部パラメータとを含む。撮像カメラ５１１－１～５１１－Ｎは、それぞれの位置から被写体５１１Ｂを撮像し、Ｎ枚の撮像画像（ＲＧＢ画像）を取得する。撮像カメラの一部がステレオカメラでもよい。撮像カメラ以外のセンサ、例えばＴＯＦセンサ、ＬＩＤＡＲなどのセンサが配置されていてもよい。

３次元モデル生成部５１２は、画像取得部５１１により取得された複数の撮像画像に基づいて、被写体の３次元モデルを表す３次元モデル情報を生成する。３次元モデル生成部５１２は、キャリブレーション部５５１、フレーム同期部５５２、背景差分生成部５５３、ＶＨ処理部５５４、メッシュ作成部５５５及びテクスチャマッピング部５５６を備えている。

キャリブレーション部５５１は、複数の視点の撮像画像を、複数の撮像カメラの内部パラメータを用いて補正する。

フレーム同期部５５２は、複数の撮像カメラのうちの１つを基準カメラとして、残りを参照カメラとする。参照カメラの撮像画像のフレームを、基準カメラの撮像画像のフレームに同期させる。

背景差分生成部５５３は、複数の撮像画像に対して、前景画像（被写体の画像）と背景画像との差分を利用して、背景差分処理により、被写体のシルエット画像を生成する。シルエット画像は、一例として、撮像画像に被写体が含まれている範囲を示すシルエットを２値化することにより表される。

ＶＨ処理部５５４は、複数のシルエット画像、及びカメラパラメータを用いて、被写体のモデリングを行う。モデリングには、Ｖｉｓｕａｌ Ｈｕｌｌ法等を用いることができる。すなわち、各シルエット画像をもとの３次元空間に逆投影して、それぞれの視体積の交差部分をＶｉｓｕａｌ Ｈｕｌｌとして求める。

メッシュ作成部５５５は、Ｖｉｓｕａｌ Ｈｕｌｌのボクセルデータに対してマーチングキューブ法などを適用することで、複数のメッシュを作成する。メッシュを構成する各点（Vertex）の３次元位置と、各点のつながり（Polygon）を示す幾何情報（Geometry）とを３次元形状データ（ポリゴンモデル）として生成する。ポリゴンモデルにスムージング処理を行うことで、ポリゴンの表面を滑らかにしてもよい。

テクスチャマッピング部５５６は、３次元形状データの各メッシュに、メッシュの画像を重ね合わせるテクスチャマッピングを行う。テクスチャマッピング後の３次元形状データを、被写体の３次元モデルを表す３次元モデル情報とする。

２次元画像変換処理部５１３は、３次元モデル情報を２次元画像に変換する。具体的には、複数の視点のカメラパラメータに基づいて、視点ごとに、３次元モデル情報により表される３次元モデルの透視投影を行う。これにより、各視点から３次元モデルが透視投影された複数の２次元画像を取得する。また、これらの複数の２次元画像から、複数の視点のカメラパラメータに基づき、複数の２次元画像に対してそれぞれデプス情報を取得し、取得したデプス情報をそれぞれの２次元画像に対応付ける。このように３次元モデル情報を２次元画像に変換することで、３次元モデル情報をそのまま送信する場合もよりもデータ量を低減できる。

送信部５１５は、複数の２次元画像及びデプス情報と、複数の視点のカメラパラメータと、複数の視点の撮像画像とを含む伝送データを符号化し、符号化された伝送データを復号化システム５２０に送信する。伝送データの全部又は一部を符号化せずに送信する形態も排除されない。伝送データには、その他の情報を含めてもよい。符号化の手法として、例えば３Ｄ ＭＶＣ（Multiview Video Coding）、ＭＶＣ、ＡＶＣ（Advanced Video Coding）などの２次元圧縮技術を用いることができる。伝送データを符号化することで、送信するデータ量を低減できる。なお、３次元モデル情報をそのまま符号化して、復号化システム５２０又は情報処理システム１００に送信する構成も可能である。

図２９は、復号化システム５２０のブロック図である。復号化システム５２０は受信部５２１、復号部５２２、３次元データ変換処理部５２３及び出力部５２４を備えている。復号化システム５２０は図２５と同様のハードウェア構成で実現できる。受信部５２１は、符号化システム５１０から送信された伝送データを受信して、復号部５２２に供給する。

復号部５２２は、伝送データを復号して、複数の２次元画像及びデプス情報、複数の撮像画像、複数の視点のカメラパラメータ等を取得する。復号化の手法として、送信側の符号化と同じ２次元圧縮技術を用いることができる。

３次元データ変換処理部５２３は、複数の２次元画像を、被写体の３次元モデルを表す３次元モデル情報へ変換する変換処理を行う。例えば、複数の２次元画像及びデプス情報と、カメラパラメータとを用いて、Ｖｉｓｕａｌ Ｈｕｌｌ等によるモデリングを行う。

出力部５２４は、３次元モデル情報、複数の撮像画像及びカメラパラメータ等を情報処理装置１０１に提供する。情報処理システム１００の情報処理装置１０１は、３次元モデル情報、複数の撮像画像及びカメラパラメータ等を、情報記憶部１０に格納する。

なお、上述の実施形態は本開示を具現化するための一例を示したものであり、その他の様々な形態で本開示を実施することが可能である。例えば、本開示の要旨を逸脱しない範囲で、種々の変形、置換、省略又はこれらの組み合わせが可能である。そのような変形、置換、省略等を行った形態も、本開示の範囲に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

また、本明細書に記載された本開示の効果は例示に過ぎず、その他の効果があってもよい。

なお、本開示は以下のような構成を取ることもできる。
［項目１］
複数の視点から被写体を撮像した複数の撮像画像に基づく前記被写体の３次元モデルを表示装置に表示する第１表示制御部と、
前記複数の撮像画像のうち第１視点の第１撮像画像と第２視点の第２撮像画像とを前記表示装置に表示する第２表示制御部と、
前記第１撮像画像において前記被写体に含まれる第１位置の位置情報を取得し、前記第２撮像画像において前記被写体に含まれる第２位置の位置情報を取得する位置取得部と、 前記第１視点及び前記第２視点に関する情報と、前記第１位置の位置情報と、前記第２位置の位置情報とに基づき、前記３次元モデルに含まれる第３位置を算出する位置算出部と、
前記第３位置の位置情報を前記３次元モデルに重畳して前記表示装置に表示する第３表示制御部と、
を備えた情報処理装置。
［項目２］
前記位置算出部は、前記第１視点の視線方向に応じて前記第１位置を投影した直線と、前記第２視点の視線方向に応じて前記第２位置を投影した直線とが交差する位置を算出し、算出した位置は前記第３位置である
項目１に記載の情報処理装置。
［項目３］
前記位置算出部は、三角測量の原理に基づき前記第３位置を算出する
項目１又は２に記載の情報処理装置。
［項目４］
前記複数の撮像画像から前記３次元モデルを視聴するユーザの視点に最も近い２つの視点の撮像画像を選択する画像選択部を備え、
前記第２表示制御部は、前記画像選択部により選択された前記第１撮像画像及び前記第２撮像画像を表示する
項目１～３のいずれか一項に記載の情報処理装置。
［項目５］
前記第１撮像画像及び前記第２撮像画像を指定する選択情報に基づき前記第１撮像画像及び前記第２撮像画像を選択する画像選択部を備え、
前記第２表示制御部は、前記画像選択部により選択された前記第１撮像画像及び前記第２撮像画像を表示する
項目１～４のいずれか一項に記載の情報処理装置。
［項目６］
前記第１撮像画像及び前記第２撮像画像の少なくとも一方の拡大又は縮小を指示する指示情報を取得する指示情報取得部を備え、
前記第２表示制御部は、前記指示情報に基づき、前記第１撮像画像及び前記第２撮像画像の少なくとも一方を拡大又は縮小する
項目１～５のいずれか一項に記載の情報処理装置。
［項目７］
前記位置取得部は、前記第１撮像画像が拡大された状態でユーザの操作装置から前記第１位置の位置情報を取得し、前記第２撮像画像が拡大された状態で前記操作装置から前記第２位置の位置情報を取得する
項目６に記載の情報処理装置。
［項目８］
前記第１撮像画像及び前記第２撮像画像の少なくとも一方の表示のオン又はオフを指示する指示情報を取得する指示情報取得部を備え、
前記第２表示制御部は、前記指示情報に基づいて、前記第１撮像画像及び前記第２撮像画像の少なくとも一方の表示のオン又はオフを切り替える
項目１～７のいずれか一項に記載の情報処理装置。
［項目９］
前記第２表示制御部は、前記第１位置の位置情報を前記第１撮像画像に重畳して前記表示装置に表示し、
前記第２表示制御部は、前記第２位置の位置情報を前記第２撮像画像に重畳して前記表示装置に表示する
項目１～８のいずれか一項に記載の情報処理装置。
［項目１０］
前記第１視点と前記第２視点に関する前記情報と、前記第１位置の位置情報とに基づき、前記第２位置の候補を含むガイド情報を生成するガイド情報生成部と、
前記ガイド情報を前記第２撮像画像に重畳して前記表示装置に表示する第４表示制御部と、
を備えた項目１～９のいずれか一項に記載の情報処理装置。
［項目１１］
前記ガイド情報は、エピポーラ線である
項目１０に記載の情報処理装置。
［項目１２］
前記第３位置の位置情報の移動を指示する指示情報を取得する指示情報取得部を備え、 前記第３表示制御部は、前記指示情報に基づき前記第３位置の位置情報を移動させ、
前記第２表示制御部は、前記第３位置の位置情報の移動に応じて、前記第１位置の位置情報と前記第２位置の位置情報を移動させる
項目９に記載の情報処理装置。
［項目１３］
複数の視点から被写体を撮像した複数の撮像画像に基づく前記被写体の３次元モデルを表示装置に表示し、
前記複数の撮像画像のうち第１視点の第１撮像画像と第２視点の第２撮像画像とを前記表示装置に表示し、
前記第１撮像画像において前記被写体に含まれる第１位置の位置情報を取得し、前記第２撮像画像において前記被写体に含まれる第２位置の位置情報を取得し、
前記第１視点及び前記第２視点に関する情報と、前記第１位置の位置情報と、前記第２位置の位置情報とに基づき、前記３次元モデルに含まれる第３位置を算出し、
前記第３位置の位置情報を前記３次元モデルに重畳して前記表示装置に表示する
情報処理方法。
［項目１４］
複数の視点から被写体を撮像した複数の撮像画像に基づく前記被写体の３次元モデルを表示装置に表示するステップと、
前記複数の撮像画像のうち第１視点の第１撮像画像と第２視点の第２撮像画像とを前記表示装置に表示するステップと、
前記第１撮像画像において前記被写体に含まれる第１位置の位置情報を取得し、前記第２撮像画像において前記被写体に含まれる第２位置の位置情報を取得するステップと、
前記第１視点及び前記第２視点に関する情報と、前記第１位置の位置情報と、前記第２位置の位置情報とに基づき、前記３次元モデルに含まれる第３位置を算出するステップと、
前記第３位置の位置情報を前記３次元モデルに重畳して前記表示装置に表示するステップと、
をコンピュータに実行させるためのコンピュータプログラム。

１０１：情報処理装置、１０：情報記憶部、２０：表示制御部、３０：インタラクション検知部、４０：位置記憶部、５０：対象点算出部（三角測量演算部）、６０：画像選択部、
１１０、１２０：撮像画像、
２１：モデル表示制御部、２２：画像表示制御部、２３：対象点表示制御部、２４：ガイド情報表示制御部、
３１：操作指示取得部、３２：位置取得部、
７０：３次元画像、７１：３次元モデル、７１Ａ：グローブ、７１Ｂ：キャップ、７２：マウンド、７３：ピッチャーズプレート、７５、７６：対象点、７７：線分
８０：ガイド情報算出部、
９１：野球選手、９１Ａ：第１特徴点、９１Ｂ：第２特徴点、９２Ａ、９２Ｂ、９２Ｃ、９２Ｄ：撮像カメラ、
１１５、１１６：対象点、
１４１、１４２：画像面、
１４３、１４４：２つの視点（撮像カメラ）、
１４５、１４６：撮像カメラの位置（光源位置）、
１４７、１４８：エピホール、
ｘ１、ｘ２：点Ｘが投影された位置（２次元座標）、
１４９：エピポーラ面、１５１：エピポーラ線、
４００：コンピュータ装置、４０１：ＣＰＵ、４０２：入力インタフェース、４０３：表示装置、４０４：通信装置、４０５：主記憶装置、４０６：外部記憶装置、４０７：バス、
５１０：符号化システム、５２０：復号化システム、１００：情報処理システム、
５１１：画像取得部、５１２：３次元モデル生成部、５１３：２次元画像変換処理部、５１４：符号化部、５１５：送信部、５１１Ａ：データ取得部、５５１：キャリブレーション部、５５２：フレーム同期部、５５３：背景差分生成部、５５４：ＶＨ処理部、５５５：メッシュ作成部、５５６：テクスチャマッピング部、
５２１：受信部、５２２：復号部５２２、５２３：３次元データ変換処理部、５２４：出力部

Claims (14)

1. 複数の視点から被写体を撮像した複数の撮像画像に基づく前記被写体の３次元モデルを表示装置に表示する第１表示制御部と、
   前記複数の撮像画像のうち第１視点の第１撮像画像と第２視点の第２撮像画像とを前記表示装置に表示する第２表示制御部と、
   前記第１撮像画像において前記被写体に含まれる第１位置の位置情報を取得し、前記第２撮像画像において前記被写体に含まれる、前記第１位置と同一の位置に対応する第２位置の位置情報を取得する位置取得部と、
   前記第１視点及び前記第２視点に関する情報と、前記第１位置の位置情報と、前記第２位置の位置情報とに基づき、前記３次元モデルに含まれる第３位置を算出する位置算出部と、
   前記第３位置の位置情報を前記３次元モデルに重畳して前記表示装置に表示する第３表示制御部と、
   を備えた情報処理装置。
2. 前記位置算出部は、前記第１視点の視線方向に応じて前記第１位置を投影した直線と、前記第２視点の視線方向に応じて前記第２位置を投影した直線とが交差する位置を算出し、算出した位置は前記第３位置である
   請求項１に記載の情報処理装置。
3. 前記位置算出部は、三角測量の原理に基づき前記第３位置を算出する
   請求項２に記載の情報処理装置。
4. 前記複数の撮像画像から前記３次元モデルを視聴するユーザの視点に最も近い２つの視点の撮像画像を選択する画像選択部を備え、
   前記第２表示制御部は、前記画像選択部により選択された前記第１撮像画像及び前記第２撮像画像を表示する
   請求項１に記載の情報処理装置。
5. 前記第１撮像画像及び前記第２撮像画像を指定する選択情報に基づき前記第１撮像画像及び前記第２撮像画像を選択する画像選択部を備え、
   前記第２表示制御部は、前記画像選択部により選択された前記第１撮像画像及び前記第２撮像画像を表示する
   請求項１に記載の情報処理装置。
6. 前記第１撮像画像及び前記第２撮像画像の少なくとも一方の拡大又は縮小を指示する指示情報を取得する指示情報取得部を備え、
   前記第２表示制御部は、前記指示情報に基づき、前記第１撮像画像及び前記第２撮像画像の少なくとも一方を拡大又は縮小する
   請求項１に記載の情報処理装置。
7. 前記位置取得部は、前記第１撮像画像が拡大された状態でユーザの操作装置から前記第１位置の位置情報を取得し、前記第２撮像画像が拡大された状態で前記操作装置から前記第２位置の位置情報を取得する
   請求項６に記載の情報処理装置。
8. 前記第１撮像画像及び前記第２撮像画像の少なくとも一方の表示のオン又はオフを指示する指示情報を取得する指示情報取得部を備え、
   前記第２表示制御部は、前記指示情報に基づいて、前記第１撮像画像及び前記第２撮像画像の少なくとも一方の表示のオン又はオフを切り替える
   請求項１に記載の情報処理装置。
9. 前記第２表示制御部は、前記第１位置の位置情報を前記第１撮像画像に重畳して前記表示装置に表示し、
   前記第２表示制御部は、前記第２位置の位置情報を前記第２撮像画像に重畳して前記表示装置に表示する
   請求項１に記載の情報処理装置。
10. 前記第１視点と前記第２視点に関する前記情報と、前記第１位置の位置情報とに基づき、前記第２位置の候補を含むガイド情報を生成するガイド情報生成部と、
    前記ガイド情報を前記第２撮像画像に重畳して前記表示装置に表示する第４表示制御部と、
    を備えた請求項１に記載の情報処理装置。
11. 前記ガイド情報は、エピポーラ線である
    請求項１０に記載の情報処理装置。
12. 前記第３位置の位置情報の移動を指示する指示情報を取得する指示情報取得部を備え、
    前記第３表示制御部は、前記指示情報に基づき前記第３位置の位置情報を移動させ、
    前記第２表示制御部は、前記第３位置の位置情報の移動に応じて、前記第１位置の位置情報と前記第２位置の位置情報を移動させる
    請求項９に記載の情報処理装置。
13. 複数の視点から被写体を撮像した複数の撮像画像に基づく前記被写体の３次元モデルを表示装置に表示し、
    前記複数の撮像画像のうち第１視点の第１撮像画像と第２視点の第２撮像画像とを前記表示装置に表示し、
    前記第１撮像画像において前記被写体に含まれる第１位置の位置情報を取得し、前記第２撮像画像において前記被写体に含まれる、前記第１位置と同一の位置に対応する第２位置の位置情報を取得し、
    前記第１視点及び前記第２視点に関する情報と、前記第１位置の位置情報と、前記第２位置の位置情報とに基づき、前記３次元モデルに含まれる第３位置を算出し、
    前記第３位置の位置情報を前記３次元モデルに重畳して前記表示装置に表示する
    情報処理方法。
14. 複数の視点から被写体を撮像した複数の撮像画像に基づく前記被写体の３次元モデルを表示装置に表示するステップと、
    前記複数の撮像画像のうち第１視点の第１撮像画像と第２視点の第２撮像画像とを前記表示装置に表示するステップと、
    前記第１撮像画像において前記被写体に含まれる第１位置の位置情報を取得し、前記第２撮像画像において前記被写体に含まれる、前記第１位置と同一の位置に対応する第２位置の位置情報を取得するステップと、
    前記第１視点及び前記第２視点に関する情報と、前記第１位置の位置情報と、前記第２位置の位置情報とに基づき、前記３次元モデルに含まれる第３位置を算出するステップと、
    前記第３位置の位置情報を前記３次元モデルに重畳して前記表示装置に表示するステップと、
    をコンピュータに実行させるためのコンピュータプログラム。