JP2017102784A - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Abstract

【課題】視聴品質の低下を抑制した仮想全天球画像を生成する画像処理装置を提供する。【解決手段】第１の映像から取得された画像である第１画像と、第２の映像から取得された画像であって前記第１画像と撮像領域の一部が共通する画像である第２画像との２つの画像を結合する際に、共通する部分において前記２つの画像を結合するための結合線を決定する画像処理装置であって、前記画像を見ている者が見ている可能性が高い領域を避けつつ、前記結合線を配置することを決定する結合線決定手段を備える。【選択図】図１

Description

本発明は、複数のカメラからの画像データを処理する画像処理装置、画像処理方法及び画像処理プログラムに関する。

近年、周囲３６０度を含む全天の画像である全天球画像を撮影できるカメラ（以下、全天球カメラという）及びその全天球画像の視聴において利用者が向いた方向を視聴することができるヘッドマウントディスプレイ（ＨＭＤ）が普及し始めている。そして、ネットワークを介して全天球画像を配信するサービスが注目を集めている。上記のような全天球画像は、ＨＭＤで視聴することで高い臨場感を得ることができ、スポーツやアーティストのライブ等のコンテンツの視聴における利用が期待されている。

一般に、これらの全天球画像は、所望の視点に全天球カメラを設置することで撮影することができる。しかしながら、競技中のサッカーコートの中やバスケットコートの中は、全天球カメラを設置しようとすると競技者の邪魔となるため、全天球カメラを設置することができない。しかし、競技中のサッカーコートの中やバスケットコートの中に立っているかのような映像を視聴してみたいという要望がある。そこで、通常では全天球カメラを設置することのできない場所に仮想的な視点である仮想視点を設定して、仮想視点を含む領域を撮影する複数のカメラを設置し、それらのカメラからの画像を合成することにより、この仮想視点において全天球カメラで撮影したかのような全天球画像を得る技術が考案されている（例えば、非特許文献１参照）。以下の説明において、仮想視点における全天球画像を、仮想全天球画像という。

仮想全天球画像を複数のカメラからの画像の合成によって得る画像処理システムの具体例について説明する。図２０は、従来の仮想全天球画像を得るための画像処理システムを示す図である。図２０に示すように、画像処理システム１は、全天球カメラ２と、Ｎ台（Ｎ≧２）の複数のカメラ３−１、３−２、３−３、…、３−Ｎ（以下、カメラ群３とする。）と、画像処理装置４と、表示装置５とを備える。画像処理システム１は、フットサルのコート１０内に仮想視点１１を設定した場合に、コート１０外に設置したカメラ群３からの画像の合成によって仮想視点１１における仮想全天球画像を得る。

全天球カメラ２は、全天球画像を撮影するカメラである。全天球カメラ２は、試合が行われる前のタイミングでコート１０内の仮想視点１１の位置に設置される。全天球カメラ２は、予め、仮想視点１１の位置から仮想全天球画像の背景となる背景画像２０を撮影する。全天球カメラ２で撮影された全天球画像である背景画像２０は、画像処理装置４に入力されて蓄積される。

コート１０の周囲には、カメラ群３が設置されている。図２０においてＮは４以上の自然数である。カメラ群３を構成するカメラの数は、多ければ多いほどよいが、最低数は２である。カメラ群３は、それぞれ仮想視点１１を含む画角となるようにコート１０の周囲に設置されている。画像処理装置４は、背景画像２０に対して合成するためカメラ群３の各カメラが出力する前景画像を含む切り出し画像に対して画像処理を行う。画像処理装置４は、全天球カメラ２より取得した背景画像２０に画像処理後の部分画像を合成して仮想全天球画像を生成する。表示装置５は、画像処理装置４で生成した仮想全天球画像を表示する装置であり、液晶ディスプレイ等である。

画像処理システム１における画像処理の具体例を説明する。図２１は、画像処理システム１における画像処理される画像の具体例を示す図である。図２１（Ａ）は、仮想視点１１の位置に設置された全天球カメラ２で撮影された背景画像２０の例を示す図である。仮想視点１１を中心とする３６０度の画像となっている。背景画像２０は、競技開始前に撮影される画像であるのでコート１０内に競技を行う選手等は映っていない。

図２１（Ｂ）は、左からカメラ３−１で撮影した部分画像２１と、カメラ３−２で撮影した部分画像２２と、カメラ３−３で撮影した部分画像２３とを示している。画像処理装置４は、部分画像２１〜２３のそれぞれから仮想視点１１を含み、かつ、フットサルの選手を含む領域２１１、２２１、２３１を切り出す。画像処理装置４は、切り出した領域２１１、２２１、２３１の画像に対して、画像処理を行うことで背景画像２０に貼り付け可能な部分画像２１１ａ、２２１ａ、２３１ａを生成する。

画像処理装置４は、背景画像２０に対して部分画像２１１ａ、２２１ａ、２３１ａを合成することで、仮想全天球画像２４を生成する。図２１（Ｃ）は、画像処理装置４が生成する仮想全天球画像２４の例を示す図である。図２１（Ｃ）に示すように、仮想全天球画像２４は、所定の領域に部分画像２１１ａ、２２１ａ、２３１ａを貼り付けているので、コート１０上で競技を行っているフットサルの選手が映っている画像である。

従来の画像処理システム１は、合成に用いているカメラ群３の光学中心及び仮想視点１１において想定する仮想全天球カメラの光学中心はそれぞれ異なる。このため、合成された仮想全天球画像２４は幾何学的に正しくない画像を含む。これを防ぐためには、画像処理装置４は、部分画像２１１ａ、２２１ａ、２３１ａを、仮想視点１１からの距離を示す奥行の一点で整合性が保たれるよう画像処理を行い背景画像２０に貼り付ける必要がある。しかしながら、整合性が保たれる奥行に存在せずに別の奥行に存在している物体（例えば、競技中の選手）の部分画像を貼り付ける場合には、画像処理により奥行の整合性を保つことができない。このような奥行に整合性のない物体は、仮想全天球画像２４において、その画像が分身（多重像）したり、消失したりする現象が発生する。

以下に、図面を用いて仮想全天球画像２４において、物体の画像が分身したり、消失したりする現象について説明する。図２２は、画像処理システム１における課題を説明するための図である。図２２において、撮影範囲４１は、カメラ３−１の撮影範囲において図２１（Ｂ）に示した領域２１１の撮影範囲を示す。撮影範囲４２は、カメラ３−２の撮影範囲において図２１（Ｂ）に示した領域２２１の撮影範囲を示す。撮影範囲４３は、カメラ３−３の撮影範囲において図２１（Ｂ）に示した領域２３１の撮影範囲を示す。また、仮想視点１１からの距離（奥行）が異なる３つの被写体（選手）４９〜５１が存在する。

図２２において破線で示している仮想視点１１からの第１の距離を示す奥行４６は、各撮影範囲４１〜４３が、重なりなく並んでいる。このような奥行４６に位置する被写体４９は、その画像が分身したり消失したりすることがなく、奥行に整合性のある被写体４９である。仮想視点１１からの第２の距離を示す奥行４７は、各撮影範囲４１〜４３が、横線部分４４に示すように重なっている。このような奥行４７に位置する被写体５０は、その画像が分身してしまうので、奥行に整合性のない被写体５０となる。仮想視点１１からの第３の距離を示す奥行４８は、各撮影範囲４１〜４３の間が斜線部分４５に示すように空いている。このような奥行４８に位置する被写体５１は、その画像の一部が消失してしまうので、奥行に整合性のない被写体５１となる。

高橋康輔、外３名、「複数カメラ映像を用いた仮想全天球映像合成に関する検討」、信学技報、2015年06月01日、vol.115, no.76、MVE2015-5、p.43-48

以上のように、仮想全天球画像において被写体がある領域は、ユーザが注視する領域である視聴領域である可能性が高く、その視聴領域において被写体の分身や消失が発生すると、仮想全天球画像の視聴品質が低下するという問題がある。また、画像合成する際に、画像の継ぎ目が目に付いてしまうとこれもまた、仮想全天球画像の視聴品質が低下するという問題がある。

本発明は、このような事情に鑑みてなされたもので、視聴品質の低下を抑制した仮想全天球画像を生成する画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。

本発明の一態様は、第１の映像から取得された画像である第１画像と、第２の映像から取得された画像であって前記第１画像と撮像領域の一部が共通する画像である第２画像との２つの画像を結合する際に、共通する部分において前記２つの画像を結合するための結合線を決定する画像処理装置であって、前記画像を見ている者が見ている可能性が高い領域を避けつつ、前記結合線を配置することを決定する結合線決定手段を備える画像処理装置である。

本発明の一態様は、第１の映像から取得された画像である第１画像と、第２の映像から取得された画像であって前記第１画像と撮像領域の一部が共通する画像である第２画像との２つの画像を結合する際に、共通する部分において前記２つの画像を結合するための結合線を決定する画像処理装置であって、前記共通する部分において、人間の目に敏感に感じる画素はそのエネルギーが大きいと定義される第１のエネルギー画像を生成する第１のエネルギー画像生成手段と、前記第１のエネルギー画像のエネルギーが小さい画素を探索しながら前記共通部分において、前記エネルギーが小さい一連の画素を求めることにより前記結合線を配置することを決定する結合線決定手段とを備え、前記結合線決定手段は、前記画像を見ている者が見ている可能性が高い領域を避けつつ、前記結合線を決定する画像処理装置である。

本発明の一態様は、前記画像処理装置であって、前記画像の前記共通する部分において、前記画像を見ている者が見ている領域を検出する領域検出手段と、前記領域検出手段による検出結果に基づき、検出した前記領域のエネルギーが大きくなる第２のエネルギー画像を生成する第２のエネルギー画像生成手段と、前記第１のエネルギー画像と第２のエネルギー画像を加算して第３のエネルギー画像を生成する第３のエネルギー画像生成手段をさらに備え、前記結合線決定手段は、前記第３のエネルギー画像に基づき、前記エネルギーが小さい一連の画素を求めることにより前記結合線を決定する。

本発明の一態様は、前記画像処理装置であって、前記結合線決定手段は、シームカービング処理によって求めた前記共通する部分の前記２つの画像を結合する際に並べた方向と直交する方向のシームを結合線とする。

本発明の一態様は、前記画像処理装置であって、前記２つの画像は、所定の位置に設けた仮想視点から見た仮想全天球画像を生成する際に用いる。

本発明の一態様は、第１の映像から取得された画像である第１画像と、第２の映像から取得された画像であって前記第１画像と撮像領域の一部が共通する画像である第２画像との２つの画像を結合する際に、共通する部分において前記２つの画像を結合するための結合線を決定する画像処理装置が行う画像処理方法であって、前記画像を見ている者が見ている可能性が高い領域を避けつつ、前記結合線を配置することを決定する結合線決定ステップを有する画像処理方法である。

本発明の一態様は、第１の映像から取得された画像である第１画像と、第２の映像から取得された画像であって前記第１画像と撮像領域の一部が共通する画像である第２画像との２つの画像を結合する際に、共通する部分において前記２つの画像を結合するための結合線を決定する画像処理装置が行う画像処理方法であって、前記共通する部分において、人間の目に敏感に感じる画素はそのエネルギーが大きいと定義される第１のエネルギー画像を生成するエネルギー画像生成ステップと、前記第１のエネルギー画像のエネルギーが小さい画像を探索しながら前記共通部分における前記結合線を決定する結合線決定ステップとを有し、前記結合線決定ステップは、前記画像を見ている者が見ている可能性が高い領域を避けつつ、前記結合線を決定する画像処理方法である。

本発明の一態様は、コンピュータを、前記画像処理装置として機能させるための画像処理プログラムである。

本発明によれば、２つの画像を結合する際に、画像の継ぎ目を気づきにくい位置に配置するようにしたため、視聴品質の低下を抑制した仮想全天球画像を生成することができるという効果が得られる。

本発明の一実施形態による画像処理装置の構成を示すブロック図である。 画像処理装置３０の基本構成例を示す図である。 オブジェクト情報格納部３０３に格納するオブジェクト情報の一例を示す図である。 隣り合う部分画像間の境界領域において重複が発生する場合の具体例を示す図である。 画像処理システム１において１フレームの仮想全天球画像を作成する動作を示すフロー図である。 画像処理装置３０が動画の仮想全天球画像を作成する動作について説明する図である。 仮想全天球画像の生成処理を示す模式図である。 シームを求める動作を示す模式図である。 ２つの部分画像を結合する処理を示す説明図である。 前景の進行方向に基づいてエネルギー画像を生成して処理を行う例を示す図である。 エネルギー画像の生成方法を示す説明図である。 エネルギー画像の生成方法を示す説明図である。 図９に示す２つの部分画像を結合する動作を示すフローチャートである。 向いている方向で重み付けを行う例を示す図である。 中心からの距離で重み付けを行う例を示す図である。 エネルギー画像の生成方法を示す説明図である。 前景の動きの速さに基づいてエネルギーをも求める例を示す図である。 仮想全天球画像を生成した例を示す図である。 カメラの入力画像から切り出す部分画像の例を示す説明図である。 従来の仮想全天球画像を得るための画像処理システムを示す図である。 画像処理システム１における画像処理される画像の具体例を示す図である。 画像処理システム１における課題を説明するための図である。

以下、図面を参照して、本発明の一実施形態による画像処理装置を説明する。図１は同実施形態による仮想全天球画像を視聴するためのシステム構成を示すブロック図である。この図において、図２０に示す従来の装置と同一の部分には同一の符号を付し、その説明を簡単に行う。仮想全天球画像を視聴するためのシステムは、画像処理システム１及び視聴システム９を備えている。

図１に示すように、画像処理システム１は、全天球カメラ２と、Ｎ台（Ｎ≧２）の複数のカメラ３−１、３−２、３−３、…、３−Ｎ（以下、カメラ群３とする。）と、画像処理装置３０と、表示装置５とを備える。画像処理システム１は、フットサルのコート１０内に仮想視点１１を設定した場合に、コート１０外に設置したカメラ群３からの画像の合成によって仮想視点１１における仮想全天球画像を得る。

全天球カメラ２は、全天球画像を撮影するカメラである。全天球カメラ２は、競技が行われる前のタイミングでコート１０内の仮想視点１１の位置に設置される。全天球カメラ２は、予め、仮想視点１１の位置から仮想全天球画像の背景となる背景画像２０を撮影する。全天球カメラ２で撮影された背景画像２０は、画像処理装置４に入力されて蓄積される。全天球カメラ２は、競技中も仮想視点１１に設置したままだと競技の支障となるため、競技開始前に仮想視点１１の位置から取り除かれる。

コート１０の周囲には、カメラ群３が設置されている。カメラ群３の各カメラ３−１、３−２、３−３、…、３−Ｎは、背景画像２０に対して合成する前景を含む動画（映像）で撮影するカメラであり、それぞれ仮想視点１１を含む画角となるようにコート１０の周囲を取り囲むように設置されている。図１においてＮは、４以上の整数であり、同程度の画質の仮想全天球画像を得ようとするのであればコート１０が大きいほど大きな値となり、コート１０の大きさが同じであれば仮想全天球画像の画質を高いものにしようとするほど大きな値となる。

画像処理装置３０は、各カメラ３−１、３−２、３−３、…、３−Ｎで撮影される動画像を構成する画像である入力画像に対して画像処理を施して、全天球カメラ２より取得した背景画像２０に画像処理後の部分画像を合成する処理を行う。表示装置５は、画像処理装置３０で生成した仮想全天球画像を表示する装置であり、液晶ディスプレイ、ヘッドマウントディスプレイ（ＨＭＤ）等である。

視聴システム９は、画像サーバ６と、ネットワーク７と、複数の視聴装置８とを備える。画像サーバ６は、ネットワーク７を介して画像処理装置３０が生成した仮想全天球画像を配信するサーバである。ネットワーク７は、例えばインターネット等の通信網である。視聴装置８は、ネットワーク７に接続可能なユーザ端末８１と、ユーザ端末８１に接続されたＨＭＤ８２とから構成される装置である。ユーザ端末８１は、ネットワーク７を介して画像サーバ６が配信する仮想全天球画像を受信する機能と、受信した仮想全天球画像をＨＭＤ８２で視聴可能な映像信号に変換してＨＭＤ８２へ出力する機能とを備える。

ＨＭＤ８２は、ユーザ端末８１から映像信号等を受信する受信部と、受信部を介して受信した映像信号を表示する液晶ディスプレイ等で構成される画面と、視聴者の頭の動きを検出する検出部と、検出部が検出した結果をユーザ端末８１に送信する送信部とを備える。ＨＭＤ８２の画面に表示される映像は、仮想全天球画像に基づいた仮想全天球映像の一部であり視野と呼ぶ。ＨＭＤ８２は、検出部が検出した視聴者の頭の動きに応じて表示する映像の範囲である視野を変更する機能を有する。

頭を上下左右に動かすことに応じて視聴している映像が変化するので、ＨＭＤ８２を頭に装着した視聴者は、仮想視点１１の位置から競技を見ているかのような映像を視聴することができる。このように、ＨＭＤ８２を装着した視聴者は、あたかも仮想視点１１に立って競技を観戦しているかのような臨場感のある映像を視聴することができる。

画像処理システム１において処理される画像は、図２０に示した従来の画像処理システム１で処理される画像と同様であるので、図２０を用いて画像処理システム１の動作について簡単に説明する。全天球カメラ２は、コート１０内の仮想視点１１に設置されて、図２１（Ａ）に示す背景画像２０を競技開始前に撮影する。競技が開始されるとカメラ群３の各カメラが撮影を開始する。例えば、カメラ群３内のカメラ３−１、３−２、３−３は、図２１（Ｂ）に示す部分画像２１〜２３を撮影する。

画像処理装置３０は、撮影された部分画像２１〜２３のそれぞれから仮想視点１１を含み、かつ、競技中の選手を含む領域２１１、２２１、２３１を切り出す。画像処理装置３０は、切り出した領域２１１、２２１、２３１の画像に対して、画像処理を行うことで背景画像２０に貼り付け可能な部分画像２１１ａ、２２１ａ、２３１ａを生成する。画像処理装置３０は、背景画像２０に対して部分画像２１１ａ、２２１ａ、２３１ａを合成することで、図２１（Ｃ）に示すような仮想全天球画像２４を生成する。

なお、視聴システム９は、図１に示す構成に限定されるものではない。視聴システム９は、画像処理装置３０が生成した仮想全天球画像を編集してから画像サーバ６へ出力する編集装置を備える構成等、仮想全天球画像をネットワーク７経由で配信可能な構成であればよい。視聴装置８の構成は、ネットワーク７を介して受信した仮想全天球画像を利用者が視聴できる構成であれば、どのような構成であってもよい。

次に、図１に示す画像処理装置３０の構成について説明する。図２は、画像処理装置３０の基本構成例を示す図である。図２に示すように、画像処理装置３０は、オブジェクト解析部３１と、奥行取得部３２と、合成情報取得部３３と、画像入力部３４と、画像切り出し部３５と、画像合成部３６と、表示処理部３７と、キーボードやマウス等で構成され、奥行に関する情報を入力する入力部３８と、貼り合わせる部分画像の境界（継ぎ目）を決定する境界決定部３９と、カメラ群３の各カメラが撮影した前景画像を含む部分画像を格納する前景画像格納部３０１と、背景画像２０を格納する背景画像格納部３０２と、オブジェクト情報格納部３０３と、合成情報テーブル３０４とを備える。

オブジェクト解析部３１は、前景画像格納部３０１に格納されている部分画像を入力とし、部分画像に含まれるオブジェクトを抽出して、出力する。ここでオブジェクトとは、背景画像２０に含まれていないが部分画像に含まれている人物、物体（例えばボール）等である。オブジェクト解析部３１は、抽出したオブジェクトに対して当該オブジェクトを識別するための識別子であるＩＤを付与する。

カメラ群３の各カメラで撮影される部分画像は、所定のフレーム周期を有する動画像であり、各フレームには撮影時間が関連付けられている。オブジェクト解析部３１は、時間方向に一連のフレームから抽出した同一オブジェクトに対して同じＩＤを付与する。オブジェクト情報格納部３０３は、オブジェクトを抽出する対象とした部分画像のフレーム毎の撮影時刻に関連付けてオブジェクト解析部３１が付与したＩＤを含むオブジェクトに関する情報を格納する。

例えば、オブジェクト解析部３１は、カメラ３−１が撮影した撮影時刻ｔ、ｔ＋１、ｔ＋２、…の一連のフレームである部分画像２１から抽出したオブジェクトには、ＩＤ１の識別子を付与する。同様に、オブジェクト解析部３１は、カメラ３−２が撮影した撮影時刻ｔ、ｔ＋１、ｔ＋２、…の一連のフレームである部分画像２２から抽出したオブジェクトには、ＩＤ２の識別子を付与し、カメラ３−３が撮影した撮影時刻ｔ、ｔ＋１、ｔ＋２、…の一連のフレームである部分画像２３から抽出したオブジェクトには、ＩＤ３の識別子を付与する。

オブジェクト解析部３１は、部分画像を解析してオブジェクトを抽出する際に、オブジェクトの属性を示すラベルと、オブジェクトのコート１０上の空間における３次元的な位置情報である３次元位置情報とを取得する。ラベルの具体例としては、人物であることを示す「人」、ボールであることを示す「ボール」、物体Ａであることを示す「物体Ａ」、物体Ｂであることを示す「物体Ｂ」、…等のカメラ群３の撮影範囲を移動する可能性のある物体を識別する情報を用いる。

オブジェクト解析部３１は、オブジェクトを抽出するために部分画像を解析処理することで、オブジェクトが「人」、「ボール」、「物体Ａ」、「物体Ｂ」のいずれに該当するのかを解析・判定して、その判定結果をラベルとして出力する。なお、オブジェクトが「人」、「ボール」、「物体Ａ」、「物体Ｂ」のいずれに該当するのかを解析・判定する手法としては、公知の画像解析技術を用いる。例えば、画像の解析により人を検出する技術を開示する文献として以下の公知文献１がある。
公知文献１：山内悠嗣、外２名、「[サーベイ論文] 統計的学習手法による人検出」、電子情報通信学会技術研究報告、vol.112、no.197、PRMU2012-43、pp.113-126、2012年9月

また、オブジェクト解析部３１は、部分画像内におけるオブジェクトの位置、オブジェクトを撮影したカメラ群３内の複数のカメラの位置及びその複数のカメラの撮影範囲（撮影方向及び画角）等の情報に基づいて、コート１０上の空間におけるオブジェクトの３次元位置を取得する。このオブジェクトの３次元位置を取得する手法としては、公知の技術を用いる。また、取得位置情報は、２次元位置の情報であってもよい。

オブジェクト情報格納部３０３は、オブジェクト解析部３１が抽出したオブジェクトに関する情報であるオブジェクト情報を入力とし、オブジェクト情報をその撮影時刻に関連付けて格納する。オブジェクト情報は、オブジェクトを識別するＩＤと、オブジェクトの属性を示すラベルと、オブジェクトの３次元位置とを含む。

図３は、オブジェクト情報格納部３０３に格納するオブジェクト情報の一例を示す図である。図３に示すように、部分画像の各フレームの撮影時刻を示す時刻ｔ、ｔ＋１、ｔ＋２、…に関連付けて複数のオブジェクト情報を格納している。時刻ｔにおいては、オブジェクト１のオブジェクト情報として、ＩＤ１、ラベル１、３次元位置情報１が格納され、オブジェクト２のオブジェクト情報として、ＩＤ２、ラベル２、３次元位置情報２が格納されている。時刻ｔ＋１、時刻ｔ＋２においても、同じ情報が格納されている。

奥行取得部３２は、オブジェクト情報格納部３０３よりオブジェクト情報を読み出して、各撮影時刻において、複数のオブジェクトの中から重要なオブジェクトである主オブジェクトを特定して、仮想視点１１から特定した主オブジェクトまでの距離である奥行に関する奥行情報を取得し、出力する。重要なオブジェクトとは、例えば、仮想全天球画像の中で視聴者が注視する領域に存在するオブジェクトである。

奥行取得部３２は、予め各撮影時刻における主オブジェクトを特定しておく。具体的には、仮想全天球画像を作成するコンテンツ作成者が、各撮影時刻において視聴者が注視すると推定される領域または視聴者が注視すると推定されるオブジェクトを特定する情報を入力部３８から入力する。これにより、奥行取得部３２は、入力された情報に基づいて各撮影時刻における主オブジェクトを特定する。奥行取得部３２において、主オブジェクトを特定する方法は、上述した方法に限定されるものではなく、色々な方法を用いてよい。例えば、撮影した部分画像における視聴者の興味の度合いを領域別に表したマップであるＳａｌｉｅｎｃｙ Ｍａｐを求めて奥行取得部３２に入力する。奥行取得部３２では、入力されたＳａｌｉｅｎｃｙ Ｍａｐに基づいて視覚的に顕著な領域に存在するオブジェクトを主オブジェクトとして特定してもよい。また、予め被験者に部分画像である動画を視聴させ、各撮影時刻においてどの領域を見ていたかという視聴ログを獲得し、その視聴ログを奥行取得部３２に入力し、入力された視聴ログに基づいて主オブジェクトを特定してもよい。

なお、Ｓａｌｉｅｎｃｙ Ｍａｐの求め方は公知の技術であり、例えば、以下の公知文献２に記載の技術を用いてもよい。
公知文献２：Laurent Itti, Christof Koch, and Ernst Niebur,"A Model of Saliency-Based Visual Attention for Rapid Scene Analysis",IEEE Transactions on Pattern Analysis and Machine Intelligence, 20(11):1254-1259 (1998)

合成情報テーブル３０４は、部分画像から仮想視点１１を含む領域を切り出すための切り出し領域に関する情報である切出領域情報と、その切り出し領域に応じて切り出した画像を部分画像に変換するための情報である変換情報とを含む合成情報を格納する。部分画像は、切り出した画像を背景画像２０の対応領域に違和感なく貼り付けるために、切り出した画像に対して上記変換情報に応じて拡大、縮小、回転等の変形処理を行って生成される。この変形処理は、例えば、画像に対してアフィン変換を施すことによって行う。画像に対してアフィン変換を施す場合の変換情報は、例えばアフィン変換行列である。以下、部分領域画像に対して行う変形処理としてアフィン変換を用いる例を示すが、変形処理はアフィン変換に限定される必要はなく、変換情報に応じて拡大、縮小、回転等による画像の変換を行う処理であればどのような処理であってもよい。合成情報テーブル３０４は、カメラ群３において処理対象となる部分画像を撮影したカメラを特定するカメラコードと、仮想視点１１からの奥行と、その奥行に応じたアフィン変換行列である変換情報と、その奥行に応じた切出領域情報とを対応づけて格納するテーブルである。

アフィン変換行列は、以下に示す方法により予め取得して合成情報テーブル３０４に記憶しておく。例えば、仮想視点１１から複数種類の距離（奥行）の位置に格子模様のチェスボードを設置して、仮想視点１１に設置した全天球カメラ２で撮影したチェスボードを含む画像と、カメラ群３で撮影したチェスボードを含む画像とを比較する。そして両画像において、撮影したチェスボードの各格子が対応するように画像を変換するアフィン変換行列を求める。このようにして、チェスボードを設置した奥行に対応したアフィン変換行列を求める。

切出領域情報は、以下に示す方法により予め取得して合成情報テーブル３０４に記憶しておく。例えば、カメラ群３の内の隣接する２つのカメラで撮影された部分画像に同一の被写体（チェスボード）が存在する重複している領域がある場合は、一方の領域のみ残るように双方のカメラの画像に対する切り出し領域を設定する。切り出し領域は、仮想視点１１から被写体（チェスボード）まで複数種類の距離（奥行）について、カメラ群３に含まれるカメラ毎に求める。なお、双方のカメラの画像において、数画素〜数十画素の幅の重複領域を残すように切り出し領域を設定してもよい。

合成情報取得部３３は、奥行取得部３２が取得した奥行を入力とし、奥行に基づいて、合成情報テーブル３０４から、カメラ群３の各カメラで撮影された部分画像に対応する切り出し領域及びアフィン変換行列を含む合成情報を取得して、出力する。なお、合成情報テーブル３０４に格納されている奥行は数種類〜数十種類なので、奥行取得部３２が取得した奥行と同じ値の奥行のテーブルが無い場合が想定される。このような場合は、合成情報取得部３３は、奥行取得部３２が取得した奥行の前後の値となる合成情報テーブル３０４に記録済の２つの奥行の値に対応する合成情報（切出領域情報及び変換情報）を用いて、奥行取得部３２が取得した奥行に対応する合成情報を算出する。具体的には、上記記録済の２つの奥行の値に対応する切出領域情報の切り出し領域の座標値を線形補間することにより、その中間に位置する切り出し領域を特定する。上記記録済の２つの奥行の値に対応するアフィン変換行列の各係数を線形補間することにより、その中間値となるアフィン変換行列を算出する。

前景画像格納部３０１は、各カメラを特定するカメラコードに関連付けてカメラ群３の各カメラで撮影した前景画像を含む部分画像を格納する。部分画像は、撮影時刻及び動画の画像データを含む。前景画像格納部３０１は、例えば、図２１（Ｂ）に示す部分画像２１を、カメラ３−１を特定するカメラコードに関連付けて格納し、部分画像２２を、カメラ３−３を特定するカメラコードに関連付けて格納し、部分画像２３を、カメラ３−３を特定するカメラコードに関連付けて格納する。

背景画像格納部３０２は、全天球カメラ２で撮影した全天球画像である背景画像２０を格納する。背景画像格納部３０２は、例えば、コート１０内の仮想視点１１に設置した天球カメラ２で撮影した図２１（Ａ）に示す背景画像２０を格納する。格納する背景画像２０は、１フレーム分の画像データでも所定時間分の動画の画像データでもよい。所定時間分の画像データを格納する場合は、背景画像２０において周期的に変化する部分（例えば電光掲示板が映っている部分があり、かつ、電光掲示板の表示内容が周期的に変化している部分。）があれば、その周期に応じた時間分の画像データを背景画像２０として格納すればよい。

画像処理装置３０が全天球カメラ２から背景画像２０を取得する構成はどのような構成であってもよい。例えば、画像処理装置３０が全天球カメラ２と有線または無線で通信可能な通信部を備えて、その通信部を介して背景画像２０を取得する構成であってもよい。また、全天球カメラ２に着脱可能な記録媒体を用いて当該記録媒体に背景画像２０を記録して、記録後の記録媒体を画像処理装置３０に接続して、画像処理装置３０が記録媒体から背景画像２０を読み出す構成により、背景画像２０を取得する構成であってもよい。また、画像処理装置３０が、カメラ群３から部分画像を取得する構成も全天球カメラ２の場合と同様にどのような構成であってもよい。

画像入力部３４は、部分画像格納部３０１から部分画像を取得し、背景画像格納部３０２から背景画像２０を取得して、部分画像を画像切り出し部３５へ出力し、背景画像２０を画像合成部３６へ出力する。画像切り出し部３５は、合成情報取得部３３が取得した合成情報に含まれる切出領域情報に基づいて、カメラ群３の各カメラからの部分画像に対応する切り出し領域を特定し、部分画像から特定した切り出し領域を切り出して、切り出した画像を画像合成部３６へ出力する。画像切り出し部３５は、例えば、図２１（Ｂ）に示す部分画像２１〜２３のそれぞれから切り出し領域２１１、２２１、２３１を切り出す処理を行う。

画像合成部３６は、画像切り出し部３５が切り出した画像と合成情報取得部３３が取得した合成情報と、背景画像を入力とし、画像切り出し部３５が切り出した画像に対して、合成情報取得部３３が取得した合成情報に含まれる変換情報のアフィン変換行列に基づいて変形処理を行い、部分画像を生成する。画像合成部３６は、生成した部分画像をアフィン変換行列に基づいて背景画像２０に貼り付けて合成することで仮想全天球画像を生成し、出力する。なお、アフィン変換行列は、背景画像２０において部分画像を貼り付ける領域を示す情報を含む。画像合成部３６は、生成した仮想全天球画像を画像サーバ６へ送信する機能を有する。

画像合成部３６は、例えば、図２１（Ｂ）に示す部分画像２１〜２３のそれぞれから切り出し領域２１１、２２１、２３１を切り出した画像に対して、アフィン変換行列に基づいた変形処理を行うことで、部分画像２１１ａ、２２１ａ、２３１ａを生成する。画像合成部３６は、例えば、背景画像２０に対して、部分画像２１１ａ、２２１ａ、２３１ａを所定の領域に貼り付けて合成することで図２１（Ｃ）に示す仮想全天球画像２４を生成する。

部分画像を背景画像２０に貼り付けて仮想全天球画像２４を生成した際に、隣り合う部分画像間の境界領域において重複が発生する場合がある。図４は、隣り合う部分画像間の境界領域において重複が発生する場合の具体例を示す図である。図４に示すように、仮想全天球画像２４に貼り付けた部分画像２１１ｂと部分画像２２１ｂとが境界領域２５において重複している。なお、図４に示す部分画像２１１ｂと部分画像２２１ｂが、図２１（Ｃ）に示した部分画像２１１ａ及び部分画像２２１ａと比較して異なる点は、両画像に重複する領域がある点である。

図４に示すように、部分画像２１１ｂと部分画像２２１ｂとが境界領域２５において重複している場合には、画像合成部３６は、重複している境界領域２５に対して以下に示すブレンディング（Ｂｌｅｎｄｉｎｇ）処理を行う。画像合成部３６は、Ｂｌｅｎｄｉｎｇパラメータαを定め、（式１）に基づいて重複領域２５の各ピクセルの値を算出する。
ｇ（ｘ、ｙ）＝αＩ_ｉ（ｘ、ｙ）＋（１−α）Ｉ_ｉ＋１（ｘ、ｙ） … （式１）

（式１）において、ｘ、ｙは、仮想全天球画像２４上における水平方向、垂直方向の座標である。ｇ（ｘ、ｙ）は、境界領域２５内の座標（ｘ、ｙ）の画素値の値である。Ｉ_ｉ（ｘ、ｙ）とＩ_ｉ＋１（ｘ、ｙ）は、カメラ群３内のカメラ３−ｉ及びカメラ３−（ｉ＋１）によって撮影された部分画像に基づいて生成された部分画像の座標（ｘ、ｙ）の画素値の値を表す。また、このαの値は重複領域２５で一定であるが、以下の（式２）に示すように変化させてもよい。
α（ｘ）＝（ｘ−ｘｓ）／（ｘｅ−ｘｓ） … （式２）
（式２）において、ｘｓ及びｘｅは、図４に示すように重複領域２５の両端のｘ座標であり、ｘｓ＜ｘｅである。

表示処理部３７は、画像合成部３６が出力する仮想全天球画像を入力とし、仮想全天球画像を表示装置５において表示可能な映像信号に変換して出力する。仮想全天球画像２４は、図２１（Ｃ）に示す通り、歪みを含む画像であり、かつ、仮想視点１１を中心とする３６０度の景色を含む画像であるので、表示処理部３７は、仮想全天球画像から表示装置５に表示させる範囲の画像を切り出して、切り出した画像の歪みを補正する機能を有する。

画像処理装置３０は、前景画像格納部３０１及び背景画像格納部３０２を備える構成としたが、これに限定されるものではない。例えば、前景画像格納部３０１及び背景画像格納部３０２を備える画像格納装置を別に設け、画像処理装置３０は、画像格納装置から前景画像格納部３０１及び背景画像格納部３０２を取得する構成であってもよい。

境界決定部３９は、画像合成部３６が出力する仮想全天球画像と合成情報を入力とし、前述した境界領域に対して、ブレンディング処理を行うのではなく、目に付きにくい境界線とすることにより、自然な画像合成を行うための境界領域を決定し、出力する。

次に、画像処理システム１において１フレームの仮想全天球画像を作成する動作について説明する。図５は、画像処理システム１において１フレームの仮想全天球画像を作成する動作を示すフロー図である。図５に示す動作は、各撮影時刻における仮想全天球画像を生成する処理の前に、予めオブジェクト情報、合成情報、背景画像２０及び部分画像を取得する処理も含まれる。

仮想視点１１に全天球カメラ２を設置し、仮想視点１１から所定の距離（奥行）にチェスボードを設置した後に、全天球カメラ２は、チェスボードを含む全天球画像を撮影する（ステップＳ１０１）。全天球カメラ２を仮想視点１１から取り去って、カメラ群３の各カメラで、仮想視点１１及びチェスボードを含む撮影範囲を撮影し、全天球カメラ２で撮影された全天球画像に含まれるチェスボードと、カメラ群３内の一つのカメラで撮影された画像に含まれるチェスボードとを対応させるための合成情報を求める（ステップＳ１０２）。なお、ステップＳ１０１、１０２におけるチェスボードの撮影は、仮想視点１１から複数種類の距離にチェスボードを設置して行われる。

仮想視点１１に全天球カメラ２を設置した後に、全天球カメラ２は、背景画像２０を撮影する（ステップＳ１０３）。撮影された背景画像２０は、背景画像格納部３０２に格納される。全天球カメラ２を仮想視点１１から取り去った後であって、例えば競技開始と共に、カメラ群３は撮影を開始する。これにより、画像処理装置３０は、カメラ群３が撮影した部分画像を前景画像格納部３０１に格納する。オブジェクト解析部３１は、前景画像格納部３０１から部分画像を読み出して解析処理し、解析結果をオブジェクト情報格納部３０３に格納する。奥行取得部３２は、オブジェクト情報格納部３０３に格納されているオブジェクトの中から、入力部３８から入力された情報に基づいて主オブジェクトを特定する。奥行取得部３２は、仮想視点１１から特定した主オブジェクトまでの奥行情報を取得する（ステップＳ１０４）。

合成情報取得部３３は、奥行取得部３２が取得した奥行を入力とし、奥行に基づいて、合成情報テーブル３０４から、各部分画像に対応する切り出し領域及びアフィン変換行列を含む合成情報を取得して、出力する（ステップＳ１０５）。ステップＳ１０５において、合成情報取得部３３は、奥行取得部３２が取得した奥行と同じ値の奥行のテーブルが無い場合は、奥行取得部３２が取得した奥行の前後の値となる奥行に対応する合成情報に基づいて、奥行取得部３２が取得した奥行に対応する合成情報を求める。

画像切り出し部３５は、合成情報取得部３３が取得した合成情報に含まれる切出領域情報を入力とし、切出領域情報に基づいて、カメラ群３の各カメラからの部分画像に対応する切り出し領域を特定し、部分画像から特定した切り出し領域を切り出して、切り出した画像を画像合成部３６へ出力する。画像合成部３６は、画像切り出し部３５が切り出した画像と合成情報取得部３３が取得した合成情報と背景画像を入力とし、画像切り出し部３５が切り出した画像に対して、合成情報に含まれる変換情報のアフィン変換行列に基づいて変形処理を行い、部分画像を生成する。画像合成部３６は、生成した部分画像をアフィン変換行列に基づいて背景画像２０に貼り付けて合成することで仮想全天球画像を生成し、出力する（ステップＳ１０６）。

画像合成部３６は、背景画像２０に貼り付ける２つの部分画像間の境界領域において重複している場合には、重複している境界領域に対してブレンディング処理を行う（ステップＳ１０７）。

次に、画像処理装置３０が動画の仮想全天球画像を作成する基本動作について説明する。図６は、画像処理装置３０が動画の仮想全天球画像を作成する動作について説明する図である。図６の動作においては、図５に示したステップＳ１０１〜ステップＳ１０４における部分画像の撮影までの処理は既に終えているものとする。図６に示すように、画像処理装置３０は、最初の撮影時刻のフレームに対する処理を開始する（ステップＳ２０１）。

画像入力部３４は、前景画像格納部３０１から部分画像を取得し、背景画像格納部３０２から背景画像２０を取得して、部分画像を画像切り出し部３５へ出力し、背景画像２０を画像合成部３６へ出力する（ステップＳ２０２）。奥行取得部３２は、オブジェクト情報格納部３０３に格納されているオブジェクトの中から、入力部３８から入力された情報に基づいて主オブジェクトを特定して、特定した主オブジェクトまでの奥行を取得する（ステップＳ２０３）。

合成情報取得部３３は、奥行取得部３２が取得した奥行を入力とし、奥行に基づいて、合成情報テーブル３０４から、各部分画像に対応する合成情報を取得して、出力する（ステップＳ２０４）。画像切り出し部３５は、合成情報取得部３３が取得した合成情報を入力とし、合成情報に基づいて、部分画像から切り出し領域を切り出して、切り出した画像を画像合成部３６へ出力する。画像合成部３６は、画像切り出し部３５が切り出した画像と合成情報取得部３３が取得した合成情報と背景画像を入力とし、画像切り出し部３５が切り出した画像に対して、合成情報に含まれるアフィン変換行列に基づいて変形処理を行い、部分画像を生成する。画像合成部３６は、生成した部分画像をアフィン変換行列に基づいて背景画像２０に貼り付けて合成して、仮想全天球画像を生成して出力する（ステップＳ２０５）。画像処理装置３０は、次の撮影時刻の部分画像があればステップＳ２０１に戻りループを継続し、次の撮影時刻の部分画像がなければ、ループを終了する（ステップＳ２０６）。

以上に説明したように画像処理装置３０は、視聴者が注目する主オブジェクトに対応した奥行を求めて、求めた奥行に対応した部分画像の生成し、生成した部分画像を背景画像２０に貼り付けることで仮想全天球画像を生成することができる。これにより、画像処理装置３０は、仮想全天球画像に含まれる主オブジェクトである被写体において分身が起こったり、消失が起こったりすることを抑制することができる。画像処理装置３０は、視聴者の注目する被写体の奥行に応じた合成処理を行うことで、仮想全天球画像に含まれる視聴者の注目する被写体における分身の発生を抑制することができ、視聴品質の低下を抑制した仮想全天球画像を視聴者に提供することができる。

＜第１の実施形態＞
次に、本発明の第１の実施形態による画像処理装置を説明する。第１の実施形態は、前述した合成処理中に行う境界処理について変形を加えたものである。第１の実施形態では、前述したように、ブレンディング処理を行うのではなく、部分画像の合成時に目に付きにくい境界とするものである。ここで、図７を参照して仮想全天球画像の生成処理について簡単に説明する。図７は、仮想全天球画像の生成処理を示す模式図である。まず、カメラＣ_ｉ−１、Ｃ_ｉ、Ｃ_ｉ＋１によって撮影されたそれぞれの動画（映像）からそれぞれ取得された入力画像を事前に獲得する。カメラによって撮影された動画（映像）は、複数フレームの画像により構成されるものであり、ここでは処理対象フレームの画像を入力画像として獲得する。また、エネルギー画像の生成のために、処理対象フレームよりも過去の１つまたは複数のフレームの画像も事前に獲得する。そして、得られたそれぞれの入力画像から前景となる切り出し画像Ｓ_ｉ−１、Ｓ_ｉ、Ｓ_ｉ＋１をそれぞれ切り出す。

次に、切り出し画像Ｓ_ｉ−１、Ｓ_ｉ、Ｓ_ｉ＋１に対して、予め求めてあるアフィン変換行列Ａ_ｉ−１、Ａ_ｉ、Ａ_ｉ＋１によって画像変換を行い、部分画像Ｓ’_ｉ−１、Ｓ’_ｉ、Ｓ’_ｉ＋１を生成する。そして、予め撮影してあった全天球画像Ｂと合成処理を行う。このとき、部分画像を重なり合うように並べて合成するのではなく、シームカービングの処理を適用して、部分画像と部分画像の継ぎ目が目に付かないようにして合成を行う。このように合成するようにすることにより。仮想視点Ｐｖから見た仮想全天球画像を生成することが可能となる。この仮想全天球画像をＨＤＭ８２によって、ユーザが見たい場面の方向へ視線を向けることにより、あたかもコート１０内の仮想視点１１のからフットサルの試合を観戦することが可能となる。

ここで、本実施形態において用いるシームカービングについて説明する。シームの定義は、視覚的に重要でない画素を連結した画像列であり、これをシームと呼ぶ。画像の上端から下端を結ぶように連結したシームを縦シームという。シームカービングでは横シームもあるが、ここでは、縦シームのみを用いるため、縦シームについて説明する。シームカービングは、画像を拡大縮小する際に用いる技術であり、シームを削除することで、画像を縮小することができる。また、このシームを複製することにより画像の拡大にも適用可能である。シームカービングでは、視覚的に重要でないシームを検出することが重要である。これを行うために、画像のエネルギーという考えを導入する。基本的なアイデアは、人間の目に敏感に感じる画素はそのエネルギーが大きいとすることである。各画素について、エネルギーの値を付与した画像をエネルギー画像という。

図８は、シームを求める動作を示す模式図である。まずシームが定義されていない部分画像に対して、エネルギー計算（図８（Ｂ））を行う。この結果、エネルギー画像（図８（Ｃ））が得られることになる。このエネルギー画像に対して、公知のシームカービング処理のうち、縦シームを求める処理を行うことによって縦シームが得られる。シームカービングの処理については公知の技術（公知文献３参照）であるため、ここでは詳細な説明を省略するが、一般に累積エネルギーの低い境界がシームとして求められることになる。
公知文献３: Avidan, Shai, and Ariel Shamir. "Seam carving for content-aware image resizing." ACM Transactions on graphics (TOG). Vol. 26. No. 3. ACM, 2007.

そして、エネルギー画像上において求めたシームを元の部分画像上に重ね合わせる（図８（Ａ））ことによって、継ぎ目として用いることができるシームを定義することが可能となる。

次に、図９を参照して、２つの部分画像を結合する処理について説明する。図９は、２つの部分画像を結合する処理を示す説明図である。前述したように、２つの部分画像１、２は、その一部が重複している領域（これを境界領域という）を有している。この境界領域について、部分領域１、２のいずれかの境界領域部分を用いて、シームカービング処理の縦シームを求める処理のみを行うことによって、縦シームを求める。そして、求めた縦シームを２つの部分画像１、２を結合するための結合線として用いる。ここでは、縦シームを例にして説明したが、結合する画像が上下に並べられている場合は、横シームを求めることになる。すなわち、２つの画像を結合する際に並べた方向と直交する方向のシームを求めることになる。このようにすることにより、前述したブレンディング処理が不要になるとともに、目で気づきにくい場所に結合線を設定するようにしたため、２つの部分画像１、２を結合する際に自然に結合を行うことが可能となる。

しかし、シームカービングによって、単に結合線（継ぎ目）を求めて結合しただけでは、以下のような問題が生じる。すなわち、視聴者が注目している領域に部分画像の境界（継ぎ目）があると目に付きやすいという問題である。そこで、本実施形態では、視聴者は人などの前景が動いていく方向を見ているはずであるという仮定の基に、人などの前景画像であるオブジェクトが移動する方向にはシームを作らないようにした。図１０は、前景の進行方向に基づいてエネルギー画像を生成して処理を行う例を示す図である。視聴者は、図１０（Ａ）に示すように、画像に映っている人の進行方向の領域（破線で囲んだ領域）に視線が向くため、その領域にシームを作ってしまうとシームに基づいて結合した結合線が目立つことになる。

これは、図１０（Ｂ）に示す対象の部分画像から単にエネルギー画像を生成したため、画像に映っている人の進行方向の領域にシームができてしまったためである。これに対して、図１０（Ｃ）のように、新たに第２のエネルギー画像を生成し、この第２のエネルギー画像を加算することで前景の進行方法にシームを作らないようにする。第２のエネルギー画像は、前景の動きに基づいて、シームを作りたくない領域（ここでは、前景が進行しようとしている方向の領域）のエネルギーが高くなうようにしたエネルギー画像である。

ここで、エネルギー画像の生成方法について説明する。図１１、図１２は、エネルギー画像の生成方法を示す説明図である。ある境界領域に関し、過去ｓ（≧１）フレームの画像を用いて各ピクセルに関してオプティカルフローを算出する（図１１（Ａ））。オプティカルフローを算出する手法については公知であるため、ここでは詳細な説明を省略する。

次に、先に求めたオプティカルフローについて、位置と方向に関して、Ｋ−ｍｅａｎｓなどを用いてクラスタリングする（図１１（Ｂ））。続いて、各クラスタについて、エネルギー画像を求める。エネルギー画像は境界領域と同じサイズの画像であるとする。図１２のようにクラスタＫ_ｉ（ｊはクラス番号。１≦ｊ）に含まれるオプティカルフローの平均をそのクラスタのオプティカルフローをｆ_ｉとし、Ｋ_ｉの重心をｇ_ｉとすると、平均（ｇ_ｉ＋Δｖ）のｘ座標、分散１の正規分布にしたがってエネルギー画像を作成する。

なお、Δｖ＝αｆ_ｉであり、正規分布の横軸は図１２のようにｆ_ｉと平行であるとする。αは係数であり、適当な数値を与えてよい。ただし、クラスタＫ_ｉ付近に存在する移動物体が次時刻にｇ_ｉ＋Δｖ付近に来るような値を与えることが望ましい。また、エネルギーの最大値ｅ_ｍａｘは予め定め（２５５など）、正規分布で得られるエネルギーの最大値がｅ_ｍａｘと等しくなるように正規化する。なお、ｅ_ｍａｘはｅ_ｍａｘ＝Ｎｆ_ｉ＋Ｐｆ_ｉのように、Ｋ_ｉに含まれるオプティカルフローの数（Ｎｆ_ｉ）やオプティカルフローの大きさ（Ｐｆ_ｉ）によって変化させてもよい（図１１（Ｃ））。

次に、各クラスタで作成したエネルギー画像を足し合わせ、境界領域のエネルギー画像とする。なお、図１１（Ｃ））で求めたｆ_ｉはクラスタＫ_ｉに含まれるオプティカルフローの最大値、最小値、中央値などでもよい。

次に、図１３を参照して、図９に示す２つの部分画像を結合する動作を説明する。図１３は、図９に示す２つの部分画像を結合する動作を示すフローチャートである。まず、境界決定部３９は、エネルギー画像を前述した方法によって生成する（ステップＳ３０１）。

次に、境界決定部３９は、２つのエネルギー画像を足し合わせて、第３のエネルギー画像を生成する（ステップＳ３０２）。そして、境界決定部３９は、シームカービング処理によって、足し合わされたエネルギー画像から縦シームを求める（ステップＳ３０３）。この処理によって、図９（Ｂ）に示す縦シームが定義されることになる。

次に、境界決定部３９は、求めた縦シームを用いて境界を決定する（ステップＳ３０４）。続いて、境界決定部３９は、求めた境界に基づいて、部分画像の切り出しを行う（ステップＳ３０５）。この画像切り出しは、２つの部分画像に対して行う。そして、境界決定部３９は、２つの結合線を重ね合わせるようにして２つの部分画像を結合する（ステップＳ３０６）。

次に、境界決定部３９は、未だ処理していない境界領域があるか否かにより処理が終了であるか否かを判定し（ステップＳ３０７）。未処理の境界領域があれば処理を繰り返す。

このような処理によって、人などの前景が移動する方向に部分画像の継ぎ目ができることを防止することができるため、視聴品質の低下を抑制した仮想全天球画像を生成することができる。

＜第２実施形態＞
次に、本発明の第２の実施形態による画像処理装置を説明する。第２の実施形態では、第１の実施形態と同様に、ブレンディング処理を行うのではなく、部分画像の合成時に目に付きにくい境界とするものである。前述したように、シームカービングによって、単に継ぎ目を求めて結合しただけでは、以下のような問題が生じる。すなわち、視聴者が注目している領域（視線方向）に部分画像の境界（継ぎ目）があると目に付きやすいという問題である。そこで、本実施形態では、視聴者が注目している方向（視聴者が見ている可能性が高い領域であり、視野のほぼ中央のことである）にはシームを作らないようにする。図１４は、向いている方向で重み付けを行う例を示す図である。視聴者は、図１４（Ａ）に示すように、視線の方向にシームを作ってしまうとシームに基づいて結合した結合線が目立つことになる。

これは、図１４（Ｂ）に示す対象の部分画像から単にエネルギー画像を生成したため、画像に映っている人の左側にシームができてしまったためである。これに対して、図１４（Ｃ）のように、新たに第２のエネルギー画像を生成し、この第２のエネルギー画像を加算することで視線の方向にシームを作らないようにする。第２のエネルギー画像は、シームを作りたくない領域（ここでは、視聴者が見ている可能性が高い領域のことであり、視野のほぼ中央の領域）のエネルギーが高くなるようにしたエネルギー画像である。

ここで、エネルギー画像の生成方法について説明する。向いている方向を表す情報として画像上の点Ｄ＝（ｄｘ，ｄｙ）が既知であり、点Ｄは境界領域に含まれているとする。この点Ｄは、ＨＭＤ８２の方向の情報から取得する。境界決定部３９は、平均ｄｘ、分散１の正規分布にしたがってエネルギー画像を作成する。このとき、正規分布の横軸は水平であるとする。なお、エネルギーの最大値ｅ_ｍａｘは予め定め、正規分布で得られるエネルギーの最大値がｅ_ｍａｘと等しくなるように正規化する。

第２実施形態における図９に示す２つの部分画像を結合する動作は、図１３に示す処理動作と同様であるのでここでは詳細な説明を省略する。

このような処理によって、視聴者の視線方向に部分画像の継ぎ目ができることを防止することができるため、視聴品質の低下を抑制した仮想全天球画像を生成することができる。

＜第３の実施形態＞
次に、本発明の第３の実施形態による画像処理装置を説明する。第３の実施形態では、第１の実施形態と同様に、ブレンディング処理を行うのではなく、結合部（継ぎ目）が部分画像の中心から離れると幾何的整合性が崩れてしまうことを防止するための結合方法である。前述したように、シームカービングによって、単に継ぎ目を求めて結合しただけでは、以下のような問題が生じる。すなわち、結合部が部分画像の中心から離れた位置に生成されてしまうと、画像の幾何的整合性が崩れてしまうという問題である。そこで、本実施形態では、整合性が崩れない位置に結合部を設けるようにする。図１５は、中心からの距離で重み付けを行う例を示す図である。本手法の性質上、中心に結合部（継ぎ目）を設定した方が幾何学的に正しい画像となる（図１５（Ａ））。

したがって、従来の手法によって結合部（継ぎ目）を設定すると、画像の中心から離れた位置に結合部（継ぎ目）ができてしまう（図１５（Ｂ））。これに対して、図１５（Ｃ）のように、新たに第２のエネルギー画像を生成し、この第２のエネルギー画像を加算することで中心から離れた位置にシームを作らないようにする。第２のエネルギー画像は、シームを作りたくない領域（ここでは、中心から離れた位置の領域）のエネルギーが高くなうようにしたエネルギー画像である。

ここで、エネルギー画像の生成方法について説明する。図１６は、エネルギー画像の生成方法を示す説明図である。図１６に示すようにカメラＣ_ｉとＣ_ｉ＋１で撮影した部分画像中で、仮想視点の位置をそれぞれｖ_ｉ，ｖ_ｉ＋１とし，ｖ_ｉ＋１とｖ_ｉの中点をｃ＝（ｃｘ，ｃｙ）とする。平均ｃｘ、分散１の正規分布にしたがってエネルギー画像を作成する。このとき、正規分布の横軸は水平であるとする。なお、エネルギーの最大値ｅ_ｍａｘは予め定め、正規分布で得られるエネルギーの最大値がｅ_ｍａｘと等しくなるように正規化する。

第３実施形態における図９に示す２つの部分画像を結合する動作は、図１３に示す処理動作と同様であるのでここでは詳細な説明を省略する。

このような処理によって、部分画像の継ぎ目が画像の中心付近に設定されるようになるため、幾何的整合性が崩れることを防止することができるため、視聴品質の低下を抑制した仮想全天球画像を生成することができる。

＜第４の実施形態＞
次に、本発明の第４の実施形態による画像処理装置を説明する。第４の実施形態では、第１の実施形態と同様に、ブレンディング処理を行うのではなく、結合部（継ぎ目）が部分画像の中心から離れると幾何的整合性が崩れてしまうことを防止するための結合方法である。前述したように、シームカービングによって、単に継ぎ目を求めて結合しただけでは、以下のような問題が生じる。すなわち、結合部が部分画像の中心から離れた位置に生成されてしまうと、画像の幾何的整合性が崩れてしまうという問題である。そこで、本実施形態では、整合性が崩れない位置に結合部を設けるようにする。図１７は、前景の動きの速さに基づいてエネルギーをも求める例を示す図である。本手法の性質上、中心に結合部（継ぎ目）を設定した方が幾何学的に正しい画像となる。

したがって、従来の手法によって結合部（継ぎ目）を設定すると、画像の中心から離れた位置に結合部（継ぎ目）ができてしまう（図１７（Ｂ））。これに対して、図１７（Ｃ）のように、新たに第２のエネルギー画像を生成し、この第２のエネルギー画像を加算することで中心から離れた位置にシームを作らないようにする。第２のエネルギー画像は、シームを作りたくない領域（ここでは、ゆっくり動く前景は避け、速く動く前景は避けないようにする）のエネルギーが高くなるようにしたエネルギー画像である。速く動いている前景（例えば、ボール）は二重像や消失が発生しても気づきにくいことを利用している。

ここで、エネルギー画像の生成方法について説明する。ある境界領域に関し、過去ｓ（≧１）フレームの画像から各ピクセルに関してオプティカルフローを算出する。そして、求めたオプティカルフローについて、位置と方向に関してＫ−ｍｅａｎｓなどを適用してクラスタリングする。

次に、各クラスタについて、第３の実施形態と同様にクラスタＫ_ｊに含まれるオプティカルフローの平均をｆ_ｊとする。このとき、ｆ_ｊの大きさ（｜ｆ_ｊ｜）がしきい値ｔｖ以下の場合（すなわちゆっくり動く物体の場合）、前述の処理によって求めた時と同様にエネルギー画像を求める。一方、ｆ_ｊの大きさ（｜ｆ_ｊ｜）がｔｖ以上の場合（すなわち速く動く物体の場合）、このクラスタＫ_ｊに対するエネルギー画像は求めない。そして、各クラスタで作成したエネルギー画像を足し合わせ、重複領域のエネルギー画像とする。

第４実施形態における図９に示す２つの部分画像を結合する動作は、図１３に示す処理動作と同様であるのでここでは詳細な説明を省略する。

このような処理によって、部分画像の継ぎ目が画像の中心付近に設定されるようになるため、幾何的整合性が崩れることを防止することができるため、視聴品質の低下を抑制した仮想全天球画像を生成することができる。特に、ゆっくり動く物体（前景）は避け、速く動く物体（前景）は、避けないようにしたため、視聴品質の低下を抑制した仮想全天球画像を生成することができる。

以上説明したように、２つの部分画像を結合する際に、画像の継ぎ目を視聴者の目に気づかれない位置に設定するようにしたため、視聴品質の低下を抑制した仮想全天球画像を生成することができる。また、２つの部分画像を結合する際に、幾何的整合性が崩れることを防止するようにしたため、同様に視聴品質の低下を抑制した仮想全天球画像を生成することができる。

前述した方法によって２つの部分画像を結合する処理を繰り返すことにより、図１８に示すような仮想全天球画像を得ることができるようになる。図１８は仮想全天球画像を生成した例を示す図である。図１８左は、従来技術による仮想全天球画像の例を示す。図１８右は、シームカービングの処理を適用して、結合部（継ぎ目）の位置を最適化したため、質の高い仮想伝天球画像が生成できているのが分かる。

図１９は、カメラの入力画像から切り出す部分画像の例を示す説明図である。図１９に示すように、左図では、被写体である人が３台のカメラ全てに映っていたため、３重像が発生してしまう。一方、右図のように、シームカービングの処理によって部分画像の領域を大きくすることができるようになるため、１つの部分画像内に被写体である人を収めることができ、３重像が発生することを防止することができる。

前述した実施形態における画像処理装置の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。

２つの画像を結合する際に、画像の継ぎ目を気づきにくい位置に配置するようにしたため、視聴品質の低下を抑制した仮想全天球画像を生成することが不可欠な用途にも適用できる。

１０・・・コート、１１・・・仮想視点、１・・・画像処理システム、２・・・全天球カメラ、３・・・カメラ群、５・・・表示装置、３０・・・画像処理装置、２０・・・背景画像、６・・・画像サーバ、７・・・ネットワーク、８・・・視聴装置、８１・・・ユーザ端末、８２・・・ＨＭＤ、９・・・視聴システム、３１・・・オブジェクト解析部、３２・・・奥行取得部、３３・・・合成情報取得部、３４・・・画像入力部、３５・・・画像切り出し部、３６・・・画像合成部、３７・・・表示処理部、３８・・・入力部、３９・・・境界決定部、３０１・・・前景画像格納部、３０２・・・背景画像格納部、３０３・・・オブジェクト情報格納部、３０４・・・合成情報テーブル

Claims (8)

1. 第１の映像から取得された画像である第１画像と、第２の映像から取得された画像であって前記第１画像と撮像領域の一部が共通する画像である第２画像との２つの画像を結合する際に、共通する部分において前記２つの画像を結合するための結合線を決定する画像処理装置であって、
   前記画像を見ている者が見ている可能性が高い領域を避けつつ、前記結合線を配置することを決定する結合線決定手段を備える画像処理装置。
2. 第１の映像から取得された画像である第１画像と、第２の映像から取得された画像であって前記第１画像と撮像領域の一部が共通する画像である第２画像との２つの画像を結合する際に、共通する部分において前記２つの画像を結合するための結合線を決定する画像処理装置であって、
   前記共通する部分において、人間の目が敏感に感じる画素はそのエネルギーが大きいと定義される第１のエネルギー画像を生成する第１のエネルギー画像生成手段と、
   前記第１のエネルギー画像のエネルギーが小さい画素を探索しながら前記共通部分において、前記エネルギーが小さい一連の画素を求めることにより前記結合線を配置することを決定する結合線決定手段と
   を備え、
   前記結合線決定手段は、
   前記画像を見ている者が見ている可能性が高い領域を避けつつ、前記結合線を決定する画像処理装置。
3. 前記画像の前記共通する部分において、前記画像を見ている者が見ている領域を検出する領域検出手段と、
   前記領域検出手段による検出結果に基づき、検出した前記領域のエネルギーが大きくなる第２のエネルギー画像を生成する第２のエネルギー画像生成手段と、
   前記第１のエネルギー画像と第２のエネルギー画像を加算して第３のエネルギー画像を生成する第３のエネルギー画像生成手段をさらに備え、
   前記結合線決定手段は、前記第３のエネルギー画像に基づき、前記エネルギーが小さい一連の画素を求めることにより前記結合線を決定する請求項２に記載の画像処理装置。
4. 前記結合線決定手段は、シームカービング処理によって求めた前記共通する部分の前記２つの画像を結合する際に並べた方向と直交する方向のシームを結合線とする請求項３に記載の画像処理装置。
5. 前記２つの画像は、所定の位置に設けた仮想視点から見た仮想全天球画像を生成する際に用いる請求項１から４のいずれか１項に記載の画像処理装置。
6. 第１の映像から取得された画像である第１画像と、第２の映像から取得された画像であって前記第１画像と撮像領域の一部が共通する画像である第２画像との２つの画像を結合する際に、共通する部分において前記２つの画像を結合するための結合線を決定する画像処理装置が行う画像処理方法であって、
   前記画像を見ている者が見ている可能性が高い領域を避けつつ、前記結合線を配置することを決定する結合線決定ステップを有する画像処理方法。
7. 第１の映像から取得された画像である第１画像と、第２の映像から取得された画像であって前記第１画像と撮像領域の一部が共通する画像である第２画像との２つの画像を結合する際に、共通する部分において前記２つの画像を結合するための結合線を決定する画像処理装置が行う画像処理方法であって、
   前記共通する部分において、人間の目に敏感に感じる画素はそのエネルギーが大きいと定義される第１のエネルギー画像を生成するエネルギー画像生成ステップと、
   前記第１のエネルギー画像のエネルギーが小さい画像を探索しながら前記共通部分における前記結合線を決定する結合線決定ステップと
   を有し、
   前記結合線決定ステップは、
   前記画像を見ている者が見ている可能性が高い領域を避けつつ、前記結合線を決定する画像処理方法。
8. コンピュータを、請求項１から５のいずれか１項に記載の画像処理装置として機能させるための画像処理プログラム。