JP2017102715A - 合成情報テーブル作成装置、合成情報テーブル作成方法及びコンピュータプログラム - Google Patents

Abstract

【課題】画像を背景画像に合成する際に生じる処理負荷を軽減すること。【解決手段】背景画像が撮影された地点と異なる地点で撮影された入力画像を変換して背景画像に重畳する処理である合成に利用される合成情報を含む合成情報テーブルを作成するための作成用画像に対して合成のための所定の変形処理を行うことによって変換後画像を生成する変換部と、変換後画像の各画素と、作成用画像の各画素とを対応付ける対応付け部と、対応付けられた変換後画像の各画素と、作成用画像の各画素とを用いて合成情報テーブルを作成する作成部と、を備える合成情報テーブル作成装置。【選択図】図１

Description

本発明は、画像の合成技術に関する。

近年、３６０度のパノラマ画像を撮影できるカメラ（以下、「全天球カメラ」という。）が普及し始めている。全天球カメラによって撮影されたパノラマ画像（以下、「全天球画像」という。）は、所望の視点位置に全天球カメラを設置することで撮影することができる。しかしながら、競技中の競技者の邪魔となるためサッカーコートやバスケットコートなどの競技用コートの中には全天球カメラを設置することができない。そのため、競技用コートの中の所望の視点位置における競技中の全天球画像を撮影することができない。

そこで、全天球カメラを設置することのできない場所に仮想的な視点である仮想視点を設定して、この仮想視点において全天球カメラで撮影したかのような全天球画像を、コートの外側に設置された複数のカメラによって撮影された画像を合成することによって得る技術が提案されている（例えば、非特許文献１参照）。以下の説明において、仮想視点における全天球画像を、仮想全天球画像と記載する。

仮想全天球画像を複数のカメラによって撮影された画像の合成によって得るシステムの具体例について説明する。
図１１は、従来システムにおいて仮想全天球画像を得るためのシステムを示す図である。図１１に示すように、画像処理システム１は、全天球カメラ２と、複数のカメラ３−１、３−２、３−３、・・・、３−Ｎ（以下、「カメラ群３」という。）Ｎは４以上の整数）と、画像処理装置４と、表示装置５とを備える。画像処理システム１は、競技用コート１０内に仮想視点１１を設定した場合に、競技用コート１０外に設置したカメラ群３によって撮影された画像の合成によって仮想視点１１における仮想全天球画像を得る。なお、図１１ではＮは４以上の整数としているが、仮想全天球画像の作成のためにはカメラ３が１台以上あればよい。

全天球カメラ２は、全天球画像を撮影するカメラである。全天球カメラ２は、競技が行われる前のタイミングで競技用コート１０内の仮想視点１１の位置に設置される。全天球カメラ２は、仮想視点１１の位置から、仮想全天球画像の背景となる画像（以下、「背景画像」という。）を撮影する。全天球カメラ２で撮影された背景画像は、画像処理装置４に入力されて蓄積される。このように、画像処理装置４は、予め背景画像を蓄積する。

競技用コート１０の周囲には、カメラ群３が設置されている。カメラ群３の各カメラ３−１、３−２、３−３、・・・、３−Ｎは、それぞれ仮想視点１１を含む画角となるように競技用コート１０の周囲に設置されている。カメラ群３は、仮想視点１１を含む領域を撮影する。画像処理装置４は、カメラ群３の各カメラ３−１、３−２、３−３、・・・、３−Ｎによって撮影された画像に対して画像処理を施して、背景画像に画像処理後の画像を合成して仮想全天球画像を生成する。表示装置５は、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ、ＣＲＴ（Cathode Ray Tube）ディスプレイ等の画像表示装置である。表示装置５は、画像処理装置４で生成した仮想全天球画像を表示する。

次に、画像処理システム１における画像処理の具体例について図１２を用いて説明する。
図１２は、画像処理システム１における画像処理の流れを説明するための図である。図１２（Ａ）は、背景画像２０の具体例を示す図である。背景画像２０には、仮想視点１１を中心として全方位（３６０度）の被写体が撮影されている。背景画像２０は、競技用コート１０内に人物がいない状態で撮影される画像であるので競技用コート１０内には人物が撮影されない。

図１２（Ｂ）は、各カメラ３−１、３−２及び３−３で撮影された画像を示す図である。図１２（Ｂ）には、左からカメラ３−１で撮影された画像２１と、カメラ３−２で撮影された画像２２と、カメラ３−３で撮影された画像２３とが示されている。画像処理装置４は、画像２１〜２３のそれぞれから仮想視点１１を含む領域２１１、２２１、２３１を抽出する。画像処理装置４は、抽出した領域２１１、２２１、２３１の画像に対して、画像処理を行うことで背景画像２０に合成可能な部分画像２１１ａ、２２１ａ、２３１ａを生成する。

画像処理装置４は、背景画像２０に対して部分画像２１１ａ、２２１ａ、２３１ａを合成することによって仮想全天球画像２４を生成する。図１２（Ｃ）は、画像処理装置４が生成する仮想全天球画像２４の例を示す図である。図１２（Ｃ）に示すように、仮想全天球画像２４の所定の領域には部分画像２１１ａ、２２１ａ、２３１ａが合成されている。そのため、仮想全天球画像２４として、競技用コート１０上に物体（例えば、人物）が撮影されている画像が生成される。

高橋康輔、外３名、「複数カメラ映像を用いた仮想全天球映像合成に関する検討」、社団法人電子情報通信学会、信学技報、2015年6月、vol.115、no.76、p.43-48

上記のように、従来では、仮想全天球画像を生成する度に、カメラ群３によって撮影された画像に対して画像処理を施して、画像処理後の画像を背景画像に合成する。そのため、仮想全天球画像の生成に伴い、画像処理装置４の処理負荷が増大してしまうという問題があった。このような問題は、仮想全天球画像の生成に限らず、１台又は複数台の撮影装置によって撮影された画像に対して画像処理を施して背景画像に合成する場合にも生じる問題である。

上記事情に鑑み、本発明は、画像を背景画像に合成する際に生じる処理負荷を軽減することができる技術の提供を目的としている。

本発明の一態様は、背景画像が撮影された地点と異なる地点で撮影された入力画像を変換して前記背景画像に重畳する処理である合成に利用される合成情報を含む合成情報テーブルを作成するための作成用画像に対して合成のための所定の変形処理を行うことによって変換後画像を生成する変換部と、前記変換後画像の各画素と、前記作成用画像の各画素とを対応付ける対応付け部と、対応付けられた前記変換後画像の各画素と、前記作成用画像の各画素とを用いて前記合成情報テーブルを作成する作成部と、を備える合成情報テーブル作成装置である。

本発明の一態様は、上記の合成情報テーブル作成装置であって、前記作成用画像の各画素の画素値として前記各画素の位置を示す情報を設定することによって前記作成用画像を初期化する初期化部をさらに備え、前記初期化部は、前記作成用画像の一部を前記背景画像に重畳する場合に前記作成用画像の重畳される領域である処理対象領域の情報を示すマスク画像を生成し、前記変換部は、前記作成用画像に対して行った所定の変形処理を前記マスク画像に対して行うことによって変換後マスク画像を生成し、前記作成部は、前記変換後マスク画像の画素における画素値が処理対象領域の情報を示していない画素と同じ位置の前記作成用画像の画素については、画像の合成に利用しないことを示す情報を前記変換後画像の画素に対応付ける。

本発明の一態様は、上記の合成情報テーブル作成装置であって、前記作成部は、複数の撮影装置それぞれによって撮影された複数の作成用画像の一部を同一の背景画像に重畳する場合に利用される合成情報テーブルであって、前記作成用画像の一部が重畳される前記背景画像の画素の位置及び重畳した際に重複した領域の画素値に対して利用するブレンディングパラメータの項目を撮影装置毎の合成情報として含む前記合成情報テーブルを作成する。

本発明の一態様は、背景画像が撮影された地点と異なる地点で撮影された入力画像を変換して前記背景画像に重畳する処理である合成に利用される合成情報を含む合成情報テーブルを作成するための作成用画像に対して合成のための所定の変形処理を行うことによって変換後画像を生成する変換ステップと、前記変換後画像の各画素と、前記作成用画像の各画素とを対応付ける対応付けステップと、対応付けられた前記変換後画像の各画素と、前記作成用画像の各画素とを用いて前記合成情報テーブルを作成する作成ステップと、を有する合成情報テーブル作成方法である。

本発明の一態様は、背景画像が撮影された地点と異なる地点で撮影された入力画像を変換して前記背景画像に重畳する処理である合成に利用される合成情報を含む合成情報テーブルを作成するための作成用画像に対して合成のための所定の変形処理を行うことによって変換後画像を生成する変換ステップと、前記変換後画像の各画素と、前記作成用画像の各画素とを対応付ける対応付けステップと、対応付けられた前記変換後画像の各画素と、前記作成用画像の各画素とを用いて前記合成情報テーブルを作成する作成ステップと、をコンピュータに実行させるためのコンピュータプログラムである。

本発明により、画像を背景画像に合成する際に生じる処理負荷を軽減することが可能となる。

本発明における画像処理システム１００のシステム構成を示す図である。 抽出領域情報テーブルの具体例を示す図である。 合成情報テーブル作成部８０３の処理を説明するための図である。 第１実施形態における合成情報テーブルの具体例を示す図である。 合成情報テーブル作成部８０３による合成情報テーブルの作成処理の流れを示すフローチャートである。 第２実施形態における画像処理装置８０ａの機能構成を表す概略ブロック図である。 第２実施形態における合成情報テーブルの具体例を示す図である。 合成情報テーブル作成部８０３ａによる合成情報テーブルの作成処理の流れを示すフローチャートである。 画像処理装置８０ａの処理の流れを示すフローチャートである。 （ｘ，ｙ）の値が小数の場合を説明するための図である。 従来システムにおいて仮想全天球画像を得るためのシステムを示す図である。 画像処理システム１における画像処理の流れを説明するための図である。

以下、本発明の一実施形態を、図面を参照しながら説明する。
図１は、本発明における画像処理システム１００のシステム構成を示す図である。
画像処理システム１００は、全天球カメラ６０、複数のカメラ７０−１〜７０−Ｍ（Ｍは１以上の整数）及び画像処理装置８０を備える。なお、以下の説明では、カメラ７０−１〜７０−Ｍについて特に区別しない場合には、カメラ７０と記載する。なお、図１では、複数のカメラ７０−１〜７０−Ｍを示しているが、画像処理システム１００は一台のカメラ７０を備えてもよい。以下の実施形態では、画像処理システム１００が一台のカメラ７０を備える構成を第１実施形態として説明し、画像処理システム１００が複数台のカメラ７０−１〜７０−Ｍを備える構成を第２実施形態として説明する。

全天球カメラ６０は、撮影対象領域８１内の仮想視点８２の位置に設置される。撮影対象領域８１は、例えばサッカーコートやバスケットコートなどの競技用コートなどである。仮想視点８２は、所定の領域（本実施形態では、撮影対象領域８１）内に仮想的に設定された視点である。全天球カメラ６０は、仮想視点８２の位置における全天球画像を撮影する。本実施形態における全天球画像は、仮想視点８２を中心として撮影対象領域８１全体を含む。全天球カメラ６０による処理は、画像処理装置８０による処理の開始前に行われる。全天球カメラ６０は、撮影した全天球画像を背景画像として画像処理装置８０に出力する。

Ｍ台のカメラ７０−１、・・・、７０−Ｍは、撮影対象領域８１の外側に設けられ、画像を動画（映像）で撮影するカメラであり、仮想視点８２を含む領域を撮影する。Ｍ台のカメラ７０−１、７０−２、・・・、７０−Ｍのそれぞれで撮影された動画は、複数フレームの画像により構成される。図１に示すように、カメラ７０−１には仮想視点８２の位置上を通過する光線７１が入力され、カメラ７０−２には仮想視点８２の位置上を通過する光線７２が入力される。以下、カメラ７０に入力される光線を実光線と記載する。図１では示していないが、カメラ７０は撮影対象領域８１の周囲に設置される。つまり、カメラ７０は、それぞれ仮想視点８２を含む画角となるように撮影対象領域８１の周囲を取り囲むように設置される。図１においてＭは、１以上の整数であり、同程度の画質の仮想全天球画像を得ようとするのであれば撮影対象領域８１が大きいほど大きな値となる。また、撮影対象領域８１の大きさが同じであれば、Ｍの値が大きい程、合成領域（仮想全天球画像において、Ｍ台のカメラ７０からの画像を合成した領域）の面積が大きくなり、あるいは合成領域の大きさが同じであれば合成領域における画質が向上する仮想全天球画像の画質を高いものにしようとするほど大きな値となる。

画像処理装置８０は、Ｍ台のカメラ７０−１、７０−２、・・・、７０−Ｍのそれぞれで撮影されたそれぞれの動画から入力画像を事前に取得する。撮影されたそれぞれの動画は複数フレームの画像で構成されており、本実施形態における画像処理装置８０は処理対象となるフレームの画像を入力画像として取得する。画像処理装置８０は、全天球カメラ６０によって撮影された全天球画像と、Ｍ台のカメラ７０−１、７０−２、・・・、７０−Ｍのそれぞれで撮影された動画からそれぞれ取得された入力画像とに基づいて仮想全天球画像を生成する。また、画像処理装置８０は、合成情報テーブルを予め作成する。合成情報テーブルは、入力画像を背景画像に重畳するための情報（以下、「合成情報」という。）を表すレコード（以下、「合成情報レコード」という。）によって構成される。
以下、画像処理装置８０の具体的な構成について複数の実施形態（第１実施形態及び第２実施形態）を例に説明する。

（第１実施形態）
第１実施形態では、画像処理装置８０は、１台のカメラ７０によって撮影された入力画像を背景画像に重畳するために用いられる合成情報を記憶する合成情報テーブルを作成する。すなわち、第１実施形態は、画像処理システム１００が１台のカメラ７０を備える場合の実施形態である。
画像処理装置８０は、バスで接続されたＣＰＵ（Central Processing Unit）やメモリや補助記憶装置などを備え、画像処理プログラムを実行する。画像処理プログラムの実行によって、画像処理装置８０は、テーブル作成用画像記憶部８００、入力画像記憶部８０１、抽出領域情報記憶部８０２、合成情報テーブル作成部８０３、オブジェクト解析部８０４、合成情報記憶部８０５、背景画像記憶部８０６、画像合成部８０７を備える装置として機能する。なお、画像処理装置８０の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されてもよい。また、画像処理プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。また、画像処理プログラムは、電気通信回線を介して送受信されてもよい。

テーブル作成用画像記憶部８００は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。テーブル作成用画像記憶部８００は、カメラ７０を識別するためのカメラＩＤに関連付けて、合成情報テーブルを作成するために用いられる画像（以下、「作成用画像」という。）を記憶する。ここで、作成用画像は、入力画像と縦横の画素数がそれぞれ同じ画像であればよく、輝度値は何でもよい。例えば、全画素の輝度値が０であってもよい。
入力画像記憶部８０１は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。入力画像記憶部８０１は、カメラ７０を識別するためのカメラＩＤに関連付けて、カメラ７０の入力画像を時系列順に記憶する。入力画像は、撮影時刻及び動画の画像データを含む。
抽出領域情報記憶部８０２は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。抽出領域情報記憶部８０２は、抽出領域情報テーブルを記憶する。

図２は、抽出領域情報テーブルの具体例を示す図である。
抽出領域情報テーブルテーブルは、作成用画像から抽出する領域（以下、「抽出領域」という。）に関する情報を表すレコード（以下、「抽出領域レコード」という。）を複数有する。抽出領域レコードは、カメラＩＤ、抽出領域情報及び変換情報の各値を有する。カメラＩＤの値は、カメラ７０を識別するための識別情報を表す。例えば、図２におけるカメラＩＤ“Ｃ１”で識別されるカメラ７０はカメラ７０−１であり、カメラＩＤ“ＣＭ”で識別されるカメラ７０はカメラ７０−Ｍである。

抽出領域情報の値は、同じ抽出領域レコードのカメラＩＤで識別されるカメラ７０で撮影された画像（作成用画像）から抽出する領域（以下、「抽出領域」という。）に関する情報を表す。抽出領域情報の具体例として、左上座標、幅及び高さがある。左上座標は、抽出領域の左上の座標を表す。幅は、抽出領域の幅を表す。高さは、抽出領域の高さを表す。なお、幅及び高さは、抽出領域の左上座標を基準とし、かつ、仮想視点を含む範囲に設定される。抽出領域は、背景画像に重畳された画像上において、隣接するカメラ７０の画像の間に隙間ができないような領域に設定されることが望ましい。なお、以下の説明では、抽出領域情報に応じて作成用画像から抽出された部分領域の画像を部分領域画像と記載する。

変換情報の値は、同じ合成情報レコードの抽出領域情報に応じて抽出された部分領域画像を部分画像に変換するための情報を表す。部分画像は、部分領域画像を背景画像の対応領域に違和感なく重畳するために、部分領域画像に対して変換情報に応じて拡大、縮小、回転等の変形処理を行うことによって生成される。この変形処理は、例えば、画像に対してアフィン変換を施すことによって行う。画像に対してアフィン変換を施す場合の変換情報は、例えばアフィン変換行列である。以下、部分領域画像に対して行う変形処理としてアフィン変換を用いる例を示すが、変形処理はアフィン変換に限定される必要はなく、変換情報に応じて拡大、縮小、回転等による画像の変換を行う処理であればどのような処理であってもよい。なお、アフィン変換行列には、背景画像において部分画像を重畳する領域を示す情報（以下、「重畳情報」という。）が含まれる。

アフィン変換行列は、以下に示す方法により予め取得して抽出領域情報記憶部８０２に記憶される。例えば、仮想視点８２から複数種類の距離（奥行）の位置に格子模様のチェスボードを設置して、仮想視点８２に設置した全天球カメラ６０で撮影したチェスボードを含む画像と、カメラ７０で撮影したチェスボードを含む画像とを比較する。そして、チェスボードの各格子について、全天球カメラ６０で撮影した画像中のチェスボードの格子と、カメラ７０で撮影した画像中のチェスボードの格子が対応するように画像を変換するアフィン変換行列を求める。このようにして、チェスボードを設置した奥行に対応したアフィン変換行列を求める。

図２に示される例では、抽出領域情報テーブルには複数の抽出領域情報レコードが登録されている。図２において、抽出領域情報テーブルの最上段に登録されている抽出領域情報レコードは、カメラＩＤの値が“Ｃ１”、左上座標の値が“（Ａ，Ｂ）”、幅の値が“Ｃ”、高さの値が“Ｄ”、変換情報の値が“Ａ１_ｉ”である。すなわち、カメラＩＤ“Ｃ１”で識別されるカメラ７０−１の入力画像から左上座標（Ａ，Ｂ）、幅Ｃ、高さＤで表される領域を抽出し、抽出された部分領域画像に対して“Ａ１_ｉ”の変形処理を施すことが表されている。なお、図２では、抽出領域情報テーブルには複数のカメラ７０に関する抽出領域情報が登録されているが、第１実施形態のように画像処理システム１００が１台のカメラ７０を備えている場合、抽出領域情報テーブルには１台のカメラ７０処理に関する抽出領域情報のみが登録されていればよい。

図１に戻って、画像処理装置８０の説明を続ける。
合成情報テーブル作成部８０３は、テーブル作成用画像記憶部８００に記憶されている作成用画像と、抽出領域情報記憶部８０２に記憶されている抽出領域情報テーブルとを入力とする。合成情報テーブル作成部８０３は、入力された作成用画像と、抽出領域情報テーブルとに基づいて、合成情報テーブルを生成し、生成した合成情報テーブルを合成情報記憶部８０５に出力する。以下、図３を用いて合成情報テーブル作成部８０３の処理について説明する。

図３は、合成情報テーブル作成部８０３の処理を説明するための図である。
図３において、図３（Ａ）は作成用画像９０の具体例を示す図であり、図３（Ｂ）は背景画像の具体例を示す図である。図３（Ａ）に示す領域９２は、作成用画像９０から抽出される領域を表す。図３（Ｂ）に示す領域９３は、アフィン変換が施されて背景画像９１に重畳された変換後の領域９２を表す。合成情報テーブル作成部８０３は、領域９３として表されている背景画像９１に重畳された領域の各画素の位置と、領域９２の各画素の位置とを対応付けた合成情報テーブルを作成する。例えば、合成情報テーブル作成部８０３は、図３（Ａ）に示す作成用画像９０の（ｕ，ｖ）の位置に該当する画素９４と、背景画像９１の（ｘ’１，ｙ’１）の位置に該当する画素９５とを対応付ける。以下、具体的な処理について説明する。

まず、合成情報テーブル作成部８０３は、作成用画像９０を初期化する。ここで、初期化の処理としては、作成用画像９０の各画素の画素値として各画素の位置を示す情報と、ブレンディングパラメータとを設定する。より具体的には、合成情報テーブル作成部８０３は、作成用画像９０のＲチャネルには水平方向の位置を示す情報、Ｇチャネルには垂直方向の位置を示す情報、Ｂチャネルにはブレンディングパラメータを各画素に対して設定することによって作成用画像９０を初期化する。つまり、作成用画像９０の各画素には画素値として、水平方向の位置を示す情報、垂直方向の位置を示す情報及びブレンディングパラメータが含まれる。ここで、ブレンディングパラメータとは、作成用画像９０の画素が背景画像９１の対応する位置の画素に重畳された際に寄与する大きさを表す。ブレンディングパラメータは、０から１までの値である。ブレンディングパラメータの値が大きいほど、寄与が高いことを表す。

合成情報テーブル作成部８０３は、作成用画像９０における画素９４の画素値をＲＧＢ＝（ｕ，ｖ，１）と初期化する。合成情報テーブル作成部８０３は、同様に作成用画像９０における各画素の画素値を初期化する。また、合成情報テーブル作成部８０３は、抽出領域情報記憶部８０２に記憶されている抽出領域テーブルに基づいて、作成用画像９０のマスク画像を作成する。具体的には、合成情報テーブル作成部８０３は、作成用画像９０のマスク画像として、抽出領域テーブルの抽出領域情報で示される領域（例えば、図３（Ａ）の領域９２）内に処理対象領域であることを示す画素値“１”、領域（例えば、図３（Ａ）の領域９２）外に処理対象領域ではないことを示す画素値“０”を設定したマスク画像を作成する。

次に、合成情報テーブル作成部８０３は、抽出領域テーブルの変換情報を参照し、作成用画像９０及びマスク画像に対してアフィン変換を行う。合成情報テーブル作成部８０３は、以下の式１に示すアフィン変換によって、作成用画像９０の各画素を背景画像９１の各画素の画素値へと変換する。例えば、合成情報テーブル作成部８０３は、作成用画像９０の画素（ｘ，ｙ）を背景画像９１の画素（ｘ’，ｙ’）の画素値へと変換する。なお、式１におけるａ、ｂ、ｃ、ｄは線形変換のパラメータを表し、ｅ及びｆは平行移動のパラメータを表す。

上記の処理によって得られた変換後の値を用いて、合成情報テーブル作成部８０３が合成情報テーブルを作成するためには、あらゆる（ｘ’，ｙ’）についての結果が必要となるため、合成情報テーブル作成部８０３は以下の式２を用いてあらゆる（ｘ’，ｙ’）における（ｘ，ｙ）を算出する。

ただし、合成情報テーブル作成部８０３は、マスク画像のアフィン変換で値が０となった作成用画像９０の画素に対しては合成情報として利用しないことを示す“−”の値を登録する。このような処理によって、合成情報テーブル作成部８０３は、１つのカメラ７０の作成用画像に対する合成情報テーブルを作成する。合成情報テーブル作成部８０３が１つのカメラ７０の作成用画像に対する合成情報テーブルを作成した結果を図４に示す。

図４は、第１実施形態における合成情報テーブルの具体例を示す図である。
第１実施形態における合成情報テーブルは、合成情報レコードを複数有する。合成情報レコードは、ｘ’、ｙ’及び合成情報の各値を有する。ｘ’の値は、背景画像のｘ方向における画素位置を表す。ｙ’の値は、背景画像のｙ方向における画素位置を表す。合成情報の値は、同じ合成情報レコードのｘ’及びｙ’で示される画素に重畳される入力画像の画素に関する情報を表す。合成情報の具体例として、ｘ、ｙ及びａがある。ｘの値は、入力画像のｘ方向における画素位置を表す。ｙの値は、入力画像のｙ方向における画素位置を表す。ａの値は、ブレンディングパラメータを表す。

図４に示される例では、合成情報テーブルには複数の合成情報レコードが登録されている。図４において、合成情報テーブルの最上段に登録されている合成情報レコードは、ｘ’の値が“０”、ｙ’の値が“０”、ｘの値が“−”、ｙの値が“−”、ａの値が“−”である。すなわち、背景画像の（０，０）の画素に重畳する画素として、入力画像の画素を利用しないことが表されている。そのため、ブレンディングパラメータａも利用しないことがあらわされている。

また、図４において、合成情報テーブルの中段に登録されている合成情報レコードは、ｘ’の値が“ｘ’１”、ｙ’の値が“ｙ’１”、ｘの値が“ｘ”、ｙの値が“ｙ”、ａの値が“１”である。すなわち、背景画像の（ｘ’１，ｙ’１）の画素に重畳する画素として、入力画像の（ｘ，ｙ）で示される画素を利用することを表し、その際のブレンディングパラメータａが“１”であることが表されている。なお、第１実施形態のように、１台のカメラ７０によって撮影された作成用画像をアフィン変換することによって得られる画像を得て、画像を背景画像に重畳する場合に用いられる合成情報テーブルでは、ブレンディングパラメータの項目は作成しなくてもよい。

オブジェクト解析部８０４は、入力画像記憶部８０１に記憶されている入力画像と、抽出領域情報記憶部８０２に記憶されている抽出領域情報テーブルとを入力とする。オブジェクト解析部８０４は、入力された入力画像に含まれるオブジェクトを検出する。ここでオブジェクトとは、背景画像に含まれていないが入力画像に含まれている人物、物体（例えばボール）等である。なお、オブジェクトが「人」、「ボール」、「物体Ａ」、「物体Ｂ」のいずれに該当するのかを解析・判定する手法としては、公知の画像解析技術が用いられる。例えば、画像の解析により人を検出する技術を開示する文献として以下の参考文献１がある。
［参考文献１］：山内悠嗣、外２名、「[サーベイ論文] 統計的学習手法による人検出」、電子情報通信学会技術研究報告、vol.112、no.197、PRMU2012-43、pp.113-126、2012年9月

オブジェクト解析部８０４は、入力画像を撮影したカメラ７０に対応する抽出領域情報で示される所定の領域からオブジェクトを検出した場合、入力画像を画像合成部８０７に出力する。一方、入力画像を撮影したカメラ７０に対応する抽出領域情報で示される所定の領域からオブジェクトを検出できなかった場合、オブジェクト解析部８０４は入力画像を出力しない。

合成情報記憶部８０５は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。合成情報記憶部８０５は、合成情報テーブル作成部８０３によって作成された合成情報テーブルを記憶する。
背景画像記憶部８０６は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。背景画像記憶部８０６は、全天球カメラ６０によって撮影された全天球画像を背景画像として記憶する。

画像合成部８０７は、オブジェクト解析部８０４から出力された入力画像と、合成情報記憶部８０５に記憶されている合成情報テーブルと、背景画像記憶部８０６に記憶されている背景画像とを入力とする。画像合成部８０７は、合成情報テーブルを参照して、入力画像の画素を背景画像の画素に重畳することで仮想全天球画像を生成する。つまり、画像合成部８０７は、入力画像の画素値で、背景画像上の該当する位置の画素値を置き換えることによって仮想全天球画像を生成する。画像合成部８０７の具体的な処理としては、以下のような処理が行われる。例えば、画像合成部８０７は、合成情報テーブルのｘ’及びｙ’の値で示される背景画像の画素の画素値を、合成情報におけるｘ及びｙの値で示される入力画像の画素の画素値で置き換えることによって背景画像に入力画像を重畳する。ただし、画像合成部８０７は、ｘ及びｙの値が“−”の画素においては処理を行わない。

図５は、合成情報テーブル作成部８０３による合成情報テーブルの作成処理の流れを示すフローチャートである。図５では、合成情報テーブル作成部８０３が１つのカメラ７０によって撮影された作成用画像を用いて合成情報テーブルを作成する場合を例に説明する。
合成情報テーブル作成部８０３は、テーブル作成用画像記憶部８００に記憶されている作成用画像と、抽出領域情報記憶部８０２に記憶されている抽出領域情報テーブルとを入力とする。合成情報テーブル作成部８０３は、入力された作成用画像を初期化する（ステップＳ１０１）。この処理によって、合成情報テーブル作成部８０３は、画素値として画素の位置情報及びブレンディングパラメータが設定された初期化後の作成用画像と、作成用画像のマスク画像とを作成する。次に、合成情報テーブル作成部８０３は、作成した初期化後の作成用画像と、マスク画像とに対してアフィン変換を行う（ステップＳ１０２）。具体的には、合成情報テーブル作成部８０３は、抽出領域情報テーブルを参照し、カメラ７０に対応する変換情報を用いて初期化後の作成用画像及びマスク画像に対してアフィン変換を行う。合成情報テーブル作成部８０３は、アフィン変換後の初期化後の作成用画像とマスク画像とを用いて合成情報テーブルを作成する（ステップＳ１０３）。

以上のように構成された第１実施形態における画像処理装置８０によれば、画像を背景画像に合成する際に生じる処理負荷を軽減することが可能になる。以下、この効果について詳細に説明する。
画像処理装置８０は、事前処理として、予め作成用画像の各画素と背景画像の各画素とが対応付けられた合成情報テーブルを作成する。そして、画像処理装置８０は、合成情報テーブルを参照することによって、入力画像の各画素を背景画像の対応する位置の画素に重畳することによって入力画像を背景画像に重畳する。したがって、画像処理装置８０は、入力画像を背景画像に重畳する際に、従来のように領域の抽出及び画像の変換を行う必要がない。そのため、画像を背景画像に合成する際に生じる処理負荷を軽減することが可能になる。

また、合成情報テーブルには、マスク画像のアフィン変換で値が０になった画素においては処理が行なわないことを示す情報が登録されている。これにより、画像処理装置８０は、背景画像に重畳する必要がない画素については背景画像に重畳することが無くなる。そのため、不必要な処理を実行することにより生じる処理負荷を抑えることができる。

（第２実施形態）
第２実施形態では、画像処理装置８０は、複数台のカメラ７０によって撮影された入力画像それぞれを背景画像に重畳するために用いられる合成情報を記憶する合成情報テーブルを作成する。すなわち、第２実施形態は、画像処理システム１００が複数台のカメラ７０を備える場合の実施形態である。
図６は、第２実施形態における画像処理装置８０ａの機能構成を表す概略ブロック図である。画像処理装置８０ａは、バスで接続されたＣＰＵやメモリや補助記憶装置などを備え、画像処理プログラムを実行する。画像処理プログラムの実行によって、画像処理装置８０ａは、テーブル作成用画像記憶部８００ａ、入力画像記憶部８０１ａ、抽出領域情報記憶部８０２、合成情報テーブル作成部８０３ａ、オブジェクト解析部８０４、合成情報記憶部８０５、背景画像記憶部８０６、画像合成部８０７を備える装置として機能する。なお、画像処理装置８０ａの各機能の全て又は一部は、ＡＳＩＣやＰＬＤやＦＰＧＡ等のハードウェアを用いて実現されてもよい。また、画像処理プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。また、画像処理プログラムは、電気通信回線を介して送受信されてもよい。

画像処理装置８０ａは、テーブル作成用画像記憶部８００、入力画像記憶部８０１及び合成情報テーブル作成部８０３に代えてテーブル作成用画像記憶部８００ａ、入力画像記憶部８０１ａ及び合成情報テーブル作成部８０３ａを備える点で画像処理装置８０と構成が異なる。画像処理装置８０ａは、他の構成については画像処理装置８０と同様である。そのため、画像処理装置８０ａ全体の説明は省略し、テーブル作成用画像記憶部８００ａ、入力画像記憶部８０１ａ及び合成情報テーブル作成部８０３ａについて説明する。

テーブル作成用画像記憶部８００ａは、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。テーブル作成用画像記憶部８００ａは、各カメラ７０を識別するためのカメラＩＤに関連付けて、各カメラ７０によって撮影された作成用画像をそれぞれ記憶する。
入力画像記憶部８０１ａは、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。入力画像記憶部８０１ａは、各カメラ７０を識別するためのカメラＩＤに関連付けて、カメラ７０毎の入力画像を時系列順に記憶する。

合成情報テーブル作成部８０３ａは、テーブル作成用画像記憶部８００ａに記憶されている各カメラ７０の作成用画像と、抽出領域情報記憶部８０２に記憶されている抽出領域情報テーブルとを入力とする。合成情報テーブル作成部８０３ａは、入力された作成用画像と、抽出領域情報テーブルとに基づいて、合成情報テーブルを生成し、生成した合成情報テーブルを合成情報記憶部８０５に出力する。具体的には、合成情報テーブル作成部８０３ａは、第１実施形態と同様の処理を複数のカメラ７０の作成用画像それぞれに対して行うことによって合成情報テーブルを生成する。合成情報テーブル作成部８０３ａが複数のカメラ７０の作成用画像それぞれに対する合成情報テーブルを作成した結果を図７に示す。

図７は、第２実施形態における合成情報テーブルの具体例を示す図である。
第２実施形態における合成情報テーブルは、合成情報レコードを複数有する。合成情報レコードは、ｘ’、ｙ’及び合成情報の各値を有する。ｘ’の値は、背景画像のｘ方向における画素位置を表す。ｙ’の値は、背景画像のｙ方向における画素位置を表す。合成情報の値は、カメラ７０毎に、同じ合成情報レコードのｘ’及びｙ’で示される画素に重畳される入力画像の画素に関する情報を表す。合成情報の具体例として、カメラ１の合成情報〜カメラＭの合成情報がある。カメラ１の合成情報の項目はカメラ７０−１の入力画像に対する合成情報を表し、カメラ２の合成情報の項目はカメラ７０−２の入力画像に対する合成情報を表し、カメラＭの合成情報の項目はカメラ７０−Ｍの入力画像に対する合成情報を表す。そして、各カメラの合成情報として、ｘ、ｙ及びａがある。ｘの値は、入力画像のｘ方向における画素位置を表す。ｙの値は、入力画像のｙ方向における画素位置を表す。ａの値は、ブレンディングパラメータを表す。

図７に示される例では、合成情報テーブルには複数の合成情報レコードが登録されている。図７において、合成情報テーブルの最上段に登録されている合成情報レコードは、ｘ’の値が“０”、ｙ’の値が“０”、カメラ１の合成情報であるｘ_１の値が“−”、カメラ１の合成情報であるｙ_１の値が“−”、カメラ１の合成情報であるａ_１の値が“−”、カメラ２の合成情報であるｘ_２の値が“−”、カメラ２の合成情報であるｙ_２の値が“−”、カメラ２の合成情報であるａ_２の値が“−”、・・・、カメラＭの合成情報であるｘ_Ｍの値が“−”、カメラＭの合成情報であるｙ_Ｍの値が“−”、カメラＭの合成情報であるａ_Ｍの値が“−”である。すなわち、背景画像の（０，０）の画素に重畳する画素として、カメラ７０−１の入力画像の画素及びカメラ７０−Ｍの入力画像の画素を利用しないことが表されている。そのため、ブレンディングパラメータａも利用しないことが表されている。

また、図７において、合成情報テーブルの中段に登録されている合成情報レコードは、ｘ’の値が“ｘ’１”、ｙ’の値が“ｙ’１”、カメラ１の合成情報であるｘ_１の値が“ｕ１”、カメラ１の合成情報であるｙ_１の値が“ｖ１”、カメラ１の合成情報であるａ_１の値が“０．５”、カメラ２の合成情報であるｘ_２の値が“ｕ２”、カメラ２の合成情報であるｙ_２の値が“ｖ２”、カメラ２の合成情報であるａ_２の値が“０．５”、・・・、カメラＭの合成情報であるｘ_Ｍの値が“−”、カメラＭの合成情報であるｙ_Ｍの値が“−”、カメラＭの合成情報であるａ_Ｍの値が“−”である。すなわち、背景画像の（ｘ’１，ｙ’１）の画素に重畳する画素として、カメラ７０−１の入力画像の位置（ｕ１，ｖ１）で示される画素及びカメラ７０−２の入力画像の位置（ｕ２，ｖ２）で示される画素を利用することを表し、その際のブレンディングパラメータａ_１が“０．５”及びブレンディングパラメータａ_２が“０．５”であるためカメラ７０−１の入力画像の対応する画素の画素値とカメラ７０−２の入力画像の対応する画素の画素値との平均の画素値を利用することを表し、カメラ７０−Ｍの入力画像の画素を利用しないことが表されている。

図８は、合成情報テーブル作成部８０３ａによる合成情報テーブルの作成処理の流れを示すフローチャートである。図５と同様の処理については、図８において図５と同様の符号を付して説明を省略する。
合成情報テーブル作成部８０３ａは、複数のカメラ７０のうち１つのカメラ７０を選択する（ステップＳ２０１）。カメラの選択方法は、例えば、カメラＩＤの値が小さい順に順番に選択してもよいし、ランダムで選択してもよいし、どのような方法で選択してもよい。合成情報テーブル作成部８０３ａは、選択したカメラ７０の作成用画像をテーブル作成用画像記憶部８００から読み出して入力する。その後、ステップＳ１０１からステップＳ１０３までの処理が実行される。そして、合成情報テーブル作成部８０３ａは、全てのカメラ７０の作成用画像の合成情報を合成情報テーブルに登録したか否か判定する（ステップＳ２０２）。全てのカメラ７０の作成用画像の合成情報を合成情報テーブルに登録していない場合（ステップＳ２０２−ＮＯ）、合成情報テーブル作成部８０３ａはステップＳ２０１以降の処理を実行する。
一方、全てのカメラ７０の作成用画像の合成情報を合成情報テーブルに登録した場合（ステップＳ２０２−ＹＥＳ）、合成情報テーブル作成部８０３ａは処理を終了する。

図９は、画像処理装置８０ａの処理の流れを示すフローチャートである。なお、図９では、合成情報テーブルに全てのカメラ７０の作成用画像を用いることによって作成された全てのカメラ７０の合成情報が登録されている場合を例に説明する。
オブジェクト解析部８０４は、入力画像記憶部８０１ａに記憶されている入力画像と、背景画像記憶部８０６に記憶されている背景画像とを入力とする（ステップＳ３０１）。オブジェクト解析部８０４は、入力された入力画像と、背景画像とに基づいて入力画像の画像解析を行う（ステップＳ３０２）。具体的には、オブジェクト解析部８０４は、入力画像からオブジェクトを検出する。その後、オブジェクト解析部８０４は、オブジェクトが検出されたか否か判定する（ステップＳ３０３）。オブジェクトが検出されなかった場合（ステップＳ３０３−ＮＯ）、オブジェクト解析部８０４は他のカメラの入力画像を、入力画像記憶部８０１ａから読み出す（ステップＳ３０４）。

一方、オブジェクトが検出された場合（ステップＳ３０３−ＹＥＳ）、オブジェクト解析部８０４は入力画像を画像合成部８０７に出力する。画像合成部８０７は、オブジェクト解析部８０４から出力された入力画像と、合成情報記憶部８０５に記憶されている合成情報テーブルと、背景画像記憶部８０６に記憶されている背景画像とを入力とする。画像合成部８０７は、合成情報テーブルを参照して、入力画像を背景画像に重畳する（ステップＳ３０５）。具体的には、画像合成部８０７は、入力画像の撮影元であるカメラ７０の合成情報で示される画素位置（ｘ及びｙ）の情報を参照し、画素位置で示される画素の画素値で、背景画像の対応する画素の画素値を置き換えることによって重畳する。画像合成部８０７は、この処理を背景画像の各画素に対して行う。その後、画像合成部８０７は、全てのカメラ７０の入力画像に対して処理を行ったか否か判定する（ステップＳ３０６）。全てのカメラ７０の入力画像に対して処理を行った場合（ステップＳ３０６−ＹＥＳ）、画像処理装置８０ａは処理を終了する。
一方、いずれかのカメラ７０の入力画像に対して処理を行っていない場合（ステップＳ３０６−ＮＯ）、画像処理装置８０ａはステップＳ３０２以降の処理を実行する。

以上のように構成された第２実施形態における画像処理装置８０ａによれば、第１実施形態と同様の効果を得ることができる。
また、第２実施形態における画像処理装置８０ａでは、複数のカメラ７０それぞれで撮影された入力画像の合成情報が合成情報テーブルに登録されている。そのため、画像処理装置８０ａは、複数のカメラ７０それぞれで撮影された入力画像を背景画像に重畳する場合にも適用することができる。

以下、各実施形態に共通する変形例について説明する。
上記の式２により、あらゆる（ｘ’，ｙ’）に対応する（ｘ，ｙ）を算出すると、（ｘ，ｙ）の値が小数になる場合がある。この場合の例を図１０に示す。図１０は、（ｘ，ｙ）の値が小数の場合を説明するための図である。図１０では、１つの画素９６を示している。上記式２によって合成情報テーブル作成部８０３が求めた（ｘ，ｙ）の値が（ｘ．α，ｙ．β）であったとすると、合成情報テーブル作成部８０３はアフィン変換後のある画素と（ｘ．α，ｙ．β）とを対応付けて合成情報テーブルに登録する。そして、画像合成部８０７は、（ｘ．α，ｙ．β）に応じた画素値を入力画像の対応する画素から取得し、取得した画素値を背景画像の対応する位置に重畳する。この際、画像合成部８０７は、入力画像のある画素（ｘ．α，ｙ．β）の位置を以下の式３に基づいて求める。

本発明は、入力画像を全天球画像に重畳する場合に限らず、入力画像を、当該入力画像とは異なる位置、又は、当該入力画像を撮影したカメラ７０とは異なるカメラ７０で撮影された背景画像に重畳すること（すなわち、画像の変換が必要な重畳を行う場合）によって合成画像を生成する場合にも適用可能である。
また、本発明は、必ずしも画像を背景画像に重畳する必要はなく、事前に合成情報テーブルを作成できればよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

６０…全天球カメラ，７０（７０−１〜７０−Ｍ）…カメラ， ４、８０…画像処理装置（合成情報テーブル作成装置）， ８００、８００ａ…テーブル作成用画像記憶部， ８０１、８０１ａ…入力画像記憶部， ８０２…抽出領域情報記憶部， ８０３、８０３ａ…合成情報テーブル作成部（変換部、対応付け部、作成部）， ８０４…オブジェクト解析部， ８０５…合成情報記憶部， ８０６…背景画像記憶部，８０７…画像合成部

Claims (5)

1. 背景画像が撮影された地点と異なる地点で撮影された入力画像を変換して前記背景画像に重畳する処理である合成に利用される合成情報を含む合成情報テーブルを作成するための作成用画像に対して合成のための所定の変形処理を行うことによって変換後画像を生成する変換部と、
   前記変換後画像の各画素と、前記作成用画像の各画素とを対応付ける対応付け部と、
   対応付けられた前記変換後画像の各画素と、前記作成用画像の各画素とを用いて前記合成情報テーブルを作成する作成部と、
   を備える合成情報テーブル作成装置。
2. 前記作成用画像の各画素の画素値として前記各画素の位置を示す情報を設定することによって前記作成用画像を初期化する初期化部をさらに備え、
   前記初期化部は、前記作成用画像の一部を前記背景画像に重畳する場合に前記作成用画像の重畳される領域である処理対象領域の情報を示すマスク画像を生成し、
   前記変換部は、前記作成用画像に対して行った所定の変形処理を前記マスク画像に対して行うことによって変換後マスク画像を生成し、
   前記作成部は、前記変換後マスク画像の画素における画素値が処理対象領域の情報を示していない画素と同じ位置の前記作成用画像の画素については、画像の合成に利用しないことを示す情報を前記変換後画像の画素に対応付ける、請求項１に記載の合成情報テーブル作成装置。
3. 前記作成部は、複数の撮影装置それぞれによって撮影された複数の作成用画像の一部を同一の背景画像に重畳する場合に利用される合成情報テーブルであって、前記作成用画像の一部が重畳される前記背景画像の画素の位置及び重畳した際に重複した領域の画素値に対して利用するブレンディングパラメータの項目を撮影装置毎の合成情報として含む前記合成情報テーブルを作成する、請求項２に記載の合成情報テーブル作成装置。
4. 背景画像が撮影された地点と異なる地点で撮影された入力画像を変換して前記背景画像に重畳する処理である合成に利用される合成情報を含む合成情報テーブルを作成するための作成用画像に対して合成のための所定の変形処理を行うことによって変換後画像を生成する変換ステップと、
   前記変換後画像の各画素と、前記作成用画像の各画素とを対応付ける対応付けステップと、
   対応付けられた前記変換後画像の各画素と、前記作成用画像の各画素とを用いて前記合成情報テーブルを作成する作成ステップと、
   を有する合成情報テーブル作成方法。
5. 背景画像が撮影された地点と異なる地点で撮影された入力画像を変換して前記背景画像に重畳する処理である合成に利用される合成情報を含む合成情報テーブルを作成するための作成用画像に対して合成のための所定の変形処理を行うことによって変換後画像を生成する変換ステップと、
   前記変換後画像の各画素と、前記作成用画像の各画素とを対応付ける対応付けステップと、
   対応付けられた前記変換後画像の各画素と、前記作成用画像の各画素とを用いて前記合成情報テーブルを作成する作成ステップと、
   をコンピュータに実行させるためのコンピュータプログラム。

Images