JP2019201325A - 撮像装置、その制御方法、および、プログラム - Google Patents

Abstract

【課題】合成領域における誤検出を防止可能とする合成画像を提供するための技術を提供する。【解決手段】複数の撮像部を備える撮像装置であって、前記複数の撮像部のそれぞれは、隣接する撮像部と撮像画角の一部が重複するように配置され、前記複数の撮像部のそれぞれで撮像された画像を結合する合成処理を行って合成画像を生成する合成手段とを備え、前記合成手段は、前記合成画像に同一の被写体の被写体像が重複して含まれることになる場合に、第１の被写体像のみが前記合成画像に含まれるようにするために、第２の被写体像の位置に対応する背景画像を用いて、前記合成画像から前記第２の被写体像を消去する。【選択図】 図１

Description

本発明は、撮像装置、その制御方法、および、プログラムに関する。

広視野の画像を撮像可能な撮像装置として、レンズと撮像素子を複数配置し、得られた画像を合成することにより広視野を実現する撮像装置が提案されている。特許文献１は、複数のカメラにより撮像された撮像画像を合成してパノラマ画像を表示するカメラ監視システムを開示する。また、監視などの用途に使用される撮像装置においては、画像解析機能として設定領域内を通過した人物の有無の判定や、領域内の人数を数える人数検出機能が実装されることがある。

特開2006-229789号公報

特許文献１の撮像装置により得られた合成画像を用いて画像解析を行う場合、以下のような問題が発生する。

複数の撮像装置の配置構成により、被写体の位置によっては合成画像における画像の結合部に二重像が生じる領域と、欠損が生じる領域が発生する場合がある。特に、特許文献１が開示する撮像装置では、被写体像に対して位置を合わせて画像の合成を行うため、被写体像以外の被写体の位置がずれてしまい、合成位置によっては、二重像や欠損を発生するおそれがある。よって、このような合成画像を画像解析して人数検出を行う場合、対象となる被写体が画像の合成領域を通過する際に不具合が生ずるおそれがある。具体的には、被写体の一部或いは全体が欠損することで検出できなくなる、或いは、重複することで人数を数え間違えるといったことが考えられ、誤検知の要因となっていた。

そこで本発明は、合成領域における誤検出を防止可能とする合成画像を提供するための技術を提供する。

上記課題を解決するための本発明は、複数の撮像部を備える撮像装置であって、
前記複数の撮像部のそれぞれは、隣接する撮像部と撮像画角の一部が重複するように配置され、
前記複数の撮像部のそれぞれで撮像された画像を結合する合成処理を行って合成画像を生成する合成手段と、
を備え、
前記合成手段は、前記合成画像に同一の被写体の被写体像が重複して含まれることになる場合に、第１の被写体像のみが前記合成画像に含まれるようにするために、第２の被写体像の位置に対応する背景画像を用いて、前記合成画像から前記第２の被写体像を消去する。

本発明によれば、合成領域における誤検出を防止可能とする合成画像を提供することができる。

発明の実施形態に係る撮像装置の構成例を示す図、及び、当該撮像装置における撮像部の配置を説明するための図。 発明の実施形態に係る撮像装置１００及びクライアント装置１８０の機能構成及びハードウェア構成の例を示す図。 発明の実施形態に係る合成画像の一例を示す図、及び、被写体と撮像装置１００の各撮像部の撮像画角との関係を説明するための図。 発明の実施形態に対応する撮像装置１００における処理の一例を示すフローチャート。 発明の実施形態に係る被写体像の重複欠損の発生について説明するための図。 発明の実施形態に係る合成画像生成方法の概要を示すフローチャート。 発明の実施形態１に係る合成画像の生成方法を説明するための図。 発明の実施形態１に係る合成画像の生成方法の一例を示すフローチャート。 発明の実施形態１に係る合成画像の生成方法の他の一例を示すフローチャート。 発明の実施形態２に係る合成画像の生成方法の一例を示すフローチャート。 発明の実施形態２に係る合成画像の生成方法を説明するための図。 発明の実施形態３に係る合成画像の生成方法を説明するための図。 発明の実施形態４に係る合成画像の生成方法を説明するための図。

以下、発明の実施の形態を、添付の図面に基づいて詳細に説明する。

［実施形態１］
以下の実施形態では、複数の撮像部で撮像した画像を合成して得られる広角画像または広角動画像を生成可能な撮像装置に発明を適用した実施形態について説明する。

まず、図１（Ａ）は、本実施形態における撮像装置１００の構成を示す概略図である。図１（Ｂ）は、撮像装置１００内における各撮像部の配置を平面状に示した模式図である。図１（Ｂ）に示すように、本実施形態では撮像装置１００が８つの撮像部１０１〜１０８で構成される例を示す。更に、追加の撮像部１０９を有する。撮像部１０１〜１０８のそれぞれはレンズ光学系と撮像素子を備えた撮像ユニットであり、撮像装置１００の中心に対して放射状に配置され３６０度の範囲を撮像可能とする。撮像部１０９は、レンズ光学系と撮像素子の他、パン・チルト・ズーム（ＰＴＺ）機構を更に備える撮像ユニットである。本実施形態では、８つの撮像部１０１〜１０８により、３６０度の範囲を網羅しているが、撮像部の数はこれに限定されるものではなく、また、撮像可能とする範囲は３６０度よりも狭くてもよい。例えば、撮像範囲は、設置上場所に応じて決定することができる。撮像装置１００は、複数の撮像部からなる水平方向に広視野を備えた第一の撮像部と、任意の撮像方向に向け撮像画角を変更可能な第二の撮像部を備えた構成とすることができる。

各撮像部は撮像画角を有しており、図１（Ｂ）ではそれらを実線と点線とで交互に示している。例えば、撮像部１０１の撮像画角１２１と隣接した撮像部１０２の撮像画角１２２のように、それぞれ撮像画角の一部が重複するように配置される。撮像装置１００は各撮像部で撮像した画像を合成し、最大３６０°の水平視野を持つ広角動画像を生成することができる。

次に、撮像装置１００及びクライアント装置１８０の機能構成及びハードウェア構成について図２を参照して説明する。図２（Ａ）は、発明の実施形態に対応する撮像装置１００及びクライアント装置１８０の機能構成例を示す概略図である。制御部１５０は、例えばＣＰＵ，ＭＰＵ、その他の専用演算回路などで構成することができ、撮像装置１００全体の制御を司る。メモリ１６０は不揮発性メモリとＲＡＭ等で構成される。不揮発性メモリは制御部１５０の処理手順（制御プログラム）や、各種パラメータを記憶する。ＲＡＭは制御部１５０のワークエリアとして使用され、画像処理を行うための記憶領域としても使用される。また、制御部１５０は、画像処理部１５１、画像合成部１５２、圧縮伸長部１５３、重複欠損判定部１５４、及び、被写体像検出部１５５を含むことができ、これらのブロックが有する処理機能は、例えば、ＣＰＵがメモリ１６０に記憶されている対応するプログラムを実行することにより実現することができる。あるいは、制御部１５０を構成する専用演算回路により実現されてもよい。

撮像部１０１〜１０８は、撮像素子１３１〜１３８およびレンズ光学系１１１〜１１８をそれぞれが含むユニット構成となっている。各撮像部は制御部１５０と接続して制御され、互いに同期した撮像が行われる。このような同期撮像により得られた撮像信号は後段の合成処理を経て１フレームの合成画像データを構成することとなる。そこで、これ以降、「フレームごと」という場合には、同期撮像により得られた撮像信号や、当該撮像信号から得られた画像データのことを意味するものである。撮像部１０１等から送信された撮像信号は制御部１５０において各種画像処理が施される。撮像素子１３１〜１３８は、ＣＭＯＳセンサ等により構成され、撮像面に結像された被写体像を電気信号に変換して出力する。撮像素子１３１等から出力された電気信号としての撮像信号は、制御部内の画像処理部１５１に入力される。

画像処理部１５１は、撮像信号に対して画素補間処理や色変換処理等の画像処理を行って、撮像部ごとの撮像画像データ（「撮像画像」、あるいは、合成処理の対象となる画像として「合成前画像」ともいう。）を生成する。当該画像処理には、例えば画素欠陥補正やレンズ補正などの各種補正処理、黒レベルやフォーカス、露出などの調整を行うための検波処理、デモザイク処理、ホワイトバランス処理、ホワイトバランス処理やガンマ補正処理、エッジ強調処理、ノイズ抑制処理などが含まれる。各撮像画像データはメモリ１６０に保存される。さらにメモリ１６０に保存された撮像部ごとの撮像画像データは、画像合成部１５２にてフレームごとに順次、画像合成され、広角の合成画像データとしてメモリ１６０に保存される。

制御部１５０はさらに、合成画像データを圧縮伸長部１５３にて圧縮して圧縮画像データを生成する。圧縮伸長部１５３は、静止画圧縮及び動画像圧縮を実行し、画像圧縮方式は、例えば、Ｈ．２６４、Ｈ．２６５、ＭＰＥＧまたはＪＰＥＧなどの規格に基づくことができる。さらに、ｍｐ４やａｖｉ形式などを含む任意の形式の画像データを生成しても良い。圧縮伸長部１５３において生成された圧縮画像データは、撮像装置１００に装着された不図示の記録媒体や内蔵メモリ等に記録されるとともに、通信部１７０からネットワーク１９０を介して外部の情報処理装置であるクライアント装置１８０に送信される。

重複欠損判定部１５４は、合成を行う複数の合成前画像を比較し、合成後の被写体像の重複、欠損が発生するかどうかを判定する。また、合成を行う１組の画像に含まれる被写体像が同一被写体のものであるかどうかを判定する。被写体像検出部１５５は、指示された画像領域内の被写体像を検出し、検出結果を画像合成部１５２及び重複欠損判定部１５４に通知する。通信部１７０は、ネットワーク処理回路であり、圧縮された合成画像データを通信プロトコルに準拠した通信信号に変換した上で、ネットワーク１９０上へと配信する。

クライアント装置１８０は、典型的にはパーソナルコンピュータなどの情報処理装置であり、ネットワーク１９０を介して撮像装置１００と接続されている。クライアント装置１８０の制御部１８１は、ＣＰＵ，ＭＰＵ、その他の専用演算回路などで構成することができ、クライアント装置１８０全体の制御を司る。また、制御部１８１は、撮像装置１００から合成画像データを受信し、伸長処理を行うとともに、撮像装置１００をコントロールするための制御情報を送信することで各種制御を行う。画像解析部１８２は、撮像装置１００から受信した合成画像データの画像解析を行う。また、画像解析部１８２において伸長処理を行ってもよい。画像解析では、例えば合成画像データ内の特定の領域に存在する被写体を検出し人数のカウントを行う、被写体の動きを検出し所定の領域への侵入を検出する等の処理を行う。表示部１８３は、クライアント装置１８０の操作者へ画像解析結果や撮像装置１００から受信した合成画像データの表示を行う。通信部１８４は、ネットワーク処理回路であり、ネットワーク１９０を介して撮像装置１００と通信を行い、撮像装置１００が配信した合成画像データを受信するとともに、撮像装置１００の動作を制御することが可能である。

上述の撮像装置１００及びクライアント装置１８０のハードウェア構成の一例を図２（Ｂ）に示す。図２は、撮像装置１００及びクライアント装置１８０の、主に制御部や処理部に関わるハードウェア構成の一例を示すブロック図である。

図２（Ｂ）において、ＣＰＵ２１０は、ハードディスク装置（以下、ＨＤと呼ぶ）２１５に格納されているオペレーティングシステム（ＯＳ）や制御プログラム、処理プログラム等を実行して、発明の実施形態に対応する処理を実現する。さらには、インタフェース（Ｉ／Ｆ）２１８を介した外部の装置とのデータ送受信を制御する。ＣＰＵ２１０は、図２（Ａ）の制御部１５０や１８１にとして機能しえる。

ＲＯＭ２１１は、内部に基本Ｉ／Ｏプログラムの他、所定の処理を実行するアプリケーションプログラム等の各種データを記憶する。ＲＡＭ２１２は各種データを一時記憶し、ＣＰＵ２１０の主メモリ、ワークエリア等として機能する。外部記憶ドライブ２１３は、記録媒体へのアクセスを実現するための外部記憶ドライブであり、メディア（記録媒体）２１４に記憶されたプログラム等を本コンピュータシステムにロードすることができる。ハードディスク装置２１５は、本実施形態では大容量メモリとして機能するＨＤ（ハードディスク）を用いている。ＨＤ２１５には、アプリケーションプログラム、ＯＳ、制御プログラム、関連プログラム等が格納される。なお、ハードディスクの代わりに、フラッシュ（登録商標）メモリ等の不揮発性記憶装置を用いても良い。これらのＲＯＭ、ＲＡＭ、ＨＤ等は、図２（Ａ）のメモリ１６０として機能しえる。

指示入力装置２１６は、キーボードやポインティングデバイス（マウス等）、タッチパネル等がこれに相当する。出力装置２１７は、指示入力装置２１６から入力されたコマンドや、それに対する応答出力等を出力する。出力装置２１７にはディスプレイ、スピーカ、ヘッドフォン端子等を含むことができる。図２（Ａ）の表示部１８３に対応する。システムバス２１９は、装置内のデータの流れを司る。

インタフェース（以下、Ｉ／Ｆという）２１８は、外部装置とのデータのやり取りを仲介する役割を果たす。具体的に、Ｉ／Ｆ２１８は、無線通信モジュールを含むことができ、当該モジュールはアンテナシステム、ＲＦ送受信器、１つ以上の増幅器、同調器、１つ以上の発振器、デジタル信号プロセッサ、ＣＯＤＥＣチップセット、加入者識別モジュールカード、メモリなどを含む、周知の回路機構を含むことができる。また、有線接続のための有線通信モジュールを含むことができる。有線通信モジュールは１つ以上の外部ポートを介して他のデバイスとの通信を可能とする。また、データを処理する様々なソフトウェアコンポーネントを含むことができる。外部ポートは、イーサーネット、ＵＳＢやＩＥＥＥ１３９４等を介して、直接的に、又はネットワークを介して間接的に他のデバイスと結合する。尚、以上の各装置と同等の機能を実現するソフトウェアにより、ハードウェア装置の代替として構成することもできる。当該インタフェース２１８は、図２（Ａ）の通信部１７０や１８４として機能しえる。

次に、図３及び図４を参照しながら、本実施形態における画像の合成処理について説明を行う。以下では、特に広角動画像を生成する場合について説明する。図３は、発明の実施形態に対応する被写体と撮像装置１００の各撮像部の撮像画角との関係を説明するための図である。図３（Ａ）は、撮像部１０１から１０４で撮像された各撮像画像を結合して得られた合成画像３００の一例を示す。図３（Ｂ）は、合成画像３００のような合成画像を得るために実行する撮像部１０１から１０４で撮像された各撮像画像の画像合成処理を説明するための図である。図３（Ｂ）において、破線１２１〜１２４は、図１（Ａ）の撮像部１０１〜１０４の撮像画角１２１〜１２４に対応する。ここに示すように各撮像部の撮像画角は、一部において互いに重複するように設定されている。

各撮像部で撮像された画像を結合する場合、撮像部の配置によっては隣接する撮像部で視差が存在するため、撮像画角の重複する画像領域（画像重複領域）において、フレームごとに合成する画像の合成位置調整が必要となる。合成位置調整は、画像重複領域における同一被写体像が重なるように行われる。図３（Ｂ）に示す例において、網掛け領域３０１〜３０３が画像重複領域となる。画像重複領域は、撮像装置１００の設置時に、被写体距離に応じて撮像画角を設定することで任意に設定できる。また、画像重複領域は被写体に応じて適宜変更可能に構成しても構わない。撮像装置１００は、各撮像部からの撮像画像を合成し、合成画像３００を得る。ここでは、４枚の撮像画像を合成しているが、同期して撮像されたすべての撮像画像、図１に示す撮像装置１００の場合には８枚を合成して１枚の合成画像としてもよいし、あるいは、撮像画像のサブグループ単位に合成を行って複数の合成画像を生成してもよい。例えば、４枚ずつのサブグループについて合計２枚の合成画像を生成してもよい。更に、合成枚数はこれらに限定されるものではない。

次に、図４を参照して本実施形態における画像の合成処理を説明する。図４は、発明の実施形態に対応する画像の合成処理の一例を示すフローチャートである。該フローチャートに対応する処理は、例えば、制御部１５０として機能する１以上のプロセッサ（制御部１５０のＣＰＵ、ＭＰＵ）が対応するプログラム（メモリ１６０等に格納）を実行することにより実現できる。

まず、Ｓ４０１において制御部１５０は、撮像部１０１〜１０８の各撮像素子に対して撮像指示を行う。各撮像素子は制御部１５０からの撮像指示に基づき撮像動作を行い、各撮像部から出力された撮像信号は、メモリ１６０のＲＡＭに記憶される。撮像部から受信した撮像信号は、画像処理部１５１にて画素補間処理や色変換処理等の所定の画像処理を行って撮像画像データとして再度メモリへ保持される。

続くＳ４０２において、制御部１５０はメモリ１６０に記憶された撮像画像データから画像重複領域に該当する部分画像データを選択し、画像合成部１５２に供給する。続くＳ４０３において、画像合成部１５２が合成位置の調整を行う。画像合成部１５２は合成を行う２つの画像間で、それぞれの画像重複領域の画像データ内の同一被写体を検出し、合成前画像で検出した同一被写体の位置が一致するように、合成するための合成パラメータを算出する。合成パラメータには、各撮像画像データの拡大、縮小、歪曲補正等の変形処理を行うパラメータや、補正処理後の撮像画像データからの画像切り出し等を行うためのパラメータが含まれる。同一被写体の検出には、例えば、背景差分等でエッジ検出を行い被写体の輪郭形状を抽出する、或いは動きベクトルの抽出や、色画素情報と併せて判定することで同一被写体であるかを判定できる。なお、Ｓ４０２及びＳ４０３の処理は、画像合成部１５２がまとめて実行してもよい。

続くＳ４０４において、画像合成部１５２は、各撮像部から得られた撮像画像データを結合して合成画像データを生成する合成処理を行う。算出した合成パラメータに基づき、各撮像画像データに合成位置の補正処理を行い、フレームごとに合成を行う。その後、適切な変倍処理を行い、指定の画角サイズに切り出しを行い、広角の合成画像データを生成する。生成した合成画像データは、画像合成部１５２が行った画像合成処理に関する情報（画像合成情報）と共にメモリ１６０に保存される。続くＳ４０５において、圧縮伸長部１５３は合成された合成画像データを順次圧縮処理して、動画像データとして通信部１７０に出力する。このとき、動画像データには、画像合成部１５２が生成した画像合成情報が付加される。続くＳ４０６において、通信部１７０は、動画像データを所定のプロトコルに基づきネットワーク１９０を経由してクライアント装置１８０に配信する。

次に、図５を参照して、画像合成部１５２の画像合成処理における被写体像の重複、欠損の発生について説明する。まず、図５（Ａ）は、撮像装置１００の撮像画角と被写体位置との関係を説明するための図である。ここでは、撮像部１０１と撮像部１０２との関係を示しているが、これはあくまで一例を示すために他の撮像部を省略しているだけであって、他の撮像部についても同様の関係が成立しえる。撮像装置１００の各撮像部１０１及び１０２は、設置位置が異なるため、撮像画角と光軸中心の位置が一致しない。このため、被写体の位置によってはこれらの撮像部の撮像画角に入らないことがある。被写体５０１〜５０３は、撮像装置１００からの距離が異なる被写体である。被写体５０１、５０２は、撮像画角１２１と１２２に入る被写体であるが、被写体５０３の位置ではいずれの撮像画角からも外れることになる。

図５（Ｂ）、図５（Ｃ）は図５（Ａ）の被写体を撮像した各撮像部の画像データと、合成後の合成画像の一例を示す。まず、図５（Ｂ）の例では、画像データ５１１と画像データ５１２とを合成して合成画像５１３を得る。また、図５（Ｃ）の例では、撮像画像５１１と撮像画像５１２を合成して合成画像５１４を得る。合成画像５１３と合成画像５１４とでは、合成位置が互いに異なっている。図５（Ｂ）に示す合成画像５１３は、被写体５０１に対して位置合わせを行っており、被写体５０１は像全体が良好に合成画像内に納まっている。しかしながら、被写体５０２は合成画像５１３内に２つの重複する像（多重像）として発生してしまう。

図５（Ｃ）に示す合成画像５１４は、被写体５０２に対して位置合わせを行っており、被写体５０２は像全体が良好に合成画像内に納まっている。しかし、被写体５０１は像の一部領域が欠損した状態で合成されてしまい、元の被写体５０１を判別するのが困難な状態になっている。

以上のように、被写体の位置と合成位置の関係に応じて、合成画像内の被写体像に重複、あるいは、欠損を生じてしまう。これによって、合成画像を受信したクライアント装置１８０は画像解析を行う際に誤検知するおそれがある。そこで、本実施形態に対応する撮像装置１００は、クライアント装置１８０での誤検知を防ぐために、画像合成部１５２において、被写体像の重複、欠損が発生しないように合成画像を生成する。画像合成部１５２は、重複する被写体像については一方の被写体像のみを残して他方の被写体像は消去（また、消す、削除、除去、隠す、隠蔽）するように合成画像を生成する。また、欠損が発生する被写体像については、欠損のない被写体像が含まれるように合成画像を生成する。以下、多重像の誤検知を防ぐための合成画像の生成方法の詳細について説明する。

次に、図６を参照して、本実施形態に対応する画像合成処理の概要を説明する。図６は、発明の実施形態に対応する画像合成処理の一例に対応するフローチャートである。図６において、Ｓ６０１からＳ６０４までの処理は撮像装置１００の設置時の合成処理動作に対応し、Ｓ６０５からＳ６１２までの処理は撮像開始から被写体として被写体像が撮像される場合の処理に対応する。該フローチャートに対応する処理は、例えば、制御部１５０として機能する１以上のプロセッサ（ＣＰＵ、ＭＰＵ）が対応するプログラムを実行することにより実現できる。

まず、Ｓ６０１において、撮像装置１００が撮像環境に設置されると、まず、画像合成部１５２は画像合成を行うための調整動作を行う。撮像部１０１等で撮像された各撮像画像（合成前画像）から画像合成部１５２が背景画像となる静止物を選択し特徴点を抽出する。設置時の画像合成を行うための調整動作はユーザによる背景画像の選択でもよいし、撮像装置１００による自動調整でも構わない。

続くＳ６０２において、画像合成部１５２は、背景画像が連続した像として合成されるように、撮像画像の合成位置を調整する。画像合成部１５２は合成を行う２つの画像間で、それぞれの画像重複領域内の特徴点の位置が一致するように、合成するための合成パラメータを算出する。合成パラメータには、各撮像画像の拡大、縮小、歪曲補正等の変形処理を行う情報や、補正処理後の撮像画像からの画像切り出し等を行うための設定値等が含まれる。合成パラメータは画像の合成位置毎に生成される。例えば、図５に示すように２枚の画像を合成する場合は２つ、図３に示す画像のように４枚の画像を一列に合成する場合は、３か所の合成位置に応じた３つの合成パラメータとなる。画像を画像合成に用いた合成パラメータは、合成画像上の各合成位置に対応させてメモリに記憶する。

続いて、Ｓ６０３において、画像合成部１５２は、特徴点として抽出した背景被写体（基準被写体）の被写体距離を算出する。算出した被写体距離は、背景被写体と関連付けてメモリ１６０に記憶する。被写体距離の算出は、撮像部の配置と撮像画角が既知の情報であるため、対象となる被写体の２枚の合成前画像上における座標から三角測量によって算出できる。また、例えば撮像装置１００が、撮像素子上に結像する被写体像の位相差を検出可能な撮像素子を備えた場合、撮像素子に結像した被写体像から被写体距離を算出してもよい。或いは、一般的なコントラストＡＦ（オートフォーカス）動作のように、被写体像の結像するコントラスト値から被写体距離を検出する方法をとってもよい。また、撮像装置１００が測距センサ等の距離測定手段を備える構成でも構わない。

次にＳ６０４において、画像合成部１５２は、位置合わせした背景画像の合成を行う。静止物を基準に位置合わせを行い合成した背景画像を以降、「背景合成画像」という。生成した背景合成画像の一部或いは全体を、座標情報と共にメモリ１６０に保持する。続くＳ６０５において画像合成部１５２は、合成前の各画像と合成画像に対して重複欠損の判定対象領域となる、重複欠損判定領域を設定する。重複欠損判定領域は、上述の画像重複領域を含む領域として設定される。

続くＳ６０６において被写体像検出部１５５は、画像合成部１５２が設定した重複欠損判定領域内で被写体像の検出を行う。被写体像検出部１５５は、重複欠損判定領域内の被写体像を検出し、検出結果を画像合成部１５２、重複欠損判定部１５４に通知する。被写体像の検出は、例えば、背景差分等でエッジ検出を行い被写体の輪郭形状を抽出し、抽出した輪郭形状を複数の撮像フレーム間で比較し動きベクトルを検出することで行うことができる。被写体像検出部１５５は、抽出した被写体像の情報をメモリ１６０に保持する。保持する被写体像の情報は、例えば、検出した被写体像の輪郭形状、または被写体像の輪郭形状を簡略化した簡略形状の形状情報と、各形状内の画像を含むことができる。

続くＳ６０７において、重複欠損判定部１５４は、被写体像検出部１５５が検出した被写体像について、同一被写体のものであるかどうかを判定する。同一被写体の判定は、動きベクトルの一致、被写体形状、被写体の色等が一致するかを評価することで行うことができる。

続くＳ６０８において、重複欠損判定部１５４は、撮像画像において被写体像が存在する位置が、合成画像を生成した際に、重複、欠損を発生させる位置であるかどうかを判定する。本ステップにおいて重複欠損判定部１５４は、被写体像の位置を算出し、重複欠損が発生するかどうかを判定する。撮像部１０１等の配置と撮像画角は既知の情報であるため、対象となる被写体の２枚の合成前画像上における座標を視差情報として用いることで、撮像画角内の被写体の位置と距離とを算出できる。被写体が多重像発生領域に入っている場合、その被写体の被写体像は合成後に多重像となる。多重像発生領域については図７に示す。

続くＳ６０９において被写体像検出部１５５は、重複欠損が発生すると判定された被写体像の抽出を行い、被写体像の情報（形状情報や、画像）をメモリ１６０に保持する。続くＳ６１０において被写体像検出部１５５は、対象の被写体像が多重像発生領域にいる場合、発生する多重像に対して優先順位をつける。これにより、合成画像に残す被写体像（表示被写体像）と、合成画像から消去する被写体像（非表示被写体像）とを決定する。続くＳ６１１において、画像合成部１５２は、合成対象の撮像画像を合成して合成画像を生成する。続くＳ６１２において、画像合成部１５２は、メモリ１６０に保存した背景合成画像から、非表示被写体像に対応する画像を切り出し、合成画像に重畳する。

続くＳ６１２で背景合成画像を合成するための合成位置を変更するかを判定し、クライアント装置１８０等から背景合成位置の変更指示がある場合、処理はＳ６０１に戻り再び上述の処理を行う。背景合成画像の合成位置に変更を行わない場合は、Ｓ６１３で撮像動作の終了が選択されるまで、Ｓ６０６からの処理を繰り返す。以上のステップにより、合成処理が行われる。

以下、図７を参照して図６の合成処理で生成される合成画像について説明を行う。ここでは、合成後の画像に多重像が発生する場合に背景画像を重畳させることで重複する被写体像のうちの一つを消す方法について説明する。併せて、合成時のより詳細な処理の流れを図８のフローチャートを参照して説明する。該フローチャートに対応する処理は、例えば、制御部１５０として機能する１以上のプロセッサ（ＣＰＵ、ＭＰＵ）が対応するプログラムを実行することにより実現できる。

図７（Ａ）は、撮像部１０１、１０２の撮像画角内を移動する被写体７０１を撮像している場面を、上空から見た模式図である。ここでは被写体７０１が位置Ｔ１〜Ｔ３へ矢印方向に移動している場合を示している。

被写体７０２は撮像装置１００の設置時から撮像環境に存在する静止している被写体である。撮像装置１００は、被写体７０２を基準に合成位置の調整を行い背景画像の合成を行うことができる。図７（Ａ）に示す例では、被写体７０１は被写体７０２よりも撮像装置から遠い位置を横切る。空間７０５、７０６、７０７は撮像部１０１、１０２の撮像画角が重複する画像重複領域である。ここでは、空間７０６が多重像発生領域となり、この空間７０６内に存在する被写体は、生成される合成画像において被写体像が重複して存在することになる。

図７（Ｂ）は、図７（Ａ）での撮像画像を示し、画像７１１、７１２、７２１、７２２は各撮像部が撮像した合成前の撮像画像（合成前画像）、画像７１３、７２３〜７２６は合成後の撮像画像（合成画像）である。また、被写体７０１の位置が位置Ｔ１から位置Ｔ３に変化する場合の撮像結果及び合成結果を示している。領域７１５、７１６は、それぞれ合成前画像上に設定した重複欠損判定領域である。重複欠損判定領域には、図７（Ａ）の画像重複領域７０５から７０７の撮像画像が少なくとも含まれるように設定され、領域の大きさは任意の大きさで設定できる。破線７１４は、撮像前画像の合成位置を示しており、ここでは、被写体７０２を基準に画像合成位置調整を行った合成位置を示している。破線７１７は、合成画像７１３における、画像の境界を示す。当該境界は破線７１４に対応し、境界７１７の左側の部分が合成前画像７１１に対応し、境界７１７の右側の部分が合成前画像７１２に対応する。

次に、具体的に被写体７０１が位置Ｔ１からＴ３に移動する場合の合成処理の流れを図８のフローチャートに沿って説明する。Ｓ８０１において重複欠損判定部１５４は、合成画像に重複欠損が発生するかどうかを判定する。まず、被写体７０１が位置Ｔ１の時、重複欠損判定領域７１５及び７１６の外側にいるため、合成画像７１３において被写体７０１の被写体像の重複欠損は発生しない。被写体像検出部１５５は、重複欠損判定領域内に被写体像がいないことを検出し、画像合成部１５２へ通知する。その後、処理はＳ８０７に進み、画像合成部１５２は、合成前画像７１１と７１２を合成して合成画像７１３を生成すると、続くＳ８０８において、重複欠損判定領域を合成して得られた合成画像７１３内の背景合成画像７１９をメモリ１６０に記憶させる。

背景画像合成は合成パラメータに基づいて行われるため、生成される合成画像は合成パラメータを変更しない限り、同じ合成位置で合成される事になる。合成パラメータは例えば、設置時に背景画像合成を行った際のパラメータであり、メモリ１６０に保持している。続くＳ８０９において、画像合成を終了するか否かを判定し、終了しない場合処理はＳ８０１に戻る。画像合成を終了する場合は、本処理を終了する。図７の例では被写体７０１は位置Ｔ３に移動するので、処理は継続する。

Ｓ８０１に戻ると重複欠損判定部１５４は再度判定を行う。このとき被写体７０１が位置Ｔ３に移動していれば、被写体７０１は重複欠損判定領域７１５及び７１６の内側に位置することになるため、合成画像７２３において被写体７０１の被写体像の重複が発生し多重像となる。重複欠損判定部１５４は撮像画像７１１、７１２の重複欠損判定領域内をそれぞれ探索して被写体像を検出し、さらに同一被写体であることを検出する。続いて、重複欠損判定部１５４は２つの画像の視差情報から三角側量によって被写体７０１の存在する空間位置を算出し、重複欠損が発生するかを判定する。被写体７０１は空間７０６の中にいるため、重複欠損判定部１５４は被写体７０１が多重像となると判定することができる。

Ｓ８０１において重複欠損判定部１５４が多重像の発生を判定すると、処理はＳ８０２に進む。Ｓ８０２において被写体像検出部１５５は、多重像となる被写体像７３１、７３２をそれぞれ抽出し、形状情報を座標情報と共にメモリ１６０に記憶する。この形状情報及び座標情報は、重複欠損判定領域７１５及び７１６における、被写体像７３１に対応する領域７３５、被写体像７３２に対応する領域７３６をそれぞれ特定するための情報である。形状情報は、被写体像７３１や７３２の形状を厳密に特定する情報でなく、例えば、当該被写体像を包含することのできる円形領域、あるいは、矩形領域を特定する情報であってもよい。座標情報は、当該円形領域、または、矩形領域の中心位置を特定する座標情報であってもよい。

さらにＳ８０３において被写体像検出部１５５は、発生する多重像に優先順位付けを行い、例えば、被写体像７３１を合成画像上に表示する被写体である表示被写体像、被写体像７３２を合成画像上に表示されない非表示被写体像に設定する。

続くＳ８０４において、画像合成部１５２は、メモリ１６０に保持された非表示被写体像７３２の座標情報及び形状情報に基づき、非表示被写体像に対応する画像７４６を背景合成画像７１９から切り出して取得する。続くＳ８０５において画像合成部１５２は、合成前画像７２１と７２２とを合成して合成画像７２３を生成する。続くＳ８０６において、画像合成部１５２は、背景合成画像７１９から非表示被写体像に対応する画像として切り出した画像７４６を合成画像７２３に重畳する。これにより合成画像７２４を得ることができる。撮像装置１００は、生成した合成画像に画像合成時の情報を付帯しクライアント装置へ画像データを配信する。続くＳ８０９において合成処理を終了するかどうかを判定し、終了しない場合にはＳ８０１に戻り処理を継続する。これにより、被写体像７３１のみが表示される合成画像７２４を得ることが可能となる。これによりクライアント装置１８０で画像解析時の誤検出を防ぐことが可能となる。

さらに、Ｓ８０３において被写体像７３２を表示被写体像に設定した場合、画像合成部１５２は、Ｓ８０４において非表示被写体像７３１の座標情報と形状情報に基づき、非表示被写体像７３１に対応する画像７４５を背景合成画像７１９から切り出す。そして、Ｓ８０６において、合成画像７２３に画像７４５を重畳させることで合成画像７２５を得る。これにより、被写体像７３２のみが表示される合成画像７２５を得ることが可能となる。これによりクライアント装置１８０で画像解析時の誤検出を防ぐことが可能となる。

上記では、背景画像から切り出した非表示被写体像を消去するための画像を合成画像に重畳させる方法について説明を行ったが、背景画像を重畳する対象の画像は合成画像に限られず、または、合成順序もこの順序に限らない。例えば、非表示被写体像を合成画像から消去するために背景画像の切り出しを行い、当該画像を合成前画像に重畳させ、その後に画像合成を行っても、同様の効果を得ることができる。このときの合成処理の流れを図９のフローチャートに示す。図９のフローチャートにおいては、図８とほぼ同様に処理を実行することができるが、切り出した背景画像を合成前画像に重畳する処理が、Ｓ８０５の画像合成よりも前に行われる点が異なる。

図７（Ｂ）を参照して具体的に説明すると、Ｓ９０１では、合成前画像７２１に切り出した背景合成画像７４５を重畳し、その後、Ｓ８０５では、合成前画像７２２と合成位置７１４で画像合成を行う。これにより、図８の処理と同様に被写体像７３２のみが表示される合成画像７２６を得ることが出来る。

また上記では、合成前画像に重畳する画像を、合成後の背景合成画像７１９から切り出していたが、Ｓ８０８において、合成前画像の重複欠損判定領域７１５、７１６を背景画像としてメモリ１６０にさらに記憶しておき、これらの画像から重畳する画像を切り出してもよい。この場合でも上記と同様に、メモリ１６０に記憶した背景画像７１５から非表示被写体像に対応する画像を切り出し、合成前画像７２１に重畳させてから合成前画像７２２と合成することでも合成画像７２６が得られる。

以上の本実施形態によれば、合成画像において重複して存在する被写体像のうち一方を画像中から消去（隠す）して、単一の被写体像のみが表示される合成画像を得ることが可能となる。これによりクライアント装置１８０での画像解析時において誤検出を防ぐことが可能となる。

［実施形態２］
上記実施形態１では、合成画像において被写体像の重複が発生する場合について記載したが、本実施形態では、被写体像の重複と欠損とが両方発生する場合について説明する。

本実施形態における撮像装置の構成は実施形態１における図１及び図２で示した構成と同様である。以下、図１０及び図１１を参照して本実施形態における画像合成処理を説明する。図１０は、本実施形態に対応する画像合成処理の一例を示すフローチャートであり、図１１は本実施形態における画像合成処理を説明するための図である。

図１１（Ａ）は、図７（Ａ）と同様に撮像部１０１、１０２が移動する被写体１１０１を撮像している場面を上空から見た模式図である。図７と対応する構成については同一の参照番号を振っている。

図１１（Ｂ）は、図１１（Ａ）での撮像画像を示し、画像１１１１、１１１２、１１２１、１１２２は各撮像部が撮像した合成前の撮像画像（合成前画像）、画像１１１３、１１２３〜１１２５は合成後の撮像画像（合成画像）である。また、被写体１１０１の位置が、位置Ｔ１から位置Ｔ３に変化する場合の撮像結果及び合成結果を示している。領域１１１５、１１１６は、それぞれ合成前画像上に設定した重複欠損判定領域である。

Ｓ１００１において重複欠損判定部１５４は、合成画像に重複欠損が発生するかどうかを判定する。被写体１１０１が位置Ｔ１の時、重複欠損判定領域１１１５及び１１１６の外側にいるため、合成画像１１１３において被写体１１０１の被写体像の重複は発生しない。被写体像検出部１５５は、重複欠損判定領域内に被写体像がいないことを検出し、画像合成部１５２へ通知する。その後、処理はＳ１００７に進み、画像合成部１５２は、合成前画像１１１１と１１１２を合成して合成画像１１１３を生成すると、続くＳ１００８において、重複欠損判定領域を合成して得られた合成画像１１１３内の背景合成画像１１１９をメモリ１６０に記憶させる。背景画像合成は合成パラメータに基づいて行われるため、生成される合成画像は合成パラメータを変更しない限り、同じ合成位置で合成される事になる。合成パラメータは例えば、設置時に背景画像合成を行った際のパラメータであり、メモリ１６０に保持している。続くＳ１００９において、画像合成を終了するか否かを判定し、終了しない場合処理はＳ１００１に戻る。画像合成を終了する場合は、本処理を終了する。図１１の例では被写体１１０１は位置Ｔ３に移動するので、処理は継続する。

背景合成画像はＳ１００８において保存されるが、合成時に使用する背景合成画像は、その後も定期的に更新することができる。背景合成画像の更新は、一部の領域ごとに更新しても構わない。重複欠損判定領域内に複数の被写体像がいる場合、被写体像の存在する領域の画像データを更新することができない。そこで、被写体像が存在していない領域であり、且つ、前回保存した背景合成画像の同座標の領域と現在の画像の評価値が一定以上変化した場合に、部分的に更新を行うことができる。

また、背景合成画像の更新に関して、画像合成部１５２は、現在合成した合成画像上の背景画像領域とメモリに保持した背景合成画像の差分を評価し評価値を算出することができる。評価値の算出は背景合成画像を分割した領域毎に行われ、所定の評価値以上となった場合に、メモリに保持する背景合成画像を更新する。例えば、背景画像領域の色や輝度値、コントラスト値の差が閾値以上であることを検出してもよい。また、画像データの比較だけでなく、評価値として、合成時の時間情報を用いてもよい。前回の背景合成時から所定時間が経過したことを検出して背景画像を更新してもよい。

Ｓ１００１に戻ると、重複欠損判定部１５４は再度判定を行う。このとき被写体１１０１が位置Ｔ３に移動していれば、被写体１１０１は重複欠損判定領域１１１５及び１１１６の内側に位置することになるため、合成画像１１２３において被写体１１０１の被写体像の重複が発生する。重複欠損判定部１５４は撮像画像１１２１、１１２２の重複欠損判定領域内をそれぞれ探索して被写体像を検出し、さらに検出した被写体像が同一被写体のものであることを検出する。続いて、重複欠損判定部１５４は２つの画像上の座標から、被写体１１０１が存在する空間位置を算出し、重複欠損が発生するかを判定する。被写体１１０１は空間７０６の中にいるため、重複欠損判定部は被写体１１０１が多重像となることを判定する。

Ｓ１００１において、重複欠損判定部１５４が多重像の発生を判定すると、処理はＳ１００２に進む。Ｓ１００２において被写体像検出部１５５は、多重像となる被写体像１１３１、１１３２をそれぞれ抽出し、形状情報を座標情報と共にメモリ１６０に記憶する。さらにＳ１００３において被写体像検出部１５５は、発生する多重像に優先順位付けを行い、例えば、被写体像１１３１を合成画像上に表示する被写体である表示被写体像、被写体像１１３２を合成画像上に表示されない非表示被写体像に設定する。

表示被写体像の選択は、クライアント装置１８０からの優先順位情報に基づいて行うこともできる。例えば、図３のように４枚の画像を合成する場合、合成画像の表示中心に近い側の画像を優先して、表示被写体としてもよい。また、例えば、クライアント装置１８０で画像解析領域が設定されている場合は、より画像解析領域に近い被写体像を表示被写体として選択してもよい。また、合成画像上で被写体像の一部が欠損する場合には、欠損の度合いに応じて、例えばより表示面積の大きい被写体像を表示被写体に設定してもよい。或いは、対象となる被写体像が人物である場合、顔などの重要な器官が含まれる被写体像を表示被写体として設定してもよい。

続くＳ１００４において、画像合成部１５２は、メモリ１６０に保持された非表示被写体像１１３２の座標情報及び形状情報に基づき、非表示被写体像に対応する画像１１４３を背景合成画像１１１９から切り出す。また、メモリ１６０に保持された表示被写体像１１３１の座標情報及び形状情報に基づき、表示被写体像に対応する画像１１３１を重複欠損判定領域１１１５から切り出す。続くＳ１００５において画像合成部１５２は、合成前画像１１２１と１１２２とを合成して合成画像１１２３を生成する。更に、続くＳ１００６において、画像合成部１５２は、背景合成画像１１１９から非表示被写体像に対応する画像として切り出した画像１１４３と、重複欠損判定領域１１１５から切り出した被写体像１１３１とを合成画像１１２３に重畳する。

これにより、合成画像１１２４上には非表示被写体像１１３２が表示されなくなるとともに、表示被写体像１１３１が完全な形で表示される。撮像装置１００は、生成した合成画像に画像合成時の情報を付帯しクライアント装置へ画像データを配信する。続くＳ１００９において合成処理を終了するかどうかを判定し、終了しない場合にはＳ８０１に戻り処理を継続する。

以上により、被写体像１１３１のみが表示される合成画像１１２４を得ることが可能となる。これによりクライアント装置１８０で画像解析時の誤検出を防ぐことが可能となる。

上記では、被写体像１１３１を表示被写体像とし、被写体像１１３２を非表示被写体像に設定したが、被写体像１１３２を表示被写体像に設定した場合、Ｓ１００４において背景合成画像１１１９から非表示被写体像１１３１に対応する画像を背景画像１１４１から切り出し、Ｓ１００６で合成画像１１２３に重畳させる。また、Ｓ１００４において表示被写体像１１３２を切り出して置き、Ｓ１００６で更に重畳させて、合成画像１１２５を得ることができる。

さらに、図１１（Ｂ）に示すような合成画像において被写体像の欠損が生ずる場合には、欠損する被写体像を合成前画像において消去した後に合成処理を行ってもよい。図１１（Ｂ）では、位置Ｔ３において被写体像１１３１が合成画像１１２３において欠損を生ずる。そこで、図９のフローチャートに従い、Ｓ８０３において、被写体像１１３１を非表示被写体に設定し、Ｓ９０１において合成前画像１１２１に切り出した背景画像１１４１を重畳することにより、合成前画像１１２１から被写体像１１３１を消すことができる。その後Ｓ８０５において画像合成を行うことにより、合成画像１１２５を得ることができる。以上により、被写体像１１３２のみが表示される合成画像１１２５を得ることが可能となる。これによりクライアント装置１８０で画像解析時の誤検出を防ぐことが可能となる。

以上では、２枚の画像を合成する場合について説明を行ったが、３枚以上の画像を合成する場合においても同様に多重像の発生を防ぐことができる。また、発生する多重像の数は複数であっても構わない。多重像の発生する被写体像が複数存在する場合は、重複欠損判定部１５４が被写体のいる空間を判定し、被写体距離の遠い被写体像から順番に合成画像上に重畳させる。これにより被写体像の前後関係を維持したまま被写体像の重複を防ぐことができる。

以上、重複する被写体を選択して背景画像に重畳させることで、被写体像の重複の発生を防ぐ方法について説明した。これにより、クライアント装置１８０で画像解析時の誤検出を防ぐことが可能となる。

［実施形態３］
本実施形態では、背景画像を合成する基準となる被写体よりも手前に被写体像被写体が存在している場合の画像合成処理について説明を行う。図５を参照して説明したように合成位置の基準となる被写体より手前の像は欠損を発生する可能性がある。本実施形態に対応する画像合成処理では、このような合成画像上での被写体像の欠損を防止することを可能とする。

本実施形態における撮像装置の構成は実施形態１における図１及び図２で示した構成と同様である。以下、図１２を参照して本実施形態における画像合成処理を説明する。図１２は本実施形態における画像合成処理を説明するための図である。

図１２（Ａ）は、図７（Ａ）と同様に撮像部１０１、１０２が移動する被写体１２０１を撮像している場面を上空から見た模式図である。図７と対応する構成については同一の参照番号を振っている。図１２（Ａ）において、被写体１２０１は、背景合成画像の基準となる静止した被写体７０２よりも、撮像装置１００に近距離において位置Ｔ１から位置Ｔ３へ移動している。 図１２（Ｂ）は、図１２（Ａ）の配置で撮像部１０１、１０２が被写体１２０１を撮像した画像の合成処理を示す模式図である。画像１２１１、１２１２、１２２１、１２２２は撮像部１０１、１０２が撮像した合成前の撮像画像（合成前画像）、画像１２１３、１２２３は合成後の撮像画像（合成画像）である。背景合成画像の基準となる被写体７０２で位置合わせを行い画像合成を行うため、合成画像１２２３では被写体像１２２６の像の一部が欠損することになる。また、被写体像１２２６は、合成前画像１２２１の被写体像１２２４に対応するが、合成前画像１２２２の被写体像１２２５に対応する被写体像は合成画像１２２３には含まれない。これは、被写体像１２２５が合成処理により削除される画像領域にのみ存在しているからである。

本実施形態における画像合成処理の流れは、図１０と同様である。Ｓ１００１において重複欠損判定部１５４は、合成画像に重複欠損が発生するかどうかを判定する。被写体１２０１が位置Ｔ１の時、重複欠損判定領域の外側にいるため、合成画像に被写体１２０１の重複は発生しない。処理はＳ１００７に進み、画像合成部１５２は、合成前画像１２１１と１２１２を合成して合成画像１２１３を生成すると、続くＳ１００８において、重複欠損判定領域を合成して得られた合成画像１２１３内の被写体像背景合成画像１２１９をメモリ１６０に記憶させる。続くＳ１００９において、画像合成を終了するか否かを判定し、終了しない場合処理はＳ１００１に戻る。画像合成を終了する場合は、本処理を終了する。図１２の例では被写体１２０１は位置Ｔ３に移動するので、処理は継続する。

Ｓ１００１に戻り、被写体１２０１が移動し、重複欠損判定領域内に入ると被写体１２０１は被写体像として検出される。さらに撮像画像１２２１、１２２２の両画像内で被写体像として検出されると同一被写体として判定されるが、被写体位置の算出により図１２（Ａ）の多重像発生領域７０６内に居ないことが分かるので、多重像は発生しないと判定される。続いて、重複欠損判定部１５４は、被写体像１２２４、１２２５が画像合成位置７１４を跨いだ位置にいるかを判定する。被写体１２０１が位置Ｔ３の時、被写体像１２２４は合成位置をまたぐため、合成後に欠損が発生すると判定される。被写体像１２２５は合成位置を跨がず、かつ、合成位置７１４よりも外側に位置するので合成画像１２２３上に発生しない像と判定される。

Ｓ１００１において欠損ありと判定されると、処理はＳ１００２に進み、被写体像検出部１５５は、撮像画像１２２１、１２２２から被写体像１２３１、１２３２を抽出し、形状情報を座標情報と共にメモリ１６０に記憶する。さらに、Ｓ１００３において被写体像検出部１５５は、被写体像１２３１を表示被写体像、被写体像１２３２を非表示被写体像に設定する。続くＳ１００４において、画像合成部１５２は、メモリ１６０に保持された表示被写体像１２３１の座標情報及び形状情報に基づき、表示被写体像に対応する画像１２３１を重複欠損判定領域から切り出す。続くＳ１００５において画像合成部１５２は、合成前画像１２２１と１２２２とを合成して合成画像１２２３を生成する。更に、続くＳ１００６において、画像合成部１５２は、合成画像１２２３の表示被写体像の座標上に被写体像１２３１を重畳させ、合成画像１２３３を得る。

以上のように、被写体の欠損の発生を判定し、被写体を選択して背景画像に重畳させることで、被写体像の欠損の発生を防ぐことが可能となる。

［実施形態４］
本実施形態では、合成する２つの画像上を被写体像が横断する場合の表示被写体の選択方法について説明する。本実施形態における撮像装置の構成は実施形態１における図１及び図２で示した構成と同様である。

図１３は、本実施形態に対応する表示被写体の選択方法を説明するための図である。図１３（Ａ）は、図１１（Ａ）に示すような、背景画像を合成する基準被写体７０２に対して、被写体像選択対象の被写体１１０１が撮像画角の奥側にいる場合の合成前画像及び合成画像を示す。図１３（Ｂ）は、図１２（Ａ）に示すような、背景画像を合成する基準被写体７０２に対して、選択対象の被写体１２０１が撮像画角の手前側にいる場合の合成前画像及び合成画像を示す。被写体像本実施形態では、被写体像が一定方向に移動していて多重像が発生すると判定した場合に、合成画像上における被写体像の表示が不連続とならないように、表示被写体像と非表示被写体像とを切り替える方法を説明する。

図１３（Ａ）は、合成前画像１３０１、１３０２を合成して合成画像１３０３を得る場合を示している。破線１３０４は合成位置を示し、被写体像１３０５は合成位置１３０４付近を移動している。被写体像１３０５は、合成前画像１３０１を左から右へ移動し、合成前画像１３０２へ移りさらに右方向へ移動していく。合成前画像１３０１及び１３０２において被写体像１３０５が示される位置は、時間Ｔ１からＴ５のそれぞれの時点での被写体像の位置である。撮像部１０１、１０２の配置位置による視差を生じるため、撮像画像１３０１と撮像画像１３０２とで、同一時刻であっても、被写体像１３０５が表示される位置が異なる。例えば、時間Ｔ３において、合成前画像１３０１では被写体像１３０５は合成位置１３０４上に位置しているが、合成前画像１３０２ではすでに合成位置１３０４を通過してしまっている。

被写体像１３０５は、合成画像１３０３において、合成位置１３０４に対応する画像の境界を跨いで移動する。このとき、合成画像１３０３の合成位置１３０４よりも左側の部分は合成前画像１３０１に対応し、合成位置１３０４よりも右側の部分は合成前画像１３０２に対応している。本実施形態では、この合成位置１３０４を基準として、合成画像上に表示する表示被写体像と、合成画像上に表示されない非表示被写体像とを切り替えることとする。具体的に、画像合成部１５２は、合成前画像１３０１における被写体像１３０５が合成位置１３０４に達したことを検知すると、合成前画像１３０２の被写体像１３０５を表示被写体像に切り替える。これによって、合成画像１３０３上に合成される被写体像１３０５は、時間Ｔ１、Ｔ２においては合成前画像１３０１の被写体像であり、時間Ｔ３以降で合成前画像１３０２の被写体像となる。ここでは、被写体像を切り替える位置を合成位置１３０４としたが、これに限定するものではなく、画像重複領域上の任意の位置に設定できる。

以上により、撮像画像の左側から移動してきた被写体がＴ１〜Ｔ５の位置へ順番に移動することになり、合成画像１３０３上に表示される被写体像１３０５の移動は違和感のない動作となる。

次に、図１３（Ｂ）は、合成前画像１３１１、１３１２を合成して合成画像１３１３を得る場合を示している。破線１３１４は合成位置を示し、被写体像１３１５は合成位置１３１４付近を移動している。被写体像被写体像１３１５は、合成前画像１３１１を左から右へ移動し、合成前画像１３１２へ移りさらに右方向へ移動していく。合成前画像１３１１及び１３１２において被写体像１３１５が示される位置は、時間Ｔ１からＴ５のそれぞれの時点での被写体像の位置である。被写体像１３１５は、合成画像１３１３においても、合成位置１３１４に対応する画像の境界を跨いで移動する。但し、図１２（Ａ）に示すように被写体１２０１は合成位置の基準被写体７０２よりも撮像装置に近い位置を移動するため、２つの合成前画像上に発生する位置がずれることになる。合成前画像１３１１で時間Ｔ３に合成位置１３１４をまたぐが、合成前画像１３１２では、時間Ｔ５で合成位置１３１４をまたぐことになる。このため、合成位置１３１４を基準として切り替えを行うと時間Ｔ４では被写体像１３１５が合成前画像上に存在するにも関わらず、合成画像上から一時的に消えてしまうことになる。

そこで、２つの画像を横断する被写体の場合、移動元の画像上の被写体像を切り出し、座標を変更して、合成画像上に重畳させる。ここでは一例として、被写体像のｘ座標は合成位置１３１４に固定し、被写体像のｙ座標のみを被写体像の移動に応じて変更する。例えば、画像合成部１５２は合成前画像１３１１における被写体像１３１５が、合成位置１３１４を跨いだことを検出すると、重複欠損判定領域内の被写体像１３１５を抽出し、メモリ１６０に保持する。画像合成部１５２は、メモリ１６０に保持した被写体像の座標情報を変更し、合成画像１３１３の合成位置１３１４上に重畳させる。

続いて合成前画像１３１２上で被写体像１３１５が合成位置１３１４に達したことを検出すると、合成位置１３１４上に表示する被写体像を合成前画像１３１２の被写体像１３１５に切り替える。これにより、合成画像１３１３上に合成される被写体像は、Ｔ１〜Ｔ５までが合成前画像１３１１の被写体像であり、Ｔ６以降で合成前画像１３１２の被写体像となる。

合成画像１３１３上を移動する被写体像の見え方としては、被写体１２０１は、時間Ｔ１〜Ｔ３で移動する被写体像として表示され、時間Ｔ３〜Ｔ５の期間で合成位置１３１４上にとどまり、時間Ｔ６から移動を再開するように振る舞うこととなる。

また、被写体像の座標を固定させる場合、合成位置１３１４の取り方によって変更してもよい。ここでは左右の２枚の画像を合成する場合を説明したが、例えば上下２枚を合成する場合は、表示被写体像のｙ座標を固定しｘ座標のみを変更してもよい。

以上により、合成位置を移動してまたぐ被写体であっても、被写体像が合成画像上を連続して移動するように表示することができる。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：撮像装置、１８０：情報処理装置

Claims (13)

1. 複数の撮像部を備える撮像装置であって、
   前記複数の撮像部のそれぞれは、隣接する撮像部と撮像画角の一部が重複するように配置され、
   前記複数の撮像部のそれぞれで撮像された画像を結合する合成処理を行って合成画像を生成する合成手段と、
   を備え、
   前記合成手段は、前記合成画像に同一の被写体の被写体像が重複して含まれることになる場合に、第１の被写体像のみが前記合成画像に含まれるようにするために、第２の被写体像の位置に対応する背景画像を用いて、前記合成画像から前記第２の被写体像を消去することを特徴とする撮像装置。
2. 前記合成手段は、前記第２の被写体像の位置に対応する背景画像を前記合成画像に重畳することにより、前記合成画像から前記第２の被写体像を消去することを特徴とする請求項１に記載の撮像装置。
3. 前記合成手段は、前記第２の被写体像の位置に対応する背景画像を前記第２の被写体像を含む前記撮像された画像に重畳し、前記背景画像が重畳された画像を用いて前記合成処理を行うことにより、前記合成画像から前記第２の被写体像を消去することを特徴とする請求項１に記載の撮像装置。
4. 前記合成手段は、
   前記合成画像において被写体像が重複して含まれ得る第１の領域を設定し、
   前記第１の領域に被写体像が含まれない合成画像における前記第１の領域の画像を前記背景画像とし、前記背景画像から得られた前記第２の被写体像の位置に対応する画像を前記合成画像から前記第２の被写体像を消去するために用いる
   ことを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
5. 前記合成手段は、前記第１の被写体像が欠損して前記合成画像に含まれることになる場合に、該被写体像を含む前記撮像された画像から得られる欠損していない被写体像を前記合成画像に更に重畳することを特徴とする請求項１から４のいずれか１項に記載の撮像装置。
6. 前記合成手段は、前記同一の被写体の被写体像が重複して含まれることになる場合に、それぞれの被写体像の欠損の度合い、または、前記合成画像における位置に応じて前記第１の被写体像と前記第２の被写体像とを決定することを特徴とする請求項１から５のいずれか１項に記載の撮像装置。
7. 前記合成手段は、前記欠損の度合いがより小さい被写体像を前記第１の被写体像とすることを特徴とする請求項６に記載の撮像装置。
8. 前記合成手段は、同一の被写体の被写体像が前記合成画像における結合された画像の境界をまたいで移動していく場合に、前記第１の被写体像と前記第２の被写体像とを前記境界を基準に切り替えることを特徴とする請求項１から７のいずれか１項に記載の撮像装置。
9. 前記画像の境界は、撮像された第１の画像と第２の画像とが結合された境界あって、前記被写体像が、前記合成画像における前記第１の画像が含まれる第１の部分から前記境界をまたいで前記第２の画像が含まれる第２の部分に移動する場合に、
   前記合成手段は、前記被写体像が前記第１の部分に対応する第１の画像に含まれる場合に、前記第１の画像における被写体像を前記第１の被写体像に決定し、前記被写体像が前記第２の部分に対応する第２の画像に含まれる場合に、前記第２の画像における被写体像を前記第１の被写体像に決定する
   ことを特徴とする請求項８に記載の撮像装置。
10. 前記合成手段は、前記被写体像が前記第１の部分に対応する第１の画像に含まれている間は、前記第１の画像における被写体像を前記第１の被写体像に決定することを特徴とする請求項９に記載の撮像装置。
11. 前記合成手段は、前記被写体像が前記第１の部分に対応する前記第１の画像に含まれなくなっても、前記被写体像が前記第２の部分に対応する前記第２の画像に含まれていない場合、前記第２の画像における被写体像を前記第１の被写体像に決定し、かつ、前記被写体像を前記境界の位置において前記合成画像に重畳することを特徴とする請求項９または１０に記載の撮像装置。
12. 隣接する撮像部と撮像画角の一部が重複するように配置された複数の撮像部を備える撮像装置の制御方法であって、
    前記複数の撮像部のそれぞれが、撮像を行って画像を生成する工程と、
    合成手段が、前記複数の撮像部のそれぞれで撮像された画像を結合する合成処理を行って合成画像を生成する合成工程と
    を含み、
    前記合成工程では、前記合成画像に同一の被写体の被写体像が重複して含まれることになる場合に、第１の被写体像のみが前記合成画像に含まれるようにするために、第２の被写体像の位置に対応する背景画像を用いて、前記合成画像から前記第２の被写体像が消去されることを特徴とする撮像装置の制御方法。
13. コンピュータを請求項１から１１のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。

Images