JP2019201324A

JP2019201324A - 撮像装置、情報処理装置、それらの制御方法、および、プログラム

Info

Publication number: JP2019201324A
Application number: JP2018094757A
Authority: JP
Inventors: 保章伊勢; Yasuaki Ise
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2018-05-16
Filing date: 2018-05-16
Publication date: 2019-11-21

Abstract

【課題】人数検出等の画像解析の対象となる合成画像について、合成領域における誤検出を防止可能とするための技術を提供する。【解決手段】複数の撮像部を備える撮像装置であって、前記複数の撮像部のそれぞれは、隣接する撮像部と撮像画角の一部が重複するように配置され、前記複数の撮像部のそれぞれで撮像された画像を結合する合成処理を行って合成画像を生成する合成手段と、前記合成画像を情報処理装置に送信する通信手段とを備え、前記通信手段は、前記合成画像において重複、欠損している被写体像に関する情報を合成情報として、前記合成画像と共に前記情報処理装置に送信する。【選択図】図１

Description

本発明は、撮像装置、情報処理装置、それらの制御方法、および、プログラムに関する。

広視野の画像を撮像可能な撮像装置として、レンズと撮像素子を複数配置し、得られた画像を合成することにより広視野を実現する撮像装置が提案されている（特許文献１を参照）。また、監視などの用途に使用される撮像装置においては、画像解析機能として設定領域内を通過した人物の有無の判定や、領域内の人数を数える人数検出機能が実装されることがある。

特開2006-229789号公報

特許文献１の撮像装置により得られた合成画像を用いて画像解析を行う場合、以下のような問題が発生する。

複数の撮像装置の配置構成により、被写体の位置によっては合成画像における画像の結合部に二重像が生じる領域と、欠損が生じる領域が発生する場合がある。よって、このような合成画像を画像解析して人数検出を行う場合、対象となる被写体が画像の合成領域を通過する際に不具合が生ずるおそれがある。具体的には、被写体の一部或いは全体が欠損することで検出できなくなる、或いは、重複することで人数を数え間違えるといったことが考えられ、誤検知の要因となっていた。

そこで本発明は、人数検出等の画像解析の対象となる合成画像について、合成領域における誤検出を防止可能とするための技術を提供する。

上記課題を解決するための本発明は、複数の撮像部を備える撮像装置であって、
前記複数の撮像部のそれぞれは、隣接する撮像部と撮像画角の一部が重複するように配置され、
前記複数の撮像部のそれぞれで撮像された画像を結合する合成処理を行って合成画像を生成する合成手段と、
前記合成画像を情報処理装置に送信する通信手段と
を備え、
前記通信手段は、前記合成画像において重複、欠損している被写体像に関する情報を合成情報として、前記合成画像と共に前記情報処理装置に送信することを特徴とする。

本発明によれば、人数検出等の画像解析の対象となる合成画像について、合成領域における誤検出を防止可能とするための技術を提供することができる。

発明の第１の実施形態に係る撮像装置の構成例を示す図、及び、当該撮像装置における撮像部の配置を説明するための図。発明の第１の実施形態に係る撮像装置１００及びクライアント装置１８０の機能構成及びハードウェア構成の例を示す図。発明の第１の実施形態に係る合成画像の一例を示す図、及び、被写体と撮像装置１００の各撮像部の撮像画角との関係を説明するための図。発明の第１の実施形態に対応する画像の合成処理の一例を示すフローチャート。発明の第１の実施形態に係る被写体像の重複欠損の発生について説明するための図。発明の第１の実施形態に係る画像合成情報を説明するための図。発明の第１の実施形態に係るクライアント装置１８０の行う処理の一例を示すフローチャート。発明の第１の実施形態に係るクライアント装置１８０での第２の解析領域の設定例を説明するための図。発明の第２の実施形態に係る撮像装置１００の機能構成例を示す図。発明の第２の実施形態に係る撮像装置１００の動作の一例を示すフローチャート。発明の第２の実施形態に係るクライアント装置１８０の動作の一例を示すフローチャート。発明の第２の実施形態に係る画像合成情報を説明するための図。発明の第２の実施形態に係る重複欠損判定処理１の一例を示すフローチャート。発明の第２の実施形態に係る重複欠損判定処理１を説明するための図。発明の第２の実施形態に係る重複欠損判定処理２の一例を示すフローチャート。発明の第２の実施形態に係る重複欠損判定処理２を説明するための図。

以下、発明の実施の形態を、添付の図面に基づいて詳細に説明する。

［実施形態１］
以下の実施形態では、複数の撮像部で撮像した画像を合成して得られる広角画像または広角動画像を生成可能な撮像装置に発明を適用した実施形態について説明する。

まず、図１（Ａ）は、本実施形態における撮像装置１００の構成を示す概略図である。図１（Ｂ）は、撮像装置１００内における各撮像部の配置を平面状に示した模式図である。図１（Ｂ）に示すように、本実施形態では撮像装置１００が８つの撮像部１０１〜１０８で構成される例を示す。撮像部１０１〜１０８のそれぞれはレンズ光学系と撮像素子を備えた撮像ユニットであり、撮像装置１００の中心に対して放射状に配置され３６０度の範囲を撮像可能とする。本実施形態では、８つの撮像部１０１〜１０８により、３６０度の範囲を網羅しているが、撮像部の数はこれに限定されるものではなく、また、撮像可能とする範囲は３６０度よりも狭くてもよい。例えば、撮像範囲は、設置上場所に応じて決定することができる。

各撮像部は撮像画角を有しており、図１（Ｂ）ではそれらを実線と点線とで交互に示している。例えば、撮像部１０１の撮像画角１２１と隣接した撮像部１０２の撮像画角１２２のように、それぞれ撮像画角の一部が重複する様に配置される。撮像装置１００は各撮像部で撮像した画像を合成し、最大３６０°の水平視野を持つ広角動画像を生成することができる。

次に、撮像装置１００及びクライアント装置１８０の機能構成及びハードウェア構成について図２を参照して説明する。図２（Ａ）は、発明の実施形態に対応する撮像装置１００及びクライアント装置１８０の機能構成例を示す概略図である。制御部１５０は、例えばＣＰＵ，ＭＰＵ、その他の専用演算回路などで構成することができ、撮像装置１００全体の制御を司る。メモリ１６０は不揮発性メモリとＲＡＭ等で構成される。不揮発性メモリは制御部１５０の処理手順（制御プログラム）や、各種パラメータを記憶する。ＲＡＭは制御部１５０のワークエリアとして使用され、画像処理を行うための記憶領域としても使用される。また、制御部１５０は、画像処理部１５１、画像合成部１５２、圧縮伸長部１５３を含むことができ、これらのブロックが有する処理機能は、例えば、ＣＰＵがメモリ１６０に記憶されている対応するプログラムを実行することにより実現することができる。あるいは、制御部１５０を構成する専用演算回路により実現されてもよい。

撮像部１０１〜１０８は、撮像素子１３１〜１３８およびレンズ光学系１１１〜１１８をそれぞれが含むユニット構成となっている。各撮像部は制御部１５０と接続して制御され、互いに同期した撮像が行われる。このような同期撮像により得られた撮像信号は後段の合成処理を経て１フレームの合成画像データを構成することとなる。そこで、これ以降、「フレームごと」という場合には、同期撮像により得られた撮像信号や、当該撮像信号から得られた画像データのことを意味するものである。撮像部１０１等から送信された撮像信号は制御部１５０において各種画像処理が施される。撮像素子１３１〜１３８は、ＣＭＯＳセンサ等により構成され、撮像面に結像された被写体像を電気信号に変換して出力する。撮像素子１３１等から出力された電気信号としての撮像信号は、制御部内の画像処理部１５１に入力される。

画像処理部１５１は、撮像信号に対して画素補間処理や色変換処理等の画像処理を行って、撮像部ごとの撮像画像データ（「撮像画像」、あるいは、合成処理の対象となる画像として「合成前画像」ともいう。）を生成する。当該画像処理には、例えば画素欠陥補正やレンズ補正などの各種補正処理、黒レベルやフォーカス、露出などの調整を行うための検波処理、デモザイク処理、ホワイトバランス処理、ホワイトバランス処理やガンマ補正処理、エッジ強調処理、ノイズ抑制処理などが含まれる。各撮像画像データはメモリ１６０に保存される。さらにメモリ１６０に保存された撮像部ごとの撮像画像データは、画像合成部１５２にてフレームごとに順次、画像合成され、広角の合成画像データとしてメモリ１６０に保存される。

制御部１５０はさらに、合成画像データを圧縮伸長部１５３にて圧縮して圧縮画像データを生成する。圧縮伸長部１５３は、静止画圧縮及び動画像圧縮を実行し、画像圧縮方式は、例えば、Ｈ．２６４、Ｈ．２６５、ＭＰＥＧまたはＪＰＥＧなどの規格に基づくことができる。さらに、ｍｐ４やａｖｉ形式などを含む任意の形式の画像データを生成しても良い。圧縮伸長部１５３において生成された圧縮画像データは、撮像装置１００に装着された不図示の記録媒体や内蔵メモリ等に記録されるとともに、通信部１７０からネットワーク１９０を介して外部の情報処理装置であるクライアント装置１８０に送信される。通信部１７０は、ネットワーク処理回路であり、圧縮された合成画像データを通信プロトコルに準拠した通信信号に変換した上で、ネットワーク１９０上へと配信する。

クライアント装置１８０は、典型的にはパーソナルコンピュータなどの情報処理装置であり、ネットワーク１９０を介して撮像装置１００と接続されている。クライアント装置１８０の制御部１８１は、ＣＰＵ，ＭＰＵ、その他の専用演算回路などで構成することができ、クライアント装置１８０全体の制御を司る。また、制御部１８１は、撮像装置１００から合成画像データを受信し、伸長処理を行うとともに、撮像装置１００をコントロールするための制御情報を送信することで各種制御を行う。画像解析部１８２は、撮像装置１００から受信した合成画像データの画像解析を行う。また、画像解析部１８２において伸長処理を行ってもよい。画像解析では、例えば合成画像データ内の特定の領域に存在する被写体を検出し人数のカウントを行う、被写体の動きを検出し所定の領域への侵入を検出する等の処理を行う。表示部１８３は、クライアント装置１８０の操作者へ画像解析結果や撮像装置１００から受信した合成画像データの表示を行う。通信部１８４は、ネットワーク処理回路であり、ネットワーク１９０を介して撮像装置１００と通信を行い、撮像装置１００が配信した合成画像データを受信するとともに、撮像装置１００の動作を制御することが可能である。

上述の撮像装置１００及びクライアント装置１８０のハードウェア構成の一例を図２（Ｂ）に示す。図２は、撮像装置１００及びクライアント装置１８０の、主に制御部や処理部に関わるハードウェア構成の一例を示すブロック図である。

図２（Ｂ）において、ＣＰＵ２１０は、ハードディスク装置（以下、ＨＤと呼ぶ）２１５に格納されているオペレーティングシステム（ＯＳ）や制御プログラム、処理プログラム等を実行して、発明の実施形態に対応する処理を実現する。さらには、インタフェース（Ｉ／Ｆ）２１８を介した外部の装置とのデータ送受信を制御する。ＣＰＵ２１０は、図２（Ａ）の制御部１５０や１８１として機能しえる。

ＲＯＭ２１１は、内部に基本Ｉ／Ｏプログラムの他、所定の処理を実行するアプリケーションプログラム等の各種データを記憶する。ＲＡＭ２１２は各種データを一時記憶し、ＣＰＵ２１０の主メモリ、ワークエリア等として機能する。外部記憶ドライブ２１３は、記録媒体へのアクセスを実現するための外部記憶ドライブであり、メディア（記録媒体）２１４に記憶されたプログラム等を本コンピュータシステムにロードすることができる。ハードディスク装置２１５は、本実施形態では大容量メモリとして機能するＨＤ（ハードディスク）を用いている。ＨＤ２１５には、アプリケーションプログラム、ＯＳ、制御プログラム、関連プログラム等が格納される。なお、ハードディスクの代わりに、フラッシュ（登録商標）メモリ等の不揮発性記憶装置を用いても良い。これらのＲＯＭ、ＲＡＭ、ＨＤ等は、図２（Ａ）のメモリ１６０として機能しえる。

指示入力装置２１６は、キーボードやポインティングデバイス（マウス等）、タッチパネル等がこれに相当する。出力装置２１７は、指示入力装置２１６から入力されたコマンドや、それに対するクライアント装置１８０の応答出力等を出力する。出力装置２１７にはディスプレイ、スピーカ、ヘッドフォン端子等を含むことができる。図２（Ａ）の表示部１８３に対応する。システムバス２１９は、装置内のデータの流れを司る。

インタフェース（以下、Ｉ／Ｆという）２１８は、外部装置とのデータのやり取りを仲介する役割を果たす。具体的に、Ｉ／Ｆ２１８は、無線通信モジュールを含むことができ、当該モジュールはアンテナシステム、ＲＦ送受信器、１つ以上の増幅器、同調器、１つ以上の発振器、デジタル信号プロセッサ、ＣＯＤＥＣチップセット、加入者識別モジュールカード、メモリなどを含む、周知の回路機構を含むことができる。また、有線接続のための有線通信モジュールを含むことができる。有線通信モジュールは１つ以上の外部ポートを介して他のデバイスとの通信を可能とする。また、データを処理する様々なソフトウェアコンポーネントを含むことができる。外部ポートは、イーサーネット、ＵＳＢやＩＥＥＥ１３９４等を介して、直接的に、又はネットワークを介して間接的に他のデバイスと結合する。尚、以上の各装置と同等の機能を実現するソフトウェアにより、ハードウェア装置の代替として構成することもできる。当該インタフェース２１８は、図２（Ａ）の通信部１７０や１８４として機能しえる。

次に、図３及び図４を参照しながら、本実施形態における画像の合成処理について説明を行う。以下では、特に広角動画像を生成する場合について説明する。図３は、発明の実施形態に対応する被写体と撮像装置１００の各撮像部の撮像画角との関係を説明するための図である。図３（Ａ）は、撮像部１０１から１０４で撮像された各撮像画像を結合して得られた合成画像３００の一例を示す。図３（Ｂ）は、合成画像３００のような合成画像を得るために実行する撮像部１０１から１０４で撮像された各撮像画像の画像合成処理を説明するための図である。図３（Ｂ）において、破線１２１〜１２４は、図１（Ａ）の撮像部１０１〜１０４の撮像画角１２１〜１２４に対応する。ここに示すように各撮像部の撮像画角は、一部において互いに重複するように設定されている。

各撮像部で撮像された画像を結合する場合、撮像部の配置によっては隣接する撮像部で視差が存在するため、撮像画角の重複する画像領域（画像重複領域）において、フレームごとに合成する画像の合成位置調整が必要となる。合成位置調整は、画像重複領域における同一被写体像が重なる様に行われる。図３（Ｂ）に示す例において、網掛け領域３０１〜３０３が画像重複領域となる。画像重複領域は、撮像装置１００の設置時に、被写体距離に応じて撮像画角を設定することで任意に設定できる。また、画像重複領域は被写体に応じて適宜変更可能に構成しても構わない。撮像装置１００は、各撮像部からの撮像画像を合成し、合成画像３００を得る。ここでは、４枚の撮像画像を合成しているが、同期して撮像されたすべての撮像画像、図１に示す撮像装置１００の場合には８枚を合成して１枚の合成画像としてもよいし、あるいは、撮像画像のサブグループ単位に合成を行って複数の合成画像を生成してもよい。例えば、４枚ずつのサブグループについて合計２枚の合成画像を生成してもよい。更に、合成枚数はこれらに限定されるものではない。

次に、図４を参照して本実施形態における画像の合成処理を説明する。図４は、発明の実施形態に対応する画像の合成処理の一例を示すフローチャートである。該フローチャートに対応する処理は、例えば、制御部１５０として機能する１以上のプロセッサ（制御部１５０のＣＰＵ、ＭＰＵ）が対応するプログラム（メモリ１６０等に格納）を実行することにより実現できる。

まず、Ｓ４０１において制御部１５０は、撮像部１０１〜１０８の各撮像素子に対して撮像指示を行う。各撮像素子は制御部１５０からの撮像指示に基づき撮像動作を行い、各撮像部から出力された撮像信号は、メモリ１６０のＲＡＭに記憶される。撮像部から受信した撮像信号は、画像処理部１５１にて画素補間処理や色変換処理等の所定の画像処理を行って撮像画像データとして再度メモリへ保持される。

続くＳ４０２において、制御部１５０はメモリ１６０に記憶された撮像画像データから画像重複領域に該当する部分画像データを選択し、画像合成部１５２に供給する。続くＳ４０３において、画像合成部１５２が合成位置の調整を行う。画像合成部１５２は合成を行う２つの画像間で、それぞれの画像重複領域の画像データ内の同一被写体を検出し、合成前画像で検出した同一被写体の位置が一致する様に、合成するための位置補正パラメータを算出する。位置補正パラメータには、各撮像画像データの拡大、縮小、歪曲補正等の変形処理を行うパラメータや、補正処理後の撮像画像データからの画像切り出し等を行うためのパラメータが含まれる。同一被写体の検出には、例えば、背景差分等でエッジ検出を行い被写体の輪郭形状を抽出する、或いは動きベクトルの抽出や、色画素情報と併せて判定することで同一被写体であるかを判定できる。なお、Ｓ４０２及びＳ４０３の処理は、画像合成部１５２がまとめて実行してもよい。

続くＳ４０４において、画像合成部１５２は、各撮像部から得られた撮像画像データを結合して合成画像データを生成する合成処理を行う。算出した補正パラメータに基づき、各撮像画像データに合成位置の補正処理を行い、フレームごとに合成を行う。その後、適切な変倍処理を行い、指定の画角サイズに切り出しを行い、広角の合成画像データを生成する。生成した合成画像データは、画像合成部１５２が行った画像合成処理に関する情報（画像合成情報）と共にメモリ１６０に保存される。続くＳ４０５において、圧縮伸長部１５３は合成された合成画像データを順次圧縮処理して、動画像データとして通信部１７０に出力する。このとき、動画像データには、画像合成部１５２が生成した画像合成情報が付加される。画像合成情報の詳細は後述する。続くＳ４０６において、通信部１７０は、動画像データを所定のプロトコルに基づきネットワーク１９０を経由してクライアント装置１８０に配信する。

次に、図５を参照して、画像合成部１５２の画像合成処理における被写体像の重複、欠損の発生について説明する。まず、図５（Ａ）は、撮像装置１００の撮像画角と被写体位置との関係を説明するための図である。ここでは、撮像部１０１と撮像部１０２との関係を示しているが、これはあくまで一例を示すために他の撮像部を省略しているだけであって、他の撮像部についても同様の関係が成立しえる。撮像装置１００の各撮像部１０１及び１０２は、設置位置が異なるため、撮像画角と光軸中心の位置が一致しない。このため、被写体の位置によってはこれらの撮像部の撮像画角に入らないことがある。被写体５０１〜５０３は、撮像装置１００からの距離が異なる被写体である。被写体５０１、５０２は、撮像画角１２１と１２２に入る被写体であるが、被写体５０３の位置ではいずれの撮像画角からも外れることになる。

図５（Ｂ）、図５（Ｃ）は図５（Ａ）の被写体を撮像した各撮像部の画像データと、合成後の合成画像の一例を示す。まず、図５（Ｂ）の例では、画像データ５１１と画像データ５１２とを合成して合成画像５１３を得る。また、図５（Ｃ）の例では、撮像画像５１１と撮像画像５１２を合成して合成画像５１４を得る。合成画像５１３と合成画像５１４とでは、合成位置が互いに異なっている。図５（Ｂ）に示す合成画像５１３は、被写体５０１に対して位置合わせを行っており、被写体５０１は像全体が良好に合成画像内に納まっている。しかしながら、被写体５０２は合成画像５１３内に２つの像（多重像）として発生してしまう。

図５（Ｃ）に示す合成画像５１４は、被写体５０２に対して位置合わせを行っており、被写体５０２は像全体が良好に合成画像内に納まっている。しかし、被写体５０１は像の一部領域が欠損した状態で合成されてしまい、元の被写体５０１を判別するのが困難な状態になっている。

以上の様に、被写体の位置と合成位置の関係に応じて、合成画像内の被写体像に欠損、或いは重複を生じてしまう。これによって、合成画像を受信したクライアント装置は画像解析を行う際に誤検知することになる。そこで、本実施形態に対応する撮像装置１００は、クライアント装置１８０での誤検知を防ぐために、画像合成情報として、画像の結合位置の情報を合成画像に付加して配信を行う。以降、多重像の誤検知を防ぐための画像合成情報の付加について説明を行う。

図６は、発明の実施形態に対応する画像合成情報について説明するための図である。本実施形態では、画像合成情報として、合成位置を示す情報（合成位置情報）をクライアント装置１８０に対して通知する場合を説明する。図６（Ａ）に示す合成画像６０１は、クライアント装置１８０へ配信する合成済みの画像の少なくとも一部分を表している。破線６０２、６０３は、合成時の画像の結合位置を示している。そして、画像合成情報を、例えば、図６（Ａ）のように結合位置６０２、６０３で示す画像合成を行った境界線上の２点（Ａ−Ａ'）の座標情報として表現され、合成画像とともにクライアント装置１８０に提供することができる。

また、図６（Ｂ）に示すように、画像合成情報を、画像境界を含む領域として表現してもよい。例えば、合成画像６１０における画像合成領域６１１、６１２のように複数の点から成る多角形としてクライアント装置１８０に画像合成情報を送信することもできる。このとき、画像合成情報は、例えば点Ａ〜Ｄの座標情報であり各座標を結ぶ曲線または領域としてクライアント装置へ通知される。座標の数は４つに限定するものではなく任意の数に設定できる。

また、図６（Ｃ）に示すように、合成位置を中心とした複数の領域の組み合わせとしてクライアント装置１８０に画像合成情報を送信することもできる。例えば、画像６２０の下辺から上辺に向かって奥行のある被写体の場合、位置合わせした被写体より手前に欠損領域が発生し、位置合わせした被写体より後ろに多重像が発生する場合が考えられる。このとき、領域６２１を重複する被写体を含む多重像の発生領域、領域６２２を被写体の欠損が生じている可能性の高い欠損領域として通知することができる。多重像の発生する領域と像欠損の発生する領域は、合成時に位置合わせを行う被写体の距離に応じて変わるため、設置時の環境や、注視している被写体に応じて適宜変更してもよい。

次に、クライアント装置１８０が受信する画像データと画像合成情報について説明を行う。図７は、発明の実施形態に対応するクライアント装置１８０の行う処理の一例を示すフローチャートである。該フローチャートに対応する処理は、例えば、制御部１８１及び画像解析部１８２として機能する１以上のプロセッサ（ＣＰＵ、ＭＰＵ）が対応するプログラムを実行することにより実現できる。

まず、Ｓ７０１においてクライアント装置１８０の制御部１８１は、通信部１８４を介して動画像データを受信すると、伸長処理を行って、合成画像データを復元する。続くＳ７０２において、クライアント装置１８０の制御部１８１は、Ｓ７０１において得られた合成画像データを表示部１８３に表示する。続くＳ７０３においてクライアント装置１８０の制御部１８１は、得られた合成画像データに画像合成情報が付加されているかどうかを判定する。画像合成情報が無い場合、処理はＳ７０６へ進み、受信した合成画像データをクライアント装置１８０内の画像解析部１８２で解析し、続くＳ７０６で、解析結果を表示部１８３において、すでに表示されている画像データに重畳表示する。一方、画像合成情報が付加されている場合、処理は４に進む。Ｓ７０４において制御部１８１は、受信データから抽出した画像合成情報に基づいて、画像合成領域を指定する情報が含まれている場合には、当該画像合成領域を本実施形態特有の解析領域（第２の解析領域）に設定する。また、画像合成情報に画像結合の境界線の情報が含まれている場合には、境界線に基づいて第２の解析領域を設定する。第２の解析領域とは、合成画像データのうち画像合成の影響を受けずに解析処理を行うことが可能な領域を第１の解析領域とした場合に、第１の解析領域とは異なる解析処理を適用する対象となる領域を表す。

続くＳ７０５では、制御部１８１は、設定した第２の解析領域をユーザへ通知するための標識（枠表示やマーカ表示等）を、すでに表示されている合成画像データに重畳して表示部１８３に表示する。その後、Ｓ７０６において、第１の解析領域について画像解析部１８２が解析を行い、例えば、合成画像に含まれる領域に存在する人物の人数をカウントする。続くＳ７０７において、制御部１８１は、Ｓ７０６における解析結果、例えば、カウントされた人数を表示部１８３に表示する。

図８はクライアント装置１８０での第２の解析領域の設定例を説明するための図である。図８（Ａ）の破線８０１は画像の結合位置（結合された画像の境界線）を示している。領域８０２は、第２の解析領域を示している。破線８０１及び、領域８０２は、クライアント装置１８０のユーザに視認可能となるように画像上に重畳表示してもよい。図８（Ｂ）は、第２の解析領域を被写体が横切る場合の一例を示す。図示の被写体８１１から８１３は、合成画像において時間の経過に応じて被写体８１１で示す位置から被写体８１３で示す位置にまで移動する。ここで、クライアント装置１８０は、領域８１０を第２の解析領域として設定している。本実施形態では、第２の解析領域の内側と、第２の解析領域の外側の第１の解析領域とで、実施する解析処理を異ならせる。具体的に、第２の解析領域８１０の内側では、画像合成の結合位置付近で被写体形状が崩れる可能性があるため、被写体形状を判定条件から除外する処理を行う。例えば、第１の解析領域においては、被写体の形状、色（輪郭内の色）、及び、動き（動きベクトル）という３種類の情報を用いて被写体を追尾する。これに対し、第２の解析領域内では、画像合成の境界線で被写体形状が崩れる可能性があるため、被写体形状を判定条件から外し、色と動きベクトルのみを用いて追尾様に制御方法を変更することができる。

以上に示したように、本実施形態では、合成画像において重複している被写体、及び、欠損している被写体に関する画像合成情報をクライアント装置１８０に通知することにより、クライアント装置で画像解析の誤検知を起こす可能性を低くすることができる。

［実施形態２］
次に、発明の第２の実施形態に対応する画像合成情報の生成方法を説明する。当該方法は、上述の発明の第１の実施形態にさらに追加して行うことが可能である。まず、図９は、本実施形態に対応する撮像装置１００及びクライアント装置１８０の機能構成例を示すブロック図である。図２（Ａ）と同じ構成については省略し、差分についてのみ説明を行う。

本実施形態に対応する撮像装置１００の制御部１５０は、図２（Ａ）の構成に加えて重複欠損判定部９０１を備える。重複欠損判定部９０１は、合成前後の画像を比較し、被写体像の重複及び欠損を判定する。その他の構成については図２（Ａ）と同様である。また、クライアント装置のハードウェア構成は図２（Ｂ）に示したものと同じである。

図１０を参照して、本実施形態における重複欠損判定処理について説明する。図１０は、発明の実施形態に対応する撮像装置１００の重複欠損判定の一例を示すフローチャートである。該フローチャートに対応する処理は、例えば、制御部１５０として機能する１以上のプロセッサ（制御部１５０のＣＰＵ、ＭＰＵ）が対応するプログラム（メモリ１６０等に格納）を実行することにより実現できる。

まず、Ｓ１００１において、制御部１５０は、撮像装置１００が撮像を行ってメモリ１６０に保存した撮像画像データを選択し、画像合成部１５２が、画像合成処理により撮像画像データを結合し、合成画像データを生成する。生成された合成画像データはメモリ１６０に保存される。続くＳ１００２において、重複欠損判定部９０１は、合成画像に被写体の重複、欠損が発生しているか否かを判定する。当該判定処理の詳細については、図１３から図１６を参照して後述する。被写体像の重複、欠損が発生していると判定された場合、処理はＳ１００３に進む。重複、欠損が発生していない場合には、処理はＳ１００４に進む。Ｓ１００３では、Ｓ１００２における判定結果に従い画像合成部１５２が画像合成情報を生成する。続くＳ１００４において、通信部１７０が画像データと共に画像合成情報をネットワーク１９０を介してクライアント装置１８０に配信する。

次に、図１１を参照してクライアント装置１８０側の動作について説明する。図１１は、発明の実施形態２に対応するクライアント装置１８０の行う処理の一例を示すフローチャートである。該フローチャートに対応する処理は、例えば、制御部１８１及び画像解析部１８２として機能する１以上のプロセッサ（ＣＰＵ、ＭＰＵ）が対応するプログラムを実行することにより実現できる。

まず、Ｓ１１０１でクライアント装置１８０の制御部１８１は、通信部１８４を介して合成画像データを受信すると、伸長処理を行って、合成画像データを復元する。続くＳ１１０２において、クライアント装置１８０の制御部１８１は、Ｓ１１０１において得られた合成画像データを表示部１８３に表示する。続くＳ１１０３において、制御部１８１は、得られた合成画像データに画像合成情報が付加されているかどうかを判定する。画像合成情報が無い場合、処理はＳ１１０６へ進み、受信した合成画像データをクライアント装置１８０内の画像解析部１８２で解析し、続くＳ１１０７で、解析結果を表示部１８３において、すでに表示されている画像データに重畳表示する。一方、受信データに画像合成情報が付加されている場合、処理はＳ１１０４に進む。

Ｓ１１０４でクライアント装置１８０の制御部１８１は、受信データから抽出した画像合成情報に基づいて画像解析を行い、受信した合成画像における重複または欠損している被写体像、あるいは、画像領域を特定する。続くＳ１１０５では、制御部１８１は、設定した重複、欠損が発生した箇所をユーザへ通知するための標識（枠表示やマーカ表示等）を、すでに表示されている合成画像データに重畳して表示部１８３に表示する。その後、Ｓ１１０６において、合成画像データについて画像解析部１８２が解析を行い、例えば、合成画像に含まれる人物の人数をカウントする。続くＳ１１０７において、制御部１８１は、Ｓ１１０６における解析結果、例えば、カウントされた人数を表示部１８３に表示する。

次に、図１２を参照して撮像装置１００において合成画像データに付加される重複・欠損の情報を含む画像合成情報のデータ構造の一例を説明する。図１２（Ａ）は撮像装置１００が生成した合成画像１２００の一例を示す。図１２（Ｂ）は撮像装置１００が合成画像１２００に付加して送信する画像合成情報１２１０のデータ構造の一例を示す。

図１２（Ａ）の合成画像１２００上で合成位置１２０１が破線で示されている。当該合成位置１２０１の合成画像１２００上における位置は、図１２（Ｂ）の画像合成情報１２１０の合成位置１２１１で規定されている。合成位置１２１１に示すように、合成位置は（ｘ０、ｙ０）〜（ｘｎ、ｙｎ）までの複数の座標で表すことができる。各座標を結ぶ曲線が各撮像部で撮像した画像を合成した際の結合位置（結合された画像の境界線）を示す。

重複・欠損フラグ１２１２は、被写体像の多重像又は欠損の発生有無を通知するためのフラグ情報である。フラグ情報は例えば２ビットで表現することができ、１ビット目で重複の有無、２ビット目で欠損の有無を表すことができる。具体的に「１１」であれば、重複、欠損がともに存在することを表す。「０１」は重複のみ、「１０」は欠損のみを表し、「００」は重複、欠損が生じていないことを示す。重複・欠損フラグ１２１２は、合成位置１２１１との関連で発生した重複や欠損の有無を示すフラグ情報であり、合成画像データの他の合成位置において発生している重複や欠損の有無は、その合成位置との関連で登録される。

画像合成情報１２１０には、重複・欠損フラグ１２１２が「００」でない場合、重複、欠損している被写体像を特定するための被写体情報と位置情報がさらに追加される。対象１２１３は、重複、欠損が発生している被写体を識別するための識別情報である。当該識別情報は、同一の被写体を一意に特定可能な情報であれば、どのような情報でもよい。本実施形態では、個々の被写体に対してＡ、Ｂというようにアルファベットを割り当てて識別する。

各被写体の画像における位置は、Ａ１、Ａ２、Ｂ１及びＢ２等の被写体情報１２１４から１２１７に含まれる、合成画像データ上における各被写体像の位置及び大きさを特定する情報により特定される。具体的に被写体像の重複・欠損が発生した被写体は、例えば、被写体像の中心位置と大きさを表す情報に基づき座標（ｘ、ｙ、ｒ）と表現することができる。ｘ、ｙは被写体座標、ｒは当該被写体座標を中心とした半径ｒの円で被写体の概寸を示す。被写体座標は必ずしも被写体の中心である必要はない。クライアント装置１８０側で、当該被写体像が判別できればよく、対象となる被写体の輪郭内の点であれば構わない。また、クライアント装置１８０側で背景差分情報から被写体の輪郭を抽出する際に、撮像装置１００から送信した被写体座標が輪郭内に含まれていれば認識できる。

画像合成情報１２１０において、被写体Ａ１、Ａ２は同一の被写体Ａの被写体像であることを示している。被写体の数に特に制限はなく、重複・欠損の発生した被写体の数だけ情報を用意するのが好ましい。被写体Ａ１、Ａ２は１組のデータで扱われる。左右２枚の画像を合成する場合に、左をＡ１、右をＡ２の様に位置関係を示してもよい。または、合成後の被写体の状態を判定し、Ａ１を主被写体、Ａ２を副被写体として優先順位を付けてもよい。

また、主被写体、副被写体の情報は、座標情報に組み込んでもよい。例えば、座標（ｘ、ｙ、ｒ）に優先順位を表すビットｐ（１ビット）を追加して、（ｘ、ｙ、ｒ、ｐ）として表現することができる。ｐの値は、０において主被写体を表し、１において副被写体を表すことができる。

なお、図１２（Ｂ）は、図１２（Ａ）の合成位置１２０１との関連で登録された画像合成情報の一例を示すものであって、合成画像データが複数の合成位置を有する場合には、図１２（Ｂ）に示したような情報のセットがそれぞれの合成位置について登録される。また、画像合成情報は、被写体像の重複、欠損が発生した場合に生成することができ、１フレーム単位で生成することができる。さらに、撮像部１０１から１０８において同期して撮像された撮像画像データから、サブグループ単位に合成が行われ複数の合成画像データが生成される場合、合成画像データごとに画像合成情報が生成される。

図１２（Ａ）の被写体１２０２、１２０３の例では、像全体が判る被写体１２０２を主被写体Ａ１とし、像の一部が欠けてしまっている被写体１２０３を副被写体Ａ２として、クライアント装置に送信することができる。このように優先順位をつけることで、画像合成情報１２１０を受信したクライアント装置１８０が画像解析を行う際に検出精度を上げることが可能となる。

図１２（Ｃ）、（Ｄ）は、クライアント装置１８０側に備える表示部１８３に表示された画像の一例を示す。図１２（Ｃ）の被写体１２２１と１２２２は重複（多重像）の関係であり、受信した画像合成情報１２１０内に被写体１２２１が主被写体Ａ１であり、被写体１２２２が副被写体Ａ２としてユーザから判別可能に表示されている。このように、クライアント装置１８０の表示においては、重複、欠損の生じている被写体像について、優先順位に対応した態様でマーカー等の標識を重畳表示することができる。このとき、表示する標識の色や形状などによって優先順位の識別を可能にできる。図１２（Ｄ）の被写体１２３１は、画像上から欠損した状態を示す。よって、このとき被写体１２３２が主被写体Ａ１となる。

以下、例えばクライアント装置１８０が被写体の数量カウントを行う画像解析機能を実行する場合について示す。クライアント装置１８０は、撮像装置１００から取得した画像合成情報に被写体が二重に発生していることが示されていること検知すると、最も優先順位の高い被写体像のみをカウント対象に含め、それ以外の被写体像はカウント対象から除外する。例えば、図１２（Ｃ）の副被写体の被写体１２２２をカウントの対象から除外する。さらにクライアント装置１８０は、撮像装置１００からの画像合成情報を基に多重像に対して優先関係を含めた情報表示を行う。一例として破線で対象となる被写体を囲んでいるが、表示方法はこれに限らない。被写体の色を変えて表示する、矢印等のマーカー表示を重ねる等、種々の表現方法が適用できる。破線１２０１は、画像合成時の境界線である。ユーザから目視可能な形で提示してもよいし、表示、非表示を切り替え可能に構成してもよい。

次に、図１３及び図１４を参照して、図１０のＳ１００２における、重複欠損判定部９０１による被写体像の重複欠損判定方法の具体例を説明する。

図１３は、重複欠損判定処理の一具体例を示すフローチャートである。Ｓ１３０１において、撮像装置１００の画像合成部１５２は、合成前の撮像画像データ（合成前画像）に対して重複欠損を判定するための判定領域を設定し、設定した判定領域内に存在する被写体像を抽出する。続くＳ１３０２において、重複欠損判定部９０１は、これから合成する合成前画像間で、Ｓ１３０１でそれぞれ検出された被写体像が同一被写体のものであるか否かを判定する。同一被写体かどうかは、例えば、被写体形状、被写体の色、動きベクトルに基づいて判定することができる。

続くＳ１３０３において、重複欠損判定部９０１は、合成前画像間で同一被写体の被写体像と認定された被写体像が、重複欠損が発生する関係にあるかどうかを判定する。重複・欠損は、撮像画角内における被写体の位置及び距離に応じて発生する。したがって、被写体が撮像画角内の特定の位置、距離に存在しているかどうかに基づいて、合成後に被写体像の重複・欠損が発生するかどうかを判定することができる。本実施形態においては撮像部の配置と撮像画角は既知の情報であるため、撮像画角内の被写体の位置と距離を２枚の合成前画像上における各被写体像の座標により特定することができる。よって、被写体像が各合成前画像のどこに位置しているかによって、合成後に重複、欠損が発生するかどうかを判定することが可能となる。

被写体の位置及び距離の判別方法は上記に限らない。例えば撮像装置１００が、撮像素子上に結像する被写体像の位相差を検出可能な撮像素子を備えた場合、撮像素子に結像した被写体像から被写体距離を算出することが可能である。また、一般的なコントラストＡＦ（オートフォーカス）動作の様に、被写体像の結像するコントラスト値から被写体距離を検出する方法をとってもよい。

次に図１４を参照して、上記判定処理をより具体的に説明する。図１４（Ａ）は、撮像部１０１、１０２が被写体１４０１を撮像している場面を上空から見た模式図である。被写体１４０１が位置Ｔ１〜Ｔ３へ順次移動していく場合を想定している。被写体１４０２は撮像装置１００の設置時から撮像環境に存在する被写体である。画像合成部１５２は、被写体１４０２を基準に合成位置の調整を行う。破線１４０３、１４０４は撮像装置１００の合成画像において、画像の重複・欠損なく合成可能な被写体距離を概念的に示す。被写体１４０１は、撮像装置１００に対して被写体１４０２よりも遠い位置を横切ることになる。領域１４０５、１４０６、１４０７はそれぞれ撮像部１０１、１０２の撮像画角で互いに重複している領域である。このうち、領域１４０６内に存在する被写体は、合成画像データにおいて被写体像が重複して存在することになる。

図１４（Ｂ）は、図１４（Ａ）の状況下での合成前画像と合成画像とを、位置Ｔ１からＴ３について示す。まず、画像１４１１、１４１２、１４２１、１４２２、１４３１、１４３２はそれぞれ撮像部１０１及び１０２がそれぞれ撮像した合成前画像である。画像１４１３、１４２３、１４３３は合成後の合成画像である。領域１４１４及び１４１５は、画像１４１１に設定された判定領域であり、領域１４１６及び１４１７は画像１４１２に設定された判定領域である。判定領域は、画像１４２１、１４２２、１４３１及び１４３２にもそれぞれ同様に設定される。ここで、判定領域のうち、領域１４１５及び１４１６は合成後の画像に含まれない第１の領域に該当し、領域１４１４及び１４１７は合成後の画像に含まれる第２の領域に該当する。また、第１の領域と第２の領域との境界を破線１４４１と破線１４４２とで示しているが、これらが画像合成する際の結合部となる。

具体的に、被写体１４０１が位置Ｔ１の時、判定領域の外側にいるため、合成画像に被写体の重複は発生しない。被写体１４０１が位置Ｔ２の場合、判定領域の内側、具体的には領域１４１４及び領域１４１６に入るため、重複欠損判定部９０１は撮像画像１４２１、１４２２の重複欠損判定領域内の被写体像を探索し、同一被写体の被写体像を抽出する。続いて、重複欠損判定部は２つの画像の視差情報（２枚の合成前画像上における座標）から被写体１４０１の存在する空間位置を算出し、重複欠損が発生するかを判定する。図１４（Ｂ）に示す例では、被写体１４０１の被写体像は、画像１４２１においては領域１４１４に含まれるが、画像１４２２においては領域１４１６に含まれている。ここで領域１４１６は合成画像データには含まれない第１の領域ゆえ、合成画像データにおいて重複は発生しないと判定できる。また、画像１４２１の被写体１４０１の被写体像は、第１の領域に属していないため、欠損も生じないと判定することができる。画像１４２２の被写体１４０１の被写体像は、第１の領域のみに属しており、合成画像データからは完全に削除されてしまう。よって、合成画像データ１４２３では、画像１４２１側の被写体像１４２４のみが含まれる。

次に、被写体１４０１が位置Ｔ３の場合、重複欠損判定部９０１は被写体１４０１が、画像１４３１において第１の領域１４１５と第２の領域１４１４との両方に属するように位置していると判定する。この場合、被写体像のうち第１の領域１４１５に属する部分は合成画像データにおいて削除されてしまうため、欠損が生ずると判定することができる。また、画像１４３１と１４３２のそれぞれにおいて、被写体像が第２の領域１４１４及び１４１７に存在するため、重複が発生していると判定することができる。このとき、画像１４３２側の被写体像は第２の領域１４１７にのみ属しているため欠損は生じず、全体像が残る。合成画像データ１４３３では、一部が欠損した被写体像１４３４と、全体像が残った被写体像１４３５が含まれる。このような場合、画像合成部１５２は、被写体像１４３４を副被写体、被写体像１４３５を主被写体に決定することができる。

このように、図１３及び図１４との関連で説明した方法によれば、第１の領域及び第２の領域を含む判定領域を合成前画像にそれぞれ設定し、被写体像の少なくとも一部が第１の領域に属する場合は欠損が生ずると判定することができる。また、合成対象の合成前画像のそれぞれから抽出された被写体画像（部分的であってもよい）が、共に第２の領域に属している場合には、合成後において被写体像の重複が発生すると判定することができる。

次に、図１５及び図１６を参照して、図１０のＳ１００２における、重複欠損判定部９０１による被写体像の重複欠損判定方法の他の具体例を説明する。

図１５は、重複欠損判定処理の一具体例を示すフローチャートである。Ｓ１５０１において、撮像装置１００の重複欠損判定部９０１は、合成前画像と合成画像に対して重複欠損を判定するための判定領域をそれぞれ設定し、判定領域内で被写体像の検出を行う。続くＳ１５０２において重複欠損判定部９０１は、判定領域内に入った被写体像の検出数が増減するかを判定する。これは判定領域への被写体像の入出力数と、判定領域内の被写体像の数を比較して行う。判定領域内の被写体像の数が判定領域への入出力数を上回った場合、被写体像の重複（多重像）が発生したと判定する。一方で、判定領域内の被写体像の数が判定領域への入出力数を下回った場合、欠損が発生したと判定する。

続くＳ１５０３において重複欠損判定部９０１は、合成前画像と合成画像とを比較し、被写体像に変化があるかどうか判定する。被写体像に変化がある場合、欠損が発生したと判定することができる。Ｓ１５０２では、被写体像の数のみに基づいて判定しているため、一部欠損している被写体像があっても、検出数は相違しないことが考えられる。そこで、Ｓ１５０２で動体像の数が一致した場合でも、合成前後の被写体像の変化が生じているかどうか、特に被写体像の形状に変化が生じているかどうかを判定し、変化している場合には、欠損が発生したと判定する。被写体像の一部が欠損した場合、合成画像上の被写体像では形状を判定することが難しい。このため、合成画像上の被写体像に対応する合成前画像の被写体像とで形状が一致しているかどうかを判定している。合成前画像と合成画像との比較は、メモリ１６０に保持した合成前画像と合成画像との間で行うことが好ましいが、被写体像の動きが小さい場合は合成画像と１フレーム後の合成前画像を比較しても構わない。これによってメモリ１６０の容量を削減できる。

続くＳ１５０４において、重複欠損判定部９０１は、上記判定結果に基づいて、重複、欠損が検出された被写体像について、合成画像内における座標情報を生成する。このとき、被写体像の重複が発生している場合、多重像同士を比較して、主被写体と副被写体の判別を行うことができる。画像合成部１５２は、このようにして生成された情報に基づいて画像合成情報を生成することができる。

次に、図１６を参照して図１５の重複欠損判定方法をより具体的に説明する。図１６（Ａ）は、撮像部１０１、１０２が被写体１６０１を撮像している場面を上空から見た模式図である。被写体１６０１が位置Ｔ１〜Ｔ５へ順次移動していく場合を示している。被写体１６０２は合成位置の基準となっている被写体である。領域１６０３、１６０４、１６０５はそれぞれ撮像部１０１、１０２の撮像画角で互いに重複している領域である。このうち、領域１６０４内に存在する被写体は、合成画像データにおいて被写体像が重複して存在することになる。

図１６（Ｂ）は、図１６（Ａ）の状況下での合成前画像と合成画像とを位置Ｔ１からＴ５について示す。画像１６１１、１６１２、１６２１、１６２２、１６３１、１６３２、１６４１、１６４２、１６５１、１６５２はそれぞれ撮像部１０１及び１０２がそれぞれ撮像した合成前画像である。画像１６１３、１６２３、１６３３、１６４３、１６５３は合成後の合成画像である。領域１６１４及び１６１５は、画像１６１１に設定された判定領域であり、領域１６１６及び１６１７は画像１６１２に設定された判定領域である。領域１６１８は合成画像１６１３に設定された判定領域である。判定領域は、他の合成前画像１６２１及び合成画像１６２３等にもそれぞれ同様に設定される。ここで、判定領域のうち、領域１６１５及び１６１６は合成後の画像に含まれない第１の領域に該当し、領域１６１４及び１６１７は合成後の画像に含まれる第２の領域に該当する。また、第１の領域と第２の領域との境界を破線１６７１と破線１６７２とで示すが、これらが画像合成する際の結合部となる。また、合成前画像の判定領域と区別するため、領域１６１８を第３の領域とする。

具体的に、被写体１６０１が位置Ｔ１の時、合成画像の第３の判定領域１６１８内に被写体像がいないため、被写体像１６６３は重複欠損判定部９０１により検出されない。但し、被写体像の検出範囲は判定領域に制限してもよいし、全画像領域としても構わない。領域のサイズを制限することで演算処理の負荷を軽減できる。

被写体１６０１が位置Ｔ２の時、合成画像１６２３の第３の判定領域１６１８内に被写体像として被写体像１６６３が入ったこと、及び、第３の判定領域１６１８内に被写体像１６６３が存在することを重複欠損判定部９０１が検出する。このとき、判定領域１６１８内の被写体の入出力数と被写体像の数とは同数であるため、対象の被写体像１６６３は重複、欠損のいずれも発生していないと判断される。

次に、被写体１６０１が位置Ｔ３の時、第３の判定領域１６１８内で被写体像１６６４が新たに発生し、これにより合成画像１６３３の第３の判定領域１６１８内の被写体像の数は２と判定される。その一方で、第３の判定領域１６３３への入出力数に増減がないことから、入出力数を被写体像の検出数が上回り、被写体像の重複が発生した可能性があると判定する。

ここで重複欠損判定部９０１は、合成前画像１６３１及び１６３２と合成画像１６３３とを比較し、重複が発生した可能性のある被写体像が、合成前画像上の第２の判定領域１６１４、１６１７にあるため、被写体１６０１の被写体像が重複している判定する。ここで、被写体像１６６３と被写体像１６６４のうち、被写体像としてより大きな面積が表示されている被写体像１６６４を主被写体、一部が欠損している被写体像１６６３を副被写体とする。被写体が人物である場合は、体より顔などの器官がより特徴を示す部分となるため、被写体像のサイズではなく重要器官がより多く含まれる被写体像を主被写体としてもよい。重複が発生した場合の被写体像の優先度は被写体の種類に応じて適宜変更してもよい。

次に被写体１６０１が位置Ｔ４の時、合成画像１６４３の第３の判定領域１６１８内の被写体の入出力数は変わらず、また、検出された被写体数も１であるので、入出力数と被写体像の検出数とは一致している。しかし、被写体像の判別が困難になっている。そこで重複欠損判定部９０１は、合成前後の画像を比較し、被写体像１６６３に欠損が発生していると判定する。これに応じて画像合成部１５２は、画像合成情報として被写体像１６４３に欠損が発生していることを、画像データと共にクライアント装置に配信する。

次に、被写体１６０１が位置Ｔ５の時、合成画像１６５３の第３の判定領域１６１８内で被写体像を検出できなくなる。よって、被写体像の検出数は０となり、入出力数に変化がないため、入出力数が被写体像の検出数よりも多くなる。この場合、被写体像に欠損が発生したと判定することができる。重複欠損判定部９０１は、合成前後の画像を比較し、被写体１６０１に欠損が発生していると判定する。画像合成部１５２は、画像合成情報として被写体像１６６３に欠損が発生していることを、合成画像データと共にクライアント装置に配信する。

画像合成情報を受信したクライアント装置１８０は、被写体像１６６３の領域で被写体が欠損していることを画像解析部へ通知し、画像解析を行う。例えば、画像解析として被写体数をカウントしている場合、クライアント装置は画像データ上に被写体１６０１が表示されていないが、画像合成情報を基に被写体１６０１が存在しているとして、被写体数＝１とカウントする。さらに表示部へ被写体像１６６３が欠損していることをユーザへ通知するためのマーカー表示等を行い表示部へ画像データを表示する。

以上、撮像装置で重複欠損判定を行う場合について説明を行ったが、合成画像上の重複欠損判定をクライアント装置１８０で行い、重複欠損が発生した可能性がある場合に撮像装置１００へ問い合わせる構成をとっても構わない。撮像装置１００は、合成前画像１６１１、１６１２をメモリに保持しておき、クライアント装置からの問い合わせに応じて、重複欠損判定を行うことでも同様の効果を得ることができる。

以上のように、重複や欠損が生じている被写体の存在をクライアント装置１８０に通知することで、画像解析時の誤検出を防ぐことが可能となる。また、クライアント装置１８０のユーザに対して、被写体像の重複、または欠損状態を通知することが可能となる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：撮像装置、１８０：情報処理装置

Claims

複数の撮像部を備える撮像装置であって、
前記複数の撮像部のそれぞれは、隣接する撮像部と撮像画角の一部が重複するように配置され、
前記複数の撮像部のそれぞれで撮像された画像を結合する合成処理を行って合成画像を生成する合成手段と、
前記合成画像を情報処理装置に送信する通信手段と
を備え、
前記通信手段は、前記合成画像において重複、欠損している被写体像に関する情報を合成情報として、前記合成画像と共に前記情報処理装置に送信することを特徴とする撮像装置。
前記合成情報は、前記合成画像における、結合された画像の境界を特定するための情報、及び、前記境界を含む領域を特定するための情報の少なくともいずれかを含むことを特徴とする請求項１に記載の撮像装置。
前記領域は、重複している被写体像を含んでいる領域と、被写体像の欠損が生じている領域との少なくともいずれかを含むことを特徴とする請求項２に記載の撮像装置。
前記合成情報は、前記合成画像における被写体像の重複、欠損の有無の情報と、前記合成画像において当該被写体像を特定するための情報とを含むことを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
前記合成情報は、同一の被写体について複数の被写体像の情報を含む場合に、前記複数の被写体像に対して割り当てられた優先順位を更に含むことを特徴とする請求項４に記載の撮像装置。
前記合成画像において被写体像の重複または欠損が生じるかどうかを判定する判定手段をさらに備え、
前記合成情報は、前記判定手段が前記被写体像の重複または欠損が生じると判定した場合に生成されることを特徴とする請求項１から５のいずれか１項に記載の撮像装置。
前記判定手段は、前記複数の撮像部のそれぞれで撮像された画像に対して判定領域を設定し、結合される画像の前記判定領域に同一の被写体の被写体像がそれぞれ含まれる場合に、前記被写体像の重複が生じると判定することを特徴とする請求項６に記載の撮像装置。
前記判定領域には、前記合成画像には含まれない第１の領域と、前記合成画像に含まれる第２の領域とが含まれ、被写体像の少なくとも一部が前記第１の領域に含まれる場合に、前記判定手段は、当該被写体像は、前記合成画像において欠損が生ずると判定することを特徴とする請求項７に記載の撮像装置。
前記判定手段は、前記合成画像に対して判定領域を設定し、前記判定領域に入出する被写体数と、前記判定領域内の被写体数とをカウントし、前記入出する被写体数と前記判定領域内の被写体数との相違に基づいて、前記被写体像の重複または欠損が生じているかどうかを判定することを特徴とする請求項６に記載の撮像装置。
前記判定手段は、前記入出する被写体数よりも前記判定領域内の被写体数が多い場合に、前記被写体像の重複が生じていると判定することを特徴とする請求項９に記載の撮像装置。
前記判定手段は、前記入出する被写体数よりも前記判定領域内の被写体数が少ない場合に、前記被写体像の欠損が生じていると判定することを特徴とする請求項９または１０に記載の撮像装置。
前記判定手段は、前記合成画像において抽出された前記判定領域内の被写体像の形状と、前記複数の撮像部のそれぞれで撮像された画像において抽出された対応する被写体像の形状とを比較し、一致しない場合に前記被写体像の欠損が生じていると判定することを特徴とする請求項９から１１のいずれか１項に記載の撮像装置。
情報処理装置であって、
請求項１から３のいずれか１項に記載の撮像装置から、前記合成画像と前記合成情報とを受信する通信手段と、
前記合成画像を表示する表示部を制御する制御手段と、
前記合成画像に対して解析処理を行う解析手段と
を備え、
前記制御手段は、前記合成画像に前記合成情報に基づく領域を設定し、
前記解析手段は、前記合成画像に対して行う解析処理において、前記領域の内側と、前記領域の外側とで処理を異ならせ、
前記制御手段は、前記解析手段による解析結果を表示するように前記表示部を制御することを特徴とする情報処理装置。
前記制御手段は、前記領域を示す標識を前記合成画像に重畳して表示するように前記表示部を制御することを特徴とする請求項１３に記載の情報処理装置。
前記解析処理は、前記合成画像に含まれる被写体像の数をカウントすることを含み、
前記解析手段は、前記領域の内側においては、少なくとも前記被写体像の形状の情報を用いて前記カウントを行い、当該領域の外側においては、前記被写体像の形状の情報を用いずに前記カウントを行うことを特徴とする請求項１３または１４に記載の情報処理装置。
前記解析手段は、前記被写体像の数のカウントを、被写体像の形状、色、及び動きの情報に基づいて行い、
前記領域の内側において、前記解析手段は前記形状の情報を用いずに前記解析処理を行うことを特徴とする請求項１３または１４に記載の情報処理装置。
情報処理装置であって、
請求項４から１２のいずれか１項に記載の撮像装置から、前記合成画像と前記合成情報とを受信する通信手段と、
前記合成画像を表示する表示部を制御する制御手段と、
前記合成画像に対して解析処理を行う解析手段と
を備え、
前記制御手段は、前記合成情報に基づき、前記合成画像において重複、欠損している被写体像に標識を重畳して表示するように前記表示部を制御し、
前記制御手段は、前記解析手段による解析結果を表示するように前記表示部を制御することを特徴とする情報処理装置。
情報処理装置であって、
請求項５、及び、請求項５に従属する請求項６から１２のいずれか１項に記載の撮像装置から、前記合成画像と前記合成情報とを受信する通信手段と、
前記合成画像を表示する表示部を制御する制御手段と、
前記合成画像に対して解析処理を行う解析手段と
を備え、
前記制御手段は、前記合成情報に基づき、前記合成画像における重複、欠損している被写体の被写体像に標識を重畳して表示するように前記表示部を制御し、
前記制御手段は、前記解析手段による解析結果を表示するように前記表示部を制御し、
前記解析処理は、前記合成画像に含まれる被写体像の数をカウントすることを含み、
前記解析手段は、前記複数の被写体像に対して割り当てられた優先順位に基づいて、前記複数の被写体像のうち最も優先順位の高い被写体像のみを前記カウントの対象に含める
ことを特徴とする情報処理装置。
前記制御手段は、前記標識を、前記複数の被写体像に対して割り当てられた優先順位に対応する態様で表示するように前記表示部を制御することを特徴とする請求項１８に記載の情報処理装置。
隣接する撮像部と撮像画角の一部が重複するように配置された複数の撮像部を備える撮像装置の制御方法であって、
合成手段が、前記複数の撮像部のそれぞれで撮像された画像を結合する合成処理を行って合成画像を生成する生成工程と、
通信手段が、前記合成画像を情報処理装置に送信する送信工程と、
を含み、
前記送信工程では、前記合成画像において重複、欠損している被写体像に関する情報を合成情報として、前記合成画像と共に前記情報処理装置に送信することを特徴とする撮像装置の制御方法。
情報処理装置の制御方法であって、
通信手段が、請求項１から３のいずれか１項に記載の撮像装置から、前記合成画像と前記合成情報とを受信する受信工程と、
解析手段が、前記合成画像に対して解析処理を行う解析工程と、
制御手段が、表示部に前記解析工程における解析結果と前記合成画像とを表示させる表示工程と
を含み、
前記解析工程では、前記合成画像に対して行う解析処理において、前記制御手段が前記合成画像に前記合成情報に基づいて設定した領域の内側と、前記領域の外側とで処理が異なることを特徴とする情報処理装置の制御方法。
コンピュータを請求項１から１２のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。
コンピュータを請求項１３から１９のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。