JP4431486B2 - 目標物同定支援システム - Google Patents

Description

本発明は、目標物を同定しようとする者に、当該目標物を同定するために有効な情報を提供する目標物同定支援システムに関する。

従来、車両、船舶、飛行体やそれらしき目標物を発見した者が、その目標物が何であるかを特定する、すなわち、同定するにあたり、カメラで撮影した目標物の画像を拡大表示したり、コントラスト変換したりするなどの画像処理技術を利用することはできた。

しかし、目標物の同定は容易でない場合があった。特に、目標物が遠方に存在する場合は、目標物が写し込まれた画像を拡大表示しても、目標物の全長が例えば数十ピクセル程度の非常に粗い画像になるなど目標物の画像情報が乏しく、同定を困難にさせた。
また、同定しようとする者の経験が浅い場合は、目標物と照合すべき予備知識が乏しくなり、同定を迅速に行うことを困難にさせた。
さらに、目標物の前後、上下等の向きが不明の場合、同一物でも向きが異なると画像が異なるから、同定を困難にさせる。

本発明は以上の従来技術における問題に鑑みてなされたものであって、画像処理技術、情報技術を利用して、撮影された目標物を同定しようとする者に、当該目標物を同定するために有効な情報を提供し、目標物の同定の正確化、迅速化を図ることを課題とする。

以上の課題を解決するための請求項１記載の発明は、カメラと、前記カメラと目標物との距離を測定する測距装置と、前記カメラの姿勢角を検出するカメラ姿勢角検出手段と、オブジェクトごとの三次元グラフィックデータを含むデータベースと、画像表示装置と、
前記カメラが撮影した目標物の画像、目標物の撮影に適用された被写体に対する前記カメラの検出分解能、及び前記測距装置が測定した目標物撮影時の前記カメラと目標物との距離に基づき目標物の大きさの範囲を算出する目標物大算出手段と、
前記目標物大算出手段が算出した目標物の大きさの範囲に該当するオブジェクトを前記データベースから検索するオブジェクト検索手段と、
前記オブジェクト検索手段により検索されたオブジェクトの三次元グラフィックデータを前記データベースから展開してオブジェクトモデルを仮想し、前記カメラ姿勢角検出手段が検出した目標物撮影時の前記カメラの姿勢角及び前記測距装置が測定した目標物撮影時の前記カメラと目標物との距離に基づき前記カメラの目標物撮影時のフレームを仮想し、前記オブジェクトモデルが前記フレーム内に写し込まれて構成される模擬画像の画像データを目標物の撮影に適用された被写体に対する前記カメラの検出分解能と同一分解能で生成する模擬画像生成手段と、
前記模擬画像生成手段が生成した前記画像データによる模擬画像と前記カメラが撮影した目標物の画像とを前記画像表示装置に表示する画像表示処理手段とを備える目標物同定支援システムである。

ここで、被写体に対するカメラの検出分解能とは、カメラの１ピクセルが検出する被写体上の実寸をいう。
カメラの姿勢角は、カメラピッチ角Ｐとカメラロール角Ｒである。カメラピッチ角Ｐはカメラのレンズ軸と水平とのなす角であり、カメラロール角Ｒはカメラのフレームの水平方向と水平とのなす角である。
したがって請求項１記載の発明によれば、目標物の大きさの概算に基づきデータベースから目標物である可能性の高いオブジェクトが抽出され、かつ、そのオブジェクトの画像が目標物の撮影時と同一の分解能及び同一のカメラ姿勢で生成されて撮影画像とともに表示されるので、未特定の目標物の撮影画像と特定されているデータベース上のオブジェクトの画像とを共通性の高い観察条件で対比観察することができ、目標物の同定の正確化、迅速化に役立つ。
データベースを用いることにより、豊富なオブジェクトに関するデータを提供することができ、目標物の同定の正確化、迅速化に役立つ。

請求項２記載の発明は、前記オブジェクトモデルを転回させて前記模擬画像を生成し前記画像表示装置に表示する模擬画像転回表示処理手段を備えることを特徴とする請求項１記載の目標物同定支援システムである。

したがって請求項２記載の発明によれば、表示画面上でオブジェクトモデルの方向を変えることができ、目標物とオブジェクトモデルの一致する方向を迅速に探ることに役立ち、目標物の同定の正確化、迅速化に役立つ。

請求項３記載の発明は、前記データベースに前記オブジェクトが分類されて収められており、目標物がいずれの分類に属するかを判断する分類判断手段を備え、前記オブジェクト検索手段は、前記分類判断手段により判断された分類に属するデータを検索することを特徴とする請求項１記載の目標物同定支援システムである。

したがって請求項３記載の発明によれば、分類により検索対象が絞られるため、目標物の同定が迅速化される。

請求項４記載の発明は、前記目標物大算出手段が目標物の進行方向に基づいて前記目標物の大きさの範囲を算出することを特徴とする請求項１記載の目標物同定支援システムである。

したがって請求項４記載の発明によれば、目標物の大きさの範囲を算出する際に、目標物の進行方向にも基づくので、目標物の進行方向を基準にした大きさを計算することができる。例えば、目標物の進行方向に沿った長さを目標物の全長と推定して計算することにより、計算された目標物の全長に全幅が一致し全長が一致しないオブジェクトなど、向きを一致させると目標物の計算上の大きさに適合しないオブジェクトを検索において除外し、同定される可能性の高いオブジェクトに絞り込むことができ、目標物の同定の迅速化を図ることができる。

上述したように本発明によれば、目標物を同定しようとする者に、当該目標物を同定するために有効な模擬画像を一定の共通の条件下で目標物の撮影画像と対比する形で提供することにより、目標物の同定の正確化、迅速化を図るという効果がある。

以下に本発明の一実施形態につき図面を参照して説明する。以下は本発明の一実施形態であって本発明を限定するものではない。
図１は本実施形態の概要図である。
無人飛行機１にカメラ２、測距装置３、角度制御装置４が取り付けられている。カメラ２はデジタルカメラである。管制室５には、コンピュータ７、画像表示装置８、キーボード９、マウス１０等により情報処理システムが構成される。コンピュータ７は無人飛行機１と通信し、無人飛行機１、カメラ２、測距装置３、角度制御装置４を制御するとともに情報を得ることができる。必要時、カメラ２はレンズの倍率及び焦点を調整して目標物を撮影し、測距装置３は目標物６までの距離ｄを測定する。角度制御装置４はカメラ２と測距装置３とからなる撮像・測距ユニットの無人飛行機１に対する角度を調整し、撮像・測距ユニットを目標物のある方向など所望の方向に向ける。

図２に、本目標物同定支援システムの構成のブロック図を示す。
コンピュータ７に構成されたＣＰＵ（中央処理装置）１１は、キーボード９、マウス１０から操作入力信号を受けるとともに、測距装置３から距離ｄ、カメラ角度計１２から支持体に対するカメラ角、支持体姿勢角計１３からカメラ２の支持体、すなわち、無人飛行機１の姿勢角、カメラ２から撮影した画像データ及び撮影時の設定倍率を含む撮影設定情報を得る。カメラ角度計１２としては角度制御装置４の制御に用いられる角度センサを用いればよい。支持体姿勢角計１３としては、無人飛行機１の姿勢制御に用いられる角度センサを用いればよい。

また、ＣＰＵ１１は、所定の演算処理、画像加工処理を行う。ＣＰＵ１１は、データメモリ１４から情報を検索して取り出す。ＣＰＵ１１は画像表示装置８を制御し画像を表示させる。
コンピュータ７に構成されたデータメモリ１４には、車両、船舶、飛行体に分類されたオブジェクトのデータベースが構成されている。このデータベースには、各オブジェクトの三次元グラフィックデータ、名称、特徴、実寸等の情報が含まれる。

カメラ２の基準分解能を示す情報は、本目標物同定支援システム上で利用できる状態にある。例えば、カメラ２のコード番号と対応付けられてその基準分解能を示す情報がデータメモリ１４に記録されている。或いは、カメラ２が自らその基準分解能を示す情報を保持していてＣＰＵ１１に与える。この基準分解能は、例えば、設定倍率１倍においてＸ（ｍ）離れた被写体上のＹ（ｍｍ）角をカメラの１ピクセルで検出するという内容で特定される（表現形式は問わない）。この場合、（検出分解能）＝（基準分解能）／（設定倍率）である。設定倍率が高いほど検出分解能は向上する。

次に、本目標物同定支援システムを用いた目標物の同定過程につき説明する。
（１）まず、目標物（ターゲット）６が発見される。例えば、レーダー探知により、又は、撮影画像中の目標物を画像認識することにより目標物６が発見され目標物発見信号がＣＰＵ１１に与えられる。又は、カメラ２のリアルタイムの撮影画像を、画像表示装置８を介して監視しているオペレータにより発見される。オペレータが発見した場合は、オペレータはキーボード９又はマウス１０を用いて目標物発見信号を入力する。なお、目標物を探知するレーダーと測距装置３は共通のものでもよい。

（２）ＣＰＵ１１は目標物発見信号を得ると時刻を記録し、カメラ２に目標物６を撮影させるとともに、この撮影に同期させて測距装置３に目標物６までの距離ｄを測定させる。目標物発見信号の発生時、既に目標物６がカメラ２により撮影されている場合、ＣＰＵ１１は、その撮影時及びその前後に記録を遡って目標物６が写っている撮影画像とその撮影時に測距装置３が測定した目標物６までの距離ｄの記録を特定する一方、さらに、カメラ２に目標物６を撮影させ、この撮影に同期させて測距装置３に目標物６までの距離ｄを測定させる。

（３）ＣＰＵ１１は、カメラ２が撮影して得た画像データとその撮影時に設定された倍率、測距装置３が測定した目標物６までの距離ｄを受信する。また、ＣＰＵ１１はカメラ角度計１２から支持体に対するカメラ角、支持体姿勢角計１３からカメラ２の支持体、すなわち、無人飛行機１の姿勢角を得る。また、ＣＰＵ１１は、カメラ２の基準分解能をカメラ２から受けるか又はカメラ２の機種を認識してデータベースを検索して取得する。

（４）次に、ＣＰＵ１１は、カメラ角及び無人飛行機１の姿勢角からカメラ２の姿勢角を計算する。ここで、必要な姿勢角は、図１に示すように、カメラピッチ角Ｐとカメラロール角Ｒである。カメラピッチ角Ｐはカメラ２のレンズ軸と水平とのなす角であり、カメラロール角Ｒはカメラ２のフレームの水平方向と水平とのなす角である。
また、ＣＰＵ１１は、撮影画像を解析し、目標物の領域を認識する。次に、ＣＰＵ１１は、目標物の領域と基準分解能と設定倍率と距離ｄから目標物６の大きさを誤差の付随した範囲として概算する。このとき、ＣＰＵ１１は状況によりカメラの姿勢角を考慮して目標物６の大きさの範囲を算出する。
オプション機能として、ＣＰＵ１１は目標物６の進行方向Ｓをも基礎にして目標物６の大きさを計算する。目標物６の進行方向Ｓは、ＣＰＵ１１が、目標物６がレーダー探知機等の探知装置に検出された履歴や連続撮影された画像の解析などにより判定する。又は、オペレータが目標物６の進行方向Ｓを入力し、ＣＰＵ１１はオペレータにより入力された目標物６の進行方向Ｓを採用する。ＣＰＵ１１は進行方向Ｓに沿った長さを目標物６の全長と推定して、目標物６の全長を計算する。

（５）ＣＰＵ１１は目標物６が車両、船舶、飛行体のいずれの分類に属するかを判断する。例えば、ＣＰＵ１１はオペレータからの分類を示す入力信号を参照して分類を判断する。この場合、オペレータはキーボード９又はマウス１０を用いて目標物６が属する分類を入力する。
又は、ＣＰＵ１１は撮影画像を画像解析し撮影画像が陸、海、空のいずれを撮影しているかを判断する。又は、ＣＰＵ１１はＧＰＳ及びデジタルマップと連携し、撮影領域が陸、海、空のいずれの領域に属するかを判断する。ＣＰＵ１１は陸の場合は車輌、海の場合は船舶、空の場合は飛行体と分類を判断する。

（６）ＣＰＵ１１は、（５）で判断した分類内で、（４）で算出した目標物６の大きさの範囲に該当するオブジェクトをデータベースから検索する。

（７）ＣＰＵ１１は、（６）の検索で該当したオブジェクトの三次元グラフィックデータを一つずつ図３のように可視的に説明されるような演算領域（仮想空間）に展開してオブジェクトモデルを仮想し、（４）で計算したカメラピッチ角Ｐ、カメラロール角Ｒ及び距離ｄに基づきカメラ２のフレーム１５を図３に示すように仮想する。すなわち、距離ｄにあり、カメラピッチ角Ｐ、カメラロール角Ｒの姿勢にあるフレーム１５を仮想する。その上でＣＰＵ１１は、オブジェクトモデル（図３ではＬ０５３）が仮想フレーム１５に写し込まれて構成される模擬画像の画像データを（４）の計算で使用した基準分解能と設定倍率に従って生成する。すなわち、撮影画像と同じ検出分解能で画像を生成する。

（８）ＣＰＵ１１は、（３）で得た撮影画像と、（７）で生成した模擬画像とをそれぞれ目標物又はオブジェクトモデルにクローズアップして図２に示すように画像表示装置８上に対比表示する。
ＣＰＵ１１は、オペレータの操作に基づき又は予め設定されたレートに基づいて、図３に示すＶ軸周りにオブジェクトモデルＬ０５３を１°〜２°ずつ転回させて模擬画像を逐次生成し、画像表示装置８上に表示する。ＣＰＵ１１は、必要に応じて図３に示すＨ軸周りやＦ軸周りにオブジェクトモデルＬ０５３を１°〜２°ずつ転回させて模擬画像を逐次生成し、画像表示装置８上に表示する。このＨ軸・Ｆ軸周りの転回機能は、特に飛行体について有効に用いられる。
図４に画像表示装置８上に表示される撮影画像又は模擬画像となる画像の一例を示す。図４では、被写体上の０．６（ｍ）が１ピクセルで表現されている。
（９）オペレータは（６）の検索で該当したオブジェクトの中から表示するオブジェクトを選択することができる。ＣＰＵ１１はこの選択操作手段をオペレータに与える。ＣＰＵ１１はオペレータのオブジェクト選択操作に基づき選択されたオブジェクトにつき上記（７）（８）を実行する。

（１０）また、ＣＰＵ１１はオペレータの操作に基づき、選択されたオブジェクトの鮮明なフル解像度画像を表示する。図５にフル解像度画像の一例の模写を示す。このフル解像度画像とともに、オブジェクトの名称、特徴その他のデータベースに蓄積されたオブジェクトに関する基本情報が表示され、オペレータの要求により、同じくデータベースに蓄積されたオブジェクトに関する詳細情報が表示される。なお、図４は、図５の画像の解像度を落としたものに相当する。

（１１）以上の画像表示装置８上に表示された画像や情報を参考にオペレータである監視員又はオペレータとともに画面を見ている監視員が、カメラ２により撮像された目標物６を同定する。なお、図４は、図５の画像の解像度を落としたものに相当する。図４から図５のトラックを特定することは難しいが、図４のような粗い画像どうしを比較して一致するものを捜すことは比較的難しくない。監視員としては、一致する又はほぼ一致すると思うものがあれば、フル解像度画像で確認し、これを繰り返すという利用の仕方が好ましい。
（１２）監視員が同定できない場合は、さらに未実施のデータについて上記（７）〜（１１）の過程、もしくは上記（２）から（１１）の過程を行う。

なお、図３に示した仮想空間は、演算上の処理内容を説明するものであって、オペレータに対して表示しなくても良いが、オペレータの便宜となる場合には、上記画像表示装置８や他の画像表示装置に表示しても良い。

以上の実施形態においては、カメラ及び測距装置を設置する支持体として、無人飛行機１を用いたが、有人飛行機を用いても良い。有人飛行機の場合、上記実施形態において管制室５に構成される構成の全部又は一部を飛行体上に構成してもよい。
また、カメラ及び測距装置を車両、船舶、潜水艦等の移動体に支持しても良いし、監視塔等の地上の固定体に支持してもよい。後者の場合は、支持体の姿勢の不変が維持される限りにおいて、支持体姿勢角計１３を省略し、カメラ角度計１２をカメラ姿勢角検出手段として用いることができる。

本発明一実施形態の概要図である。 本発明一実施形態の目標物同定支援システム構成のブロック図である。 本発明一実施形態における演算処理内容を説明するための仮想空間を描いた図である。 撮影画像又は模擬画像となる画像の一例を示す図である。 本発明一実施形態において選択されたオブジェクトのフル解像度画像を模写した図である。

符号の説明

１ 無人飛行機
２ カメラ
３ 測距装置
４ 角度制御装置
５ 管制室
６ 目標物
７ コンピュータ
８ 画像表示装置
９ キーボード
１０ マウス
１２ カメラ角度計
１３ 支持体姿勢角計
１４ データメモリ
１５ 仮想フレーム
ｄ カメラから目標物までの距離
Ｌ０５３ 選択されたオブジェクト
Ｐ カメラピッチ角
Ｒ カメラロール角

Claims (4)

1. カメラと、前記カメラと目標物との距離を測定する測距装置と、前記カメラの姿勢角を検出するカメラ姿勢角検出手段と、オブジェクトごとの三次元グラフィックデータを含むデータベースと、画像表示装置と、
   前記カメラが撮影した目標物の画像、目標物の撮影に適用された被写体に対する前記カメラの検出分解能、及び前記測距装置が測定した目標物撮影時の前記カメラと目標物との距離に基づき目標物の大きさの範囲を算出する目標物大算出手段と、
   前記目標物大算出手段が算出した目標物の大きさの範囲に該当するオブジェクトを前記データベースから検索するオブジェクト検索手段と、
   前記オブジェクト検索手段により検索されたオブジェクトの三次元グラフィックデータを前記データベースから展開してオブジェクトモデルを仮想し、前記カメラ姿勢角検出手段が検出した目標物撮影時の前記カメラの姿勢角及び前記測距装置が測定した目標物撮影時の前記カメラと目標物との距離に基づき前記カメラの目標物撮影時のフレームを仮想し、前記オブジェクトモデルが前記フレーム内に写し込まれて構成される模擬画像の画像データを目標物の撮影に適用された被写体に対する前記カメラの検出分解能と同一分解能で生成する模擬画像生成手段と、
   前記模擬画像生成手段が生成した前記画像データによる模擬画像と前記カメラが撮影した目標物の画像とを前記画像表示装置に表示する画像表示処理手段とを備える目標物同定支援システム。
2. 前記オブジェクトモデルを転回させて前記模擬画像を生成し前記画像表示装置に表示する模擬画像転回表示処理手段を備えることを特徴とする請求項１記載の目標物同定支援システム。
3. 前記データベースに前記オブジェクトが分類されて収められており、目標物がいずれの分類に属するかを判断する分類判断手段を備え、前記オブジェクト検索手段は、前記分類判断手段により判断された分類に属するデータを検索することを特徴とする請求項１記載の目標物同定支援システム。
4. 前記目標物大算出手段が目標物の進行方向に基づいて前記目標物の大きさの範囲を算出することを特徴とする請求項１記載の目標物同定支援システム。

Images