JP7140043B2 - 情報処理装置 - Google Patents

Description

本発明は、遠隔地から移動体を視覚的に監視するために用いられる情報処理装置に関する。

近年、至るところに多くの監視カメラが設置されている。このような監視カメラが撮影する画像は膨大な量となるため、画像解析技術などを利用して画像を効率的に監視することが求められている。

例えば、特許文献１には、道路施設の監視を支援する監視支援システムが開示されている。特許文献１の監視支援システムは、道路で停止している車両や道路上の落下物といった道路上で発生している異常状態を検出するとともに、異常状態を映像中に強調して表示することにより、監視員が道路施設を効率的に監視できるようにするものである。

特開２０１９－８４７４号公報

ところで、近年、車両の加速、操舵および制動を自動的に行うことによって自律走行が可能な自動運転車両に対する技術開発が活発になっている。また、ドライバを必要としない無人の自動運転車両の開発も期待されている。このような自動運転車両では、オペレータが、必要に応じて車両の状態を視覚的に遠隔監視するとともに車両の走行を支援できることが望ましい。ところが、車両に外観的な異常が発生していない場合、監視カメラが撮影した画像に画像解析技術を適用しても、異常が発生している車両を画像から検出することはできない。そのため、オペレータが監視対象の車両や走行支援を必要とする車両を遠隔監視することが困難であることを、本発明者は知見した。

そこで、本発明の目的は、車両などの移動体の遠隔監視を支援する情報処理装置を提供することにある。

上記課題を解決するために、情報処理装置（１００，１１０）は、
移動体から送信された、前記移動体の現実の位置である第１の現実位置を取得する第１の取得部（１０１）と、
撮像装置が撮影した画像を取得する第２の取得部（１０２）と、
前記画像に表示された場所の現実の位置である第２の現実位置を、前記画像上の位置である画像位置と関連付けて保存する保存部（１０３）と、
前記第２の現実位置と前記画像位置との対応関係に基づいて、前記第１の現実位置から前記画像上の前記移動体の位置である移動体画像位置を特定する特定部（１０４）と、
前記画像に重畳して、前記移動体画像位置を示す情報を表示装置に表示させる表示制御部（１０５）と、を備える。

本発明の情報処理装置によれば、画像に表示された場所の現実の位置と、画像上の位置との対応関係を利用することにより、画像上の移動体の位置を特定することが可能となるため、画像に表示された移動体を容易に監視することができる。

本発明の実施形態１の情報処理装置を説明するブロック図 本発明の実施形態１の被写体情報および画像情報を説明する図 本発明の実施形態１の表示装置に表示される画像を説明する図 本発明の実施形態１の情報処理装置の動作を説明する図 本発明の実施形態１の表示装置に表示される画像を説明する図 本発明の実施形態１の表示装置に表示される画像を説明する図 本発明の実施形態２の表示装置に表示される画像を説明する図 本発明の実施形態３の表示装置に表示される画像を説明する図 本発明の実施形態４の表示装置に表示される画像を説明する図 本発明の実施形態５の情報処理装置を説明するブロック図 本発明の実施形態５の表示装置を説明する図 本発明の実施形態５の撮像装置を説明する図

以下、本発明の実施形態について、図面を参照して説明する。
なお、本発明とは、特許請求の範囲又は課題を解決するための手段の項に記載された発明を意味するものであり、以下の実施形態に限定されるものではない。また、少なくともかぎ括弧内の語句は、特許請求の範囲又は課題を解決するための手段の項に記載された語句を意味し、同じく以下の実施形態に限定されるものではない。
特許請求の範囲の従属項に記載の構成および方法、従属項に記載の構成および方法に対応する実施形態の構成および方法、並びに特許請求の範囲に記載がなく実施形態のみに記載の構成および方法は、本発明においては任意の構成および方法である。特許請求の範囲の記載が実施形態の記載よりも広い場合における実施形態に記載の構成および方法も、本発明の構成および方法の例示であるという意味で、本発明においては任意の構成および方法である。いずれの場合も、特許請求の範囲の独立項に記載することで、本発明の必須の構成および方法となる。
実施形態に記載した効果は、本発明の例示としての実施形態の構成を有する場合の効果であり、必ずしも本発明が有する効果ではない。
複数の実施形態がある場合、各実施形態に開示の構成は各実施形態のみで閉じるものではなく、実施形態をまたいで組み合わせることが可能である。例えば一の実施形態に開示の構成を、他の実施形態に組み合わせても良い。また、複数の実施形態それぞれに開示の構成を集めて組み合わせても良い。
発明が解決しようとする課題に記載した知見や課題は公知の課題ではなく、本発明者が独自に知見したものであり、本発明の構成および方法と共に発明の進歩性を肯定する事実である。

（実施形態１）
図１を用いて、本実施形態の情報処理装置を説明する。図１は、本実施形態の情報処理装置１００と、情報処理装置に無線または有線によって接続された各種装置を示している。情報処理装置１００は、車両１０および撮像装置２０と無線通信ネットワークを介して接続されている。情報処理装置１００はさらに、表示装置３０と接続されている。情報処理装置１００および表示装置３０は、例えばオペレーションセンタに配置され、オペレータが表示装置３０に表示される画像を用いて対象車両を監視する。
なお、以下の実施形態は、主として車両の監視を支援するための情報処理装置を例として説明している。しかしながら、本実施形態の情報処理装置は、車両以外の「移動体」の監視を支援する装置にも適用することができる。例えば、本実施形態の情報処理装置は、歩行者の監視を支援するための情報処理装置として利用してもよい。
本発明の「移動体」とは、移動可能な物体をいい、移動速度は任意である。また移動体が停止している場合も当然含む。例えば、自動車、自動二輪車、自転車、歩行者、船舶、航空機、およびこれらに搭載される物を含み、またこれらに限らない。

車両１０は、当該車両に搭載されたＧＰＳ（グローバルポジショニングシステム）が検出した自車両の位置を、無線通信ネットワークを介して情報処理装置１００に送信する。なお、車両１０は自動運転車両に限定されるものではなく、ドライバによって手動で操作される車両も含まれる。

撮像装置２０は、街中や道路脇に設置された監視カメラである。撮像装置２０は、撮影した画像を、無線通信ネットワークを介して情報処理装置１００に送信する。

表示装置３０は、撮像装置２０が撮影した画像や、後述する情報処理装置１００から出力される情報を表示する。

（１）構成
まず、本実施形態の情報処理装置１００の構成を説明する。図１に示す情報処理装置１００は、車両情報取得部１０１、画像取得部１０２、保存部１０３、特定部１０４、および表示制御部１０５を備えている。

車両情報取得部１０１（本発明の「第１の取得部」に対応）は、車両１０から送信された、車両１０の走行位置（本発明の「第１の現実位置」に対応）を取得する。車両１０の走行位置とは例えば、緯度、経度によって示される位置であり、車両１０の現実の位置である。

画像取得部１０２は、撮像装置２０が撮影した画像をリアルタイムで取得する。

保存部１０３は、ＨＤＤやフラッシュメモリ等の不揮発性記憶装置で構成される。保存部１０３は、撮像装置２０が撮影した画像に表示された「場所」の現実の位置（本発明の「第２の現実位置」に対応）を、画像上の位置と関連付けて保存する。以下、画像に表示された場所の現実の位置を被写体位置とし、画像上の位置を画像位置とする。被写体位置は例えば緯度、経度によって示される位置である。保存部１０３が保存する被写体位置と画像位置との対応関係については後述する。
ここで、本発明の、画像に表示された「場所」とは、画像内の被写体が位置している地点はもちろん、例えば、建物などの後方に位置していることによって画像内に被写体として表れていない地点も含まれる。

特定部１０４は、保存部１０３に保存された被写体位置と画像位置との対応関係に基づいて、車両情報取得部１０１が取得した車両１０の走行位置から、画像において車両１０が表示されていると推定される位置、すなわち、画像上の車両１０の位置を特定する。以下、画像上の車両１０の位置を車両画像位置（本発明の「移動体画像位置」に対応）とする。具体的には、本実施形態の特定部１０４は、被写体位置と画像位置との対応関係に基づいて、車両１０の走行位置に対応する画像上の位置を求める。車両１０の走行位置に対応する画像上の位置には、車両１０が表示されていると推定される。そこで、特定部１０４は、車両１０の走行位置に対応する画像上の位置が車両画像位置であると特定する。

表示制御部１０５は、画像取得部１０２が取得した画像を表示装置３０に表示させる。表示制御部１０５はさらに、当該画像に重畳して、車両画像位置を示す情報を表示装置に表示させる。なお、表示制御部１０５は、画像や車両画像位置を示す情報を表示装置３０に出力する出力部として機能してもよい。

車両画像位置を示す情報は、オペレータが対象車両を容易に識別できるようなものであればよく、例えば、車両画像位置を通過するライン、車両画像位置を指し示す矢印、車両画像位置を中心とする円や四角といった車両画像位置を強調するマーカである。これらはいずれも例示にすぎず、マーカに限定されるものではない。また、車両画像位置を示す情報の形状、大きさ、向きはいずれも任意に設定される。
なお、車両画像位置を示す情報は、車両画像位置を基準とした位置を示すものであればよく、例えば、上述したライン、矢印、円や四角等のマーカは、特定部１０４が特定した車両画像位置から所定の距離だけオフセットした位置に表示されてもよい。車両画像位置からオフセットした位置に表示することにより、マーカと対象車両とが重なって表示されて、対象車両が監視しにくくなるのを防ぐことができる。

（２）被写体位置と画像位置との対応関係
図２、３を参照して、画像に表示された場所の現実の位置である被写体位置と、画像上の位置である画像位置との対応関係を説明する。図２（ａ）は、表示装置３０に表示される画像を簡略的に示しており、画像の左上を原点（０，０）としたＸＹ座標が割り当てられている。この例では、Ｘ座標の最大値は２５０であり、Ｙ座標の最大値は２００である。ＸＹ座標の最小単位は、例えば、１ピクセルである。
図２（ｂ）は画像に割り当てられた座標それぞれに対応する被写体位置を、緯度および経度で示している。例えば、画像上の（０，０）に表示された場所の現実の位置の緯度、経度はそれぞれ（Ｎ１，Ｅ１）であり、画像上の（２５０，０）に表示された場所の現実の位置の緯度、経度はそれぞれ（Ｎ５０，Ｅ５０）である。なお、図２（ｂ）は一部の被写体位置しか示していないが、実際には全てのＸＹ座標について被写体位置が対応付けて保存される。

緯度や経度といった被写体位置は、例えば、撮像装置２０が設置されている場所の緯度，経度、高さ、撮像装置の傾き、撮像装置の焦点距離や歪み等の各種パラメータに基づいて予め求められる。本実施形態では、撮像装置２０が撮影した画像の被写体位置を画像位置と関連付けて保存したものを使用できればよく、これらの被写体位置をいかに求めるかは任意である。

例えば、本実施形態の車両情報取得部１０１が、車両１０の走行位置（Ｎ３０，Ｅ３０）を取得した場合を検討する。図２（ｂ）によれば、被写体位置（Ｎ３０，Ｅ３０）に対応する画像位置は（１２０，１００）である。したがって、特定部１０４は、（１２０，１００）が車両画像位置であると特定することができる。図３は、表示装置３０に表示される画像の一例を示している。図３の中心付近に図示された点が、ＸＹ座標（１２０，１００）に対応する地点である。つまり、当該地点が、画像において車両１０が表示されていると推定される位置である。

なお、車両１０の走行位置が示す緯度、経度と等しい被写体位置が保存されていない場合には、走行位置に最も近い被写体位置を求め、求めた被写体位置に対応する画像位置を車両画像位置であると特定してもよい。例えば、車両１０の走行位置が（Ｎ１．５，Ｅ１．５）の場合には、図２（ｂ）より、走行位置に最も近い被写体位置（Ｎ２，Ｅ２）に対応する画像位置（０，１０）が車両画像位置であると特定してもよい。
あるいは、線形補間などを利用して、走行位置に近接する複数の被写体位置から被写体位置に対応付けられていない画像位置を特定してもよい。例えば、車両の走行位置が（Ｎ１．５，Ｅ１．５）の場合には、図２（ｂ）より、被写体位置（Ｎ１，Ｅ１）に対応する画像位置（０，０）と、被写体位置（Ｎ２，Ｅ２）に対応する画像位置（０，１０）の中央である（０，５）が車両画像位置であると特定してもよい。

（３）動作
次に、図４を用いて、情報処理装置１００の動作を説明する。図４に示す一連の処理が実施される前に、保存部１０３には予め上記（２）に説明した被写体位置と画像位置との対応関係が保存されている。

Ｓ１０１において、車両情報受信部１０１は、車両１０から送信された、車両の現実の位置である走行位置を取得する。
Ｓ１０２において、画像取得部１０２は、撮像装置２０が撮影した画像を取得する。
Ｓ１０３において、保存部１０３に予め保存された被写体位置と画像位置との対応関係に基づいて、Ｓ１０１で取得した走行位置に対応する画像上の車両１０の位置である車両画像位置を特定する。
Ｓ１０４において、Ｓ１０２で取得した画像に重畳して、車両画像位置を示す情報を表示装置に表示させる。

なお、車両情報取得部１０１は、車両１０から定期的に送信される走行位置を随時取得する。したがって、車両情報取得部１０１が車両１０の最新の走行位置を取得する度に図４に示す処理を繰り返すことにより、表示装置３０に表示される車両画像位置を示す情報を更新することができる。そのため、車両１０の走行に連動して画像上の車両１０の位置が移動しても、正確な車両画像位置を示す情報を表示装置３０に表示することができる。

図５は、図４に示す一連の処理が完了した後に表示装置３０に表示される画像の例をそれぞれ示している。図５（ａ）では、車両画像位置を示す情報として、車両画像位置を通過するラインが表示装置３０に表示されている。図５（ｂ）では車両画像位置を指し示す矢印が表示されており、図５（ｃ）では車両画像位置を中心とした円が表示されている。これらの表示装置３０を監視しているオペレータは、車両画像位置を示す情報に近接している車両１０が対象車両であると認識することができる。

図６は、表示装置３０に表示される画像の他の例を示している。図５とは異なり、図６では、車両と撮像装置の間に存在する建物によって道路の一部が隠れた状態となっている。本実施形態では、車両から送信された走行位置から、画像上の車両の位置を推定しているため、車両が建物の後方を走行しており画像上に表示されていない状態でも、画像上の車両の位置を特定することができる。

なお、上述した実施形態の情報処理装置１００では、画像解析を利用していない。しかしながら、本実施形態による情報処理装置１００はさらに画像解析部（図示せず）を備え、上述した情報処理装置１００の機能と画像解析機能とを組み合わせて、オペレータによる対象車両の監視を支援してもよい。

例えば、図４に示す一連の処理によって車両画像位置を特定した後、画像解析技術を利用して当該車両画像位置に最も近い車両を検出することにより、画像上の対象車両を特定してもよい。この場合、表示制御部１０５は、対象車両を示す情報を表示装置３０に表示するとともに、画像解析技術を用いて対象車両を追跡する。あるいは、車両画像位置を示す情報としてラインを表示させる場合、画像解析技術を用いて道路の車幅を検出し、車幅に相当する長さのラインを表示装置に表示させてもよい。

本実施形態１によれば、被写体位置と画像位置との対応関係に基づいて、画像上の車両の位置を正確に特定することができるため、オペレータは、画像に表示された対象車両を容易に監視することが可能となる。

（実施形態２）
上記実施形態１では、車両の走行位置に対応する画像上の位置を、車両画像位置として特定する構成を説明した。本実施形態では、車両の走行位置を補正することにより、より高い精度で画像上の車両の位置を特定する方法を、実施形態１との相違点を中心に説明する。

車両情報取得部１０１は、車両１０の走行位置に加えて、車両１０に搭載されたＧＰＳが走行位置を取得した時刻、および車載センサによって検出された車両１０の移動速度を取得する。以下、車両１０に搭載されたＧＰＳが走行位置を取得した時刻を走行時刻（本発明の「第１の時刻」に対応）とする。

画像取得部１０２は、撮像装置２０が撮影した画像に加えて、撮像装置２０が当該画像を撮影した撮影時刻（本発明の「第２の時刻」に対応）を取得する。

なお、本実施形態では、車両１０に搭載されたＧＰＳの時刻と、撮像装置２０の時刻とは、予めＮＴＰ（Network Time Protocol）等を利用して同期される。

実施形態１において述べた通り、車両情報取得部１０１および画像取得部１０２は、無線通信ネットワークを介して走行位置や画像を取得する。そのため、無線通信ネットワークの混雑状況によっては、車両１０のＧＰＳが走行位置を取得、送信してから車両情報取得部１０１が走行位置を取得するまで、あるいは撮像装置２０が画像を撮影してから画像取得部１０２が画像を取得するまでに遅延が生じることがある。その結果、車両情報取得部１０１が取得した走行位置の走行時刻と、画像取得部１０２が取得した画像の撮影時刻との間にずれが生じ、ひいては、画像上の車両の位置にずれが生じる可能性がある。そこで、本実施形態では、走行時刻と撮影時刻のずれを補正することにより、画像上の車両の位置のずれを補正する。

本実施形態の特定部１０４はまず、被写体位置と画像位置との対応関係に基づいて、車両情報取得部１０１が取得した車両１０の走行位置に対応する画像位置を特定する。ここで特定した画像位置は実施形態１において特定した移動体画像位置であるが、本実施形態では当該画像位置を補正することによって、より精度の高い移動体画像位置を特定する。そこで、本実施形態では、車両１０の走行位置に対応する画像位置を補正前画像位置とする。

特定部１０４はさらに、走行時刻と撮影時刻との差分、および車両情報取得部１０１が取得した車両１０の移動速度に基づいて、走行時刻から撮影時刻までの間に車両１０が移動した距離を算出する。算出された距離は現実に車両が移動した距離であるため、特定部１０４は当該距離を画像上の距離に変換する。現実の距離から画像上の距離への変換方法は任意である。例えば、保存部１０３は、画像位置を示すＸＹ座標の２点間の画像上の距離と、これらの２点に対応する被写体位置間の現実の距離との対応関係を示す情報を予め保存していてもよい。
特定部１０４はさらに、走行時刻から撮影時刻までに車両１０が移動した画像上の移動方向を特定する。特定部１０４は例えば、車両１０から送信され、車両情報取得部１０１が取得した進行方向情報から、画像上の移動方向を特定することができる。
なお、上述した例では、走行時刻が撮影時刻よりも時間的に遅いことを想定しているが、撮影時刻が走行時刻よりも遅い場合も同様である。

特定部１０４はさらに、補正前画像位置から車両１０の「移動方向」に、算出した現実の距離に対応する画像上の距離を移動した画像位置を特定する。補正前画像位置から移動した画像位置には、車両１０が表示されていると推定されるため、特定部１０４は当該画像位置が車両画像位置であると特定する。
なお、特定部１０４は、車両情報取得部１０１が取得した進行方向情報に代えて、予め設定された所定の方向を利用してもよい。例えば、特定部１０４は、補正前画像位置から、所定の方向として予め設定された道路の進行方向に画像上の距離を移動した画像位置を特定する。道路の進行方向は、例えば、画像解析によって識別される。
ここで、本発明の車両の「移動方向」とは、車両が移動している可能性が一定以上あればよく、必ずしも車両が実際に移動している方向でなくともよい。例えば、車両の移動方向とは、車両が走行している道路の進行方向であってもよい。また、移動方向は、前進する正の方向はもちろん、負の方向も含む。

なお、本実施形態では、表示制御部１０５は、車両画像位置「に加えて」、車両画像位置を特定する過程で求めた補正前画像位置を示す情報を表示装置３０に表示させてもよい。上述した方法によって画像上の車両の位置を補正した場合であっても、車両の移動速度の急激な変化などによっては、車両画像位置と、画像上に表示される車両の位置との間にずれが生じる可能性はある。そこで、補正前画像位置と、補正後の車両画像位置の双方を示す情報を表示装置３０に表示させることにより、ずれが生じている可能性をオペレータに示すことができる。
ここで、本発明の「に加えて」表示させる、とは、移動体画像位置および補正前画像位置の双方が認識できるように表示装置に表示されていればよく、２つの位置がそれぞれ別個に表示されていなくともよい。例えば、移動体画像位置および補正前画像位置の双方をまとめて、１つのマークを用いて表示させてもよい。

図７は、本実施形態の表示装置３０に表示される画像の例を示している。図７（ａ）では、補正前画像位置および補正後の車両画像位置をそれぞれ別個のマーカを用いて示している。また、図７（ｂ）では、補正前画像位置から補正後の車両画像位置まで領域の色を変化させることにより、これらの位置を示している。図７に示す例の場合、表示装置３０に補正前画像位置を示す情報のみを表示する場合、監視する対象車両が車両１０であるか、車両１０の後方を走行する車両であるかが明らかではない。これに対し、画像上の車両の位置を補正することにより、対象車両が車両１０であることが明確となる。また、図7（ｂ）では、補正前から補正後間に存在しうる範囲を表示させるため、車両画像位置と、画像上に表示される車両の位置との間にずれが生じた場合でも、そのずれを加味した存在範囲を表示することが可能となる。

以上のとおり、本実施形態によれば、画像上の車両の位置を高い精度で特定することが可能となり、オペレータは車両を見誤ることなく、対象車両を監視することが可能となる。

（変形例）
本変形例では、上述した実施形態２とは異なる方法を用いて、画像上の車両の位置を補正する方法を説明する。

本変形例では、車両情報取得部１０１および画像取得部１０２は、上述した実施形態２と同様、車両１０の走行時刻および移動速度、ならびに撮影時刻をそれぞれ取得する。
本変形例の特定部１０４はまず、走行時刻と撮影時刻との差分および車両１０の移動速度に基づいて、走行時刻から撮影時刻までの間に車両１０が移動した距離を算出する。そして、車両情報取得部１０１が取得した走行位置から車両１０の移動方向に、算出した距離を移動した位置を算出する。ここで算出した位置は、撮影時刻における車両１０の現実の位置（本発明の「第３の現実位置」に対応）である。
特定部１０４はさらに、保存部１０３に保存されている被写体位置と画像位置との対応関係に基づいて、撮影時刻における車両１０の現実の位置に対応する画像位置を特定する。この画像位置は、車両１０が表示されていると推定することができるため、特定部１０４は当該画像位置が車両画像位置であると特定する。

なお、本変形例では、車両画像位置を特定する過程において、補正前画像位置を特定しない。そのため、表示装置３０には、補正後の車両画像位置を示す情報のみが表示される。

（実施形態３）
実施形態１、２の表示装置３０が表示する画像には、車両等の移動体が移動する可能性が著しく低い場所が含まれている可能性がある。このような車両等が移動する可能性が低い場所の画像を監視する必要性は低く、また、このような場所の画像が含まれていることにより、オペレータの注意が監視すべき対象車両からそれるおそれがある。

そこで、本実施形態では、オペレータが対象車両を重点的に監視できるように、撮像装置２０が撮影する画像の一部の解像度や輝度を調整する構成を説明する。

本実施形態の表示制御部１０５は、表示装置３０に表示される画像のうち、予め設定された領域の解像度または輝度を調整する。そして、解像度または輝度を調整した画像を表示装置３０に表示させる。

撮像装置２０が撮影した画像には、例えば、道路のように車両が移動可能な場所（本発明の「第１の場所」に対応）と、河川、山林、私有地、空、建物が建っている場所といった、車両が移動できない場所（本発明の「第２の場所」に対応）とが含まれている。そこで、表示制御部１０５は、車両が移動可能な場所の解像度または輝度が、車両が移動できない場所の解像度または輝度よりも高くなるように画像を調整する。例えば、表示制御部１０５は、車両が移動できない場所に対応する画像上の領域を予め設定し、当該領域の解像度が低くなるように画像を調整する。あるいは、表示制御部１０５は車両が移動可能な場所に対応する画像上の領域を予め設定し、当該領域の解像度が高くなるように画像を調整する。

解像度または輝度を調整する領域を設定する方法は任意である。
例えば、保存部１０３に保存されている被写体位置と画像位置との対応関係に基づいて、輝度を調整する領域を設定してもよい。具体的には、地図データベース（図示せず）から車両が移動できない場所の緯度、経路といった位置情報を取得する。次いで、被写体位置と画像位置との対応関係に基づいて、車両が移動できない場所の位置に対応する画像位置を特定する。そして、特定した画像位置が含まれる画像上の領域を、解像度または輝度を低減させる領域として設定する。

あるいは、画像解析機能を利用して車両が移動できない領域を自動的に解析することによって解像度または輝度を低減させる領域を設定してもよく、あるいは、オペレータが手動で設定してもよい。

図８は、本実施形態の表示装置３０に表示される画像の例を示している。図８の例では、画像に表示された道路以外の領域の解像度が低減した画像が表示装置３０に表示されている。この場合、オペレータは解像度が高い道路部分を集中して監視すればよいため、効率的に監視を行うことができる。

なお、解像度や輝度を低減させる領域は車両が移動できない領域であるため、この領域に含まれる画像位置が移動体画像位置となる可能性は極めて低い。そこで、車両が移動できない領域については、保存部１０３から被写体位置および画像位置の情報を削除してもよい。これにより、保存部１０３に保存される情報量を削減することが可能となる。

本実施形態によれば、オペレータによる監視の必要性が高い場所の解像度や輝度を、監視の必要性が低い場所よりも高くして表示装置に表示させることにより、オペレータが対象車両を効率的に監視できるようにすることができる。

（実施形態４）
本実施形態では、画像上の車両の位置に加えて、画像上の車両が走行する予定の位置を表示装置に表示させる構成を、上述した実施形態との相違点を中心に説明する。

自動運転車両では、最終的な目的地、当該目的地までに通過する経由地、および当該経由地に至る複数の地点が予め設定される。そして、複数の地点を順に通過するように車両の走行を制御することによって、経由地、ひいては目的地への到着が可能となる。つまり、自動運転車両は、将来的に移動する予定の複数の地点の位置情報を有している。そこで、車両情報取得部１０１は、車両１０の走行位置に加えて、車両１０が将来的に移動することを予定している予定位置を取得する。

特定部１０４は、保存部１０３に保存されている被写体位置と画像位置との対応関係に基づいて、車両情報取得部１０１が取得した予定位置に対応する画像位置を特定する。ここで特定した画像位置は、車両１０が画像上を移動する予定の位置であり、予定画像位置とする。

表示制御部１０５は、画像取得部１０２が取得した画像に重畳して、予定画像位置を示す情報を表示装置３０に表示させる。表示制御部１０５はさらに、予定画像位置を接続することにより、画像上の車両１０の走行予定経路を表示装置３０に表示させてもよい。

図７は、本実施形態の表示装置３０に表示される画像の例を示している。実施形態１または２によって表示された車両画像位置に加えて、予定画像位置、および複数の予定画像位置を接続した予定経路が、表示装置３０に表示されている。
オペレータは対象車両が画像上を移動する予定経路を視覚的に把握することができるようになる。

図７の例ではさらに、車両１０の予定経路上に障害物がある。そのため、車両１０がそのまま走行を継続した場合、障害物に接触する可能性がある。そこで、オペレータは、障害物を考慮して、車両１０に対して走行支援を行うことができる。

本実施形態によれば、オペレータは、車両の走行予定を考慮しながら、車両を監視するとともに、車両に対して適切な走行支援を行うことが可能となる。

（実施形態５）
上述した実施形態では、監視対象である車両１０のみに着目し、表示装置３０が表示している画像に車両１０が写っていることを前提としている。しかしながら、実際のオペレーションセンタでは、複数の撮像装置３０が撮影した複数の画像を同時に取得するとともに、複数の車両から複数の走行位置を取得することが考えられる。

そこで、本実施形態では、複数の撮像装置が撮影した複数の画像、および複数の車両から送信された走行位置を利用して、特定の車両を監視する構成を説明する。

図１０は、本実施形態の情報処理装置１１０を示している。本実施形態の情報処理装置１１０は、図１に示す情報処理装置１００に加えて、対象選択部１１１を備えている。
図１１は本実施形態による表示装置の一例であり、表示装置３０は、複数の撮像装置３０によって撮影されたそれぞれ画像を表示する第１の表示装置３１と、第１の表示装置３１に表示された複数の画像のうち特定の画像を拡大して表示する第２の表示装置３２を有している。第２の表示装置３２の右側には、情報処理装置１１０に走行位置を送信している車両それぞれの車両ＩＤが表示されている。

対象選択部１１１は、車両情報取得部１０１が取得した複数の車両の走行位置のうち、オペレータが選択した特定の車両１０を監視対象として選択する。例えば、対象選択部１１１は、図１１の第２の表示装置３２の表示された車両ＩＤのうち、オペレータが入力装置（図示せず）に入力した車両ＩＤを有する車両を監視対象として選択する。図１１の例では、車両ＩＤ００３を有する車両を監視対象として選択する。

なお、本実施形態では、対象選択部１１１は、オペレータが選択した車両を選択する構成を説明する。しかしながら、対象選択部１１１は、車載システムや車両からオペレータに対する呼び出しがあった場合に、呼び出しを実行した車両を監視対象として自動的に選択してもよい。

本実施形態の特定部１０４は、図１１の第１の表示装置３１が表示している画像のうち、対象選択部１１１が選択した車両１０を撮影している画像を特定する。具体的には、特定部１０４は、保存部１０３に保存されている被写体位置と画像位置との対応関係に基づいて、車両１０の走行位置に対応する画像位置を特定する。そして、第１の表示装置３１が表示している画像のうち、特定した画像位置を含む画像を特定する。この際、当該画像の枠を強調させることが望ましい。

表示制御部１０５は、第１の表示装置３１が表示している画像のうち、特定部１０４が特定した画像を第２の表示装置３２に表示させる。

特定部１０４は、例えば、車両ＩＤ００３を有する車両１０から走行位置（Ｎ３０，Ｅ３０）を取得すると、保存部１０３に保存されている被写体位置と画像位置との対応関係に基づいて、走行位置（Ｎ３０，Ｅ３０）に対応する画像位置を特定する。そして、第１の表示装置３１が表示している画像のうち、左下に表示している画像が当該画像位置を含む画像であると特定する。そこで、表示制御部１０５は、当該画像を、第２の表示装置３２に拡大して表示させる。

本実施形態によれば、情報処理装置が複数の撮像装置から複数の画像を取得している場合でも、対象車両を監視するのに適した画像を特定して表示することが可能となる。

（変形例）
特定部１０４は、第１の表示装置が表示している画像のうち、対象車両が写っている画像に代えて、将来的に車両が写る可能性が高い画像を特定してもよい。

本変形例では、車両情報取得部１０１は、車両１０の走行位置に加えて、実施形態４と同様、車両１０が将来的に移動することを予定している予定位置を取得する。

特定部１０４は、保存部１０３に保存されている被写体位置と画像位置との対応関係に基づいて、車両１０の予定位置に対応する予定画像位置を特定する。そして、第１の表示装置３１が表示している画像のうち、予定画像位置を含む画像を特定する。

車両情報取得部１０１が車両１０の移動速度を取得している場合には、特定部１０４はさらに、移動速度に基づいて車両１０が予定位置に到達する時間を算出してもよい。この場合、特定部１０４は、予め設定された所定の時間（例えば、５秒）内に車両１０が通過する予定位置のみを抽出し、抽出した予定位置に対応する予定画像位置を含む画像を特定する。

なお、この例では、特定部１０４は、被写体位置と画像位置との対応関係に基づいて予定画像位置を特定するとともに、予定画像位置を含む画像を特定している。しかしながら、特定部１０４は単に、車両１０の走行位置と、車両１０の進行方向に基づいて、車両１０が将来的に表示される可能性が高い画像を特定してもよい。

図１２は、道路に沿って配置された撮像装置２０－１および２０－２、ならびに道路を走行している車両１０を示している。車両１０は、撮像装置２０－１および２０－２の視野外を走行しているため、これらの撮像装置が撮影する画像に車両１０は表示されていない。

例えば、車両１０から取得した走行位置から最も近い撮像装置を特定する構成とした場合、特定部１０４は撮像装置２０－１を特定することになる。しかしながら、車両１０は撮像装置２０－１の視野を通過した後であるため、撮像装置２０－１が撮影する画像に車両１０が将来的に表示されることはない。
これに対し、本変形例によれば、車両１０が将来的に表示される画像を予め特定して、第２の表示装置３２に表示させることができる。したがって、オペレータは、監視対象の車両１０が撮像装置２０－２の視野に進入した時点から、車両１０の監視を開始することが可能となる。

（総括）
以上、本発明の実施形態における情報処理装置の特徴について説明した。

実施形態で使用した用語は例示であるので、同義の用語、あるいは同義の機能を含む用語に置き換えてもよい。

実施形態の説明に用いたブロック図は、情報処理装置の構成を機能毎に分類および整理したものである。これらの機能ブロックは、ハードウェア又はソフトウェアの任意の組み合わせで実現される。また、機能を示したものであることから、かかるブロック図は方法の発明の開示としても把握できるものである。

各実施形態に記載した処理、フロー、および方法として把握できる機能ブロックについては、一のステップで他のステップの結果を利用する関係にある等の制約がない限り、順序を入れ替えても良い。

各実施形態、および本発明で使用する「第１」「第２」の用語は、同種の２以上の構成や方法を区別するために使用しており、順序や優劣を限定するものではない。

本発明は、各実施形態で説明した構成および機能を有する専用のハードウェアで実現できるだけでなく、メモリやハードディスク等の記録媒体に記録した本発明を実現するためのプログラム、およびこれを実行可能な専用又は汎用ＣＰＵおよびメモリ等を有する汎用のハードウェアとの組み合わせとしても実現できる。

専用や汎用のハードウェアの記録媒体（外部記憶装置（ハードディスク、ＵＳＢメモリ、ＣＤ／ＢＤ等の非遷移的実体的記録媒体(non-transitory tangible storage medium））、内部記憶装置（ＲＡＭ、ＲＯＭ等））に格納されるプログラムは、記録媒体を介して、あるいは記録媒体を介さずにサーバから通信回線を経由して、専用又は汎用のハードウェアに提供することもできる。これにより、プログラムのアップグレードを通じて常に最新の機能を提供することができる。

本発明にかかる情報処理装置は車両の監視用途に限らず、任意の移動体の監視に利用することができる。

また、本発明にかかる情報処理装置は、リアルタイムでのオペレータによる移動体の監視を支援することを想定しているが、過去の移動体の位置および撮像装置が過去に撮影した画像に基づいて、過去の移動体の状況を確認する用途に利用してもよい。

１００，１１０ 情報処理装置、１０１ 車両情報取得部（第１の取得部）、１０２ 画像取得部（第２の取得部）、１０３ 保存部、１０４ 特定部、１０５ 表示制御部

Claims (10)

1. 移動体の外部に設けられる情報処理装置であって、
   前記移動体のうち一の移動体である対象移動体から送信された、前記対象移動体の現実の位置である第１の現実位置と、前記対象移動体が前記第１の現実位置を取得した第１の時刻と、前記対象移動体の移動速度と、を取得する第１の取得部（１０１）と、
   前記移動体の外部に設けられた定置の撮像装置が撮影した画像と、前記撮像装置が前記画像を撮影した第２の時刻と、を取得する第２の取得部（１０２）と、
   前記画像に表示された場所の現実の位置である第２の現実位置を、前記画像上の位置である画像位置と関連付けて保存する保存部（１０３）と、
   前記第２の現実位置と前記画像位置との対応関係に基づいて、前記第１の現実位置に対応する画像位置である補正前画像位置を特定するとともに、前記第１の時刻と前記第２の時刻との差分および前記移動速度に基づいて前記第１の時刻から前記第２の時刻までに前記対象移動体が移動した距離を算出し、前記補正前画像位置から前記対象移動体の移動方向に前記距離に対応する画像上の距離を移動した位置である移動体画像位置を特定する、特定部（１０４）と、
   前記画像に重畳して、前記移動体画像位置を示す情報を表示装置に表示させる表示制御部（１０５）と、
   を備える、情報処理装置（１００，１１０）。
2. 前記表示制御部は、前記移動体画像位置に加えて、前記補正前画像位置を示す情報を前記表示装置に表示させる、
   請求項１記載の情報処理装置。
3. 移動体の外部に設けられる情報処理装置であって、
   前記移動体のうち一の移動体である対象移動体から送信された、前記対象移動体の現実の位置である第１の現実位置と、前記対象移動体が前記第１の現実位置を取得した第１の時刻と、前記対象移動体の移動速度と、を取得する第１の取得部（１０１）と、
   前記移動体の外部に設けられた定置の撮像装置が撮影した画像と、前記撮像装置が前記画像を撮影した第２の時刻と、を取得する第２の取得部（１０２）と、
   前記画像に表示された場所の現実の位置である第２の現実位置を、前記画像上の位置である画像位置と関連付けて保存する保存部（１０３）と、
   前記第１の時刻と前記第２の時刻との差分、前記移動速度、前記対象移動体の移動方向、および前記第１の現実位置に基づいて前記第２の時刻における前記対象移動体の現実の位置である第３の現実位置を算出し、前記第２の現実位置と前記画像位置との対応関係に基づいて、前記第３の現実位置に対応する画像位置である移動体画像位置を特定する、特定部（１０４）と、
   前記画像に重畳して、前記移動体画像位置を示す情報を表示装置に表示させる表示制御部（１０５）と、
   を備える、情報処理装置（１００，１１０）。
4. 前記画像は、前記移動体が移動可能な第１の場所と、前記移動体が移動できない第２の場所とを含み、
   前記表示制御部は、前記第１の場所の解像度または輝度が前記第２の場所よりも高い前記画像を前記表示装置に表示させる、
   請求項１又は３記載の情報処理装置。
5. 前記第１の取得部はさらに、前記対象移動体が移動を予定している予定位置を取得し、
   前記特定部はさらに、前記第２の現実位置と前記画像位置との対応関係に基づいて、前記予定位置に対応する画像位置である予定画像位置を特定し、
   前記表示制御部はさらに、前記予定画像位置を示す情報を前記表示装置に表示させる、
   請求項１又は３記載の情報処理装置。
6. 前記第１の取得部は、前記対象移動体が移動を予定している予定位置を取得し、
   前記第２の取得部は、複数の前記画像を取得し、
   前記特定部はさらに、前記第２の現実位置と前記画像位置との対応関係に基づいて、前記予定位置に対応する画像位置である予定画像位置を特定するとともに、複数の前記画像のうち前記予定画像位置を含む画像を特定し、
   前記表示制御部は、前記特定部が特定した前記画像を前記表示装置に表示させる、
   請求項１又は３記載の情報処理装置。
7. 移動体の外部に設けられ、表示装置と接続された情報処理装置で実行される情報処理方法であって、
   前記移動体のうち一の移動体である対象移動体から送信された、前記対象移動体の現実の位置である第１の現実位置と、前記対象移動体が前記第１の現実位置を取得した第１の時刻と、前記対象移動体の移動速度と、を取得し、
   前記移動体の外部に設けられた定置の撮像装置が撮影した画像と、前記撮像装置が前記画像を撮影した第２の時刻と、を取得し、
   保存部に保存された、前記画像に表示された場所の現実の位置である第２の現実位置と前記画像上の位置である画像位置との対応関係に基づいて、前記第１の現実位置に対応する画像位置である補正前画像位置を特定するとともに、前記第１の時刻と前記第２の時刻との差分および前記移動速度に基づいて前記第１の時刻から前記第２の時刻までに前記対象移動体が移動した距離を算出し、前記補正前画像位置から前記対象移動体の移動方向に前記距離に対応する画像上の距離を移動した位置である移動体画像位置を特定し、
   前記画像に重畳して、前記移動体画像位置を示す情報を前記表示装置に表示させる、
   情報処理方法。
8. 移動体の外部に設けられ、表示装置と接続された情報処理装置で実行される情報処理方法であって、
   前記移動体のうち一の移動体である対象移動体から送信された、前記対象移動体の現実の位置である第１の現実位置と、前記対象移動体が前記第１の現実位置を取得した第１の時刻と、前記対象移動体の移動速度と、を取得し、
   前記移動体の外部に設けられた定置の撮像装置が撮影した画像と、前記撮像装置が前記画像を撮影した第２の時刻と、を取得し、
   前記第１の時刻と前記第２の時刻との差分、前記移動速度、前記対象移動体の移動方向、および前記第１の現実位置に基づいて前記第２の時刻における前記対象移動体の現実の位置である第３の現実位置を算出し、保存部に保存された、前記画像に表示された場所の現実の位置である第２の現実位置と前記画像上の位置である画像位置との対応関係に基づいて、前記第３の現実位置に対応する画像位置である移動体画像位置を特定し、
   前記画像に重畳して、前記移動体画像位置を示す情報を前記表示装置に表示させる、
   情報処理方法。
9. 移動体の外部に設けられ、表示装置と接続された情報処理装置で実行されるプログラムであって、
   前記移動体のうち一の移動体である対象移動体から送信された、前記対象移動体の現実の位置である第１の現実位置と、前記対象移動体が前記第１の現実位置を取得した第１の時刻と、前記対象移動体の移動速度と、を取得し、
   前記移動体の外部に設けられた定置の撮像装置が撮影した画像と、前記撮像装置が前記画像を撮影した第２の時刻と、を取得し、
   保存部に保存された、前記画像に表示された場所の現実の位置である第２の現実位置と前記画像上の位置である画像位置との対応関係に基づいて、前記第１の現実位置に対応する画像位置である補正前画像位置を特定するとともに、前記第１の時刻と前記第２の時刻との差分および前記移動速度に基づいて前記第１の時刻から前記第２の時刻までに前記対象移動体が移動した距離を算出し、前記補正前画像位置から前記対象移動体の移動方向に前記距離に対応する画像上の距離を移動した位置である移動体画像位置を特定し、
   前記画像に重畳して、前記移動体画像位置を示す情報を前記表示装置に表示させる、
   プログラム。
10. 移動体の外部に設けられ、表示装置と接続された情報処理装置で実行されるプログラムであって、
    前記移動体のうち一の移動体である対象移動体から送信された、前記対象移動体の現実の位置である第１の現実位置と、前記対象移動体が前記第１の現実位置を取得した第１の時刻と、前記対象移動体の移動速度と、を取得し、
    前記移動体の外部に設けられた定置の撮像装置が撮影した画像と、前記撮像装置が前記画像を撮影した第２の時刻と、を取得し、
    前記第１の時刻と前記第２の時刻との差分、前記移動速度、前記対象移動体の移動方向、および前記第１の現実位置に基づいて前記第２の時刻における前記対象移動体の現実の位置である第３の現実位置を算出し、保存部に保存された、前記画像に表示された場所の現実の位置である第２の現実位置と前記画像上の位置である画像位置との対応関係に基づいて、前記第３の現実位置に対応する画像位置である移動体画像位置を特定し、
    前記画像に重畳して、前記移動体画像位置を示す情報を前記表示装置に表示させる、
    プログラム。

Images