JP6872128B2 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

Description

本開示は、情報処理装置、情報処理方法、およびプログラムに関し、特に、例えば、自動車などの移動体に搭載して自己位置を推定する場合に用いて好適な情報処理装置、情報処理方法、およびプログラムに関する。

自動車などの移動体に搭載して自己位置を推定する技術としてSLAM(Simultaneous Localization and Mapping)が知られている。

ステレオカメラ等を用いたSLAMによる自己位置推定技術は以下の処理から構成される。すなわち、初めに、ステレオカメラにより撮像された視差の異なるステレオ画像対から特徴があるテクスチャ領域を検出し、テクスチャ領域から特徴点を検出して奥行推定を行う処理、すなわち、特徴点の３Ｄ座標を推定する処理が行われる。次に、得られた特徴点を複数フレームに亘ってトラッキングする処理、すなわち、特徴点の２Ｄ座標トラッキング処理が行われる。最後に、推定された特徴点の３Ｄ座標と、追跡された特徴点の２Ｄ座標の組み合わせを尤も適切に表現できるポーズ（自己位置と向き）を推定する処理、すなわち、６DOF（自由度６）の自己位置を推定する処理が行われる（例えば、特許文献１参照）。

特開２００８−３０４２６８号公報

SLAMによる自己位置推定技術が上述した処理から構成されることにより、一般的には、ステレオカメラにより撮像された画像の大部分がテクスチャのない壁や床によって占められる場合、周辺環境（他の自動車や歩行者など)が動く場合、特徴点の３Ｄ座標の空間分布が偏る場合には自己位置推定が困難となる。

特に、屋外で使用される自動車などの移動体にSLAMによる自己位置推定技術を適用する場合には、以下のような問題が発生して自己位置の推定が困難となる事態が起こり得る。

すなわち、例えば、近くに特徴のある被写体が存在せず、遠方の建物がテクスチャとして検出される場合、テクスチャの時間変動が得られない。画像上において周辺環境が移動する場合、自己が動いているのか、周辺環境が動いているのかを区別することができない。自己（自動車）が高速に移動する場合、画面上から特徴点が消失してしまい、トラッキングが困難となる。

本開示はこのような状況に鑑みてなされたものであり、継続的に自己位置を推定できるようにするものである。

本開示の一側面である情報処理装置は、移動体に搭載されたステレオカメラから構成され、所定のフレームレートで動画像を撮像することにより時系列のステレオ主画像対を出力する主撮像部と、前記主撮像部とは撮像方向が異なるように前記移動体に搭載され、所定のフレームレートで動画像を撮像することにより時系列の副画像を出力する１または複数の副撮像部と、前記主撮像部によって撮像されたステレオ主画像対から検出した特徴点の３Ｄ座標と、前記特徴点を前記副画像の複数フレームに亘ってトラッキングすることによって得られた、前記特徴点の前記ステレオ主画像対における２Ｄ座標とに基づいて前記移動体のポーズを推定する最終ポーズ決定部とを備える。

前記副撮像部は、広角カメラ、魚眼カメラ、または全方位カメラから構成され、所定のフレームレートで動画像を撮像することにより、時系列の前記副画像を出力することができ、前記最終ポーズ決定部は、前記主撮像部によって撮像された前記ステレオ主画像対から検出した特徴点の３Ｄ座標を推定する３Ｄ推定部と、前記特徴点を前記副画像の複数フレームに亘ってトラッキングし、トラッキング結果を前記ステレオ主画像対における２Ｄ座標に変換する２Ｄトラッキング部と、前記３Ｄ推定部によって推定された前記特徴点の３Ｄ座標と、前記２Ｄトラッキング部によって変換された前記特徴点の前記ステレオ主画像対における２Ｄ座標とに基づいて最終ポーズを推定するポーズ推定部とを有することができる。

前記３Ｄ推定部は、前記主撮像部によって撮像された前記ステレオ主画像対から検出した特徴点の３Ｄ座標を推定するとともに、前記特徴点の前記副画像における２Ｄ座標を推定することができ、前記２Ｄトラッキング部は、前記３Ｄ推定部によって推定された前記特徴点の前記副画像における２Ｄ座標に基づき、前記特徴点を前記副画像の複数フレームに亘ってトラッキングし、トラッキング結果を前記ステレオ主画像対における２Ｄ座標に変換することができる。

複数の前記副撮像部は、前記３Ｄ推定部による前記特徴点の前記副画像における２Ｄ座標の推定結果に基づき、選択的に切り替えられて撮像を行うことができる。

本開示の一側面である情報処理方法は、情報処理装置による情報処理方法において、前記情報処理装置による、移動体に搭載されたステレオカメラから構成され、所定のフレームレートで動画像を撮像することにより時系列のステレオ主画像対を出力する主撮像部によって撮像された前記ステレオ主画像対から検出した特徴点の３Ｄ座標と、前記主撮像部とは撮像方向が異なるように前記移動体に搭載され、所定のフレームレートで動画像を撮像することにより時系列の副画像を出力する１または複数の副撮像部によって撮像された前記副画像の複数フレームに亘って前記特徴点をトラッキングすることによって得られた、前記特徴点の前記ステレオ主画像対における２Ｄ座標とに基づいて前記移動体のポーズを推定する最終ポーズ決定ステップを含む。

本開示の一側面であるプログラムは、情報処理装置の制御用のプログラムにおいて、移動体に搭載されたステレオカメラから構成され、所定のフレームレートで動画像を撮像することにより時系列のステレオ主画像対を出力する主撮像部によって撮像された前記ステレオ主画像対から検出した特徴点の３Ｄ座標と、前記主撮像部とは撮像方向が異なるように前記移動体に搭載され、所定のフレームレートで動画像を撮像することにより時系列の副画像を出力する１または複数の副撮像部によって撮像された前記副画像の複数フレームに亘って前記特徴点をトラッキングすることによって得られた、前記特徴点の前記ステレオ主画像対における２Ｄ座標とに基づいて前記移動体のポーズを推定する最終ポーズ決定ステップを含む処理を情報処理装置のコンピュータに実行させる。

本開示の一側面においては、移動体に搭載されたステレオカメラから構成され、所定のフレームレートで動画像を撮像することにより時系列のステレオ主画像対を出力する主撮像部によって撮像された前記ステレオ主画像対から検出した特徴点の３Ｄ座標と、前記主撮像部とは撮像方向が異なるように前記移動体に搭載され、所定のフレームレートで動画像を撮像することにより時系列の副画像を出力する１または複数の副撮像部によって撮像された前記副画像の複数フレームに亘って前記特徴点をトラッキングすることによって得られた、前記特徴点の前記ステレオ主画像対における２Ｄ座標とに基づいて前記移動体のポーズが推定される。

本開示の一側面によれば、継続的に自己位置を推定することができる。

本開示を適用した情報処理装置の第１の構成例を示すブロック図である。 図１の第１乃至第４の撮像部の自動車における配置例を示す図である。 情報処理装置の第１の構成例による最終ポーズ決定処理を説明するフローチャートである。 本開示を適用した情報処理装置の第２の構成例を示すブロック図である。 図４の第１乃至第３の撮像部の自動車における配置例を示す図である。 第１乃至第３の撮像部の代わりに全方位カメラを配置した例を示す図である。 第１乃至第３の撮像部の代わりに下向きカメラを配置した例を示す図である。 情報処理装置の第２の構成例による最終ポーズ決定処理を説明するフローチャートである。 本開示を適用した情報処理装置をヘッドマウントディスプレイに搭載した場合の概念図である。 本開示を適用した情報処理装置を自立型掃除ロボットに搭載した場合の概念図である。 本開示を適用した情報処理装置をドローン（自律型無人飛行機）に搭載した場合の概念図である。 本開示を適用した情報処理装置を３Ｄモデルや任意視点映像などの作成に応用する場合の概念図である。 汎用のコンピュータの構成例を示すブロック図である。

以下、本開示を実施するための最良の形態（以下、実施の形態と称する）について、図面を参照しながら詳細に説明する。以下においては、本開示の実施の形態である情報処理装置は、屋外で使用される自動車に搭載して使用することを想定して説明する。

＜本開示を適用した情報処理装置の第１の構成例＞
図１は、本開示を適用した情報処理装置の第１の構成例を示している。

該第１の構成例は、第１の撮像部１１−１乃至第４の撮像部１１−４、SLAM処理部１２−１乃至１２−４、および統合部１３から構成される。

第１の撮像部１１−１は、高解像度ステレオカメラから構成されており、所定のフレームレートで動画像を撮像し、その結果得られる視差が異なるステレオ画像対をSLAM処理部１２−１に供給する。第２の撮像部１１−２乃至第４の撮像部１１−４についても第１の撮像部１１−１と同様に構成される。なお、ステレオカメラの代わりに、１台のカメラと被写体までの距離（３Ｄ座標）を測定できる偏光センサ、アクティブ系センサ（ToFセンサ、ＳＬセンサなど）を用いてもよい。

図２は、第１の撮像部１１−１乃至第４の撮像部１１−４の自動車における配置例を示しており、同図Ａは側面図を示しており、同図Ｂは上面図を示している。

第１の撮像部１１−１乃至第４の撮像部１１−４は、それぞれ異なる方向を撮像範囲とするように配置される。同図の場合、第１の撮像部１１−１は、前方を撮像範囲とするように、自動車の前側に配置されている。第２の撮像部１１−２は、右側方を撮像範囲とするように、自動車の右側に配置されている。第３の撮像部１１−３は、左側方を撮像範囲とするように、自動車の左側面に配置されている。第４の撮像部１１−４は、後方を撮像範囲とするように、自動車の後側に配置されている。

なお、第１の撮像部１１−１乃至第４の撮像部１１−４の配置は、図２の配置例に限定されるものではなく、複数の高解像度ステレオカメラによって自動車の周囲を撮像できるようにすればよい。また、図示は省略するが、路面を撮像範囲とするように、自動車の下部に第２の撮像部１１−２乃至第４の撮像部１１−４のいずれかを配置するようにしてもよい。

図１に戻る。SLAM処理部１２−１は、第１の撮像部１１−１から順次所定のフレームレートで供給される、視差が異なるステレオ画像対を対象としてSLAM処理を行い、その結果えられるポーズとその信頼度を統合部１３に出力する。ここで、ポーズとは、６DOFの自己位置である。信頼度は、有効な特徴点の数、特徴点の３次元空間分布、直前に得られた最終ポーズとの差分、または、推定における最適化演算における残差のうちの少なくとも一つを含むものとする。

SLAM処理部１２−２乃至１２−４についてもSLAM処理部１２−１と同様、前段から順次所定のフレームレートで供給される、視差が異なるステレオ画像対を対象としてSLAM処理を行い、その結果得られるポーズとその信頼度を統合部１３に出力する。

なお、SLAM処理部１２−１乃至１２−４が行うSLAM処理の一部または全部を、いわゆるクラウド上のサーバに実行させるようにしてもよい。

統合部１３は、SLAM処理部１２−１乃至１２−４から入力されるポーズを、その信頼度に基づいて統合して最終的なポーズを決定する。具体的には、SLAM処理部１２−１乃至１２−４から入力されるポーズをその信頼度に基づいて重み付け平均したり、信頼度が最も高いポーズを採用したり、SLAM処理部１２−１乃至１２−４から入力されるポーズを、その信頼度に基づくカルマンフィルタ(Kalman Filter)によって統合したりして最終的なポーズを決定する。

＜情報処理装置の第１の構成例による最終ポーズ決定処理＞
次に、図３は、情報処理装置の第１の構成例による最終ポーズ決定処理を説明するフローチャートである。

以下、第１の撮像部１１−１乃至第４の撮像部１１−４のそれぞれに対応するSLAM処理部１２−１乃至１２−４の組み合わせをそれぞれステレオカメラ系と称する。また、第１の撮像部１１−１乃至第４の撮像部１１−４を個々に区別する必要が無い場合には撮像部１１と称し、SLAM処理部１２−１乃至１２−４を個々に区別する必要が無い場合にはSLAM処理部１２と称する。

ステップＳ１において、各ステレオカメラ系の撮像部１１によって所定のフレームレートで動画像の撮像を開始し、その結果得られる視差が異なるステレオ画像対を対象としてSLAM処理部１２に供給する。

ステップＳ２において、各ステレオカメラ系のSLAM処理部１２は、前段の撮像部１１から順次所定のフレームレートで供給される、視差が異なるステレオ画像対を対象としてSLAM処理を行い、ステップＳ３において、その結果えられるポーズとその信頼度を統合部１３に出力する。

ステップＳ４において、統合部１３は、各ステレオカメラ系のSLAM処理部１２から入力されるポーズを、その信頼度に基づいて統合して最終的なポーズを決定する。具体的には、上述した３種類の統合方法のいずれを採用してもよい。

以上に説明した最終ポーズ決定処理によれば、全てのステレオカメラ系で自己位置が推定され、その結果が統合されるので、仮に１つのステレオカメラ系で自己位置推定ができなかったり、誤差が有ったりしても、継続的に最終的なポーズを推定することができる。

なお、ステレオカメラ系の数は４に限らず、２以上であればよい。当然ながら、その数が増えれば、最終的なポーズの正確性を高めることができる。

＜本開示を適用した情報処理装置の第２の構成例＞
図４は、本開示を適用した情報処理装置の第２の構成例を示している。

該第２の構成例は、大別して３Ｄ推定部２１、２Ｄトラッキング部２７、およびポーズ推定部３１から構成される。

３Ｄ推定部２１は、ステレオ撮像部２２、特徴点検出部２３、奥行推定部２４、座標変換部２５および保持部２６を有する。

ステレオ撮像部２２は、自動車の前方を撮像する高解像度ステレオカメラから構成されており、所定のフレームレートで動画像を撮像し、その結果得られる視差が異なるステレオ画像対を特徴点検出部２３に供給する。

特徴点検出部２３は、ステレオ撮像部２２から供給されるステレオ画像対から特徴があるテクスチャ領域を検出し、テクスチャ領域から１以上の特徴点を検出して、検出結果を示す２Ｄ特徴点群@cam0を奥行推定部２４に出力する。

奥行推定部２４は、ステレオ画像対における特徴点の奥行推定を行う処理、すなわち、特徴点の３Ｄ座標を推定する処理を行い、処理結果を示す３Ｄ特徴点群@cam0を座標変換部２５および保持部２６に出力する。

座標変換部２５は、奥行推定部２４から得られる３Ｄ特徴点群@cam0に基づき、ステレオ画像対における特徴点の、第１の撮像部２８−１（後述）によって撮像される第１の画像における２Ｄ座標を推定し、その結果得られる推定２Ｄ特徴点群@cam[1]を保持部２６に出力する。また、座標変換部２５は、奥行推定部２４から得られる３Ｄ特徴点群@cam0に基づき、ステレオ画像対における特徴点の、第２の撮像部２８−２（後述）によって撮像される第２の画像における２Ｄ座標を推定し、その結果得られる推定２Ｄ特徴点群@cam[2]を保持部２６に出力する。さらに、座標変換部２５は、奥行推定部２４から得られる３Ｄ特徴点群@cam0に基づき、ステレオ画像対における特徴点の、第３の撮像部２８−３（後述）によって撮像される第３の画像における２Ｄ座標を推定し、その結果得られる推定２Ｄ特徴点群@cam[3]を保持部２６に出力する。

保持部２６は、奥行推定部２４から入力される３Ｄ特徴点群@cam0と、座標変換部２５から入力される推定２Ｄ特徴点群@cam[i]（i=1,2,3）を保持する。

２Ｄトラッキング部２７は、第１の撮像部２８−１乃至第３の撮像部２８−３、トラッキング部２９−１乃至２９−３、および座標変換部３０−１乃至３０−３を有する。

第１の撮像部２８−１は、広角カメラまたは魚眼カメラなどの撮像範囲が広いカメラから成り、所定のフレームレートで動画像を撮像し、その結果得られる第１の画像をトラッキング部２９−１に供給する。同様に、第２の撮像部２８−２は、第２の画像をトラッキング部２９−２に供給し、第３の撮像部２８−３は、第３の画像をトラッキング部２９−３に供給する。上述したように、第１の撮像部２８−１乃至第３の撮像部２８−３は、視差に基づくキャリブレーションなどが必須となるステレオカメラではなく、それぞれが１台の広角カメラなどで構成することができるので、ステレオカメラを用いた場合に比較して、低コスト化を実現でき、キャリブレーションの手間を省くことができる。

なお、第１の撮像部２８−１乃至第３の撮像部２８−３から得られる第１乃至第３の画像から有効なテクスチャ範囲を選定し、ステレオ撮像部２２を構成する高解像度ステレオカメラの向きやズーム率を制御するようにしてもよい。

図５は、第１の撮像部２８−１乃至第３の撮像部２８−３の自動車における配置例を示している。

同図に示されるように、第１の撮像部２８−１は、例えば、自動車の左側を撮像範囲とする位置に取り付けられる。第２の撮像部２８−２は、例えば、自動車の右側を撮像範囲とする位置に取り付けられる。第３の撮像部２８−３は、例えば、自動車の後方を撮像範囲とする位置に取り付けられる。

なお、第１の撮像部２８−１乃至第３の撮像部２８−３の全てに対して同時に撮像を行わせるのではなく、第１の撮像部２８−１乃至第３の撮像部２８−３を選択的に切り替えて撮像させてもよい。具体的には、ステレオ画像対から検出された特徴点の空間分布（特に奥行方向の分布）が偏らないように選択したり、動きが有る周辺環境を撮像していないものを選択したり、特徴点として有効なテクスチャを撮像しているものを選択したりして撮像させるようにしてもよい。これにより、省電力化を図ることができる。

また、第１の撮像部２８−１乃至第３の撮像部２８−３を設ける代わりに、図６に示されるように、周囲３６０度を撮像範囲とする全方位カメラ２８を自動車の屋根などに配置してもよい。または、図７に示されるように、第１の撮像部２８−１乃至第３の撮像部２８−３を設ける代わりに、路面を撮像範囲とする下向きカメラ２８を自動車の底部などに配置してもよい。

図４に戻る。トラッキング部２９−１は、保持部２６から推定２Ｄ特徴点群@cam[1]を取得し、取得した推定２Ｄ特徴点群@cam[1]に基づいて、ステレオ画像対から検出された特徴点を、第１の撮像部２８−１から得られる第１の画像上でトラッキングし、その結果得られる２Ｄ特徴点群@cam[1]を座標変換部３０−１に出力する。なお、ステレオ画像対から検出された特徴点のうち、第１の画像上に存在しない特徴点については、２Ｄ特徴点群@cam[1]から削除する。同様に、トラッキング部２９−２は、２Ｄ特徴点群@cam[2]を座標変換部３０−２に出力し、トラッキング部２９−３は、２Ｄ特徴点群@cam[3]を座標変換部３０−３に出力する。

座標変換部３０−１は、トラッキング部２９−１から入力された２Ｄ特徴点群@cam[1]に基づき、第１の画像上でトラッキングした特徴点の２Ｄ座標を、ステレオ画像対における２Ｄ座標に変換し、その結果得られる２Ｄ特徴点群@cam0-1をポーズ推定部３１に出力する。同様に、座標変換部３０−２は２Ｄ特徴点群@cam0-2をポーズ推定部３１に出力し、座標変換部３０−３は２Ｄ特徴点群@cam0-3をポーズ推定部３１に出力する。

ポーズ推定部３１は、保持部２６から３Ｄ特徴点群@cam0を取得し、取得した３Ｄ特徴点群@cam0と、２Ｄ特徴点群@cam0-1乃至２Ｄ特徴点群@cam0-3に基づいて、３Ｄ座標と２Ｄ座標との組み合わせが尤も適切に表現できる最終ポーズ（６DOF）を推定する。

＜情報処理装置の第２の構成例による最終ポーズ決定処理＞
次に、図８は、情報処理装置の第２の構成例による最終ポーズ決定処理を説明するフローチャートである。

前提として、既にステレオ撮像部２２は所定のフレームレートで動画像の撮像を開始しており、その結果得られるステレオ画像対を後段に出力しているものとする。

ステップＳ１１において、３Ｄ推定部２１の特徴点検出部２３は、ステレオ画像対から特徴があるテクスチャ領域を検出し、テクスチャ領域から１以上の特徴点を検出して、検出結果を示す２Ｄ特徴点群@cam0を奥行推定部２４に出力する。ステップＳ１２において、奥行推定部２４は、ステレオ画像対における特徴点の３Ｄ座標を推定し、その結果を示す３Ｄ特徴点群@cam0を座標変換部２５および保持部２６に出力する。

ステップＳ１３において、座標変換部２５は、３Ｄ特徴点群@cam0に基づき、ステレオ画像対における特徴点の、第１の乃至第３の画像における２Ｄ座標を推定し、その結果得られる推定２Ｄ特徴点群@cam[i]（i=1,2,3）を保持部２６に出力する。

この後、２Ｄトラッキング部２７の第１の撮像部２８−１乃至第３の撮像部２８−３は、選択的に切り替えられて動画像の撮像を開始する。

ステップＳ１４において、トラッキング部２９−ｉ（ｉ＝１，２，３）は、保持部２６から推定２Ｄ特徴点群@cam[i]を取得し、取得した推定２Ｄ特徴点群@cam[i]に基づいて、ステレオ画像対から検出された特徴点を、前段から得られる第ｉの画像上でトラッキングすることによって２Ｄ特徴点群@cam[i]を得る。次に、ステップＳ１５において、トラッキング部２９−ｉは、第ｉの画像上でトラッキングできなかった特徴点の記録を２Ｄ特徴点群@cam[i]から削除して座標変換部３０−ｉに出力する。

ステップＳ１６において、座標変換部３０−ｉ（ｉ＝１，２，３）は、トラッキング部２９−ｉから入力された２Ｄ特徴点群@cam[i]に基づき、第ｉの画像上にトラッキングした特徴点の２Ｄ座標を、ステレオ画像対における２Ｄ座標に変換し、その結果得られる２Ｄ特徴点群@cam0-iをポーズ推定部３１に出力する。

ステップＳ１７において、ポーズ推定部３１は、保持部２６から３Ｄ特徴点群@cam0を取得し、取得した３Ｄ特徴点群@cam0と、２Ｄ特徴点群@cam0-1乃至２Ｄ特徴点群@cam0-3に基づいて、３Ｄ座標と２Ｄ座標との組み合わせが尤も適切に表現できる最終ポーズ（６DOF）を推定する。

以上説明した情報処理装置の第２の構成例による最終ポーズ決定処理によれば、第１の撮像部２８−１乃至第３の撮像部２８−３のうちのいずれかが、具体的には、ステレオ画像対から検出された特徴点を継続的にトラッキングできるように、また、特徴点の空間分布が偏らないように、周辺環境に影響されない特徴点を検出できるように選択的に切り替えられるので、最終的なポーズを継続的に推定することが可能となる。

＜本開示を適用した情報処理装置の応用例＞
上述した実施の形態では、車載用途を想定していたが、情報処理装置の第１および第２の構成例は車載用途以外への応用も可能である。

図９は、情報処理装置の第２の構成例をHMD（ヘッドマウントディスプレイ）に搭載した場合の概念図を示している。

同図に示されるHMDを用いれば、ユーザの頭部の位置と姿勢を継続的に推定することができるので、動画再生やAR/VRアプリケーションにおいて、ユーザの状態に応じた映像を提示することが可能となる。

図１０は、情報処理装置の第２の構成例を自律型掃除ロボットに搭載した場合の概念図を示している。図１１は、情報処理装置の第２の構成例をドローン（自律型無人飛行機）に搭載した場合の概念図を示している。

図１０に示される自律型掃除ロボットや図１１に示されるドローンによれば、継続的に安定して自己のポーズを推定することができるので、安定した移動や飛行が可能となる。

図示は省略するが、該情報処理装置を小型して保護すべき野生動物などに取り付ければ、位置を継続的に推定できるので、それらの行動解析に資することが可能となる。

図１２は、情報処理装置の第２の構成例を３Ｄモデルや任意視点映像の作成に応用する場合の概念図を示している。同図に示されるように、不動の被写体（同図の場合、建物）の周囲に各撮像部を配置すれば、各撮像部の位置と姿勢を推定できるので、各撮像部によって撮像された画像を用いて３Ｄモデルや任意視点映像を作成することができる。

ところで、上述した情報処理装置の第１および第２の構成例による一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図１３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

このコンピュータ１００において、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。

バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、入力部１０６、出力部１０７、記憶部１０８、通信部１０９、およびドライブ１１０が接続されている。

入力部１０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部１０７は、ディスプレイ、スピーカなどよりなる。記憶部１０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１０９は、ネットワークインタフェースなどよりなる。ドライブ１１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア１１１を駆動する。

以上のように構成されるコンピュータ１００では、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５およびバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。

なお、コンピュータ１００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。

なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

本開示は以下のような構成も取ることができる。
（１）
移動体に搭載されたステレオカメラから構成され、所定のフレームレートで動画像を撮像することにより時系列のステレオ主画像対を出力する主撮像部と、
前記主撮像部とは撮像方向が異なるように前記移動体に搭載され、所定のフレームレートで動画像を撮像する１または複数の副撮像部と、
前記主撮像部によって撮像されたステレオ主画像対と、前記副撮像部によって撮像された副画像とに基づいて前記移動体のポーズを推定する最終ポーズ決定部と
を備える情報処理装置。
（２）
前記副撮像部は、ステレオカメラから構成され、所定のフレームレートで動画像を撮像することにより時系列のステレオ副画像対を出力し、
前記最終ポーズ決定部は、
前記主撮像部によって撮像された時系列のステレオ主画像対に基づいて前記移動体のポーズを推定する主推定部と、
前記副撮像部によって撮像された時系列のステレオ副画像対に基づいて前記移動体のポーズを推定する副推定部と、
前記主推定部によって推定されたポーズと、前記副推定部によって推定されたポーズとを統合することにより最終ポーズを決定する統合部とを有する
前記（１）に記載の情報処理装置。
（３）
前記主推定部は、前記ステレオ主画像対から検出した特徴点の３Ｄ座標と推定するとともに、前記特徴点を前記ステレオ主画像対の一方の複数フレームに亘ってトラッキングすることによって前記移動体のポーズを推定し、推定したポーズとその信頼度を前記統合部に出力し、
前記副推定部は、前記ステレオ副画像対から検出した特徴点の３Ｄ座標と推定するとともに、前記特徴点を前記ステレオ副画像対の一方の複数フレームに亘ってトラッキングすることによって前記移動体のポーズを推定し、推定したポーズとその信頼度を前記統合部に出力し、
前記統合部は、前記信頼度に基づいて、前記主推定部によって推定されたポーズと、前記副推定部によって推定されたポーズとを統合することにより最終ポーズを決定する
前記（２）に記載の情報処理装置。
（４）
前記信頼度は、前記ポーズを推定するに際して有効な前記特徴点の数、前記特徴点の３Ｄ空間分布、推定された前記ポーズと直近の最終ポーズとの差分、または、推定における最適化演算における残差のうちの少なくとも一つを含む
前記（３）に記載の情報処理装置。
（５）
前記副撮像部は、広角カメラ、魚眼カメラ、または全方位カメラから構成され、所定のフレームレートで動画像を撮像することにより、時系列の副画像を出力し、
前記最終ポーズ決定部は、
前記主撮像部によって撮像された前記ステレオ主画像対から検出した特徴点の３Ｄ座標を推定する３Ｄ推定部と、
前記特徴点を前記副画像の複数フレームに亘ってトラッキングし、トラッキング結果を前記ステレオ主画像対における２Ｄ座標に変換する２Ｄトラッキング部と、
３Ｄ推定部によって推定された前記特徴点の前記３Ｄ座標と、前記２Ｄトラッキング部によって変換された前記特徴点の前記ステレオ主画像対における２Ｄ座標とに基づいて最終ポーズを推定するポーズ推定部とを有する
前記（１）に記載の情報処理装置。
（６）
前記３Ｄ推定部は、前記主撮像部によって撮像された前記ステレオ主画像対から検出した特徴点の３Ｄ座標を推定するとともに、前記特徴点の前記副画像における２Ｄ座標を推定し、
前記２Ｄトラッキング部は、前記３Ｄ推定部によって推定された前記特徴点の前記副画像における前記２Ｄ座標に基づき、前記特徴点を前記副画像の複数フレームに亘ってトラッキングし、トラッキング結果を前記ステレオ主画像対における２Ｄ座標に変換する
前記（５）に記載の情報処理装置。
（７）
複数の前記副撮像部は、前記３Ｄ推定部による前記特徴点の前記副画像における前記２Ｄ座標に推定結果に基づき、選択的に切り替えられて撮像を行う
前記（５）または（６）に記載の情報処理装置。
（８）
情報処理装置による情報処理方法において、
前記情報処理装置による、
移動体に搭載されたステレオカメラから構成され、所定のフレームレートで動画像を撮像することにより時系列のステレオ主画像対を出力する主撮像部によって撮像されたステレオ主画像対と、前記主撮像部とは撮像方向が異なるように前記移動体に搭載され、所定のフレームレートで動画像を撮像する１または複数の副撮像部によって撮像された副画像とに基づいて前記移動体のポーズを推定する最終ポーズ決定ステップを
含む情報処理方法。
（９）
情報処理装置の制御用のプログラムにおいて、
移動体に搭載されたステレオカメラから構成され、所定のフレームレートで動画像を撮像することにより時系列のステレオ主画像対を出力する主撮像部によって撮像されたステレオ主画像対と、前記主撮像部とは撮像方向が異なるように前記移動体に搭載され、所定のフレームレートで動画像を撮像する１または複数の副撮像部によって撮像された副画像とに基づいて前記移動体のポーズを推定する最終ポーズ決定ステップを
含む処理を情報処理装置のコンピュータに実行させるプログラム。

１１−１ 第１の撮像部， １１−２ 第２の撮像部， １１−３ 第３の撮像部， １１−４ 第４の撮像部， １２−１乃至１２−４ SLAM処理部， １３ 統合部， ２１ ３Ｄ推定部， ２２ ステレオ撮像部， ２３ 特徴点検出部， ２４ 奥行推定部， ２５ 座標変換部， ２６ 保持部， ２７ ２Ｄトラッキング部， ２８−１ 第１の撮像部， ２８−２ 第２の撮像部， ２８−３ 第３の撮像部， ２９−１乃至２９−３ トラッキング部， ３０−１乃至３０−３ 座標変換部， ３１ ポーズ推定部， １００ コンピュータ， １０１ CPU

Claims (6)

1. 移動体に搭載されたステレオカメラから構成され、所定のフレームレートで動画像を撮像することにより時系列のステレオ主画像対を出力する主撮像部と、
   前記主撮像部とは撮像方向が異なるように前記移動体に搭載され、所定のフレームレートで動画像を撮像することにより時系列の副画像を出力する１または複数の副撮像部と、
   前記主撮像部によって撮像された前記ステレオ主画像対から検出した特徴点の３Ｄ座標と、前記特徴点を前記副画像の複数フレームに亘ってトラッキングすることによって得られた、前記特徴点の前記ステレオ主画像対における２Ｄ座標とに基づいて前記移動体のポーズを推定する最終ポーズ決定部と
   を備える情報処理装置。
2. 前記副撮像部は、広角カメラ、魚眼カメラ、または全方位カメラから構成され、所定のフレームレートで動画像を撮像することにより、時系列の前記副画像を出力し、
   前記最終ポーズ決定部は、
   前記主撮像部によって撮像された前記ステレオ主画像対から検出した特徴点の３Ｄ座標を推定する３Ｄ推定部と、
   前記特徴点を前記副画像の複数フレームに亘ってトラッキングし、トラッキング結果を前記ステレオ主画像対における２Ｄ座標に変換する２Ｄトラッキング部と、
   前記３Ｄ推定部によって推定された前記特徴点の３Ｄ座標と、前記２Ｄトラッキング部によって変換された前記特徴点の前記ステレオ主画像対における２Ｄ座標とに基づいて最終ポーズを推定するポーズ推定部とを有する
   請求項１に記載の情報処理装置。
3. 前記３Ｄ推定部は、前記主撮像部によって撮像された前記ステレオ主画像対から検出した特徴点の３Ｄ座標を推定するとともに、前記特徴点の前記副画像における２Ｄ座標を推定し、
   前記２Ｄトラッキング部は、前記３Ｄ推定部によって推定された前記特徴点の前記副画像における２Ｄ座標に基づき、前記特徴点を前記副画像の複数フレームに亘ってトラッキングし、トラッキング結果を前記ステレオ主画像対における２Ｄ座標に変換する
   請求項２に記載の情報処理装置。
4. 複数の前記副撮像部は、前記３Ｄ推定部による前記特徴点の前記副画像における２Ｄ座標の推定結果に基づき、選択的に切り替えられて撮像を行う
   請求項３に記載の情報処理装置。
5. 情報処理装置による情報処理方法において、
   前記情報処理装置による、
   移動体に搭載されたステレオカメラから構成され、所定のフレームレートで動画像を撮像することにより時系列のステレオ主画像対を出力する主撮像部によって撮像された前記ステレオ主画像対から検出した特徴点の３Ｄ座標と、前記主撮像部とは撮像方向が異なるように前記移動体に搭載され、所定のフレームレートで動画像を撮像することにより時系列の副画像を出力する１または複数の副撮像部によって撮像された前記副画像の複数フレームに亘って前記特徴点をトラッキングすることによって得られた、前記特徴点の前記ステレオ主画像対における２Ｄ座標とに基づいて前記移動体のポーズを推定する最終ポーズ決定ステップを
   含む情報処理方法。
6. 情報処理装置の制御用のプログラムにおいて、
   移動体に搭載されたステレオカメラから構成され、所定のフレームレートで動画像を撮像することにより時系列のステレオ主画像対を出力する主撮像部によって撮像された前記ステレオ主画像対から検出した特徴点の３Ｄ座標と、前記主撮像部とは撮像方向が異なるように前記移動体に搭載され、所定のフレームレートで動画像を撮像することにより時系列の副画像を出力する１または複数の副撮像部によって撮像された前記副画像の複数フレームに亘って前記特徴点をトラッキングすることによって得られた、前記特徴点の前記ステレオ主画像対における２Ｄ座標とに基づいて前記移動体のポーズを推定する最終ポーズ決定ステップを
   含む処理を情報処理装置のコンピュータに実行させるプログラム。

Images