JP6775263B2

JP6775263B2 - 測位方法及び装置

Info

Publication number: JP6775263B2
Application number: JP2019529633A
Authority: JP
Inventors: 義▲ミン▼ 林; 士国廉
Original assignee: Cloudminds Shenzhen Robotics Systems Co Ltd
Current assignee: Cloudminds Shenzhen Robotics Systems Co Ltd
Priority date: 2016-12-02
Filing date: 2016-12-02
Publication date: 2020-10-28
Anticipated expiration: 2036-12-02
Also published as: JP2019537023A; CN107223244B; EP3534234A1; WO2018098811A1; US20190333239A1; EP3534234A4; CN107223244A

Description

本発明は、測位及びナビゲーションの分野に関し、特に測位方法及び装置に関する。

現在、ｖＳＬＡＭ（ｖｉｓｕａｌｓｉｍｕｌｔａｎｅｏｕｓｌｏｃａｌｉｚａｔｉｏｎａｎｄｍａｐｐｉｎｇ、視覚的同時測位及びマッピング）はロボットナビゲーションに幅広く使用されており、ロボットによる測位及びナビゲーションのタスクを支援することができる。しかしながら、ｖＳＬＡＭは画像に基づいて処理するため、光照射や視角の変動による影響を受けやすい。例えば、ｖＳＬＡＭが昼間にあるシーンのある時刻での地図を作成するが、夜の光照射が変わるので、夜に同じシーンにおいて収集するｖＳＬＡＭ地図にマッチングする画像は、昼間に作成した地図において検出できないため、測位及びナビゲーションをリアルタイムで実施できない。また、ｖＳＬＡＭは、画像を収集するときにセンサの視角による影響を受けるため、作成された地図の視角には指向性があり、測位時の視角と保存視角に大きな差異があり、同様に測位及びナビゲーションを実施できない。

本発明の実施例は、ｖＳＬＡＭが視角や光照射による影響を受けて測位及びナビゲーションを実施できなくなるという問題を解決する測位方法及び装置を提供する。

上記目的を達成させるために、本発明の実施例は下記技術案を採用する。

第１態様によれば、
複数の視覚的同時測位及びマッピングｖＳＬＡＭプロセスを作成して、各ｖＳＬＡＭプロセスのために対応した地図データベースをそれぞれロードするステップと、
各ｖＳＬＡＭプロセスを呼び出して、リアルタイム画像に基づいて測位するステップと、
測位に成功した各ｖＳＬＡＭプロセスによる測位結果に基づいて測位するステップとを含む測位方法を提供する。

第２態様によれば、
複数の視覚的同時測位及びマッピングｖＳＬＡＭプロセスを作成して、各ｖＳＬＡＭプロセスのために対応した地図データベースをそれぞれロードする作成ユニットと、各ｖＳＬＡＭプロセスを呼び出して、リアルタイム画像に基づいて測位する測位ユニットとを備え、
前記測位ユニットはさらに、測位に成功した各ｖＳＬＡＭプロセスによる測位結果に基づいて測位する測位装置を提供する。

第３態様によれば、第１態様に記載の測位方法を実行するために設計されるプログラムコードを含む測位装置用のコンピュータソフトウェア命令を記憶するコンピュータ記憶媒体を提供する。

第４態様によれば、コンピュータの内部メモリに直接ロードでき、ソフトウェアコードを含み、前記コンピュータプログラムがコンピュータを介してロードされて実行されると第１態様に記載の測位方法を実現できるコンピュータプログラム製品を提供する。

第５態様によれば、コンピュータ実行可能コードを記憶するメモリと、測位機器と外部機器のデータ伝送を行う通信インターフェースと、前記コンピュータ実行可能コードを実行して第１態様に記載の測位方法を実行するように制御するプロセッサとを備える電子機器を提供する。

本発明の実施例による測位方法及び装置は、異なる撮影期間又は撮影視角に対応した地図データベースをリアルタイム画像とマッチングさせ、次にマッチング結果に基づいて測位することによって、ｖＳＬＡＭが視角や光照射による影響を受けて測位及びナビゲーションを実施できなくなるという問題を解決する。

本発明の実施例または従来技術における技術案をさらに説明するために、以下、実施例または従来技術の説明に必要な図面を簡単に説明するが、勿論、以下の説明における図面は本発明の実施例の一部に過ぎず、当業者であれば、創造的な努力を必要とせずに、これら図面に基づいて他の図面を想到し得る。

本発明の実施例による視角の模式図である。本発明の実施例による測位の模式図である。本発明の実施例による測位方法のフロー模式図である。本発明の実施例による測位方法のフロー模式図である。本発明の実施例による測位装置の構造模式図である。本発明の実施例による別の測位装置の構造模式図である。本発明の実施例によるさらなる測位装置の構造模式図である。

以下、本発明の実施例における図面を参照しながら、本発明の実施例における技術案を明瞭且つ完全に説明するが、勿論、説明する実施例は本発明の実施例の一部に過ぎず、すべての実施例ではない。本発明における実施例に基づいて、当業者が創造的な努力を必要とせずに想到し得る他のすべての実施例は、本発明の保護範囲に属する。

本発明の実施例による測位方法及び装置はロボット、自律走行自動車などの装置による室内外での視覚測位及びナビゲーションに適用できる。測位装置は測位サーバーとしてクラウドに配置されてもよく、又は端末（たとえば盲導ヘルメット）として現場に配置されてもよい。

図１に示されるように、本発明の実施例の前記視角とは、カメラの光軸方向と走行方向がなす角度である。図２に示されるように、本発明の実施例の前記測位とは、直角座標系Ｘ−Ｙ平面における位置（ｘ、ｙ）を特定する。

本発明の実施例による測位方法は、上記測位装置に適用され、図３に示されるように、Ｓ１０１−Ｓ１０４を含む。

Ｓ１０１、複数のｖＳＬＡＭプロセスを作成し、各ｖＳＬＡＭプロセスのために対応した地図データベースをそれぞれロードする。

地図データベースは、同一経路について異なる期間、異なる視角で事前に収集した地図データベースである。具体的には、出発地、目的地及び走行経路が決定されると、ある期間において、撮影車両が視覚センサモジュールの視角を一定に保持して、出発地から走行経路に沿って目的地へ走行し、走行過程において所定時間ごとに画像を１回撮影するとともに位置座標（相対位置又は絶対位置）を記録し、目的地に到着すると、該走行経路の一組の地図データベースが形成される。ここで、地図データベースはそれぞれ画像、画像撮影時の視角、時間及び位置座標を含む。

計算量のバランス及びマッチングの正確性のために、撮影時間間隔は、表１に示されるように１時間を間隔としてそれぞれ０−２３時での地図データベースを収集することができ、このようにすると、各種光照射条件での地図データベースが得られる。また、視角は、表１に示されるように４５度を間隔として３６０度視角での地図データベースを収集できる。さらに好ましくは、３６０度パノラマカメラを直接用いて撮影することにより表２に示される地図データベースを取得することができ、地図データベースはそれぞれ３６０度パノラマ画像を含み、それにより撮影作業量を低減させるとともに、測位時の計算量を減少させる。

作成されたｖＳＬＡＭプロセスの数が地図データベースの組数以下としてもよい。例えば、１６組の地図データベースがある場合、１−１６個のプロセスを作成して上記マッチング演算を行い、プロセスごとに一組の地図データベースを利用してリアルタイム画像とともに測位を行い、１つのプロセスによる測位が終了すると、すべてのＮ組の地図データベースのロードが完了するまで、残りの複数組の地図データベースから一組を選択して、再度リアルタイム画像とともに測位を行う。

各ｖＳＬＡＭプロセスは、同じ測位ルールを用いて、異なる地図データベースについて測位を行ってもよく、異なる測位ルールを用いて、同一地図データベースについて測位を行ってもよい。

いくつかの実施形態において、初期化時に、複数のｖＳＬＡＭプロセスを作成し、１つのｖＳＬＡＭプロセスが測位に失敗すると、該ｖＳＬＡＭプロセスを終了し、それにより計算リソースを節約することができる。作成された各ｖＳＬＡＭプロセスがすべて終了すると、改めて複数のｖＳＬＡＭプロセスを作成する。

Ｓ１０２、各ｖＳＬＡＭプロセスを呼び出して、リアルタイム画像に基づいて測位する。

具体的には、視覚センサモジュール（例えばカメラ）により現在フレームのリアルタイム画像を収集する。

各プロセスがリアルタイム画像に基づいてロードした地図データベースから測位結果を取得すると、演算をさらに簡素化させるために、両方のすべての画像点を１つずつマッチングさせることなく、それぞれ両方から画像特徴を抽出した後に両方の画像特徴をマッチングさせることができ、このように計算量を大幅に減少できる。さらに、地図データベースが一定のものであるので、地図データベースを画像特徴として予め保存しておき、それにより測位するたびに、リアルタイム画像だけについて画像特徴を抽出すればよく、それにより計算量をさらに減少させる。

いくつかの実施形態において、１つのｖＳＬＡＭプロセスが測位に成功すると、該プロセスは、測位に成功したｖＳＬＡＭプロセスが出力する測位結果により指示される位置を検索範囲に含むように、測位に成功していないほかのｖＳＬＡＭプロセスに対応地図データベースにおける検索範囲を絞り込むように通知できる。一例として、第１プロセスが第１組の地図データベースを処理し、第２プロセスが第２組の地図データベースを処理するとすれば、第１プロセスによる処理において、測位過程に第１組の地図データベースにおける１００番目の地図データベースによる測位成功を検出すると、第２プロセス（測位未成功）に、第２組の地図データベースにおける１００番目の地図データベースの付近で測位成功の可能性が最も高い旨を知らせて、例えば、第２組の地図データベースにおける前の８９個の地図データベースをスキップして、９０番目の地図データベースから検出するような指示を第２プロセスに与え、それによって計算作業量を減少させるという目的を達成させる。

いくつかの実施形態において、ｖＳＬＡＭプロセスが測位に失敗すると、該プロセスがロードした本組の地図データベースは光照射、視角、撮影間隔などの要素によりリアルタイム画像について測位できないことを示し、本組の地図データベースは後続のリアルタイム画像の測位過程に関与しなくなり、したがって、該ｖＳＬＡＭプロセスを終了し、このようにすべてのｖＳＬＡＭプロセスがすべて終了すると、次の撮影間隔におけるリアルタイム画像の地図データベースに対する測位を成功させるために、ステップＳ１０１に従って複数のｖＳＬＡＭプロセスを再度作成し、それによって、計算作業量を減少させる目的を達成させる。具体的には、各組の地図データベースにフラグを設定する方式によって各組の地図データベースが後続のリアルタイム画像の測位過程に関与するか否かを示すことができる。

Ｓ１０３、測位装置は、Ｎ組の地図データベースの測位結果に基づいて測位する。

具体的には、測位に成功した各ｖＳＬＡＭプロセスによる測位結果により指示される位置の座標値について平均値を求めて現在のリアルタイム画像の位置結果とする。次に、測位の位置座標に基づいて路径計画結果と組み合わせてナビゲーション方向を決定する。

好ましくは、図４に示されるように、ステップＳ１０１の前に、Ｓ１０４をさらに含んでもよい。

Ｓ１０４、パノラマ画像撮影カメラが複数の角度で撮影した画像を取得し、各角度で撮影した画像をｖＳＬＡＭプロセスに使用される地図データベースに対応して設定する。

地図データベースはそれぞれ３６０度パノラマ画像を含むことにより、撮影作業量を低減させるとともに、測位時の計算量を減少させる。

本発明の実施例による測位方法は、異なる撮影期間又は撮影視角に対応した地図データベースをリアルタイム画像と測位を行い、次に測位結果に基づいて測位することによって、ｖＳＬＡＭが視角や光照射による影響を受けて測位及びナビゲーションを実施できなくなるという問題を解決する。

当業者にとって明らかなように、本明細書に開示された実施例において説明する各例示的なユニットおよびアルゴリズムのステップに基づいて、本発明はハードウェアまたはハードウェアとコンピュータソフトウェアの組み合わせとして実現できる。特定の機能がハードウェアによって実行されるか、コンピュータソフトウェアを利用してハードウェアを駆動する方式で実行されるかは、技術案の特定用途および設計の制限条件により決まる。当業者であれば、各特定の用途に応じて異なる方法により説明される機能を実現できるが、これら実現は本発明の範囲に含まれる。

本発明の実施例は、上記方法の例に応じて測位装置の機能モジュールを分割することができ、たとえば、各機能に対応して各機能モジュールを分割してもよいし、２つまたは２つ以上の機能を１つの処理モジュールに集積させてもよい。上記集積モジュールは、ハードウェアの形態として実現されてもよく、ソフトウェア機能モジュールの形態として実現されてもよい。なお、本発明の実施例によるモジュールの分割は模式的なものであり、ロジック機能による分割に過ぎず、実際に実現するときに別の分割方式としてもよい。

各機能に対応して各機能モジュールを分割する場合について、図５は上記実施例に係る測位装置の一例の構造模式図を示しており、測位装置１１は、作成ユニット１１０１、測位ユニット１１０２、取得ユニット１１０３を備える。測位装置は、作成ユニット１１０１を利用して図３における過程Ｓ１０１、図４における過程Ｓ１０１を実行し、測位ユニット１１０２を利用して図３における過程Ｓ１０２、Ｓ１０３、図４における過程Ｓ１０２、Ｓ１０３を実行し、取得ユニット１１０３を利用して図４における過程Ｓ１０４を実行する。上記方法の実施例に係る各ステップのすべての関連内容は対応した機能モジュールの機能の説明に引用できるため、ここで詳細な説明を省略する。

集積ユニットを用いる場合について、図６は、上記実施例に係る電子機器の一例の構造模式図を示している。電子機器１１は、処理モジュール１１１２及び通信モジュール１１１３を備える。処理モジュール１１１２は、測位装置の動作を制御して管理し、例えば、処理モジュール１１１２を利用して図３における過程Ｓ１０１−Ｓ１０３、図４における過程Ｓ１０１−Ｓ１０４、及び／又は本明細書に説明された技術のほかの過程を実行し、通信モジュール１１１３を利用してほかの外部エンティティと通信する。電子機器１１はさらに、測位装置のプログラムコード及びデータを記憶するための記憶モジュール１１１１を備えてもよい。

処理モジュール１１１２は、プロセッサまたはコントローラ、たとえば中央プロセッサ（ｃｅｎｔｒａｌｐｒｏｃｅｓｓｉｎｇｕｎｉｔ、ＣＰＵ）、汎用プロセッサ、デジタルシグナルプロセッサ（ｄｉｇｉｔａｌｓｉｇｎａｌｐｒｏｃｅｓｓｏｒ、ＤＳＰ）、特定用途向け集積回路（ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃｉｎｔｅｇｒａｔｅｄｃｉｒｃｕｉｔ、ＡＳＩＣ）、フィールド・プログラマブル・ゲート・アレイ（ｆｉｅｌｄｐｒｏｇｒａｍｍａｂｌｅｇａｔｅａｒｒａｙ、ＦＰＧＡ）またはほかのプログラマブルロジックデバイス、トランジスタロジックデバイス、ハードウェアコンポーネントまたはそれらの任意の組み合わせであってもよい。本発明の開示内容において説明された各種例示的な論理ブロック、モジュールおよび回路を実現または実行できる。前記プロセッサは、計算機能を実現できる組み合わせとしてもよく、たとえば１つまたは複数のマイクロプロセッサの組み合わせ、ＤＳＰとマイクロプロセッサの組み合わせなどを含む。記憶モジュール１１１１はメモリであってもよい。

処理モジュール１１１２がプロセッサ、通信モジュール１１１３が通信インターフェース、記憶モジュール１１１１がメモリである場合、本発明の実施例に係る測位装置は図７に示される測位装置であってもよい。

図７に示されるように、該電子機器１１は、プロセッサ１１２２、通信インターフェース１１２３、メモリ１１２１およびバス１１２４を備える。プロセッサ１１２２、通信インターフェース１１２３、メモリ１１２１はバス１１２４を介して互いに接続され、バス１１２４は周辺機器相互接続標準（ｐｅｒｉｐｈｅｒａｌｃｏｍｐｏｎｅｎｔｉｎｔｅｒｃｏｎｎｅｃｔ、ＰＣＩ）バスまたは拡張業界標準アーキテクチャ（ｅｘｔｅｎｄｅｄｉｎｄｕｓｔｒｙｓｔａｎｄａｒｄａｒｃｈｉｔｅｃｔｕｒｅ、ＥＩＳＡ）バスなどとしてもよい。前記バスは、アドレスバス、データバス、制御バスなどに分類できる。表示し易さから、図７中に１本の太線で示されているが、１本のバスまたは１種のタイプのバスだけがあると限らない。

実施するときに、ここでの電子機器は、民生用電子機器であってもよいし、対応した機能を提供するサーバーなどであってもよい。

本発明の開示内容において説明した方法またはアルゴリズムのステップはハードウェアの方式により実現されてもよいし、プロセッサでソフトウェア命令を実行する方式により実現されてもよい。本発明の実施例はさらに記憶媒体を提供し、該記憶媒体は測位方法を実行するために設計されるプログラムコードを含む測位装置用のコンピュータソフトウェア命令を記憶するメモリ１１２１を含んでもよい。具体的には、ソフトウェア命令は対応したソフトウェアモジュールから構成でき、ソフトウェアモジュールはランダムアクセスメモリ（ｒａｎｄｏｍａｃｃｅｓｓｍｅｍｏｒｙ、ＲＡＭ）、フラッシュメモリ、読み取り専用メモリ（ｒｅａｄｏｎｌｙｍｅｍｏｒｙ、ＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（ｅｒａｓａｂｌｅｐｒｏｇｒａｍｍａｂｌｅＲＯＭ、ＥＰＲＯＭ）、電気的消去可能プログラマブル読み取り専用メモリ（ｅｌｅｃｔｒｉｃａｌｌｙＥＰＲＯＭ、ＥＥＰＲＯＭ）、レジスター、ハードディスク、モバイルハードディスク、読み取り専用コンパクトディスク（CD-ROM）または本分野において公知する任意の形態の記憶媒体に格納できる。一例として、記憶媒体がプロセッサに結合され、それによってプロセッサは該記憶媒体から情報を読み取ったり、該記憶媒体に情報を書き込んだりすることができる。勿論、記憶媒体はプロセッサの構成部分であってもよい。プロセッサおよび記憶媒体はＡＳＩＣに配置できる。また、該ＡＳＩＣは測位装置に配置できる。勿論、プロセッサおよび記憶媒体は独立部品として測位装置に存在してもよい。

本発明の実施例はさらに、メモリ１１２１に直接ロードでき、ソフトウェアコードを含み、コンピュータプログラムがコンピュータによりロードされて実行されると上記マンマシンハイブリッド意思決定方法を実行できるコンピュータプログラム製品を提供する。

以上は本発明の特定の実施形態に過ぎず、本発明の保護範囲がそれに制限されず、当業者が本発明の開示した技術範囲から逸出することなく、容易に想到し得る変化または置換はすべて本発明の保護範囲に属する。このため、本発明の保護範囲は前記特許請求の範囲の保護範囲を基準にする。

Claims

測位方法であって、
複数の視覚的同時測位及びマッピングｖＳＬＡＭプロセスを作成して、各ｖＳＬＡＭプロセスのために対応した地図データベースをそれぞれロードするステップと、
各ｖＳＬＡＭプロセスを呼び出して、リアルタイム画像に基づいて測位するステップと、
測位に成功した各ｖＳＬＡＭプロセスによる測位結果に基づいて測位するステップとを含み、
ｖＳＬＡＭプロセスのうちの１つが測位に成功した後、測位に成功したｖＳＬＡＭプロセスが出力する測位結果により指示される位置を検索範囲に含むように、ほかのｖＳＬＡＭプロセスの対応した地図データベースにおける検索範囲を絞り込むステップをさらに含むことを特徴とする測位方法。
前記複数の視覚的同時測位及びマッピングｖＳＬＡＭプロセスを作成するステップは、
異なる測位ルールを用いた複数のｖＳＬＡＭプロセスを作成するステップを含むことを特徴とする請求項１に記載の方法。
前記複数の視覚的同時測位及びマッピングｖＳＬＡＭプロセスを作成するステップは、
初期化時に、複数のｖＳＬＡＭプロセスを作成するステップと、作成した各ｖＳＬＡＭプロセスがすべて終了した後、複数のｖＳＬＡＭプロセスを作成するステップとを含み、
前記方法はさらに、
ｖＳＬＡＭプロセスが測位に失敗するごとに、該ｖＳＬＡＭプロセスを終了するステップを含むことを特徴とする請求項１又は２に記載の方法。
前記測位に成功した各ｖＳＬＡＭプロセスによる測位結果に基づいて測位するステップは、
測位に成功した各ｖＳＬＡＭプロセスによる測位結果により指示される位置の座標値の平均値を現在測位結果とするステップを含むことを特徴とする請求項１−３のいずれか１項に記載の方法。
パノラマ画像撮影カメラが複数の角度で撮影した画像を取得するステップと、
各角度で撮影した画像をｖＳＬＡＭプロセスに使用される地図データベースに対応して設定するステップとをさらに含むことを特徴とする請求項１−４のいずれか１項に記載の方法。
測位装置であって、
複数の視覚的同時測位及びマッピングｖＳＬＡＭプロセスを作成して、各ｖＳＬＡＭプロセスのために対応した地図データベースをそれぞれロードする作成ユニットと、
各ｖＳＬＡＭプロセスを呼び出して、リアルタイム画像に基づいて測位する測位ユニットとを備え、
前記測位ユニットはさらに、測位に成功した各ｖＳＬＡＭプロセスによる測位結果に基づいて測位し、
前記測位ユニットはさらに、ｖＳＬＡＭプロセスのうちの１つが測位に成功した後、測位に成功したｖＳＬＡＭプロセスが出力する測位結果により指示される位置を検索範囲に含むように、ほかのｖＳＬＡＭプロセスの対応した地図データベースにおける検索範囲を絞り込むことを特徴とする測位装置。
前記作成ユニットは具体的には、
異なる測位ルールを用いた複数の異なるタイプのｖＳＬＡＭプロセスを作成することを特徴とする請求項６に記載の測位装置。
前記作成ユニットは具体的には、初期化時に、複数のｖＳＬＡＭプロセスを作成し、且つ作成したｖＳＬＡＭプロセスがすべて終了した後、複数のｖＳＬＡＭプロセスを作成し、
前記測位ユニットはさらに、ｖＳＬＡＭプロセスが測位に失敗するごとに、該ｖＳＬＡＭプロセスを終了することを特徴とする請求項６又は７に記載の測位装置。
前記測位ユニットは具体的には、
測位に成功した各ｖＳＬＡＭプロセスによる測位結果により指示される位置の座標値の平均値を現在測位結果とすることを特徴とする請求項６−８のいずれか１項に記載の測位装置。
パノラマ画像撮影カメラが複数の角度で撮影した画像を取得し、各角度で撮影した画像をｖＳＬＡＭプロセスに使用される地図データベースに対応して設定する取得ユニットをさらに備えることを特徴とする請求項６−９のいずれか１項に記載の測位装置。
コンピュータ記憶媒体であって、
請求項１〜５のいずれか１項に記載の測位方法を実行するために設計されたプログラムコードを含む測位装置用のコンピュータソフトウェア命令を記憶することを特徴とするコンピュータ記憶媒体。
電子機器であって、
コンピュータ実行可能コードを記憶するメモリと、測位機器と外部機器がデータ伝送を行う通信インターフェースと、前記コンピュータ実行可能コードを実行して請求項１−５のいずれか１項に記載の測位方法を実行するように制御するプロセッサとを備えることを特徴とする電子機器。