JP7750246B2 - 情報処理装置、情報処理システム、および方法、並びにプログラム - Google Patents

情報処理装置、情報処理システム、および方法、並びにプログラム

Info

Publication number
JP7750246B2
JP7750246B2 JP2022557332A JP2022557332A JP7750246B2 JP 7750246 B2 JP7750246 B2 JP 7750246B2 JP 2022557332 A JP2022557332 A JP 2022557332A JP 2022557332 A JP2022557332 A JP 2022557332A JP 7750246 B2 JP7750246 B2 JP 7750246B2
Authority
JP
Japan
Prior art keywords
target
search
mobile device
information processing
tracked
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022557332A
Other languages
English (en)
Other versions
JPWO2022085368A1 (ja
Inventor
熙 陳
洋 宮川
浩 川島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2022085368A1 publication Critical patent/JPWO2022085368A1/ja
Application granted granted Critical
Publication of JP7750246B2 publication Critical patent/JP7750246B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20Control system inputs
    • G05D1/24Arrangements for determining position or orientation
    • G05D1/243Means capturing signals occurring naturally from the environment, e.g. ambient optical, acoustic, gravitational or magnetic signals
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/3407Route searching; Route guidance specially adapted for specific applications
    • G01C21/3415Dynamic re-routing, e.g. recalculating the route when the user deviates from calculated route or after detecting real-time traffic data or accidents
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20Control system inputs
    • G05D1/24Arrangements for determining position or orientation
    • G05D1/242Means based on the reflection of waves generated by the vehicle
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20Control system inputs
    • G05D1/24Arrangements for determining position or orientation
    • G05D1/246Arrangements for determining position or orientation using environment maps, e.g. simultaneous localisation and mapping [SLAM]
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/60Intended control result
    • G05D1/656Interaction with payloads or external entities
    • G05D1/686Maintaining a relative position with respect to moving targets, e.g. following animals or humans
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2107/00Specific environments of the controlled vehicles
    • G05D2107/60Open buildings, e.g. offices, hospitals, shopping areas or universities
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2109/00Types of controlled vehicles
    • G05D2109/10Land vehicles
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2111/00Details of signals used for control of position, course, altitude or attitude of land, water, air or space vehicles
    • G05D2111/10Optical signals
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2111/00Details of signals used for control of position, course, altitude or attitude of land, water, air or space vehicles
    • G05D2111/10Optical signals
    • G05D2111/17Coherent light, e.g. laser signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Description

本開示は、情報処理装置、情報処理システム、および方法、並びにプログラムに関する。さらに詳細には、ロボット等の移動装置が人や車等を追従する際の移動経路を生成する情報処理装置、情報処理システム、および方法、並びにプログラムに関する。
近年、ロボットや、自動運転車両、さらにドローン等の自律移動体の利用が増加している。
このような自律移動体の中には、例えば前方の別の移動体や人などを「追従対象」に設定して、追従対象を追従して移動する構成としたものがある。
通常、ロボット等の移動装置が、追従対象を追従する際、ロボットのカメラ等の視野内に追従対象を入れて、追従対象を確認し、追従対象の位置やその位置のすぐ手前に移動目的位置を設定して、設定した目的位置への移動経路を生成して移動する処理を行う。
しかし、追従対象の進行方向に複数の経路に分岐する岐路が存在し、突然、追従対象が岐路から横道に移動してしまうと、ロボットの視野から追従対象が外れ、ロボットは追従対象を認識できなくなり、追従処理が不可能になるといったことがある。
追従対象が視野角から外れた場合には、追従対象位置を推定して、推定結果に基づいて追従を試みることが一般的である。
他の方法として、推定処理を行わず、過去の観測位置に追随目標が存在するとして、視野内に目標が収まる位置まで移動する手法がある。
しかし、例えば、追従対象が岐路において視野から外れ、追従対象が岐路のどの経路を選択したが不明の場合には、この手法の適用は困難となる。
なお、先導車両を追従して走行する車両走行制御処理について開示した従来技術として、例えば特許文献1(特開2010-203886号公報)がある。
特許文献1(特開2010-203886号公報)には、後続車の視界に先導車が常に入るように地図データ等を参照ながら先導車と後続車の位置関係を制御する構成を開示している。
しかし、この特許文献1に記載の構成では、例えば交差点で先導車が右折や左折を行う場合、後続車が先導車に近づく位置まで待機して、その後右折や左折を行う処理が必要であり、処理効率が低下するという問題がある。
また、特許文献1に記載の構成は、先導車と後続車が協力関係にあることが前提であり、例えば、追従対象となる先導車が後続車から逃げようとしている場合には、この特許文献1に記載の構成は利用できないという問題がある。
特開2010-203886号公報
本開示は、例えば、上記の問題点に鑑みてなされたものである。具体的には、ロボットのカメラ等のセンサで追従対象を確認しながら追従を行う構成において、例えば交差点等でロボットの視野から追従対象が外れた場合、見失った追従対象を効率的に再発見して追従を継続させることを可能とする情報処理装置、情報処理システム、および方法、並びにプログラムを提供することを目的とする。
本開示の第1の側面は、
移動装置が追従する追従対象の推定位置である追従対象推定位置を算出する追従対象位置推定部と、
前記追従対象を探索する追従対象探索部を有し、
前記追従対象探索部は、
前記移動装置の現在位置と、前記追従対象の存在可能位置を結ぶ1つ以上の探索経路を算出し、
算出した1つ以上の探索経路を、前記追従対象推定位置に近い順に上位から並べた探索経路リストを生成し、
生成した探索経路リストの上位から順番に探索経路を選択し、選択した探索経路に従って前記移動装置を移動させて前記追従対象を探索する情報処理装置にある。
さらに、本開示の第2の側面は、
移動装置と、前記移動装置と通信可能な情報処理装置を有する情報処理システムであり、
前記情報処理装置は、
前記移動装置が追従する追従対象の推定位置である追従対象推定位置を算出する追従対象位置推定部と、
前記追従対象を探索する追従対象探索部を有し、
前記追従対象探索部は、
前記移動装置の現在位置と、前記追従対象の存在可能位置を結ぶ1つ以上の探索経路を算出し、
算出した1つ以上の探索経路を、前記追従対象推定位置に近い順に上位から並べた探索経路リストを生成し、
生成した探索経路リストの上位から順番に探索経路を選択し、
前記移動装置は、
前記情報処理装置が選択した探索経路に従って移動して前記追従対象を探索する情報処理システムにある。
さらに、本開示の第3の側面は、
情報処理装置において実行する情報処理方法であり、
追従対象位置推定部が、移動装置が追従する追従対象の推定位置である追従対象推定位置を算出する追従対象位置推定ステップと、
追従対象探索部が、
前記移動装置の現在位置と、前記追従対象の存在可能位置を結ぶ1つ以上の探索経路を算出し、
算出した1つ以上の探索経路を、前記追従対象推定位置に近い順に上位から並べた探索経路リストを生成し、
生成した探索経路リストの上位から順番に探索経路を選択し、選択した探索経路に従って前記移動装置を移動させて前記追従対象を探索するステップを実行する情報処理方法にある。
さらに、本開示の第4の側面は、
移動装置と、前記移動装置と通信可能な情報処理装置を有する情報処理システムにおいて実行する情報処理方法であり、
前記情報処理装置が、
前記移動装置が追従する追従対象の推定位置である追従対象推定位置を算出する追従対象位置推定処理と、
前記移動装置の現在位置と、前記追従対象の存在可能位置を結ぶ1つ以上の探索経路を算出し、算出した1つ以上の探索経路を、前記追従対象推定位置に近い順に上位から並べた探索経路リストを生成し、生成した探索経路リストの上位から順番に探索経路を選択する処理を実行し、
前記移動装置が、
前記情報処理装置が選択した探索経路に従って移動して前記追従対象を探索する情報処理方法にある。
さらに、本開示の第5の側面は、
情報処理装置において情報処理を実行させるプログラムであり、
追従対象位置推定部に、移動装置が追従する追従対象の推定位置である追従対象推定位置を算出させる追従対象位置推定ステップと、
追従対象探索部に、
前記移動装置の現在位置と、前記追従対象の存在可能位置を結ぶ1つ以上の探索経路を算出させ、
算出した1つ以上の探索経路を、前記追従対象推定位置に近い順に上位から並べた探索経路リストを生成させ、
生成した探索経路リストの上位から順番に探索経路を選択させ、選択した探索経路に従って前記移動装置を移動させて前記追従対象を探索させるプログラムにある。
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
本開示の一実施例の構成によれば、移動装置が追従する追従対象をロストした場合、効率的に追従対象を再発見して追従を再開可能とする装置、方法が実現される。
具体的には、例えば、追従対象位置推定部と、追従対象を探索する追従対象探索部を有する。追従対象探索部は、移動装置の現在位置と、追従対象の存在可能位置を結ぶ1つ以上の探索経路を算出し、算出した1つ以上の探索経路を、追従対象推定位置に近い順に上位から並べた探索経路リストを生成し、生成した探索経路リストの上位から順番に探索経路を選択し、選択した探索経路に従って移動装置を移動させて追従対象を探索する。移動装置に装着されたカメラの撮影画像に基づいて追従対象が検出されたか否かを判定し、検出された場合、追従処理を再開する。
本構成により、移動装置が追従する追従対象をロストした場合、効率的に追従対象を再発見して追従を再開可能とする装置、方法が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
本開示の移動装置の実行する処理の概要について説明する図である。 本開示の移動装置の実行する処理の概要について説明する図である。 本開示の移動装置の実行する処理の概要について説明する図である。 本開示の移動装置の実行する処理の概要について説明する図である。 本開示の移動装置の実行する処理の概要について説明する図である。 本開示の移動装置の実行する処理の概要について説明する図である。 本開示の移動装置(ロボット)の主要構成の構成例を示すブロック図である。 本開示の移動装置(ロボット)の追従対象の確認可否状況に応じた状態について説明する図である。 追従対象位置推定部の構成と処理について説明する図である。 追従対象位置推定部の構成と処理について説明する図である。 追従対象位置推定部の実行する処理の具体例について説明する図である。 追従対象探索部の構成と処理について説明する図である。 追従対象探索部の実行する処理の具体例について説明する図である。 追従対象探索部の実行する処理の具体例について説明する図である。 追従対象探索部の実行する処理の具体例について説明する図である。 追従対象探索部の実行する処理の具体例について説明する図である。 本開示の移動装置が実行する処理のシーケンスについて説明するフローチャートを示す図である。 様々な岐路構成に応じた処理の具体例について説明する図である。 様々な岐路構成に応じた処理の具体例について説明する図である。 移動装置単独で探索経路生成や、ロボット制御を行う場合の移動装置の構成例について説明する図である。 移動装置と通信可能なユーザ端末において、探索経路生成や、ロボット制御を行う場合の移動装置と、ユーザ端末の構成例について説明する図である。
以下、図面を参照しながら本開示の情報処理装置、情報処理システム、および方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行なう。
1.本開示の移動装置(ロボット)の追従対象探索処理の概要について
2.本開示の移動装置(ロボット)の構成例について
3.本開示の移動装置(ロボット)が実行する処理のシーケンスについて
4.様々な岐路構成に応じた処理例について
5.本開示の移動装置、および情報処理装置の構成例について
6.本開示の構成のまとめ
[1.本開示の移動装置(ロボット)の追従対象探索処理の概要について]
まず、本開示の移動装置(ロボット)の追従対象探索処理の概要について説明する。
なお、以下の実施例において、追従対象を追従する移動装置として、自律走行型のロボットを例として説明するが、本開示の移動装置は、このような自律走行型ロボットのみならず、例えば自動運転車両、ドローン等、様々な移動装置も含まれる。
前述のように、ロボット等の移動装置が、追従対象を追従する際、ロボットのカメラ等の視野内に追従対象を入れて、追従対象を確認し、追従対象の位置やその位置のすぐ手前に移動目的位置を設定して、設定した目的位置への移動経路を生成して移動する処理を行う。
しかし、追従対象の進行方向に複数の経路に分岐する岐路が存在し、突然、追従対象が岐路から横道に移動してしまうと、ロボットの視野から追従対象が外れ、ロボットは追従対象を認識できなくなり、追従処理が不可能になるといったことがある。
本開示は、このような場合に、追従対象を効率的に発見して確実な追従処理を実現するものである。
図1以下を参照して、本開示のロボットの追従対象探索処理の概要について説明する。
図1は、ロボット10が追従対象20を追従して移動している例を示している。
ロボット10はロボット10に装着されたカメラ10pの視野内に追従対象20を入れることで、追従対象20を確認しながら移動することで追従処理を行う。
しかし、図1に示すような経路L、経路Rの分岐点である岐路がある場合において追従対象20が図に点線で示す追従対象移動経路20qに従って移動してしまうと、追従対象20は、ロボット10のカメラ10pの視野内から追従対象20が外れてしまい、ロボット10は追従対象を見失ってしまう。すなわちロボット10は追従対象20をカメラ視野範囲10pに入れることができず、追従対象をロストしてしまうことになる。
このような場合、ロボット10は、追従対象20の追従処理ができなくなる。
本開示のロボット10は、このような場合、追従対象を効率的に発見して、追従処理を再開することを可能とする。
図2以下を参照して、本開示のロボット10が実行する処理の概要を説明する。
図2~図5は、本開示のロボット10が、追従対象20をロストした場合に、順次、実行する処理(ステップS01~S04)を説明する図である。
これらの処理ステップについて、順次、説明する。
(ステップS01)
まず、本開示のロボット10は、追従対象20をロストした場合、ステップS01において、図2に示すように、追従対象推定位置を算出する。
ロボット10は、追従対象20の撮影画像の解析などを実行して、ロストした追従対象20が現在、存在する確率が高い位置を推定する。
例えば、図2に示す追従対象推定位置20bを算出する。なお、図2には、追従対象(実際位置)20も併せて示している。
(ステップS02)
次に、本開示のロボット10は、ステップS02において、図3に示すように、追従対象20を探索するための探索経路を解析する。
探索経路とはロボット10の現在位置(A)から追従対象20が移動している可能性のある経路の全てである。
なお、ロボット10は、内部の記憶部、または外部から地図データを取得可能であり、取得した地図データを参照して経路探索を行う。
図3に示す例では、ロボット10は、取得した地図データに基づいて、追従対象20が経路R、または経路Lに従って移動していると判定する。
この結果、探索経路は、A-B-CとA-B-Dの2つの経路となる。
なお、探索経路はロボット10の現在位置(A)を起点ノードとして、分岐点に設定した分岐点ノード(B)を中間ノードとして、さらに分岐点を通過した後の経路上の点(C,またはD)を終点ノードとしたノード接続リンクによって表現される。
図3に示す例では、ロボット10は、以下の2つの探索経路(ノード接続リンク)を取得する。
A-B-C
A-B-D
(ステップS03)
次に、本開示のロボット10は、ステップS03において、図4に示すように、ステップS02で取得した複数の探索経路(ノード接続リンク)各々について、ステップS01で予測した追従対象推定位置に近い経路順に並べた探索経路リストを生成する。
図4に示す例では、探索経路(A-B-C)と、探索経路(A-B-D)のうち、追従対象推定位置20bに近い経路は、探索経路(A-B-C)であるので、以下のリストを生成する。
(探索経路1)A-B-C
(探索経路2)A-B-D
(ステップS04)
次に、本開示のロボット10は、ステップS04において、図5に示すように、ステップS03で生成した探索経路リストのリスト順に探索経路を取得し、取得した探索経路に従って移動して、追従対象20を探索する。
先に図4を参照して説明した例では、探索経路リストは以下の2つの探索経路が順にリストされている。
(探索経路1)A-B-C
(探索経路2)A-B-D
ロボット10は、まず、リストの最初の探索経路である(探索経路1)A-B-Cを選択し、この(探索経路1)A-B-Cに従って移動して追従対象20を探索する。
ロボット10は、まずノードAからノードBの地点に移動し、ノードCの方向に向きを変えてノードCの方向の画像のカメラ撮影画像の解析を行う。
ロボット10は、このノードC方向を撮影したカメラ撮影画像の解析により、追従対象20を再発見することができる。
この追従対象20の発見後、ロボット10は追従対処の追従処理を再開する。
なお、例えば、この(探索経路1)A-B-Cに従った追従対象20の探索処理において、追従対象20が見つからなかった場合は、ステップS03で生成した探索経路リストに記録された次の探索経路を取得し、取得した探索経路に従って移動して、追従対象20を探索する。
この処理例を図6に示す(ステップS05)の処理として説明する。
(ステップS05)
この図6に示すステップS05の処理は、例えば、図5を参照して説明した(探索経路1)A-B-Cに従った追従対象20の探索処理において、追従対象20が見つからなかった場合に実行する処理である。
例えば、図6に示すように、追従対象20が追従対象推定位置20bと大きく異なる方向(経路L方向)に移動している場合には、このステップS05の処理が実行される。
この場合、ロボット10は、まず、リストの2番目の探索経路である(探索経路2)A-B-Dを選択し、この(探索経路2)A-B-Dに従って移動して追従対象20を探索する。
なお、この時点で、ロボット10は、すでにノードAからノードBの地点に移動済みであり、ノードCの方向に向きを変えている。
ロボット10は、(探索経路2)A-B-Dに従った探索処理を行うため、ロボット10の向きをノードDの方向に変更する処理を行う。すなわちカメラの撮影方向をノードDの方向に設定する。
ロボット10は、カメラの撮影方向をノードDの方向に設定して撮影された画像の解析を行う。
ロボット10は、このノードD方向を撮影したカメラ撮影画像の解析により、追従対象20を再発見することができる。
この追従対象20の発見後、ロボット10は追従対処の追従処理を再開する。
このように、本開示のロボット10は、追従対象20をロスト、すなわち見失った場合、以下の処理を順次、実行して追従対象を再発見して、追従処理を継続させる。
(ステップS01)=追従対象の推定位置を算出
(ステップS02)=追従対象の探索経路を取得
(ステップS03)=追従対象の探索経路を、追従対象推定位置に近い順に並べた探索経路リストを生成
(ステップS04)=生成した探索経路リストのリスト順に探索経路を取得して、取得した探索経路に従って追従対象を探索
これらのステップに従った処理を行うことで、見失った追従対象を効率的に再発見でき、追従処理を継続させることが可能となる。
[2.本開示の移動装置(ロボット)の構成例について]
次に本開示の移動装置(ロボット)の構成例について説明する。
なお、前述したように、本実施例では、追従対象を追従する移動装置として自律走行型のロボットを例として説明するが、本開示の移動装置は、このような自律走行型ロボットのみならず、例えば自動運転車両、ドローン等、様々な移動装置も含まれる。
例えば、ドローンの場合、ビルなどの室内の通路を移動する人を追従する設定では、ビル内の通路内の岐路において追従対象である人がどの通路を進むか判断が困難な場合がある。本開示の処理は、このような場合のドローンの飛行経路制御にも利用できる。
図7は、本開示の移動装置(ロボット)100の主要構成の構成例を示すブロック図である。
なお、図7に示す移動装置(ロボット)100は、図1に示すロボット10の主要構成を示すブロック図である。
図7に示すように、移動装置(ロボット)100は、カメラ101、距離センサ102、自己位置推定部103、追従対象位置推定部104、追従対象探索部105、地図データ格納部106、ロボット駆動情報生成部107、ロボット駆動部108を有する。
カメラ101は、ロボット100の進行方向の画像や追従対象となるターゲットの画像を撮影するカメラであり例えばRGBカラー画像を撮影するカメラである。
カメラ101は、撮影画像である画像情報51を生成して出力する。
距離センサ102は、例えば、LiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)等によって構成されるオブジェクト検出センサや、ステレオカメラ、ToFセンサ、超音波センサ、レーダ、ソナー等の各種センサのいずれか、またはこれらの組み合わせによって構成され、ロボット100の進行方向のオブジェクト、例えば追従対象や障害物等のオブジェクトまでの距離を含む距離情報52を生成して出力する。
カメラ102の撮影画像である画像情報51は、自己位置推定部103、追従対象位置推定部104、追従対象探索部105、ロボット駆動情報生成部107に入力される。
同様に、距離センサ102の生成する距離情報52、例えば追従対象や障害物等のオブジェクトまでの距離を含む距離情報52も自己位置推定部103、追従対象位置推定部104、追従対象探索部105、ロボット駆動情報生成部107に入力される。
自己位置推定部103は、ロボット100の現在の位置や姿勢を算出する。
例えば、カメラ102の連続撮影画像の解析処理として実行されるSLAM(Simultaneous Localization and Mapping)処理等を行って移動装置(ロボット)100の現在の位置や姿勢を算出する。
なお、SLAM(Simultaneous Localization and Mapping)処理は、自己位置同定(ローカリゼーション)と環境地図作成(mapping)を並行して実行する処理である。
自己位置推定部103が生成した自己位置情報53は、追従対象探索部105に出力される。
追従対象位置推定部104は、ロボット100が追従する追従対象の位置を推定する処理を実行する。
なお、追従対象位置推定部104は、カメラ101や距離センサ102等のセンサ検出情報を入力し、入力したセンサ検出情報に基づいて、追従対象の位置を推定する処理を行う。追従対象位置推定部104は、カメラ101や距離センサ102等のセンサ検出情報に基づく追従対象の確認可否状況に応じた3つの状態に応じた追従対象位置推定処理を実行する。
図8を参照してこれら3状態について説明する。
図8に示すように、以下の3状態が定義される。
(状態1)追従対象確認可能状態
(状態2)追従対象ロスト直前状態
(状態3)追従対象ロスト状態
(状態1)追従対象確認可能状態は、カメラ等のセンサ検出情報に基づいて、継続的に追従対象を確認可能な状態である。
(状態2)追従対象ロスト直前状態は、カメラ等のセンサ検出情報に基づいて、追従対象を確認不可能な状態が規程時間(t1)以上、発生した状態である。
(状態3)追従対象ロスト状態は、ロスト直前状態が、規程時間(t2)以上、継続して発生した状態である。
追従対象位置推定部104は、「(状態1)追従対象確認可能状態」では、カメラ等のセンサ検出情報に基づいて、継続的に追従対象の位置を解析して、追従対象位置情報55をロボット駆動情報生成部107に出力する。
一方、「(状態2)追従対象ロスト直前状態」と、「(状態3)追従対象ロスト状態」では、直前の「(状態1)追従対象確認可能状態」や「(状態2)追従対象ロスト直前状態」におけるカメラ等のセンサ検出情報等を用いて、追従対象の現在の位置の推定処理を実行し、推定処理結果として取得した追従対象推定位置情報55をロボット駆動情報生成部107に出力する。
なお、この位置推定処理には、例えば追従対象のオブジェクト識別処理や、オブジェクトの空間位置推定処理などを利用した処理が行われる。例えば、追従対象オブジェクトが人である場合、以下の処理を行って追従対象の位置推定を行うことになる。
(a)オブジェクト識別処理(人識別処理)=カメラ撮影画像から人を識別し、人領域を注目領域(ROI:Region of Interest)とした画像解析処理。
(b)追従対象空間位置推定処理=カメラ撮影画像の人領域(ROI)とこの人領域の距離情報を合成(フュージョン)し、現在の追従対象オブジェクト(人)の3次元空間位置を推定する。
なお、追従対象の3次元位置推定処理においては、追従対象オブジェクトの種類に応じた運動モデルを利用する。例えば追従対象オブジェクトが人の場合、人の運動モデルを適用して位置推定を行う。例えば追従対象オブジェクトが車の場合、車の運動モデルを適用して位置推定を行う。
追従対象位置推定部104が、「(状態2)追従対象ロスト直前状態」と、「(状態3)追従対象ロスト状態」において実行する追従対象位置推定処理の詳細について、図9、図10を参照して説明する。
図9は、追従対象位置推定部104の詳細構成例を示した図である。
図9に示すように、追従対象位置推定部104は、追従対象領域検出部121、追従対象3次元位置推定部122を有する。
なお、追従対象が人である場合、追従対象領域検出部121は、人領域検出部となり、追従対象3次元位置推定部122は、人3次元位置推定部となる。
追従対象領域検出部121は、カメラ101の撮影した画像情報51を入力し、追従対象、例えば人の領域を注目領域(ROI)として抽出する。なお、入力する画像情報51は、「(状態2)追従対象ロスト直前状態」、または「(状態2)追従対象ロスト直前状態」の前の「(状態1)追従対象確認可能状態」における撮影画像であり、一定時間の連続撮影画像である。
追従対象領域検出部121が、画像情報51から抽出した追従対象、例えば人の領域を注目領域(ROI)である追従対象領域情報(ROI情報)61は、追従対象3次元位置推定部122に入力される。
この追従対象領域情報(ROI情報)61は、一定時間の連続撮影画像から抽出される情報である。すなわち追従対象の移動履歴が解析可能なデータである。
追従対象3次元位置推定部122は、以下の各情報を入力する。
(a)追従対象領域検出部121が生成した追従対象領域情報(ROI情報)61
(b)距離センサ102が生成した距離情報52
なお、距離センサ102が生成した距離情報52は、追従対象領域検出部121において追従対象領域情報(ROI情報)61の生成処理に適用した画像の撮影タイミングと同様のタイミングで取得された連続撮影画像に対応する距離情報、例えば距離画像(デプスデータ)である。
追従対象3次元位置推定部122は、上記(a),(b)の各情報を入力し、これらの入力情報に基づいて、追従対象の現在の3次元位置を推定する。
追従対象3次元位置推定部122の詳細構成について、図10を参照して説明する。
図10に示すように、追従対象3次元位置推定部122は、画像内追従対象3次元位置算出部131と、運動モデル適用追従対象3次元位置推定部132を有する。
画像内追従対象3次元位置算出部131は、以下の各情報を入力する。
(a)追従対象領域検出部121が生成した追従対象領域情報(ROI情報)61
(b)距離センサ102が生成した距離情報52
なお、距離センサ102が生成した距離情報52は、追従対象領域検出部121において追従対象領域情報(ROI情報)61の生成処理に適用した連続撮影画像の撮影タイミングと同様のタイミングで取得された複数の連続撮影画像対応の距離情報、例えば距離画像(デプスデータ)である。
画像内追従対象3次元位置算出部131は、上記(a),(b)の各情報を入力し、これらの入力情報に基づいて、追従対象領域検出部121が生成した連続撮影画像各々から選択された追従対象領域情報(ROI情報)61の領域内の追従対象オブジェクト、例えば人の3次元位置を算出する。この算出データは、解析に用いた連続撮影画像内の追従対象の3次元位置の変化、すなわち追従対象の移動態様を示す情報となる。この情報が図10に示す「画像内追従対象(人)移動位置情報62」である。
画像内追従対象3次元位置算出部131は、生成した「画像内追従対象(人)移動位置情報62」を運動モデル適用追従対象3次元位置推定部132に出力する。
運動モデル適用追従対象3次元位置推定部132は、画像内追従対象3次元位置算出部131が生成した「画像内追従対象(人)移動位置情報62」を用いて、現在の追従対象オブジェクト(人)の3次元空間位置を推定する。
なお、追従対象の3次元位置推定処理においては、追従対象オブジェクトの種類に応じた運動モデルを利用する。例えば追従対象オブジェクトが人の場合、人の運動モデルを適用して位置推定を行う。例えば追従対象オブジェクトが車の場合、車の運動モデルを適用して位置推定を行う。
運動モデル適用追従対象3次元位置推定部132が推定した現在の追従対象オブジェクト(人)の3次元空間位置情報が、図10に示す「追従対象推定位置情報55」である。
この位置情報は、例えば図2を参照して説明した「追従対象推定位置20b」の位置を示す3次元位置情報に相当する。
図11を参照して、追従対象位置推定部104の実行する処理の具体例について説明する。
図11には、追従対象位置推定部104によって推定された追従対象推定位置情報55を示している。
この追従対象推定位置情報55は、図11に示す画像内追従対象移動位置情報62と、運動モデルに基づく推定移動経路63との合成処理によって生成される。
図11に示す画像内追従対象移動位置情報62は、図10に示す画像内追従対象3次元位置算出部131が生成する「画像内追従対象(人)移動位置情報62」であり、カメラ101が撮影した追従対象の画像から抽出される追従対象(人)の領域(ROI)の3次元位置情報の移動軌跡に相当する。
図11に示す運動モデルに基づく推定移動経路63は、運動モデル適用追従対象3次元位置推定部132が、「画像内追従対象(人)移動位置情報62」と、人の運動モデルを適用して推定した追従対象の推定移動経路、すなわち現在時刻までの推定移動経路である。
この推定移動経路の終点が現在時刻における追従対象の推定位置、すなわち追従対象推定位置情報55となる。
運動モデル適用追従対象3次元位置推定部132が生成した「追従対象推定位置情報55」は、追従対象探索部105に出力される。
次に、図7に示す追従対象探索部105について説明する。
追従対象探索部105は、見失った追従対象の探索処理を実行する。
すなわち、先に図3~図6を参照して説明した追従対象探索処理を実行する。
まず、図3に示すように、追従対象20を探索するための探索経路を算出する。
図3を参照して説明したように、探索経路はロボット10の現在位置(A)から追従対象20が移動している可能性のある経路の全てである。地図データに基づいて、追従対象20が移動している可能性のある経路の全ての探索経路を算出する。
図3の例では、探索経路はA-B-CとA-B-Dの2つの経路となる。
次に、図4に示すように、算出した複数の探索経路(ノード接続リンク)各々について、追従対象推定位置に近い経路順に並べた探索経路リストを生成する。
図4に示す例では、探索経路(A-B-C)と、探索経路(A-B-D)のうち、追従対象推定位置20bに近い経路は、探索経路(A-B-C)であるので、以下のリストを生成する。
(探索経路1)A-B-C
(探索経路2)A-B-D
次に、図5、図6を参照して説明したように、生成した探索経路リストのリスト順に探索経路を取得し、取得した探索経路に従って移動して、追従対象20を探索する。
図7に示すように、追従対象探索部105は、追従対象の探索処理の結果、追従対象を再発見した場合、追従対象再発見情報57を追従対象位置推定部104に出力する。
追従対象再発見情報57は、ロボット100のカメラ101によって追従対象を撮影可能となったことを示す情報である。
追従対象位置推定部104は、追従対象再発見情報57の入力に応じて、追従対象(推定)位置情報55を生成してロボット駆動情報生成部107に出力する。
ロボット駆動情報生成部107は、追従対象位置推定部104から入力する追従対象(推定)位置情報55、すなわちカメラ101によって特定される追従対象の位置情報に従って、追従対象の追従処理を再開する。
図12を参照して、追従対象探索部105の詳細構成について説明する。
図12に示すように、追従対象探索部105は、探索経路解析部151、探索経路決定部152、追従対象検出確認部153を有する。
なお、追従対象が人である場合、追従対象検出確認部153は人検出確認部として機能する。
探索経路解析部151は、追従対象をロスト(見失った)時点におけるロボットの現在位置を含む経路であるロボット存在経路71と、追従対象が存在する可能性のある経路である追従対象存在可能経路72を生成する。
すなわち、ロボットの現在位置と、追従対象の存在可能位置を結ぶ1つ以上の探索経路を算出する。
なお、これらの経路情報は、地図データ格納部106から取得する地図情報54を参照して取得する。
探索経路解析部151は、以下の各データを入力する。
(a)追従対象位置推定部104が生成した追従対象推定位置情報55、
(b)自己位置推定部103が生成した自己位置情報53、
(c)地図データ格納部106に格納された地図情報54、
探索経路解析部151は、これらのデータを利用して、ロボット存在経路71と、追従対象存在可能経路72を生成する。
探索経路解析部151が実行する処理の具体例について、図13を参照して説明する。
探索経路解析部151は、図13に示すように、追従対象20を探索するための探索経路を解析する。
探索経路とはロボット10の現在位置(A)から追従対象20が移動している可能性のある経路の全てである。探索経路解析部151は、地図データ格納部106から地図情報54を取得し、取得した地図情報を参照して経路探索を行う。
図13に示す例では、探索経路解析部151は、地図データ格納部106から取得した地図情報54に基づいて、追従対象20が経路R、または経路Lに従って移動していると推定する。
この結果、探索経路解析部151は、以下のロボット存在経路71と、追従対象存在可能経路72を生成する。
ロボット存在経路=A-B
追従対象存在可能経路=B-C,B-D
探索経路解析部151は、これらのロボット存在経路71と、追従対象存在可能経路72を探索経路決定部152に出力する。
探索経路決定部152は、探索経路解析部151から入力したロボット存在経路71と、追従対象存在可能経路72を利用して、優先的に探索すべき経路を上位に設定した探索経路リスト73を生成する。
探索経路リスト73は、優先的に探索すべき経路を上位に設定したリストであり、追従対象位置推定部104が生成した追従対象推定位置情報55に近い経路を有する順に並べた探索経路リストとして生成する。
まず、探索経路決定部152は、探索経路解析部151から入力したロボット存在経路71と、追従対象存在可能経路72に基づいて1つ以上の探索経路を生成する。図13に示す具体例の場合、探索経路決定部152は、以下の2つの探索経路(ノード接続リンク)を生成する。
A-B-C
A-B-D
先に図3を参照して説明したように、探索経路はロボット10の現在位置(A)を起点ノードとして、分岐点に設定した分岐点ノード(B)を中間ノードとして、さらに分岐点を通過した後の経路上の点(C,またはD)を終点ノードとしたノード接続リンクによって表現される。
探索経路決定部152は、この2つの探索経路(ノード接続リンク)各々について、追従対象位置推定部104が生成した追従対象推定位置情報55に近い経路を有する順に並べた探索経路リスト73を生成する。
具体的には、例えば図14に示す探索経路リスト73を生成する。
図14に示す例では、探索経路(A-B-C)と、探索経路(A-B-D)のうち、追従対象推定位置20bに近い経路は、探索経路(A-B-C)であるので、以下の探索経路リスト73が生成される。
(探索経路1)A-B-C
(探索経路2)A-B-D
探索経路決定部152は、生成した探索経路リスト73の上位から順に探索経路を取得し、取得した探索経路を、探索経路情報56として、ロボット駆動情報生成部107に出力する。
ロボット駆動情報生成部107は、図7に示すように探索経路決定部152から入力した探索経路情報56に従ってロボットを移動させるためのロボット駆動情報58を生成して、ロボット駆動部108に出力する。
ロボット駆動部108は、ロボット駆動情報生成部107から入力したロボット駆動情報58に従ってロボット10を移動させて追従対象の探索処理を行う。
図14を参照して具体的な探索処理例について説明する。
探索経路リスト73には以下の2つの探索経路が順にリストされている。
(探索経路1)A-B-C
(探索経路2)A-B-D
探索経路決定部152は、リストの最初の探索経路である(探索経路1)A-B-Cを選択し、この(探索経路1)A-B-Cを、探索経路情報56として、ロボット駆動情報生成部107に出力する。
ロボット駆動情報生成部107は、探索経路決定部152から入力した探索経路情報56である「(探索経路1)A-B-C」に従ってロボットを移動させるためのロボット駆動情報58を生成して、ロボット駆動部108に出力する。
ロボット駆動部108は、ロボット駆動情報生成部107から入力したロボット駆動情報58に従ってロボット10を「(探索経路1)A-B-C」に従って移動させて追従対象の探索処理を行う。
具体的なロボット10の「(探索経路1)A-B-C」に従った探索処理例を図15に示す。
ロボット10は、まずノードAからノードBの地点に移動し、ノードCの方向に向きを変えてノードCの方向の画像のカメラ撮影画像の解析を行う。
ロボット10は、このノードC方向を撮影したカメラ撮影画像の解析により、追従対象20を再発見することができる。
図12に示す追従対象探索部105の追従対象検出確認部153は、カメラ101の画像情報や、距離センサ102の距離情報52を入力して、追従対象が検出されたか否かを確認する。
追従対象が検出された場合は、図12に示す追従対象検出情報56を追従対象位置推定部104に出力する。
この場合、追従対象位置推定部104が、例えばカメラ101の撮影画像内の追従対象の位置を解析し、図7に示す追従対象位置情報55を生成して、ロボット駆動情報生成部107に出力する。
その後は、カメラ101の撮影画像内に撮影された追従対象を追従する通常の追従処理が再開される。
一方、追従対象検出確認部153が、カメラ101の画像情報や、距離センサ102の距離情報52を入力して解析しても追従対象が検出されなかったと判定した場合は、図12に示す追従対象検出失敗情報74を探索経路決定部152に出力する。
この場合、探索経路決定部152は、探索経路リスト73に記録された次の探索経路を取得し、取得した探索経路に従って移動して、追従対象を探索する。
この処理例について図16を参照して説明する。
図16に示す処理は、例えば、図15を参照して説明した(探索経路1)A-B-Cに従った追従対象20の探索処理において、追従対象20が見つからなかった場合に実行する処理である。
例えば、図16に示すように、追従対象20が追従対象推定位置20bと大きく異なる方向(経路L方向)に移動している場合には、(探索経路1)A-B-Cに従った追従対象20の探索処理において、追従対象20を見つけることができない。
この場合、探索経路決定部152は、探索経路リスト73に記録された次の探索経路である(探索経路2)A-B-Dを選択し、この(探索経路2)A-B-Dを、探索経路情報56として、ロボット駆動情報生成部107に出力する。
ロボット駆動情報生成部107は、探索経路決定部152から入力した探索経路情報56である「(探索経路2)A-B-D」に従ってロボットを移動させるためのロボット駆動情報58を生成して、ロボット駆動部108に出力する。
なお、この時点で、ロボット10は、すでにノードAからノードBの地点に移動済みであり、ノードCの方向に向きを変えている。
ロボット駆動情報生成部107は、(探索経路2)A-B-Dに従った探索処理を行うため、ロボット10の向きをノードDの方向に変更するためのロボット駆動情報58を生成して、ロボット駆動部108に出力する。
ロボット駆動部108は、ロボット10の向きをノードDの方向に設定する。
この結果、カメラ101は、経路L側の追従対象20の画像を撮影することに成功する。その後は、図12に示す追従対象探索部105の追従対象検出確認部153が、図12に示す追従対象検出情報56を追従対象位置推定部104に出力する。追従対象位置推定部104は、例えばカメラ101の撮影画像内の追従対象の位置を解析し、図7に示す追従対象位置情報55を生成して、ロボット駆動情報生成部107に出力する。
その後は、カメラ101の撮影画像内に撮影された追従対象を追従する通常の追従処理が再開される。
以上、図7~図16を参照して本開示の移動装置(ロボット)100の構成と処理の具体例について説明した。
このように、本開示の移動装置(ロボット)100は、追従対象20をロスト、すなわち見失った場合、以下の処理を順次、実行して追従対象を再発見して、追従処理を継続させる。
(ステップS01)=追従対象の推定位置を算出
(ステップS02)=追従対象の探索経路を取得
(ステップS03)=追従対象の探索経路を、追従対象推定位置に近い順に並べた探索経路リストを生成
(ステップS04)=生成した探索経路リストのリスト順に探索経路を取得して、取得した探索経路に従って追従対象を探索
これらのステップに従った処理を行うことで、見失った追従対象を効率的に再発見でき、追従処理を継続させることが可能となる。
[3.本開示の移動装置(ロボット)が実行する処理のシーケンスについて]
次に、図17に示すフローチャートを参照して本開示の移動装置(ロボット)100が実行する処理のシーケンスについて説明する。
なお、図17以下のフローチャートに従った処理は、例えば移動装置(ロボット)100の記憶部に格納されたプログラムに従って実行可能である。例えばプログラム実行機能を有するCPU等を有するデータ処理部(制御部)の制御の下で実行される。
以下、図17に示すフローチャートの各ステップの処理について、順次、説明する。
(ステップS101)
まず、移動装置(ロボット)100の追従対象確認可能状態を判定する。
この状態判定処理は、先に図8を参照して説明した以下の3状態の判定処理である。
(状態1)追従対象確認可能状態
(状態2)追従対象ロスト直前状態
(状態3)追従対象ロスト状態
(状態1)追従対象確認可能状態は、カメラ等のセンサ検出情報に基づいて、継続的に追従対象を確認可能な状態である。
(状態2)追従対象ロスト直前状態は、カメラ等のセンサ検出情報に基づいて、追従対象を確認不可能な状態が規程時間(t1)以上、発生した状態である。
(状態3)追従対象ロスト状態は、ロスト直前状態が、規程時間(t2)以上、継続して発生した状態である。
ステップS101において、移動装置(ロボット)100が、
(状態1)追従対象確認可能状態
この(状態1)にあると判定した場合は、ステップS110に進む。
一方、ステップS101において、移動装置(ロボット)100が、
(状態2)追従対象ロスト直前状態
(状態3)追従対象ロスト状態
これら(状態2)または(状態3)のいずれかの状態にあると判定した場合は、ステップS102に進む。
(ステップS102)
ステップS101において、移動装置(ロボット)100が、
(状態2)追従対象ロスト直前状態
(状態3)追従対象ロスト状態
これら(状態2)または(状態3)のいずれかの状態にあると判定した場合は、ステップS102に進む。
この場合、移動装置(ロボット)100は、ステップS102において、追従対象の位置推定処理を実行する。
この処理は、図7に示す追従対象位置推定部104が実行する。
先に図9~図11を参照して説明したように、追従対象位置推定部104は、追従対象のオブジェクト識別処理や、オブジェクトの空間位置推定処理などを利用して追従対象の位置推定処理を行う。
例えば、追従対象オブジェクトが人である場合、以下の処理を行って追従対象の位置推定を行う。
(a)オブジェクト識別処理(人識別処理)=カメラ撮影画像から人を識別し、人領域を注目領域(ROI:Region of Interest)とした画像解析処理。
(b)追従対象空間位置推定処理=カメラ撮影画像の人領域(ROI)とこの人領域の距離情報を合成(フュージョン)し、現在の追従対象オブジェクト(人)の3次元空間位置を推定する。
なお、この追従対象位置推定処理においては、追従対象オブジェクトの種類に応じた運動モデルを利用する。例えば追従対象オブジェクトが人の場合、人の運動モデルを適用して位置推定を行う。例えば追従対象オブジェクトが車の場合、車の運動モデルを適用して位置推定を行う。
このステップS102における追従対象の位置推定処理により、例えば図11に示すような追従対象位置推定情報55が生成される。
(ステップS103)
次に、移動装置(ロボット)100は、ステップS103において、追従対象を探索するための探索経路を解析する。
この処理は、図7に示す追従対象探索部105が実行する処理である。
具体的には、図12に示す追従対象探索部105の探索経路解析部151が実行する。
先に図12、図13を参照して説明したように、探索経路解析部151は、以下の各データを入力する。
(a)追従対象位置推定部104が生成した追従対象推定位置情報55、
(b)自己位置推定部103が生成した自己位置情報53、
(c)地図データ格納部106に格納された地図情報54、
探索経路解析部151は、これらのデータを利用して、追従対象20を探索するための探索経路を解析する。
すなわち、ロボットの現在位置と、追従対象の存在可能位置を結ぶ1つ以上の探索経路を算出する。
具体的には、図12、図13を参照して説明したロボット存在経路71と、追従対象存在可能経路72を生成する。
(ステップS104)
次に、移動装置(ロボット)100は、ステップS104において、追従対象を探索するための探索経路リストを生成する。
この処理は、図7に示す追従対象探索部105が実行する処理である。
具体的には、図12に示す追従対象探索部105の探索経路決定部152が実行する。
先に図12、図14を参照して説明したように、探索経路決定部152は、探索経路解析部151から入力したロボット存在経路71と、追従対象存在可能経路72を利用して、優先的に探索すべき経路を上位に設定した探索経路リスト73を生成する。
探索経路リスト73は、優先的に探索すべき経路を上位に設定したリストであり、追従対象位置推定部104が生成した追従対象推定位置情報55に近い経路を有する順に並べた探索経路リストである。
(ステップS105)
次に、移動装置(ロボット)100は、ステップS105において、ステップS104で生成した探索経路リストの上位から探索経路を選択する。
この処理は、図7に示す追従対象探索部105が実行する処理である。
具体的には、図12に示す追従対象探索部105の探索経路決定部152が実行する。
先に図15、図16を参照して説明したように、探索経路決定部152は、ステップS104で生成した探索経路リストの上位から順に探索経路を取得し、取得した探索経路を、探索経路情報56として、ロボット駆動情報生成部107に出力する。
(ステップS106)
次に、移動装置(ロボット)100は、ステップS106において、ステップS105で探索経路リストの上位から選択した探索経路に従ってロボットを移動させるためのロボット駆動情報を生成する。
この処理は、図7に示すロボット駆動情報生成部107が実行する処理である。
ロボット駆動情報生成部107は、図7に示すように探索経路決定部152から入力した探索経路情報56に従ってロボットを移動させるためのロボット駆動情報58を生成して、ロボット駆動部108に出力する。
(ステップS107)
次に、移動装置(ロボット)100は、ステップS107において、ステップS106でロボット駆動情報生成部107が生成したロボット駆動情報に従ってロボットを駆動する。
この処理は、図7に示すロボット駆動部108が実行する処理である。
図7に示すように、ロボット駆動部108は、ロボット駆動情報生成部107から入力したロボット駆動情報58に従ってロボット10を移動させて追従対象の探索処理を行う。
(ステップS108)
次に、移動装置(ロボット)100は、ステップS108において、追従対象を発見したか否かを判定する。
この処理は、図7に示す追従対象探索部105が実行する処理である。
具体的には、図12に示す追従対象探索部105の追従対象検出確認部153が実行する。
図12に示す追従対象探索部105の追従対象検出確認部153は、カメラ101の画像情報や、距離センサ102の距離情報52を入力して、追従対象が検出されたか否かを確認する。
追従対象が検出された場合は、ステップS108の判定がYesとなり、ステップS110に進む。
一方、追従対象が検出されなかった場合は、ステップS108の判定がNoとなり、ステップS109に進む。
(ステップS109)
次に、移動装置(ロボット)100は、ステップS109において、ステップS104で生成した探索経路リストの全ての探索経路についての探索処理が完了したか否かを判定する。
この処理は、図7に示す追従対象探索部105が実行する処理である。
具体的には、図12に示す追従対象探索部105の探索経路決定部152が実行する。
探索経路決定部152は、生成した探索経路リストの全ての探索経路についての探索処理が完了したか否かを判定する。
完了したと判定した場合は、追従対象の探索に失敗したと判定し、処理を終了する。
一方、完了していない場合は、ステップS105に戻り、さらに、探索経路リストの次の探索経路を選択して、ステップS106以下の処理を実行する。すなわち次の探索路経路に従ってロボットを駆動して追従対象の検出確認を実行する。
(ステップS110)
ステップS101において、移動装置(ロボット)100が、
(状態1)追従対象確認可能状態
この(状態1)にあると判定した場合は、ステップS110に進む。
また、ステップS108においてYesk判定がなされた場合、すなわち探索経路に従った探索処理において、追従対象が検出された場合は、ステップS110に進む。
これらの場合、移動装置(ロボット)100は、ステップS110において、追従対象の追従処理を実行する。
この追従処理は、カメラ101や距離センサ102の検出情報に基づく通常ーの追従処理である。すなわち例えばカメラ101の撮影画像に撮影されている追従対象を追従する処理である。
(ステップS111)
最後に、移動装置(ロボット)100は、ステップS111において追従処理を終了するか否かを判定する。
これは例えば、予め規定された追従範囲外に追従対象が出た場合には追従終了とする等、予め規定されたルールに基づいて判定する。
ステップS111において、追従処理を終了しないと判定した場合は、ステップS101に戻り、ステップS101以下の処理を繰り返す。
一方、ステップS111において追従処理を終了すると判定した場合は。処理を終了する。
本フローに従った処理を実行することで、本開示の移動装置(ロボット)は、追従対象をロスト、すなわち見失った場合においても、効率的に追従対象の探索処理を行って、短時間に追従対象を再発見して、追従処理を継続させることが可能となる。
[4.様々な岐路構成に応じた処理例について]
次に、様々な岐路構成に応じた処理例について説明する。
上述した実施例では、図1に示すようなT字路において追従対象をロスト、すなわち見失った場合の処理例について説明したが、追従対象をロスト、すなわち見失なう可能性のある経路の構成は様々である。
本開示の移動装置(ロボット)は、特定の経路構成に限らず、あらゆる経路構成において追従対象をロストした場合に迅速に追従対しようを再発見することが可能である。
以下、複数の異なる経路構成に対応した処理例について説明する。
図18は、図1に示すと同様のT字路であるが、経路B-Dが障害物によって通行することができない設定になっている。
このような場合、ロボット10は、探索経路としてA-B-Dの1つの探索経路のみを設定して探索処理を実行することになる。
すなわち、探索経路A-B-Dを構成する経路B-Dは通行できない経路であり、追従対象が侵入する可能性がないと判定することが可能であり、探索対象から除外する。
なお、B-D間の障害物が地図情報に記載されていない場合であっても、ロボット10のカメラや101距離センサによって障害物の存在が検出可能であり、この障害物検出段階で、探索経路からA-B-Dの経路を削除する処理を行うことが可能である。
図19は、Y字路の構成である。
また、追従対象20は、経路R方向に存在しているが、ロボット10が推定した追従対象推定位置20bが図に示すように経路L側に設定されてしまっている。
この場合、ロボット10が生成する探索経路リストは、以下のような順番のリストとして生成されることになる。
(探索経路1)A-B-D
(探索経路2)A-B-C
ロボット10は、まず、(探索経路1)A-B-Dに従って追従対象を探索する。
しかし、この(探索経路1)A-B-Dに従った追従対象探索処理では追従対象20を検出することができない。
この場合、次の(探索経路2)A-B-Cに従った追従対象探索処理を実行する。この(探索経路2)A-B-Cに従った追従対象探索処理において、追従対象20を検出することができる。
この例の場合、追従対象推定位置20bが実際の追従対象20の位置と大きく異なっているため、追従対象検出に要する時間が長くなるが、最終的には追従対象20を再発見して、追従処理を継続することができる。
[5.本開示の移動装置、および情報処理装置の構成例について]
次に、本開示の移動装置、および情報処理装置の構成例について説明する。
本開示の移動装置は上述した実施例において説明したロボットのみならず、例えば自動運転車両や、ドローン等、様々な移動装置が含まれる。
また、探索経路の算出や移動装置(ロボット等)の移動制御や向き制御等の駆動制御を行うのは、ロボット等の移動装置内部に備えられた情報処理装置のデータ処理部でもよいし、ロボットと通信可能な外部の情報処理装置でもよい。
図20は、ロボット等の移動装置単独で探索経路の算出や移動装置(ロボット等)の移動制御や向き制御等の駆動制御を行う場合の移動装置500の構成例を示す図である。すなわち、移動装置内部に備えられた情報処理装置が探索経路の算出や移動装置(ロボット等)の移動制御や向き制御等の駆動制御を行う場合の移動装置500の構成例を示す図である。
図21は、移動装置と通信可能なユーザ端末、例えばコントローラやPC、スマホにおいて、探索経路の算出や移動装置(ロボット等)の移動制御や向き制御等の駆動制御を行う場合の移動装置500と、ユーザ端末700の構成例を示す図である。
まず、図20を参照して、移動装置単独で探索経路の算出や移動装置(ロボット等)の移動制御や向き制御等の駆動制御を行う場合の移動装置500の構成例について説明する。
図20に示すように、移動装置500は、カメラ501、センサ502、データ処理部503、位置情報取得部504、入力部505、出力部506、通信部507、記憶部(メモリ)508を有する。
カメラ501は、移動装置500の進行方向の画像や追従対象の画像を撮影する。
センサ502は、例えば、LiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)等によって構成されるオブジェクト検出センサである。追従対象や障害物までの距離等を計測する。なお、センサ502は、LiDARに限らず、例えば、ステレオカメラ、ToFセンサ、超音波センサ、レーダ、ソナー等でもよい。
データ処理部503は、上述した実施例に従った処理、すなわち、探索経路の算出や移動装置(ロボット等)の移動制御や向き制御等の駆動制御処理等を実行する。
先に図7を参照して説明した移動装置(ロボット)100の主要構成である自己位置推定部103、追従対象位置推定部104、追従対象探索部105、ロボット駆動情報生成部107等は、データ処理部503に含まれる構成となる。
なお、データ処理部503は、例えばプログラム実行機能を有するCPU等のプロセッサを有し、上述した実施例において説明したフローチャートに従った処理等を実行する。
プログラムは、記憶部508に格納されている。
位置情報取得部504は、例えばGPS衛星600との通信を実行し、GPS衛星600との通信情報に基づいて、移動装置500の現在位置(緯度、経度、高さ)を解析し、解析情報をデータ処理部503に出力する。
入力部505は、例えばユーザによる操作部であり、様々な処理、例えば走行開始、停止等のユーザ要求の入力処理等に利用される。
出力部506には、音声出力部、画像出力部等が含まれる。
通信部507は、ユーザ端末や、外部サーバとの通信を実行する。
記憶部(メモリ)508は、データ処理部503の実行するプログラムの格納領域、ワーク領域として利用される。処理に適用する様々なパラメータの記憶領域としても利用される。記憶部(メモリ)106は、RAM、ROM等によって構成される。
次に、図21を参照して、移動装置と通信可能なユーザ端末、例えばコントローラやPC、スマホにおいて、探索経路の算出や移動装置(ロボット等)の移動制御や向き制御等の駆動制御を行う場合の移動装置500と、ユーザ端末700の構成について説明する。
移動装置500は、図21を参照して説明した構成と同様の構成である。
通信部507を介してユーザ端末700と通信を行う。
ユーザ端末700の構成について説明する。図に示すように、ユーザ端末700は、データ処理部701、記憶部(メモリ)702、通信部703、入力部704、出力部705、表示部706を有する。
データ処理701は、移動装置500の探索経路の算出や移動装置(ロボット等)の移動制御や向き制御等の駆動制御処理等を実行する。
先に図7を参照して説明した移動装置(ロボット)100の主要構成である自己位置推定部103、追従対象位置推定部104、追従対象探索部105、ロボット駆動情報生成部107等が実行する処理が、データ処理部701において実行される。
ユーザ端末700のデータ処理部701は、探索経路情報や、移動装置(ロボット等)の移動制御や向き制御等の駆動制御情報を生成して通信部703を介して移動装置500に送信する。
移動装置500は、ユーザ端末700から受信した制御情報に従って移動する。
なお、データ処理部701は、例えばプログラム実行機能を有するCPU等のプロセッサを有し、上述した実施例において説明したフローチャートに従った処理等を実行する。
プログラムは、記憶部702に格納されている。
記憶部(メモリ)702は、データ処理部701の実行するプログラムの格納領域、ワーク領域として利用される。処理に適用する様々なパラメータの記憶領域としても利用される。記憶部(メモリ)204は、RAM、ROM等によって構成される。
通信部703は、移動装置500や、外部サーバとの通信を実行する。
入力部704は、ユーザによる操作部であり、様々な処理、例えば移動装置500の制御開始、終了等のユーザ要求の入力処理等に利用される。
出力部705には、音声出力部、画像出力部等が含まれる。
表示部706は、移動装置500のカメラ撮影画像等の表示や、記憶部702に格納されたマップの表示、データ処理部701が生成した経路情報等の表示に利用される。
図21に示すような移動装置500と、ユーザ端末700を利用した情報処理システムでは、例えば以下のような処理が可能となる。
ユーザ端末700のデータ処理部は、移動装置500が追従する追従対象の推定位置である追従対象推定位置を算出し、さらに、探索経路リストを生成し、探索経路リストの上位から順番に探索経路を選択する。
移動装置500は、ユーザ端末700が選択した探索経路に従って移動して追従対象を探索する。
さらに移動装置500は、ユーザ端末700が選択した探索経路に従って移動して追従対象を探索する際、移動装置500に装着されたカメラの撮影画像を入力して、撮影画像をユーザ端末700に送信する。
ユーザ端末700は、移動装置500から受信する撮影画像に基づいて、追従対象が検出されたか否かを判定する。
この判定結果を用いて、追従処理の再開、あるいは次の探索経路に従った探索処理を移動装置400に実行させる。
例えばこのような処理が可能となる。
[6.本開示の構成のまとめ]
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
なお、本明細書において開示した技術は、以下のような構成をとることができる。
(1) 移動装置が追従する追従対象の推定位置である追従対象推定位置を算出する追従対象位置推定部と、
前記追従対象を探索する追従対象探索部を有し、
前記追従対象探索部は、
前記移動装置の現在位置と、前記追従対象の存在可能位置を結ぶ1つ以上の探索経路を算出し、
算出した1つ以上の探索経路を、前記追従対象推定位置に近い順に上位から並べた探索経路リストを生成し、
生成した探索経路リストの上位から順番に探索経路を選択し、選択した探索経路に従って前記移動装置を移動させて前記追従対象を探索する情報処理装置。
(2) 前記追従対象探索部は、
選択した探索経路に従って前記移動装置を移動させて前記追従対象を探索する際、
前記移動装置に装着されたカメラの撮影画像を入力して、追従対象が検出されたか否かを判定する(1)に記載の情報処理装置。
(3) 前記追従対象位置推定部は、
前記移動装置に装着されたカメラの過去の撮影画像であり、前記追従対象が撮影されている撮影画像を入力して、前記追従対象推定位置を算出する(1)または(2)に記載の情報処理装置。
(4) 前記追従対象位置推定部は、
前記追従対象の種類に対応した運動モデルを適用して前記追従対象推定位置を算出する(1)~(3)いずれかに記載の情報処理装置。
(5) 前記追従対象探索部は、
自己位置推定部において推定された前記移動装置の現在位置を入力して、前記追従対象の存在可能位置を結ぶ1つ以上の探索経路を算出する(1)~(4)いずれかに記載の情報処理装置。
(6) 前記自己位置推定部は、
SLAM(Simultaneous Localization and Mapping)処理により前記移動装置の現在位置を算出する(5)に記載の情報処理装置。
(7) 前記移動装置は、
前記追従対象を検出するセンサを有し、
前記追従対象探索部は、
前記センサによる前記追従対象の検出がなされない場合に前記追従対象を探索する処理を実行する(1)~(6)いずれかに記載の情報処理装置。
(8) 前記センサはカメラを含む(7)に記載の情報処理装置。
(9) 前記情報処理装置は、
前記追従対象を検出するセンサを有し、
前記センサによって前記追従対象の検出がなされている第1状態では、
前記センサの検出情報に従って、前記追従対象の追従処理を実行し、
前記センサによって前記追従対象の検出がなされていない期間が規程時間(t1)発生した第2状態、または、
前記第2状態が、規定時間(t2)継続して発生した第3状態では、
前記追従対象探索部が、前記追従対象を探索する処理を実行する(1)~(8)いずれかに記載の情報処理装置。
(10) 前記追従対象探索部は、
地図情報を参照して、前記移動装置の現在位置と、前記追従対象の存在可能位置を結ぶ1つ以上の探索経路を算出する(1)~(9)いずれかに記載の情報処理装置。
(11) 前記情報処理装置は、
前記移動装置内に設けられた情報処理装置である(1)~(10)いずれかに記載の情報処理装置。
(12) 前記情報処理装置は、
前記移動装置と通信可能な情報処理装置である(1)~(10)いずれかに記載の情報処理装置。
(13) 移動装置と、前記移動装置と通信可能な情報処理装置を有する情報処理システムであり、
前記情報処理装置は、
前記移動装置が追従する追従対象の推定位置である追従対象推定位置を算出する追従対象位置推定部と、
前記追従対象を探索する追従対象探索部を有し、
前記追従対象探索部は、
前記移動装置の現在位置と、前記追従対象の存在可能位置を結ぶ1つ以上の探索経路を算出し、
算出した1つ以上の探索経路を、前記追従対象推定位置に近い順に上位から並べた探索経路リストを生成し、
生成した探索経路リストの上位から順番に探索経路を選択し、
前記移動装置は、
前記情報処理装置が選択した探索経路に従って移動して前記追従対象を探索する情報処理システム。
(14) 前記移動装置は、
前記情報処理装置が選択した探索経路に従って移動して前記追従対象を探索する際、
前記移動装置に装着されたカメラの撮影画像を入力して、撮影画像を前記情報処理装置に送信し、
前記情報処理装置は、
前記移動装置から受信する前記撮影画像に基づいて、追従対象が検出されたか否かを判定する(13)に記載の情報処理システム。
(15) 情報処理装置において実行する情報処理方法であり、
追従対象位置推定部が、移動装置が追従する追従対象の推定位置である追従対象推定位置を算出する追従対象位置推定ステップと、
追従対象探索部が、
前記移動装置の現在位置と、前記追従対象の存在可能位置を結ぶ1つ以上の探索経路を算出し、
算出した1つ以上の探索経路を、前記追従対象推定位置に近い順に上位から並べた探索経路リストを生成し、
生成した探索経路リストの上位から順番に探索経路を選択し、選択した探索経路に従って前記移動装置を移動させて前記追従対象を探索するステップを実行する情報処理方法。
(16) 移動装置と、前記移動装置と通信可能な情報処理装置を有する情報処理システムにおいて実行する情報処理方法であり、
前記情報処理装置が、
前記移動装置が追従する追従対象の推定位置である追従対象推定位置を算出する追従対象位置推定処理と、
前記移動装置の現在位置と、前記追従対象の存在可能位置を結ぶ1つ以上の探索経路を算出し、算出した1つ以上の探索経路を、前記追従対象推定位置に近い順に上位から並べた探索経路リストを生成し、生成した探索経路リストの上位から順番に探索経路を選択する処理を実行し、
前記移動装置が、
前記情報処理装置が選択した探索経路に従って移動して前記追従対象を探索する情報処理方法。
(17) 情報処理装置において情報処理を実行させるプログラムであり、
追従対象位置推定部に、移動装置が追従する追従対象の推定位置である追従対象推定位置を算出させる追従対象位置推定ステップと、
追従対象探索部に、
前記移動装置の現在位置と、前記追従対象の存在可能位置を結ぶ1つ以上の探索経路を算出させ、
算出した1つ以上の探索経路を、前記追従対象推定位置に近い順に上位から並べた探索経路リストを生成させ、
生成した探索経路リストの上位から順番に探索経路を選択させ、選択した探索経路に従って前記移動装置を移動させて前記追従対象を探索させるプログラム。
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、LAN(Local Area Network)、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
以上、説明したように、本開示の一実施例の構成によれば、移動装置が追従する追従対象をロストした場合、効率的に追従対象を再発見して追従を再開可能とする装置、方法が実現される。
具体的には、例えば、追従対象位置推定部と、追従対象を探索する追従対象探索部を有する。追従対象探索部は、移動装置の現在位置と、追従対象の存在可能位置を結ぶ1つ以上の探索経路を算出し、算出した1つ以上の探索経路を、追従対象推定位置に近い順に上位から並べた探索経路リストを生成し、生成した探索経路リストの上位から順番に探索経路を選択し、選択した探索経路に従って移動装置を移動させて追従対象を探索する。移動装置に装着されたカメラの撮影画像に基づいて追従対象が検出されたか否かを判定し、検出された場合、追従処理を再開する。
本構成により、移動装置が追従する追従対象をロストした場合、効率的に追従対象を再発見して追従を再開可能とする装置、方法が実現される。
10 ロボット
20 追従対象
100 移動装置(ロボット)
101 カメラ
102 距離センサ
103 自己位置推定部
104 追従対象位置推定部
105 追従対象探索部
106 地図データ格納部
107 ロボット駆動情報生成部
108 ロボット駆動部
121 追従対象領域検出部
122 追従対象3次元位置推定部
131 画像内追従対象3次元位置算出部
132 運動モデル適用追従対象3次元位置推定部
151 探索経路解析部
152 探索経路決定部
153 追従対象検出確認部
500 移動装置
501 カメラ
502 センサ
503 データ処理部
504 位置情報取得部
505 入力部
506 出力部
507 通信部
508 記憶部(メモリ)
600 GPS衛星
700 ユーザ端末
701 データ処理部
702 記憶部(メモリ)
703 通信部
704 入力部
705 出力部
706 表示部

Claims (17)

  1. 移動装置が追従する追従対象の推定位置である追従対象推定位置を算出する追従対象位置推定部と、
    前記追従対象を探索する追従対象探索部を有し、
    前記追従対象探索部は、
    前記移動装置の現在位置と、前記追従対象の存在可能位置を結ぶ1つ以上の探索経路を算出し、
    算出した1つ以上の探索経路を、前記追従対象推定位置に近い経路を有する順に上位から並べた探索経路リストを生成し、
    生成した探索経路リストの上位から順番に探索経路を選択し、選択した探索経路に従って前記移動装置を移動させて前記追従対象を探索し、
    選択した探索経路上に前記追従対象を検出できなかった場合、前記探索経路リストに未選択探索経路が存在するか否かを判定し、存在する場合は前記探索経路リストの未選択探索経路から最上位の探索経路を選択し、選択した探索経路に従って前記移動装置を移動させて前記追従対象を探索する情報処理装置。
  2. 前記追従対象探索部は、
    選択した探索経路に従って前記移動装置を移動させて前記追従対象を探索する際、
    前記移動装置に装着されたカメラの撮影画像を入力して、追従対象が検出されたか否かを判定する請求項1に記載の情報処理装置。
  3. 前記追従対象位置推定部は、
    前記移動装置に装着されたカメラの過去の撮影画像であり、前記追従対象が撮影されている撮影画像を入力して、前記追従対象推定位置を算出する請求項1に記載の情報処理装置。
  4. 前記追従対象位置推定部は、
    前記追従対象の種類に対応した運動モデルを適用して前記追従対象推定位置を算出する請求項1に記載の情報処理装置。
  5. 前記追従対象探索部は、
    自己位置推定部において推定された前記移動装置の現在位置を入力して、前記追従対象の存在可能位置を結ぶ1つ以上の探索経路を算出する請求項1に記載の情報処理装置。
  6. 前記自己位置推定部は、
    SLAM(Simultaneous Localization and Mapping)処理により前記移動装置の現在位置を算出する請求項5に記載の情報処理装置。
  7. 前記移動装置は、
    前記追従対象を検出するセンサを有し、
    前記追従対象探索部は、
    前記センサによる前記追従対象の検出がなされない場合に前記追従対象を探索する処理を実行する請求項1に記載の情報処理装置。
  8. 前記センサはカメラを含む請求項7に記載の情報処理装置。
  9. 前記情報処理装置は、
    前記追従対象を検出するセンサを有し、
    前記センサによって前記追従対象の検出がなされている第1状態では、
    前記センサの検出情報に従って、前記追従対象の追従処理を実行し、
    前記センサによって前記追従対象の検出がなされていない期間が規程時間(t1)発生した第2状態、または、
    前記第2状態が、規定時間(t2)継続して発生した第3状態では、
    前記追従対象探索部が、前記追従対象を探索する処理を実行する請求項1に記載の情報処理装置。
  10. 前記追従対象探索部は、
    地図情報を参照して、前記移動装置の現在位置と、前記追従対象の存在可能位置を結ぶ1つ以上の探索経路を算出する請求項1に記載の情報処理装置。
  11. 前記情報処理装置は、
    前記移動装置内に設けられた情報処理装置である請求項1に記載の情報処理装置。
  12. 前記情報処理装置は、
    前記移動装置と通信可能な情報処理装置である請求項1に記載の情報処理装置。
  13. 移動装置と、前記移動装置と通信可能な情報処理装置を有する情報処理システムであり、
    前記情報処理装置は、
    前記移動装置が追従する追従対象の推定位置である追従対象推定位置を算出する追従対象位置推定部と、
    前記追従対象を探索する追従対象探索部を有し、
    前記追従対象探索部は、
    前記移動装置の現在位置と、前記追従対象の存在可能位置を結ぶ1つ以上の探索経路を算出し、
    算出した1つ以上の探索経路を、前記追従対象推定位置に近い経路を有する順に上位から並べた探索経路リストを生成し、
    生成した探索経路リストの上位から順番に探索経路を選択し、
    前記移動装置は、
    前記情報処理装置が選択した探索経路に従って移動して前記追従対象を探索し、
    前記移動装置が選択した探索経路上に前記追従対象を検出できなかった場合、
    前記情報処理装置は、
    前記探索経路リストに未選択探索経路が存在するか否かを判定し、存在する場合は前記探索経路リストの未選択探索経路から最上位の探索経路を選択し、
    前記移動装置は、
    選択した探索経路に従って前記移動装置を移動させて前記追従対象を探索する情報処理システム。
  14. 前記移動装置は、
    前記情報処理装置が選択した探索経路に従って移動して前記追従対象を探索する際、
    前記移動装置に装着されたカメラの撮影画像を入力して、撮影画像を前記情報処理装置に送信し、
    前記情報処理装置は、
    前記移動装置から受信する前記撮影画像に基づいて、追従対象が検出されたか否かを判定する請求項13に記載の情報処理システム。
  15. 情報処理装置において実行する情報処理方法であり、
    追従対象位置推定部が、移動装置が追従する追従対象の推定位置である追従対象推定位置を算出する追従対象位置推定ステップと、
    追従対象探索部が、
    前記移動装置の現在位置と、前記追従対象の存在可能位置を結ぶ1つ以上の探索経路を算出し、
    算出した1つ以上の探索経路を、前記追従対象推定位置に近い経路を有する順に上位から並べた探索経路リストを生成し、
    生成した探索経路リストの上位から順番に探索経路を選択し、選択した探索経路に従って前記移動装置を移動させて前記追従対象を探索するステップを実行し、
    選択した探索経路上に前記追従対象を検出できなかった場合、前記探索経路リストに未選択探索経路が存在するか否かを判定し、存在する場合は前記探索経路リストの未選択探索経路から最上位の探索経路を選択し、選択した探索経路に従って前記移動装置を移動させて前記追従対象を探索する情報処理方法。
  16. 移動装置と、前記移動装置と通信可能な情報処理装置を有する情報処理システムにおいて実行する情報処理方法であり、
    前記情報処理装置が、
    前記移動装置が追従する追従対象の推定位置である追従対象推定位置を算出する追従対象位置推定処理と、
    前記移動装置の現在位置と、前記追従対象の存在可能位置を結ぶ1つ以上の探索経路を算出し、算出した1つ以上の探索経路を、前記追従対象推定位置に近い経路を有する順に上位から並べた探索経路リストを生成し、生成した探索経路リストの上位から順番に探索経路を選択する処理を実行し、
    前記移動装置が、
    前記情報処理装置が選択した探索経路に従って移動して前記追従対象を探索し、
    前記移動装置が選択した探索経路上に前記追従対象を検出できなかった場合、
    前記情報処理装置は、
    前記探索経路リストに未選択探索経路が存在するか否かを判定し、存在する場合は前記探索経路リストの未選択探索経路から最上位の探索経路を選択し、
    前記移動装置は、
    選択した探索経路に従って前記移動装置を移動させて前記追従対象を探索する情報処理方法。
  17. 情報処理装置において情報処理を実行させるプログラムであり、
    追従対象位置推定部に、移動装置が追従する追従対象の推定位置である追従対象推定位置を算出させる追従対象位置推定ステップと、
    追従対象探索部に、
    前記移動装置の現在位置と、前記追従対象の存在可能位置を結ぶ1つ以上の探索経路を算出させ、
    算出した1つ以上の探索経路を、前記追従対象推定位置に近い経路を有する順に上位から並べた探索経路リストを生成させ、
    生成した探索経路リストの上位から順番に探索経路を選択させ、選択した探索経路に従って前記移動装置を移動させて前記追従対象を探索させ
    選択した探索経路上に前記追従対象を検出できなかった場合、前記探索経路リストに未選択探索経路が存在するか否かを判定し、存在する場合は前記探索経路リストの未選択探索経路から最上位の探索経路を選択し、選択した探索経路に従って前記移動装置を移動させて前記追従対象を探索させるプログラム。
JP2022557332A 2020-10-20 2021-09-27 情報処理装置、情報処理システム、および方法、並びにプログラム Active JP7750246B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020175830 2020-10-20
JP2020175830 2020-10-20
PCT/JP2021/035272 WO2022085368A1 (ja) 2020-10-20 2021-09-27 情報処理装置、情報処理システム、および方法、並びにプログラム

Publications (2)

Publication Number Publication Date
JPWO2022085368A1 JPWO2022085368A1 (ja) 2022-04-28
JP7750246B2 true JP7750246B2 (ja) 2025-10-07

Family

ID=81289819

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022557332A Active JP7750246B2 (ja) 2020-10-20 2021-09-27 情報処理装置、情報処理システム、および方法、並びにプログラム

Country Status (3)

Country Link
US (1) US20230400863A1 (ja)
JP (1) JP7750246B2 (ja)
WO (1) WO2022085368A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11797016B2 (en) 2020-04-13 2023-10-24 Boston Dynamics, Inc. Online authoring of robot autonomy applications
WO2022256818A1 (en) * 2021-06-04 2022-12-08 Boston Dynamics, Inc. Autonomous and teleoperated sensor pointing on a mobile robot
WO2023153083A1 (ja) * 2022-02-08 2023-08-17 ソニーグループ株式会社 情報処理装置、情報処理方法、情報処理プログラム及び移動装置
JPWO2024014367A1 (ja) * 2022-07-15 2024-01-18
EP4710178A1 (en) 2023-05-08 2026-03-18 Boston Dynamics, Inc. Location based change detection within image data by a mobile robot
JP7858938B1 (ja) 2024-12-10 2026-05-14 三菱電機株式会社 移動ロボット、探索システム、探索方法、および探索プログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005238396A (ja) 2004-02-26 2005-09-08 Toshiba Corp 移動ロボット
JP2009020749A (ja) 2007-07-12 2009-01-29 Toshiba Corp ロボット制御装置及び方法
JP2014149621A (ja) 2013-01-31 2014-08-21 Secom Co Ltd 自律飛行ロボット
JP2017068298A (ja) 2015-09-28 2017-04-06 株式会社日立システムズ 自律飛行移動体、ターゲット追跡方法
US20180181137A1 (en) 2016-12-23 2018-06-28 Korea Institute Of Science And Technology Moving and searching method of mobile robot for following human

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005238396A (ja) 2004-02-26 2005-09-08 Toshiba Corp 移動ロボット
JP2009020749A (ja) 2007-07-12 2009-01-29 Toshiba Corp ロボット制御装置及び方法
JP2014149621A (ja) 2013-01-31 2014-08-21 Secom Co Ltd 自律飛行ロボット
JP2017068298A (ja) 2015-09-28 2017-04-06 株式会社日立システムズ 自律飛行移動体、ターゲット追跡方法
US20180181137A1 (en) 2016-12-23 2018-06-28 Korea Institute Of Science And Technology Moving and searching method of mobile robot for following human

Also Published As

Publication number Publication date
US20230400863A1 (en) 2023-12-14
JPWO2022085368A1 (ja) 2022-04-28
WO2022085368A1 (ja) 2022-04-28

Similar Documents

Publication Publication Date Title
US11340610B2 (en) Autonomous target following method and device
US10691962B2 (en) Systems and methods for rear signal identification using machine learning
US11351986B2 (en) In-vehicle processing apparatus
US20230400863A1 (en) Information processing device, information processing system, method, and program
Kidono et al. Autonomous visual navigation of a mobile robot using a human-guided experience
EP1504277B1 (en) Real-time target tracking of an unpredictable target amid unknown obstacles
EP3850581B1 (en) Systems and methods for vslam scale estimation using optical flow sensor on a robotic device
KR101439921B1 (ko) 비젼 센서 정보와 모션 센서 정보를 융합한 모바일 로봇용 slam 시스템
CN110390240B (zh) 自动驾驶车辆中的车道后处理
US10369993B2 (en) Method and device for monitoring a setpoint trajectory to be traveled by a vehicle for being collision free
CN111788102A (zh) 用于跟踪交通灯的里程计系统和方法
JP2025507391A (ja) 自律エージェントの条件付き動作のための方法及びシステム
EP3690849B1 (en) Method and device for detecting emergency vehicles in real time and planning driving routes to cope with situations to be expected to be occurred by the emergency vehicles
JP6771588B2 (ja) 移動体および移動体の制御方法
US10710599B2 (en) System and method for online probabilistic change detection in feature-based maps
JP2012118909A (ja) 走行支援装置
JP7643457B2 (ja) 情報処理装置、情報処理システム、および方法、並びにプログラム
JP2022012173A (ja) 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
CN117232493A (zh) 针对slam的用于确定周围环境中的对象的方法
JP2025072732A (ja) 自動運転システム
CN115342811A (zh) 一种路径规划方法、装置、设备及存储介质
Wei et al. An approach to navigation for the humanoid robot nao in domestic environments
US12043290B2 (en) State identification for road actors with uncertain measurements based on compliant priors
Vandrish et al. Towards auv route following using qualitative navigation
Tanveer et al. An ipm approach to multi-robot cooperative localization: Pepper humanoid and wheeled robots in a shared space

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240731

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250610

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250806

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20250826

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20250908

R150 Certificate of patent or registration of utility model

Ref document number: 7750246

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150