JP2022132902A - 移動体の制御システム、移動体、移動体の制御方法、およびプログラム - Google Patents

Abstract

【課題】よりユーザの意図を反映した制御を実現すること。【解決手段】移動体の制御装置は、ユーザが撮像された画像を取得する取得部と、前記ユーザの指示を認識する第１認識部と、前記画像に基づいて移動体が進入可能な第１領域と、前記移動体が進入できない第２領域とを認識する第２認識部と、前記ユーザの指示と、前記移動体が進入可能な第１領域と、前記移動体が進入できない第２領域とに基づいて、前記移動体が移動する目標位置を決定する決定部とを備える。【選択図】図２

Description

本発明は、移動体の制御システム、移動体、移動体の制御方法、およびプログラムに関する。

従来、人間の発話および発話以外の動作に基づいて人間の近傍に存在する物品のうち人間の指示する物品を推定する物品推定システムが開示されている（例えば、特許文献１参照）。この物品推定システムは、音声認識の結果、物品の名称を示す単語が認識された場合は、音声認識に基づいて特定された物品を、人間の発話以外の動作（人間の視線や指差し方向）に基づいて特定された物品よりも優先して人間が指示した物品を推定し、推定した物品の位置に応じた制御を実行する。

特開２００９－２２３１７２号公報

しかしながら、上記の技術では、ユーザの意図が反映した制御ができない場合があった。

本発明は、このような事情を考慮してなされたものであり、よりユーザの意図を反映した制御を実現することができる移動体の制御システム、移動体、制御方法、およびプログラムを提供することを目的の一つとする。

この発明に係る移動体の制御システム、移動体、移動体の制御方法、およびプログラムは、以下の構成を採用した。
（１）：移動体の制御システムは、ユーザが撮像された画像を取得する取得部と、前記ユーザの指示を認識する第１認識部と、前記画像に基づいて移動体が進入可能な第１領域と、前記移動体が進入できない第２領域とを認識する第２認識部と、前記ユーザの指示と、前記移動体が進入可能な第１領域と、前記移動体が進入できない第２領域とに基づいて、前記移動体が移動する目標位置を決定する決定部とを備える。

（２）：上記（１）の態様において、前記第２認識部は、前記第１領域と、前記第２領域との境界を検出し、前記決定部は、前記境界に基づいて前記目標位置を決定する。

（３）：上記（２）の態様において、前記第１認識部が、前記ユーザのジェスチャによる前記目標位置の指示を認識した場合、前記決定部は、前記指示に基づいて前記境界から前記第１領域方向に所定量ずらした位置を、前記目標位置に決定する。

（４）：上記（２）または（３）の態様において、前記第１認識部が、前記ユーザによる物標の指定を伴う前記目標位置の指示を認識した場合、前記決定部は、前記物標の位置と、前記物標から所定の範囲内の前記境界とに基づいて、前記所定の範囲内の前記境界から前記第１領域方向に所定量ずらした位置を、前記目標位置に決定する。

（５）：上記（４）の態様において、前記決定部は、前記所定の範囲内の前記境界を前記ユーザの方向にずらした境界に基づいて、前記目標位置に決定する。

（６）：上記（２）から（５）のいずれかの態様において、前記第１認識部が、前記ユーザのジェスチャによる前記ユーザに近づく指示を認識した場合、前記決定部は、前記ユーザの位置と、前記ユーザから所定の範囲内の前記境界とに基づいて、前記所定の範囲内の前記境界から前記第１領域方向に所定量ずらした位置を、前記目標位置に決定する。

（７）：上記（６）の態様において、前記目標位置は停止位置であり、前記第１認識部が、停止している前記ユーザのジェスチャによる前記ユーザに近づく前記指示を認識した場合、前記決定部は、前記所定量ずらした位置を、前記停止位置に決定する。

（８）：上記（１）から（７）のいずれかの態様において、前記目標位置は停止位置であり、
前記決定部は、前記指示に基づいて、前記停止位置を決定する。

（９）：上記（１）から（８）のいずれかの態様において、前記目標位置は停止位置であり、前記決定部は、前記停止位置に前記移動体が停止するときの移動体の向きを、前記ユーザの目的地に向かう経路方向に向かせる。

（１０）：上記（１）から（９）のいずれかの態様において、前記目標位置は停止位置であり、前記決定部は、前記停止位置を決定できない場合、前記ユーザの近傍に前記移動体を移動させる。

（１１）：上記（１）から（９）のいずれかの態様において、前記目標位置は停止位置であり、前記決定部は、前記停止位置を決定できない場合、前記ユーザに前記停止位置に関する問い合わせを行う。

（１２）：上記（１）から（１１）のうちいずれかの態様において、制御システムが搭載された移動体である。

（１３）：この発明の一態様に係る移動体の制御方法は、コンピュータが、ユーザが撮像された画像を取得し、前記ユーザの指示を認識し、前記画像に基づいて移動体が進入可能な第１領域と、前記移動体が進入できない第２領域とを認識し、前記ユーザの指示と、前記移動体が進入可能な第１領域と、前記移動体が進入できない第２領域とに基づいて、前記移動体が移動する目標位置を決定する。

（１４）：この発明の一態様に係るプログラムは、コンピュータに、ユーザが撮像された画像を取得させ、前記ユーザの指示を認識させ、前記画像に基づいて移動体が進入可能な第１領域と、前記移動体が進入できない第２領域とを認識させ、前記ユーザの指示と、前記移動体が進入可能な第１領域と、前記移動体が進入できない第２領域とに基づいて、前記移動体が移動する目標位置を決定させる。

（１）－（１４）によれば、制御システムは、前記ユーザの指示と、前記移動体が進入可能な第１領域と、前記移動体が進入できない第２領域とに基づいて、前記移動体が移動する目標位置を決定することにより、よりユーザの意図を反映した制御を実現することができる。

（３）によれば、制御システムは、前記指示に基づいて前記境界から前記第１領域方向に所定量ずらした位置を、前記目標位置に決定することにより、移動体が移動可能であり、且つユーザにとって好適な位置に移動体を停車させることができる。

（４）によれば、制御システムは、ユーザが指定した物標に基づく位置に移動体を移動させることにより、ユーザの利便性が向上させることができる。

（５）によれば、制御システムは、ユーザが移動体に容易にアクセスできるように、物標と重ならない位置に移動体を移動させる。この結果、ユーザの利便性が向上する。

（９）によれば、制御システムは、前記停止位置に前記移動体が停止するときの移動体の向きを、前記ユーザの目的地に向かう経路方向に向かせることにより、例えば、ユーザが移動体と共に移動する場合に迅速に目的地に向かうことができる。

（１０）によれば、制御システムは、ユーザの挙動に応じて、ユーザにとって好適な位置に移動体を停車させることができる。

実施形態に係る制御装置を備える移動体Ｍの一例を示す図である。 移動体Ｍが備える他の機能構成の一例を示す図である。 移動体Ｍの行動の一例を示す図である。 移動体Ｍが参照する情報の一例を示す図である。 制御装置１００がユーザを特定する処理の流れの一例を示すフローチャートである。 ユーザの特徴量（属性）と物標の認識とについて説明するための図である。 ユーザの挙動の一例を示す図である。 制御装置１００がユーザを特定する処理の流れの一例を示すフローチャートである。 移動体Ｍの挙動の一例を示す図（その１）である。 移動体Ｍの挙動の一例を示す図（その２）である。 移動体Ｍの挙動の一例を示す図（その３）である。 移動体Ｍの挙動の一例を示す図（その４）である。 移動体Ｍの挙動の一例を示す図（その５）である。 移動体Ｍの挙動の一例を示す図（その６）である。 上記の図９－図１４で説明した処理において利用される考え方および認識する情報の一例を示す図である。 制御装置１００が停車位置を決定する際に実行される処理の流れの一例を示すフローチャートである。 制御装置１００が停車位置を決定する際に実行される処理の流れの他の一例を示すフローチャートである。

以下、図面を参照し、本発明の実施形態に係る移動体の制御システム、移動体、移動体の制御方法、およびプログラムについて説明する。

＜実施形態＞
[全体構成]
図１は、実施形態に係る制御装置を備える移動体Ｍの一例を示す図である。移動体Ｍは、自律移動型のロボットである。移動体Ｍは、ユーザの行動を支援する。移動体Ｍは、例えば、ユーザの指定した位置に停車して、ユーザを乗せて目的地に輸送する。本実施形態では、移動体Ｍは、ユーザを乗せて移動するものとして説明するが、これに代えて（または加えて）、移動体Ｍは、物品を輸送したり、ユーザを先導してユーザと共に移動したり、ユーザに追走してユーザの行動を支援したりするものであってもよく、また、移動体Ｍは、ユーザが搭乗可能なものであってもなくてもよい。

移動体Ｍは、本体２と、一以上の車輪４（図中、４Ａ、４Ｂ）と、カメラ１０とを備える。本体２には、例えば、不図示のドアなどユーザが本体２内に出入りすることができる出入口が設けられ、ユーザは出入口から本体２に入り、移動体Ｍに搭乗することができる。例えば、移動体Ｍは、カメラ１０により撮像された画像に基づいて車輪９４を駆動させて、ユーザＭを輸送する。

本実施形態では、ユーザは本体２内に搭乗するものとして説明するが、これらに代えて（または加えて）、ユーザが移動体Ｍと共に移動するために本体２内に搭乗せずに着座可能な着座部や、移動のためにユーザが足をのせるステップなどが設けられてもよい。

図２は、移動体Ｍが備える他の機能構成の一例を示す図である。移動体Ｍは、例えば、カメラ１０と、通信装置２０と、ＨＭＩ３０と、移動体センサ４０と、位置特定装置５０と、運転操作子８０と、制御装置１００と、走行駆動力出力装置２００と、ブレーキ装置２１０と、ステアリング装置２２０とを備える。

カメラ１０は、移動体Ｍの周辺を撮像する。カメラ１０は、例えば、移動体Ｍの周辺を広角に（例えば３６０度で）撮像可能な魚眼カメラである。カメラ１０は、例えば、移動体Ｍの上部に取り付けられ、移動体Ｍの周辺を水平方向に関して広角に撮像する。カメラ１０は、複数のカメラ（水平方向に関して１２０度の範囲や６０度の範囲を撮像する複数のカメラ）を組み合わせて実現されてもよい。移動体Ｍは、カメラ１０に加えて、物体を検出するレーダ装置やＬＩＤＡＲを備えてもよい。

通信装置２０は、セルラー網やＷｉ－Ｆｉ網、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＤＳＲＣ（Dedicated Short Range Communication）などを利用して他の装置と通信するための通信インターフェイスである。

ＨＭＩ３０は、移動体Ｍのユーザに対して各種情報を提示すると共に、ユーザによる入力操作を受け付ける。ＨＭＩ３０は、各種表示装置、スピーカ、ブザー、タッチパネル、スイッチ、キーなどを含む。

移動体センサ４０は、移動体Ｍの速度を検出する車速センサ、加速度を検出する加速度センサ、鉛直軸回りの角速度を検出するヨーレートセンサ、移動体Ｍの向きを検出する方位センサ等を含む。

位置特定装置５０は、ＧＮＳＳ衛星から受信した信号に基づいて、移動体Ｍの位置を特定する。移動体Ｍの位置は、移動体センサ４０の出力を利用したＩＮＳ（Inertial Navigation System）によって特定または補完されてもよい。

運転操作子８０は、例えば、アクセルペダル、ブレーキペダル、シフトレバー、ステアリングホイール、異形ステア、ジョイスティックその他の操作子を含む。運転操作子８０には、操作量あるいは操作の有無を検出するセンサが取り付けられており、その検出結果は、制御装置１００、もしくは、走行駆動力出力装置２００、ブレーキ装置２１０、およびステアリング装置２２０のうち一部または全部に出力される。なお、移動体Ｍが自動運転でのみで制御される場合、運転操作子８０は省略されてもよい。

制御装置１００は、例えば、取得部１１０と、認識部１２０と、軌道生成部１３０と、走行制御部１４０と、情報処理部１５０と、記憶部１８０とを備える。取得部１１０、認識部１２０、軌道生成部１３０（決定部の一例）、走行制御部１４０、および情報処理部１５０は、それぞれ、例えば、ＣＰＵ（Central Processing Unit）などのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、ＨＤＤやフラッシュメモリなどの記憶部１８０（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭなどの着脱可能な記憶媒体に格納されており、記憶媒体（非一過性の記憶媒体）がドライブ装置に装着されることでＨＤＤやフラッシュメモリにインストールされてもよい。制御装置１００に含まれる機能部の一部は、他の装置に含まれてもよい。例えば、取得部１１０と、認識部１２０（後述する第１認識部１２２または第２認識部１２４の一方または双方）とは他の装置に含まれ、制御装置１００は、他の装置から認識部１２０の認識結果を取得し、取得した結果に基づいて各種処理を実行してもよい。また、画像は、カメラ１０に代えて、路肩など移動体Ｍとは異なる箇所に設けられていてもよい。この場合、取得部１１０は、異なる箇所に設けられたカメラにより撮像された画像を取得する。

取得部１１０は、カメラ１０により撮像された画像であって、移動体Ｍに乗車していないユーザが撮像された画像を取得する。

認識部１２０は、例えば、第１認識部１２２と第２認識部１２４とを含む。第１認識部１２２は、ユーザの位置や、ユーザのジェスチャ、ユーザの行動、ユーザが手や腕で指し示す方向、ユーザの指示などを認識する。第１認識部１２２は、例えば、取得部１１０により取得された画像と、パターンマッチングや、ディープラーニング等の手法とに基づいて、ユーザのジェスチャや、ユーザの行動、ユーザが手や腕で指し示す方向、指示などを認識する。また、第１認識部１２２は、マイクにより入力された音声を解析し、音声に含まれる指示を認識する。

第２認識部１２４は、例えば、ＡＩ（Artificial Intelligence；人工知能）による機能または予め与えられたモデルによる機能を利用して、またはこれらを並行に利用して物体や、移動体Ｍの周辺の状況を認識する。例えば、「移動体Ｍが進入可能な領域を認識する」機能は、ディープラーニング等による道路や歩道、縁石などの認識と、予め与えられた条件（パターンマッチング可能な信号）に基づく認識とが並行して実行され、双方に対してスコア付けして総合的に評価することで実現されてよい。また、第２認識部１２４は、セマンティックセグメンテーション（Semantic Segmentation）処理を実行して画像のフレーム内の各ピクセルをクラス（例えば、物体や、進入可能な第１領域、進入が可能でない第２領域等）に分類し、分類結果に基づいて、移動体Ｍが進入可能な領域を認識してもよい。これによって、移動体Ｍの移動の信頼性が担保される。

第２認識部１２４は、カメラ１０により撮像された画像に基づいて、移動体Ｍの周辺にある物体の位置、および速度、加速度等の状態を認識する。物体の位置は、例えば、移動体Ｍの代表点（重心や駆動軸中心など）を原点とした絶対座標上の位置として認識され、制御に使用される。物体の位置は、その物体の重心やコーナー等の代表点で表されてもよいし、表現された領域で表されてもよい。物体の「状態」とは、物体の加速度やジャーク、あるいは「行動状態」（例えば車線変更をしている、またはしようとしているか否か）を含んでもよい。第２認識部１２４は、例えば、道路区画線や路肩、縁石、中央分離帯、ガードレール、一時停止線、障害物、信号、その他の道路事象を認識する。第２認識部１２４は、移動体Ｍの位置や姿勢を認識する。

軌道生成部１３０は、ユーザの指示と、移動体Ｍが進入可能な第１領域と、移動体Ｍが進入できない第２領域とに基づいて、移動体Ｍが移動する目標位置を決定する。目標位置は、例えば、移動体Ｍが停止する停止位置や、移動体Ｍが走行する走行位置（または移動する移動位置）である。

軌道生成部１３０は、移動体Ｍの周辺状況に対応できるように、移動体Ｍが自動的に（運転者の操作に依らずに）将来走行する目標軌道を生成する。目標軌道は、例えば、速度要素を含んでいる。例えば、目標軌道は、移動体Ｍの到達すべき地点（軌道点）を順に並べたものとして表現される。軌道点は、道なり距離で所定の走行距離（例えば数［ｍ］程度）ごとの移動体Ｍの到達すべき地点であり、それとは別に、所定のサンプリング時間（例えば０コンマ数［ｓｅｃ］程度）ごとの目標速度および目標加速度が、目標軌道の一部として生成される。また、軌道点は、所定のサンプリング時間ごとの、そのサンプリング時刻における自車両Ｍの到達すべき位置であってもよい。この場合、目標速度や目標加速度の情報は軌道点の間隔で表現される。

軌道生成部１３０は、直交座標系と魚眼カメラ座標系との間で座標変換を行う。直交座標系と魚眼カメラ座標系の間では、座標間で一対一の関係が成立し、その関係は対応情報として記憶部７０に記憶されている。軌道生成部１３０は、直交座標系における軌道（直交座標系軌道）を生成し、この軌道を魚眼カメラ座標系における軌道（魚眼カメラ座標系軌道）に座標変換する。軌道生成部１３０は、魚眼カメラ座標系軌道のリスクを計算する。リスクとは、移動体Ｍが障害物に接近する可能性の高さを示す指標値である。リスクは、軌道（軌道の軌道点）に対して障害物との距離が小さければ小さいほど高く、軌道（軌道点）に対して障害物との距離が大きければ大きいほどリスクを低くなる傾向である。

軌道生成部１３０は、リスクの合計値や、各軌道点のリスクが、予め設定された基準を満たす場合（例えば合計値が閾値Ｔｈ１以下であり、且つ各軌道点のリスクが閾値Ｔｈ２以下である場合）、基準を満たす軌道を移動体が移動する軌道として採用する。

上記の軌道が予め設定された基準を満たさない場合、軌道生成部１３０は、魚眼カメラ座標系において進入可能空間を検出し、検出された魚眼カメラ座標系における進入可能空間を直交座標系における進入可能空間に座標変換する。進入可能空間とは、移動体Ｍの移動方向の領域のうち障害物およびその障害物の周辺の領域（リスクが設定された領域またはリスクが閾値以上の領域）を除いた空間である。軌道生成部１３０は、直交座標系に座標変換された進入可能空間内に軌道が収まるように軌道を修正する。軌道生成部１３０は、直交座標系軌道を魚眼カメラ座標系軌道に座標変換して、周辺画像と、魚眼カメラ座標系軌道とに基づいて、魚眼カメラ座標系軌道のリスクを計算する。この処理を繰り返して、上記の予め設定された基準を満たす軌道を探索する。

走行制御部１４０は、予め設定された基準を満たす軌道に沿って、移動体Ｍを走行させる。走行制御部１４０は、移動体Ｍが軌道に沿って走行させるための指令値を走行駆動力出力装置２００に出力する。

情報処理部１５０は、移動体Ｍが有する各種装置や機器を制御する。情報処理部１５０は、例えば、ＨＭＩ３０を制御する。情報処理部１５０は、マイクに入力された音声のデータを取得したり、操作部に対して行われた操作を認識したりする。

走行駆動力出力装置２００は、移動体Ｍが走行するための走行駆動力（トルク）を駆動輪に出力する。走行駆動力出力装置２００は、例えば、電動機と、これらを制御するＥＣＵ（Electronic Control Unit）とを備える。ＥＣＵは、走行制御部１４０から入力される情報、或いは運転操作子８０から入力される情報に従って、上記の構成を制御する。

ブレーキ装置２１０は、例えば、ブレーキキャリパーと、ブレーキキャリパーに油圧を伝達するシリンダと、シリンダに油圧を発生させる電動モータと、ブレーキＥＣＵとを備える。ブレーキＥＣＵは、走行制御部１４０から入力される情報、或いは運転操作子８０から入力される情報に従って電動モータを制御し、制動操作に応じたブレーキトルクが各車輪に出力されるようにする。

ステアリング装置２２０は、例えば、ステアリングＥＣＵと、電動モータとを備える。電動モータは、例えば、ラックアンドピニオン機構に力を作用させて転舵輪の向きを変更する。ステアリングＥＣＵは、走行制御部１４０から入力される情報、或いは運転操作子８０から入力される情報に従って、電動モータを駆動し、転舵輪の向きを変更させる。

［移動体の制御の概要］
図３は、移動体Ｍの行動の一例を示す図である。移動体Ｍは、サービスの提供を受けることを希望しているユーザを特定して、ユーザの発話やジェスチャに応じた位置に向かって走行して（時刻ｔ）、その位置に停車してユーザを搭乗させる（時刻ｔ＋１）。ユーザが移動体Ｍに搭乗した後、移動体Ｍは、ユーザの目的地に向かって走行する（時刻ｔ＋２）。例えば、ユーザは、予め指定した位置付近に移動体Ｍを呼び寄せる。例えば、図４に示すように、移動体Ｍは、ユーザの服装の特徴や身体的特徴（例えばユーザが事前に移動体Ｍに提供した身体的特徴）、ジェスチャを参照して、指定された位置付近で待ち合わせているユーザを特定する。そして、移動体Ｍは、特定したユーザのジェスチャや挙動に応じた位置に停車する。ユーザは、停車した移動体Ｍに搭乗して目的地に向かうことができる。

［ユーザを特定する処理（その１）］
図５は、制御装置１００がユーザを特定する処理の流れの一例を示すフローチャートである。まず、制御装置１００の情報処理部１５０が、移動体Ｍがユーザとコミュニケーションを行って入手した特定情報を取得する（ステップＳ１００）。コミュニケーションは、音声（ユーザの声）によって行われてもよいし、ユーザが有する端末装置との通信によって行われてもよい。特定情報とは、例えば、ユーザが移動体Ｍを利用する意思を示す情報である。例えば、ユーザが、「こっちだよ」、「乗せて」などのように利用する意思を示す発話を行った場合、その発話がマイク（移動体Ｍのマイクや、図示しないユーザの携帯端末や路肩装置のマイクであってもよい）に入力される。第１認識部１２２は、マイクに入力された発話を解析して、解析結果に基づいて、ユーザの意思を認識する。

次に、認識部１２０は、カメラ１０により撮像された画像に基づいて、ユーザの属性を認識する（ステップＳ１０２）。例えば、認識部１２０は、画像に基づいてユーザの関節点を認識する（スケルトン処理を実行する）。例えば、認識部１２０は、画像からユーザの顔や、顔のパーツ、首、肩、肘、手首、腰、足首などを推定し、推定した各パーツの位置に基づいて、スケルトン処理を実行する。例えば、認識部１２０は、ディープラーニングを用いてユーザの関節点や骨格を推定する公知の手法（例えばオープンポーズなどの手法）を用いて、スケルトン処理を実行する。認識部１２０は、スケルトン処理の結果に基づいて、ユーザの顔や、上半身、下半身等を特定し、特定した顔、上半身、下半身などに基づく特徴量（例えば属性）を抽出する。認識部１２０は、スケルトン処理の結果と、ユーザの属性や特徴を判別するためのアルゴリズムやパターンマッチングとに基づいて、ユーザの属性を判別する。

また、認識部１２０は、特定情報に物標が含まれている場合、物標を認識する（ステップＳ１０４）。例えば、ユーザが、「郵便ポストの当たりで乗せて」と発話した場合、該当する郵便ポストを認識する。そして、認識部１２０は、ステップＳ１０２の処理において、該当する郵便ポスト付近に存在するユーザに対してスケルトン処理を実行する。

次に、認識部１２０は、スケルトン処理の結果に基づいて、ユーザの属性を認識および判別する（ステップＳ１０６）。この処理後に、後述する図８のフローチャートの処理に進む。

図６は、ユーザの特徴量（属性）と物標の認識とについて説明するための図である。ユーザの属性は、服装の属性と、身体的属性とを含む。服装の属性とは、服の色や帽子の有無を含む。身体的属性とは、性別や、年齢である。物標とは、ユーザが指定する物標である。認識部１２０は、予め記憶部１８０に記憶された移動体Ｍを利用するユーザの属性と、画像に基づいて判別された属性とに基づいて、記憶部１８０に記憶された属性に合致する属性を有する属性のユーザを特定する。

［ユーザを特定する処理（その２）］
制御装置１００は、画像に基づいて、図７に示す挙動を認識して、後述する図８に示す処理を行ってユーザを特定する。図７は挙動の一例について説明するための図である。挙動は、例えば、（１）－（７）である。
（１）立っている（または停止している）。
（２）歩いている。
（３）走っている。
（４）手を振る。
（５）スマートフォン（スマホ）をかざす。
（６）不定または存在を示す行動（存在表示意思）を行っている。
（７）顔が所定の方向を向いている。

図８は、制御装置１００がユーザを特定する処理の流れの一例を示すフローチャートである。図５のステップＳ１０６の処理後、認識部１２０は、マッチング処理を行う（ステップＳ２００）。例えば、認識部１２０は、カメラ１０により撮像された画像に基づいて、ユーザの挙動を認識し、認識した挙動（ジェスチャを含む）が記憶部１８０に記憶された挙動に合致するか否か判定する。

ユーザの挙動が、上記の（２）－（５）の挙動に合致している場合、制御装置１００は、ユーザが特定できたか否かを判定する（ステップＳ２０２）。ユーザが特定できた場合、本フローチャートの１ルーチンの処理が終了する。例えば、制御装置１００は、ユーザの服装の属性や身体的属性を参照してユーザを特定する。

ステップＳ２０２の処理で、ユーザが特定できなかった場合、制御装置１００は、移動体Ｍがユーザとコミュニケーションを行って追加の特定情報（例えば「こっち」、「ここだよ」などの音声）を取得する（ステップＳ２０４）。次に、制御装置１００は、追加の特定情報によりユーザを特定することができたか否かを判定する（ステップＳ２０６）。追加の特定情報によりユーザを特定することができなかった場合、図５のステップＳ１００の処理に戻る。追加の特定情報によりユーザを特定することができた場合、本フローチャートの１ルーチンの処理が終了する。

ユーザの挙動が、上記の（１）－（５）の挙動に合致していない場合（マッチングなしの場合）、制御装置１００は、ユーザの位置の伝達の音声が入力されたか否を判定する（ステップＳ２０８）。例えば、「おーい」、「こっち」、「ここだよ」などの音声が入力されたか否かが判定される。ユーザの位置の伝達の音声が入力された場合、制御装置１００は、スケルトン処理を行って、時系列の変化を評価して、ユーザの挙動を認識する（ステップＳ２１０）。

ステップＳ２１０の認識結果において、ユーザが、上記の（６）の挙動を行っている場合（ユーザの時系列の変化が大きい場合）、ステップＳ２０４の処理に進む。ステップＳ２１０の認識結果において、ユーザが、上記の（６）の挙動を行っていない場合（ユーザの時系列の変化が小さい場合）、ステップＳ２１４またはＳ２１６の処理に進む。また、上記のステップＳ２０８で、ユーザの位置の伝達の音声が入力されていない場合、ステップＳ２１４またはＳ２１６に進む。

例えば、以下の条件１－３の一部または全部が満たされた場合、ステップＳ２１４またはステップＳ２１６に進む（以下の説明では、ステップＳ２１６の処理の前にステップＳ２１４の処理が行われるものとして説明する）。
条件１は、ステップＳ２０８でユーザの位置の伝達の音声が入力されていないこと。
条件２は、ステップＳ２１０でユーザが、上記の（６）の挙動を行っていないこと。
条件３は、ユーザの挙動が、上記の（１）の挙動に合致していること。

条件１－３の一部または全部が満たされた場合、制御装置１００は、音声で移動体Ｍがユーザの近傍に到着したことを伝達する（ステップＳ２１４）。条件１－３の一部または全部が満たされ、ステップＳ２１４の処理後、制御装置１００は、ユーザの顔の向きを認識する（ステップＳ２１６）。

ステップＳ２１６の後、制御装置１００は、例えばステップＳ２１４で音声を伝達した後、ユーザが移動体Ｍの方向を見たか否かを判定する（ステップＳ２１８）。ユーザが移動体Ｍの方向を見た場合、そのユーザが移動体Ｍを利用するユーザと特定され、本フローチャートの１ルーチンの処理が終了する。ユーザが移動体Ｍの方向を見ていない場合、ステップＳ２０４の処理に進む。ステップＳ２１６の後、制御装置１００は、移動体Ｍの動きに合わせてユーザの顔の向きが変わったか否かを判定する（ステップＳ２２０）。移動体Ｍの動きに合わせてユーザの顔の向きが変わった場合、そのユーザが移動体Ｍを利用するユーザと特定され、本フローチャートの１ルーチンの処理が終了する。移動体Ｍの動きに合わせてユーザの顔の向きが変わっていない場合、ステップＳ２０４の処理に進む。

上記のように、制御装置１００は、例えば、多くの人が存在する環境においても、ユーザとコミュニケーションを行い、ユーザの挙動や反応に応じて、移動体Ｍを利用する予定のユーザを精度よく特定することができる。

制御装置１００は、ユーザを特定した後、特定したユーザの挙動に基づいて停車位置または走行位置の一方または双方を決定し、決定結果に基づいて移動体Ｍを制御する。

図９は、移動体Ｍの挙動の一例を示す図（その１）である。制御装置１００は、進入可能領域における指差し指示された位置（以下、停車位置）に移動体Ｍを停車させる。制御装置１００は、進入可能領域と、進入不可能領域とを認識し、進入可能領域において停車位置に向かう軌道を生成する。制御装置１００は、生成した軌道に沿って移動体Ｍを走行させて、停車位置で移動体Ｍを停車させる。停車位置は、例えば指差し指示された位置であって道路の路肩である。なお、指差し指示された停車位置の特定手法の一例については後述する。進入可能領域（第１領域）とは、移動体Ｍが進入可能な領域である。進入不可能領域（第２領域）とは、移動体Ｍが進入できない領域、または移動体Ｍが走行するのが相応しくない領域である。進入可能領域は、例えば車道であり、進入不可能領域は、例えば歩道である。

図１０は、移動体Ｍの挙動の一例を示す図（その２）である。図１０では、ユーザが指差し指示をしているが、その指示に対応する停車位置が、図９の停車位置よりもユーザから遠い位置である。この場合も、図９と同様に、停車位置で移動体Ｍは停車する。

図１１は、移動体Ｍの挙動の一例を示す図（その３）である。前述した図９、図１０では、停車位置は、道路において第１側と第２側とのうち第１側であった。第１側はユーザが存在している進入不可能領域側であり、第２側はユーザが存在している側とは反対側の進入不可能領域側である。図１１では、停車位置は、第２側に設定されるものとする。また、ユーザの目的地は、図１１に示す方向Ｄであるものとする。この場合、移動体Ｍは、目的地の方向、およびユーザが搭乗した後に進行する方向を考慮して停車位置に停車する。

例えば、制御装置１００は、ユーザの目的地を事前に取得し、取得した目的地と停車位置とに基づいて停車位置に到達するための軌道を生成する。図１１の例では、ユーザが搭乗した後に旋回せずに目的地方向に進行できるように、制御装置１００は、移動体Ｍに停車位置を通過させて、その後、移動体Ｍを旋回させて、移動体Ｍの正面が目的地方向に向くように走行させて、停車位置で移動体Ｍを停車させる。これにより、ユーザが移動体Ｍに搭乗した後、迅速かつ滑らかに、移動体Ｍは目的地に向かうことができる。上記の図１１を参照して説明した処理は、「前記決定部は、前記停止位置に前記移動体が停止するときの移動体の向きを、前記ユーザの目的地に向かう経路方向に向かせる」処理の一例である。

図１２は、移動体Ｍの挙動の一例を示す図（その４）である。ユーザが停車位置を指定していない場合、移動体Ｍはユーザに近い進入可能領域に停車する。例えば、制御装置１００がユーザを特定したが、ユーザが直立しているような場合、制御装置１００は、移動体Ｍをユーザに近い位置に停車させる。

図１３は、移動体Ｍの挙動の一例を示す図（その５）である。ユーザが停車位置を指定していないが、手招きや手を振るなどユーザに近づくことを示す所定の挙動を行っている場合（「前記第１認識部が、前記ユーザのジェスチャによる前記ユーザに近づく指示を認識した場合」）、移動体Ｍはユーザ（例えば停止しているユーザ）に近づき、移動体Ｍはユーザに近い進入可能領域に停車する。この停車位置は、例えば、図１２で説明した停車位置と同じ位置であってもよいし、手招きなどユーザの挙動に応じて変化させてもよい。例えば、移動体Ｍが、図１２で説明した停車位置に到着したが、そのとき、ユーザが手招きを行っている場合、移動体Ｍは、更にユーザに近づいてもよい。

図１４は、移動体Ｍの挙動の一例を示す図（その６）である。ユーザが特定の物標を指定して停車する指示（発話）を行った場合、制御装置１００は、進入可能領域において物標に対応する位置に移動体Ｍを停車させる。図１４に示すように、「ユーザが郵便ポストのところに止まって」と指示した場合、移動体Ｍは、郵便ポストの前の進入可能領域に停車する。なお、制御装置１００は、移動体Ｍが停車した場合に、移動体Ｍと郵便ポストとの間隔が閾値以下であると、ユーザが移動体Ｍに搭乗しづらいので、移動体Ｍを郵便ポスト手前の位置（図１４のユーザに近い側にオフセットさせた位置Ｘ）に停車させてもよい。この処理は、「前記決定部は、前記所定の範囲内の前記境界を前記ユーザの方向にずらした境界に基づいて、前記停止位置に決定する」処理の一例である。

図１５は、上記の図９－図１４で説明した処理において利用される考え方および認識する情報の一例を示す図である。認識部１２０は、下記の（Ａ）－（Ｅ）を利用してユーザの挙動や物標、停止位置を認識する。
（Ａ）認識部１２０は、スケルトン処理を行い、ユーザの腕や手、指を認識し、認識した腕や手、指が指し示す位置（縦方向および横方向の位置）を認識する。
（Ｂ）認識部１２０は、スケルトン処理を行い、ユーザの腕や手、指、肩の位置を認識し、認識した腕や手、指が指し示す方向を肩の高さに基づいて補正する。
（Ｃ）認識部１２０は、スケルトン処理を行い、ユーザの腕や手、指を認識し、認識した腕や手、指によって行われるジェスチャ（例えば手招き）を認識する。
（Ｄ）認識部１２０は、ユーザとユーザが指定した物標を認識し、移動体Ｍと物標との相対位置を認識する。
（Ｅ）認識部１２０は、前述したように、例えばセマンティックセグメンテーション処理を実行して、進入可能領域や、物標と進入可能領域との相対位置等を認識する。

［停車位置を決定する処理のフローチャート（その１）］
図１６は、制御装置１００が停車位置を決定する際に実行される処理の流れの一例を示すフローチャートである。本フローチャートのステップＳ３０４の停車位置は、図１２に対応する停車位置であり、ステップＳ３１２の停車位置は、前述した図９－１１に対応する停車位置である。本フローチャートのステップＳ３１６の停車位置は、図１４に対応する停車位置であり、ステップＳ３２０の停車位置は、前述した図１３に対応する停車位置である。後述する「☆」は、境界に基づく停止位置の一例であり、後述する「☆」に停止するための経路（図９－１４で示した経路）は境界に基づく走行位置の一例である。

まず、制御装置１００は、図８のフローチャートで説明したように、ユーザを特定する（ステップＳ３００）。次に、情報処理部１５０は、ユーザの発話に停止位置を指定する指示語が含まれているか否を判定する（ステップＳ３０２）。

ユーザの発話に停止位置を指定する指示語が含まれていいない場合、制御装置１００は、移動体Ｍをユーザの近傍に移動させる（ステップＳ３０４）。ユーザの発話に停止位置を指定する指示語が含まれている場合、認識部１２０は、停止位置を決定するための参照情報を取得する（ステップＳ３０６）。参照情報は、図１５で説明した（Ａ）－（Ｅ）の情報である。

次に、認識部１２０は、ユーザが指差しで方向を指示しているか否かを判定する（ステップＳ３０８）。ユーザが指差しで方向を指示している場合、認識部１２０は、ユーザが指差しで指示している広域の指示領域を特定する（ステップＳ３１０）。次に、認識部１２０は、ユーザの指示位置を推定する（ステップＳ３１２）。例えば、認識部１２０は、広域の指示領域に含まれる、進入可能領域と進入不可能領域との境界（指定走路境界）を認識する。認識部１２０は、広域の指示領域における境界の所定の位置「☆」を設定し、この所定位置「☆」を、進入可能領域の方向に所定距離オフセットさせた位置を指示位置（ユーザが指差しで指示している位置）「★」に決定する。これにより、本フローチャートの処理が終了する。

上記のステップＳ３１２の処理は、「前記第１認識部が、前記ユーザがジェスチャで前記停止位置を指示していることを認識した場合、前記決定部は、前記指示に基づいて前記境界から前記第１領域方向に所定量ずらした位置を、前記停止位置に決定する」処理の一例である。

ユーザが指差しで方向を指示していない場合、認識部１２０は、物標の指示があるか否かを判定する（ステップＳ３１４）。物標の指示があると判定した場合、認識部１２０は、指示された物標の近傍の境界に所定の位置「☆」を設定し、この所定位置「☆」を、進入可能領域の方向に所定距離オフセットさせた位置を指示位置「★」に決定する（ステップＳ３１６）。この処理は、「前記第１認識部が、ユーザが物標を指定し、且つ前記物標に基づく位置に前記移動体を停止させることを前記ユーザが指示していることを認識した場合、前記決定部は、前記物標の位置と、前記物標から所定の範囲内の前記境界とに基づいて、前記所定の範囲内の前記境界から前記第１領域方向に所定量ずらした位置を、前記停止位置に決定する」処理の一例である。

物標の指示がないと判定した場合、認識部１２０は、手招きの指示があるか否かを判定する（ステップＳ３１８）。手招きの指示がある場合、認識部１２０は、手招きをしているユーザの近傍の境界に所定の位置「☆」を設定し、この所定位置「☆」を、進入可能領域の方向に所定距離オフセットさせた位置を指示位置「★」に決定する（ステップＳ３２０）。この処理は、「前記第１認識部が、ユーザのジェスチャによる前記ユーザに近づく指示を認識した場合、前記決定部は、前記ユーザの位置と、前記ユーザから所定の範囲内の前記境界とに基づいて、前記所定の範囲内の前記境界から前記第１領域方向に所定量ずらした位置を、前記目標位置に決定する」処理の一例である。

手招きの指示がない場合、制御装置１００は、ユーザに指示を問い合わせる（ステップＳ３２２）。問い合わせるとは、音声による問い合わせであってもよいし、通信を介したメッセージによる問い合わせであってもよい。これにより、本フローチャートの１ルーチンの処理が終了する。

上記のように、制御装置１００は、音声やユーザの挙動を認識して、ユーザとコミュニケーションを行って停車位置を決定することにより、よりユーザの意図を反映した制御を実現することができる。

［停車位置を決定する処理のフローチャート（その２）］
図１７は、制御装置１００が停車位置を決定する際に実行される処理の流れの他の一例を示すフローチャートである。図１６のフローチャートの処理と異なる点について説明する。本処理では、図１５で説明した（Ｂ）または（Ｃ）の一方または双方の認識処理は省略される。本処理では、例えば、肩の高さの認識、肩の高さの認識結果に基づく補正、および手招きを認識する処理が省略される。肩の高さは、予め設定された高さが用いられる。このように（Ｂ）、（Ｃ）が省略された場合であっても、演算負荷を抑制しつつ、停車位置の決定の精度が担保される。

図１７では、図１６のステップＳ３１８およびＳ３２２の処理が省略される。ステップＳ３１４で、物標の指示がない場合、ステップＳ３２０の処理が実行される。これにより、本フローチャートの１ルーチンの処理が終了する。

上述した処理に、制御装置１００は、より簡易に、音声やユーザの挙動を認識して、ユーザとコミュニケーションを行って停車位置を決定することにより、よりユーザの意図を反映した制御を実現することができる。

なお、指差し位置の推定に関して、特開２００９－２２３１７２に開示された手法や他の公知の手法が用いられる。例えば、指差し位置を推定する際、指が指し示している方向に加え、肩の高さや、肩幅、視線の方向、目の高さなど種々のパラメータが加味されてよい。

以上説明した実施形態によれば、制御装置１００は、画像に基づいて移動体Ｍが進入可能な第１領域と、移動体Ｍが進入できない第２領域とを認識し、ユーザの指示と、移動体Ｍが進入可能な第１領域と、移動体Ｍが進入できない第２領域とに基づいて、移動体Ｍが停止する停止位置または移動体Ｍが移動する目標位置を決定することにより、よりユーザの意図を反映した制御を実現することができる。

上記説明した実施形態は、以下のように表現することができる。
プログラムを記憶した記憶装置と、
ハードウェアプロセッサと、を備え、
ユーザが撮像された画像を取得し、
前記ユーザの指示を認識し、
前記画像に基づいて前記移動体が進入可能な第１領域と、前記移動体が進入できない第２領域とを認識し、
前記ユーザの指示と、前記移動体が進入可能な第１領域と、前記移動体が進入できない第２領域とに基づいて、前記移動体が停止する停止位置または前記移動体が移動する目標位置の一方または双方を決定する、
移動体の制御装置。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

Ｍ‥移動体、２‥本体、１０‥カメラ、１００‥制御装置、１１０‥取得部、１２０‥認識部、１２２‥第１認識部、１２４‥第２認識部、１３０‥軌道生成部、１４０‥走行制御部、１５０‥情報処理部、１８０‥記憶部

Claims (14)

1. ユーザが撮像された画像を取得する取得部と、
   前記ユーザの指示を認識する第１認識部と、
   前記画像に基づいて移動体が進入可能な第１領域と、前記移動体が進入できない第２領域とを認識する第２認識部と、
   前記ユーザの指示と、前記移動体が進入可能な第１領域と、前記移動体が進入できない第２領域とに基づいて、前記移動体が移動する目標位置を決定する決定部と、
   を備える移動体の制御システム。
2. 前記第２認識部は、前記第１領域と、前記第２領域との境界を検出し、
   前記決定部は、前記境界に基づいて前記目標位置を決定する、
   請求項１に記載の移動体の制御システム。
3. 前記第１認識部が、前記ユーザのジェスチャによる前記目標位置の指示を認識した場合、
   前記決定部は、前記指示に基づいて前記境界から前記第１領域方向に所定量ずらした位置を、前記目標位置に決定する、
   請求項２に記載の移動体の制御システム。
4. 前記第１認識部が、前記ユーザによる物標の指定を伴う前記目標位置の指示を認識した場合、
   前記決定部は、前記物標の位置と、前記物標から所定の範囲内の前記境界とに基づいて、前記所定の範囲内の前記境界から前記第１領域方向に所定量ずらした位置を、前記目標位置に決定する、
   請求項２または３に記載の移動体の制御システム。
5. 前記決定部は、前記所定の範囲内の前記境界を前記ユーザの方向にずらした境界に基づいて、前記目標位置に決定する、
   請求項４に記載の移動体の制御システム。
6. 前記第１認識部が、前記ユーザのジェスチャによる前記ユーザに近づく指示を認識した場合、
   前記決定部は、前記ユーザの位置と、前記ユーザから所定の範囲内の前記境界とに基づいて、前記所定の範囲内の前記境界から前記第１領域方向に所定量ずらした位置を、前記目標位置に決定する、
   請求項２から５のうちいずれか１項に記載の移動体の制御システム。
7. 前記目標位置は停止位置であり、
   前記第１認識部が、停止している前記ユーザのジェスチャによる前記ユーザに近づく前記指示を認識した場合、
   前記決定部は、前記所定量ずらした位置を、前記停止位置に決定する、
   請求項６に記載の移動体の制御システム。
8. 前記目標位置は停止位置であり、
   前記決定部は、前記指示に基づいて、前記停止位置を決定する、
   請求項１から７のうちいずれか１項に記載の移動体の制御システム。
9. 前記目標位置は停止位置であり、
   前記決定部は、前記停止位置に前記移動体が停止するときの移動体の向きを、前記ユーザの目的地に向かう経路方向に向かせる、
   前記請求項１から８のうちいずれか１項に記載の移動体の制御システム。
10. 前記目標位置は停止位置であり、
    前記決定部は、前記停止位置を決定できない場合、前記ユーザの近傍に前記移動体を移動させる、
    請求項１から９のうちいずれか１項に記載の移動体の制御システム。
11. 前記目標位置は停止位置であり、
    前記決定部は、前記停止位置を決定できない場合、前記ユーザに前記停止位置に関する問い合わせを行う、
    請求項１から９のうちいずれか１項に記載の移動体の制御システム。
12. 請求項１から１１のうちいずれか１項に記載の制御システムが搭載された移動体。
13. コンピュータが、
    ユーザが撮像された画像を取得し、
    前記ユーザの指示を認識し、
    前記画像に基づいて移動体が進入可能な第１領域と、前記移動体が進入できない第２領域とを認識し、
    前記ユーザの指示と、前記移動体が進入可能な第１領域と、前記移動体が進入できない第２領域とに基づいて、前記移動体が移動する目標位置を決定する、
    移動体の制御方法。
14. コンピュータに、
    ユーザが撮像された画像を取得させ、
    前記ユーザの指示を認識させ、
    前記画像に基づいて移動体が進入可能な第１領域と、前記移動体が進入できない第２領域とを認識させ、
    前記ユーザの指示と、前記移動体が進入可能な第１領域と、前記移動体が進入できない第２領域とに基づいて、前記移動体が移動する目標位置を決定させる、
    プログラム。

Images