JP6495331B2 - 人と人型ロボットの交流を処理するためのシステム、方法及びコンピュータプログラムプロダクト - Google Patents

Description

本発明は、概してロボットプログラミングの分野に関し、特に人と人型ロボットの交流を処理するためのシステム、方法及びコンピュータプログラムプロダクトに関する。

ロボットは、産業において長年の命脈を有し、個人的サービスのますます不可欠な部分になっているが、人型ロボットは、まだそれ自体の領分にある。何故なら、コンパニオンロボットになるために人の行動を統合する人型ロボットを作製するために、多くの新しい問題が取り組まれなければならないからである。

周知の人型ロボットのほとんどは、人と交流する場合に、極めて受動的又は静的なロボットとして現れる。それらは、一般に、人の誘いに対して標準化された反応で答え、限られた事前対応型の決定を有し、従ってロボット／人関係をユーザにとってそれほど魅力的でないものにする。

人とのより自然な交流を有する人型ロボットを構築することは、普通の汎用コンピュータとのユーザの対話問題と比較できない多数の技術的問題を発生させる複雑なタスクである。

それらの問題の中で、間違った人認知及び／又は誤った人検出は、不適切な又は危険でさえあるロボットの振る舞いにつながり、従って、人及びロボットが交流する場合に、セキュリティ問題を引き起こす可能性がある。

それならば、人と人型ロボットの交流を改善するシステム及び方法の必要性がある。本発明は、この必要性への解決法を提供する。

従って、本発明の目的は、ロボットが、人とより協力的で、ロボット自体の意識を有するように行動できるようにするシステム及び方法を提供することである。

従って、前述の目的を達成するために、添付の独立請求項１、１３及び１４で更に説明されるようなシステム、方法及びコンピュータプログラムプロダクトが提供される。

特に、人と人型ロボットの交流を処理する、人型ロボット内で実行される方法は、
− 人型ロボットの環境内で検出されたイベントを、少なくともイベントの位置の表示を備えた一時的刺激として刺激記憶装置に記憶するステップと、
− 一時的刺激の１つが人刺激に適合することを判定するステップと、
− 記憶された刺激及び前記１つの人刺激の間で１つの刺激を選択するために妥当性規則を用いるステップと、
− 現在のアクティビティ及び前記人型ロボットの人との関与モードに依存して、前記選択された刺激を処理するステップと、
− 処理ステップに応じて、人型ロボットの１つ又は複数の行動を生成するステップと、
を含む。

実施形態において、イベントは、運動検出、触覚感知、音源定位、顔検出、視覚認知、画像認識の１つ又は複数である。

有利なことに、一時的刺激は、検出されたイベントのタイプに従って、少なくとも運動刺激グループ、音声刺激グループ、接触刺激グループ、人刺激グループにグループ化される。

実施形態において、刺激記憶装置は、永続的刺激を記憶する擬似刺激グループを更に含む。

有利なことに、妥当性規則は、刺激グループと擬似刺激グループとの間の優先順位基準を用いる。

有利なことに、判定ステップは、２Ｄカメラ及び／又は３Ｄカメラによって提供される情報を用いることに存する。

実施形態において、人型ロボットの現在のアクティビティは、人を追跡することである。

別の実施形態において、処理ステップは、刺激の方向のまわりのエリアで新しい人が見つけられるかどうかを判定するために、選択された刺激に対応するイベントの位置の表示を用いるステップを更に含む。

有利なことに、１つ又は複数の人型ロボット行動は、新しい人を追跡するロボット部材を始動することを含む。有利なことに、始動の１つは、検出された刺激の位置の方へセンサを向けることに存する。

更に、有利なことに、方法は、見つけられた新しい人の位置に関する情報で刺激記憶装置を更新するステップを更に含む。

有利なことに、方法は、刺激が感知されない場合にさえ視覚的に生き生きした状態に人型ロボットを維持できるようにし、それによって、来たるべき交流用のロボットの利用可能性を示すために、呼吸、ＬＥＤの使用、音声の生成のようなロボット部材の小さな動作を可能にする。

本発明はまた、人と人型ロボットの交流を処理するためのシステムを提供する。システムは、オペレーティングシステムの制御下で動作し、且つ少なくとも１つのプロセッサ、及び方法ステップを実行するためにプロセッサに結合される手段を含む。

本発明はまた、非一時的なコンピュータ可読記憶媒体を含むコンピュータプログラムプロダクト、及びコンピュータ可読記憶媒体上に記憶されたプログラムコードとして提供され、且つ実行時に、プロセッサに方法ステップを実行させるように構成されてもよい。

ここで、本発明の更なる態様が、添付の図に関連して、好ましい実装形態及び例として説明される。

本発明の上記や他の事項、特徴及び利点は、図と共に本発明の以下のより多くの特定の説明を読むことによって、よりよく理解されよう。

本発明のシステムを実行するための一般的な環境を示す。 本発明の実施形態による例示的な交流システムのブロック図である。 本発明の実施形態による図２のイベント検出モジュールの詳細なブロック図である。 様々な関与状況によるロボット交流を処理する主要ステップを示す流れ図である。 様々な関与状況によるロボット交流を処理する主要ステップを示す流れ図である。 様々な関与状況によるロボット交流を処理する主要ステップを示す流れ図である。

本発明の実施形態が、添付の図及び図面に関連して以下で例として説明される。

最初に図１に進むと、本発明を実施する一般的な技術的環境が説明される。ロボット１３０は、センサ及びアクチュエータを含む。論理モジュール又は「マインド論理」１００は、ロボットにおいて実現されるか又は（例えば遠隔で）ロボットと関連付けられ、且つソフトウェア１１０及びハードウェアコンポーネント１２０の集まりを含む。

本発明を実施する人型ロボットの好ましい実施形態が、本出願人によって同じ日に出願された「自律的生活能力を備えた人型ロボット（Ｈｕｍａｎｏｉｄ Ｒｏｂｏｔ Ｗｉｔｈ Ａｎ Ａｕｔｏｎｏｍｏｕｓ Ｌｉｆｅ Ｃａｐａｂｉｌｉｔｙ）」なる名称の特許出願に十分に説明されており、そこでは、マインド論理は、ＮＡＯｑｉ^ＴＭＯＳと呼ばれるオペレーティングシステムの一部として実現される。

ロボット１３０は、（１つ又は複数のダイアログセッションを含む双方向又は２方向通信１４０によって）１人又は複数のユーザ１５０と交流している。前記１人又は複数のユーザは、他のコンピューティング装置１６０（例えば、ウエアラブルコンピュータ、スマートフォン又はタブレットなどのパーソナルコンピュータ）にアクセスすることができ、他のコンピューティング装置１６０は、（サーバクラウド、及び／又は他のロボット若しくは接続された対象物のフリート等と通信する）装置に接続することができる。特に、接続される装置は、ウエアラブルコンピュータ（例えば時計、眼鏡、没入型ヘルメット等）とすることができる。

図の特定のロボット１３０は、本発明を実施できる人型ロボットの単なる例として理解される。図のロボットの下肢は、歩行のためには機能しないが、しかしロボットが置かれている表面上を回転するそのベースでどの方向にも移動することができる。本発明は、歩行に適したロボットにおいて容易に実施することができる。

本発明の幾つかの実施形態において、ロボットは、様々な種類のセンサを含むことができる。それらの幾つかは、ロボットの位置及び運動を制御するために用いられる。これは、例えば、３軸ジャイロメータ及び３軸加速度計を含む、ロボットの胴体に位置する慣性ユニットの場合である。ロボットはまた、ロボットの額（上端及び底部）に２つの２ＤカラーＲＧＢカメラを含むことができる。３Ｄセンサもまた、ロボットの目の後ろに含むことができる。ロボットはまた、その環境における対象物／人に対するその相対的位置を感知できるように、例えば頭部及びベースにレーザラインジェネレータを任意選択的に含むことができる。ロボットはまた、その環境において音声を感知できるマイクロホンを含むことができる。本発明のロボットはまた、その環境における対象物／人への距離を測定するために、そのベースの前面及び背面に恐らく位置するソナーセンサを含むことができる。ロボットはまた、人との交流を可能にするために、その頭部及びその手の上に触覚センサを含むことができる。ロボットはまた、それがそのルート上で遭遇する障害物を感知するために、そのベースにバンパーを含むことができる。ロボットの感情を翻訳し、且つその環境における人とコミュニケーションするために、本発明のロボットはまた、例えば、その目、耳及び肩におけるＬＥＤ、及び（例えば、その耳に位置する）ラウドスピーカを含むことができる。ロボットは、様々なネットワーク（３Ｇ、４Ｇ／ＬＴＥ、Ｗｉｆｉ、ＢＬＥ、メッシュ等）を介して、基地局、他の接続された装置、又は他のロボットと通信することができる。ロボットは、バッテリ又はエネルギ源を含む。ロボットは、それが含むバッテリのタイプに適した充電ステーションにアクセスすることができる。ロボットの位置／運動は、センサの測定値を考慮して、各肢によって画定されたチェーン及び各肢の端部において画定されたエフェクタを始動するアルゴリズムを用いて、ロボットのモータによって制御される。

特定の実施形態において、ロボットは、それが、その環境にメッセージ（オーディオ、ビデオ、ウェブページ）を伝達できるか、又はタブレットの触覚インターフェースを介してユーザから入力を受信できるタブレットを埋め込むことができる。別の実施形態において、ロボットは、スクリーンを埋め込まず提示もしないが、しかしそれは、ビデオプロジェクタを有し、それを用いて、ロボットの近くの表面にデータ又は情報を投影することができる。前記表面は、平坦（例えば床）とする又はしない（例えば、投影面の変形は、ほぼ平坦な投影を得るために補償できる）ことができる。両方の実施形態（スクリーン及び／又はプロジェクタを備える）において、本発明の実施形態は、有効なままである。請求される交流モデルは、視覚的な交流手段によって補足又は補償されるだけである。いずれにせよ、グラフィカルな手段が、故障しているか又は故意に不作動にされた場合に、交流の会話モードは残る。

実施形態において、ロボットは、かかるグラフィカルユーザインターフェース手段を含まない。既存の人型ロボットは、一般に、高度なスピーチ能力を提供されるが、一般にＧＵＩは提供されない。増加するユーザコミュニティは、好んで且つ／又は必要によって（実際的な状況故に若者、障害者など）、ロボットと通信するための補足としてさえ、グラフィカルな手段（例えばタブレット、スマートフォン）を恐らく用いない。

図２は、本発明の実施形態に従って交流処理システム２００の主要コンポーネントを示すブロック図を提供する。交流処理システム２００は、イベント検出コンポーネント２０２によって検出された外部イベントの処理に応じて、人と人型ロボットの交流を処理する操作を実行するように構成されてもよい。イベント検出コンポーネントは、図３に関連して以下で更に詳述される。

交流処理システム２００は、イベント検出コンポーネント２０２によって出力された刺激を記憶するための刺激記憶装置２０４を含む。交流処理システム２００は、刺激処理コンポーネント２１０によって処理される刺激を選択するために、規則セットを定義する妥当性規則データベース２０７に結合された刺激選択コンポーネント２０６を更に含む。

ロボット状態コンポーネント２０８は、ロボット状態、特にロボットの関与状況に関する追加情報を提供するために、刺激処理コンポーネント２１０に結合される。刺激処理コンポーネント２１０の出力は、ロボット振る舞い始動コンポーネント２１２に結合される。ロボット振る舞い始動コンポーネント２１２は、刺激処理コンポーネント２１０に応じて、人型ロボットの振る舞いを生成できるようにする。ロボット位置コンポーネント２１４がまた、人の移動に従ってロボットの位置をサーボ機構で制御するためのシステム２００の一部である。

同様に図２に示されるように、交流処理システム２００は、オペレーティングシステム２０及び少なくとも１つのプロセッサ２２の制御下で動作している。好ましい実施形態において、オペレーティングシステムは、既に言及されたＮＡＯｑｉ^ＴＭＯＳであり、本発明の交流処理システムは、「エクストラクタサービス」コンポーネントに申し込む「基本意識サービス」と呼ばれるコンポーネントとして実現される。基本意識コンポーネントは、状況に基づいて構成されるか、実行中のアクティビティによって構成されるか、又は独力で動作している。

刺激記憶装置２０４は、刺激が人からであると確認されるまで、イベント検出コンポーネント２０２によって提供される全ての刺激を一時的に記憶できるようにする。説明を簡単にするために、人から生じるかかる刺激は、この説明において、以下では「人刺激」と命名され、一方でどんな他の種類の刺激も、「非人刺激」と命名される。記憶装置における一時的刺激は、検出されたイベントのタイプに従ってグループに組織化される。かかるものとして、記憶装置は、運動センサのいずれかから受信された全ての刺激をグループ化するための運動刺激グループと、いずれかの音声センサから受信された全ての刺激をグループ化するための音声刺激グループと、いずれかの触覚センサから受信された全ての刺激をグループ化するための接触刺激グループと、人認知検出器から受信された全ての刺激をグループ化するための人刺激グループと、を含む。

検出器によって直接提供されないが、しかし内部で生成される刺激信号である追加の刺激もまた、永続的刺激として刺激記憶装置に記憶され、以下では「擬似刺激」と命名される。刺激選択コンポーネント２０６によって選択された場合に、擬似刺激は、刺激処理コンポーネント２１０によって処理される。

かかる擬似刺激の例は、次の通りである。
− 人刺激と類似の情報を提供するが、しかし妥当性規則においてより高い優先順位を有する「力（ｆｏｒｃｅ）−人」擬似刺激。
− ロボットの頭部をそのデフォルト位置にリセットするために用いられる「リセット−頭部」擬似刺激。この擬似刺激は、妥当性規則においてより低い優先順位である。

有利なことに、一時的刺激は、刺激記憶装置から削除されてもよい。好ましい実装形態において、刺激が処理された後で、刺激記憶装置は、空にされる。しかしながら、当業者は、本発明の範囲から逸脱せずに、異なる基準を適用し得る。

刺激選択コンポーネント２０６は、人を検出することに最もつながりそうな刺激を刺激記憶装置から選択できるようにする。妥当性規則は、例えば優先順位基準に基づいたより適切な刺激を判定できるようにする。妥当性規則は、人型ロボットの使用状況に依存して、プログラマによって事前に定義されるか又は更新されてもよい。

好ましい実施形態において、優先順位は、刺激グループ用に階層的に定義され、より高い優先順位を有する、人に一層関連付けられそうなものが、次のように刺激をランク付けすることにつながる。即ち、より高い優先順位を有する力−人刺激、次に人刺激グループ、次に接触刺激グループ、次に音声刺激グループ、次に運動刺激グループ、及びより低い優先順位のリセット−頭部刺激である。

好ましくは、妥当性規則が、人型ロボットの環境において人を検出するために定義されるのに対して、当業者は、別の用途に適合される任意の他の妥当性規則を容易に考案されよう。

刺激選択コンポーネントは、同じグループの刺激を比較するための、且つグループ内のより関係のある刺激を判定するための妥当性規則に基づいたソフトウェアルーチンを含む。判定は、刺激が刺激記憶装置に記憶される時刻に基づいてもよく、又は例えば接触グループに関するグループに記憶された最後の刺激を例えば用いることであってもよい。しかしながら、任意の他の判定基準が実行され得る。例えば、音声検出は、信頼度パラメータを生成し、音声グループ内の選択は、より高い信頼度パラメータを判定すること及び対応する刺激を選択することによってなされる。別の例において、運動グループ用の決定は、最も大きな関心領域に対応する運動刺激を決定することに基づいてもよい。

ロボット状態コンポーネント２０８は、ロボットの現在状態に関する情報を記憶できるようにする。最初に、ロボットは、アクティビティを有しない不作動状態にある。ロボットが、アクティビティを始める場合は常に、ロボット状態コンポーネントは、現状、状況及び文脈に関するデータを収集する。選択された刺激が処理される時におけるロボット状態の条件が、刺激処理コンポーネント２１０によって操作される、且つ図４ａ−４ｃに関連して以下で例示されるような特定のシナリオをトリガする。

振る舞い始動コンポーネントの２１２は、次のようなロボットの物理的行動を制御できるようにする。即ち、
− ロボットの継ぎ目又はベースのモータを始動することによる動作と、
− 人とのアイコンタクトを確立し維持するために、ロボットの環境にいる人の動きに従う追跡と、
− 感情を伝達するためのロボットＬＥＤのライティングと、
− 生気のあるスピーチ、並びにスピーチ及びジェスチャの組み合わせと、
である。

ロボット振る舞いは、運動と、言葉と、ロボットの感情を表現し得るライティングの組み合わせであり、且つロボットが複雑な行動を実行できるようにする。

前に言及したように、有利なことに、本発明は、ダイアログ中により多くの興味及びかかわり合いを発生させるために、人である話者に面するロボットの位置を調整することによって、人型ロボットをより交流的で活発にすることが可能である。加えて、本発明は、人の安全性を保証するために、ロボットの閾値安全距離及び向きを保持できるようにする。本発明は、人／人型ロボットの交流の質を向上させ、且つリアルタイムの位置決めの保証、並びにユーザ及びロボット間の確実な距離及び方向を保持することによって、密接に交流しているユーザ及びロボット間のセキュリティ問題を解決する。

それらの目的を達成するために、振る舞い始動コンポーネント２１２は、人の移動に従ってロボットの位置をサーボ機構で制御ためのロボット位置コンポーネント２１４に結合される。有利なことに、人型ロボットは、人の移動に従うことができるだけでなく、ロボットと人との間の安全な距離及び向きをリアルタイムで保持しながら、人の興味及び感情を刺激する人に似た姿勢及び態度を取ることができる。

ロボット位置コンポーネント２１４は、ロボットとの交流において、人体（胴体及びショルダラインを含む）の位置（ｘ、ｙ）及び向き（ｗｚ）パラメータをリアルタイムで計算する。ロボット位置コンポーネントは、ロボットと交流している人を代表する３Ｄ志向の「人の塊」を得るために、ロボット軸の原点に対する２Ｄ及び３Ｄ画像の取得を利用する。人型ロボットは、振動を制限するために信頼間隔を保持し、選択された距離及び向きが人に尊重されることを保証しながら、人の塊の移動に従って、リアルタイムで急いで自らの位置を調整する。信頼間隔は、追跡されている移動の大きさであって、そこではロボットが移動しなくてもよい大きさの閾値である。従って、ロボットは、閾値を超える移動を追うだけである。典型的には、２０ｃｍの閾値が、ロボットのベース移動用に定義される。それは、ロボットが移動できるようにするために、人が、少なくとも２０ｃｍ移動しなければならないことを意味する。

加えて、距離及び／若しくは向きの値、並びに／又はこれらの値の信頼間隔は、人と相対する空間におけるロボットの位置をロボットに変更させるように、周期的に更新される。値は、ランダムに、又は現在の交流の文脈に関連して修正されてもよい。例えば、ダイアログアクティビティの間に、ダイアログの文脈のシンタクシス解析を用いることによって、値は、適合され、それによって、ダイアログ文脈と関係する自然な動作を保証する。従って、人型ロボットは、人の動作に対するサーボ操作モードにおける、又はロボットの相対的位置の値を変更することによる強制モードにおける動作において規則的に設定される。

好ましい実装形態において、交流の初めにおけるロボットの距離及び向きのデフォルト値は、Ｘ軸に沿って−６５ｃｍ＋／−１０ｃｍ、−Ｙ軸に沿って０ｃｍ＋／−１０ｃｍ、及び０°＋／−１０°Ｗｚにわたる。例えば、交流の初めに、これらの値を用いれば、人型ロボットは、人に対してそのボディの７°の角度で、人の前方６２ｃｍにいることができる。

やはり好ましい実施形態において、Ｘ位置、Ｙ位置、Ｗｚ向き、及び／又は信頼間隔を変更するデフォルト周波数は、０．１Ｈｚ又は０．２Ｈｚに設定されてもよい。デフォルトによって、Ｘ軸に沿った距離値は、−１００ｃｍ〜−４０ｃｍ、＋／−１０ｃｍにわたることができる。Ｙ軸に沿った距離値は、−４５ｃｍ〜＋４５ｃｍ、＋／−１０ｃｍにわたることができる。向きの値は、−４５°〜＋４５°＋／−１０°にわたることができる。信頼間隔値は、距離用に０．１ｃｍ〜３０ｃｍに、且つ配向角用に０．１°〜３０°にわたることができる。

当業者は、人型ロボットの寸法に依存して、任意の他のデフォルト値を容易に考え出すことであろう。

有利なことに、人の運動に対するロボットの位置の規則的で不断の調整による人型ロボットのサーボ操作モードは、予測不可能な文脈においてさえ、ロボットの運動の調整を可能にする。

ここで、図３に関連して、図２のイベント検出コンポーネント２０２の詳細なブロック図が説明される。イベント検出コンポーネント２０２は、人型ロボットの環境内の外部イベントを検出できるようにする複数の検出器（３０２、３０４、３０６、３０８、３１０）を含む。複数の検出器は、画像、音声、臭気、味等を受信し感知するために、幾つかの名をあげると、カメラ、マイクロホン、触覚及び嗅覚センサなどのセンサを装備されていてもよい。センサ読み取り値は、ロボットの位置、ロボットの環境における対象物／人の識別、前記対象物／人の距離、人によって発音された言葉又はその感情に関連する関連データを抽出するために前処理される。

人認知検出器３０２は、３Ｄカメラ３０及び／又は２Ｄカメラ３２によって提供された情報を用いることによって、人の検出を可能にする。操作において、３Ｄカメラによって提供される奥行き画像は、場面における異なる対象物を抽出するために処理される。結果としての対象物は、それらが人の形状であり得るかどうかを判定するために、一連のフィルタを通して解析される。好ましくは、フィルタは、幅及び高さのような粗い幾何学的特性に基づくか、又は頭部がボディから区別できるという事実等に基づく。２Ｄカメラ（３２）は、ＲＧＢ画像を用いて、抽出された対象物に対して顔検出を実行するために用いられる。２Ｄ及び３Ｄカメラ両方の出力は、奥行き画像から抽出された対象物が人の形状かどうかを判定するために、融合モジュールにおいて組み合わされて（３４）処理される（３６）。好ましい実施形態において、両方のカメラの出力を処理するために、カルマンフィルタが用いられる。対象物が、人であると有効に検出された場合に、対象物は、経時的に追跡される有効な検出のベースに追加される。人認知検出器は、刺激データベース２０４における人認知刺激グループに記憶される人認知刺激を生成する。

音声検出器３０４は、ロボットの環境における音声を感知できるマイクロホンを用いて、ロボットのまわりの音声を検出できるようにする。ひとたび音声が検出されると、音声の位置測定の精度に関する信頼度パラメータを提供するために、例えば、エネルギレベル、音源定位を含む音声の詳細が収集される。音声検出器は、刺激データベース２０４における音声刺激グループに記憶される音声刺激を生成する。

触覚検出器３０６は、触覚センサを用いて、ロボットの表面における衝撃又は接触を検出できるようにする。ひとたび衝撃が検出されると、衝撃の性質の詳細が収集される。触覚検出器は、刺激データベース２０４における触覚刺激グループに記憶される触覚刺激を生成する。

運動検出器３０８は、３Ｄカメラを用いて、ロボットのまわりの運動を検出できるようにする。ひとたび運動する対象物が検出されると、例えば、ロボットに対する位置、サイズ等を含む詳細が収集される。運動検出器は、刺激データベース２０４における運動刺激グループに記憶される運動刺激を生成する。

イベント検出コンポーネント２０２は、凝視方向解析、顔の特徴（年齢、性別推定、「微笑みの程度」、頭部姿勢、顔の表情等）などの複数のイベントを感知するために、様々な追加検出器３１０を含んでもよい。

要約すると、イベントが検出された場合に、各検出器は、刺激がやって来る位置の表示を備えた「当該種類の検出器」の刺激を出力してもよく、対応する刺激は、刺激データベース２０４におけるそれぞれの刺激グループに記憶される。イベント位置の表示は、（ｘ、ｙ、ｚ）座標によって定義された位置であってよく、又は（シータ／ファイ）角座標情報を備えたイベント位置用の少なくとも近似方向であってもよい。

ＮＡＯｑｉ^ＴＭＯＳの好ましい実施形態において、イベント検出コンポーネント２０２は、図１に関連して説明したタイプのロボットセンサから入力読み取り値を受信するために用いられる「エクストラクタサービス」の一部である。エクストラクタサービスの幾つかの例は、ロボットの近くにおける人の存在を認知する人認知と、これらの人の運動を検出する運動検出と、音声の位置を特定する音源定位と、ロボット触覚センサに対する接触を解釈する接触検出と、スピーチ認識と、ロボットの近くの人によって表現された感情を、その言葉又はジェスチャを通じて識別する感情認識と、である。

図４ａ〜４ｃは、ロボットの異なる状態に従う様々な交流シナリオの主要ステップを示す幾つかの流れ図である。

前に言及したように、最初に、ロボットは、不作動状態にある。ロボットが人を追跡し始めると、ロボットは、ロボットが追跡し始めた見つけられた人（関与される人）と「関与している」、又は「関与状況若しくは関与モード」にあると言われる。有利なことに、ロボットは、刺激が感知されない場合でさえ視覚的に生き生きした状態に維持され、来たるべき交流用にロボットの利用可能性を示すために、呼吸又はＬＥＤアニメーション若しくは音声の生成のような、ロボット部材の小さな運動を可能にする。

ロボットは、刺激の処理に依存して、又は現在関与している人がいなくなった場合に、他の誰かと関与することによって、関与を中断することができる。ロボットは、力−人擬似刺激と組み合わされた人刺激又は非人刺激を処理することによって、刺激処理が人の検出につながる場合に、ロボットの現在の関与を中断することができる。

本発明の文脈において、３つの関与モードが定義される。
− 「完全関与」モード。ロボットが、「完全に関与している」場合に、それは、現在の関与すされている人がいなくまで、どんな刺激イベントを聞くことも停止する。
− 「非関与」モード。ロボットは、刺激が検出された場合に、現在の関与状況を中断することができる。
− 「半関与」モード。ロボットは、まだ刺激を聞いており、別の人へと切り替わらない。刺激が、この半関与モードにおいて聞かれた場合に、ロボットは、たとえ刺激を見てもよいが、常に刺激を無効にし、関与されている人にやはり戻る。

図４ａ〜４ｃは、異なる関与モードに従って、人／人型ロボットの交流を処理する主要ステップを示す。初期化ステップ４０２において、ロボットは、人を追跡していない。しばらくして、ロボットは、３つの関与モードの１つであってもよい。図４ａは、非関与モード用に説明され、完全関与及び半関与モード用の一般的なステップからの変化は、それぞれ「図４ｂ又は４ｃに進む」と言われる。

そのプロセスは、ステップ４０４において刺激記憶装置の内容を決定できるようにする。記憶装置が、空（ブランチＹｅｓ）の場合に、プロセスは、プロセスを継続するために、第１の刺激が４０８で検出されるのをロボットが待てるようにし、そうでなく記憶装置が空でない（ブランチＮｏ）場合に、プロセスは、記憶装置における刺激の間で最良の刺激を選択するステップ４０６を始めることができるようにする。

記憶装置の内容から直接、又は記憶装置の内容及び検出された新しい刺激から選択された刺激のタイプに依存して、異なるシナリオ４１０が、ロボットの現在の関与モードに依存して開始される。

人刺激４１０−１が選択された場合に、プロセスは、ロボットの現在の関与モードを決定できるようにする。
− ロボットが、イベントによって注意をそらされ、且つその現在のアクティビティを中断してもよいことを意味する非関与モード（図４ａ）である場合に、プロセスは、人の位置注視ルーチン４１２を始めることを可能にする。人の位置注視ルーチンは、ロボットが既に人を追跡しているかどうかを判定できるようにする。追跡していれば、プロセスは、現在の追跡を停止し、且つ頭部運動を始動して、検出された新しい人を追跡し始める４１３ことによって、新しい人の位置を見る。ロボットが追跡モードを始める場合に、プロセスは、ステップ４０４にループバックし、現在追跡されている人がまだロボットの環境にいる場合に、規則的なチェック４１５を可能にするサブルーチンが並行して開始される。人が、もはやそこにいなくて姿を消したと判定された場合に、追跡ルーチンは停止し、リセット−頭部刺激が、刺激記憶装置に追加される。
− ロボットが、どんなイベントによっても注意をそらされ得ないことを意味する完全関与モード（図４ｂ）である場合に、プロセスは、ロボットが、既に人を追跡しているかどうか５１０を判定できるようにする。追跡していれば、プロセスは、ステップ４０４に戻り、そうでなければ、プロセスは、人の位置注視ルーチンを用いるステップ４１２に進む。

ルーチン４１２の実行後に、プロセスは、ロボットがイベントによって注意をそらされてもよいが、しかしその前のアクティビティに戻ってもよいことを意味する半関与モード（図４ｃ）にロボットがいるかどうかを判定できるようにする。ロボットが、既に人を追跡している５２０場合に、プロセスは、ロボットに現在の人を追跡させる擬似刺激の力−人をトリガすることによってステップ５２２において継続し、プロセスは、ステップ４０４にループバックする。ロボットが、まだ人を追跡していない場合に、プロセスは、検出された新しい人の追跡アクティビティを開始することによって、ステップ４１３に進み、プロセスは、ステップ４１５及び４２６に関して前に説明したように継続する。

非人刺激４１０−２が選択された場合に、プロセスは、ロボットの現在の関与モードを決定できるようにする。
− ロボットが非関与モード（図４ａ）である場合に、プロセスは、刺激位置を注視する、従って刺激の位置の方へセンサを向けるルーチン４１４を始めることを可能にする。刺激位置注視ルーチンは、ロボットが、既に人を追跡しているかどうかを判定できるようにする。追跡していれば、プロセスは、現在の追跡を停止できるようにする。そうでなければ、プロセスは、頭部運動を始動させ、そのときにイベントの位置のまわりのエリアに人が見つけられるかどうかを判定することによって、非人刺激のイベント位置の表示を利用できるようにする。
− ロボットが、完全関与モード（図４ｂ）である場合に、プロセスは、ロボットが、既に人を追跡しているかどうかを判定５１０できるようにする。追跡していれば、プロセスは、ステップ４０４に戻り、そうでなければ、プロセスは、人の位置注視ルーチンを用いるステップ４１４に進む。

ルーチン４１４の実行後に、プロセスは、ロボットが、半関与モード（図４ｃ）であるかどうかを判定できるようにする。ロボットが、既に人を追跡している５２０場合に、プロセスは、ロボットに現在の人を追跡させる擬似刺激の力−人をトリガすることによってステップ５２２において継続し、プロセスは、ステップ４０４にループバックする。ロボットが、まだ人を追跡していない場合に、プロセスは、その環境における人をチェックするルーチンを始めることによって、ステップ４１７に進む。

人が見つけられた４２０場合に、プロセスは、見つけられた新しい人をロボットに追跡させる擬似刺激の力−人をトリガすることによってステップ４２２において継続し、擬似刺激の力−人は、新しく人を見つけられた人のデータで、刺激記憶装置において更新される。次に、プロセスは、ステップ４０４にループバックする。

ステップ４２０において人が見つけられなかった場合に、プロセスは、ロボットが前に追跡アクティビティであったかどうかを判定することによって、ステップ４２４において継続する。追跡アクティビティであったならば、プロセスは、前に追跡された最後の人をロボットに追跡させる擬似刺激の力−人をトリガすることによって、ステップ４２５において継続する。擬似刺激の力−人は、最後の追跡された人のデータで刺激記憶装置に追加される。ロボットが、前に追跡アクティビティでなかった場合に、プロセスは、刺激記憶装置にリセット−頭部擬似刺激を記憶するためにステップ４２６に進み、ステップ４０４にループバックする。

代替として、擬似刺激（４１０−３、４１０−４）は、ロボットの行動を生成するように選択され処理されてもよい。

力−人刺激４１０−３が選択された場合に、ロボットは、人の位置注視ルーチン４１２を始めるように強要される。人の位置注視ルーチンは、ロボットが既に人を追跡しているかどうかを判定できるようにする。追跡していれば、プロセスは、現在の追跡を停止し、且つ頭部運動を始動して、検出された新しい人との新しい追跡アクティビティ４１３を始めることによって、新しい人の位置を見る。ロボットが、まだ人を追跡していない場合に、プロセスは、ロボットが刺激の方向を見られるようにし、前に説明したような追跡ルーチン４１３を開始できるようにする。

リセット−頭部刺激４１０−４が選択された場合に、ロボットは、それが暫くの間待つことができるようにする「リセット−頭部を試みる」ルーチン４１６を始めるように強制され、しばらくして、頭部が動いてなく、刺激が処理されていない場合に、ルーチンは、ロボットの頭部をデフォルト位置にリセットできるようにする。プロセスは、ステップ４０４にループバックする。

説明したように、本発明は、人とのより密接な交流を可能にするために、ロボット内に意識トラッカを実現する。

当業者は、実施形態が、実例及び説明のために提示され、包括的であるようにも、開示された形態に本発明を限定するようにも意図されていないことを理解されよう。多くの修正及び変形が、当業者には明らかになろう。実施形態は、本発明の原理、実際の用途を最もよく説明するために、且つ他の当業者が、考えられる特定の用途に適するような様々な修正を伴う様々な実施形態のために本発明を理解できるようにするために、選択され説明された。

本発明が、好ましい実施形態に関連して特に示され説明されたが、形態及び詳細における様々な変更が、本発明の趣旨及び範囲から逸脱せずに好ましい実施形態においてなされ得ることを理解されたい。具体的には、本発明は、人の交流を可能にするロボットの任意の形態及びサイズにおいて、当業者によってうまく適合され容易に適用可能である。

本発明は、コンピュータ若しくは任意の命令実行システムによって、又はそれらと接続して使用するためのプログラムコードを提供するコンピュータ使用可能又はコンピュータ可読媒体からアクセス可能なコンピュータプログラムプロダクトの形態を取ることができる。この説明のために、コンピュータ使用可能又はコンピュータ可読媒体は、命令実行システム、機器若しくは装置によって、又はそれらと接続して使用するためのプログラムを含むか、記憶するか、通信するか、伝搬するか、又は搬送できる任意の有形機器とすることができる。媒体は、電子、磁気、光、電磁気、赤外線、半導体システム（若しくは機器か装置）又は伝搬媒体とすることができる。コンピュータ可読媒体の例は、半導体又は固体メモリ、磁気テープ、取り外し可能なコンピュータディスケット、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、剛性磁気ディスク及び光ディスクを含む。光ディスクの現在の例は、コンパクトディスク−読み出し専用メモリ（ＣＤ−ＲＯＭ）、コンパクトディスク−読み出し／書き込み（ＣＤ−Ｒ／Ｗ）及びＤＶＤを含む。

Claims (15)

1. 人と人型ロボットの交流を処理するための、人型ロボット内で実行される方法であって、
   − 人型ロボットの環境内ですべてのイベントを複数の検出器から検出するステップと、
   − 検出された各イベントを処理して、少なくともイベントの位置の表示と共に一時的刺激としてイベントを刺激記憶装置に記憶するステップであって、一時的刺激がそれらのタイプに従って、刺激記憶装置でグループ化され、前記刺激記憶装置が、複数の検出器によって検出されない永続的刺激を更に記憶する、ステップと、
   − 人型ロボットが、人型ロボットの人との追跡関係を表す関与モードに入ることを検出するステップであって、現在の関与モードが、別の人の刺激を受け付けることなく、現在の人との追跡関係が維持されている完全関与モード、別の人の刺激を受け付けつつ、現在の人との追跡関係が維持されている半関与モード又は人との追跡関係が維持されていない非関与モードのうちの１つである、ステップと、
   − 複数の検出器の１つによって新たなイベントが検出されるとき、イベントが人から生じる刺激であるかを判定するためにイベントを処理するステップと、
   − そうでない場合、イベントを無効化し、人型ロボットを現在の関与モードに維持するステップと、そうでなければ、
   − 人型ロボットの現在の関与モード及び妥当性規則に依存して、人から生じる検出された刺激か、刺激記憶装置に記憶された一時的又は永続的刺激の１つのどちらかを選択するステップと、
   − 特定のシナリオソフトウェアルーチンをトリガすることによって、前記選択された刺激を処理するステップであって、前記ソフトウェアルーチンが、人型ロボットの現在の関与モード及び前記人型ロボットの現在のアクティビティに依存する、ステップと、
   − 前記処理ステップに応じて、現在の関与モードを維持するか、新たな関与モードに入ることによって人型ロボットの関与モードを更新するステップと、
   − 更新された関与モードに依存して、人型ロボットの１つ又は複数の物理的行動を生成するステップと、
   を含む方法。
2. 複数の検出器によって検出されたイベントが、運動検出、触覚感知、音源定位、顔検出、視覚認知、画像認識の１つ又は複数である、請求項１に記載の方法。
3. 前記一時的刺激が、検出された前記イベントのタイプに従って、少なくとも運動刺激グループ、音声刺激グループ、接触刺激グループ、人刺激グループにグループ化される、請求項１又は２に記載の方法。
4. 前記妥当性規則が、一時的刺激と永続的刺激との間の優先順位基準を用いる、請求項１〜３のいずれか一項に記載の方法。
5. 新たなイベントが人から生じているかを判定するステップが、２Ｄカメラ及び／又は３Ｄカメラによって提供される情報を用いることに存する、請求項１〜４のいずれか一項に記載の方法。
6. 完全関与モードにおいて、人型ロボットが、現在関与している人が失われるまで、いかなるイベントにも聞くのを止める、すなわち、ロボットがいかなるイベントによってもそらされることがない、請求項１〜５のいずれか一項に記載の方法。
7. 非関与モードにおいて、人型ロボットが、イベントによってそらされ、その現在のアクティビティを中断することがある、請求項１〜６のいずれか一項に記載の方法。
8. 半関与モードにおいて、人型ロボットが、イベントによってそらされるが、その以前のアクティビティに復帰することがある、請求項１〜７のいずれか一項に記載の方法。
9. ソフトウェアルーチンをトリガするステップが、前記刺激の方向のまわりのエリアで新しい人が見つけられるかどうかを判定するための前記選択された刺激に対応する前記イベントの位置の表示を用いるステップを更に含む、請求項１〜８のいずれか一項に記載の方法。
10. 人型ロボットの１つ又は複数の物理的行動が、少なくともロボット部材を始動することを含む、請求項１〜９のいずれか一項に記載の方法。
11. 前記始動の１つが、検出された前記刺激の位置の方へセンサを向けることに存する、請求項１０に記載の方法。
12. 前記見つけられた新しい人の位置に関する情報で前記刺激記憶装置を更新するステップを更に含む、請求項９に記載の方法。
13. 呼吸、又はＬＥＤの使用、又は音声の生成のようなロボット部材の小さな動作を可能にすることによって、刺激が感知されない場合にさえ視覚的に生き生きした状態に前記人型ロボットを維持するステップを更に含む、請求項１〜１２のいずれか一項に記載の方法。
14. 人と人型ロボットの交流を処理するためのシステムであって、前記システムが、オペレーティングシステムの制御下で動作し、且つ
    − 少なくとも１つのプロセッサと、
    − 請求項１〜１３のいずれか一項に記載の前記方法の前記ステップを実行するために前記少なくとも１つのプロセッサに結合された手段と、
    を含むシステム。
15. − 非一時的なコンピュータ可読記憶媒体と、
    − 前記コンピュータ可読記憶媒体上に記憶された、且つ実行時に、請求項１〜１３のいずれか一項に記載の前記方法の前記ステップを少なくとも１つのプロセッサに実行させるように構成されたプログラムコードと、
    を含むコンピュータプログラムプロダクト。

Images