JP7520123B2 - 人間－ロボット混在製造プロセスにおける自動異常検出のためのシステムおよび方法 - Google Patents

Description

技術分野
本開示は、一般にモデル学習技術のシステムおよび方法に関し、より具体的には人間－ロボット協働製造プロセスのためのモデル学習技術のシステムおよび設計に関する。

背景技術
従来の機械学習技術は、ロボットおよびパーソナルアシスタントなどのインテリジェントシステムが、例または命令から学習によって知識を得て困難な問題を解決することを可能にすることができる。

しかし、これらの従来の学習モデルでは、ロボットシステムを制御するにあたって多くの難題がある。これは、ロボットシステムの動きが、剛体動力学（ＲＢＤ）と呼ばれる非常に複雑な物理法則によって支配され、通常はこれらの物理法則の概要しか知られていないことに由来する。さらに、入手できないことが多いロボットの各構成要素の位置、速度および加速度などの物理量の測定は、これらの法則を計算する必要がある。ロボットシステムに搭載されたセンサは、一般に、位置成分のみを測定し（たとえば、エンコーダ、ポテンショメータ、近接センサ...）、速度および加速度は測定されない。さらに、タスクが特定の物体の操作を含む場合、物体がセンサレスであり、空間上でその位置を測定するために外部センサ（たとえば、カメラまたはエンコーダ）しか追加することができない場合が多い。

ロボットシステムを制御する際のこれらの従来の学習モデルの他の問題点は、ウェアラブル技術および機械学習の発展が説明されず、さらに言えば含まれないことである。これらの従来の機械学習アプローチが使用される場合、コンピュータビジョンのサブ分野からになりやすく、ソリューションの適用範囲の点で相当な制約をもたらす。たとえば、ＣＮ１０５３８９８５９Ａ特許は、作業状態における清掃作業員をモニタリングするためのモニタリングシステムに関する。この方法は、ＲＦＩＤおよびスマート街灯柱を使用して作業員の出席をモニタリングするインテリジェント街灯柱アプリケーションに基づく。しかし、この方法では、作業員が何をしているか、および、作業員の健康状態がどうであるかが分からない。

したがって、人間－ロボット協働製造プロセスを特徴付けることを学習する学習システムのための高度な技術を開発する必要がある。特に、ヒューマンワーカの状態を条件としてロボットがヒューマンワーカに提供できる手助けを調整するプロセスを人間－ロボットコラボレーションレベルで最適化するように設計された学習システムを提供する必要がある。また、製造プロセス全体において異常を検出することができるシステム。

発明の概要
本開示は、一般にモデル学習技術のシステムおよび方法に関し、より具体的には人間－ロボット協働製造プロセスのためのモデル学習技術のシステムおよび設計に関する。

特に、本開示のいくつかのシステムおよび方法は、製造プロセス全体に沿って速度を最適化し、人間とロボットとの間のインタラクションを最適化して製品の速度および品質を最適化することによって、従来の人間－ロボットコラボレーションプロセス問題を克服する。これは、ヒューマンワーカの状態の起こり得る変化を考慮に入れながら製造プロセス全体において異常を検出することができるとともに、ワーカの状態を条件としてロボットがヒューマンワーカに提供している手助けを調整することによってプロセスを人間－ロボットコラボレーションレベルで最適化することによって、実現することができる。

たとえば、いくつかの実施形態は、最初にヒューマンワーカパフォーマンスの典型的なまたは通常の動作を学習すること、すなわちヒューマンワーカが行う典型的な動きおよびワーカが体験する注意力または疲労のレベルを判断することを含む。ヒューマンワーカの状態に左右または影響される個人化されたタスク実行モデルを学習することが、多くの利点を有することが分かった。実験から見いだされた第１の認識は、タスク実行およびヒューマンワーカの状態における変化および異常を認識することにより、従来の方法と比較して、人間－ロボット製造プロセスにおいてはるかに早く異常を検出できるということである。すなわち、タスク実行およびワーカのヒューマンヘルスは、迫り来る製造プロセス異常の早期警告を提供することができる。第２の認識は、ヒューマンワーカの典型的なパフォーマンスおよび状態を理解することが、この情報自体をロボットと人間との間のコラボレーションに使用することができて、組み合わせられた人間／ロボットパフォーマンスを向上させることができることを意味するという認識を含んでいた。これらの進歩は、ロボットとヒューマンワーカとのインタラクションの最適化に由来する。一例として、閾値アプローチに基づいてヒューマンワーカのパフォーマンスレベルまたはワーカの健康状態のいずれかにおいて異常が検出され得る場合、人間がタスクを完了することをロボットが支援する組立ライン環境では、ヒューマンワーカの異常を早期に検出することにより、このヒューマンワーカの異常を吸収するためにロボットアクションを変更するようにロボットに警告することができる。たとえば、ロボットは、疲れているヒューマンワーカのアクションと一致するようにそのアクションを減速させることができる。ロボットアクションの代替例は、さらなるタスクを実行すること、手助けを求めて監督者を呼ぶこと、（さらなる時間を費やして）ヒューマンワーカに近いパーツをつかむこと、照明、冷暖房などを追加することによって隣接エリアの快適さを向上させることなどを含み得る。この中の全ては、ワーカの状態を条件としてロボットがヒューマンワーカに提供している手助けを調整することによってプロセスを人間－ロボットコラボレーションレベルで最適化するようにプロセス制御システムを設計できることを意味する。また、プロセス制御システムは、人間／ロボットシステムの全体論的内容を知っており、製造プロセス全体において異常を検出することもでき、これは、製造プロセス全体の速度および製造された製品の品質の最適化をもたらすことができる。

しかし、このような認識を得ることは、人間がロボットのそばで作業して、ロボットができないタスクを人間が行わなければならない従来の現代的協働製造プロセスのうちのいくつかを最初によりよく理解する必要があった。たとえば、速度および品質は、従来の現代的製造プロセスにとって不可欠である。しかし、従来の製造プロセスは、複数の並行プロセスで構成されており、その各々が個別のステップのシーケンスであるので、最適な速度および品質を実現するためのモニタリングは困難である。この問題は、ヒューマンワーカがロボットヘルパのそばでタスクを実行する場合にはさらに複雑になる。なぜなら、ヒューマンワーカは、精神的および身体的状態に左右される可変のパフォーマンスを有するからである。

人間－ロボット混在製造プロセスにおいて個別のイベントシーケンスを使用して従来の製造プロセスを特徴付けることの当初の問題は、精神的および身体的状態に左右されるヒューマンワーカの可変のパフォーマンスをどのように特徴付けるかであった。第１の実験アプローチは、人間－ロボット製造プロセスがヒューマンワーカを考慮に入れることなくもっぱらロボットによって実行されるという想定を含んでいた。これは、組立ライン上の動作のシーケンスのみを観察することによりプロセスの全内容を学習できることを意味していた。しかし、ヒューマンワーカがプロセスに追加されると、プロセスを特徴付けることの問題は、はるかに難しくなった。これは、ヒューマンワーカのスキル、生理的状態および心理的状態がさまざまであると考えられるからである。さらに、ヒューマンパフォーマンスは、これらの要因の相互作用によって、日ごとに予測不可能に変化し得る。

ロボットを用いて操作タスクを学習することの当初の問題は、人間から独立して実行されるロボットタスクであった。この状況において、ロボットによって起こされるアクションのシーケンスは固定されており、製品品質および製造速度を最大化するように調整可能である。しかし、この状況は限定される。なぜなら、ロボットの器用さは、依然として人間の器用さをはるかに下回っており、そのため、ロボットが対処できるタスクの範囲が限定されるからである。これにより、多くの人間－ロボット製造プロセスにおいて人間との協働作業が必要になる。ロボットが人間のそばで作業する場合、上記の人間の制約は、新たなレベルの不確実性をこの問題に追加することになる。具体的には、ロボットによって起こされるアクションを機械的に最適化することはもはや不可能である。なぜなら、その環境における少なくとも１つの変数が、動的に（時には製品ごとに）異なるからである。したがって、人間とロボットとの協働チームは、人間の相当な変動性に悩まされることになり、これは、製品品質および組立プロセス全体の速度に影響を及ぼす。

さらなる実験は、製造プロセスをセットアップすることを含み、プロセスは協働的であるように取り決められ、人間がロボットのそばで作業して、ロボットができないタスクを行う必要があった。発見されたいくつかの局面は、これにより、製造プロセス全体に沿って速度を最適化すること、および、人間とロボットとの間のインタラクションを最適化して製品の速度および品質を最適化することという２つの要素からなる問題が発生するというものであった。人間－ロボット混在組立プロセスを用いて実験することから学習されたいくつかの局面は、プロセスの個別の異常モデル、人間の行動のモデル、およびロボット操作のモデルを別々に学習することが不十分であるというものであった。ここでの認識は、これらの要素を利用してプロセスの速度および製品の品質を協働して最適化するようにシステムを設計しなければならないというものである。

したがって、人間の行動を学習して、人間によって行われる作業の正確な方法を学習することは、プロセス制御システムを設計する際の重要な要素である。ヒューマンワーカの作業の方法を学習するために、ワーカは、進行中の作業プロセスについての情報を収集するセンサ（以下に記載）を装備しなければならない。また、ヒューマンワーカから収集された情報（たとえば、腕の動き）は、タスクラベル（組立、検査、塗装、縫製など）、予想タスク期間（典型的な期間、指定された期間など）およびヒューマンワーカスキルレベル（雇用年数で表すことができる）などのタスク情報を収集することによって、プロセス制御システム内の情報によって強化することができる。これらの特徴は、一緒に訓練データベースに記録されて、ヒューマンパフォーマンスのモデルの学習に使用することができる。

本開示のいくつかの実施形態は、ヒューマンワーカパフォーマンスの説明を統計モデルに取り込む機械学習方法を介してヒューマンパフォーマンスを学習することができる。ここでは、２つのタイプのモデル、すなわち予測モデルおよび分類モデルを利用してもよい。予測モデルは、予想完了時刻を学習するのに使用することができ、ヒューマンワーカがどのようにタスクを実行しているかを示す、センサデータに見られるパターンを効果的に取り込む。分類モデルは、ヒューマンワーカの状態（たとえば、元気である、疲れている、緩慢であるなど）または実行されるタスク（組立、検査、塗装、縫製など）を学習するのに使用することができる。

本開示のいくつかの実施形態は、異常検出テーブルおよび予測タスク完了時刻を作成することによって予測モデルおよび分類モデルから得られる知識を要約している。たとえば、複数の並行プロセスが実行されているとき、これらのテーブルは、人間－ロボット製造プロセスにおける想定されるシーケンスの範囲を説明するタイミング情報を取り込む。この情報は、人間－ロボット製造プロセスを説明する特徴付け情報である。一定の実行時間中、これらのテーブルは、我々が人間－ロボット製造プロセスにおいて通常イベントのシーケンスを生成することを可能にする。重要なことに、イベントのシーケンスは、決定論的であり、各イベントは、単一の先行するイベントのあとに続く。しかし、１つまたは複数のイベントが可変である場合、複数のイベントが任意の単一のイベントのあとに続き得る。したがって、これらの異常検出テーブルおよび予測タスク完了時刻を使用することにより、プロセスで発生するであろう異常を予想することが可能になる。これは、将来のイベントのシーケンスが異常検出テーブルにおける有効なシーケンスと一致しない場合に起こる。

ヒューマンワーカによる当座の問題の検出は、分類アルゴリズムを使用して完了することができる。分類アルゴリズムは、ヒューマンワーカによって実行されている現在のタスクおよび次のワーカタスクを決定することができる。予測されたタスクおよびアクションは、予め訓練されてメモリに格納された制御システムからの予想タスクおよびアクションと比較され得て、ヒューマンワーカの状態について決定が下され得る。ここでは、ヒューマンワーカパフォーマンスを向上させるために、異常アラームが与えられるか、またはロボットヘルパのアクションが変更され得る。次いで、ロボットは、ヒューマンパフォーマンスのレベルを考慮して正しい挙動の例を提供されることによってその挙動を変更することを学習し得る。後述するように、これらの例は、学習手順中に明確に提供または発見され得る。

本開示のシステムおよび方法を開発する別の局面は、ロボット学習をヒューマンパフォーマンスモニタリングと組み合わせることを含んでいた。実験は、人間－ロボット製造プロセス中のロボットと人間との間のインタラクションをよりよく理解することを含んでいた。少なくとも１つの認識は、ロボットと人間オペレータとの間の進行中のインタラクションを推論して対応することができる統計モデル（機械学習）を使用してこのインタラクションを学習するというものであった。これらのモデルを学習するために、ロボットの内蔵センサから、およびカメラのような外部センサから、データが収集された。外部センサは、非限定的な例として、ヒューマンコラボレータの特徴付けを学習するために以前に使用されたセンサと同一のセンサであり得る。次いで、学習済みモデルを使用して、固有の身体的状態（元気である、疲れている、緩慢であるなど）にあるヒューマンコラボレータと相互作用することができるロボットの制御方法を決定することができる。重要なことに、このコラボレーションは、人間－ロボット製造タスクを完了して製品品質を最大化する目的で学習される。

本開示の一実施形態に従って、人間－ロボット混在プロセスにおいてタスクのシーケンスの中のタスクの実行時に異常を検出するためのプロセス制御システムである。上記プロセス制御システムは、ロボットデータ、製造プロセス（ＭＰ）データ、ヒューマンデータおよび実行可能なモデルを含むデータを格納するように構成されたメモリと、センサから取得されたヒューマンワーカ（ＨＷ）信号およびロボット動作信号を受信するように構成された入力インターフェイスと、ハードウェアプロセッサとを含み、上記ハードウェアプロセッサは、上記ＨＷ信号から、タスク完了時刻と、上記ＨＷの状態および予測された次の順番のタスクに関連する測定値と、ヒューマンパフォーマンス（ＨＰ）モデルへの入力とを抽出するように構成され、上記ＨＰモデルは、上記ＨＷの上記状態の事前に学習された境界に基づいて上記ＨＷの上記状態を判断し、上記ＨＷの上記状態は、異常または異常無しの分類を決定するために人間－ロボットインタラクション（ＨＲＩ）モデルに入力され、上記ハードウェアプロセッサはさらに、上記ＨＲＩモデルを上記ロボット動作信号、上記ＨＷ信号および上記分類された異常で更新するように構成され、上記更新されたＨＲＩモデルおよび上記分類された異常を使用して、上記ＨＷと相互作用するロボットの制御アクションまたは異常アラームのタイプを決定するように構成され、上記プロセス制御システムはさらに、上記更新されたＨＲＩモデルおよび上記分類された異常に基づいて、ロボットアクションを変更するために上記ロボットの上記制御アクションを出力するか、または上記異常アラームの上記タイプを上記人間－ロボット混在プロセスの管理システムに出力するための出力インターフェイスを含む。

本開示の一実施形態に従って、人間－ロボット混在プロセスにおいてタスクのシーケンスの中のタスクの実行時に異常を検出するためのプロセス制御方法である。上記プロセス制御方法は、センサからヒューマンワーカ（ＨＷ）信号およびロボット動作信号を得るステップと、上記ＨＷ信号から、タスク完了時刻と、上記ＨＷの状態および次の順番のタスクに関連する測定値と、ヒューマンパフォーマンス（ＨＰ）モデルへの入力とを抽出して、上記ＨＷの上記状態の事前に学習された境界に基づいて上記ＨＷの状態を取得するステップとを含み得て、次いで、上記ＨＷの上記状態は、異常または異常無しの分類を決定するために人間－ロボットインタラクション（ＨＲＩ）モデルに入力され、上記方法はさらに、上記ＨＲＩモデルを上記ロボット動作信号、上記ＨＷ信号および上記分類された異常で更新し、次いで、上記更新されたＨＲＩモデルおよび上記分類された異常を使用して、上記ＨＷと相互作用するロボットの制御アクションまたは異常アラームのタイプを決定するステップと、上記更新されたＨＲＩモデルおよび上記分類された異常に基づいて、ロボットアクションを変更するために上記ロボットの上記制御アクションを出力するか、または上記異常アラームの上記タイプを上記人間－ロボット混在プロセスの管理システムに出力するステップとを含み得て、上記ステップは、メモリに接続されたハードウェアプロセッサによって実行される。

本開示の一実施形態に従って、プロセス制御方法を実行するためのコンピュータによって実行可能なプログラムが組み込まれた非一時的なコンピュータ読取可能記憶媒体である。上記プロセス制御方法は、人間－ロボット混在プロセスにおいてタスクのシーケンスの中のタスクの実行時に異常を検出するためのものである。上記プロセス制御方法は、センサからヒューマンワーカ（ＨＷ）信号およびロボット動作信号を得るステップと、上記ＨＷ信号から、タスク完了時刻と、上記ＨＷの状態および次の順番のタスクに関連する測定値と、ヒューマンパフォーマンス（ＨＰ）モデルへの入力とを抽出して、上記ＨＷの上記状態の事前に学習された境界に基づいて上記ＨＷパフォーマンスの状態を取得するステップとを含み得て、次いで、上記ＨＷパフォーマンスの上記状態は、異常または異常無しの分類を決定するために人間－ロボットインタラクション（ＨＲＩ）モデルに入力され、上記方法はさらに、上記ＨＲＩモデルを上記ロボット動作信号、上記ＨＷ信号および上記分類された異常で更新し、次いで、上記更新されたＨＲＩモデルおよび上記分類された異常を使用して、上記ＨＷと相互作用するロボットの制御アクションまたは異常アラームのタイプを決定するステップと、上記更新されたＨＲＩモデルおよび上記分類された異常に基づいて、ロボットアクションを変更するために上記ロボットの上記制御アクションを出力するか、または上記異常アラームの上記タイプを上記人間－ロボット混在プロセスの管理システムに出力するステップとを含み得て、上記プロセス制御方法の上記ステップは、メモリに接続されたハードウェアプロセッサを使用して実行される。

ここに開示されている実施形態について、添付の図面を参照してさらに説明する。示されている図面は、必ずしも一定の縮尺に応じておらず、その代わりに、全体として、ここに開示されている実施形態の原理を例示することに強調が置かれている。

本開示の一実施形態に係る方法を示すブロック図である。 本開示のいくつかの実施形態に係る、図１Ａの方法を実行するために使用されるいくつかの構成要素を示す概略図である。 本開示のいくつかの実施形態に係る、少なくとも１つのタスクを一緒に完了する、人間－ロボット製造プロセスの組立ラインにおけるロボットシステムおよびヒューマンワーカを示す概略図である。 本開示のいくつかの実施形態に係る、訓練データベースに格納される訓練データを取得して、訓練データの収集後に現在のヒューマンワーカデータを取得するための、ヒューマンワーカに関連付けられたセンサからのデータ収集を示す概略図である。 本開示のいくつかの実施形態に係る、ヒューマンワーカパフォーマンスタスクをモニタリングするセンサからのデータ収集を示す概略図である。 本開示のいくつかの実施形態に係る、ヒューマンワーカパフォーマンスのモデルのいくつかの学習プロセスステップ、およびそれに続く、ヒューマンワーカパフォーマンスのモデルに対するプロセス較正を示すブロック図である。 本開示のいくつかの実施形態に係る、ヒューマンワーカパフォーマンスのモデルのいくつかのプロセスステップ、およびそれに続く、ヒューマンワーカパフォーマンスのモデルの利用を示すブロック図である。 本開示のいくつかの実施形態に係る、図３Ａのヒューマンワーカパフォーマンスのモデルのいくつかの学習プロセスステップ、およびそれに続く、図３Ａのヒューマンワーカパフォーマンスのモデルを利用するためのいくつかのプロセスステップを示すブロック図である。 本開示のいくつかの実施形態に係る、ロボットシステムに接続されたロボットモデル学習プログラム（たとえば、導関数フリーセミパラメトリックガウス過程（Semi-Parametric Gaussian Process：ＳＰＧＰ））学習モデルを含むロボット学習制御装置を示す概略図である。 本開示のいくつかの実施形態に係る、予め定められた期間中にロボットシステムの学習プロセスを開始するためにロボットポリシを起動するロボットモデル学習プログラム、すなわち図４Ａの導関数フリーセミパラメトリックガウス過程（ＳＰＧＰ）学習モデルを説明するフローチャートを示すブロック図である。 本開示のいくつかの実施形態に係る、人間－ロボット製造プロセス中のロボットと人間との間のインタラクションを示す概略図である。 本開示のいくつかの実施形態に係る、ヒューマンモデルとロボットモデルとを組み合わせて人間－ロボット協働インタラクションモデルにすることを示すブロック図である。 本開示のいくつかの実施形態に係る、ヒューマンワーカから収集されたデータを使用してヒューマンモデルを訓練することを含む、ヒューマンモデルとロボットモデルとを組み合わせて人間－ロボット協働インタラクションモデルにすることを示すブロック図である。 人間およびロボットの両方について個々のモデルを学習し、次いでロボットポリシを向上させるために使用される人間－ロボット協働インタラクションモデルを学習し、最終的にこのロボットポリシは動作中に使用できることを示すブロック図である。 本開示のいくつかの実施形態に係る、収集可能であって、プロセス制御システムが異常を検出することを支援するのに使用可能な、バイオメトリックデータおよび他のデータを含むセンシングデータを示すブロック図である。 本開示のいくつかの実施形態に係るリストデバイスを示す概略図である。

上記の図面は、ここに開示されている実施形態を説明するが、本明細書に記載されているように他の実施形態も考えられる。本開示は、限定としてではなく代表として例示的な実施形態を示している。多数の他の変形例および実施形態を当業者が考案することができ、これらの変形例および実施形態は、ここに開示されている実施形態の原理の範囲および精神の範囲内である。
実施形態の説明

本開示は、一般にモデル学習技術のシステムおよび方法に関し、より具体的には人間－ロボット協働製造プロセスのためのモデル学習技術のシステムおよび設計に関する。

図１Ａは、本開示の一実施形態に係る方法のブロック図であり、この方法は、人間－ロボット混在プロセスにおいてタスクのシーケンスの中のタスクの実行時に異常を検出するためのプロセス制御方法を含む。ステップのうちのいくつかは、

センサからヒューマンワーカ（ＨＷ）信号およびロボット動作信号を得る図１Ａのステップ１５Ａを含む。

図１Ａのステップ２０Ａは、ＨＷ信号から、タスク完了時刻と、ＨＷの状態および次の順番のタスクに関連する測定値と、ヒューマンパフォーマンス（ＨＰ）モデルへの入力とを抽出して、ＨＷの状態の事前に学習された境界に基づいてＨＷの状態を取得するステップを含み、次いで、ＨＷの状態は、異常または異常無しの分類を決定するために人間－ロボットインタラクション（ＨＲＩ）モデルに入力される。

ＨＷのためのＨＰモデルは、ヒューマンデータにおける一組の境界に対応するＨＷパフォーマンスのさまざまな状態を学習済みであるように事前に構成され得ると考えられる。ＨＲＩモデルは、ＨＷのさまざまな状態と最適なロボットアクションとの間のマッピングを学習済みであるように事前に構成される。さらに、ＨＰモデルは、ＨＷ信号を受信する前に、訓練フェーズ中に、完了した訓練タスクのＨＷ訓練信号から構築され得て、訓練信号は、完了した訓練タスクの各々の完了した訓練タスクについてデータを含み、このデータは、訓練タスク名、各々の完了した訓練タスクについてのＨＷの複数の訓練状態、および次の順番の訓練タスクを含む。ＨＷ訓練信号は、ＨＷ信号を得る前に、訓練動作中に、ＨＷに関連付けられたセンサから得られ得て、ＨＷ信号は、人間－ロボット混在プロセスの動作中に、ＨＷに関連付けられたセンサから得られる。

依然として図１Ａのステップ２０Ａを参照して、ＨＰモデルは、ヒューマンタスク実行（ＨＴＥ）モデルおよびＨＷの状態のモデルによって構築され得て、ＨＴＥモデルは、訓練タスクのシーケンスを完了しながら訓練フェーズ中に取得されたＨＷ訓練信号を使用して訓練された少なくとも１つの予測モデルを使用して構築され、ＨＷの状態のモデルは、ＨＷ訓練信号を使用して訓練された少なくとも１つの分類モデルを使用して構築され、各々の完了した訓練タスクは、ＨＷの複数の状態に関連付けられて、メモリに格納される。また、ＨＴＥモデルは、各々の完了したタスクについて予想完了時刻を学習して、センサから取得されたセンサデータに見られるＨＷの動きのパターンを識別するまたは取り込むように構成され得て、少なくとも１つの統計モデル学習アプローチは、１つまたは複数の予測モデル、１つまたは複数の分類モデル、またはそれら両方を含み、ＨＷが少なくとも１つのタスクを完了するにあたりロボットとインタラクティブに作業している間に、ＨＷのセンサ測定値を考慮して進行中のタスクの完了時刻の推定値を生成することができる。

さらに、少なくとも１つの分類モデルは、完了したタスクおよび次の順番のタスクを最初に判断することによってＨＷ信号からＨＷの状態を学習するように構成され、次いで視線検出アルゴリズムを使用してＨＷの状態を判断し、ＨＷの状態は、焦点レベルの量およびタスクを完了するときのＨＷのエネルギレベルの量などである。

依然として図１Ａのステップ２０Ａを参照して、ＨＴＥモデルのＨＷ訓練信号は、各々の完了した訓練タスクについて訓練タスクを識別するなどのタスクに関連付けられた訓練データを含み、各々の完了した訓練タスクについて、（１）ＨＷの状態に対応する予想タスク完了期間のスケールを含み、予想タスク完了期間のスケールは、スケールの最低部における最高ＨＷパフォーマンス予想タスク完了期間からスケールの最高部における最低ＨＷパフォーマンス予想タスク完了期間までであり、（２）予想タスク完了期間のスケールを期間閾値のタイプに関連付けることを含み、（３）各々の完了した訓練タスクについてのＨＷデータを含み、ＨＷデータは、完了した訓練タスクの時点でのＨＷのデータを含み、ＨＷのデータは、年齢、技術教育のレベル、高等教育のレベル、タスクを完了するスキルのレベル、雇用年数、身長、体重、精神的キャパシティのレベル、身体障害を含む身体的キャパシティのレベルなどであると考えられる。さらに別の局面は、ＨＷ訓練信号が、慣性測定センサ、生物学的センサ、人体搭載モーションセンサ、ＨＷがタスクを完了している環境における外部モニタ、訓練タスクの各訓練タスクを完了することに関連付けられた時刻情報、および視線検出器などの外部モーションセンサなどのセンサから取得された訓練データを含む、というものであってもよい。

図１Ａのステップ２５Ａは、ＨＲＩモデルをロボット動作信号、ＨＷ信号および分類された異常で更新し、次いで、更新されたＨＲＩモデルおよび分類された異常を使用して、ＨＷと相互作用するロボットの制御アクションまたは異常アラームのタイプを決定するステップを含む。

図１Ａのステップ３０Ａは、更新されたＨＲＩモデルおよび分類された異常に基づいて、ロボットアクションを変更するためにロボットの制御アクションを出力するか、または異常アラームのタイプを人間－ロボット混在プロセスの管理システムに出力するステップを含み、これらのステップは、メモリに接続されたハードウェアプロセッサによって実行される。

制御アクションは、ヒューマンワーカの状態に従ってロボット速度の量を調整すること、または、Ｘ軸方向、Ｙ軸方向およびＺ軸方向のうちの１つもしくはそれらの組み合わせを含むロボットの方向を調整することを含み得ると考えられる。また、制御アクションに従ったロボット動作の変化を示すなどの可聴音声コマンドを起動する。他の制御アクションは、ロボットのメンテナンス関連アクション、人間およびロボットの両方に対する安全性関連アクション、ならびにロボットの診断関連アクションを含み得ると考えられる。

異常アラームのタイプは、重要度、優先度、安全性、メンテナンスなどのレベルに基づく複数の異常アラームのスケーリングのタイプであり得て、これらのレベルは、製造プロセスに関連するユーザ、オペレータまたは管理者によって予め定められ、すなわちユーザによって指定された特定のアプリケーションに基づいて詳細を予め定めることができる。たとえば、これらのレベルは、アクションを必要としないゼロなどの最小レベルから、即座のアクションを必要とする最大レベルまでであり得る。最小レベルから最大レベルまでのスケールを有する異常アラームのタイプのいくつかの例としては、非限定的な例として、（ａ）ヒューマンワーカ、すなわちワーカの健康、動作または環境問題に関連付けられた安全性異常アラーム、（ｂ）ロボット、すなわちメンテナンス、動作不良、電子的またはソフトウェア問題、動作問題に関連付けられた安全性異常アラームなどを挙げることができる。最小レベルから最大レベルまでのスケールを有する他のタイプの異常アラームは、疑わしい組立ライン機械的故障、疑わしい組立ラインへの材料供給問題、ヒューマンワーカに起因する生産不足問題、疑わしいロボット関連問題、オペレータ関連タスクまたは疑わしい電子的故障を含み得る。また、メンテナンス部門、オペレータ、管理タイプグループなどのために予め取り決められたグループ関連異常アラームも考えられる。

本開示のいくつかの実施形態によれば、本開示のシステムおよび方法のいくつかの利点は、製造プロセス全体に沿って速度を最適化し、人間とロボットとの間のインタラクションを最適化して速度および製品の品質を最適化することによって、従来の人間－ロボットコラボレーションプロセスの問題を克服する。これは、製造プロセス全体において異常を検出することができるとともに、ワーカの状態を条件としてロボットがヒューマンワーカに提供している手助けを調整することによって人間－ロボットコラボレーションレベルでプロセスを最適化することによって実現することができる。

図１Ｂは、本開示のいくつかの実施形態に係る、図１Ａの方法を実行するために使用されるいくつかの構成要素を示す概略図である。たとえば、図１Ｂは、組み合わせられたロボット－人間モデルの実施形態を実現するために使用することができる。

図１Ｂは、バス５５を介してロボットシステム５８を制御するのに使用することができるプロセス制御システム１００を含み、プロセス制御システム１００は、バス５６を介してネットワーク５７に接続するように適合されたネットワークインターフェイスコントローラ（ＮＩＣ）５１を含み得て、ロボットシステム５８、すなわち複数のロボットシステム、ヒューマンワーカをモニタリングするのに使用される入力測定値などの入力測定値を含むヒューマンセンサモニタシステムデータ５９、ならびに他の想定されるデータおよび他の入力データ６１との間でデータをやりとりすることができる。メモリ１４０は、コンピュータによって実行可能なプログラムをストレージ１３０に格納するのに使用することができ、ストレージ１３０は、データ前処理プログラム１３１と、ヒューマンモデルおよびロボットモデルのための統計モデル学習プログラム１３４と、統計モデルに基づく制御プログラム１３５と、統計モデルの学習を初期化するための初期化プログラム１３７とを含み、メモリ１４０と接続したプロセッサ１２０（または、２つ以上のプロセッサ）がある。物体状態履歴データ（図示せず）およびロボット状態履歴データ（図示せず）もストレージ１３０に格納されている。入力／出力インターフェイス８０、バス８３を介してデバイス８４に接続された制御インターフェイス８２を含む構成要素が存在し得る。

プロセス制御システムのいくつかの任意の構成要素としては、バス６１を介してキーボード６２に接続され、バス６３を介してポインティングデバイス／メディア６４に接続されたヒューマンマシンインターフェイス（ＨＭＩ）６０を挙げることができる。他の任意の構成要素としては、バス７３を介してディスプレイデバイス６７に接続されたディスプレイインターフェイス６６と、バス７４を介してイメージングデバイス６９に接続されたイメージングインターフェイス６８と、バス７５を介して印刷デバイス７２に接続されたプリンタインターフェイス７１とを挙げることができる。

図１Ｃは、本開示の実施形態に係る、少なくとも１つのタスクを一緒に完了する、人間－ロボット製造プロセスの組立ラインにおけるロボットシステムおよびヒューマンワーカを示す概略図である。ヒューマンパフォーマンスのモデル、ロボット学習プロセスおよび他のプロセスについては、後述の図面において詳細に説明する。組立ラインは、複数のステーションを含み、各ステーションにおいて、少なくとも１つのロボットによって完了される少なくとも１つのタスクを含み、少なくとも１つのロボットは、少なくとも１人のヒューマンワーカが少なくとも１つのタスクを完了することを支援すると考えられる。

ロボットシステム９０は、コントローラ９１と、ロボット状態検出器（たとえば、位置エンコーダ９３）とを含み、位置エンコーダ９３は、ロボット状態信号９２を生成することができる。ロボットシステム９０は、物体状態検出器（たとえば、カメラ９４）も含み得て、カメラ９４は、作業空間または作業台１１のコンベヤ１２においてロボットシステム９０によって操作される物体９５の物体状態信号を生成することができる。ロボットシステム９０は、少なくとも１人のヒューマンワーカ１３が作業台１１上で少なくとも１つのタスクを完了することを支援し、そのため、作業空間またはコンベヤは、ロボットおよびヒューマンワーカのいずれかがタスクを完了することを支援するために順方向および逆方向に移動することができる。なお、これらの構成要素１１～１２および９０～９４は、ここでは一例として示されているが、本開示の実施形態はさまざまな適用例に対してロバストであるため、適用例によって異なっていてもよい。また、ロボット動作データは、任意に、ユーザに特有の関心によっては、ロボット学習プロセス１０１にワイヤレスで送受信され得る。

依然として図１Ｃを参照して、ヒューマンワーカ１３は、データを収集するためのセンサを有し得て、これらのセンサは、リストデバイス１０４、モーションモニタ１０２、オンボディモーションセンサ１０６Ａ，１０６Ｂ、時刻デバイス１０８および環境センサ１０９を含む。これらのデバイスからのデータは、ヒューマンワーカに特有のモデルのための学習プロセスを容易にする。これらのセンサは、まとめて人間状態検出器の一例である。ロボットの制御ポリシを学習するために、人間の状態は、操作対象の物体９５の状態およびロボットシステム９０の状態とともに考慮に入れられる。

図２Ａは、本開示の実施形態に係る、訓練データベース２０３に格納される訓練データを取得して、訓練データの収集後に現在のヒューマンワーカデータ２０１を取得するための、ヒューマンワーカに関連付けられたセンサからのデータ収集を示す概略図である。たとえば、ヒューマンワーカ２１３は、ワーカ２１３に取り付けられるかまたは埋め込まれたセンサ（リストデバイス２０４または他の人体センサなど）を有し得て、体温、血圧、心拍数／脈拍、呼吸率、Ｏ_２飽和度、皮膚伝導および皮膚温度などのデータを収集することができる。

他のセンサ（モーションモニタ２０２、オンボディモーションセンサ２０６Ａ，２０６Ｂなど）は、行動的識別子（物理的な動き、関与パターン、物理的な動きなど）および身体的識別子（写真および映像、生理学的認識、音声、および身体属性など）などのバイオメトリックデータを収集することができる。また、他のセンサは、時刻デバイス２０８を介してタイムスタンプデータを収集することができ、環境センサ２０７から環境データを収集することができ、このようなデータは、気温、気流速度、湿度、大気質および放射温度を含み得る。

図２Ｂは、本開示の実施形態に係る、ワーカパフォーマンスタスクをモニタリングするセンサ２１１からのデータ収集を示す概略図である。収集されたデータは、ワーカの典型的な状態とともにヒューマンワーカの通常のまたは典型的な動作方法を学習するのに使用することができる。収集されたデータの一部は、ワーカパフォーマンスタスクをモニタリングするセンサからのものであり、これらのセンサは、視線検出器を使用するなどしてモーションをモニタリングするのに使用することができる外部センサ２１７、バイオメトリックデータ２１５、環境センサ２０７、タイムスタンプ２０８およびオンボディモーションセンサ２０６Ａ，２０６Ｂを含み得る。また、ワーカパフォーマンスタスクデータ２２０は、履歴タスクプロセス情報（図１Ｂのメモリ１４０に事前に格納されたタスク情報２２２など）を含む。プロセス制御システムのために収集されるデータは、非限定的な例として、タスクラベリング（組立、検査、塗装、縫製など）、予想タスク期間（典型的な期間、指定された期間など）およびワーカスキルレベル（雇用年数で表すことができる）であり得る。

環境データセンシングは、Ｉ／Ｏモジュール（ワイヤレス通信コンポーネントもしくはオンデバイスユーザインターフェイスを含み得る）、データプロセッサもしくは制御モジュール、電源（リムーバブルもしくは充電式バッテリであり得る）、またはワイヤレス電力変換装置を含み得る。環境データセンシングは、環境のさまざまな特徴（気温、気流速度、湿度、大気質３２８および／または放射温度など）を測定する１つまたは複数のセンサを含み得る。さらに、乱気流およびＣＯ_２センサなどであるがこれらに限定されないセンサが環境データセンシングに含まれる。１つまたは複数のセンサは、ワーカの近傍に位置している。別個のアイテムとして示されているが、環境データセンシングの単一のセンサが２つ以上の変数を測定してもよいということが考えられる。たとえば、気流速度および乱気流強さの測定に全方向性風速計を使用してもよい。別の例では、放射温度は、ＩＲカメラからのデータに基づいて、または球温度計などの別個のセンサを使用して、求められてもよい。いくつかの実施形態において、環境データは、環境のモデルと、環境のモデルの変数の分布とを含み得る。環境のモデルは、窓の場所、ならびに、ドアおよび壁の場所を含み、環境のモデルの変数は、これらの窓およびドアが開いているか閉まっているかを示す。さらに、環境のモデルは、環境内の熱源（コンピュータ、オーブン、ワーカなど）の場所およびタイプを含み、環境のモデルの変数は、熱源の状態を示す。

ＨＴＥモデルのヒューマンワーカ訓練信号のいくつかの局面は、タスクラベリング（各々の完了した訓練タスクについて訓練タスク名またはラベルを識別することなど）に関連付けられた訓練データを含み得て、各々の完了した訓練タスク名またはラベルについて、情報を含み得て、この情報は、（１）ヒューマンワーカの状態に対応する予想タスク完了期間のスケールを含み、予想タスク完了期間のスケールは、スケールの最低部における最高ヒューマンワーカパフォーマンス予想タスク完了期間からスケールの最高部における最低ヒューマンワーカパフォーマンス予想タスク完了期間までであり、（２）予想タスク完了期間のスケールを期間閾値のタイプに関連付けることを含み、（３）各々の完了した訓練タスクラベルについてのヒューマンワーカデータを含み、ヒューマンワーカデータは、完了した訓練タスクの時点でのヒューマンワーカのデータを含み、ヒューマンワーカのデータは、年齢、技術教育のレベル、高等教育のレベル、タスクを完了するスキルのレベル、雇用年数、身長、体重、精神的キャパシティのレベル、身体障害を含む身体的キャパシティのレベルなどである。

図２Ｃは、本開示の実施形態に係る、ヒューマンワーカパフォーマンスのモデル２８０のいくつかの学習プロセスステップ、およびそれに続く、ヒューマンワーカパフォーマンスのモデルの利用を示すブロック図である。ヒューマンワーカパフォーマンスのモデル２８０は、ワーカパフォーマンスの説明を統計モデルに取り込む機械学習方法を介して学習される。２つのタイプのモデル、すなわち（１）予測モデルおよび（２）分類モデルを使用することができる。

図２Ｃのステップ１は、図２Ｂに示されるアプローチを使用して収集された訓練データベース２０３にアクセスすることによってヒューマンワーカパフォーマンスのモデル２８０を学習するための学習プロセスステップであり得る。訓練データベース２０３は、ヒューマンワーカパフォーマンスのモデル２８０の予測モデルおよび分類モデルの両方のモデルを学習するのに使用することができる。

依然として図２Ｃのステップ１を参照して、訓練データベース２０３に格納された訓練済み予測モデルは、異常検出を支援するのに使用され得るパフォーマンスのレベルに関連する閾値を作成するために、一連のタスクの中のさまざまなタスクについての予想完了時刻のレベルと、ワーカがどのように一連のタスクの中のタスクを実行するかのパターンとを含み得る。

分類モデルは、人間によって行われる作業のスタイルを学習するのに使用することができる。分類モデル、すなわちアルゴリズムは、ワーカによって実行されている現在のタスクおよび次のワーカタスクを、訓練データベース２０３に格納された訓練データから決定することができる。このようなアルゴリズムの例としては、ユーザが進行中のタスクに集中しているか否かを判断することができるワーカ視線検出アルゴリズムが挙げられる。例示的な視線検出アルゴリズムは、タスクの完了中にワーカの視線の位置の分布（ｘ，ｙ座標）を学習する。この分布は、各々の特定のタスクについて固有であると想定される。次いで、既知のタスクについて、ワーカの視線がこの分布に入力されて、特定のタスクに帰属している確率が割り当てられ得る。確率が低い場合、ワーカは、疲れている、注意散漫である、または単に休憩しているであろう。

依然として図２Ｃのステップ１を参照して、ワーカパフォーマンスを追跡する他の方法は、慣性測定センサ、生物学的センサ、環境における外部モニタ、時刻情報、外部モーションセンサ（視線検出器など）からの測定値を使用して構築することができ、これらは、ワーカの状態（たとえば、元気である、疲れている、緩慢であるなど）または実行されるタスク（組立、検査、塗装、縫製など）などの情報を取得するのに使用され得る。分類モデルの一例として、ガウス分布を使用する。この分布は、平均値および分散を使用してパラメータ化される。具体的には、我々は、ワーカの視線のガウス分布を学習したい。ここでは、ワーカの視線は平面内で追跡されるので、学習される分布は二次元であり、平均値－μおよびサイズ２×２の共分散行列Σを有する。モデル学習は、格納された視線データからこれらの平均値および共分散行列を推定することからなる。次いで、各点ｘ，ｙにおいて、分布の値ｆ（ｘ，ｙ，｜μ，Σ）を求めることができる。ワーカがタスクに注意を払っているか否かを分類するために、各々の新たな視線位置ｘ_ｎ，ｙ_ｎが分布ｆ（ｘ_ｎ，ｙ_ｎ｜μ，Σ）に入力される。高確率点ｐは、ワーカが割り当てられたタスクに取り組んでいることを意味する。低確率は、ワーカが注意散漫である、疲れている、休憩している、または異なるタスクに取り組んでいることを意味する。このように使用される分類モデルは、タスク完了が正常であるか否かを判断する。しかし、このアプローチは、タスク同士を区別するのにも使用することができる。各タスクについて分布を学習したとする。この場合、最高確率をもたらす分布は、タスク帰属、すなわち進行中のタスクの分類を決定する。

訓練データベース２０３に格納された訓練済み分類モデルは、異常検出を支援するのに使用され得るワーカの健康レベルに関連する閾値を作成するために、ヒューマンワーカの健康／注意力のレベルを含み得る。たとえば、上記の例を使用して、ワーカの注意力レベルについてさまざまな分布を学習することができる。ここでは、健康な注意怠りないワーカのガウス分布は狭いのに対して、疲れているワーカのガウス分布は広いであろう。既知のタスクでは、これらの異なる分布を比較することにより、ワーカの注意力レベルが明らかになる。分布が１つである場合には、共分散行列Σの変化を追跡してワーカの変化を求めることが可能であろう。一般に、ワーカの健康は、健康レベルを使用して明示的に追跡されるか、または既知のモデルの予測／分類の変化を調べることによって暗黙的に追跡されるかのいずれかであり得る。

依然として図２Ｃのステップ１を参照して、ヒューマンワーカパフォーマンスのモデルまたはパフォーマンスモデル２８０が学習されると、パフォーマンスモデル２８０は、優れたヒューマンワーカパフォーマンスを学習するために継続的に更新される。たとえば、ピークパフォーマンスがワーカによって観察されると、パフォーマンスモデルは更新される。ここでは、ピークパフォーマンスは、所望の適用例の文脈において、たとえばワーカとロボットとが協働して組立ライン上で作業している図１Ｃに示される状況において解釈される。ここでは、ピークパフォーマンスは、１時間当たりの所望の製品、１時間当たりの所望の不良率、またはそれらの組み合わせであってもよい。これらの条件が満たされる場合に、収集されたデータは、実質的に、所望のピークパフォーマンスを生じさせる方法、アクションおよびワーカの状態を説明する。なお、ワーカは、目標パフォーマンスレートを達成することができると想定される。このアプローチは、パフォーマンスモデル２８０に、優れたパフォーマンスの正確なモデルを作成させ、それによりパフォーマンス低下の正確な検出を行わせるであろう。ワーカの典型的なパフォーマンスおよび状態を理解することの少なくとも１つの局面は、ロボットと人間との間のコラボレーション自体がロボットアクションまたはヒューマンワーカアクションの変化を識別する際のものであってもよく、これは、パフォーマンス、すなわちロボット、ヒューマンワーカのパフォーマンス、タスク完了時刻をさらに向上させ、組立ラインまたは生産される製品の全体的速度および品質を向上させる、というものであり得る。「典型的な（通常の）パフォーマンス」は、上記の例に従った所望の製品出力または不良率閾値を満たすものとして定義される。これは、ロボットパフォーマンスを人間の状態に調整し、それによってヒューマンパフォーマンスのモデルをロボットタスク学習に結び付けることの一例であり得て、人間の状態に従ってロボット速度を調整することである。ここでは、ロボットは、人間の状態を速度にマッピングする一組のルールを学習済みである。たとえば、元気なワーカが速度Ａでタスクを実行し、疲れているワーカが速度０．１Ａでタスクを実行し、病気のワーカが速度０．５Ａでタスクを実行することをロボットが学習したとする。この場合、リアルタイムで予測アルゴリズムを使用して、ロボットは、求められたワーカの状態を考慮してどの速度を選択するかを選択することができる。

図２Ｃのステップ２は、このワーカのピークパフォーマンスの学習を説明している。ここでは、データは、モニタリングセンサ２１９、ウェアラブルセンサ２０４および既知のタスク情報２２０から継続的に収集される。このデータに加えて、このワーカから収集された事前データのデータベース２０３が利用可能である。特定の適用例において所望である観察されたワーカパフォーマンスが目標パフォーマンスに達すると、データは訓練データベースに保存される。ワーカの他の状態（疲れている、病気である、悲しいなど）について同様のデータベースを作成することができる。次いで、この（これらの）データベース２０３からのデータを使用して、上記の分類モデルおよび予測モデルを見つける。このデータの収集は、非常に重要である。なぜなら、それは、次のステップで説明する異常検出およびプロセスモニタリングに必要な状況を提供するからである。

図２Ｃのステップ３は、上記のステップ１で学習した統計モデルの利用であると考えることができる。ここでは、分類モデルは、ワーカのパフォーマンスが通常から逸脱しているか否かをすぐに検出することができる即時異常検出２８４に使用することができる。また、説明したように、分類モデルの変化は、実際の異常が検出される前にワーカに低下が起こることを観察するのに使用することができる。予測モデルは、ワーカがいつ現在のタスクを完了するかを判断するのに使用することができる。異常検出２８４機能を提供することに加えて、これは、プロセス全体における異常検出も容易にする。なぜかと言うと、この情報は、イベント遷移テーブルを使用して、この時点以降に起こるであろうイベントのシーケンスを生成するのに使用できるからである。そして、異常検出２８４およびプロセス較正２８６は、プロセスのステップ４の一部である。

図２Ｃのステップ４は、モデル利用ステップであると考えることができる。ここでは、格納されたデータ２０３および現在収集されているデータ２０４，２１９，２２０を使用して学習されたモデル２８０を活用する。この実験セットアップを使用して構築することができる異常検出メカニズムは多数ある。一例は、完了時刻予測モデルを直接使用して、ワーカが上手く作業しているのかそうでないのかを判断するというものである。より複雑な例は、イベント遷移テーブルにおいて完了時刻を使用して、予測タスク完了時刻を考慮して想定される製造アクションのシーケンスを生成するというものである。いずれの場合にも、モデルは、即座の異常についてアラームを直接送信することができる。しかし、微妙な認識は、異常モデルがプロセス較正２８６にも使用できるというものである。たとえば、上記の視線検出のガウス方法が視線平面において共分散の増加を示している場合、速度および品質を向上させるように製造プロセスを変更することが可能であろう。たとえば、ロボットは、ワーカアクションに一致するようにそのアクションを減速させることによってエラーを減らすように訓練され得る。代替的に、ロボットは、パーツをワーカに近付けて焦点を向上させるように訓練され得る。全体的にみて、現在のワーカによって観察された負荷の一部を他のワーカが肩代わりするように、一連の製造イベントはリルートされてもよい。これは、ワーカをモニタリングする統計モデルが、ワーカの状態に適合するように人間－ロボット製造プロセスを向上させるのにも使用できることを意味する。

図３Ａは、本開示のいくつかの実施形態に係る、ヒューマンワーカパフォーマンスのモデル３１１のいくつかのプロセスステップ、およびそれに続く、ヒューマンワーカパフォーマンスのモデルの利用を示すブロック図である。この図は、このワーカのピークパフォーマンスの学習を具体的に説明している。ここでは、このワーカから収集された事前データの履歴データベース３００が利用可能である。具体的には、格納されたデータは、その収集方法のために、ワーカが上手く作業している場合のワーカのパフォーマンスを取り込む。それとは別に、データは、ワーカの他の状態（疲れている、病気である、悲しいなど）について注釈を付けられることもできる。次いで、このデータベース３００からのデータを使用して、分類モデルおよび予測モデルを見つける。これらのモデルは、ステップ３０１および３０２において求められ、上記の予測モデルおよび分類モデルであると考えることができる。次いで、これらのモデルは、（上記のように）対応するワーカ状態が検出されると更新され得て、新たなデータが収集される（３０４）。

図３Ｂは、イベント遷移テーブルにおいて図３Ａのヒューマンワーカパフォーマンスの学習済みモデルを使用するいくつかのステップを示すブロック図である。これらのテーブルは、人間－ロボット製造プロセス全体におけるイベントの通常のシーケンスを記載しており、計算効率のよい異常検出方法である。図３Ｂにおいて、履歴データベース３００を使用して、分類モデルを訓練し（３０１）、予測モデルを訓練する（３０２）。次いで、分類モデルは、現在起こっているイベントを予測するので、イベント遷移テーブルを学習する（３３１）のに使用することができる。本質的に、モデルは、１つのタスクから次のタスクへのワーカの遷移を検出することに役立つ。予測モデルは、タスク完了時刻の分布を学習することによってイベント遷移テーブルを強化する（３３２）のに使用することができる。イベント遷移テーブルは、適用例に特有の状態に基づくモデルと同様に更新され得る。たとえば、ワーカが所望の不良率で所望の製品出力を達成した場合、典型的な製造シーケンスが作成されて、イベント遷移テーブルが更新され得る。また、さまざまなワーカの状態について遷移テーブルを作成することもできる。

図４Ａは、本開示のいくつかの実施形態に係る、ロボットシステムに接続されたロボットモデル学習プログラム（たとえば、導関数フリーセミパラメトリックガウス過程（ＳＰＧＰ）学習モデル）を含むロボット学習制御装置を示す概略図である。ロボットのための学習システムによって可能にされるロボット学習も本開示の不可欠な部分である。本開示のいくつかの実施形態に従って、他のシステム（非限定的な例として、他のモデルベースの強化学習技術を使用したさまざまなタイプの技術水準の機械学習アプローチからのさまざまなタイプのコントローラ、または、たとえばガウス過程またはニューラルネットワークを使用してデータからモデルが学習され、制御法則がたとえばモデル予測制御によって提供され得る従来の技術水準の制御アプローチからのさまざまなタイプのコントローラなど）を使用することができると考えられる。構成要素４９０，４９１，４９５および作業台４１１は、本開示の実施形態の一部を適用することができる適用例の一例を定義する。

引き続き図４Ａのロボット学習システムを参照して、ロボット学習制御装置４００は、ロボットシステムを制御するのに使用され、初期化および更新済みのロボットポリシをインターフェイス４５０を介してロボットコントローラ４９１に送信する。ロボットコントローラ４９１は、初期化および更新済みのロボットポリシを実行して、物体４９５上でタスクを実行する。さらに、少なくとも１つのロボット状態検出器、すなわち位置エンコーダ４９３によって検出されたロボットシステム４９０のロボット状態信号４９２、物体状態検出器によって検出された物体４９５の物体状態信号、および初期化されたロボットポリシは、データ前処理プログラム４３１に送信され、そこで、これらの信号は前処理されて、ロボット状態履歴４３２および物体状態履歴４３３としてメモリに格納される。少なくとも１つの物体検出器（たとえば、カメラ４９４）によって物体状態信号を検出することができると考えられる。これらの構成要素４９０，４９１，４９５，４９４，４９３は、ここでは一例として示されているが、本開示のいくつかの実施形態に従って、特定のユーザアプリケーションまたはさまざまなタスク関連アプリケーションによって異なっていてもよい。

依然として図４Ａを参照して、学習（訓練）プロセスの最初に、予め定められた期間にわたって探索的な態様でロボットを動かし得る初期ロボットポリシ４３７が、インターフェイス４５０を使用してロボットシステム４９０に送信される。初期ロボットポリシは、任意の信号であり、たとえば正弦波信号、正弦波または不規則信号の合計であり得る。予め定められた期間中、収集されたデータは、入力／出力インターフェイス４５０がデータ前処理プログラム４３１に送信する、それぞれ４９４および４９３によって検出された物体状態およびロボットシステム状態である。データ前処理プログラム４３１では、データは、前処理にかけられて、ロボット状態履歴４３２および物体状態履歴４３３としてメモリに格納され、各時間ステップにおけるこれらの量は、それぞれロボットおよび物体の過去の位置の有限履歴を含む。

ロボットモデル学習プログラム４３４は、たとえば、入力としてロボット状態履歴４３２、物体状態履歴４３３および初期ロボットポリシをとる導関数フリーＳＰＧＰ（ＤＦ－ＳＰＧＰ）であり得る。ＤＦ－ＳＰＧＰモデル学習プログラム４３４を実行する際に、導関数フリーＳＰＧＰ（ＤＦ－ＳＰＧＰ）カーネル学習プログラム（図示せず）および導関数フリーＳＰＧＰモデル学習プログラムが訓練される。４３４において取得された導関数フリーＳＰＧＰモデルを、ロボットが物体４９５上で計算しなければならないタスクのタスク仕様４３６とともに使用して、４３５において更新済みロボットポリシを計算する。４３５において、ロボットポリシは、たとえば反復線形二次ガウス（ｉＬＱＧ）であり得るが、任意のモデルベースの軌道最適化技術と置き換えることができる。４３５において更新済みロボットポリシが学習されると、これは、入力／出力インターフェイス４５０およびコントローラ４９１を介してロボットシステムに送信され得る。ここで、ロボットシステム４９０は、物体４９５上でタスクを実行する。４３４における導関数フリーＳＰＧＰ（ＤＦ－ＳＰＧＰ）モデル学習プログラムおよび４３５におけるポリシアルゴリズム反復線形二次ガウス（ｉＬＱＧ）は、ロボット操作で上手くいくことが示された一例に過ぎない。本開示のいくつかの実施形態によれば、モデル学習プログラム４３４およびポリシ計算４３５は、ここに示されているものに限定されない。モデル４３４は、たとえば標準的なガウス過程、ディープニューラルネットワーク、または順動力学のためのその他の関数近似器であり得る。また、ポリシ４３５は、モデル予測制御などのその他のモデルベースのコントローラであり得る。構成要素４３４および４３５は、モデルフリーポリシアルゴリズム（ＰＩＤコントローラなど）またはモデルフリー強化学習アルゴリズムを使用して特定のモデルを持たないポリシを求めるように、組み合わせることもできる。

図４Ｂは、本開示の実施形態に係る、予め定められた期間中にロボットシステムの学習プロセスを開始するためにロボットポリシを起動するロボットモデル学習プログラム、すなわち図４Ａの導関数フリーセミパラメトリックガウス過程（ＳＰＧＰ）学習モデルのいくつかのステップを説明するフローチャートを示すブロック図である。

図４Ｂおよび図４Ａを参照して、図４Ｂのステップ１は、ロボットシステムの学習プロセスを起動するためのロボットポリシを計算して初期化する。

図４Ｂのステップ２は、初期化されたロボットポリシを制御信号によってロボットシステム（図４Ａの４９０）に図４Ａのインターフェイス４５０を介して送信し、この制御信号を図４Ａのコントローラ４９１に送信することにより、次のステップ（ステップ３）において、初期化されたロボットポリシに従って図４Ａのロボットシステム４９０を移動させる。

図４Ｂのステップ３は、図４Ａのロボットシステム４９０によって使用される制御信号を受信して、予め定められた期間にわたって図４Ａの物体４９５を操作する。

図４Ｂのステップ４は、図４Ａのロボット状態信号４９２および図４Ａの物体状態検出器４９４からの物体状態信号を収集して、これらの信号を図４Ａのインターフェイス４５０を介して図４Ａのロボット学習制御装置４００に送信する。

図４Ｂのステップ５は、初期化されたロボットポリシとともにこれらの信号を図４Ａのデータ前処理プログラム４３１に送受信し、そこで、データは前処理されて、図４Ａのロボット状態履歴４３２および図４Ａの物体状態履歴４３３としてメモリに格納される。

図４Ｂのステップ６は、図４Ａの導関数フリーＳＰＧＰ学習モデル４３４を前のステップ（ステップ５）の受信データで更新する。

図４Ｂのステップ７は、ロボットシステムが図４Ａの操作対象物体４９５上で計算すべきである図４Ａのタスク４３６を定義する。

図４Ｂのステップ８は、定義されたタスクを導関数フリーＳＰＧＰ学習モデルとともに使用して、図４ＡのｉＬＱＧ４３５を使用してロボットポリシを更新する。

次いで、図４Ｂのステップ９は、更新されたロボットポリシを、図４Ａのコントローラ４９１に接続された図４Ａのインターフェイス４５０を使用して図４Ａのロボットシステム４９０に送信する。

図４Ｂのステップ１０は、図４Ａの導関数フリーＳＰＧＰ学習モデル４３４を使用して取得された図４Ａの更新済みポリシ４３５に従って図４Ａの物体４９５のタスク操作を実行する図４Ａのロボットシステム４９０を介して、更新済みロボットポリシを実行する。

図４Ａを参照して、本開示の局面によれば、モデル学習システム（たとえば、上記の導関数フリーモデル学習プログラム）は、ロボット学習制御装置内に配置されることができ、このロボット学習制御装置は、本開示の実施形態に従って、図１Ｂのプロセス制御システム１００内に配置されるか、または少なくとも図１Ｂのプロセス制御システムの構成要素を含み得る別個のユニットとして配置されることができる。ロボット学習制御装置は、ロボットシステム４９０を制御するのに使用することができ、初期ポリシプログラムおよび更新済みポリシプログラムをインターフェイス４５０を介してロボットシステム４９０に送信するように構成され得る。ロボットシステム４９０のロボット状態信号４９２および物体状態信号は、作業台４１１上でロボットシステム４９０によって操作される物体４９５に関して受信される。物体状態信号は、少なくとも１つの物体検出器４９４によって検出され、図１Ｂのメモリ１４０は、コンピュータによって実行可能なプログラムを図１Ｂのストレージ１３０に格納することができ、ストレージ１３０は、データ前処理プログラム１３１と、物体状態履歴データ１３３と、ロボット状態履歴データ１３２と、統計モデル学習プログラム１３４と、更新ポリシプログラム１３５と、初期ポリシプログラム１３７とを含み、図１Ｂのメモリ１４０に関連してプロセッサ１２０（または、２つ以上のプロセッサ）がある。図１Ｂのプロセッサ１２０は、予め設定された期間中に物体を操作するロボットシステムを動作させる学習プロセスを起動するための図１Ｂの初期ポリシプログラム１３７をネットワーク５７を介して図１Ｂのロボットシステム１９５に送信するように構成される。この場合、プロセッサは、上記の予め設定された期間内に受信したロボット状態信号および物体状態信号の組からデータ前処理プログラム４３１を使用して変換された物体状態履歴データおよびロボット状態履歴データに従ってモデル学習プログラム４３４を更新することができ、プロセッサは、更新されたモデル学習プログラム４３４に従って更新ポリシプログラム４３５を更新する。
ロボット学習とヒューマンパフォーマンスモニタリングとを組み合わせる

図５Ａは、本開示のいくつかの実施形態に係る、人間－ロボット製造プロセス中のロボットと人間との間のインタラクションを示す概略図である。

このインタラクションを学習するために、統計モデルが使用され、統計モデルは、ロボットと人間オペレータとの間の進行中のインタラクションを推論して対応することができる機械学習に基づく。これらのモデルを学習するために、ロボットの内蔵センサ、カメラのような外部センサからデータを収集する。外部センサは、たとえばヒューマンコラボレータの特徴付けを学習するために事前に使用されたセンサと同一のセンサ、またはロボットシステムに近接して位置している他の外部センサであり得る。

学習済みインタラクション統計モデルは、ロボットとヒューマンコラボレータとの組み合わせ表現である。概念レベルでは、この学習済みモデルは、学習プロセス中にヒューマンコラボレータおよびロボットを表す特徴を追加するか、または個々の表現を別々に学習して、その後、これらを組み合わせてグローバルモデルにすることであり得る。

依然として図５Ａを参照して、具体的には、例示的な例として、ロボットモデルがロボットの状態およびアクション空間上と人間の状態およびアクション空間上とで合同で学習される場合を考える。ロボットモデルは、訓練フェーズ中に学習される。訓練フェーズは、外部センサ（たとえば、１つまたは複数のカメラ）および他のセンサによって観察され得るヒューマンデータ（ワーカまたはワーカの集団など）を収集する第１のフェーズで構成され得る。このヒューマンデータを用いて、予測完了時刻または予測ワーカ動作のような量を推論するための予測モデルと、ワーカの状態およびワーカが現在取り組んでいるタスクを推論するための分類モデルとを学習することができる。次いで、第二に、ロボットがワーカを手助けするために遂行しなければならない動作においてロボットがまあまあ上手く機能することを可能にする制御法則またはポリシを初期化する。これは、運動感覚教示によって、または機械学習技術（強化学習など）を介したシミュレーションを通じて熟練技師が行うことができる。訓練の最終段階は、ロボットおよび人間の状態空間を含む状態空間上で定義されるグローバルモデルを訓練することで構成され得る。ここで、ワーカとロボットとが一緒に作業してタスクを遂行するので、ロボットのポリシをこの学習モデルに適合するように向上させる。これらの適合オンライン機械学習技術は、学習インタラクション統計モデルおよびロボットポリシを更新するのに使用することができる。なぜなら、データは、ロボットの内蔵センサおよびヒューマンワーカから収集されるからである。このように、ロボットは、ロボット自体のポリシを完全なものにするだけでなく、ワーカの状態が変化するさまざまな状況に適合することもできる。ロボットは、協働ロボットであるべきであり、および／または、ワーカの安全性を保証するためにコンプライアンスモードで制御されるべきである。

結果として生じる学習済みインタラクション統計モデルまたはロボット／人間の人間－ロボット協働インタラクションモデルは、人間のさまざまな状態により非常に異なっていることが考えられる。これは、図５Ａに示されており、必要に迫られてこの図は二次元であるが、論理的には任意の次元数に拡張することができる。ここでは、ロボットは、加速または減速という１つの可能なアクションしか有していない。人間は、疲れているまたは元気であるという２つの可能な状態しか有していない。ロボットは、人間が元気である場合にはロボットが速度を速くすることができ、人間が疲れている場合にはロボットが速度を遅くすることができる、ということを学習しなければならない。インタラクション統計モデルが学習されると、ロボットは、ワーカが疲れている場合には高速アクションのためのコストが高くなり、低速のためのコストが最適になることを学習するであろう。同様のことが、ワーカが元気である場合には逆にして当てはまる。図５Ａは、ヒューマンパフォーマンスモデルの必要性も示している。人間の測定値をロボットに直接送り込むことによってこの同一の原理に到達できるということは確かに事実である。しかし、これにより、ロボットの状態空間がはるかに大きくなって、ノイズおよび計算の複雑さが問題に上乗せされることになるであろう。したがって、最初に人間の状態の進展のモデルを学習して、組み合わせ人間／ロボットモデルにこれを含めることが有利である。

図５Ｂ、図５Ｃおよび図５Ｄは、インタラクション統計モデルまたは人間－ロボット協働インタラクションモデルを開発する複数の方法を示しており、３つの想定される訓練アプローチが、概念を上記した組み合わせ人間－ロボット協働インタラクションモデル（すなわち、図５Ｂの５０１Ｂ、図５Ｃの５０８Ｃおよび図５Ｄの５０９Ｄ）を提供することができる。

図５Ｂは、ヒューマンモデル５０４Ｂとロボットモデル５０７Ｂとを組み合わせて人間－ロボット協働インタラクションモデル５０５Ｂにすることに注目した第１のアプローチ５０１Ｂを示す。このモデルは、その対応するデータ、すなわち所与のデータセットに固有であるヒューマンデータ５０２Ｂおよび訓練フェーズ５０３Ｂおよびロボットデータ５０６Ｂおよび訓練フェーズ５１１Ｂを使用する。結果として生じるモデル５０５Ｂは、事前に学習されたモデル５０４Ｂおよび５０７Ｂの両方のモデルの出力に依拠する。このアプローチは、これらのモデルを組み合わせる直接的な方法であり得る。

ロボットのポリシは、ロボットモデル５０７Ｂに基づいて、およびロボットが達成しなければならないタスク５１７Ｂ（たとえば、組立ラインにおけるヒューマンワーカを手助けしなければならないタスク）に基づいて、計算される。このポリシは、任意のポリシ最適化アルゴリズム５１２Ｂ、上記のモデルベースの強化学習または最適制御で実現することができる。人間－ロボット協働インタラクションモデル５０５Ｂが計算されると、これを使用してロボットポリシ５１２Ｂを向上させることができ、ロボットポリシ５１２Ｂは、新たなロボットポリシ５１２Ｂを有するために、ロボットモデル５０７Ｂおよびタスク５１７Ｂを考慮に入れるだけでなく、ヒューマンモデル５０４Ｂの情報も有するように更新され得る。

図５Ｃは、本開示のいくつかの実施形態に係る、ヒューマンワーカから収集されたデータを使用してヒューマンモデルを訓練することを含む、ヒューマンモデルとロボットモデルとを組み合わせて人間－ロボット協働インタラクションモデルにすることを示すブロック図である。これらのモデルを組み合わせるこの第２のアプローチ５０８Ｃは、ヒューマンワーカから収集されたデータ５０２Ｃを使用してヒューマンモデル５０４Ｃを訓練する（５０３Ｃ）によって開始する。次いで、ヒューマンモデル５０４Ｃは、人間－ロボット協働インタラクションモデル５０５Ｃの訓練５１１Ｃ中にロボットデータ５０６Ｃとともに使用される。人間－ロボット協働インタラクションモデル５０５Ｃが計算されると、これを使用して新たなロボットポリシ５１２Ｃを学習することができる。この第２のアプローチの少なくとも１つの利点は、統合モデルを学習しており、その入力特徴が、ヒューマンワーカについて学習されたモデルを含む、というものである。

図５Ｄは、本開示のいくつかの実施形態に係る、人間およびロボットの両方について個々のモデルを学習し、次いでロボットポリシを向上させるために使用される人間－ロボット協働インタラクションモデルを学習し、最終的にこのロボットポリシは動作中に使用でき、そのためロボットおよび人間が動作している間にデータを収集することができ、この収集されたデータを使用してロボットモデルおよびロボットポリシが継続的に更新されることを示すブロック図である。第３のアプローチ５０９Ｄは、第１のアプローチ５０１Ｂと同様に開始する。ここでは、ヒューマンモデル５０４Ｄとロボットモデル５０７Ｄとを組み合わせて人間－ロボット協働インタラクションモデル５０５Ｄにする。各モデルは、その対応するデータ、すなわち所与のデータセットに固有であるヒューマンデータ５０２Ｄおよび訓練フェーズ５０３Ｄおよびロボットデータ５０６Ｄおよび訓練フェーズ５１１Ｄを使用する。結果として生じるモデル５０５Ｄは、事前に学習されたモデル５０４Ｄおよび５０７Ｄの両方のモデルの出力に依拠する。

このモデルを使用して第１のロボットポリシ５１２Ｄを学習する。５０１Ｂにおける第１のアプローチとの違いとしては、ロボットモデル５０７Ｄおよびロボットポリシ５１２Ｄがオンラインで更新されることである。人間が、ロボットポリシ５１２Ｄの下で制御されるロボットと一緒に作業している間に、５１９Ｄにおいて、人間およびロボットの両方からのデータが収集される。このデータは、上記の本開示のいくつかの実施形態で説明したものと同一である。次いで、これらのデータをオンラインで使用して、ロボットモデル５０７Ｄおよびロボットポリシ５１２Ｄを向上させる。更新されたロボットモデルおよびロボットポリシは、適切なロボット動作を確実にするために元のロボットモデル５０７Ｄとともに使用される初期ロボットモデル５０７Ｄおよび初期ロボットポリシ５１２Ｄに対する修正であると考えることができる。

いずれの場合にも、次いで、学習済み人間－ロボット協働インタラクションモデルを使用して、測定値によって表される固有の身体的状態（元気である、疲れている、緩慢であるなど）にある間にコラボレータと相互作用することができるロボットの制御方法を決定する。重要なことに、このコラボレーションは、人間－ロボット製造タスクを完了して製品品質を最大化する目的で学習される。なぜなら、この状況においてデータを収集することは時間がかかる可能性があり、このシステムにおけるロボットはエンジニアードデバイスであるからである。ここでは、学習済みモデルは、物理的知識（たとえば、ロボットの動きの方程式）、人間オペレータの特徴、およびおそらくタスクに依存する特徴を事前情報として機械学習アルゴリズムに組み込むこともできる。

図６は、本開示のいくつかの実施形態に係る、収集可能であって、プロセス制御システムが異常を検出することを支援するのに使用可能である、バイオメトリックデータおよび他のデータを含むセンシングデータを示すブロック図である。たとえば、バイオメトリックデータは、行動的識別子６０１を含み得て、行動的識別子６０１は、物理的な動き６０３と、関与パターン６０５（行動的特徴および行動パターン）と、物理的な動き６０７とを含み得る。他のバイオメトリックデータは、身体的識別子６０２を含み得て、身体的識別子６０２は、写真および映像６０４と、生理学的認識６０６と、音声６０８と、身体属性６１０とを含み得る。収集可能な他のデータは、ワーカのバイタルサイン６２０と、皮膚伝導６２２と、皮膚温度とを含み得る。

バイオメトリックデータセンシングは、Ｉ／Ｏモジュール（ワイヤレス通信コンポーネントまたはオンデバイスユーザインターフェイスを含み得る）、制御モジュール、電源（リムーバブルまたは充電式バッテリであり得る）を含み得る。バイオメトリックデータセンシングは、心拍数、ワーカのバイタルサイン６２０、皮膚温度６２４および／または皮膚伝導６２２を測定する１つまたは複数のセンサを含み得る。これらの１つまたは複数のセンサは、ワーカの近傍に位置している。心拍数モニタまたは心拍数センサは、ワーカの心拍数を測定し得る。心拍数センサは、ＬＦ帯域とＨＦ帯域とを区別するのに十分な精度を有するべきである。さらに、心拍数測定値に基づいて、プロセッサモジュールを使用して、高スペクトル周波数（ＨＦ）心拍数変動に対する低スペクトル周波数（ＬＦ）心拍数変動の比率を求めることができる。ＨＦに対するＬＦの比率が高いことは、ワーカの不快レベルが高いことに対応する。ワーカのバイタルサイン６２０は、リモートフォトプレチスモグラフィ（ＲＰＰＧ）センサを利用することによって取得され得る。いくつかの実施形態では、ワーカのバイタルサインを測定するのにウェアラブルデバイスが使用されてもよく、プロセス制御システムの動作中、このウェアラブルデバイスは、プロセス制御システムの入力インターフェイスとリモート通信することができる。

依然として図６を参照して、皮膚伝導６２２は、ワーカの皮膚からの蒸発伝達に関連付けられたワーカの皮膚の電気的特性の変化を反映するガルバニック皮膚反応として測定され得る。皮膚温度６２４は、ワーカと環境との間の熱伝達を定量化するのに使用され得る。皮膚伝導測定値および皮膚温度測定値の各々は、特定のワーカの好みを示すそれぞれの予め定義された範囲と比較され得る。バイオメトリックデータセンシングは、ワーカのＩＲ画像を出力するＩＲカメラを含み得る。ＩＲ画像の分析は、衣服の最外層の温度とワーカの皮膚温度とを比較することによって衣服レベルの推定値を提供し得る。バイオメトリックデータを取得するために、１つまたは複数のセンサがワーカの皮膚と直接接触していてもよい。たとえば、センシングは、ウェアラブルデバイス（時計、ブレスレット、ネックレス、靴の中敷きまたはアームバンドなど）であってもよい。

図７は、本開示のいくつかの実施形態に係るウェアラブルリストデバイスの一例を示す概略図である。ウェアラブルデバイス７４６は、ワーカの手首７４８に配置されてもよい。ウェアラブルデバイス７４６は、リスト７５０を表示するとともに、リスト７５０内の各項目についてデータを取得するように構成され得る。たとえば、このような表示およびリスト７５０における取得されたデータは、体温７５１、血圧７５２、脈拍数７５３、呼吸率７５４、Ｏ_２飽和度７５６、皮膚伝導７５７および皮膚温度７５８を含み得る。
ガウス過程回帰を使用したモデルベースの強化学習

ここでは、モデルベースの強化学習ＭＢＲＬにおいて採用されるガウス過程回帰（ＧＰＲ）および軌道最適化アルゴリズムを使用した標準的なモデル学習フレームワークについて説明する。これは、図１Ｂの統計モデル学習１３４、図１Ｂの制御プログラム１３５、図４Ａのモデル学習４３４、図４Ａの更新ポリシ４３５をどのように計算することができるかを技術的に説明する。

ガウス過程回帰

物理現象からヒントを得たカーネル

ｐ＝１である場合に線形カーネルが取得されることに注目されたい。推定対象のハイパーパラメータは、行列Σ_ＰＩの対角線要素のままである。
ノンパラメトリックカーネル

セミパラメトリック（ＳＰ）カーネルは、パラメトリックカーネルｋ_ＰＩのグローバル特性およびノンパラメトリックカーネルｋ_ＮＰの柔軟性を活用する。ＳＰカーネルの使用は、ノンパラメトリックカーネルを用いて取得されたモデル学習プログラムの典型的な挙動を、データによって上手く検討されない状態空間のエリアにも上手く一般化するモデル学習プログラムを有し、同時に、モデル化されていない動力学に悩まされるパラメトリックカーネルを用いて取得されたモデル学習プログラムよりも高い精度パフォーマンスを有することが分かった。
ｉＬＱＧを使用した軌道最適化

強化学習アルゴリズムのための導関数フリーフレームワーク

このセクションでは、物理システムの進展をモデル化するための新規の学習フレームワークが提案される。上記の標準的なモデル化アプローチではいくつかの問題に対処する必要がある。ここでは、本開示のいくつかの実施形態によって解決される主な問題を列挙する。
第１に、数値微分

物理第一原理から計算される任意の物理システムの剛体動力学は、関節の位置、速度および加速度の関数である。しかし、一般的な問題は、関節の速度および加速度は測定できないことが多く、関節の位置の（おそらくノイズの混ざった）測定値から開始して数値微分によってそれらを計算することは、最終的な解に深刻な影響を及ぼす可能性がある、というものである。これは、非常によく知られた、しばしば論じられる問題であり、通常は一部がアドホックフィルタ設計によって対処される。しかし、これは、フィルタのパラメータを調整する際に相当なユーザの知識および経験を必要とし、依然としてさまざまなエラーおよび遅延を生じさせる傾向がある。
第２に、条件付き独立性の想定

第３に、動力学における遅延および非線形性

最後に、物理システムは、いくつかの時刻にわたってシステムに影響を及ぼす固有の遅延および非線形効果の影響を受けることが多く、これは一次マルコフ仮定と矛盾し、このような挙動の例については後述する。
導関数フリー状態定義

上記の制約を克服するために、位置測定値の履歴を状態要素と見なして、導関数フリーの態様でシステム状態を定義する。

式中、ｋ_ｐ∈Ｒは、正の整数である。

状態の定義は、以下のように説明される。場合によっては、物体状態データは、予め定められた期間における物体の位置の一組のシーケンシャルな測定データを表し得て、ロボット状態データは、予め定められた期間におけるロボットの位置の一組のシーケンシャルな測定データを表し得る。

ＰＩＤＦカーネルを用いた状態遷移学習

提案された状態定義は、ＭＤＰの状態遷移関数のためのモデル化技術の必要性を伴う。導関数フリーＧＰＲは、ノンパラメトリック導関数フリーＧＰＲについてのみ既に紹介された。しかし、上記で指摘したように、データ駆動型モデルの一般化パフォーマンスは、ロバストな学習パフォーマンスを保証するには十分でない可能性があり、物理モデルからの最終的な事前情報を活用することが極めて重要である。一方、物理モデルは、位置、速度および加速度に依存しており、導関数フリーフレームワークでのそれらの使用は、標準的な公式化では不可能であり、本開示の実施形態は、この問題を解決する。以下では、いわゆる物理現象からヒントを得た導関数フリー（ＰＩＤＦ）カーネルを取得するための手順が提案される。

特徴

１つまたは複数の異なる実施形態を作成するために局面のうちの１つまたは組み合わせを独立請求項１に含めることができると考えられる。たとえば、これらの局面のうちの１つまたは組み合わせの中には、以下を含むものもある。

一局面は、ＨＷのためのＨＰモデルが、ヒューマンデータにおける一組の境界に対応するＨＷパフォーマンスのさまざまな状態を学習済みであるように事前に構成され、ＨＲＩモデルが、ＨＷのさまざまな状態と最適なロボットアクションとの間のマッピングを学習済みであるように事前に構成される、ということを含み得る。

別の局面は、ＨＷデータが、各々の完了した訓練タスクについてデータを含み、このデータが、ＨＷによる動きのパターン、ＨＷのエネルギレベル、一組のＨＷスキルレベルに関連付けられたスキルレベル、および各々の完了した訓練タスクに関連付けられたパフォーマンスマトリックスに対応するＨＷの状態の履歴レベルのうちの１つまたはそれらの組み合わせなどである、というものである。一局面は、異常検出の分類のうちのいくつかが、ＨＷの状態に関連付けられたロボットアクションを含み、このロボットアクションが、ロボットのさまざまなレベルの速度、Ｘ軸、Ｙ軸およびＺ軸の動き、音声告知、電話をかけること、１つまたは複数の期間にわたるロボット位置の維持、コントローラに送信されたコマンドを介した環境条件の調整を含み、異常の分類のタイプのうちのいくつかが、将来の異常、メンテナンス関連異常、安全性関連異常、損失生産異常、構成要素の潜在的故障の異常、品質異常および組立ライン異常の検出も含む、というものであり得る。

また、一局面は、異常無しが判断される場合、ＨＷの状態が、ＨＷパフォーマンス閾値の予め定められたレベルと比較され、ＨＷがタスクを完了するためのピークパフォーマンスを示すＨＷピークパフォーマンス閾値よりも大きい場合、ＨＰモデルが、ＨＷによってモデルピークパフォーマンスに更新され、ＨＷパフォーマンスのレベルが、受信したＨＷ信号からデータを抽出することによって求められ、このデータが、学習済み統計モデルへのＨＷ測定値の適合、モデルパフォーマンスの劣化、またはＨＷの取得した状態を予測するために使用される特定の学習モデルなどである、というものであり得る。

さらに、一局面は、ＨＰモデルによってヒューマンデータから学習されたさまざまなタイプの異常および異常無しの事前に学習された境界のうちのいくつかが、ＨＷがもう作業を行っていないこと、ＨＷが注意散漫であること、事前に学習された境界に従ってＨＷが疲れているもしくはパフォーマンスが低下していることを示すエネルギレベルをＨＷが体験していること、事前に学習された境界に従ってＨＷが元気であるもしくは高いエネルギレベルで動作していることを示すエネルギレベルをＨＷが体験していること、または、事前に学習された境界に従ってＨＷが疲れていないもしくは元気である（平均的な元気レベルなど）もしくは平均的なＨＷパフォーマンスに関連付けられたエネルギレベルで動作していることを示すエネルギレベルをＨＷが体験していることを含む、というものであり得る。
定義

バイオメトリック：バイトメトリクスとは、身体の測定および計算のための技術用語である。それは、人間の特徴に関連するメトリクスを指す。バイオメトリック識別子は、個人をラベル付けして説明するために使用される特徴的な測定可能な特徴である。バイオメトリック識別子は、しばしば、生理学的特徴対行動的特徴として分類される。生理学的特徴は、体型に関連している。例としては、指紋、手のひら静脈、顔認識、ＤＮＡ、掌紋、掌形認証、虹彩認識、網膜および臭い／香りが挙げられるが、これらに限定されるものではない。行動的特徴は、人の行動のパターンに関連しており、タイピングリズム、歩きぶりおよび声が挙げられるが、これらに限定されるものではない。身体的識別子：身体的識別子は、大部分が不変であり、デバイスから独立している。写真および映像：デバイスがカメラを備えている場合、それを認証に使用しやすい。顔認識および網膜スキャンが２つの一般的なアプローチである。生理学的認識：音声：音声ベースのデジタルアシスタントおよび電話ベースのサービスポータルは、ユーザを識別して顧客を認証するために音声認識を既に使用している。身体属性：三次元人体の表面を構築するために身体の端縁（すなわち、身体の輪郭、形状または物体を定義するまたは境界付ける端縁または線）を適合させる三次元人体モデルから、すなわち長手方向補間、スケーリングなどの変形を介して取得される。三次元身体は、輪郭から直接四角形メッシュとして表され、サイジングパラメータに対応する特徴線をモデルにおけて定義することができる。身体は、これらのサイジングパラメータで表され、エネルギベースの変形を適用するために、制約を有するモデル変形、すなわちその固有の定義として表される輪郭に変換される。たとえば、横になっているかまたは椅子に座っている人間から圧点を収集する。

行動的識別子：以下の局面を含み得る。タイピングパターン：誰しも異なるタイピングスタイルを有している。タイプする速度、１つの文字から別の文字に進むのにかかる時間の長さ、キーボードに対する衝撃の程度である。物理的な動き：環境面に関連した場所、位置または姿勢の変化であり、さまざまな身体系（骨格系、心血管系、筋神経系および身体のエネルギ系など）が協働する場合にのみ動きが生じる。すなわち、ある人の歩行は、個人に固有である。この動きは、固定軸または支点を中心に行われ、方向を有する。解剖学的な動きも、なんら違いはない。それらは、通常、骨または身体の一部が主要な解剖学的軸（矢状軸、冠状軸、前額軸など）またはそれらに平行な平面に対して固定関節を中心として動くことを含む。ナビゲーションパターン：トラックパッドまたはタッチセンサ式スクリーン上でのマウスの動きおよび指の動きは、個人に固有であり、ソフトウェアで検出することが比較的容易であり、追加のハードウェアは不要である。関与パターン：我々は皆、さまざまな方法で技術と相互作用する。どのようにアプリを開いて使用するか、どれぐらい安くバッテリを入手できるか、デバイスを使用する可能性が最も高い場所および時刻、ウェブサイトをナビゲートする仕方、電話を手に持つときにどれぐらい電話を傾けるか、またはソーシャルメディアアカウントをどれぐらい頻繁にチェックするかは全て、固有の行動的特徴であるかもしれない。これらの行動パターン（すなわち、所与の物体の方へのまたは所与の状況における個人またはグループによる反復的な行動の仕方）は、ボットが人間を真似るのが上手くなるまでは、人とボットとを区別するのに使用することができる。そして、それらは、他の認証方法と組み合わせて使用することもでき、または技術が十分に向上するとスタンドアロンのセキュリティ対策として使用することもできる。

バイオメトリックセンサ：バイオメトリックセンサは、人のバイオメトリックトリート（biometric treat）を電気信号に変化させるトランスデューサである。バイオメトリックトリートは、主に、バイオメトリック指紋リーダ、虹彩、顔、音声などを含む。一般に、センサは、光、温度、速度、電気容量および他のタイプのエネルギを読み取ったり測定したりする。センサおよびデジタルカメラの高度な組み合わせ、すなわちネットワークを使用してこの変換を行うためにさまざまな技術を適用することができる。どのバイオメトリックデバイスも１つのタイプのセンサを必要とする。バイオメトリクスの適用例は、主に、顔認識のための高精細度カメラでの使用または音声取り込みのためのマイクでの使用を含む。バイオメトリクスの中には、皮膚の下の静脈パターンをスキャンするように特別に設計されているものもある。バイオメトリックセンサまたはアクセス制御システムは、生理学的バイオメトリクスおよび行動的バイオメトリクスなどの２つのタイプに分類される。生理学的バイオメトリクスは、主に、顔認証、指紋、掌形認証、虹彩認識およびＤＮＡを含む。一方、行動的バイオメトリクスは、キーストローク、署名および音声認識を含む。

バイタルサイン（バイタルとしても知られている）は、身体の生命維持に必要な（生命を維持させる）機能の状態を示す４つ～６つの最も重要なサインのグループである。これらの測定値は、人の全身健康状態を評価することを手助けし、病気の可能性についての手がかりを提供し、回復に向けた経過を示すために取得される。人のバイタルサインの正常範囲は、年齢、体重、性別および健康全般によってさまざまである。主要なバイタルサインは、体温、血圧、脈拍（心拍数）および呼吸率（呼吸数）の４つであり、しばしばＢＴ、ＢＰ、ＨＲおよびＲＲと表記される。しかし、臨床状況によっては、バイタルサインは、「第５のバイタルサイン」と呼ばれる他の測定値、すなわち周辺酸素飽和度（ＳｐＯ_２）の読み取りによって人の酸素飽和度（ＳＯ_２）をモニタリングするパルスオキシメトリを介した酸素飽和度を含み得る。

慣性測定ユニット（ＩＭＵ）は、加速度計、ジャイロスコープ、および時には磁力計の組み合わせを使用して、身体の比力、角速度、および時には身体の向きを測定して報告する電子デバイスである。ＩＭＵは、加速度計（ＡＣＣ）などの微小電気機械式慣性センサを使用して測定することができ、自発運動量のモニタリングにはジャイロスコープが広く採用される。ＡＣＣセンサは、速度および変位の変化を測定するのに対して、ジャイロスコープは、回転変位などの向き、速度および加速度の変化を測定する。

ＩＭＵは、角速度、力、および時には磁場を測定する特定のタイプのセンサである。ＩＭＵは、３軸加速度計および３軸ジャイロスコープで構成され、これは、６軸ＩＭＵ（Ｘ軸、Ｙ軸、Ｚ軸、ヨー、ピッチおよびロール）であると考えられるであろう。それらは、追加の３軸磁力計も含み得て、これは、９軸ＩＭＵであると考えられるであろう。技術的には、「ＩＭＵ」という語は、単にセンサを指すが、ＩＭＵは、複数のセンサからのデータを組み合わせて向きおよび方位の測定を行うセンサフージョンソフトウェアと対になっていることが多い。一般的な用法では、「ＩＭＵ」という語は、センサとセンサフージョンソフトウェアとの組み合わせを指すために使用され得て、この組み合わせは、ＡＨＲＳ（姿勢方位基準装置）とも称される。ＩＭＵのいくつかの適用例は、ＧＰＳシステムにおいて方向を決定すること、携帯電話およびビデオゲームリモコンなどの家庭用電子機器において動きを追跡すること、またはＡＲ（拡張現実）およびＶＲ（仮想現実）システムにおいてユーザの頭の動きを追従することを含むＩＭＵの適用例であり得る。
実施形態

上記の説明は、例示的な実施形態を提供しているに過ぎず、本開示の範囲、利用可能性または構成を限定することを意図したものではない。むしろ、例示的な実施形態の以下の説明は、１つまたは複数の例示的な実施形態を実現するための実施可能な程度の説明を当業者に提供するであろう。添付の特許請求の範囲に記載されている開示されている主題の精神および範囲から逸脱することなく要素の機能および配置の点でさまざまな変更がなされ得ると考えられる。

実施形態を十分に理解してもらうために、以下の説明では具体的詳細が提供されている。しかし、当業者によって理解されるなら、これらの具体的詳細なしに実施形態を実施してもよい。たとえば、開示されている主題におけるシステム、プロセスおよび他の要素は、実施形態を不必要に詳細に曖昧にすることのないように、ブロック図の形式の構成要素として示されてもよい。他の例では、周知のプロセス、構造および技術は、実施形態を曖昧にすることを回避するために、不必要な詳細なしに示されてもよい。

また、個々の実施形態は、フローチャート、フロー図、データフロー図、構造図またはブロック図として描かれるプロセスとされてもよい。フローチャートは、動作をシーケンシャルなプロセスとして記載し得るが、多くの動作は、並行してまたは同時に実行することができる。また、動作の順序は、並べ替えられてもよい。プロセスは、その動作が完了すると終了され得るが、図面に記載されていないまたは図面に含まれていない追加のステップを有してもよい。さらに、いずれかの特定的に記載されているプロセスにおける全ての動作が全ての実施形態で行われるとは限らない。プロセスは、方法、関数、手順、サブルーチン、サブプログラムなどに対応し得る。プロセスが関数に対応する場合、関数の終了は、呼び出し関数またはメイン関数への関数の戻りに対応し得る。

特定の好ましい実施形態を参照して本開示を説明してきたが、本開示の精神および範囲内でさまざまな他の適合および変形がなされ得ることが理解されるべきである。したがって、全てのこのような変更および変形を本開示の真の精神および範囲内に包含することは、添付の特許請求の範囲の局面である。

Claims (20)

1. 人間－ロボット混在プロセスにおいてタスクのシーケンスの中のタスクの実行時に異常を検出するためのプロセス制御システムであって、
   ロボットデータ、製造プロセス（ＭＰ）データ、ヒューマンデータおよび実行可能なモデルを含むデータを格納するように構成されたメモリと、
   ヒューマンワーカ（ＨＷ）のデータを収集するためのセンサから取得されたＨＷ信号およびロボットの動作を収集するためのセンサから取得されたロボット動作信号を受信するように構成された入力インターフェイスと、
   ハードウェアプロセッサとを備え、前記ハードウェアプロセッサは、
   前記ＨＷ信号から、ヒューマンパフォーマンス（ＨＰ）モデルへ入力するヒューマンデータを抽出するように構成され、前記ＨＰモデルは、事前に学習された前記ＨＷの状態の境界に基づいて前記ＨＷの前記状態を判断し、前記ＨＷの前記状態は、異常の分類または異常無しを決定するために人間－ロボットインタラクション（ＨＲＩ）モデルに入力され、前記ハードウェアプロセッサはさらに、
   前記ＨＲＩモデルを前記ロボット動作信号、前記ＨＷ信号および分類された異常で更新するように構成され、
   更新されたＨＲＩモデルおよび前記分類された異常を使用して、前記ＨＷと相互作用するロボットの制御アクションまたは異常アラームのタイプを決定するように構成され、前記プロセス制御システムはさらに、
   前記更新されたＨＲＩモデルおよび前記分類された異常に基づいて、ロボットアクションを変更するために前記ロボットの前記制御アクションを出力するか、または前記異常アラームの前記タイプを前記人間－ロボット混在プロセスの管理システムに出力するための出力インターフェイスを備え、
   前記ＨＲＩモデルは、前記ＨＷの前記さまざまな状態と最適なロボットアクションとの間のマッピングを学習済みであるように事前に構成される、プロセス制御システム。
2. 前記ＨＷのための前記ＨＰモデルは、ＨＷパフォーマンスのさまざまな状態の境界を前記ヒューマンデータにより学習済みであるように事前に構成される、請求項１に記載のプロセス制御システム。
3. 前記ＨＰモデルは、前記ＨＷ信号を受信する前に、訓練フェーズ中に、完了した訓練タスクのＨＷ訓練信号から構築され、前記ＨＷ訓練信号は、前記完了した訓練タスクの各々の完了した訓練タスクについてデータを含み、前記データは、訓練タスク名、各々の完了した訓練タスクについての前記ＨＷの複数の訓練状態、および次の順番の訓練タスクを含む、請求項１に記載のプロセス制御システム。
4. 前記ＨＷ訓練信号は、前記ＨＷ信号を得る前に、訓練動作中に、前記ＨＷに関連付けられたセンサから得られ、前記ＨＷ信号は、前記人間－ロボット混在プロセスの動作中に、前記ＨＷに関連付けられたセンサから得られる、請求項３に記載のプロセス制御システム。
5. 前記ＨＰモデルは、ヒューマンタスク実行（ＨＴＥ）モデルおよび前記ＨＷの前記状態のモデルによって構築され、前記ＨＴＥモデルは、訓練タスクのシーケンスを完了しながら訓練フェーズ中に取得されたＨＷ訓練信号を使用して訓練された少なくとも１つの予測モデルを使用して構築され、前記ＨＷの前記状態の前記モデルは、前記ＨＷ訓練信号を使用して訓練された少なくとも１つの分類モデルを使用して構築され、各々の完了した訓練タスクは、前記ＨＷの複数の状態に関連付けられて、前記メモリに格納され、
   前記予測モデルは、タスクの予測完了時刻またはヒューマンワーカの動きのパターンを推論するためのモデルで、
   前記分類モデルは、ワーカの状態およびワーカが現在取り組んでいるタスクを推論するためのモデルである、請求項１に記載のプロセス制御システム。
6. 前記少なくとも１つの予測モデルは、各々の完了したタスクについて予測完了時刻を学習して、センサから取得されたセンサデータに見られる前記ＨＷの動きのパターンを識別するまたは取り込むように構成され、少なくとも１つの統計モデル学習アプローチは、１つまたは複数の予測モデル、１つまたは複数の分類モデル、またはそれら両方を含み、前記ＨＷが少なくとも１つのタスクを完了するにあたり前記ロボットとインタラクティブに作業している間に、前記ヒューマンデータを考慮して進行中のタスクの完了時刻の推定値を生成することができる、請求項５に記載のプロセス制御システム。
7. 前記少なくとも１つの分類モデルは、完了したタスクおよび次の順番のタスクを最初に判断することによって前記ＨＷ信号から前記ＨＷの状態を学習するように構成され、次いでタスクの完了中にワーカの視線の位置の分布を学習する視線検出アルゴリズムを使用して前記ＨＷの前記状態を判断する、請求項５に記載のプロセス制御システム。
8. 前記ＨＴＥモデルの前記ＨＷ訓練信号は、各々の完了した訓練タスクについて訓練タスクを識別するタスクに関連付けられた訓練データを含み、各々の完了した訓練タスクについて、（１）前記ＨＷの状態に対応する予想タスク完了期間のスケールを含み、前記予想タスク完了期間のスケールは、前記スケールが最短となる最高ＨＷパフォーマンス予想タスク完了期間から前記スケールが最長となる最低ＨＷパフォーマンス予想タスク完了期間までであり、（２）前記予想タスク完了期間の前記スケールを期間閾値のタイプに関連付けることを含み、（３）各々の完了した訓練タスクについての前記ＨＷ信号を含み、前記ＨＷ信号は、前記完了した訓練タスクの時点での前記ＨＷのデータを含み、前記ＨＷの前記データは、年齢、技術教育のレベル、高等教育のレベル、前記タスクを完了するスキルのレベル、雇用年数、身長、体重、精神的状態、身体障害を含む身体的状態である、請求項５に記載のプロセス制御システム。
9. 前記ＨＷ訓練信号は、慣性測定センサ、生物学的センサ、人体搭載モーションセンサ、前記ＨＷが前記タスクを完了している環境における外部モニタ、前記訓練タスクの各訓練タスクを完了することに関連付けられた時刻情報、および視線検出器の外部モーションセンサのセンサから取得された訓練データを含む、請求項５に記載のプロセス制御システム。
10. 前記ＨＷ信号は、各々の完了した訓練タスクについてデータを含み、前記データは、前記ＨＷによる動きのパターン、元気レベル、ＨＷスキルレベルに関連付けられたスキルレベルのうちの１つまたはそれらの組み合わせである、請求項１に記載のプロセス制御システム。
11. 異常検出の分類のうちのいくつかは、前記ＨＷの前記状態に関連付けられたロボットアクションを含み、前記ロボットアクションは、前記ロボットのさまざまなレベルの速度、Ｘ軸、Ｙ軸およびＺ軸での動き、音声告知、電話をかけること、１つまたは複数の期間にわたるロボット位置の維持、コントローラに送信されたコマンドを介した環境条件の調整を含み、前記異常の分類のタイプのうちのいくつかは、将来の異常、メンテナンス関連異常、安全性関連異常、損失生産異常、構成要素の潜在的故障の異常、品質異常および組立ライン異常の検出も含む、請求項１に記載のプロセス制御システム。
12. 前記異常無しが判断される場合、前記ＨＷの前記状態は、ＨＷパフォーマンス閾値の予め定められたレベルと比較され、前記ＨＷが前記タスクを完了するためのピークパフォーマンスを示すＨＷピークパフォーマンス閾値よりも大きい場合、前記ＨＰモデルは、前記ＨＷによってモデルピークパフォーマンスに更新され、ＨＷパフォーマンスの前記レベルは、学習済み統計モデルを用いて、前記受信したＨＷ信号から抽出したデータによって求められ、前記データは、学習済み統計モデルに適合し、または取得した前記ＨＷの前記状態を予測するために使用される、請求項２に記載のプロセス制御システム。
13. 前記ＨＰモデルによって前記ヒューマンデータから学習されたさまざまなタイプの異常および異常無しの前記事前に学習された前記ＨＷの前記状態の境界のうちのいくつかは、ＨＷがもう作業を行っていないこと、ＨＷが注意散漫であること、前記事前に学習された前記ＨＷの前記状態の境界に従ってＨＷが疲れているもしくはパフォーマンスが低下していることを示すエネルギレベルをＨＷが体験していること、前記事前に学習された前記ＨＷの前記状態の境界に従ってＨＷが元気であるもしくは高いエネルギレベルで動作していることを示すエネルギレベルをＨＷが体験していること、または、前記事前に学習された前記ＨＷの前記状態の境界に従ってＨＷが疲れていないもしくは元気である（平均的な元気レベル）もしくは平均的なＨＷパフォーマンスに関連付けられたエネルギレベルで動作していることを示すエネルギレベルをＨＷが体験していることを含む、請求項１に記載のプロセス制御システム。
14. 人間－ロボット混在プロセスにおいてタスクのシーケンスの中のタスクの実行時に異常を検出するためのプロセス制御方法であって、
    ヒューマンワーカ（ＨＷ）のデータを収集するためのセンサから取得されたＨＷ信号およびロボットの動作を収集するためのセンサから取得されたロボット動作信号を得るステップと、
    前記ＨＷ信号から、ヒューマンパフォーマンス（ＨＰ）モデルへ入力するヒューマンデータを抽出して、事前に学習された前記ＨＷの状態の境界に基づいて前記ＨＷの状態を取得するステップとを備え、次いで、前記ＨＷの前記状態は、異常の分類または異常無しを決定するために人間－ロボットインタラクション（ＨＲＩ）モデルに入力され、前記方法はさらに、
    前記ＨＲＩモデルを前記ロボット動作信号、前記ＨＷ信号および分類された異常で更新し、次いで、更新されたＨＲＩモデルおよび前記分類された異常を使用して、前記ＨＷと相互作用するロボットの制御アクションまたは異常アラームのタイプを決定するステップと、
    前記更新されたＨＲＩモデルおよび前記分類された異常に基づいて、ロボットアクションを変更するために前記ロボットの前記制御アクションを出力するか、または前記異常アラームの前記タイプを前記人間－ロボット混在プロセスの管理システムに出力するステップとを備え、前記ステップは、メモリに接続されたハードウェアプロセッサによって実行され、
    前記ＨＲＩモデルは、前記ＨＷの前記さまざまな状態と最適なロボットアクションとの間のマッピングを学習済みであるように事前に構成される、プロセス制御方法。
15. 前記異常アラームのタイプは、疑わしい組立ライン機械的故障、疑わしい組立ラインへの材料供給問題、前記ＨＷに起因する生産不足問題、オペレータ関連タスク、もしくは疑わしい電子的故障のうちの１つまたはそれらの組み合わせを含む、請求項１４に記載の方法。
16. 前記ＨＰモデルは、ヒューマンタスク実行（ＨＴＥ）モデルおよび前記ＨＷの前記状態のモデルによって構築され、前記ＨＴＥモデルは、訓練タスクのシーケンスを完了しながら訓練フェーズ中に取得されたＨＷ訓練信号を使用して訓練された少なくとも１つの予測モデルを使用して構築され、前記ＨＷの前記状態の前記モデルは、前記ＨＷ訓練信号を使用して訓練された少なくとも１つの分類モデルを使用して構築され、各々の完了した訓練タスクは、前記ＨＷの複数の状態に関連付けられて、前記メモリに格納され、
    前記予測モデルは、タスクの予測完了時刻またはヒューマンワーカの動きのパターンを推論するためのモデルで、前記分類モデルは、ヒューマンワーカの状態およびヒューマンワーカが現在取り組んでいるタスクを推論するためのモデルである、請求項１４に記載の方法。
17. 前記少なくとも１つの予測モデルは、各々の完了したタスクについて予測完了時刻を学習して、センサから取得されたセンサデータに見られる前記ＨＷの動きのパターンを識別するまたは取り込むように構成され、少なくとも１つの統計モデル学習アプローチは、１つまたは複数の予測モデル、１つまたは複数の分類モデル、またはそれら両方を含み、前記ＨＷが少なくとも１つのタスクを完了するにあたり前記ロボットとインタラクティブに作業している間に、前記ヒューマンデータを考慮して進行中のタスクの完了時刻の推定値を生成することができる、請求項１６に記載の方法。
18. 前記少なくとも１つの分類モデルは、完了したタスクおよび次の順番のタスクを最初に判断することによって前記ＨＷ信号から前記ＨＷの状態を学習するように構成され、次いでタスクの完了中にワーカの視線の位置の分布を学習する視線検出アルゴリズムを使用して前記ＨＷの前記状態を判断する、請求項１６または請求項１７に記載の方法。
19. プロセス制御方法を実行するためのコンピュータによって実行可能なプログラムが組み込まれた非一時的なコンピュータ読取可能記憶媒体であって、前記プロセス制御方法は、人間－ロボット混在プロセスにおいてタスクのシーケンスの中のタスクの実行時に異常を検出するためのものであって、前記プロセス制御方法は、
    ヒューマンワーカ（ＨＷ）のデータを収集するためのセンサから取得されたＨＷ信号およびロボットの動作を収集するためのセンサから取得されたロボット動作信号を得るステップと、
    前記ＨＷ信号から、ヒューマンパフォーマンス（ＨＰ）モデルへ入力するヒューマンデータを抽出して、事前に学習された前記ＨＷの状態の境界に基づいてＨＷパフォーマンスの状態を取得するステップとを備え、次いで、前記ＨＷパフォーマンスの前記状態は、異常の分類または異常無しを決定するために人間－ロボットインタラクション（ＨＲＩ）モデルに入力され、前記方法はさらに、
    前記ＨＲＩモデルを前記ロボット動作信号、前記ＨＷ信号および分類された異常で更新し、次いで、更新されたＨＲＩモデルおよび前記分類された異常を使用して、前記ＨＷと相互作用するロボットの制御アクションまたは異常アラームのタイプを決定するステップと、
    前記更新されたＨＲＩモデルおよび前記分類された異常に基づいて、ロボットアクションを変更するために前記ロボットの前記制御アクションを出力するか、または前記異常アラームの前記タイプを前記人間－ロボット混在プロセスの管理システムに出力するステップとを備え、前記プロセス制御方法の前記ステップは、メモリに接続されたハードウェアプロセッサを使用して実行され、
    前記ＨＲＩモデルは、前記ＨＷの前記さまざまな状態と最適なロボットアクションとの間のマッピングを学習済みであるように事前に構成される、非一時的なコンピュータ読取可能記憶媒体。
20. 前記ＨＰモデルは、ヒューマンタスク実行（ＨＴＥ）モデルおよび前記ＨＷの前記状態のモデルによって構築され、前記ＨＴＥモデルは、訓練タスクのシーケンスを完了しながら訓練フェーズ中に取得されたＨＷ訓練信号を使用して訓練された少なくとも１つの予測モデルを使用して構築され、
    前記ＨＷの前記状態の前記モデルは、前記ＨＷ訓練信号を使用して訓練された少なくとも１つの分類モデルを使用して構築され、各々の完了した訓練タスクは、前記ＨＷの複数の状態に関連付けられて、前記メモリに格納され、
    前記予測モデルは、タスクの予測完了時刻またはヒューマンワーカの動きのパターンを推論するためのモデルで、
    前記分類モデルは、ワーカの状態およびワーカが現在取り組んでいるタスクを推論するためのモデルであり、
    前記少なくとも１つの予測モデルは、各々の完了したタスクについて予測完了時刻を学習して、センサから取得されたセンサデータに見られる前記ＨＷの動きのパターンを識別するまたは取り込むように構成され、少なくとも１つの統計モデル学習アプローチは、１つまたは複数の予測モデル、１つまたは複数の分類モデル、またはそれら両方を含み、前記ＨＷが少なくとも１つのタスクを完了するにあたり前記ロボットとインタラクティブに作業している間に、前記ヒューマンデータを考慮して進行中のタスクの完了時刻の推定値を生成することができ、
    前記少なくとも１つの分類モデルは、完了したタスクおよび次の順番のタスクを最初に判断することによって前記ＨＷ信号から前記ＨＷの状態を学習するように構成され、次いでタスクの完了中にワーカの視線の位置の分布を学習する視線検出アルゴリズムを使用して前記ＨＷの前記状態を判断する、請求項１に記載のプロセス制御システム。

Images