JP5118620B2 - 動態認識装置、動態認識システムおよび動態認識方法 - Google Patents

Description

本発明は、動態認識装置、動態認識システムおよび動態認識方法に関するものである。

被験体の動態をセンサにより計測して自動認識する方法が知られている（例えば、特許文献１参照）。
ここで、「被験体」とは、人間もしくは動物または機械等の状態が変化する物体をいい、「動態」とは、前記した物体が動いている状態、変化している状態をいう。

特許文献１に開示された技術によれば、例えば、図１９に示されるように、被験体としての被験者９の腰もしくは腕等、体の中で特徴的な動きをする部位に動態センサ８１を装着する。そして、動態認識装置８に設けられた認識処理部８２は、動態センサ８１から体に加わる加速度情報を取得し、この加速度情報を用いて辞書データベース（ＤＢ：Data Base）８３を参照し、予め固定された認識方法に基づき被験者９の動作もしくは行動を認識する。

ここで、認識処理部８２は、例えば、周波数解析による認識方法を用い、認識する被験者９の動態項目（例えば、歩行）に対応した周波数特性を登録している辞書ＤＢ８３を参照しながら被験者９の動態を認識する。ここで認識した結果は、認識結果出力部８４を介して外部に出力される。
特開平１０−１１３３４３号公報（段落「００２８」、第１図）

前記した特許文献１に開示された技術を、「歩行」動作のみを動態項目として認識する応用分野に適用すれば、実用上、十分な精度で動態認識を行うことができる。
しかしながら、認識する動態項目を「歩行」動作以外に増加した場合、類似した動態が多く存在し、その動態間に辞書としてデータベース登録する特徴量の差異が少なくなり、その結果、認識精度が低下する場合が生じる。

この場合、認識精度を高めるために認識アルゴリズムを改善することも考えられるが、特徴量が似通った動態項目を認識するために高度な認識手法が必要になり、計算量の増加を生じることとなる。仮に、被験者９の行動の全てを認識対象とすれば、認識の対象となる動態項目が過大となり、辞書が膨大になるとともに、特徴量の差異が小さい場合に前記した認識精度の低下および認識アルゴリズムの複雑化を招く。

このような背景に鑑みて本発明はなされたのであり、本発明は、認識する動態項目が増加した場合でも、類似した動態による認識精度の低下を防ぐことができる、動態認識装置、動態認識システムおよび動態認識方法を提供することを目的とする。

前記した課題を解決するため、本発明の動態認識装置、動態認識システムおよび動態認識方法は、認識処理を行う前に認識すべき動態項目を絞り込み、絞り込まれた動態項目に基づき、動態を認識するための辞書および認識方法を選択し、動態認識を行うことを特徴とする。

本発明によれば、認識する動態項目が増加した場合でも、類似した動態による認識精度の低下を防ぐことができる、動態認識装置、動態認識システムおよび動態認識方法を提供することができる。

次に、本発明を実施するための最良の形態（「実施形態」という）について、適宜図面を参照しながら詳細に説明する。

（実施形態１）
図１は、本実施形態１に係る動態認識装置の構成例を示す機能ブロック図である。
図１に示すように、本実施形態１に係る動態認識装置１（１ａ）は、制御部１０と、記憶部２０と、入力部３０と、出力部４０とを備えて構成される。

制御部１０は、認識すべき動態項目を絞り込み、その絞り込んだ動態項目に基づき、動態を認識するための辞書および認識方法を選択し動態認識を行う。この制御部１０は、推定処理部１１（１１ａ）と、選択処理部１２と、動態検知部１３と、認識処理部１４と、認識結果出力部１５とを備えて構成される。
なお、この制御部１０の機能は、例えば動態認識装置１の記憶部２０に記憶されたプログラムをＣＰＵ（Central Processing Unit）がＲＡＭ（Random Access Memory）に展開し実行することで実現される。

推定処理部１１（１１ａ）は、認識すべき動態項目を予め絞り込んで選択処理部１２へ引き渡す。本実施形態１に係る動態認識装置１（１ａ）においては、後記する入力部３０を介して、認識すべき動態項目の絞り込みが作業管理者により行われるものであり、その絞り込まれた動態項目の情報を取得する。

選択処理部１２は、推定処理部１１（１１ａ）により絞り込まれた動態項目に基づき、記憶部２０に記憶された認識方法・辞書ＤＢ２１から、参照する辞書と認識処理部１４により実行される認識方法とを選択して認識処理部１４へ引き渡す。なお、ここで「動態項目」とは、例えば、作業内容が「搬入」の場合、「歩行」や「物の出し入れ」等、作業内容を特徴付ける被験者の行動の要素をいう（後記する図１０参照）。また、ここで認識される認識方法は、一つに限られず、複数の認識方法を組み合わせて選択することも可能である。

動態検知部１３は、動態の認識対象となる被験者（ここでは作業者）の腕や腰等、任意の部位に装着された動態センサ(不図示)と、有線、もしくは無線により接続され、その動態センサが検知した情報を取得する。動態センサは、加速度センサに限らず、例えば、角速度センサ、位置センサ、変位センサ等体の動きによる物理的変化量を測定できるセンサであればいずれを使用してもよい。また、この動態センサにメモリを内蔵させることにより、動態検知部１３は、メモリに記憶した情報を入力部３０から取得するようにすることも可能である。
なお、ここでは、内部に実装された錘にかかる力を、Ｘ、Ｙ，Ｚ方向の歪みセンサなどを用いて検知し、歪み値より加速度量を求める３軸加速度センサを公知技術として用いるものとして説明する。

認識処理部１４は、選択処理部１２で選択された動態項目に対応した辞書および認識手法に従い、動態検知部１３で検知された被験者の動態に関する加速度情報から動態認識処理を実行し、認識された情報を認識結果出力部１５へ出力する。

認識結果出力部１５は、認識処理部１４による動態認識処理の結果として出力される認識動態項目に関する情報を出力部４０に受け渡す制御を行う。

次に、記憶部２０は、ハードディスクやフラッシュメモリ等の記憶手段からなり、認識方法・辞書ＤＢ２１が記憶される。
認識方法・辞書ＤＢ２１には、動態センサから取得した情報についての認識方法と、その認識方法に対応して参照される各動態項目についての当該認識方法における特徴を示す情報とが辞書として登録される。本実施形態１においては、例えば、周波数解析、パターンマッチング、加速度分散、傾斜角算出等の加速度データの認識方法と、その認識方法に対応して参照される各動態項目についての当該認識方法における特徴を示す情報とが記憶される（後記する図３、図５参照）。

入力部３０は、キーボードやタッチパネル、メモリカード読み取り装置等からなり、外部からの情報が入力される。
また、出力部４０は、動態認識の処理結果を表示する液晶モニタ等の画像装置や、処理結果を外部記憶メディアに情報として出力するためのドライブ装置等からなる。

次に、図１を参照しつつ、図２から図７に沿って、本実施形態１に係る動態認識装置１の処理を説明する。

図２は、本実施形態１に係る動態認識装置の認識処理部による認識処理の流れを示すフローチャートである。
ここでは、動態検知部１３が取得する情報として、３軸加速度センサを被験者の右腕に装着し、右手の加速度変化から被験者の動態を、認識方法の一つである周波数解析（ＦＦＴ：Fast Fourier Transform）により認識することを想定する。

図２に示すように、認識処理部１４は、まず、動態検知部１３により収集される加速度データを、予め決められた窓幅区間（例えば、現在を起点に、過去に所定時間遡った周波数変換の処理単位）で時系列に取得する（ステップＳ２０１）。
次に、認識処理部１４は、ＦＦＴを用い、取得した加速度データを時系列から周波数分布データに変換する（ステップＳ２０２）。続いて、認識処理部１４は、変換した周波数分布データの中におけるピーク周波数を抽出する（ステップＳ２０３）。これが、ステップＳ２０１で取得した加速度データの時系列の特徴量になる。

そして、認識処理部１４は、抽出されたピーク周波数の出現確率が最も高い動態項目を認識方法・辞書ＤＢ２１を用いて検索する（ステップＳ２０４）。そして、認識処理部１４は、検索した動態項目を認識結果として認識結果出力部１５に出力する（ステップＳ２０５）。

図３は、本実施形態１に係る認識方法・辞書ＤＢに登録される辞書のデータ構造の一例を示す図である。図３（ａ）（ｂ）において、横軸が周波数であり、縦軸が出現確率である。ここでは、動態項目ごとに出現確率の周波数特徴が異なり、符号３０が動態項目「歩行」を行う場合の出現確率、符号３１が動態項目「ねじの締め付け」を行う場合の出現確率、符号３２が動態項目「グラインダ研磨」を行う場合の出現確率をそれぞれ示している。

図３（ａ）において、図２のステップＳ２０３のピーク周波数抽出処理で抽出されたピーク周波数が、符号３３で示す位置であれば、動態項目「歩行」の確率は符号３４で示す値、「ねじの締め付け」の確率は符号３５で示す値となる。ここで動態項目として確率が高いのは「歩行」であるが、符号３４および３５で示す周波数は接近しており、ピーク周波数が少しでも高くなれば、動態項目として、「ねじの締め付け」の確率が高くなる。

これが従来の動態認識装置の問題点であり、特徴量が類似した動態がある場合、認識結果が不安定になり、認識精度が低下する原因となる。このため、本実施形態１に係る動態認識装置１では、認識の対象となる動態項目を絞り込み、類似した特徴量を有する動態項目を動態認識処理前に取り除くこととした。

例えば、被験者である作業者がこれから行う作業が分かっており、「ねじの締め付け」作業がない場合、「ねじの締め付け」は、動態の認識項目から省いてもよいことになる。
図３（ｂ）に、「ねじの締め付け」を認識被験体となる動態項目（被験者の動態項目）から取り除いた場合に使用される辞書の参照例が示されている。

本実施形態１に係る動態認識装置１によれば、符号４０で示されるように、「歩行」と「ねじの締め付け」の曖昧な部分がなくなるため、動態項目が高い確率で「歩行」であると認識することができるようになる。なお、前記した認識の対象となる動態項目の絞り込みは、選択処理部１２が推定処理部１１により入力される絞込み情報により行う。詳細は後記する。

図４は、本実施形態１に係る動態認識装置の認識処理部による他の認識処理の流れを示すフローチャートである。図２では、認識処理部１４がＦＦＴにより動態認識を行うものとして説明したが、この図４においては、認識処理部１４がパターンマッチングにより動態認識を行うものとして説明する。

認識処理部１４は、まず、動態検知部１３から取得される加速度データを予め決められた窓幅区間で取得する（ステップＳ４０１）。ここで取得した時系列加速度データをＩ（ｎ）とする。ｎは窓幅区間で取得した加速度データ数であり、加速度センサが１軸の場合は要素数ｎのベクトルとして表される。

次に、認識処理部１４は、加速度の時系列パターンと、認識方法・辞書ＤＢ１２に登録されているパターン（「辞書パターン」とする）との類似度（ベクトルの距離）を算出する（ステップＳ４０２）。簡単のために、辞書パターンと、取得した加速度データとが同じ要素数Ｐｉ（ｎ）を持つとすれば、ベクトルの距離Ｄｉは以下の式（１）で示される。

Ｄｉ＝｜Ｉ（ｎ）−Ｐｉ（ｎ）｜ … 式（１）
（但し、ｉは辞書のシリアル番号）

続いて、認識処理部１４は、最も距離の短い辞書パターン（動態項目）を以下の式（２）の計算を実行することにより探索する（ステップＳ４０３）。

Ｗ（Ｉ（ｎ））＝ｍｉｎＤｉ＝ｍｉｎ｜Ｉ（ｎ）−Ｐｉ（ｎ）｜ … 式（２）

ここで、Ｗ（Ｉ（ｎ））が最短の辞書パターンとの距離であり、最短になった辞書パターンの動態項目が認識結果として出力される（ステップＳ４０４）。

図５は、本実施形態１に係る認識処理部によるパターンマッチングの処理結果を示す図である。図５（ａ）（ｂ）に示すように、辞書パターンと取得した加速度データとのベクトルの距離の関係が示されている。いずれも横軸がベクトルの距離であり、縦軸が前記した式（２）を実行することにより探索される動態項目である。

図５（ａ）に示す例では、ベクトルの距離が一番少ない、符号５２で示される「ジャッキ操作」が式（２）を実行することにより探索される動態項目となる。一方、符号５１で示される「スパナによるねじ締め」も距離差が少ない。従って、符号５１と符号５２で示される動態項目の判定が不安定になる可能性がある。このような場合でも、被験者である作業者がこれから行う作業が分かっていれば、「スパナによるねじ締め」を認識すべき動態項目から取り除くことにより、認識処理部１４は、図５（ｂ）に示すように、動態項目を安定的に「ジャッキ操作」と認識することが可能になる。

なお、前記した説明では、説明の簡素化のために、辞書パターンと取得した加速度データの要素数が同じであることを前提として式（１）（２）を例示したが、要素数が異なるＤＰ（Dynamic Programming）マッチング（動的計画法）やＤＰマッチングを高度化した隠れマルコフモデルを使用しても同様に動態認識が可能である。

図６は、本実施形態１に係る動態認識装置の全体動作を示すフローチャートである。
以下、図６のフローチャートを参照しながら、図１に示す本実施形態１に係る動態認識装置１（１ａ）の動作について詳細に説明する。

まず、例えば、作業管理者により、入力部３０を介して推定処理部１１（１１ａ）に絞込み情報である動態項目が入力される（ステップＳ６０１）。そして、推定処理部１１（１１ａ）は、この絞込み情報を選択処理部１２へ引き渡す。
ここで、作業管理者は、被験者である作業者がおかれている状況を判断し、例えば、キーボードで構成される入力部３０を操作することにより認識する動態項目を手入力する。また、後記する工程管理システムやスケジュール管理システムと協働して現在日時からスケジュール情報を入力することもできる。具体的には、図３（ｂ）に示す辞書のデータ構造を例示すれば、被験者である作業者が「歩行」と「グラインダ研磨」の２種類の動態項目しか行わないのであれば、動態項目を、「歩行」、「グラインダ研磨」と入力する。または、「ねじの締め付け」作業を行わないのであれば、登録してある動態項目の中から「ねじの締め付け」は行わないとして認識する項目から除外することを絞込み情報として入力する。

次に、選択処理部１２は、推定処理部１１（１１ａ）により入力された絞込み情報に基づき辞書の選択を行う（ステップＳ６０２）。例えば、図３（ｂ）に示されるように、「ねじの締め付け」作業を行わないと入力された場合、「ねじの締め付け」に必要な辞書を参照せず、「歩行」、「グラインダ研磨」に必要な辞書群を用いて認識処理を行うように辞書選択の設定を行う。

さらに、この絞込み情報の設定により、例えば、図５（ａ）に示した、「ドライバによるねじ回し」、「スパナによるねじ締め」、「ジャッキ操作」、「執筆作業」の各動態項目のパターンマッチングによる認識処理が不要な場合は、その認識処理を行わず、前記したＦＦＴによる認識処理のみを行うことも可能である。この場合、パターンマッチングによる認識処理を行ったために発生する誤認識をなくすることができるとともに計算処理にかかる負荷低減がはかれる。

そして選択処理部１２による辞書選択が終了すると、認識処理部１４は、認識方法・辞書ＤＢ２１から該当する辞書を取得するとともに、動態検知部１３から加速度データの収集を開始する（ステップＳ６０３）。そして、認識処理部１４は、収集したデータ数が計算を行う窓幅に達したら、選択した認識方法と辞書を用いて動態認識を実行する（ステップＳ６０４）。

なお、ここでは、辞書選択のみ例示したが、認識方法についても同様に、推定処理部１１（１１ａ）により入力される絞込み情報により必要な認識方法（複数の認識方法による処理手順）を選択するものとする。このようにすることで、図３（ａ）（ｂ）に示したＦＦＴによる方法、図５（ａ）（ｂ）に示したパターンマッチングによる方法、さらには、加速度分散や主成分解析等を用いた認識方法、あるいはその組み合わせを用いて、動態認識を実行することができる。

続いて認識処理部１４は動態認識結果を認識結果出力部１５に引き渡す。そして、認識結果出力部１５の制御により、出力部４０の液晶モニタ等に認識結果を出力する（ステップＳ６０５）。

認識処理部１４は、認識結果を出力した後、作業者の認識すべき動態項目を変更する必要があるか否かを判断する（ステップＳ６０６）。次に取得する加速度データにおいて、時間経過に伴い動態内容が変化し選択された以外の動態項目が出現する可能性があるからである。動態項目を変更する必要があれば（ステップＳ６０６→Ｙｅｓ）、再度、ステップＳ６０１に戻り、絞込み情報の入力処理を続ける。一方、変更する必要がなければ（ステップＳ６０６→Ｎｏ）、認識処理部１４は、ステップＳ６０３の加速度データの収集処理に戻り、加速度データの再取得を繰り返す。

次に、図６のステップＳ６０５において、動態認識装置１（１ａ）の認識結果出力部１５が出力部４０に表示する認識結果について説明する。
図７は、本実施形態１に係る認識結果出力部により出力される認識結果の一例を示す図である。図７（ａ）は、図３（ａ）に対応して動態項目を絞り込む入力を行わなかった例である。図７（ｂ）は、図３（ｂ）に対応して動態項目を絞り込む入力を行った例である。いずれの図も、横軸が経過時間、縦軸が動態項目を示し、各動態項目において黒塗りされた部位が認識された部分である。

図７（ａ）において、符号７５で示す部分は、図３（ａ）で示したように「歩行」と「ねじの締め付け」の辞書（周波数）が接近しているために、加速度データの僅かな測定結果の変動により認識結果が異なり、動態認識が不連続で不安定となる。このため認識精度の低下が生じている。
これに対し、図７（ｂ）では、絞込み情報の入力により、「ねじの締め付け」が認識する動態項目から除外されているため、符号７６で示される部分は、安定して認識結果が出力されるようになる。

このようにすることで、本実施形態１に係る動態認識装置１（１ａ）によれば、絞り込みにより認識する動態項目を低減することにより、認識精度が向上する。さらに、不要な認識処理を行わずに済むため、計算負荷を低減することができる。

（実施形態２）
図８は、本実施形態２に係る動態認識システムの構成を示す機能ブロック図である。
図８に示すように、本実施形態２に係る動態認識システム１００は、動態認識装置１（１ｂ）と工程管理装置６０とを備えて構成される。

本実施形態２に係る動態認識装置１（１ｂ）において、図１に示した実施形態１に係る動態認識装置１（１ａ）との差異は、推定処理部１１（１１ｂ）において、認識すべき動態項目の絞込み情報の入力を手動によらず、工程管理装置６０から取得する作業指示情報に基づいて動態項目の絞り込みを行うことにある。

工程管理装置６０は、製品の製造工程を時系列に記憶する作業指示情報ＤＢ（スケジュール情報ＤＢ）６２と、この作業指示情報ＤＢ６２に記憶される作業指示情報について登録・更新等の管理を行う工程管理部６１と、動態認識装置１（１ｂ）とのデータ通信を行う通信部６３とを備える。この作業指示情報は、日、あるいは時間ごとに出力される作業工程の種類（作業内容）を示す情報である（後記する図９参照）。

動態認識装置１（１ｂ）は、図１の実施形態１に係る動態認識装置１（１ａ）の構成に加え、記憶部２０内に対応ＤＢ（スケジュール対応ＤＢ）２２（２２ｂ）を備える。
この対応ＤＢ２２（２２ｂ）には、工程管理装置６０から取得する作業指示情報に含まれる作業内容と動態項目との対応関係が記憶される（後記する図１０参照）。

工程管理装置６０が、作業指示情報ＤＢ６２において管理する作業指示情報の一例を図９に示す。
図９は、本実施形態２に係る作業指示情報ＤＢに記憶される作業指示情報のデータ構造の一例を示す図である。

工程管理装置６０の工程管理部６１は、図９に示すように、符号９０で示される作業者Ａ、符号９１で示される作業者Ｂの作業計画を時系列で管理している。
例えば作業者Ａの場合、１日は、符号９２で示す仮組み作業、２〜３日は、符号９３で示す溶接作業、４〜５日は、符号９４で示す塗装作業のように、作業指示情報ＤＢ６２に作業予定が時系列で登録されている。なお、ここでは、作業者の作業予定になっているが、製作物ごとに製作種類を管理する場合もある。

作業指示情報は、日単位あるいは時間単位で出力される。例えば、作業者Ａの４日の作業指示は「塗装」作業になる。推定処理部１１（１１ｂ）は、工程管理装置６０の通信部６３を介して取得する作業指示情報に基づき対応ＤＢ２２（２２ｂ）を参照し、作業者Ａがこれから行う可能性がある動態項目を推定して選択処理部１２に引き渡す。

図１０は、本実施形態２に係る対応ＤＢのデータ構造の一例を示す図である。
図１０に示すように、対応ＤＢ２２（２２ｂ）には、作業指示情報に示される作業内容と、その作業内容を行うための動態項目（作業要素）の対応情報が記憶されている。例えば、作業指示情報が搬入作業を示していれば、「歩行」と「物の上げ下ろし」の２項目の動態項目を示す。また、仮組みを示していれば、「歩行」、「物の上げ下ろし」、「位置合わせ」、「ねじの締め付け」、「クレーン操作」を行うことを示している。推定処理部１１（１１ｂ）は、作業指示情報が示す作業内容に基づき、対応ＤＢ２２（２２ｂ）を参照することにより、動態項目の推定を行い、選択処理部１２に引き渡す。

例えば、図９の作業者Ａ９０の４日の作業の場合、塗装作業であるため、動態項目としては、「歩行」、「塗料調合」、「スプレー操作」となり動態項目の絞り込みが行われる。続いて、実施形態１と同様、図６のフローチャートで示すステップＳ６０２以降の処理が実行され、選択処理部１２による辞書選択処理、認識処理部１４により絞り込まれた動態項目に対する認識処理が行われる。

図１１は、本実施形態２に係る認識処理部により認識された動態項目の認識結果出力部による出力例を示す図である。
図１１には、符号１１０で示される作業者Ａと、符号１１１で示される作業者Ｂの４日の午前中の作業を認識した例を示している。

図１１によれば、作業者Ａ１１０の４日の作業は塗装作業になっており、符号１１５で示される塗装作業に関連した動態項目である「歩行」、「塗装調合」、「スプレー操作」だけが認識結果出力部１５から出力されていることがわかる。同様に、作業者Ｂ１１１も、作業者Ｂが行う予定の溶接作業に関連した符号１１６で示す動態項目である「歩行」、「グラインダ研磨」、「溶接」、「パフ作業」だけが出力されていることがわかる。

なお、図１１に示す認識例では、符号１１２で示す作業開始以前の認識結果、および符号１１３と１１４の間で示される昼休み中の時間が出力されていない。これは、作業時間以外では想定している動態以外の動態項目を作業者が行うことになるため、認識時間に制限を設け、認識処理を行ったためである。
作業時間以外の動態を認識したい場合、動態認識装置１（１ｂ）は、作業開始前、もしくは昼休み中に行う可能性のある動態項目を対応ＤＢ２２（２２ｂ）に登録し、作業内容が切り替わる所定の時間ごとに、推定処理部１１（１１ｂ）および選択処理部１２の処理により、認識すべき動態項目を切り替えればよい。

このようにすることで、本実施形態２に係る動態認識システム１００によれば、動態認識装置１（１ｂ）は、工程管理装置６０から時系列に作業内容を予定する作業指示情報を取得して、対応ＤＢ２２（２２ｂ）に基づき認識すべき動態項目を予め絞り込んだ上で認識処理を行うことができ、認識精度を向上させることができる。さらに、時系列に予定される作業内容を工程管理装置６０から取得することで、動態認識装置１（１ｂ）は、所定時刻において最適な辞書を選択処理部１２において切り替えて選択し、認識処理を行うことができる。
また、本実施形態２に係る動態認識システム１００によれば、認識開始前の手入力による動態項目の絞り込み操作が不要となり、認識処理を行うための作業量を低減することができる。
なお、本実施形態２においては、動態認識装置１（１ｂ）と工程管理装置６０とを分け、動態認識システム１００とする構成として説明したが、工程管理装置６０が備える工程管理部６１と作業指示情報ＤＢ６２とを、動態認識装置１（１ｂ）の構成に組み込んだ上で、一つの動態認識装置としてもよい。この場合においても、本実施形態２と同様の作用効果が得られるものである。

また、本実施形態２に係る動態認識システム１００では、スケジュール情報として、工程管理装置６０により出力される作業指示情報を例示したが、時系列に人や物の行動予定や動き等を管理するスケジュール管理システム等を利用する場合にも同様の構成で実現することができる。

例えば、オフィスの作業であるか、出張、外出時での作業であるかを示すスケジューラを用いても動態項目の絞り込みが可能になる。また、自宅に在宅中か外出中か、また、外出先での行動（スポーツジムや山登り）をスケジューラから取得し動態項目の絞り込みが可能になる。また、時刻表等のように自分とは無関係に決められたスケジュール情報を利用することにより、電車内での行動であるか、電車から降りた駅構内での行動であるかを判定して動態項目の絞り込みを行うこともできる。

また、スケジュール管理システム以外に、生活パターンのように、習慣化しているパターン情報を用いて動態項目を絞り込むことも可能である。
例えば、起床・就寝時間、食事にかかる時間のパターン情報を利用し、睡眠中に起こる動態（寝返り、呼吸の様子）、食事中の動態等により絞り込んで認識精度を向上させることが可能である。睡眠中の時間であれば、呼吸や寝返りの動態認識を行う認識アルゴリズムを用いて寝返りや呼吸（例えば、無呼吸症候群のパターン認識等）を行い、食事中であれば、食事中の箸の動かし方を認識するアルゴリズムの切り替えにより、正確な食事時間を認識することが可能になる。

（実施形態３）
図１２は、本実施形態３に係る動態認識システムの構成を示す機能ブロック図である。図１２に示すように、本実施形態３に係る動態認識システム２００は、動態認識装置１（１ｃ）と位置検知装置７０とを備えて構成される。

本実施形態３に係る動態認識装置１（１ｃ）において、図１に示した実施形態１に係る動態認識装置１（１ａ）との差異は、推定処理部１１（１１ｃ）において、認識すべき動態項目の絞込み情報の入力を手動によらず、位置検知装置７０から取得する被験者の位置情報に基づいて動態項目の絞り込みを行うことにある。

位置検知装置７０は、例えば、ＧＰＳ（Global Positioning System）に代表される地球上の絶対位置を検知できる装置や、発信機の電波を複数の受信機で受信し、電波の到達時間や電界強度等を利用して位置を検知する位置測位システム、もしくは発信機により発信される電波を受信して発信機からの距離を推定する測距システム等で構成される。
また、位置検知装置７０は、作業者に装着された発信機等の電波を受信して位置情報を検知する位置検知部７１と、位置検知部７１が検知した位置情報を動態認識装置１（１ｃ）に送信する通信部７２とを含んで構成される。

動態認識装置１（１ｃ）は、図１の本実施形態１に係る動態認識装置１（１ａ）の構成に加え、記憶部２０内に対応ＤＢ（位置対応ＤＢ）２２（２２ｃ）を備える。
この対応ＤＢ２２（２２ｃ）には、位置検知装置７０から取得する位置情報とその位置に対応する装置における作業内容が記憶される（後記する図１４参照）。

図１３は、本実施形態３に係る位置検知装置を用いて位置情報を取得する一例を示す図である。図１３では、発信機からの電波を利用してその位置情報を取得する。

図１３において、符号１２１〜１２４は、ビーコンからの電波を受信するための受信装置であり、符号１２５、１２６は、符号１４１で示す作業者、符号１４２で示す作業者のそれぞれに装着されたビーコンである。また、符号１４３は製作中の装置Ａ、符号１４４は製作中の装置Ｂである。ここでは、建屋の中を６個の区画に分割して示してあり、それぞれの区画を符号１３１〜１３６で示している。

図１４は、本実施形態３に係る対応ＤＢのデータ構造の一例を示す図である。
対応ＤＢ２２（２２ｃ）には、図１４（ａ）に示すように、建屋内に設置された装置の種類と装置が置かれた区画（位置情報）との対応関係を示す情報が記憶される。また、図１４（ｂ）に示すように、設置された装置の種類と、装置を製作するための作業内容との対応関係がデータとして記憶されている。ここでは、例えば、装置Ａを製作するために、「搬入」、「仮組み」、「ボルト組み立て」、「結線作業」、「塗装」の作業を行うことを示している。
また、対応ＤＢ２２（２２ｃ）には、図１４に示すデータに加えて、実施形態２で説明した図１０に示される作業内容と動態項目との対応関係も記憶されている。

位置検知装置７０は、作業者１４１，１４２に装着されたそれぞれのビーコン１２５，１２６から発せられる電波を受信装置１２１〜１２４で受信することにより距離を測定し、作業者１４１，１４２がどの区画にいるかを検知することができる。
推定処理部１１（１１ｃ）は、位置検知装置７０から取得する作業者の位置情報に基づき対応ＤＢ２２（２２ｃ）を参照することにより認識被験体とする動態項目を絞り込む。

すなわち、位置検知装置７０により作業者１４１が区画１３３にいることが測位された場合、推定処理部１１（１１ｃ）は、図１４（ａ）に示される対応ＤＢ２２（２２ｃ）を参照することにより、区画１３３には、装置Ａが設置されていることがわかる。従って、この場合、作業者１４１は、装置Ａの近くで作業を行っていることになる。

続いて、推定処理部１１（１１ｃ）は、図１４（ｂ）に示される対応ＤＢ２２（２２ｃ）を参照することにより、装置Ａから作業内容を推定することが可能になり、ここで推定された作業内容から、更に図１０に示される動態項目を参照することで認識被験体とする動態項目を推定し、選択処理部１２に引き渡すことができる。続いて、実施形態１と同様に、図６のフローチャートで示すステップＳ６０２以降の処理が実行され、選択処理部１２による辞書選択処理、認識処理部１４により絞り込まれた動態項目に対する認識処理が行われる。

また、位置検知装置７０として、図１５に示す位置センサを利用することも可能である。
図１５は、本実施形態３に係る位置検知装置を用いて位置情報を取得する他の例を示す図である。図１５において、符号１５１，１５２は、位置（距離）センサであり、例えば、符号１５１が発信機、符号１５２が受信機とすれば、発信機１５１により発信された電波を受信機１５２により受信し、測定した電界強度に基づき、発信機１５１からの距離（符号１５４）を推定することができる。
ここに示す例ではフライス盤１５０に発信機１５１を取り付けた例を示しており、受信機１５２で受信した電波の電界強度が強ければ、符号１５３で示す作業者はフライス盤１５０の近くにいることになる。そして、動態認識装置１（１ｃ）は、フライス盤１５０を使って行う作業に対応した動態項目を絞り込んで認識を行うことができる。

このようにすることで、本実施形態３に係る動態認識システム２００によれば、動態認識装置１（１ｃ）は、位置検知装置７０からの被験者の位置情報を取得して、対応ＤＢ２２（２２ｃ）に基づき認識すべき動態項目を予め絞り込んだ上で認識処理を行うことができ、認識制度を向上させることができる。
また、位置検知装置７０の出力結果を利用して動態項目を推定することができるため、認識開始前の手入力による動態項目の絞り込み操作が不要となり、認識処理を行うための作業量を低減することができる。
なお、本実施形態３においては、動態認識装置１（１ｃ）と位置検知装置７０とを分け、動態認識システム２００とする構成として説明したが、位置検知装置７０が備える位置検知部７１を、動態認識装置１（１ｃ）の構成に組み込んだ上で、一つの動態認識装置としてもよい。この場合においても、本実施形態３と同様の作用効果が得られるものである。

また、本実施形態３に係る動態認識システム２００によれば、製造現場にある装置の位置に基づき動態項目の絞り込みを行っているが、場所や装置特有の動態項目の絞り込みを行ってもよい。例えば、車両に位置センサを取り付け、作業者が搭乗していることが認識できれば、車両を操作する動態項目に絞り込むことができ、ＧＰＳ等により位置を検知することで遊園地にいることがわかれば、遊園地の乗り物ごとの人の動態に絞り込み、どのような乗り物に搭乗したかを認識することも可能になる。

なお、前記した実施形態２では、工程管理（スケジューラ）を用いた認識被験体動態の絞り込みを、本実施形態３では、位置情報を用いた認識被験体動態の絞り込みの例を説明したが、スケジューラおよび位置情報の両方を用いて認識被験体となる動態項目を絞り込んでもよい。この場合、認識すべき動態項目の更なる絞り込みが可能になり、認識処理部１４による認識精度がさらに向上し、計算負荷の低減もはかることができる。

（実施形態４）
図１６は、本実施形態４に係る動態認識システムの構成を示す機能ブロック図である。
図１６に示すように、本実施形態４に係る動態認識システム３００は、動態認識装置１（１ｄ）と工程管理装置６０とを備えて構成される。

本実施形態４に係る動態認識装置１（１ｄ）において、図８に示した実施形態２に係る動態認識装置１（１ｂ）との差異は、工程管理装置６０により出力される作業指示情報が、１個の作業単位ではなく、複数の作業単位（例えば、１日に行う複数の作業内容）として指示されることである。作業指示情報により、複数の作業内容が指示された場合、各作業の区切り時刻は明確ではない。従って、動態項目の絞り込みを行うために、各作業の区切り時刻を検出した上で認識処理を行う。

動態認識装置１（１ｄ）は、動態項目の絞り込みを行うために、まず、作業の区切り時刻の検出を行い、検出後に各作業による絞り込み処理を行う構成とした。このため、実施形態２に係る動態認識装置１（１ｂ）が有する構成に、記憶部２０内に特徴ＤＢ２３と、制御部１０内に区切り認識処理部１６とを加えた構成とする。

特徴ＤＢ２３には、各作業の特徴的な動態項目が登録されている。具体的には、作業内容が研磨作業であれば、研磨作業を代表する特徴的な動態であるグラインダ研磨が登録される。
区切り認識処理部１６は、特徴ＤＢ２３に登録された特徴的な動態項目と、作業内容を時系列に予定するスケジュール情報とを用いて、連続する作業単位の区切りを検出する機能を有する。詳細は後記する。

図１７は、本実施形態４に係る動態認識システムの動作を示すフローチャートである。また、図１８は、本実施形態４に係る作業内容が示された動作概念図である。図１８は、縦軸が動態項目、横軸が経過時間で工程管理される作業内容を示している。
以下、図１６、図１８を参照しながら、図１７に示す本実施形態４に係る動態認識システム３００の動作について詳細に説明する。

図１７のフローチャートにおいて、推定処理部１１（１１ｄ）は、工程管理装置６０から、複数作業の作業指示情報に含まれる作業項目を取得する（ステップＳ１７１）。
ここで取得される作業項目は、例えば、今日、これから１日で行う、図１８に符号１８０で示される開梱作業、符号１８１で示される研磨作業、符号１８２で示される溶接作業、符号１８３で示される製品移動等である。ここでは、各作業の作業順は決まっているが、符号１９６，１９７，１９８，１９９で示される各作業の区切り時刻は決まっていないものとする。

次に、選択処理部１２は、各作業の特徴的な動態を特徴ＤＢ２３から検索する（ステップＳ１７２）。特徴ＤＢ２３には、例えば、研磨作業であれば、図１８に符号１８７で示す「グラインダ研磨」、溶接作業であれば、符号１８９で示す「ＴＩＧ溶接」のように、作業を代表する特徴的な動態項目が登録されている。

選択処理部１２により検索され、特徴ＤＢ２３から読み取られた特徴的な動態は、認識処理部１４に引き渡される。そして、認識処理部１４は、検索結果から得られる特徴的な動態に基づく動態認識処理を実行する（ステップＳ１７３）。認識処理部１４による認識結果は認識結果出力部１５に引き渡され、ここで、図１８の符号１９２，１９３，１９４で示す特徴的な動態の認識結果が出力される。

一方、区切り認識処理部１６では、認識処理部１４で認識した特徴的な動態の最初の時刻と最後の時刻の検出を行う。つまり、区切り認識処理部１６は、認識処理部１４で認識した各作業の特徴的な動態の最初の時刻と最後の時刻の間をその作業を行った時間的な範囲とし、各作業の区切り時刻を認識する（ステップＳ１７４）。よって、最初の時刻と最後の時刻の間が各作業の実施作業時間となる。
具体的に、区切り認識処理部１６は、図１８に符号１９５で示される矢印のように、最初の時刻と最後の時刻が収まるように、符号１９６で示す時刻を移動して区切り時刻とする。以後、区切り認識処理部１６は、同様に、符号１９７，１９８，１９９で示されるその他の作業の区切り時刻を調整して認識処理部１４に引き渡す。以降の動作は、実施形態２と同様に、各作業時間内で認識処理部１４が動態認識処理を実行する（ステップＳ１７５）。例えば、図１８において符号１９６から符号１９７で示す研磨作業の区間であれば、研磨作業に関連する動態項目に絞って認識処理を行う。

このようにすることで、本実施形態４に係る動態認識システム３００によれば、特徴ＤＢ２３に登録された各作業内容の特徴的な動態項目について、認識処理部１４が動態認識を行うことにより、区切り認識処理部１６は、連続する作業単位の区切り時刻を検出することができる。よって、区切り認識処理部１６は、図１８の符号１９６，１９７，１９８，１９９で示される各作業の区切り時刻を設定し、実施実績時間を求めることができる。さらに、符号１８４〜１９１で示される作業ごとに動態項目を絞り込んだ上で認識することができ、認識精度を向上させることができる。

また、本実施形態４に係る動態認識システム３００によれば、工程管理装置６０で予め予想した作業時間の予測値と実際の作業でかかった作業時間である実績値とを比較することができ、これを工程管理装置６０にフィードバックすることで工程管理装置６０による工程管理の精度を向上させることができる。

なお、前記した本実施形態４に係る動態認識システム３００によれば、特徴的な動態に基づき各作業の区切り時刻を検出したが、クラスタリング等の手法により各作業の区切り時刻を検出してもよい。
また、本実施形態４においては、動態認識装置１（１ｄ）と工程管理装置６０とを分け、動態認識システム３００とする構成として説明したが、工程管理装置６０が備える工程管理部６１と作業指示情報ＤＢ６２とを、動態認識装置１（１ｄ）の構成に組み込んだ上で、一つの動態認識装置としてもよい。この場合においても、本実施形態４と同様の作用効果が得られるものである。

本実施形態１に係る動態認識装置の構成例を示す機能ブロック図である。 本実施形態１に係る動態認識装置の認識処理部による認識処理の流れを示すフローチャートである。 本実施形態１に係る認識方法・辞書ＤＢのデータ構造の一例を示す図である。 本実施形態１に係る動態認識装置の認識処理部による他の認識処理の流れを示すフローチャートである。 本実施形態１に係る認識処理部によるパターンマッチングの処理結果を示す図である。 本実施形態１に係る動態認識装置の全体動作を示すフローチャートである。 本実施形態１に係る認識結果出力部により出力される認識結果の一例を示す図である。 本実施形態２に係る動態認識システムの構成を示す機能ブロック図である。 本実施形態２に係る作業指示情報ＤＢに記憶される作業指示情報のデータ構造の一例を示す図である。 本実施形態２に係る対応ＤＢのデータ構造の一例を示す図である。 本実施形態２に係る認識処理部により認識された動態項目の認識結果出力部による出力例を示す図である。 本実施形態３に係る動態認識システムの構成を示す機能ブロック図である。 本実施形態３に係る位置検知装置を用いて位置情報を取得する一例を示す図である。 本実施形態３に係る対応ＤＢのデータ構造の一例を示す図である。 本実施形態３に係る位置検知装置を用いて位置情報を取得する他の例を示す図である。 本実施形態４に係る動態認識システムの構成を示す機能ブロック図である。 本実施形態４に係る動態認識システムの動作を示すフローチャートである。 本実施形態４に係る作業内容が示された動作概念図である。 従来の動態認識装置の構成を示すブロック図である。

符号の説明

１ 動態認識装置
１０ 制御部
１１ 推定処理部
１２ 選択処理部
１３ 動態検知部
１４ 認識処理部
１５ 認識結果出力部
１６ 区切り認識処理部
２０ 記憶部
２１ 認識方法・辞書ＤＢ
２２ 対応ＤＢ
２３ 特徴ＤＢ
３０ 入力部
４０ 出力部
５０，６３，７２ 通信部
６０ 工程管理装置
６１ 工程管理部
６２ 作業指示情報ＤＢ
７０ 位置検知装置
７１ 位置検知部
１００，２００，３００ 動態認識システム

Claims (3)

1. 被験体に取り付けた動態センサからの情報を取得し、前記被験体が行う作業内容の個々の状態を示す動態項目を認識する動態認識装置において、
   前記動態センサからの情報を用いて、前記被験体の動きを検知する動態検知部と、
   （１）前記動態検知部により検知された情報を認識するための認識方法、およびその認識方法に対応して参照される各動態項目についての当該認識方法における特徴を示す情報が辞書として複数登録される認識方法・辞書ＤＢ（Data Base）、（２）時系列に予定する前記作業内容に関する情報が登録されるスケジュール情報ＤＢ、（３）前記作業内容とその動態項目との対応関係が登録されるスケジュール対応ＤＢ、並びに、（４）前記作業内容を特定する特徴的な動態項目が登録される特徴ＤＢが記憶される記憶部と、
   前記被験体が行う前記動態項目を絞り込む推定処理部と、
   前記推定処置部により絞り込まれた前記動態項目に基づき、前記辞書を前記認識方法・辞書ＤＢの中から選択する選択処理部と、
   前記選択処理部で選択された前記辞書を用いて、前記動態検知部で検知された情報を前記推定処理部で絞り込んだ前記動態項目について認識処理を実行する認識処理部と、
   前記時系列に予定する前記作業内容の区切り時刻を検出する区切り認識処理部と、を備え、
   前記推定処理部は、前記スケジュール情報ＤＢに登録された前記時系列に予定する各作業内容を取得し、
   前記選択処理部は、前記推定処理部が取得した前記時系列に予定する各作業内容における、前記特徴的な動態項目を前記特徴ＤＢから検索し、
   前記認識処理部は、前記動態検知部で検知された情報を、前記選択処理部が検索した前記特徴的な動態項目について認識処理を実行し、
   前記区切り認識処理部は、前記推定処理部が取得した前記時系列に予定する各作業内容と、前記特徴ＤＢに登録された前記特徴的な動態項目について前記認識処理部が認識処理を実行した認識結果とに基づいて、前記各作業内容間の区切り時刻を検出し、
   前記推定処理部は、前記被験体が行う前記動態項目を絞り込むに際して、前記取得した時系列に予定する各作業内容を、前記区切り認識処理部が検出した前記各作業内容間の区切り時刻ごとに切り替え、新たに認識すべき前記作業内容に対応する動態項目を、前記スケジュール対応ＤＢから検索し、前記検索された動態項目を、前記認識処理を行う動態項目として絞り込むこと
   を特徴とする動態認識装置。
2. 被験体が行う作業内容に関するスケジュール情報を管理する工程管理装置と、前記被験体に取り付けた動態センサからの情報を取得し前記被験体が行う作業内容の個々の状態を示す動態項目を認識する動態認識装置と、が通信可能に接続される動態認識システムにおいて、
   前記工程管理装置は、
   時系列に予定する前記作業内容に関するスケジュール情報を記憶する記憶部と、
   前記作業内容に関するスケジュール情報を管理する工程管理部と、
   前記スケジュール情報を前記動態認識装置に送信する通信部と、を備え、
   前記動態認識装置は、
   前記動態センサからの情報を用いて、前記被験体の動きを検知する動態検知部と、
   （１）前記動態検知部により検知された情報を認識するための認識方法、およびその認識方法に対応して参照される各動態項目についての当該認識方法における特徴を示す情報が辞書として複数登録される認識方法・辞書ＤＢ、（２）前記作業内容とその動態項目との対応関係が登録されるスケジュール対応ＤＢ、並びに、（３）前記作業内容を特定する特徴的な動態項目が登録される特徴ＤＢが記憶される記憶部と、
   前記工程管理装置から前記スケジュール情報を受信する通信部と、
   前記被験体が行う前記動態項目を絞り込む推定処理部と、
   前記推定処置部により絞り込まれた前記動態項目に基づき、前記辞書を前記認識方法・辞書ＤＢの中から選択する選択処理部と、
   前記選択処理部で選択された前記辞書を用いて、前記動態検知部で検知された情報を前記推定処理部で絞り込んだ前記動態項目について認識処理を実行する認識処理部と、
   前記時系列に予定する前記作業内容の区切り時刻を検出する区切り認識処理部と、を備え、
   前記推定処理部は、前記スケジュール情報を前記通信部を介して取得し、
   前記選択処理部は、前記推定処理部が取得したスケジュール情報に示される前記時系列に予定する各作業内容における、前記特徴的な動態項目を前記特徴ＤＢから検索し、
   前記認識処理部は、前記動態検知部で検知された情報を、前記選択処理部が検索した前記特徴的な動態項目について認識処理を実行し、
   前記区切り認識処理部は、前記推定処理部が取得したスケジュール情報に示される前記時系列に予定する各作業内容と、前記特徴ＤＢに登録された前記特徴的な動態項目について前記認識処理部が認識処理を実行した認識結果とに基づいて、前記各作業内容間の区切り時刻を検出し、
   前記推定処理部は、前記被験体が行う前記動態項目を絞り込むに際して、前記取得したスケジュール情報に示される前記時系列に予定する各作業内容を、前記区切り認識処理部が検出した前記各作業内容間の区切り時刻ごとに切り替え、新たに認識すべき前記作業内容に対応する動態項目を、前記スケジュール対応ＤＢから検索し、前記検索された動態項目を、前記認識処理を行う動態項目として絞り込むこと
   を特徴とする動態認識システム。
3. 被験体に取り付けた動態センサからの情報を取得し、前記被験体が行う作業内容の個々の状態を示す動態項目を認識する動態認識装置の動態認識方法であって、
   前記動態認識装置は、
   （１）前記動態センサからの情報を認識するための認識方法、およびその認識方法に対応して参照される前記被験体が行う各動態項目についての当該認識方法における特徴を示す情報が辞書として複数登録される認識方法・辞書ＤＢ（Data Base）、（２）時系列に予定する前記作業内容に関する情報が登録されるスケジュール情報ＤＢ、（３）前記作業内容とその動態項目との対応関係が登録されるスケジュール対応ＤＢ、並びに、（４）前記作業内容を特定する特徴的な動態項目が登録される特徴ＤＢが記憶される記憶部を備え、
   前記動態センサからの情報を用いて、前記被験体の動きを検知し、
   前記スケジュール情報ＤＢに登録された前記時系列に予定する各作業内容を取得し、
   前記取得した前記時系列に予定する各作業内容における、前記特徴的な動態項目を前記特徴ＤＢから検索し、
   前記被検体の動きを検知した情報を、前記検索した特徴的な動態項目について認識処理を実行し、
   前記取得した時系列に予定する各作業内容と、前記特徴ＤＢに登録された前記特徴的な動態項目について前記認識処理を実行した認識結果とに基づいて、前記各作業内容間の区切り時刻を検出し、
   前記被験体が行う前記動態項目を絞り込むに際して、前記取得した時系列に予定する各作業内容を、前記区切り認識部が検出した前記各作業内容間の区切り時刻ごとに切り替え、新たに認識すべき前記作業内容に対応する動態項目を、前記スケジュール対応ＤＢから検索し、前記検索された動態項目を、前記認識処理を行う動態項目として絞り込み、
   前記絞り込まれた前記動態項目に基づき、前記辞書を前記認識方法・辞書ＤＢの中から選択し、
   前記辞書を用いて、前記被検体の動きを検知した情報を前記絞り込んだ前記動態項目について認識処理を実行すること、
   を特徴とする動態認識方法。

Images