JP7623631B2 - 周期動作検知装置、周期動作検知方法及び周期動作検知プログラム - Google Patents

Description

本発明は、周期動作検知装置、周期動作検知方法及び周期動作検知プログラムに関する。

下記特許文献１には、動画像から、例えば手振り等の周期性を有する動作を検出する周期動作の検出方法が開示されている。この検出方法は、複数のフレーム画像それぞれの所定領域に対して周波数変換（フーリエ変換）を施し、その変換結果の周波数と検出対象にする周期動作の周波数とに基づいて、複数のフレーム画像の中に検出対象の周期動作が存在するかどうかを判定する。この検出方法では、周波数変換を用いて比較するため、各動作の時間長を揃える必要がある。

特開２０１２－１２３５３８号公報

ところで、工場等の生産現場で作業する作業者の周期的な動作には、長さが異なる複数の動作が含まれることになる。複数の動作として、例えば、部品箱に収容されている部品を把持する動作や、把持した部品を作業スペースに運搬する動作、運搬した部品を組み立てる等の調整する動作、完成品を収納場所に収納する動作等がある。

このような複数の動作を含む周期的な動作を、動画像から検知しようとする場合、それぞれの動作の長さを揃える必要がある特許文献１の検出方法では各動作を検出することができない。

そこで、本発明は、長さが異なる複数の動作を含む周期動作を検知することができる周期動作検知装置、周期動作検知方法及び周期動作検知プログラムを提供する。

本開示の一態様に係る周期動作検知装置は、作業者の作業に関する時系列情報から抽出される時系列の動きの特徴量をクラスタリングにより分類し、分類したクラスタを１次元の時系列データとして出力するクラスタリング部と、１次元の時系列データのうち、連続する複数の同じクラスタを一つのクラスタにまとめるラベリング処理を実行するラベリング部と、ラベリング処理された１次元の時系列データから、頻出するクラスタの系列を頻出パターンとして特定する系列パターンマイニング部と、特定された頻出パターンを１次元の時系列データから抽出する際に、抽出対象となる頻出パターンの直後に位置する一連の非頻出パターンを構成するクラスタの系列を、抽出対象となる頻出パターンの末尾に連結して一つの頻出パターンとして順次抽出する、第１頻出パターン抽出部と、特定された頻出パターンを１次元の時系列データから抽出する際に、抽出対象となる頻出パターンの直前に位置する一連の非頻出パターンを構成するクラスタの系列を、抽出対象となる頻出パターンの先頭に連結して一つの頻出パターンとして順次抽出する、第２頻出パターン抽出部と、第１頻出パターン抽出部により抽出された頻出パターンの集合、又は、第２頻出パターン抽出部により抽出された頻出パターンの集合のいずれか一方の集合に基づいて、周期的な動作を検知する周期動作検知部と、を備える。

この態様によれば、作業者の作業に関する時系列情報から抽出される時系列の動きの特徴量をクラスタリングにより分類し、分類されたクラスタの時系列データから頻出パターンとなるクラスタの系列を特定し、特定した頻出パターンをその前後に存在する非頻出パターンと一緒に抽出する際の二つの異なる方法を用いて抽出することで二つの集合をつくり、いずれか一方の集合に基づいて、作業者の周期的な動作を検知することが可能となる。すなわち、時系列情報から抽出される時系列の動きの特徴量をクラスタリングして時系列に並べ、その時系列に並べたクラスタの系列から特定される頻出クラスタの系列に基づいて作業者の周期的な動作を特定することができる。

上記態様において、周期動作検知部により検知された周期的な動作に基づいて、周期的な動作の回数、周期的な動作の始点、及び周期的な動作の終点を出力する出力部、をさらに備えることとしてもよい。

これにより、周期的な動作の始点及び終点、並びに周期的な動作の回数に基づいて、作業者の周期的な動作に含まれる長さの異なる複数の動作を容易に認識させることが可能となる。

上記態様において、周期動作検知部は、第１頻出パターン抽出部により抽出された頻出パターンの集合に含まれる頻出パターン同士の類似度の平均値と、第２頻出パターン抽出部により抽出された頻出パターンの集合に含まれる頻出パターン同士の類似度の平均値と、を比較し、類似度の平均値が高い方の集合に基づいて、周期的な動作を検知することとしてもよい。

これにより、二つの集合のうち、集合を構成する各要素間の類似度が高い方の集合を用いて、作業者の周期的な動作を検知することができるため、周期的な動作を検知する際の検知精度を向上させることが可能となる。

上記態様において、周期動作検知部により検知された周期的な動作を時系列に並べた検知周期動作の領域と、模範となる周期的な動作を時系列に並べた模範周期動作の領域との重なり度合により、検知された周期的な動作の位置ずれを評価する評価部を、さらに備え、出力部は、評価部により評価された内容を、さらに出力することとしてもよい。

これにより、模範となる周期的な動作との位置ずれに基づいて算定された客観的な評価の内容を提供することができる。

上記態様において、ラベリング処理された１次元の時系列データから、先頭のクラスタ及び末尾のクラスタを、除外クラスタとして除外する除外部を、さらに備え、系列パターンマイニング部は、除外クラスタが除外された１次元の時系列データから、頻出するクラスタの系列を頻出パターンとして特定することとしてもよい。

これにより、例えば、作業の開始前や開始後に行われる準備や後片付け等の動作を、処理対象から除外することができるため、周期動作を検知する際の処理効率を向上させることが可能となる。

本開示の他の態様に係る周期動作検知方法は、プロセッサにより実行される方法であって、作業者の作業に関する時系列情報から抽出される時系列の動きの特徴量をクラスタリングにより分類し、分類したクラスタを１次元の時系列データとして出力するクラスタリングステップと、１次元の時系列データのうち、連続する複数の同じクラスタを一つのクラスタにまとめるラベリング処理を実行するラベリングステップと、ラベリング処理された１次元の時系列データから、頻出するクラスタの系列を頻出パターンとして特定する系列パターンマイニングステップと、特定された頻出パターンを１次元の時系列データから抽出する際に、抽出対象となる頻出パターンの直後に位置する一連の非頻出パターンを構成するクラスタの系列を、抽出対象となる頻出パターンの末尾に連結して一つの頻出パターンとして順次抽出する、第１頻出パターン抽出ステップと、特定された頻出パターンを１次元の時系列データから抽出する際に、抽出対象となる頻出パターンの直前に位置する一連の非頻出パターンを構成するクラスタの系列を、抽出対象となる頻出パターンの先頭に連結して一つの頻出パターンとして順次抽出する、第２頻出パターン抽出ステップと、第１頻出パターン抽出ステップにおいて抽出された頻出パターンの集合、又は、第２頻出パターン抽出ステップにおいて抽出された頻出パターンの集合のいずれか一方の集合に基づいて、周期的な動作を検知する周期動作検知ステップと、を含む

この態様によれば、作業者の作業に関する時系列情報から抽出される時系列の動きの特徴量をクラスタリングにより分類し、分類されたクラスタの時系列データから頻出パターンとなるクラスタの系列を特定し、特定した頻出パターンをその前後に存在する非頻出パターンと一緒に抽出する際の二つの異なる方法を用いて抽出することで二つの集合をつくり、いずれか一方の集合に基づいて、作業者の周期的な動作を検知することができる。すなわち、時系列情報から抽出される時系列の動きの特徴量をクラスタリングして時系列に並べ、その時系列に並べたクラスタの系列から特定される頻出クラスタの系列に基づいて作業者の周期的な動作を特定することが可能となる。

本開示の他の態様に係る周期動作検知プログラムは、コンピュータを、作業者の作業に関する時系列情報から抽出される時系列の動きの特徴量をクラスタリングにより分類し、分類したクラスタを１次元の時系列データとして出力するクラスタリング部、１次元の時系列データのうち、連続する複数の同じクラスタを一つのクラスタにまとめるラベリング処理を実行するラベリング部、ラベリング処理された１次元の時系列データから、頻出するクラスタの系列を頻出パターンとして特定する系列パターンマイニング部、特定された頻出パターンを前記１次元の時系列データから抽出する際に、抽出対象となる頻出パターンの直後に位置する一連の非頻出パターンを構成するクラスタの系列を、抽出対象となる頻出パターンの末尾に連結して一つの頻出パターンとして順次抽出する、第１頻出パターン抽出部、特定された頻出パターンを１次元の時系列データから抽出する際に、抽出対象となる頻出パターンの直前に位置する一連の非頻出パターンを構成するクラスタの系列を、抽出対象となる頻出パターンの先頭に連結して一つの頻出パターンとして順次抽出する、第２頻出パターン抽出部、第１頻出パターン抽出部により抽出された頻出パターンの集合、又は、第２頻出パターン抽出部により抽出された頻出パターンの集合のいずれか一方の集合に基づいて、周期的な動作を検知する周期動作検知部、として機能させる

この態様によれば、作業者の作業に関する時系列情報から抽出される時系列の動きの特徴量をクラスタリングにより分類し、分類されたクラスタの時系列データから頻出パターンとなるクラスタの系列を特定し、特定した頻出パターンをその前後に存在する非頻出パターンと一緒に抽出する際の二つの異なる方法を用いて抽出することで二つの集合をつくり、いずれか一方の集合に基づいて、作業者の周期的な動作を検知することができる。すなわち、時系列情報から抽出される時系列の動きの特徴量をクラスタリングして時系列に並べ、その時系列に並べたクラスタの系列から特定される頻出クラスタの系列に基づいて作業者の周期的な動作を特定することが可能となる。

本発明によれば、長さが異なる複数の動作を含む周期動作を検知することができる周期動作検知装置、周期動作検知方法及び周期動作検知プログラムを提供することができる。

本発明の実施形態に係る周期動作検知装置を含むシステムの概要を例示する図である。 周期動作検知装置を含むシステムの機能構成を例示する図である。 周期動作検知装置における周期動作検知処理の流れを概念的に例示する模式図である。 クラスタリング処理の実行前後のデータを例示する模式図である。 周期動作検知処理におけるデータの遷移状態を例示する模式図である。 周期的な動作の検知結果を時系列に出力したグラフに一例である。 周期動作検知装置のハードウェア構成を例示する図である。 周期動作検知装置の動作の一例を説明するためのフローチャートである。

以下、本発明の一側面に係る実施の形態（以下、「本実施形態」と表記する。）を、図面に基づいて説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。

§１ 適用例
まず、図１を用いて、本発明が適用される場面の一例について説明する。本実施形態に係る周期動作検知装置１０を含むシステム１００は、ある作業領域Ｒで行われる作業者Ａの動作を画像センサ２０ａ、２０ｂ、２０ｃで撮影し、その撮影した動画を取得した周期動作検知装置１０が、動画から抽出される時系列の動きの特徴量をクラスタリングにより分類し、分類されたクラスタの時系列データから頻出パターンとなるクラスタの系列を特定し、特定した頻出パターンを異なる二つの方法で抽出して二つの集合をつくり、いずれか一方の集合に基づいて、周期的な動作を検知する。

頻出パターンを抽出する方法として、以下の二つの方法がある。この二つの方法では、隣り合う頻出パターンの間にある一つ又は複数のクラスタによる系列を非頻出パターンとして扱う。

第１の抽出方法は、頻出パターンとその頻出パターンの直後に位置する非頻出パターンを一つの頻出パターンとして順次抽出していき、抽出した頻出パターンによる第１集合をつくる方法である。

第２の抽出方法は、頻出パターンとその頻出パターンの直前に位置する非頻出パターンを一つの頻出パターンとして順次抽出していき、抽出した頻出パターンによる第２集合をつくる方法である。

そして、第１集合に含まれる頻出パターン同士の類似度の平均値と、第２集合に含まれる頻出パターン同士の類似度の平均値とを比較し、類似度の平均値が高い方の集合に基づいて、周期的な動作を検知する。

さらに、検知した周期的な動作に基づいて、周期的な動作の回数、周期的な動作の始点、及び周期的な動作の終点を特定する。

これにより、動画から抽出される動きの特徴量をクラスタリングして時系列に並べ、その時系列に並べたクラスタの系列から特定される頻出クラスタ系列に基づいて周期的な動作を特定することができる。したがって、長さが異なる複数の動作を含む周期的な動作であっても検知することが可能となる。

すなわち、本実施形態に係る周期動作検知装置１０によれば、長さが異なる複数の動作を含む周期動作を検知することができる。

§２ 構成例
［機能構成］
次に、図２を参照し、本実施形態に係る周期動作検知装置１０を含むシステム１００の機能構成について、その一例を説明する。システム１００は、三台の画像センサ２０ａ、２０ｂ、２０ｃと、周期動作検知装置１０と、を備える。以下において、三台の画像センサ２０ａ、２０ｂ、２０ｃを特に区別して記載する必要がない場合には、画像センサ２０と記載する。周期動作検知装置１０は、機能的な構成として、例えば、取得部１１、抽出部１２、クラスタリング部１３、ラベリング部１４、除外部１５、系列パターンマイニング部１６、頻出パターン抽出部１７、周期動作検知部１８、評価部１９、出力部１Ａ及び記憶部１Ｂを有する。記憶部１Ｂは、例えば、動画１Ｂａ及び学習済モデル１Ｂｂを記憶する。

周期動作検知装置１０を含むシステム１００が有する各機能構成の詳細を、以下において順次説明する。

＜画像センサ＞
画像センサ２０は、例えば、汎用のカメラであり、作業者Ａが作業領域Ｒで動作を行っている場面を含む動画を撮影する。画像センサ２０は、機能的な構成として、例えば、検知部を有する。検知部は、作業者Ａの動作を検知し、その動作を示す動画を時系列情報として出力する。

各画像センサ２０ａ、２０ｂ、２０ｃは、作業領域Ｒの全域及び作業者Ａの全身を撮影できるように配置される。この場合、例えば、各画像センサ２０ａ、２０ｂ、２０ｃのそれぞれが、作業領域Ｒの全域及び作業者Ａの全身を撮影できるように配置されてもよいし、各画像センサ２０ａ、２０ｂ、２０ｃのそれぞれが、作業領域Ｒ及び作業者Ａの一部分を撮影し、それぞれの動画を合わせることで作業領域Ｒの全域及び作業者Ａの全身をカバーできるように配置されてもよい。また、各画像センサ２０ａ、２０ｂ、２０ｃが、それぞれ異なる倍率で作業領域Ｒ及び作業者Ａを撮影することとしてもよい。画像センサ２０は、三台備える必要はなく、少なくとも一台以上備えることとすればよい。

＜取得部＞
取得部１１は、作業者Ａが行った動作に関する時系列情報（本実施形態では動画）を画像センサ２０から取得する。取得部１１が取得した時系列情報は、記憶部１Ｂに伝送され、動画１Ｂａとして記憶される。取得部１１は、記憶部１Ｂに記憶された動画１Ｂａを取得することも行う。

＜抽出部＞
抽出部１２は、動画１Ｂａの画像から作業者の動きの特徴量を抽出する動きの特徴抽出処理を実行する。

図３を参照して具体的に説明する。抽出部１２は、図３の上段に示すように、動画１Ｂａの画像から、作業者の骨格の動きを示す骨格データＤａを検出し、その検出した骨格データＤａに基づいて動きの特徴量Ｄｂを抽出する。骨格データを検出する手法として、例えば、ＯｐｅｎＰｏｓｅ等の公知の骨格検出手法を用いることができる。

また、骨格データＤａに基づいて動きの特徴量Ｄｂを抽出する際に、学習済モデル１Ｂｂを用いてもよい。学習済モデル１Ｂｂとして、例えば、オートエンコーダ等の公知のモデルを用いることができる。具体的に、抽出部１２は、骨格データＤａをオートエンコーダに入力し、オートエンコーダでエンコードされて分離されたデータ（例えば動き成分データ、骨格成分データ、視点成分データ）の中から、動き成分データのみを抽出することで、動きの特徴量Ｄｂを抽出する。

ここで、動きの特徴抽出処理は、上記の処理に限定されない。例えば、動画１Ｂａの画像から、作業者の動きの特徴量Ｄｂを抽出する処理であってもよい。画像から動きの特徴量を抽出する手法として、例えば、ＳＩＦＴ（Scale-Invariant Feature Transform）、ＳＵＲＦ（Speeded Up Robust Feature）等の公知の特徴量抽出手法を用いることができる。

＜クラスタリング部＞
図２のクラスタリング部１３は、抽出部１２により抽出された時系列の動きの特徴量Ｄｂに基づいて、クラスタリング処理を実行する。

図３を参照して具体的に説明する。クラスタリング部１３は、図３の中段に示すように、抽出部１２により抽出された時系列の動きの特徴量Ｄｂをクラスタリングにより分類し、分類されたクラスタを１次元の時系列データＤｃとして出力する。

クラスタリングのアルゴリズムとして、例えば、スペクトラルクラスタリング（Spectral Clustering）を用いることができる。スペクトラルクラスタリングでは、グループ分けするクラスタ数を任意に設定することができる。例えば、クラスタ数を８つに設定した場合には、８つのグループが作られ、それぞれのグループに分けられたクラスタには、そのクラスタが属するグループに対応するクラスタ番号が振られる。

図４を参照して具体的に説明する。同図には、時系列の動きの特徴量Ｄｂに対し、クラスタリング処理を実行した結果出力される１次元の時系列データＤｃが例示されている。この時系列データＤｃを構成するクラスタのうち、例えば、左から一つ目のクラスタにはクラスタ番号として５が振られ、同様に二つ目、三つ目、四つ目のクラスタにはクラスタ番号として０、１、２がそれぞれ振られている。

例えば、把持に対応する動きのグループに、クラスタ番号として０を振り、運搬に対応する動きのグループに、クラスタ番号として１を振り、調整に対応する動きのグループに、クラスタ番号として２を振ることができる。把持に対応する動きには、例えば、箱又は部品を掴む動きが含まれ、運搬に対応する動きには、例えば、箱又は部品を運ぶ動きが含まれ、調整に対応する動きには、例えば、箱又は部品を固定又は組み込む動きが含まれる。

＜ラベリング部＞
図２のラベリング部１４は、クラスタリング部１３により出力された１次元の時系列データのうち、連続する複数の同じクラスタを一つのクラスタにまとめるラベリング処理を実行する。

図５を参照して具体的に説明する。ラベリング部１４は、図５（Ａ）に示す１次元の時系列データＤｃにラベリング処理を実行し、図５（Ｂ）に示す１次元の時系列データＤｄを出力する。ラベリング処理前の時系列データＤｃには、０が二つ続いている部分ｃ１と、２が二つ続いている部分ｃ２とがある。一方、ラベリング処理後の時系列データＤｄでは、０と２がそれぞれ一つにまとめられている（ｄ１及びｄ２）。

＜除外部＞
図２の除外部１５は、ラベリング処理された１次元の時系列データから、先頭のクラスタ及び末尾のクラスタを、除外クラスタとして除外する除外処理を実行する。

図５を参照して具体的に説明する。除外部１５は、図５（Ｂ）に示す１次元の時系列データＤｄを構成するクラスタのうち、先頭のクラスタｄ３及び末尾のクラスタｄ４を、除外クラスタとする。除外部１５は、除外クラスタを以降の処理対象から除外できるようにした上で、図５（Ｃ）に示す１次元の時系列データＤｅを出力する。除外クラスタを除外する方法は、除外クラスタを時系列データＤｄから消去してもよいし、除外クラスタに除外マークを付与する等して除外クラスタであることを判別できるようにしてもよい。

先頭及び末尾のクラスタを除外するのは、一連の作業の開始前や開始後には、準備や後片付け等が行われ、周期的な動作が行われる一連の作業とは異なる動作が行われることを鑑みたものである。一連の作業とは異なる動作が行われる先頭及び末尾のクラスタを、処理対象の時系列データから除外することで、周期動作を検知する際の処理効率を高めることが可能となる。

ここで、処理対象から除外するのは、先頭及び末尾のクラスタに限定されない。例えば、１次元の時系列データを構成するクラスタの中から、他のクラスタとの距離が相対的に離れているクラスタを、除外クラスタとして除外することとしてもよい。

＜系列パターンマイニング部＞
図２の系列パターンマイニング部１６は、除外処理された１次元の時系列データから、頻出するクラスタの系列を頻出パターンとして特定する系列パターンマイニング処理を実行する。系列パターンマイニングの手法として、例えば、ＰｒｅｆｉｘＳｐａｎを用いることができる。

図５を参照して具体的に説明する。系列パターンマイニング部１６は、図５（Ｃ）に示す１次元の時系列データＤｅを構成するクラスタの系列から、頻出する部分系列パターンを抽出する。系列パターンマイニング部１６は、系列パターンマイニング処理の結果として、図５（Ｄ）に示す１次元の時系列データＤｆを出力する。この時系列データＤｆでは、頻出する部分系列パターンとして、＜０，１，２，３＞のパターンが特定されている。

＜頻出パターン抽出部＞
図２の頻出パターン抽出部１７は、系列パターンマイニング部１６により特定された頻出パターンを、二つの異なる方法を用いて時系列データから抽出する頻出パターン抽出処理を実行する。これら二つの方法では、隣り合う頻出パターンの間にある一つ又は複数のクラスタによる系列を非頻出パターンとして扱うことにする。二つの方法について以下に順に説明する。

第１の抽出方法は、頻出パターンとその頻出パターンの直後に位置する非頻出パターンを一つの頻出パターンとして順次抽出していき、抽出した頻出パターンによる第１集合をつくる方法である。

図５を参照して具体的に説明する。頻出パターン抽出部１７（第１頻出パターン抽出部）は、特定された頻出パターン＜０，１，２，３＞を、図５（Ｄ）に示す１次元の時系列データＤｆから抽出する際に、抽出対象となる頻出パターン＜０，１，２，３＞の直後に位置する一連の非頻出パターンを構成するクラスタの系列を、抽出対象となる頻出パターン＜０，１，２，３＞の末尾に連結し、図５（Ｅ）に示すようにそれぞれを一つの頻出パターン１ａ、１ｂ、１ｃとして順次抽出する。そして、抽出した頻出パターン１ａ、１ｂ、１ｃにより、図５（Ｆ）に示す第１集合Ｇ１を生成する。

図５（Ｆ）に示すように、第１集合Ｇ１には、＜０，１，２，３、４＞を要素とする頻出パターン１ａと、＜０，１，２，３、６、４＞を要素とする頻出パターン１ｂと、＜０，１，２，３＞を要素とする頻出パターン１ｃとが含まれる。

第２の抽出方法は、頻出パターンとその頻出パターンの直前に位置する非頻出パターンを一つの頻出パターンとして順次抽出していき、抽出した頻出パターンによる第２集合をつくる方法である。

図５を参照して具体的に説明する。頻出パターン抽出部１７（第２頻出パターン抽出部）は、特定された頻出パターン＜０，１，２，３＞を、図５（Ｄ）に示す１次元の時系列データＤｆから抽出する際に、抽出対象となる頻出パターン＜０，１，２，３＞の直前に位置する一連の非頻出パターンを構成するクラスタの系列を、抽出対象となる頻出パターン＜０，１，２，３＞の先頭に連結し、図５（Ｅ）に示すようにそれぞれを一つの頻出パターン２ａ、２ｂ、２ｃとして順次抽出する。そして、抽出した頻出パターン２ａ、２ｂ、２ｃにより、図５（Ｆ）に示す第２集合Ｇ２を生成する。

図５（Ｆ）に示すように、第２集合Ｇ２には、＜０，１，２，３＞を要素とする頻出パターン２ａと、＜４，０，１，２，３＞を要素とする頻出パターン２ｂと、＜６，４，０，１，２，３＞を要素とする頻出パターン２ｃとが含まれる。

＜周期動作検知部＞
図２の周期動作検知部１８は、頻出パターン抽出部１７により生成された二つの集合のいずれか一方の集合に基づいて、周期的な動作を検知する周期動作検知処理を実行する。

例えば、周期動作検知部１８は、二つの集合のそれぞれに含まれる頻出パターン同士の類似度の平均値を集合ごとに算出し、類似度の平均値が高い方の集合に基づいて、周期的な動作を検知する。

頻出パターン同士の類似度を算出する手法として、例えば、ＤＴＷ（Dynamic Time Warping）等の時系列データ同士の類似度を測定する手法を用いることができる。

図５（Ｆ）に示すように、例えば、第１集合Ｇ１の類似度の平均値が０．８７であり、第２集合Ｇ２の類似度の平均値が０．６２である場合、周期動作検知部１８は、第１集合Ｇ１に基づいて、周期的な動作を検知する。この場合の類似度は、０から1までの値で表され、双方が類似するほど１に近くなる。

類似度の平均値が高い方の集合を用いて、作業者の周期的な動作を検知することで、周期的な動作を検知する際の検知精度を向上させることが可能となる。

＜評価部＞
図２の評価部１９は、周期動作検知部１８により検知された周期的な動作の位置ずれを評価する評価処理を実行する。

具体的に、評価部１９は、検知された周期的な動作を時系列に並べた検知周期動作の領域と、模範となる周期的な動作を時系列に並べた模範周期動作の領域との重なり度合により、検知された周期的な動作の位置ずれを評価する。

位置ずれの評価は、例えば、ＩｏＵ（Intersection Over Union）を用いた以下の式（１）により算出される評価指数ＩｏＵＡを用いて行うことができる。ＩｏＵは、二つの領域の共通部分を、二つの領域の和集合で除算することで、二つの領域がどの程度重なっているのかを示す公知の指標である。

ここで、式（１）のＫはデータ数（動画数）であり、Ｎは１つのデータに含まれる周期数であり、ｔｈはＩｏＵの閾値である。

図６に例示する周期的な動作の検知結果を時系列に出力したグラフを参照して具体的に説明する。図６の上段には、模範となる周期的な動作を示すデータ（以下、「模範データ」という。）が表示され、模範周期動作の領域として、Ｍａ，Ｍｂ，Ｍｃ，Ｍｄ，Ｍｅ，Ｍｆが表示されている。図６の下段には、周期動作検知部１８により検知された周期的な動作を示すデータ（以下、「検知データ」という。）が表示され、検知周期動作の領域として、Ｄａ，Ｄｂ，Ｄｃ，Ｄｄ，Ｄｅ，Ｄｆが表示されている。例えば、Ｍａ及びＤａが、把持に対応する動きの領域となり、Ｍｂ及びＤｂが、運搬に対応する動きの領域となり、Ｍｃ及びＤｃが、調整に対応する動きの領域となる。

この場合、評価部１９は、検知周期動作の領域Ｄａ，Ｄｂ，Ｄｃ，Ｄｄ，Ｄｅ，Ｄｆと、模範周期動作の領域Ｍａ，Ｍｂ，Ｍｃ，Ｍｄ，Ｍｅ，Ｍｆとの重なり度合を、式（１）を用いて算出し、算出した評価指数ＩｏＵＡに基づいて、検知された周期的な動作の位置ずれを評価する。重なり度合を示すＩｏＵが閾値以上であれば、式（１）の[]内は１となる。他方、重なり度合を示すＩｏＵが閾値未満であれば、式（１）の[]内は０となる。また、検知周期動作の領域と模範周期動作の領域のいずれか一方しか現れない場合には、式（１）の[]内は０となる。

＜出力部＞
図２の出力部１Ａは、周期動作検知部１８により検知された周期的な動作に基づいて、出力処理を実行する。

具体的に、出力部１Ａは、検知された周期的な動作に基づいて、周期的な動作の回数、周期的な動作の始点、周期的な動作の終点、及び評価部１９により評価された内容を出力する。周期的な動作の回数、周期的な動作の始点及び周期的な動作の終点は、図６に例示するグラフに基づいて算定することができる。

これにより、作業者の周期的な動作に含まれる長さの異なる複数の動作を認識した上で、それらの動作に対する評価を確認することが可能となる。

［ハードウェア構成］
次に、図７を用いて、本実施形態に係る周期動作検知装置１０のハードウェア構成について、その一例を説明する。周期動作検知装置１０は、演算装置に相当するＣＰＵ（Central Processing Unit）１０ａと、記憶部１Ｂに相当するＲＡＭ（Random Access Memory）１０ｂ及びＲＯＭ（Read only Memory）１０ｃと、通信装置１０ｄと、入力装置１０ｅと、表示装置１０ｆとを有する。これらの各構成は、バスを介して相互にデータを送受信できるように接続される。なお、本実施形態では周期動作検知装置１０が一台のコンピュータで構成される場合について説明するが、周期動作検知装置１０は、複数のコンピュータを用いて実現されてもよい。

ＣＰＵ１０ａは、ＲＡＭ１０ｂ又はＲＯＭ１０ｃに記憶されたプログラムを実行し、データの演算や加工を行う制御部として機能する。ＣＰＵ１０ａは、入力装置１０ｅや通信装置１０ｄから種々の入力データを受信し、入力データを演算した結果を表示装置１０ｆに表示したり、ＲＡＭ１０ｂやＲＯＭ１０ｃに格納したりする。

ＲＡＭ１０ｂは、例えば半導体記憶素子で構成され、書き換え可能なデータを記憶する。ＲＯＭ１０ｃは、例えば半導体記憶素子で構成され、読み出し可能かつ書き換え不可能なデータを記憶する。

通信装置１０ｄは、周期動作検知装置１０を外部機器に接続するインターフェースである。通信装置１０ｄは、例えば、画像センサ２０とＬＡＮ（Local Area Network）やインターネット等の通信ネットワークにより接続され、画像センサ２０から動画を受信する。

入力装置１０ｅは、ユーザからデータの入力を受け付けるインターフェースであり、例えば、キーボード、マウス及びタッチパネルを含むことができる。

表示装置１０ｆは、ＣＰＵ１０ａによる演算結果等を視覚的に表示するインターフェースであり、例えば、ＬＣＤ（Liquid Crystal Display）により構成することができる。

プログラムは、ＲＡＭ１０ｂやＲＯＭ１０ｃ等のコンピュータによって読み取り可能な記憶媒体に記憶されて提供されてもよいし、通信装置１０ｄにより接続される通信ネットワークを介して提供されてもよい。周期動作検知装置１０は、ＣＰＵ１０ａがプログラムを実行することで、図２に示す取得部１１、抽出部１２、クラスタリング部１３、ラベリング部１４、除外部１５、系列パターンマイニング部１６、頻出パターン抽出部１７、周期動作検知部１８、評価部１９及び出力部１Ａの動作を行う。なお、これらの物理的な構成は例示であって、必ずしも独立した構成でなくてもよい。例えば、周期動作検知装置１０は、ＣＰＵ１０ａとＲＡＭ１０ｂやＲＯＭ１０ｃとを一体化したＬＳＩ（Large-Scale Integration）を備えることとしてもよい。

§３ 動作例
図８は、本実施形態に係る周期動作検知装置１０の動作の一例を示すフローチャートである。

最初に、周期動作検知装置１０の抽出部１２は、作業者の作業に関する動画１Ｂａの画像に基づいて、動きの特徴抽出処理を実行し、作業者の動きの特徴量を抽出する（ステップＳ１０１）。

続いて、周期動作検知装置１０のクラスタリング部１３は、上記ステップＳ１０１で抽出された作業者の動きの特徴量に基づいて、クラスタリング処理を実行し、分類されたクラスタを１次元の時系列データとして出力する（ステップＳ１０２）。

続いて、周期動作検知装置１０のラベリング部１４は、上記ステップＳ１０２で出力された１次元の時系列データのうち、連続する複数の同じクラスタを一つのクラスタにまとめるラベリング処理を実行する（ステップＳ１０３）。

続いて、周期動作検知装置１０の除外部１５は、上記ステップＳ１０３でラベリング処理された後の１次元の時系列データから、先頭のクラスタ及び末尾のクラスタを、除外クラスタとして除外する除外処理を実行する（ステップＳ１０４）。

続いて、周期動作検知装置１０の系列パターンマイニング部１６は、上記ステップＳ１０４で除外処理された後の１次元の時系列データから、頻出するクラスタの系列を頻出パターンとして特定する系列パターンマイニング処理を実行する（ステップＳ１０５）。

続いて、周期動作検知装置１０の頻出パターン抽出部１７は、上記ステップＳ１０５で特定された頻出パターンを、二つの方法により１次元の時系列データから抽出する頻出パターン抽出処理を実行し、二つの集合を生成する（ステップＳ１０６）。

続いて、周期動作検知装置１０の周期動作検知部１８は、上記ステップＳ１０６で生成された二つの集合のいずれか一方の集合に基づいて、周期的な動作を検知する周期動作検知処理を実行する（ステップＳ１０７）。

続いて、周期動作検知装置１０の評価部１９は、上記ステップＳ１０７で検知された周期的な動作の位置ずれを評価する評価処理を実行する（ステップＳ１０８）。

続いて、周期動作検知装置１０の出力部１Ａは、上記ステップＳ１０７で検知された周期的な動作に基づいて、出力処理を実行し、周期的な動作の回数、周期的な動作の始点、周期的な動作の終点、及び上記ステップＳ１０８で評価された内容を出力する（ステップＳ１０９）。そして、本動作を終了する。

前述したように、本実施形態に係る周期動作検知装置１０によれば、作業者の作業に関する動画１Ｂａから抽出される時系列の動きの特徴量Ｄｂをクラスタリングにより分類し、分類されたクラスタの時系列データＤｃから頻出パターンを特定し、特定した頻出パターンを二つの異なる方法により抽出し、第１集合及び第２集合をつくり、いずれか一方の集合に基づいて、作業者の周期的な動作を検知することができる。すなわち、動画１Ｂａから抽出される時系列の動きの特徴量Ｄｂをクラスタリングして時系列に並べ、その時系列に並べたクラスタの系列から特定される頻出パターンに基づいて作業者の周期的な動作を特定することが可能となる。

また、第１集合及び第２集合のうち、集合を構成する各要素間の類似度が高い方の集合を用いて、作業者の周期的な動作を検知することができるため、周期的な動作を検知する際の検知精度を向上させることが可能となる。

さらに、周期的な動作の始点及び終点、周期的な動作の回数、並びに評価内容を出力することができるため、作業者の周期的な動作に含まれる長さの異なる複数の動作を容易に認識させた上で、それらの動作に対する評価を提供することができる。

それゆえ、本実施形態に係る周期動作検知装置１０によれば、長さが異なる複数の動作を含む周期動作を検知することができる。

§４ 変形例
なお、本発明は、前述した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において、他の様々な形で実施することができる。このため、上記実施形態はあらゆる点で単なる例示にすぎず、限定的に解釈されるものではない。

例えば、前述した実施形態では、時系列情報が動画である場合について説明したが、時系列情報は動画に限定されない。具体的に、時系列情報は、画像センサ２０の替わりに備えるモーションキャプチャによって測定される作業者Ａの動作を示す座標値に関する情報であったり、画像センサ２０の替わりに、加速度センサやジャイロセンサを作業者Ａに装着させることによって測定される作業者Ａの動作を示す情報であったりしてもよい。また、時系列情報は、画像センサ２０の替わりに作業領域Ｒに配置した圧力センサによって測定される圧力値の変化状態を示す情報であったり、画像センサ２０の替わりに作業領域Ｒに配置した光電センサによって検知されるイベントの変化を示す情報であったりしてもよい。さらに、時系列情報は、上記の各情報を個別に用いることに限定されず、上記の各情報を二つ以上組合せることとしてもよい。

また、本発明の実施形態は、以下の付記のようにも記載され得る。ただし、本発明の実施形態は、以下の付記に記載した形態に限定されない。また、本発明の実施形態は、付記間の記載を置換したり、組み合わせたりした形態であってもよい。

［付記１］
作業者の作業に関する時系列情報から抽出される時系列の動きの特徴量をクラスタリングにより分類し、分類したクラスタを１次元の時系列データとして出力するクラスタリング部（１３）と、
前記１次元の時系列データのうち、連続する複数の同じクラスタを一つのクラスタにまとめるラベリング処理を実行するラベリング部（１４）と、
前記ラベリング処理された前記１次元の時系列データから、頻出するクラスタの系列を頻出パターンとして特定する系列パターンマイニング部（１６）と、
特定された前記頻出パターンを前記１次元の時系列データから抽出する際に、抽出対象となる前記頻出パターンの直後に位置する一連の非頻出パターンを構成するクラスタの系列を、抽出対象となる前記頻出パターンの末尾に連結して一つの前記頻出パターンとして順次抽出する、第１頻出パターン抽出部（１７）と、
特定された前記頻出パターンを前記１次元の時系列データから抽出する際に、抽出対象となる前記頻出パターンの直前に位置する一連の非頻出パターンを構成するクラスタの系列を、抽出対象となる前記頻出パターンの先頭に連結して一つの前記頻出パターンとして順次抽出する、第２頻出パターン抽出部（１７）と、
前記第１頻出パターン抽出部（１７）により抽出された前記頻出パターンの集合、又は、前記第２頻出パターン抽出部（１７）により抽出された前記頻出パターンの集合のいずれか一方の集合に基づいて、周期的な動作を検知する周期動作検知部（１８）と、
を備える周期動作検知装置（１０）。

［付記２］
前記周期動作検知部（１８）により検知された周期的な動作に基づいて、周期的な動作の回数、周期的な動作の始点、及び周期的な動作の終点を出力する出力部（１Ａ）、をさらに備える、
付記１記載の周期動作検知装置（１０）。

［付記３］
前記周期動作検知部（１８）は、前記第１頻出パターン抽出部（１７）により抽出された前記頻出パターンの集合に含まれる前記頻出パターン同士の類似度の平均値と、前記第２頻出パターン抽出部（１７）により抽出された前記頻出パターンの集合に含まれる前記頻出パターン同士の類似度の平均値と、を比較し、類似度の平均値が高い方の集合に基づいて、周期的な動作を検知する、
付記１又は２記載の周期動作検知装置（１０）。

［付記４］
前記周期動作検知部（１８）により検知された周期的な動作を時系列に並べた検知周期動作の領域と、模範となる周期的な動作を時系列に並べた模範周期動作の領域との重なり度合により、検知された周期的な動作の位置ずれを評価する評価部（１９）を、さらに備え、
前記出力部（１Ａ）は、前記評価部（１９）により評価された内容を、さらに出力する、
付記１から３のいずれか一に記載の周期動作検知装置（１０）。

［付記５］
前記ラベリング処理された前記１次元の時系列データから、先頭のクラスタ及び末尾のクラスタを、除外クラスタとして除外する除外部（１５）を、さらに備え、
前記系列パターンマイニング部（１６）は、前記除外クラスタが除外された前記１次元の時系列データから、頻出するクラスタの系列を頻出パターンとして特定する、
付記１から４のいずれか一に記載の周期動作検知装置（１０）。

［付記６］
プロセッサ（１０ａ）により実行される方法であって、
作業者の作業に関する時系列情報から抽出される時系列の動きの特徴量をクラスタリングにより分類し、分類したクラスタを１次元の時系列データとして出力するクラスタリングステップと、
前記１次元の時系列データのうち、連続する複数の同じクラスタを一つのクラスタにまとめるラベリング処理を実行するラベリングステップと、
前記ラベリング処理された前記１次元の時系列データから、頻出するクラスタの系列を頻出パターンとして特定する系列パターンマイニングステップと、
特定された前記頻出パターンを前記１次元の時系列データから抽出する際に、抽出対象となる前記頻出パターンの直後に位置する一連の非頻出パターンを構成するクラスタの系列を、抽出対象となる前記頻出パターンの末尾に連結して一つの前記頻出パターンとして順次抽出する、第１頻出パターン抽出ステップと、
特定された前記頻出パターンを前記１次元の時系列データから抽出する際に、抽出対象となる前記頻出パターンの直前に位置する一連の非頻出パターンを構成するクラスタの系列を、抽出対象となる前記頻出パターンの先頭に連結して一つの前記頻出パターンとして順次抽出する、第２頻出パターン抽出ステップと、
前記第１頻出パターン抽出ステップにおいて抽出された前記頻出パターンの集合、又は、前記第２頻出パターン抽出ステップにおいて抽出された前記頻出パターンの集合のいずれか一方の集合に基づいて、周期的な動作を検知する周期動作検知ステップと、
を含む周期動作検知方法。

［付記７］
コンピュータを、
作業者の作業に関する時系列情報から抽出される時系列の動きの特徴量をクラスタリングにより分類し、分類したクラスタを１次元の時系列データとして出力するクラスタリング部（１３）、
前記１次元の時系列データのうち、連続する複数の同じクラスタを一つのクラスタにまとめるラベリング処理を実行するラベリング部（１４）、
前記ラベリング処理された前記１次元の時系列データから、頻出するクラスタの系列を頻出パターンとして特定する系列パターンマイニング部（１６）、
特定された前記頻出パターンを前記１次元の時系列データから抽出する際に、抽出対象となる前記頻出パターンの直後に位置する一連の非頻出パターンを構成するクラスタの系列を、抽出対象となる前記頻出パターンの末尾に連結して一つの前記頻出パターンとして順次抽出する、第１頻出パターン抽出部（１７）、
特定された前記頻出パターンを前記１次元の時系列データから抽出する際に、抽出対象となる前記頻出パターンの直前に位置する一連の非頻出パターンを構成するクラスタの系列を、抽出対象となる前記頻出パターンの先頭に連結して一つの前記頻出パターンとして順次抽出する、第２頻出パターン抽出部（１７）、
前記第１頻出パターン抽出部（１７）により抽出された前記頻出パターンの集合、又は、前記第２頻出パターン抽出部（１７）により抽出された前記頻出パターンの集合のいずれか一方の集合に基づいて、周期的な動作を検知する周期動作検知部（１８）、
として機能させる周期動作検知プログラム。

１０…周期動作検知装置、１０ａ…ＣＰＵ、１０ｂ…ＲＡＭ、１０ｃ…ＲＯＭ、１０ｄ…通信装置、１０ｅ…入力装置、１０ｆ…表示装置、２０…画像センサ、１００…システム、Ａ…作業者、Ｒ…作業領域、１１…取得部、１２…抽出部、１３…クラスタリング部、１４…ラベリング部、１５…除外部、１６…系列パターンマイニング部、１７…頻出パターン抽出部、１８…周期動作検知部、１９…評価部、１Ａ…出力部、１Ｂ…記憶部、１Ｂａ…動画、１Ｂｂ…学習済モデル

Claims (7)

1. 作業者の作業に関する時系列情報から抽出される時系列の動きの特徴量をクラスタリングにより分類し、分類したクラスタを１次元の時系列データとして出力するクラスタリング部と、
   前記１次元の時系列データのうち、連続する複数の同じクラスタを一つのクラスタにまとめるラベリング処理を実行するラベリング部と、
   前記ラベリング処理された前記１次元の時系列データから、頻出するクラスタの系列を頻出パターンとして特定する系列パターンマイニング部と、
   特定された前記頻出パターンを前記１次元の時系列データから抽出する際に、抽出対象となる前記頻出パターンの直後に位置する一連の非頻出パターンを構成するクラスタの系列を、抽出対象となる前記頻出パターンの末尾に連結して一つの前記頻出パターンとして順次抽出する、第１頻出パターン抽出部と、
   特定された前記頻出パターンを前記１次元の時系列データから抽出する際に、抽出対象となる前記頻出パターンの直前に位置する一連の非頻出パターンを構成するクラスタの系列を、抽出対象となる前記頻出パターンの先頭に連結して一つの前記頻出パターンとして順次抽出する、第２頻出パターン抽出部と、
   前記第１頻出パターン抽出部により抽出された前記頻出パターンの集合、又は、前記第２頻出パターン抽出部により抽出された前記頻出パターンの集合のいずれか一方の集合に基づいて、周期的な動作を検知する周期動作検知部と、
   を備える周期動作検知装置。
2. 前記周期動作検知部により検知された周期的な動作に基づいて、周期的な動作の回数、周期的な動作の始点、及び周期的な動作の終点を出力する出力部、をさらに備える、
   請求項１記載の周期動作検知装置。
3. 前記周期動作検知部は、前記第１頻出パターン抽出部により抽出された前記頻出パターンの集合に含まれる前記頻出パターン同士の類似度の平均値と、前記第２頻出パターン抽出部により抽出された前記頻出パターンの集合に含まれる前記頻出パターン同士の類似度の平均値と、を比較し、類似度の平均値が高い方の集合に基づいて、周期的な動作を検知する、
   請求項１又は２記載の周期動作検知装置。
4. 前記周期動作検知部により検知された周期的な動作を時系列に並べた検知周期動作の領域と、模範となる周期的な動作を時系列に並べた模範周期動作の領域との重なり度合により、検知された周期的な動作の位置ずれを評価する評価部を、さらに備え、
   前記出力部は、前記評価部により評価された内容を、さらに出力する、
   請求項２記載の周期動作検知装置。
5. 前記ラベリング処理された前記１次元の時系列データから、先頭のクラスタ及び末尾のクラスタを、除外クラスタとして除外する除外部を、さらに備え、
   前記系列パターンマイニング部は、前記除外クラスタが除外された前記１次元の時系列データから、頻出するクラスタの系列を頻出パターンとして特定する、
   請求項１から４のいずれか一項に記載の周期動作検知装置。
6. プロセッサにより実行される方法であって、
   作業者の作業に関する時系列情報から抽出される時系列の動きの特徴量をクラスタリングにより分類し、分類したクラスタを１次元の時系列データとして出力するクラスタリングステップと、
   前記１次元の時系列データのうち、連続する複数の同じクラスタを一つのクラスタにまとめるラベリング処理を実行するラベリングステップと、
   前記ラベリング処理された前記１次元の時系列データから、頻出するクラスタの系列を頻出パターンとして特定する系列パターンマイニングステップと、
   特定された前記頻出パターンを前記１次元の時系列データから抽出する際に、抽出対象となる前記頻出パターンの直後に位置する一連の非頻出パターンを構成するクラスタの系列を、抽出対象となる前記頻出パターンの末尾に連結して一つの前記頻出パターンとして順次抽出する、第１頻出パターン抽出ステップと、
   特定された前記頻出パターンを前記１次元の時系列データから抽出する際に、抽出対象となる前記頻出パターンの直前に位置する一連の非頻出パターンを構成するクラスタの系列を、抽出対象となる前記頻出パターンの先頭に連結して一つの前記頻出パターンとして順次抽出する、第２頻出パターン抽出ステップと、
   前記第１頻出パターン抽出ステップにおいて抽出された前記頻出パターンの集合、又は、前記第２頻出パターン抽出ステップにおいて抽出された前記頻出パターンの集合のいずれか一方の集合に基づいて、周期的な動作を検知する周期動作検知ステップと、
   を含む周期動作検知方法。
7. コンピュータを、
   作業者の作業に関する時系列情報から抽出される時系列の動きの特徴量をクラスタリングにより分類し、分類したクラスタを１次元の時系列データとして出力するクラスタリング部、
   前記１次元の時系列データのうち、連続する複数の同じクラスタを一つのクラスタにまとめるラベリング処理を実行するラベリング部、
   前記ラベリング処理された前記１次元の時系列データから、頻出するクラスタの系列を頻出パターンとして特定する系列パターンマイニング部、
   特定された前記頻出パターンを前記１次元の時系列データから抽出する際に、抽出対象となる前記頻出パターンの直後に位置する一連の非頻出パターンを構成するクラスタの系列を、抽出対象となる前記頻出パターンの末尾に連結して一つの前記頻出パターンとして順次抽出する、第１頻出パターン抽出部、
   特定された前記頻出パターンを前記１次元の時系列データから抽出する際に、抽出対象となる前記頻出パターンの直前に位置する一連の非頻出パターンを構成するクラスタの系列を、抽出対象となる前記頻出パターンの先頭に連結して一つの前記頻出パターンとして順次抽出する、第２頻出パターン抽出部、
   前記第１頻出パターン抽出部により抽出された前記頻出パターンの集合、又は、前記第２頻出パターン抽出部により抽出された前記頻出パターンの集合のいずれか一方の集合に基づいて、周期的な動作を検知する周期動作検知部、
   として機能させる周期動作検知プログラム。

Images