JP7493155B2 - 作業系列識別装置、作業系列識別システム、作業系列識別方法、及びプログラム - Google Patents

Description

本開示は、作業系列を識別する作業系列識別装置、作業系列識別システム、作業系列識別方法、及びプログラムに関する。

特許文献１は、行動状態推定システムを開示している。行動状態推定システムは、建物内の機器の使用情報、建物内のセンサにより検出されるセンサ情報、建物の部屋と機器及びセンサの配置関係情報とから、人の行動状態を推定している。これにより、建物内に複数の人がいる場合でも、カメラを使うことなく、各ユーザの行動状態を特定して、各ユーザによる消費電力を計算できるようにしている。

特許文献２は、動線管理システムを開示している。動線管理システムは、機器の利用情報とユーザが所持する無線端末の位置情報に基づいて、コピー操作又はプリント操作などの機器の操作内容の動線開始日時を推定している。これにより、機器を利用するユーザに対する適切な動線を判断できるようにしている。

特許第５０８７１５３号公報 特許第６３１８５０６号公報

本開示は、移動物体が行う一連の個別作業を含む作業系列を精度良く識別する作業系列識別装置、作業系列識別システム、作業系列識別方法、及びプログラムを提供する。

本開示の作業系列識別装置は、一連の個別作業を含む作業系列を識別する作業系列識別装置であって、作業領域内における移動物体の位置を時系列に示す第１のセンシング情報と、作業領域内の異なる位置における周囲環境状態を時系列に示す複数の第２のセンシング情報と、を取得する取得部と、第１のセンシング情報に基づいて一連の個別作業の順序を特定し、第２のセンシング情報に基づいて一連の個別作業のそれぞれの作業内容を識別する制御部と、を備える。

これらの概括的かつ特定の態様は、システム、方法、及びコンピュータプログラム、並びに、それらの組み合わせにより、実現されてもよい。

本開示の作業系列識別装置、作業系列識別システム、作業系列識別方法、及びプログラムによれば、複数のセンシング情報に基づいて、移動物体が行う一連の個別作業を含む作業系列を精度良く識別することができる。複数のセンシング情報は、作業領域内における移動物体の位置を時系列に示す第１のセンシング情報と、作業領域内の異なる位置における周囲環境状態を時系列に示す複数の第２のセンシング情報とを含む。本開示の作業系列識別装置、作業系列識別システム、作業系列識別方法、及びプログラムによれば、第１のセンシング情報に基づいて一連の個別作業の順序を決定し、第２のセンシング情報に基づいて個別作業の作業内容を識別する。これにより、精度良く作業系列を識別することができる。

第１実施形態の作業系列識別システムの構成を示すブロック図 カメラの位置を説明するための図 近傍センサの位置を説明するための図 近傍センサに含まれるセンサの種類を説明するための図 近傍センサの位置を示すセンサ位置情報の一例 作業場所の範囲を示す区分け情報の一例 作業種別毎の作業の開始位置と終了位置を示す開始終了情報の一例 カメラの映像データから得られる動線データの一例 近傍センサが生成する周囲環境データの一例 第１実施形態における個別作業の作業内容の識別の一例を説明するための図 作業系列情報の一例を説明するための図 作業系列の表示の一例を示す図 作業系列の表示におけるカメラ映像表示を示す図 作業系列の表示の別の例を示す図 第１実施形態における作業系列識別装置の動作を説明するためのフローチャート 図１５の作業系列情報生成処理（ステップＳ４）の詳細を示すフローチャート 第２実施形態の作業系列識別システムの構成を示すブロック図 第２実施形態における個別作業の作業内容の識別の一例を説明するための図 第３実施形態における稼働率の算出を説明するためのフローチャート

（本開示の基礎となった知見）
従来、厨房又は工場などの従業員が従事する作業現場において、時間がかかる作業の見直し及び従業員毎にかかる時間のばらつきの作業効率改善などを行うために、一連の個別作業を含む作業系列における各個別作業にかかる時間を改善担当者が介入して計測していた。例えば、外食業界などにおいて、厨房内の調理作業の効率化を図る場合、改善担当者がカメラを厨房内に配置し、そのカメラ映像などを参照することによって、注文を受けてから料理を提供するまでの作業系列における各個別作業の作業内容を識別し、各個別作業にかかる時間をストップウォッチなどで計測していた。

近年、現場空間のプロセスを仮想空間で再現及び分析して現場に改善案を提案するようなサイバーフィジカルシステム（ＣＰＳ）化が行われようとしている。ＣＰＳ化においては、効率的に作業時間を計測するために、例えば、作業時間の算出を自動化することが要求される。そのためには、人が介入せずに、機器のみによって従業員が行う作業系列を識別することが望まれる。

本実施形態は、人物などの移動物体が行う一連の個別作業を含む作業系列を精度良く識別する作業系列識別装置を提供する。具体的には、作業系列識別装置は、カメラなどの遠隔センサが生成する広域センシング情報と、振動及び電磁波などを検知する近傍センサが生成する近傍センシング情報とに基づいて、作業系列を識別する。

（第１実施形態）
本実施形態では、移動物体が人であり、人が行う一連の個別作業が厨房内の作業である場合において、一連の個別作業を含む作業系列を識別する例について説明する。厨房内の一連の個別作業は、例えば、注文を受けてから料理を提供するまでの複数の個別作業を含む。複数の個別作業は、例えば、注文を受けること、冷蔵庫の開閉、食器棚の開閉、食材の盛りつけ、及び料理の提供などである。

１． 作業系列識別システムの構成
図１は、本実施形態の作業系列識別システム１００の電気的構成を示している。作業系列識別システム１００は、作業系列識別装置１、カメラ２、及び複数の近傍センサ３を含む。本実施形態では、作業系列識別装置１、カメラ２、及び複数の近傍センサ３は、食事を提供する店舗内に設置される。作業系列識別装置１とカメラ２は、例えば、有線で接続される。作業系列識別装置１は、例えば、無線ルータを介して複数の近傍センサ３に接続される。作業系列識別装置１は、カメラ２が生成した映像データと、複数の近傍センサ３が生成した周囲環境データとに基づいて、厨房内において従業員が行う一連の個別作業を含む作業系列を識別する。

１．１ 作業系列識別装置の構成
作業系列識別装置１は、例えば、店舗内に設置されたパソコン又はタブレット端末等の種々の情報処理装置である。作業系列識別装置１は、通信部１１、制御部１２、記憶部１３、入力部１４、表示部１５、及びバス１６を備える。

通信部１１は、所定の通信規格に準拠して外部機器との通信を行う回路を含む。所定の通信規格は、例えば、ＬＡＮ、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＵＳＢ、及びＨＤＭＩ（登録商標）である。通信部１１は、カメラ２から映像データを取得し、複数の近傍センサ３からそれぞれ周囲環境データを取得する。

制御部１２は、半導体素子などで実現可能である。制御部１２は、例えば、マイコン、ＣＰＵ、ＭＰＵ、ＧＰＵ、ＤＳＰ、ＦＰＧＡ、ＡＳＩＣで構成することができる。制御部１２の機能は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。制御部１２は、記憶部１３に格納されたデータやプログラムを読み出して種々の演算処理を行うことで、所定の機能を実現する。

記憶部１３は、作業系列識別装置１の機能を実現するために必要なプログラム及びデータを記憶する記憶媒体である。記憶部１３は、例えば、ハードディスク（ＨＤＤ）、ＳＳＤ、ＲＡＭ、ＤＲＡＭ、強誘電体メモリ、フラッシュメモリ、磁気ディスク、又はこれらの組み合わせによって実現できる。

通信部１１は、カメラ２及び近傍センサ３から映像データ及び周囲環境データをそれぞれ取得する取得部に相当する。通信部１１を介して取得された映像データ及び周囲環境データは、記憶部１３に格納される。制御部１２は、記憶部１３に格納されている映像データ及び周囲環境データを読み出す取得部に相当する。

入力部１４は、ユーザによる種々の操作を入力するユーザインタフェースである。入力部１４は、タッチパネル、キーボード、ボタン、スイッチ、又はこれらの組み合わせによって実現できる。

表示部１５は、例えば、液晶ディスプレイ又は有機ＥＬディスプレイである。表示部１５は、例えば、制御部１２が識別した作業系列を表示する。

バス１６は、通信部１１、制御部１２、記憶部１３、入力部１４、及び表示部１５を電気的に接続する信号線である。

１．２ カメラの構成
図２は、カメラ２が配置される位置の一例を示している。カメラ２は、例えば、店舗内の厨房の天井に設置された全周囲カメラである。カメラ２は、ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサ、又はＮＭＯＳイメージセンサなどの画像センサを備える。カメラ２は、厨房内を撮影して映像データを生成する。カメラ２は、作業領域内における移動物体の位置を検出する遠隔センサの一例である。カメラ２が生成する映像データは、作業領域内における移動物体の位置を時系列に示す第１のセンシング情報、換言すると、広域センシング情報の一例である。映像データは、撮影時刻を示す時刻情報を含む。

１．３ 近傍センサの構成
図３は、複数の近傍センサ３が配置される位置の一例を示している。複数の近傍センサ３は、厨房内の互いに異なる位置にそれぞれ設置される。制御部１２は、厨房内を複数の作業場所、図３の例では作業場所Ｌ１～Ｌ１０に区分けして管理する。図３の例では、各作業場所の形状は矩形であるが、作業場所の区分けの仕方は任意であり、矩形でなくてもよい。また、区分けする作業場所の数は、作業領域全体の大きさに応じて、適宜、決定されうる。各近傍センサ３は、例えば、複数の作業場所Ｌ１～Ｌ１０のいずれかに設置される。具体的には、例えば、各近傍センサ３は、冷蔵庫の扉もしくは庫内、食器棚の扉もしくは棚内、電子レンジの近傍、提供カウンタの近傍などに設置される。本明細書において、作業場所Ｌ１～Ｌ１０を特に区別しないときは、総称して作業場所Ｌという。複数の近傍センサ３は、それぞれ配置された位置の周囲環境状態を検出して、周囲環境状態を時系列に示す周囲環境データを生成する。周囲環境データは、作業領域内の互いに異なる位置における周囲環境状態を時系列に示す第２のセンシング情報、換言すると、近傍センシング情報の一例である。

図４は、各近傍センサ３に含まれるセンサの種類の一例を示している。本実施形態における近傍センサ３は、複数のセンサが１つの機器にパッケージングされたマルチモーダルセンサである。例えば、各近傍センサ３は、１つの筐体内に、人感センサ３１、音センサ３２、振動センサ３３、電磁波センサ３４、加速度センサ３５、及び温度センサ３６のうちの２つ以上、本実施形態では全てを含む。近傍センサ３は、地磁気センサ、湿度センサ、照度センサ、及び気圧センサのうちのいずれか１つ以上を含んでもよい。また、近傍センサ３は１つのセンサだけがパッケージングされていても良い。

２． 作業系列識別システムにおいて使用されるデータ等
図５は、複数の近傍センサ３のそれぞれの位置と感度を示すセンサ位置情報の一例である。センサ位置情報５１は、例えば、記憶部１３に予め格納されている。センサ位置情報５１は、近傍センサ３の識別情報であるＩＤと、近傍センサ３の位置を示すｘ，ｙ座標の値を含む。センサ位置情報５１は、さらに、近傍センサ３の感度を示す、近傍センサ３を中心とした半径ｒの値を含む。

図６は、作業場所Ｌの位置を示す区分け情報の一例である。区分け情報５２は、例えば、記憶部１３に予め格納されている。本実施形態では、図３に示すように厨房内の領域が矩形形状の複数の作業場所Ｌに区分けされるため、区分け情報５２は、各作業場所Ｌの範囲を表す対角位置のｘ，ｙ座標の値ｘ１，ｙ１，ｘ２，ｙ２を含む。

図７は、作業種別毎の開始位置と終了位置を示す開始終了情報の一例である。開始終了情報５３は、例えば、記憶部１３に予め格納されている。作業種別Ａ，Ｂ，Ｃは、例えば、開店準備中に行われる仕込み工程、営業中に行われる調理工程、及び閉店準備中に行われる片付け工程である。開始位置と終了位置は、それぞれ、作業場所Ｌ１～Ｌ１０によって示される。なお、開始位置と終了位置は、作業場所Ｌ１～Ｌ１０の代わりに、厨房内のｘ，ｙ座標で示されてもよい。

図８は、動線データの一例である。作業系列識別装置１の制御部１２は、画像解析により、カメラ２の映像データから人物などの移動物体を識別して、移動物体の位置を示す動線データ５４を生成する。制御部１２は、映像データにおいて、同時刻に複数の人物が映っている場合は、例えば、人物毎に、動線データ５４を生成する。動線データ５４は、例えば、図３に示すような動線Ｍ１を表す。具体的には、本実施形態における動線データ５４は、各時刻における人物の位置をｘ，ｙ座標で示している。

図９は、各近傍センサ３が生成する周囲環境データの一例である。周囲環境データ５５は、各時刻における検出値ｄ１～ｄｎを含む。検出値ｄ１～ｄｎは、人感センサ３１、音センサ３２、振動センサ３３、電磁波センサ３４、加速度センサ３５、及び温度センサ３６によって検出された値である。すなわち、検出値ｄ１～ｄｎは、赤外線、音、振動、電磁波、加速度、及び温度のいずれかに対応する。周囲環境データ５５は、近傍センサ３に含まれるセンサの種類に応じて、地磁気、湿度、照度、及び気圧の検出値を含んでもよい。

図１０は、個別作業の作業内容の識別方法の一例を示す図である。制御部１２は、個別作業識別器１２０を使用して、個別作業の作業内容を識別する。個別作業識別器１２０を構築するプログラム及びパラメータは、例えば記憶部１３に格納されている。

個別作業識別器１２０は、深層学習などの機械学習を使用して、個別作業の作業内容を識別するように学習されたモデルを含む。例えば、個別作業識別器１２０は、リカレントニューラルネットワークで構成される。リカレントニューラルネットワークは、例えば、入力層Ｎ１、中間層Ｎ２，Ｎ３，Ｎ４、及び出力層Ｎ５を含む多層構造を持つ。なお、中間層の数は３層に限らない。中間層は、１つ以上の層を含む。また、個別作業識別器１２０は、他の種類の機械学習のアルゴリズムを採用してもよい。

個別作業識別器１２０は、例えば、入力層Ｎ１から周囲環境データ５５の所定時間分の検出値ｄ１～ｄｎが入力されると、いずれの作業内容を示すかを表す確率Ｐ（Ｗ１）～Ｐ（Ｗｍ）を出力層Ｎ５から出力する。所定時間は、例えば１０秒である。作業内容Ｗ１～Ｗｍの各々は、例えば、調理工程の場合、注文の受け付け、冷蔵庫の開閉、食器棚の開閉、電子レンジの使用、盛りつけ、及び料理の提供などに対応する。本明細書において、作業内容Ｗ１～Ｗｍを特に区別しないときは、総称して作業内容Ｗという。

リカレントニューラルネットワークは、予め、学習用の周囲環境データと、学習用の周囲環境データに対応する作業内容を示す正解ラベルとが関連づけられた教師データに基づいて学習される。すなわち、個別作業識別器１２０を構成するリカレントニューラルネットワークの各層の重み付け係数は、当該教師データを用いた学習により設定される。例えば、１０秒間分の検出値ｄ１～ｄｎを個別作業識別器１２０に入力して得られる確率Ｐ（Ｗ１）～Ｐ（Ｗｍ）の中で、正解ラベルの作業内容に対応する確率が最大となるように、各層のノード間の重み付け係数が設定される。個別作業識別器１２０の学習は、作業系列識別装置１が行ってもよいし、別の情報処理装置が行ってもよい。

制御部１２は、周囲環境データ５５から作業内容を識別するとき、所定時間分の検出値ｄ１～ｄｎを学習済みの個別作業識別器１２０に入力することによって、作業内容の確率Ｐ（Ｗ１）～Ｐ（Ｗｍ）を算出する。制御部１２は、例えば、入力層Ｎ１に入力した所定時間分の検出値ｄ１～ｄｎが示す作業内容は、出力層Ｎ５から得られる確率Ｐ（Ｗ１）～Ｐ（Ｗｍ）の中で最も値が大きい作業内容であると判断する。

図１１は、制御部１２が生成する作業系列情報の一例を模式的に示す図である。作業系列情報５６は、例えば、作業場所、作業内容、及び作業時間を含む情報を時系列に示したグラフを表す。作業系列情報５６に記載される作業場所Ｌは、図３に示す作業場所Ｌ１～Ｌ１０のいずれかである。作業系列情報５６に記載される作業内容Ｗは、図１０に示す個別作業識別器１２０を使用して識別された結果であって、作業内容Ｗ１～Ｗｍのいずれかである。作業系列情報５６に記載される作業時間Ｔは、作業場所Ｌにおいて作業内容Ｗの個別作業を行った時間Ｔ１，Ｔ２・・・を示す。

図１２乃至図１４は、作業系列情報５６に基づく、表示部１５による作業系列の表示例を示している。図１２の表示例では、作業系列、すなわち、一連の個別作業の順序、作業場所、及び作業内容と、各個別作業にかかる作業時間の最小値、平均値、最大値、標準偏差、及びランキングを示している。図１３の表示例では、カメラ映像が表示されている。例えば、表示部１５が図１２に示す画面を表示中に、ユーザが、入力部１４を介して、表示されている一連の個別作業の中からいずれかの個別作業と、個別作業にかかる作業時間の代表値（最小値、平均値、最大値、標準偏差、及びランキングのうちのいずれか）とを選択したときに、図１３に示すような、選択された代表値に対応する個別作業のカメラ映像が表示される。ランキングは、作業時間の平均値、最大値、または、標準偏差を設定することができる。これにより、例えば、ユーザは、時間のかかっている作業、作業時間のばらつきが大きい個別作業を、ランキング順に、対応するカメラ映像で確認することができる。図１４の表示例では、作業系列、すなわち、一連の個別作業の順序、作業場所、及び作業内容と、ある人物による各個別作業にかかる作業時間を示している。

３． 作業系列識別装置の動作
３．１ 全体動作
上述した構成の作業系列識別装置１の動作について説明する。図１５は、作業系列識別装置１の制御部１２の動作を示している。

制御部１２は、カメラ２の映像データを取得する（Ｓ１）。例えば、作業系列識別装置１は、カメラ２が生成した映像データを通信部１１を介して取得して記憶部１３に格納しておく。制御部１２は、ステップＳ１において、記憶部１３に格納されている映像データを読み出す。例えば、制御部１２は、１日分の映像データを読み出す。

制御部１２は、作業種別に応じた開始位置及び終了位置の情報を取得する（Ｓ２）。例えば、ユーザにより入力部１４を介して、作業種別が指定されると、制御部１２は、ユーザが指定した作業種別に応じた開始位置及び終了位置を、開始終了情報５３から読み出す。

制御部１２は、開始位置から終了位置までの動線を映像データから検出する（Ｓ３）。例えば、制御部１２は、映像データの画像解析を行って移動する人物を識別し、開始位置から終了位置までの人物の動線を検出して動線データ５４を生成する。

制御部１２は、動線データ５４に基づいて、動線上における、一連の個別作業を示す作業系列情報５６を生成する（Ｓ４）。

制御部１２は、映像内の動線の検出が終了したか否かを判断する（Ｓ５）。例えば、ステップＳ１で取得した映像データにおいて、ステップＳ３における人物の識別及び動線の検出を試行していないデータが残っていれば、ステップＳ３に戻る。これにより、制御部１２は、例えば、ステップＳ３で検出した動線毎に作業系列情報５６を生成する。ステップＳ１で取得した映像データの全体において人物の識別及び動線の検出の試行が終了すると、ステップＳ６に進む。

制御部１２は、ステップＳ４で生成した作業系列情報５６に基づいて、個別作業毎の作業時間の最小値、平均値、最大値、標準偏差、及びランキングを算出する（Ｓ６）。本実施形態では、制御部１２は、最小値、平均値、及び最大値、標準偏差、及びランキングの全てを算出するが、いずれか一つ以上を算出してもよい。

制御部１２は、作業場所、作業内容、及び作業時間を表示部１５に表示させる（Ｓ７）。例えば、表示部１５は、図１２に示すように、識別した個別作業の作業内容、各個別作業の順序、及び個別作業毎の作業時間の最小値、平均値、最大値、標準偏差、及びランキングを、特定した作業場所の近傍に表示する。制御部１２は、表示部１５が図１２に示す画面を表示中に、入力部１４を介して、ユーザによる、いずれかの個別作業と作業時間の代表値（最小値、平均値、最大値、標準偏差、及びランキングのうちのいずれか）の選択を受け付けてもよい。例えば、ユーザは、タッチパネルにより、個別作業と作業時間の代表値を選択してもよい。この場合、制御部１２は、ユーザの選択に応じて個別作業と作業時間の代表値を選択し、図１３に示すように、選択した代表値に対応する個別作業のカメラ映像を表示部１５に表示させてもよい。なお、ユーザによる選択ではなく、制御部１２がいずれかの個別作業と作業時間の代表値を選択してもよい。例えば、制御部１２は、各個別作業の最小値、平均値、最大値、標準偏差、もしくはランキングに対応するカメラ映像を順に表示部１５に表示させてもよい。表示部１５は、図１２に示す集計表示に代えて又は加えて、図１４に示すように、ある人物における作業時間を表示してもよい。例えば、制御部１２は、作業系列全体の作業時間が最大及び最小の人物に関して、各個別作業の作業時間を、作業内容及び順序と共に、特定した作業場所の近傍に表示してもよい。

３．２ 作業系列情報の生成動作
図１６は、作業系列情報５６の生成の動作、すなわち、図１５のステップＳ４の詳細を示している。

制御部１２は、動線データ５４と区分け情報５２とに基づいて作業場所を特定する（Ｓ４０１）。制御部１２は、特定した作業場所における周囲環境状態を検出する近傍センサ３を、センサ位置情報５１を参照して、選択する（Ｓ４０２）。これにより、記憶部１３に格納されている複数の周囲環境データ５５の中から、作業内容の識別に使用する周囲環境データ５５が選択される。本実施形態では、制御部１２は、特定した作業場所から所定範囲内にある全ての近傍センサ３を選択する。別の例では、制御部１２は、動線と最も近い近傍センサ３を選択してもよい。

制御部１２は、選択した近傍センサ３が生成した周囲環境データ５５を記憶部１３から取得する（Ｓ４０３）。

制御部１２は、ステップＳ４０２で選択した近傍センサ３が２つ以上であるか否かを判断する（Ｓ４０４）。

ステップＳ４０２で選択した近傍センサ３が２つ以上であれば（Ｓ４０４でＹｅｓ）、制御部１２は、その２つ以上の近傍センサ３の中から１つの近傍センサ３を、ステップＳ４０３で取得した周囲環境データ５５に基づいて、決定する（Ｓ４０５）。例えば、制御部１２は、動線データ５４と周囲環境データ５５をそれぞれに含まれる時刻情報に基づいて対応づける。制御部１２は、ステップＳ４０１で特定した作業場所に人物がいるときの、人感センサ３１の検出値が、人がより近いことを示している近傍センサ３を選択してもよい。電磁波センサ３４の検出値がより大きい近傍センサ３を選択してもよい。音センサ３２の検出値がより大きい近傍センサ３を選択してもよい。周囲環境データ５５に含まれる検出値ｄ１～ｄｎの中でいずれの検出値を参照するかを、作業場所に応じて変えてもよい。

ステップＳ４０２で選択した近傍センサ３が１つであれば（Ｓ４０４でＮｏ）、ステップＳ４０５を省略して、ステップＳ４０６に進む。

制御部１２は、決定した１つの近傍センサ３によって生成された周囲環境データ５５に基づいて、個別作業の作業内容を識別する（Ｓ４０６）。例えば、制御部１２は、動線データ５４と周囲環境データ５５をそれぞれに含まれる時刻情報に基づいて対応づける。制御部１２は、ステップＳ４０１で特定した作業場所に人物がいる間の検出値ｄ１～ｄｎを周囲環境データ５５から抽出する。制御部１２は、抽出した時間帯の検出値ｄ１～ｄｎの中で、所定時間分の検出値ｄ１～ｄｎを個別作業識別器１２０に入力する。例えば、１分間の検出値ｄ１～ｄｎを抽出した場合、その中の１０秒間分の検出値ｄ１～ｄｎを順に、個別作業識別器１２０に入力してもよい。制御部１２は、動線データ５４とセンサ位置情報５１とに基づいて、人物が近傍センサ３の感度を示す半径ｒの範囲内に入った時点から所定時間分の検出値ｄ１～ｄｎを個別作業識別器１２０に入力してもよい。

制御部１２は、個別作業にかかる作業時間を算出する（Ｓ４０７）。例えば、制御部１２は、動線データ５４に含まれる時刻情報に基づいて、ステップＳ４０１で特定した作業場所における作業時間を算出する。作業時間は、周囲環境データ５５が示す時刻情報に基づいて算出されてもよい。例えば、制御部１２は、ステップＳ４０６における個別作業識別器１２０の出力結果に基づいて、同一の個別作業を行っていると判断した時間を算出してもよい。

制御部１２は、ステップＳ４０１で特定した作業場所、ステップＳ４０６で識別した作業内容、及びステップＳ４０７で算出した作業時間を、作業系列情報５６に追加する（Ｓ４０８）。

制御部１２は、動線データ５４の開始位置から順に、ステップＳ４０１～Ｓ４０８を実行する。制御部１２は、ステップＳ４０１で特定した作業場所が動線の終了位置を含み、動線が終了か否かを判断する（Ｓ４０９）。ステップＳ４０１で特定した作業場所が動線の終了位置を含んでいなければ、ステップＳ４０１に戻る。これにより、動線データ５４の次の作業場所において、ステップＳ４０１～Ｓ４０８が実行される。ステップＳ４０１で特定した作業場所が動線の終了位置を含んで、動線が終了であれば、図１６に示す作業系列情報生成処理を終了する。

４． 効果及び補足
本実施形態の作業系列識別システム１００は、作業系列識別装置１、カメラ２、及び複数の近傍センサ３を備える。カメラ２は、作業領域を撮影して作業領域内における移動物体の位置を時系列に示す映像データを生成する。複数の近傍センサ３は、作業領域内の互いに異なる位置に配置され、配置された位置の周囲環境状態を時系列に示す周囲環境データ５５を生成する。周囲環境状態は、音、振動、赤外線、電磁波、地磁気、加速度、温度、湿度、照度、気圧、及び二酸化炭素濃度のうちの１つ以上を含む。作業系列識別装置１は、映像データと周囲環境データ５５とに基づいて、移動物体が行う一連の個別作業を含む作業系列を識別する。

具体的には、作業系列識別装置１は、取得部及び制御部１２を備える。取得部は、通信部１１又は制御部１２である。取得部は、映像データと周囲環境データ５５を取得する。制御部１２は、映像データに基づいて一連の個別作業の順序を決定し、周囲環境データに基づいて一連の個別作業のそれぞれの作業内容を識別することによって、作業系列を識別する。

天井に設置されたカメラ２が生成した映像データから、人物の動線を検出することができる。しかし、この映像データから作業内容を識別することは難しい。近傍センサ３が生成した周囲環境データ５５から、作業内容を識別することができる。しかし、この周囲環境データ５５から、人物を識別して動線を検出することは難しい。本実施形態では、映像データ及び周囲環境データ５５の両方を使用することによって、人物の動線の検出と作業内容の識別の両方を実現することができる。よって、精度良く作業系列を識別することができる。

取得部は、作業領域内の互いに異なる位置に配置された複数の近傍センサ３から周囲環境データ５５をそれぞれ取得する。制御部１２は、移動物体の位置と複数の近傍センサ３の位置とに基づいて、複数の周囲環境データ５５の中から作業内容の識別に使用する周囲環境データを選択する。制御部１２は、移動物体の位置と複数の近傍センサ３の位置とに基づいて、作業内容の識別に使用する周囲環境データを複数選択した場合、選択した複数の周囲環境データに基づいて、実際に使用する周囲環境データをいずれか一つに決定する。これにより、精度良く、作業内容を識別することができる。

制御部１２は、作業領域を複数の作業場所に区分けして管理し、映像データに基づいて、複数の作業場所の中から移動物体がいる作業場所を特定し、作業場所と作業内容とを対応づけて作業系列情報５６を生成する。作業系列情報５６の生成を自動化できるため、手作業で作業系列情報５６を生成する必要がなくなる。よって、効率的に作業系列情報５６を生成することができる。このようにして生成された作業系列情報５６は、作業を分析して、機器の配置又は作業の流れなどの改善の立案を行うのに有用である。

制御部１２は、作業領域内における作業種別に応じた開始位置から終了位置までの移動物体の動線を映像データに基づいて検出し、検出した動線に沿って作業場所の特定と作業内容の識別を繰り返して、作業系列情報５６を生成する。これにより、作業種別に応じた動線上の作業系列情報５６を生成することができる。

映像データは撮影した時刻を示す時刻情報を含み、周囲環境データ５５はセンシングした時刻を示す時刻情報を含む。周囲環境データ５５と、映像データから生成される動線データ５４とは時刻情報に基づいて同期される。制御部１２は、時刻情報に基づいて、作業時間を算出する。これにより、作業系列に含まれる各個別作業にかかる作業時間を自動で計測することが可能になる。

制御部１２は、同一の個別作業にかかる作業時間の最小値、平均値、最大値、標準偏差、及びランキングの少なくともいずれか一つを算出する。算出された値は、作業を分析して、機器の配置又は作業の流れなどの改善の立案を行うのに有用である。

作業系列識別装置１は、一連の個別作業の順序、作業場所、及び作業内容と、各個別作業にかかる時間の最小値、平均値、最大値、標準偏差、及びランキングの少なくともいずれか一つを表示する表示部１５をさらに備える。これにより、ユーザは作業系列、および、作業時間を視認することができる。

本実施形態における作業領域は、厨房内の領域であり、一連の個別作業は、調理に関連する作業を含む。厨房内の作業に関連する作業系列情報５６は、厨房内の作業を分析して、機器の配置又は作業の流れなどの改善の立案を行うのに有用である。

（第２実施形態）
上記第１実施形態では、ステップＳ４０６において、制御部１２は、周囲環境データ５５に基づいて個別作業の作業内容を識別した。本実施形態では、制御部１２は、周囲環境データ５５に加えて、購入された商品を示すＰＯＳ（Point Of Sales）情報を使用して、個別作業の作業内容を識別する。

図１７は、本実施形態の作業系列識別システム１００の電気的構成を示している。本実施形態の作業系列識別システム１００は、作業系列識別装置１、カメラ２、及び複数の近傍センサ３に加え、ＰＯＳ端末４をさらに含む。ＰＯＳ端末４は、ＰＯＳ情報を生成する。ＰＯＳ情報は、販売時点における時刻、商品名、数量、及び金額などを含む。作業系列識別装置１は、ＰＯＳ端末４が生成したＰＯＳ情報を、通信部１１を介して取得する。通信部１１は、ＰＯＳ端末４からＰＯＳ情報を取得する取得部に相当する。取得したＰＯＳ情報は、記憶部１３に格納される。制御部１２は、記憶部１３からＰＯＳ情報を読み出す取得部に相当する。

図１８は、本実施形態における、ＰＯＳ情報を利用した個別作業の作業内容の識別例を示している。制御部１２は、ステップＳ４０６において、作業内容の識別に使用する係数ｑ１～ｑｍを、ＰＯＳ情報が示す購入された商品に基づいて設定する。例えば、作業内容Ｗ１～Ｗｍのそれぞれに対する係数ｑ１～ｑｍが、商品毎に予め決められていて、商品毎の係数ｑ１～ｑｍを示す情報が記憶部１３に格納されている。制御部１２は、ステップＳ４０６の前にＰＯＳ情報を記憶部１３から読み出し、ステップＳ４０６において、ＰＯＳ情報が示す購入された商品に対応する係数ｑ１～ｑｍを記憶部１３から読み出す。制御部１２は、個別作業識別器１２０により算出した各作業内容の確率Ｐ（Ｗ１）～Ｐ（Ｗｍ）に対し、購入された商品に対応する係数ｑ１～ｑｍをそれぞれ乗算する。すなわち、制御部１２は、個別作業識別器１２０から出力されるｍ個の個別作業のそれぞれの確率Ｐ（Ｗ）に対して、「Ｐ（Ｗ）×ｑ」を算出する。制御部１２は、「Ｐ（Ｗ）×ｑ」の算出値が最大となる作業内容Ｗが、個別作業識別器１２０に入力した検出値ｄ１～ｄｎに対応する個別作業の作業内容であると判断する。制御部１２は、このようにして識別した結果の作業内容Ｗを、作業系列情報５６に書き込む。

以上のように、本実施形態の取得部は、周囲環境データ５５に加え、購入された商品を示すＰＯＳ情報を取得する。制御部１２は、ＰＯＳ情報と周囲環境データ５５とに基づいて、作業内容を識別する。これにより、精度良く作業内容を識別することができる。

なお、本実施形態では、個別作業識別器１２０から出力されるｍ個の個別作業のそれぞれの確率Ｐ（Ｗ）と係数ｑの積を算出することにより作業内容を判断したが、係数ｑを個別作業識別器１２０の教師データとして予め学習させておいてもよい。この場合、個別作業識別器１２０には検出値ｄと係数ｑを入力し、出力から得られる確率Ｐ（Ｗ１）～Ｐ（Ｗｍ）の中で最も値が大きい作業内容が、入力した検出値ｄに対応する作業内容であると判断する。

（第３実施形態）
第１及び第２実施形態では、作業系列識別システム１００が、一連の個別作業を含む作業系列を識別して、作業系列を示す作業系列情報５６を生成する例について説明した。本実施形態では、作業系列識別システム１００は、一連の個別作業を行う移動物体の稼働率を算出する。具体的には、作業系列識別装置１の制御部１２は、動線上において移動物体が稼働していない時間を算出することによって、稼働率を算出する。

図１９は、第３実施形態における作業系列識別装置１の制御部１２による稼働率の算出の動作を示すフローチャートである。制御部１２は、例えば、図１５及び図１６に示される作業系列情報５６の生成後に、図１９に示す稼働率の算出を行う。図１５及び図１６に示される作業系列情報５６の生成と並行して、図１９に示す稼働率の算出が行われてもよい。図１９のステップＳ１１～Ｓ１３は、第１実施形態の図１５のステップＳ１～Ｓ３と同一である。図１９のステップＳ１６～Ｓ１８は、第１実施形態の図１６のステップＳ４０１～Ｓ４０５に相当する。

制御部１２は、カメラ２の映像データを取得する（Ｓ１１）。制御部１２は、作業種別に応じた開始位置及び終了位置の情報を取得する（Ｓ１２）。制御部１２は、開始位置から終了位置までの動線を映像データから検出する（Ｓ１３）。

制御部１２は、動線の開始から終了までの時間を第１の期間の長さとして算出する（Ｓ１４）。例えば、制御部１２は、動線データ５４に含まれる時刻情報に基づいて、第１の期間の長さを算出する。

制御部１２は、ステップＳ１３で検出した動線の開始位置から終了位置までの中で、動線の移動量が第１の閾値以下となる時間を、第２の期間の長さとして算出する（Ｓ１５）。例えば、制御部１２は、動線データ５４に基づいて、ｘ座標及びｙ座標の変化量の合計値が第１の閾値以下である時間を、動線データ５４に含まれる時刻情報に基づいて算出する。

制御部１２は、第２の期間内における作業場所を動線データ５４と区分け情報５２とに基づいて特定する（Ｓ１６）。制御部１２は、センサ位置情報５１を参照して、特定した作業場所における周囲環境状態を検出する近傍センサ３を選択する（Ｓ１７）。制御部１２は、近傍センサ３が生成した第２の期間内における周囲環境データ５５を記憶部１３から取得する（Ｓ１８）。ステップＳ１７において選択した近傍センサ３が複数個あれば、制御部１２は、選択した近傍センサ３が生成した周囲環境データ５５に基づいて、作業内容の識別に使用する近傍センサ３を１つ決定する。

制御部１２は、第２の期間内の周囲環境データ５５において検出値の変化量が第２の閾値以下となる時間を、第３の期間の長さとして算出する（Ｓ１９）。例えば、制御部１２は、第２の期間内の周囲環境データ５５に含まれる電磁波の検出値が第２の閾値以下である時間を、周囲環境データ５５に含まれる時刻情報に基づいて算出する。周囲環境データ５５に含まれる検出値ｄ１～ｄｎの中でいずれの検出値を使用するかを、ステップＳ１６で特定した作業場所に応じて変えてもよい。制御部１２は、周囲環境データ５５に含まれる検出値ｄ１～ｄｎの全てを、それぞれ対応する第２の閾値と比較してもよい。ステップＳ１５において、動線の開始位置から終了位置までの中で複数の第２の期間が算出されている場合、制御部１２は、それぞれの第２の期間について、ステップＳ１６～Ｓ１９に示す処理を行い、第３の期間の長さをそれぞれ算出する。

第３の期間は、動線の移動量が第１の閾値以下で且つ周囲環境データ５５において検出値の変化量が第２の閾値以下となる時間である。すなわち、第３の期間は、移動物体の非稼働時間を表す。

制御部１２は、稼働率を算出する（Ｓ２０）。具体的には、制御部１２は、「稼働率＝（第１の期間－第３の期間の合計）／第１の期間」によって、稼働率を算出する。なお、制御部１２は、「非稼働率＝第３の期間の合計／第１の期間」によって、非稼働率を算出してもよい。

制御部１２は、算出した稼働率を作業系列情報５６に追加してもよいし、表示部１５に表示してもよい。制御部１２は、第３の期間の長さである非稼働時間を作業系列情報５６に追加してもよいし、表示部１５に表示してもよい。例えば、制御部１２は、ステップＳ１６で特定した作業場所と非稼働時間を対応づけて作業系列情報５６に追加してもよい。
表示部１５は、非稼働時間を作業場所の近傍に表示してもよい。

このように、制御部１２は、検出した動線上において、移動物体の位置の変化量が第１の閾値以下であり、且つ、周囲環境状態の変化量が第２の閾値以下である時間の、動線の全時間内における割合に基づいて、移動物体の稼働率を算出する。稼働率を示すデータは、作業を分析して、機器の配置又は作業の流れなどの改善の立案を行うのに有用である。

（他の実施形態）
以上のように、本出願において開示する技術の例示として、上記第１実施形態～第３実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施形態にも適用可能である。そこで、以下、他の実施形態を例示する。

上記第１実施形態～第３実施形態では、厨房にいる人物が行う一連の個別作業を含む作業系列を識別する例について説明したが、作業系列の識別の対象は厨房内の人物が行う作業に限定しない。例えば、作業系列の識別の対象は、厨房内における作業に限らず、工場内における作業であってもよい。作業系列の識別の対象は、人物が行う作業に限らず、フォークリフトやロボットなどの機械が行う作業であってもよい。作業系列識別装置１、カメラ２、及び複数の近傍センサ３は、工場内に設置されてもよい。カメラ２は、工場内においてフォークリフトが移動する範囲を撮影してもよい。作業系列識別装置１は、近傍センサ３を使用して、フォークリフトの動作を検出してもよい。近傍センサ３は、人間の動作、機械の動作、及び現場環境を検出するのに使用することができる。人間の動作は、例えば、製品の組み立て、ピッキング、弁当の調理を含む。機械の動作は、ライン動作、フォークリフト動作、及び調理器具の状況を含む。現場環境は、騒音、温度、湿度、二酸化炭素濃度、及び照度などを含む。

また、上記第１実施形態～第３実施形態では、店舗における厨房内の一連の個別作業を含む作業系列を識別する例について説明した。しかしながら、その適用対象は店舗などの商用用途のみならず、家庭内のキッチン、あるいは、部屋における作業であってもよい。例えば、家庭内のキッチンの場合、作業系列識別装置１、カメラ２、及び複数の近傍センサ３は、キッチンに配置されてもよい。近傍センサ３は、調理者の動作、調理器具の動作、及びキッチン環境を検出するのに使用することができる。調理者の動作は、食品の取り出し・収納、食品の調理、食器の取り出し・収納を含む。調理器具の動作は、食品棚の開閉、調理器具の状況、収納棚の開閉を含む。キッチン環境は、騒音、温度、湿度、二酸化炭素濃度、及び照度などを含む。これにより、キッチンでの調理作業の作業系列を識別する。

上記実施形態では、遠隔センサの一例としてカメラ２を使用したが、遠隔センサはカメラ２に限らない。遠隔センサは、移動物体の位置を検出できるセンサであればよい。上記実施形態では、作業系列識別装置１が、映像データを画像解析することによって、動線データ５４を生成したが、作業系列識別装置１は、カメラ２を備えた別の機器又は移動物体の位置を検出する別の遠隔センサから動線データ５４を取得してもよい。

また、上記実施形態では、作業種別に応じた開始位置及び終了位置を開始終了情報５３から検出したが、カメラ２の映像データから開始位置及び終了位置を検出してもよい。具体的には、カメラ２から得られる動線位置と動き差分情報を利用し、動線が特定範囲に含まれ、かつ、動き差分情報が予め決められた閾値以上となった場合に、その位置を作業の開始位置、あるいは、終了位置として検出する。これは、通常想定される位置以外において作業の開始及び／又は終了が行われた場合に有用である。例えば、料理の提供の際は、従業員が手を伸ばすため、そのときの動き差分値が大きな値を示す。よって、カウンタ付近において、通常の料理提供位置以外の場所であったとしても、動き差分値が閾値以上であれば、作業終了位置として検出することができる。

（実施形態の概要）
（１）本開示の作業系列識別装置は、一連の個別作業を含む作業系列を識別する作業系列識別装置であって、作業領域内における移動物体の位置を時系列に示す第１のセンシング情報と、作業領域内の異なる位置における周囲環境状態を時系列に示す複数の第２のセンシング情報と、を取得する取得部と、第１のセンシング情報に基づいて一連の個別作業の順序を特定し、第２のセンシング情報に基づいて一連の個別作業のそれぞれの作業内容を識別する制御部と、を備える。

これにより、精度良く作業系列を識別することができる。

（２）（１）の作業系列識別装置において、取得部は、作業領域内の異なる位置に配置された複数の近傍センサから第２のセンシング情報をそれぞれ取得し、制御部は、第１のセンシング情報が示す移動物体の位置と複数の近傍センサの位置とに基づいて、複数の第２のセンシング情報の中から作業内容の識別に使用する第２のセンシング情報を選択してもよい。

これにより、精度良く、個別作業の作業内容を識別することができる。

（３）（２）の作業系列識別装置において、制御部は、移動物体の位置と複数の近傍センサの位置とに基づいて、作業内容の識別に使用する第２のセンシング情報を複数選択した場合、選択した複数の第２のセンシング情報に基づいて、実際に使用する第２のセンシング情報をいずれか一つに決定してもよい。

これにより、精度良く、個別作業の作業内容を識別することができる。

（４）（１）の作業系列識別装置において、制御部は、作業領域を複数の作業場所に区分けして管理し、第１のセンシング情報に基づいて、複数の作業場所の中から移動物体がいる作業場所を特定し、作業場所と作業内容とを対応づけて、作業系列を示す作業系列情報を生成してもよい。

この作業系列情報は、作業を分析して、機器の配置又は作業の流れなどの改善の立案を行うのに有用である。

（５）（４）の作業系列識別装置において、制御部は、作業領域内における第１の所定位置から第２の所定位置までの移動物体の動線を第１のセンシング情報に基づいて検出し、検出した動線に沿って作業場所の特定と作業内容の識別を繰り返して、作業系列情報を生成してもよい。

第１の所定位置と第２の所定位置を作業種別に応じて設定することで、作業種別に応じた動線上の作業系列情報を生成することができる。

（６）（５）の作業系列識別装置において、第１のセンシング情報と第２のセンシング情報はそれぞれセンシングした時刻を示す時刻情報を含み、制御部は、時刻情報に基づいて、第１のセンシング情報と第２のセンシング情報とを対応付けてもよい。

これにより、個別作業の順序と作業内容とを精度良く識別することができる。

（７）（６）の作業系列識別装置において、制御部は、時刻情報に基づいて、各個別作業にかかる時間を計測してもよい。

計測された時間は、作業を分析して、機器の配置又は作業の流れなどの改善の立案を行うのに有用である。

（８）（７）の作業系列識別装置において、制御部は、同一の個別作業にかかる時間の最小値、平均値、最大値、標準偏差、及びランキングの少なくともいずれか一つを算出してもよい。

算出された最小値、平均値、最大値、標準偏差、及びランキングは、作業を分析して、機器の配置又は作業の流れなどの改善の立案を行うのに有用である。

（９）（６）の作業系列識別装置において、制御部は、検出した動線上において、移動物体の位置の変化量が第１の閾値以下であり、且つ、周囲環境状態の変化量が第２の閾値以下である時間の、動線の全時間内における割合に基づいて、移動物体の稼働率を算出してもよい。

稼働率は、作業を分析して、機器の配置又は作業の流れなどの改善の立案を行うのに有用である。

（１０）（１）の作業系列識別装置は、一連の個別作業の順序、作業場所、及び作業内容と、各個別作業にかかる時間の最小値、平均値、最大値、標準偏差、及びランキングの少なくともいずれか一つを表示する表示部をさらに備えてもよい。

これにより、ユーザは作業系列を視認することができる。

（１１）（１）の作業系列識別装置において、取得部は、購入された商品を示すＰＯＳ情報を取得し、制御部は、ＰＯＳ情報と第２のセンシング情報とに基づいて、作業内容を識別してもよい。

これにより、精度良く、個別作業の作業内容を識別することができる。

（１２）（１）の作業系列識別装置において、取得部は、第１のセンシング情報として、作業領域を撮影するカメラが生成した映像データを取得してもよい。

（１３）（１）の作業系列識別装置において、第２のセンシング情報が示す周囲環境状態は、音、振動、赤外線、電磁波、地磁気、加速度、温度、湿度、照度、気圧、及び二酸化炭素濃度のうちの１つ以上を含んでもよい。

（１４）（１）の作業系列識別装置において、作業領域は厨房内の領域であり、一連の個別作業は調理に関連する作業を含んでもよい。

（１５）本開示の作業系列識別システムは、作業領域を撮影して作業領域内における移動物体の位置を時系列に示す第１のセンシング情報を生成するカメラと、作業領域内の異なる位置に配置され、配置された位置の周囲環境状態を時系列に示す第２のセンシング情報を生成する複数の近傍センサと、第１のセンシング情報と複数の第２のセンシング情報とに基づいて、移動物体が行う一連の個別作業を含む作業系列を識別する（１）から（１４）のいずれか１つの作業系列識別装置と、を含む。

（１６）本開示の作業系列識別方法は、演算部により、一連の個別作業を含む作業系列を識別する作業系列識別方法であって、作業領域内における移動物体の位置を時系列に示す第１のセンシング情報と、作業領域内の異なる位置における周囲環境状態を時系列に示す複数の第２のセンシング情報と、を取得するステップと、第１のセンシング情報に基づいて一連の個別作業の順序を特定し、第２のセンシング情報に基づいて一連の個別作業のそれぞれの作業内容を識別するステップと、を含む。

（１７）（１６）の作業系列識別方法は、一連の個別作業の順序、作業場所、及び作業内容と、各個別作業にかかる時間の最小値、平均値、最大値、標準偏差、及びランキングの少なくともいずれか一つを表示する表示ステップをさらに含んでもよい。

（１８）（１７）の作業系列識別方法は、表示ステップが、一連の個別作業の中から、いずれかの個別作業を選択するステップと、選択した個別作業にかかる時間の最小値、平均値、最大値、標準偏差、及びランキングのうちのいずれかを代表値として選択するステップと、選択した代表値に対応する個別作業の映像を表示するステップとを有してもよい。

（１９）本開示のプログラムは、（１６）の作業系列識別方法をコンピュータに実行させる。

本開示の全請求項に記載の作業系列識別装置、作業系列識別システム、及び作業系列識別装置方法は、ハードウェア資源、例えば、プロセッサ、メモリ、及びプログラムとの協働などによって、実現される。

本開示の作業系列識別装置及び作業系列識別システムは、一連の個別作業を含む作業系列を自動で識別する装置として有用である。

１ 作業系列識別装置
２ カメラ
３ 近傍センサ
４ ＰＯＳ端末
１１ 通信部
１２ 制御部
１３ 記憶部
１４ 入力部
１５ 表示部
１６ バス
１００ 作業系列識別システム
１２０ 個別作業識別器

Claims (20)

1. 一連の個別作業を含む作業系列を識別する作業系列識別装置であって、
   作業領域内における移動物体の位置を時系列に示す第１のセンシング情報と、前記作業領域内の異なる位置に配置された複数の近傍センサから周囲環境状態を時系列に示す複数の第２のセンシング情報と、を取得する取得部と、
   前記一連の個別作業のそれぞれの作業内容を識別する制御部と、
   を備える、作業系列識別装置であって、
   前記制御部は、
   前記第１のセンシング情報から、前記移動物体の作業に応じた開始位置から終了位置までの動線を検出し、
   （ａ）前記動線に基づいて、前記移動物体の位置と関連付けられる前記近傍センサの前記第２のセンシング情報を１つ選択し、
   （ｂ）それぞれに含まれる時刻情報に基づいて前記第１のセンシング情報と選択された前記第２のセンシング情報とを対応づけ、
   （ｃ）選択された前記第２のセンシング情報に基づいて、前記移動物体の個別作業の作業内容を識別し、
   （ｄ）前記開始位置から前記終了位置まで、（ａ）から（ｃ）を繰り返す、
   作業系列識別装置。
2. 前記制御部は、前記第１のセンシング情報が示す前記移動物体の位置と前記複数の近傍センサの位置とに基づいて、前記複数の第２のセンシング情報の中から前記作業内容の識別に使用する第２のセンシング情報を選択する、
   請求項１に記載の作業系列識別装置。
3. 前記制御部は、前記移動物体の位置と前記複数の近傍センサの位置とに基づいて、前記作業内容の識別に使用する第２のセンシング情報を複数選択した場合、前記選択した複数の第２のセンシング情報に基づいて、実際に使用する第２のセンシング情報をいずれか一つに決定する、
   請求項２に記載の作業系列識別装置。
4. 前記制御部は、前記作業領域を複数の作業場所に区分けして管理し、前記第１のセンシング情報に基づいて、前記複数の作業場所の中から前記移動物体がいる作業場所を特定し、
   前記作業場所と前記作業内容とを対応づけて、前記作業系列を示す作業系列情報を生成する、
   請求項１に記載の作業系列識別装置。
5. 前記制御部は、
   前記作業領域内における第１の所定位置から第２の所定位置までの前記移動物体の動線を前記第１のセンシング情報に基づいて検出し、
   前記検出した動線に沿って前記作業場所の特定と前記作業内容の識別を繰り返して、前記作業系列情報を生成する、
   請求項４に記載の作業系列識別装置。
6. 前記第１のセンシング情報と前記第２のセンシング情報はそれぞれセンシングした時刻を示す時刻情報を含み、
   前記制御部は、前記時刻情報に基づいて、前記第１のセンシング情報と前記第２のセンシング情報とを対応付ける、
   請求項５に記載の作業系列識別装置。
7. 前記制御部は、前記時刻情報に基づいて、各個別作業にかかる時間を計測する、
   請求項６に記載の作業系列識別装置。
8. 前記制御部は、同一の個別作業にかかる時間の最小値、平均値、最大値、標準偏差、及びランキングの少なくともいずれか一つを算出する、
   請求項７に記載の作業系列識別装置。
9. 前記一連の個別作業の順序、作業場所、及び作業内容と、各個別作業にかかる時間の最小値、平均値、及び最大値の少なくともいずれか一つを表示する表示部をさらに備える、
   請求項１に記載の作業系列識別装置。
10. 前記取得部は、前記第１のセンシング情報として、前記作業領域を撮影するカメラが生成した映像データを取得する、
    請求項１に記載の作業系列識別装置。
11. 前記第２のセンシング情報が示す周囲環境状態は、音、振動、赤外線、電磁波、地磁気、加速度、温度、湿度、照度、気圧、及び二酸化炭素濃度のうちの１つ以上を含む、
    請求項１に記載の作業系列識別装置。
12. 前記作業領域は、厨房内の領域であり、
    前記一連の個別作業は、調理に関連する作業を含む、
    請求項１に記載の作業系列識別装置。
13. 前記第２のセンシング情報は機械学習を使用して、個別作業の作業内容を識別するように学習されたモデルを含む、
    請求項１に記載の作業系列識別装置。
14. 前記制御部は、前記第１のセンシング情報に基づいて、前記移動物体が各作業位置にいる時刻を示す時間帯を抽出し、前記時間帯に対応する第２のセンシング情報に基づいて前記移動物体の作業内容を識別する、
    請求項１に記載の作業系列識別装置。
15. 一連の個別作業を含む作業系列を識別する作業系列識別装置であって、
    作業領域内における移動物体の位置を時系列に示す第１のセンシング情報と、前記作業領域内の異なる位置における周囲環境状態を時系列に示す複数の第２のセンシング情報と、を取得する取得部と、
    前記第１のセンシング情報に基づいて前記一連の個別作業の順序を特定し、前記第２のセンシング情報に基づいて前記一連の個別作業のそれぞれの作業内容を識別する制御部と、
    を備え、
    前記第１のセンシング情報と前記第２のセンシング情報はそれぞれセンシングした時刻を示す時刻情報を含み、
    前記制御部は、
    前記作業領域内における第１の所定位置から第２の所定位置までの前記移動物体の動線を前記第１のセンシング情報に基づいて検出し、
    前記作業領域を複数の作業場所に区分けして管理し、前記第１のセンシング情報に基づいて、前記複数の作業場所の中から前記移動物体がいる作業場所を特定し、
    前記時刻情報に基づいて、前記第１のセンシング情報と前記第２のセンシング情報とを対応付け、
    前記作業場所と前記作業内容とを対応づけて、前記作業系列を示す作業系列情報を生成し、
    前記検出した動線に沿って前記作業場所の特定と前記作業内容の識別を繰り返して、前記作業系列情報を生成し、
    検出した前記動線上において、前記移動物体の位置の変化量が第１の閾値以下であり、且つ、前記周囲環境状態の変化量が第２の閾値以下である時間の、前記動線の全時間内における割合に基づいて前記移動物体の稼働率を算出する、
    作業系列識別装置。
16. 一連の個別作業を含む作業系列を識別する作業系列識別装置であって、
    作業領域内における移動物体の位置を時系列に示す第１のセンシング情報と、前記作業領域内の異なる位置における周囲環境状態を時系列に示す複数の第２のセンシング情報と、を取得する取得部と、
    前記第１のセンシング情報に基づいて前記一連の個別作業の順序を特定し、前記第２のセンシング情報に基づいて前記一連の個別作業のそれぞれの作業内容を識別する制御部と、
    を備え、
    前記取得部は、購入された商品を示すＰＯＳ情報を取得し、
    前記制御部は、前記ＰＯＳ情報と前記第２のセンシング情報とに基づいて、前記作業内容を識別する、
    作業系列識別装置。
17. 作業領域を撮影して前記作業領域内における移動物体の位置を時系列に示す第１のセンシング情報を生成するカメラと、
    前記作業領域内の異なる位置に配置され、配置された位置の周囲環境状態を時系列に示す第２のセンシング情報を生成する複数の近傍センサと、
    前記第１のセンシング情報と前記複数の第２のセンシング情報とに基づいて、前記移動物体が行う一連の個別作業を含む作業系列を識別する、請求項１から請求項１６のいずれか１つに記載の作業系列識別装置と、
    を含む、作業系列識別システム。
18. 一連の個別作業を含む作業系列を識別する作業系列識別方法をコンピュータに実行させるプログラムであって、
    前記作業系列識別方法は、
    前記コンピュータにおいて、作業領域内における移動物体の位置を時系列に示す第１のセンシング情報と、前記作業領域内の異なる位置に配置された複数の近傍センサから周囲環境状態を時系列に示す複数の第２のセンシング情報と、を取得するステップと、
    前記コンピュータにおいて、前記一連の個別作業のそれぞれの作業内容を識別するステップと、
    を含み、
    前記作業内容を識別するステップは、
    前記第１のセンシング情報から、前記移動物体の作業に応じた開始位置から終了位置までの動線を検出し、
    （ａ）前記動線に基づいて、前記移動物体の位置と関連付けられる前記近傍センサの前記第２のセンシング情報を１つ選択し、
    （ｂ）それぞれに含まれる時刻情報に基づいて前記第１のセンシング情報と選択された前記第２のセンシング情報とを対応づけ、
    （ｃ）選択された前記第２のセンシング情報に基づいて、前記移動物体の個別作業の作業内容を識別し、
    （ｄ）前記開始位置から前記終了位置まで、（ａ）から（ｃ）を繰り返す、
    ことを含む、プログラム。
19. 前記作業系列識別方法は、
    前記一連の個別作業の順序、作業場所、及び作業内容と、各個別作業にかかる時間の最小値、平均値、及び最大値の少なくともいずれか一つを表示する表示ステップをさらに含む、
    請求項１８に記載のプログラム。
20. 前記表示ステップは、
    前記一連の個別作業の中から、いずれかの個別作業を選択するステップと、
    前記選択した個別作業にかかる時間の最小値、平均値、最大値、標準偏差、及びランキングのうちのいずれかを代表値として選択するステップと、
    前記選択した代表値に対応する個別作業の映像を表示するステップと、
    を有する、
    請求項１９に記載のプログラム。

Images