JP2016105267A - 情報処理装置、情報処理方法、およびプログラム - Google Patents

Abstract

【課題】装置の動作音を表すモデルの近似精度を高め、異常音の検知精度を向上させる。
【解決手段】集音部１４は装置の動作音を集音し、音データ１０２ｂを特徴量生成部１０２へ出力する。コンテキスト情報取得部１０１は、装置の動作時のコンテキスト情報１０２ａを取得し、特徴量生成部１０２へ出力する。特徴量生成部１０２は、コンテキスト情報の各項目に対応する音データ１０２ｂの特徴量を生成し、コンテキスト情報とともにクラスタリング部１０３へ出力する。クラスタリング部１０３は、入力された特徴量を用いて装置の動作状態をクラスタリングし、動作状態テーブル１０４を作成する。
【選択図】図２

Description

本発明は、情報処理装置、情報処理方法、およびプログラムに関する。

画像形成装置において、コンテキスト情報に基づく動作状態毎に、集音手段にて集音した動作音データと、予め用意しておいた動作音データとを比較して、異常を検知する技術が知られている。

すなわち、例えば特許文献１には、予め収集して記憶しておいた各ユニット（ドラムモータ、給紙モータ、定着モータ、現像クラッチなど）の動作音データと、画像形成装置を動作させて収集した動作音データとを比較し、差が所定レベル以上のとき、異常音として検出するとともに、各ユニットの動作シーケンステーブルを用いて、異常音を発生しているユニットを特定する機能を有する画像形成装置が記載されている。

また、特許文献２には、画像形成装置を動作させて収集した各部品の動作音が増大したとき、予め収集して記憶しておいた各部品が発生する異常音データと比較し、一致したとき異常と判定する機能を有する画像形成装置が記載されている。

しかし、このようなコンテキスト情報および動作音データを利用して異常を検知する技術では、動作状態毎に動作音データが必要なため、動作状態毎に利用できる動作音データの量が相対的に少なくなり、動作音を表すモデルの近似精度が悪くなってしまい、結果として検知精度が低くなるという問題がある。

以下、この問題について下記の表１および表２を参照して説明する。ここで、表１はコンテキスト情報の例を示しており、表２はコンテキスト情報を考慮した動作状態の例を示している。

表１において、コンテキスト情報の各項目の動作フラグを０／１で定義する(アナログ量の場合は閾値で切って２状態に分ける)。表１に示す全ての項目のコンテキスト情報を使用する場合は、２^９（＝５１２）通りの動作状態が考えられる(実際にはあり得ない動作状態も存在するので多少少なくなる)。この時の動作状態の例を表２に示す。ここには３種類の例を示したが、全部で５１２の動作状態があることになる。

実際の動作音データの収集を想定した場合、集音できる動作音データの量は、記憶媒体の容量や動作状態の再現の困難さ等の理由により、実用上有限である。特に、異常動作音データの収集については、装置を動作させて集音し続け、たまたま発生した異常音を人間が判断して抽出することになり、任意に発生させて自由に集音することはできない。

このように、集音できる動作音データの量が実用上有限であるため、そのデータ量が一定であるとの前提で、モデルの近似精度が悪くなる理由について説明する。モデルを平均と分散で表現するものとする。一般的な話として、あるデータ群を使ってそれを平均と分散で表現する場合、データの数が多ければ多い程、平均と分散はデータ群を正しく表現できることになる。しかし、データの数が不十分な場合は、データ全体の分布状況も見えにくく、平均と分散の妥当性が低くなってしまう。この状態を近似精度が悪いと言う。よって、データの数が不十分だとモデルの近似精度が悪くなる。

表１に示す９つの項目のコンテキスト情報があり、音データが５１２個あったとすると、コンテキスト情報の数がそのまま動作状態数に影響するので、動作状態数は２^９（＝５１２）通りになる。したがって、１つの動作状態に割り当てられる音データ数は「平均１」となる。ここで平均と言っている理由は、５１２の音データの中には、動作状態が存在しないものもあれば、複数あるものもあるからである。

このように、コンテキスト情報の数だけ動作状態をクラスタリング（分割）した従来技術では、動作状態の一つ当たりに割り当てられるデータ数が少なくなるため、動作音を表すモデルの近似精度が悪くなってしまい、異常音の検知精度が低くなるという問題がある。

本発明は、このような問題を解決するためになされたものであり、その目的は、画像形成装置などの装置の動作音を表すモデルの近似精度を高め、異常音の検知精度を向上させることである。

本発明に係る情報処理装置は、集音対象装置の動作音を集音して音データを取得する集音部と、前記装置の動作時のコンテキスト情報を取得するコンテキスト情報取得部と、前記コンテキスト情報に対応する音データの特徴量を生成する特徴量生成部と、前記特徴量を用いて前記装置の動作状態テーブルを作成するクラスタリング部と、を有する、情報処理装置である。

本発明に係る情報処理装置によれば、画像形成装置などの装置の動作音を表すモデルの近似精度を高め、異常音の検知精度を向上させることができる。

図１は、第１実施形態に係る情報処理装置により画像形成装置の動作音を収集するシステムの構成を示す図である。 図２は、第１実施形態に係る情報処理装置の機能を説明するためのブロック図である。 図３は、第１実施形態における特徴量生成部および特徴量比較部の動作について説明するためのグラフである。 図４は、第１実施形態に係る情報処理装置における動作状態テーブル作成手順の第１の例を示すフローチャートである。 図５は、第１実施形態に係る情報処理装置における動作状態テーブル作成手順の第２の例を示すフローチャートである。 図６は、第２実施形態に係る情報処理装置の機能を説明するためのブロック図である。 図７は、第２実施形態における特徴量生成部および異常判定部の動作について説明するためのグラフである。 図８は、第２実施形態に係る情報処理装置における異常判定までの処理手順の例を示すフローチャートである。 図９は、第３実施形態に係る情報処理装置の機能を説明するためのブロック図である。 図１０は、第３実施形態に係る情報処理装置における異常判定までの処理手順の例を示すフローチャートである。

以下、第１実施形態について図面を参照して説明する。
〈画像形成装置の動作音を収集するシステム〉
図１は、本実施形態に係る情報処理装置により画像形成装置の動作音を収集するシステム（以下、本システム）の構成を示す図である。図示のように、本システムは、情報処理装置としてのコンピュータ１と、動作音の集音対象装置としての画像形成装置２により構成されている。

コンピュータ１は、制御部１０、操作表示部１１、通信Ｉ／Ｆ（インタフェース）部１２、外部Ｉ／Ｆ部１３を備えており、外部Ｉ／Ｆ１３部には、画像形成装置２の動作音データを集音する集音部１４が接続されている。また、画像形成装置２は、制御部２０、通信Ｉ／Ｆ部２１、操作表示部２２、およびエンジン部２３を備えている。

コンピュータ１の制御部１０は、ＣＰＵ１０ａ、ＲＯＭ１０ｂ、ＲＡＭ１０ｃ、およびＥＥＰＲＯＭ１０ｄを備えている。制御部１０は、ＲＯＭ１０ｂに記憶された制御プログラムをＣＰＵ１０ａで実行することにより、コンピュータ１を統括的に制御する。ＲＯＭ１０ｂには、ＣＰＵ１０ａに各種の処理を実行させるための制御プログラムが予め記憶されている。ＲＡＭ１０ｃは揮発性の記憶手段であり、ＣＰＵ１０ａが実行する各種処理用のデータの一時記憶手段として利用される。ＥＥＰＲＯＭ１０ｄは不揮発性の記憶手段であり、コンピュータ１の設定情報、画像形成装置２から収集した動作音データ、動作状態テーブルなどの情報を記憶するために使用される。なお、ＥＥＰＲＯＭ１０ｄに代えて、あるいはＥＥＰＲＯＭ１０ｄとともにハードディスクまたはＳＳＤ（Solid State Drive）などの不揮発性の記憶手段を備えていてもよい。

操作表示部１１は、キーボードやマウスなどの入力装置と、液晶ディスプレイなどの出力装置を備えており、ユーザの操作による指示の入力やコンピュータ１の動作状態の表示などを行う。通信Ｉ／Ｆ部１２は、制御部１０の制御に基づき画像形成装置２の通信Ｉ／Ｆ部２１との間で制御信号やデータの通信を行う。外部Ｉ／Ｆ部１３は、集音部１４で集音された画像形成装置２の音データを制御部１０に入力する。

画像形成装置２の制御部２０は、コンピュータ１の制御部１０と同様、ＣＰＵ、ＲＯＭ、ＲＡＭ、およびＥＥＰＲＯＭを備えており、画像形成装置２の全体を統括的に制御する。

通信Ｉ／Ｆ部２１は、制御部２０の制御に基づきコンピュータ１の通信Ｉ／Ｆ部１２との間で制御信号やデータの通信を行う。操作表示部２２は、液晶ディスプレイなどの表示装置や各種操作ボタンなどを備え、ユーザの操作による指示の入力や画像形成装置２の動作状態の表示などを行う。エンジン部２３は、画像データを用紙上に形成して出力する作像動作に必要な各種モータやセンサ、露光装置、感光ドラム、現像器、用紙搬送機構などを備えている。

〈コンピュータのブロック図〉
図２は、コンピュータ１の機能を説明するためのブロック図であり、図３は、図２における特徴量生成部および特徴量比較部の動作について説明するためのグラフである。

図２に示すように、コンピュータ１は、コンテキスト情報取得部１０１、特徴量生成部１０２、クラスタリング部１０３、および集音部１４を備えている。ここで、コンテキスト情報取得部１０１、特徴量生成部１０２、およびクラスタリング部１０３は、図１におけるＲＯＭ１０ｂに格納されている動作音収集プログラムにより実現される機能ブロックである。

コンテキスト情報取得部１０１は、画像形成装置２から通信Ｉ／Ｆ部１２を介してコンテキスト情報１０２ａを取得し、特徴量生成部１０２へ出力する。画像形成装置２は、ＳＰモードによって任意のコンテキスト状態で装置を動作させることができる。このとき取得するコンテキスト情報は表１に示したものと同じである。なお、以下の説明では、コンテキスト情報の項目を「コンテキスト項目」、コンテキスト項目の番号を「コンテキスト番号」という。また、コンテキスト番号１のコンテキスト項目を「コンテキスト項目１」という。他のコンテキスト番号のコンテキスト情報についても同様である。

集音部１４は、第１〜第３マイク１４ａ〜マイク１４ｃ、およびアンプ１４ｄを備えている。これらのマイクは、画像形成装置２の検知したい動作音に応じて、画像形成装置２の適当な位置に配置される。また、マイクの総数は１つ以上、いくつでもよい。

第１〜第３マイク１４ａ〜１４ｃは、画像形成装置２の動作音をアナログの電気信号に変換し、アンプ１４ｄは各マイクからのアナログの電気信号を増幅し、デジタル化して音データ１０２ｂとし、外部Ｉ／Ｆ部１３（図１）を介して特徴量生成部１０２へ出力する。なお、本実施形態における「音データ」、「データ」、「特徴量データ」などは、全て「アナログの電気信号をデジタル化したデータ」である。

コンテキスト情報として定着ユニットの駆動モータ（番号１）に着目する場合、これ以外の項目（番号２〜９）のON/OFFは全て同じとし、定着ユニットの駆動モータのみONのときとOFFのときの２種類の音データを取得する。他の項目について着目する場合も同様に、着目している項目以外の項目は全て同じとし、着目している項目のみONのときとOFFのときの２種類の音データを取得する。

特徴量生成部１０２は、入力された音データ１０２ｂから特徴量データを生成する。ここでは、特徴量として、音データの周波数特性を圧縮した８〜６４次元のデータを用いる。なお、この特徴量データは公知であり、例えば特開平９−２００４１４号公報に詳細に記載されているので、ここでは詳細な内容は説明しない。また、特徴量生成部１０２は、このようにして生成した特徴量、およびコンテキスト情報をクラスタリング部１０３へ出力する。

クラスタリング部１０３は、特徴量比較部１０３ａおよび動作状態テーブル作成部１０３ｂを備えている。
特徴量比較部１０３ａは、コンテキスト項目毎にONのときとOFFのときの２種類の音データに対応する特徴量を比較し、所定の閾値以上の差があるか否かに基づいて、動作音への影響性の有無を判定する。すなわち、例えばコンテキスト項目１の定着ユニットの駆動モータがONのときとOFFのときの特徴量の差が閾値未満であれば、定着ユニットの駆動モータは、動作音への影響性なしと判定し、閾値以上であれば、動作音への影響性ありと判定する。つまり、あるコンテキスト項目の動作音への影響性の有無とは、そのコンテキスト項目の動作フラグの変化が動作音に影響するか否かを意味する。動作音から見た場合、動作音がコンテキスト項目の動作フラグの変化に影響されるか否か（依存するか否か）を意味する。

図３を用いて具体的に説明する。図３Ａに示す特徴量データ２０１を「定着ユニットの駆動モータ」がOFFの時の特徴量データ、図３Ｂに示す特徴量データ２０２および図３Ｃに示す特徴量データ２０３を「定着ユニットの駆動モータ」がONの時の特徴量データとする。他の項目のコンテキスト情報は全てOFFとする。また、図３Ａ〜Ｃにおいて、横軸は音データの周波数であり、縦軸は特徴量（音データの強度）である。

まず、ONとOFFでデータに差が小さい場合を示す。図３Ｄは、特徴量データ２０１および２０２を１つの特徴量対周波数特性として記載したものである。また、図３Ｆは、特徴量データ２０１と特徴量データ２０２との間の変化量（差）２０４、および閾値を示したものである。図３Ｆでは、周波数の全ての次元（ここでは１０次元）において、差が閾値未満である。この場合、コンテキスト情報の「定着ユニットの駆動モータ」は動作音への影響性がないと判定される。なお、閾値は任意に変更可能である。

次にONとOFFとでデータに差が大きい場合を示す。図３Ｅは、特徴量データ２０１および２０３を１つの特徴量対周波数特性として記載したものである。また、図３Ｇは、特徴量データ２０１と特徴量データ２０３との間の変化量（差）２０５、および閾値を示したものである。図３Ｇでは、特定の次元において、閾値以上の変化量がある個所がある。よって、コンテキスト情報の「定着ユニットの駆動モータ」は動作音への影響性があると判定される。

下記の表３に各コンテキスト項目の動作音への影響性の判定結果の一例を示す。

ここでは、定着ユニットの駆動モータ（項目番号１）、手差し搬送モータ（項目番号４）、および手差し搬送ローラ（項目番号９）が動作音への影響性ありとなっている。なお、ＬＥＤ発光（項目番号７）については、動作音に影響しないことが予想できるので、音データおよびコンテキスト情報の取得を省略してもよい。

図２の説明に戻る。動作状態テーブル作成部１０３ｂは、特徴量比較部１０３ａによる各コンテキスト項目の動作音への影響性の有無に基づいて、動作状態テーブル１０４を作成し、ＥＥＰＲＯＭ１０ｄに書き込む。

下記の表４に動作状態テーブルの一例を示す。

今回の例の場合は、９つのコンテキスト項目のうち、動作音への影響性のあるコンテキスト項目は３つとした。よって、動作状態数を従来の２^９（＝５１２）通りから２^３（＝８）通りに減らすことができる。したがって、音データが５１２個あったとすると、１つの動作状態に割り当てられる音データ数を従来の「平均１」から「平均６４」に増やすことができる。このようにコンテキスト情報を定量的に判断することで、動作音への影響性のあるコンテキスト項目のみを抽出して動作状態をクラスタリングすることがポイントである。

〈動作状態テーブル作成手順の第１の例〉
図４は、コンピュータ１における動作状態テーブル作成手順の第１の例を示すフローチャートである。この動作状態テーブル作成手順の第１の例により、前述した表３に示した判定結果、および表４に示した動作状態テーブルを作成することができる。

まずコンテキスト情報取得部１０１がコンテキスト情報１０２ａを取得して特徴量生成部１０２へ送り、集音部１４が音データ１０２ｂを生成して特徴量生成部１０２へ送る。これにより、特徴量生成部１０２はコンテキスト情報１０２ａおよび音データ１０２ｂを取得する（ステップＳ１）。

次に特徴量生成部１０２は、音データ１０２ｂを解析して、特徴量化、すなわち特徴量データを生成する（ステップＳ２）。特徴量生成部１０２は、特徴量データおよびコンテキスト情報１０２ａをクラスタリング部１０３へ送る。

クラスタリング部１０３を構成する特徴量比較部１０３ａは、あるコンテキスト項目に注目して、ON状態およびOFF状態の２つの特徴量データを比較し（ステップＳ３）、差が閾値以上か否かを判定する（ステップＳ４）。

判定の結果、閾値以上であれば（ステップＳ４：Ｙｅｓ）、そのコンテキスト項目は動作音への影響性があると判定し（ステップＳ５）、閾値未満であれば（ステップＳ４：Ｎｏ）、影響性がないと判定する（ステップＳ６）。全てのコンテキスト項目について判定するまで（ステップＳ７：Ｎｏ）、ステップＳ３〜Ｓ６を繰り返し、全てのコンテキスト項目について判定したら（ステップＳ７：Ｙｅｓ）、動作状態テーブル作成部１０３ｂが動作状態テーブル１０４を作成して（ステップＳ８）、この図に示すフローを終了する。

特徴量比較部１０３ａは、ステップＳ３〜Ｓ７を実行するとき、動作音への影響性を有するコンテキスト項目を検出する項目検出部として機能する。また、動作状態テーブル作成部１０３ｂはステップＳ８を実行するとき第１の動作状態テーブル作成部として機能する。

〈動作状態テーブル作成手順の第２の例〉
上述した動作状態テーブル作成手順の第１の例では、注目しているコンテキスト項目の一つ一つの動作音への影響性のみを考えてクラスタリングしている。これから説明する第２の例では、他のコンテキスト項目の動作音への影響性も考慮してクラスタリングする。

まず簡単な例を説明する。コンテキスト項目１は動作音への影響性があることが分かっているが、実際の使用状況では、コンテキスト項目２がONになっている状況でしかコンテキスト項目１がONになることはない。そして、コンテキスト項目２は動作音への影響性があり、動作音へ及ぼす影響が非常に大きいことが分かっている。この場合、コンテキスト項目２の影響により、いくらコンテキスト項目１に動作音への影響性があったとしても、コンテキスト項目１のON/OFFに着目してクラスタリングすることは無意味になる。第２の例はこの様なケースに対応しており、各コンテキスト項目の相互関係を考慮してクラスタリングするアルゴリズムを有する。

図５は、コンピュータ１における動作状態テーブル作成手順の第２の例を示すフローチャートである。以下、このフローチャートを用いて説明する。
まず第１の例と同様に、コンテキスト情報取得部１０１、集音部１４がそれぞれコンテキスト情報、音データを取得し（ステップＳ１１）、特徴量生成部１０２が音データを周波数解析して特徴量化する（ステップＳ１２）。

次に特徴量比較部１０３ａがあるコンテキスト項目と他のコンテキスト項目に着目して、動作音への影響性の有無を判定する（ステップＳ１３）。すなわち、他のコンテキスト項目がONの動作時に着目コンテキストのON/OFFが動作音への影響性の有無を判定する。

コンテキスト項目の全ての組合せについて判定するまで（ステップＳ１４：Ｎｏ）、ステップＳ１３を繰り返し、全ての組合せについて判定したら（ステップＳ１４：Ｙｅｓ）、特徴量比較部１０３ａは全てのコンテキスト項目の動作音への影響性の強弱を分析する（ステップＳ１５）。

ここで、コンテキスト項目の全ての組合せについて判定するまで（ステップＳ１４：Ｎｏ）、ステップＳ１３を繰り返すことにより、下記の表５に示すような影響コンテキスト項目を考慮したコンテキスト項目の動作音への影響性のデータが作成される。

この表において、縦方向（列方向）の指標が着目しているコンテキスト項目（着目コンテキスト項目）であり、横方向（行方向）の指標が着目しているコンテキストと同時にON状態になっているコンテキスト項目（影響コンテキスト項目）になる。この二つ以外のコンテキスト項目は全てOFF状態である。

例えば、４行目の２列目はコンテキスト項目２がONの時の、コンテキスト項目４の動作音への影響性を示している。この場合「有」なので、コンテキスト項目２がONの時でも、コンテキスト項目４の動作状態のON/OFFが動作音への影響性に関係していることを表している。

逆に、１行目の２列目は「無」となっているので、コンテキスト項目２がONの時はコンテキスト項目１の動作音への影響性がないことを示している。ちなみに動作音への影響性があるかないかの判断方法は、第１の例で示した方法と同様である周波数軸上での変化量を用いる。

ステップＳ１５では、表５に示すデータを用いて、全コンテキスト項目の動作音への影響性の強弱を分析する。４行目を見ると、コンテキスト項目４については、他のコンテキストの動作状態によらず、常に動作音への影響性があるため、最も強いコンテキスト項目ということが分かる。また、コンテキスト項目１については、他のコンテキスト項目のどれかがONであると、動作音への影響性がなくなるので、最も弱いコンテキスト項目ということが分かる。また、コンテキスト項目２と３については、コンテキスト項目４のON時には動作音への影響性がなくなるが、コンテキスト項目１の影響がなく、互いが動いている時は動作音への影響性があることが分かる。つまりコンテキスト項目４とコンテキスト項目１の間で、コンテキスト項目２とコンテキスト項目３は同じくらいの影響率ということが分かる。以上をまとめると、コンテキスト項目の強弱関係は４＞３＝２＞１と言うことが分かる。

ここで、前提として、影響コンテキストがONの時でも着目コンテキストに動作音への影響性がある場合は、影響コンテキストがOFFの時でも着目コンテキストに動作音への影響性があるものとする。また、強弱は４＞３、かつ３＞１であれば、常に４＞１が成り立ち、４＞３、かつ３＞１、かつ１＞４で示されるじゃんけんのような関係はないものとする。

次に、動作状態テーブル作成部１０３ｂはコンテキスト項目の強弱関係「４＞３＝２＞１」を基に動作状態をクラスタリングし、下記の表６に示すような動作状態テーブル１０４を作成して（ステップＳ１６）、この図に示すフローを終了する。

特徴量比較部１０３ａは、ステップＳ１３〜Ｓ１４を実行するとき、画像形成装置２の動作音への影響性を有する項目を検出する項目検出部として機能し、ステップＳ１５を実行するとき、項目検出部により検出された項目間の動作音への影響性の相関を検出する相関検出部として機能する。また、動作状態テーブル作成部１０３ｂはステップＳ１６を実行するとき第２の動作状態テーブル作成部として機能する。

この動作状態テーブルにおいて、「*(ワイルドカード)」はON状態またはOFF状態のどちらでもよいということを表す記号である。

前述した動作状態テーブル作成手順の第１の例は着目しているコンテキスト項目そのものの動作音への影響性を評価する方法であり、第２の例は他のコンテキスト項目との関係を評価する方法であるから、二つの方法を選択的に使用するだけでなく同時に使用することもできる。

以上、第１実施形態によれば、動作状態をクラスタリングすることによって、動作状態毎の利用可能な動作音データの相対量を増やすことができる。そしてこれにより、動作音を表すモデルの近似精度を向上させ、検知精度を高めることができる。

次に、第２実施形態について説明する。本実施形態は、コンテキスト情報が絶対的信頼性を備える情報であることから、コンテキスト情報をさらに活用することにより検知精度を向上させることを狙う。

例えば特許文献１では、異常音検知ルーチンにおける動作音判断で、動作音からシーケンスデータ音を算出し、当該シーケンスデータ音と、予め記憶されているシーケンスデータとを比較する。特許文献１の記載によれば、シーケンスデータとの比較にはコンテキスト情報を利用しているが、その前の処理まではコンテキスト情報を利用していない。そのため、比較のステップの前の段階で誤りが生じるおそれがある。つまり、比較のステップに、誤ったデータが入力されるおそれがある。

例えば、シーケンスデータ音の算出においてコンテキスト情報を使わない場合、表２における動作状態２で動作中にもかかわらず、誤って動作状態１であるとして算出されるおそれがある。定着ユニットの駆動モータ（表１の番号１）の動作に着目すると、動作状態２ではOFFであるが、動作状態１ではONである。したがって、実際には定着ユニットの駆動モータは動作していないにもかかわらず、動作しているとしてシーケンスデータ音を算出し、当該算出結果が次の比較のステップへと入力されることとなる。

上述の誤りを含む算出結果が入力データとして比較のステップに入力された場合、比較のステップでコンテキスト情報を利用しても、誤りを含む入力データにひきずられてコンテキスト情報の有効性が損なわれてしまう。つまり、定着ユニットの駆動モータは動作していないのでこのモジュールに関する異常は発生し得ないにもかかわらず、上述の算出結果のために、最終的な異常の判定結果の候補に、定着ユニットの駆動モータも含まれてしまう。このため、誤検知が起こるおそれがある。

そこで、本実施形態では、コンテキスト情報をさらに活用する。詳細には、コンテキスト情報に基づいて動作状態を把握し、当該動作状態に応じて、発生し得る異常の候補を絞る。また、内部の各モジュールの動作情報以外のコンテキスト情報をも活用する。

以下、本実施形態について図面を参照して説明する。なお、説明にあたって、第１実施形態と同じ部分については、説明を省略する。

図６は、本実施形態に係るコンピュータ１の機能を説明するためのブロック図である。第１実施形態ではコンテキスト情報取得部１０１を備えたのに対し、本実施形態では、第１コンテキスト情報出力部３０１および第２コンテキスト情報出力部３１１を備えている。また、第１実施形態ではクラスタリング部１０３を備えたのに対し、本実施形態では判定部３０３を備えている。

第１コンテキスト情報出力部３０１は、コンテキスト情報取得部１０１同様、画像形成装置２から通信Ｉ／Ｆ部１２を介して第１コンテキスト情報３０２ａを取得し、特徴量生成部３０２へ出力する。第１コンテキスト情報３０２ａは、例えば、表１および表２に示すコンテキスト情報である。

特徴量生成部３０２は、第１コンテキスト情報３０２ａと、集音部１４から入力された音データ３０２ｂとを元にして、判定部３０３への出力３０２ｃとして、コンテキスト情報が時間的に同期した特徴量を出力する。

出力３０２ｃは、音データ３０２ｂから生成した特徴量に、音データ採録時の動作状態に基づくコンテキスト情報をセットにしたものである。より具体的には、「時刻ｔ１〜ｔ２の音データから抽出した特徴量」と「同時刻、搬送モータが動作中というコンテキスト情報」とを出力３０２ｃは含む。
なお、特徴量は、第１実施形態同様、周波数特性を圧縮した８〜６４次元のデータである。

第２コンテキスト情報出力部３１１は、第２コンテキスト情報３１１ａを判定部３０３へ出力する。第２コンテキスト情報３１１ａは、例えば、下記の表７に示す情報である。

第２コンテキスト情報３１１ａは、各種異常が発生するときの各コンテキスト項目の動作状態をまとめた情報である。例えば、異常（１）が発生するときは、「搬送モータ」、「手差し搬送モータ」、および「手差し搬送ローラ」が「ＯＮ」で、「紙の増速区間」には「紙あり」の状態で、その他のコンテキスト項目の動作状態は問わない。

第１コンテキスト情報３０２ａは機械の動作状態に合わせて自動抽出されて生成されるのに対し、第２コンテキスト情報３１１ａは、人工的に作成してＥＥＰＲＯＭ１０ｄなどの記憶手段に予め記憶させておくか、操作者の手入力などにより外部から与える。また、第１コンテキスト情報３０２ａは、各コンテキスト項目が取り得る値が２値のいずれかとしたが、第２コンテキスト情報３１１ａは、表７に示すように、２値に限らない。

判定部３０３は、異常候補算出部３０３ａおよび異常判定部３０３ｂを有する。判定部３０３が出力３０２ｃおよび第２コンテキスト情報３１１ａの入力を受けると、まず、異常候補算出部３０３ａが、第２コンテキスト情報３１１ａにまとめられた各種異常から、発生し得た異常を抽出し、候補として異常判定部３０３ｂに出力する。

例えば、出力３０２ｃにおいて特徴量に動作状態１（第１コンテキスト情報３０２ａ）がセットされていた場合、第２コンテキスト情報３１１ａから、異常（１）が発生した可能性はあるが、異常（２）が発生した可能性はないことが分かる。したがって、異常候補算出部３０３ａは、異常（１）を候補とし、異常（２）を候補から除く。

次に、異常判定部３０３ｂは、異常候補算出部３０３ａが出力した候補に関して、異常が発生しているかどうかを判定する。この判定処理の例を、図７を用いて説明する。図７は、図６における特徴量生成部３０２および異常判定部３０３ｂの動作について説明するためのグラフである。

データ（１）は、異常（１）が発生する時の第１コンテキスト情報における、正常音データより生成した正常を表す特徴量データ（初期値）４０１である。この特徴量データ４０１は、異常判定部３０３ｂが予め記憶している。
データ（２），（３）は、第１〜第３マイク１４ａ〜１４ｃが集音した音から生成した特徴量データ（現在値）４０２，４０３である。

異常判定部３０３ｂは、図７の３段目左のようにデータ（１）とデータ（２）とを比較し、特徴量データ４０１から特徴量データ４０２への変化量（差）を次元ごとに算出する。その算出の結果が、図７の４段目左に示すデータ（１）に対するデータ（２）の変化量４０４である。

上述の変化量４０４のグラフにおいて、変化量４０４が０でない箇所、つまり初期値から現在値へ変化があった箇所（次元）はあるが、変化量４０４が設定値（閾値）を超えている箇所はない。したがって、異常判定部３０３ｂは、データ（２）が正常であると判定する。

同様に、異常判定部３０３ｂは、データ（１）とデータ（３）とを比較して（図７の３段目右）、特徴量データ４０１から特徴量データ４０３への変化量（差）を次元ごとに算出する。その算出の結果が、データ（１）に対するデータ（３）の変化量４０５（図７の４段目右）である。

上述の変化量４０５のグラフにおいて、変化量４０５が０でない箇所、つまり初期値から現在値へ変化があった箇所（次元）のうち、一部が設定値（閾値）を超えている。したがって、異常判定部３０３ｂは、データ（３）が異常であると判定する。

なお、上述の設定値は、任意の数値を設定可能である。

上述の異常判定までの処理の流れを、図８を参照して説明する。図８は、コンピュータ１における異常判定までの処理手順の例を示すフローチャートである。まず、特徴量生成部３０２は、第１コンテキスト情報出力部３０１から第１コンテキスト情報３０２ａを、集音部１４から音データ３０２ｂを、それぞれ取得する（ステップＳ２１）。続いて、特徴量生成部３０２は、これらから、第１コンテキスト情報３０２ａと同期した特徴量を生成する（ステップＳ２２）。

次に、異常候補算出部３０３ａは、第１コンテキスト情報３０２ａと第２コンテキスト情報３１１ａとにより、異常の候補を算出する（ステップＳ２３）。すると、異常判定部３０３ｂは、異常候補算出部３０３ａが算出した異常候補の全種類を判定対象とし、当該判定対象について、正常データと比較して、正常か異常か判定する（ステップＳ２４）。

ステップＳ２４における異常判定部３０３ｂによる直近の判定の結果が「異常」である場合（ステップＳ２５：Ｙｅｓ）、判定部３０３は該当する異常が発生したという判定結果３０４を出力し（ステップＳ２６）、処理を終了する。

ステップＳ２４における異常判定部３０３ｂによる直近の判定の結果が「正常」である場合（ステップＳ２５：Ｎｏ）、全ての異常候補についての判定が済んでいなければ（ステップＳ２７:Ｎｏ）、判定部３０３は、処理をステップＳ２４へ戻す。

ステップＳ２７において、全ての異常候補についての判定が済んでいれば（ステップＳ２７：Ｙｅｓ）、判定部３０３は、判定結果３０４として「正常」を出力し（ステップＳ２８）、処理を終了する。

上述のように、本実施形態によれば、「正常であるにもかかわらず異常（２）が発生したとしてしまう場合」、および、「異常（１）であるにもかかわらず異常（２）が発生したとしてしまう場合」の２種類の誤判定を防ぐことができる。よって、本実施形態によれば、判定の精度を向上させることができる。

次に、第３実施形態について説明する。本実施形態は、第２実施形態の変形例である。本実施形態では、第２実施形態と同じ部分についての説明を省略し、第２実施形態と異なる部分について説明する。

図９は、本実施形態に係るコンピュータ１の機能を説明するためのブロック図である。本実施形態では、第２実施形態の異常候補算出部３０３ａに代えて、パラメータ補正部３０３ｃを備えている。パラメータ補正部３０３ｃは、異常判定部３０３ｂが用いるパラメータを補正する。

また、本実施形態では、第２実施形態における第２コンテキスト情報３１１ａとは異なる第２コンテキスト情報３１１ｂを用いる。表８は、第２コンテキスト情報３１１ｂの一例である。

第２コンテキスト情報３１１ｂは、操作表示部１１を介した手入力により与えられる（実施にあたってはこれに限らない）。第２コンテキスト情報３１１ｂは、各コンテキスト項目が判定部３０３で用いるパラメータに影響するか否かを示す。パラメータＡは、例えば、異常判定部３０３ｂで変化量の正常か異常かの判定に用いる閾値（設定値）である。パラメータＢは、例えば、特徴量データの使用次元のＯＮ／ＯＦＦである。コンテキスト項目としては、例えば、「機械の周りの騒音の大きさ」や、「機械の使用頻度」、「機械の累積稼働時間」、「機械の周りの温度と湿度」などがある。

例えば、周りの騒音が大きい場合、特徴量データは、縦軸方向の数値（出力、パワー）が全体的に大きくなるので、閾値も大きくする必要が生じる。このため、第２コンテキスト情報３１１ｂのコンテキスト項目「機械の周りの騒音の大きさ」のパラメータＡ（閾値）は、影響ありとしている。パラメータ補正部３０３ｃは、第２コンテキスト情報３１１ｂを参照し、「機械の周りの騒音の大きさ」が大きければ、閾値（パラメータＡ）を大きく補正する。

また、第２コンテキスト情報３１１ｂから、「機械の累積稼働時間」がパラメータＢ（使用次元）に影響することがわかる。パラメータ補正部３０３ｃは、例えば特徴量の次元数が１０次元ある場合、累積稼働時間が少ないときは、異常判定部３０３ｂにおいて使用する次元を１〜５までに限り、累積稼働時間の増加に伴って、使用次元数を徐々に最大１０次元まで増やす補正を行う。

これにより、第２コンテキスト情報３１１ｂにあげた各コンテキスト項目の状態に応じて、より適した特徴量ないし閾値を用いることができ、判定の精度を向上させることができる。

上述の異常判定までの処理の流れを、図１０を参照して説明する。図１０は、コンピュータ１における異常判定までの処理手順の例を示すフローチャートである。ステップＳ３１〜Ｓ３２は、第２実施形態のステップＳ２１〜Ｓ２２と同様である。

ステップＳ３３において、パラメータ補正部３０３ｃは、第２コンテキスト情報３１１ｂより、各パラメータの補正値を算出する（ステップＳ３３）。異常判定部３０３ｂは、補正後のパラメータを用いて、特徴量データが正常か異常かの判定を行う（ステップＳ３４）。

異常判定部３０３ｂにて異常と判定された場合（ステップＳ３５：Ｙｅｓ）、判定部３０３は、異常発生を示す判定結果３０４を出力し（ステップＳ３６）、処理を終了する。
ステップＳ３５において、異常と判定されていない場合には（ステップＳ３５：Ｎｏ）、全ての判定対象を判定し終えるまで（ステップＳ３７：Ｎｏ）、処理をステップＳ３４に戻す。全ての判定対象を判定し終えれば（ステップＳ３７：Ｙｅｓ）、正常を示す判定結果３０４を出力し（ステップＳ３８）、処理を終了する。

上述のように、本実施形態によれば、機械の周囲の状態や機械の使用状況に応じて異常判定に用いるパラメータを補正することができるので、判定の精度を向上させることができる。

なお、以上説明した実施形態は、コンピュータ１が画像形成装置２の動作音を集音するシステムに関するものであるが、画像形成装置２自身が動作音を集音するように構成することもできる。この構成の場合、画像形成装置２の制御部２０が図２における集音部１４以外の各部として機能することになる。

１…コンピュータ、
２…画像形成装置、
１０…制御部、
１０ａ…ＣＰＵ、１０ｂ…ＲＯＭ、１０ｃ…ＲＡＭ、１０ｄ…ＥＥＰＲＯＭ、
１１…操作表示部、
１２…通信Ｉ／Ｆ部、
１３…外部Ｉ／Ｆ部、
１４…集音部、１４ａ〜１４ｃ…マイク、１４ｄ…アンプ、
２０…制御部、
２１…通信Ｉ／Ｆ部、
２２…操作表示部、
２３…エンジン部、
１０１…コンテキスト情報取得部、
１０２…特徴量生成部、
１０２ａ…コンテキスト情報、１０２ｂ…音データ、
１０３…クラスタリング部、
１０３ａ…特徴量比較部、１０３ｂ…動作状態テーブル作成部、
１０４…動作状態テーブル、
２０１〜２０３…特徴量データ、
２０４，２０５…変化量、
３０１…コンテキスト情報出力部、
３０２…特徴量生成部、
３０２ａ…コンテキスト情報、３０２ｂ…音データ、３０２ｃ…出力、
３０３…判定部、
３０３ａ…異常候補算出部、３０３ｂ…異常判定部、３０３ｃ…パラメータ補正部、
３１１…コンテキスト情報出力部、３１１ａ，３１１ｂ…コンテキスト情報、
４０１〜４０３…特徴量データ、
４０４，４０５…変化量。

特開２００６−１８４７２２号公報 特開２０１２−１７７７４８号公報

Claims (9)

1. 集音対象装置の動作音を集音して音データを取得する集音部と、
   前記装置の動作時のコンテキスト情報を取得するコンテキスト情報取得部と、
   前記コンテキスト情報に対応する音データの特徴量を生成する特徴量生成部と、
   前記特徴量を用いて前記装置の動作状態テーブルを作成するクラスタリング部と、
   を有する、情報処理装置。
2. 請求項１に記載された情報処理装置において、
   前記クラスタリング部は、前記コンテキスト情報の項目のうち、前記装置の動作音への影響性を有する項目を検出する項目検出部と、前記項目検出部で検出された項目を基に前記装置の動作状態をクラスタリングして前記動作状態テーブルを作成する第１の動作状態テーブル作成部と、を有する、情報処理装置。
3. 請求項２に記載された情報処理装置において、
   前記第１の動作状態テーブル作成部は、前記項目検出部により検出された項目の組合せからなる動作状態を有する、情報処理装置。
4. 請求項１に記載された情報処理装置において、
   前記クラスタリング部は、前記コンテキスト情報の項目のうち、前記装置の動作音への影響性を有する項目を検出する項目検出部と、前記項目検出部により検出された項目間の動作音への影響性の相関を検出する相関検出部と、前記相関検出部により検出された相関を基に前記装置の動作状態をクラスタリングして前記動作状態テーブルを作成する第２の動作状態テーブル作成部と、を有する、情報処理装置。
5. 請求項４に記載された情報処理装置において、
   前記相関検出部は、前記項目検出部により検出された項目の動作音への影響性の強弱関係を検出する、情報処理装置。
6. 請求項１に記載された情報処理装置において、
   前記クラスタリング部は、前記コンテキスト情報の項目のうち、前記装置の動作音への影響性を有する項目を検出する項目検出部と、前記項目検出部で検出された項目を基に前記装置の動作状態をクラスタリングして前記動作状態テーブルを作成する第１の動作状態テーブル作成部と、前記項目検出部により検出された項目間の動作音への影響性の相関を検出する相関検出部と、前記相関検出部により検出された相関を基に前記装置の動作状態をクラスタリングして前記動作状態テーブルを作成する第２の動作状態テーブル作成部と、を有する、情報処理装置。
7. 請求項６に記載された情報処理装置において、
   前記第１の動作状態テーブル作成部と前記第２の動作状態テーブル作成部を選択する手段を有する、情報処理装置。
8. 集音部、コンテキスト情報取得部、特徴量生成部、およびクラスタリング部を有する情報処理装置における情報処理方法であって、
   前記集音部が、集音対象装置の動作音を集音して音データを取得する工程と、
   前記コンテキスト情報取得部が、前記装置の動作時のコンテキスト情報を取得する工程と、
   前記特徴量生成部が、前記コンテキスト情報に対応する音データの特徴量を生成する工程と、
   前記クラスタリング部が、前記特徴量を用いて前記装置の動作状態テーブルを作成する工程と、
   を有する、情報処理方法。
9. コンピュータを請求項１乃至７のいずれかに記載された情報処理装置のコンテキスト情報取得部、特徴量生成部、およびクラスタリング部として機能させるためのプログラム。

Images