JP2017016549A - 文字認識装置、文字認識方法、及びプログラム - Google Patents

Abstract

【課題】ユーザが機器の特定情報の確認作業、及びユーザの点検項目の手作業による入力を不要として、作業効率を向上させることを目的とする【解決手段】文字を認識する複数の項目を含む複数のグループと、グループに含まれる複数の項目の当該グループ内での認識順序と、各項目の文字の認識に用いる情報とが登録された認識辞書を記憶する記憶部と、プロセッサと、を備え、認識辞書に登録される項目は、複数の第１項目及び複数の第２項目を含み、第１項目はグループ内での認識順序が最初の項目であって、第１項目に少なくとも一つの第２項目が関連付けられ、プロセッサは、認識辞書に登録された複数のグループの第１項目の文字の認識に用いる情報に基づいて、入力された画像から第１項目の文字を認識し、認識された文字の第１項目に関連付けられた第２項目から次に文字を認識する第２項目を特定し、特定した第２項目の文字の認識に用いる情報を認識辞書に基づいて、入力された画像から当該第２項目の文字を認識することを特徴とする文字認識装置。【選択図】図５

Description

本発明は、入力された画像から文字を認識する文字認識装置に関する。

情報通信機器等の数、及び情報通信機器等が扱うデータ量は飛躍的に増加している。情報通信機器等を用いた情報サービスを運用するために、当該情報通信機器等を安定的に稼働させる必要がある。このため、情報通信機器等が設置される場所において、情報通信機器等の点検作業の重要性が増している。

従来の点検作業では、作業員が点検結果を紙の点検表に手書きで記入するものでる。このため、点検作業の運用効率、及び点検作業の正確性の面で以下の問題があった。
（１）紙の利用によるコスト高：点検表に記入された点検結果をデータ化するために別途パンチ入力作業が必要となり、コストが高くなる。
（２）型番の確認作業の煩雑さ：点検作業では、作業員が、点検対象の機器の型番を確認した後、当該機器に応じた点検項目を確認する。しかし、似たような型式の型番の機器が多く設置される場所では、型番及び点検項目の文字が小さく、設置場所が暗い可能性が高いので、点検対象の機器の型番を特定すること及び点検項目の数字又はコード等を確認することが煩雑である。このような状況で作業員による目視の型番の確認作業は、時間がかかるうえに誤りを伴う可能性が高い。
（３）点検作業の煩雑さ：点検作業においては、紙に点検すべき項目が記入されており、作業員が、一つの項目を点検した後、紙を見て、次の項目を確認し、当該項目の数字又はコード等を見つけて、当該数字又はコードを点検表に記入するが、この点検作業が煩雑である。

上記（１）〜（３）の問題に対して、特開２０１５−１８５１号公報（特許文献１）に記載された技術がある。特許文献１の公報には、「同じ種類の点検を実施する予定の設備または機器の識別情報、設備機器名称情報、点検内容情報、支援情報および関連設備機器情報を抽出する第１の抽出部と、点検を実施する予定の設備または機器に対応する階層情報および場所特定情報を抽出する第２の抽出部と、次に点検を実施する設備または機器の候補を特定する候補特定部と、点検を実施する予定の設備または機器に対応する識別情報、点検内容情報、支援情報および候補を、作業者の利用する端末の表示部に表示させるための点検シナリオ表示情報を生成する表示生成部と、を備える点検支援装置である。」と記載されている（要約参照）。

特開２０１５−１８５１号公報

特許文献１に記載の技術では、点検項目の数字又はコード等が作業員によって端末にデータとして手作業で入力されるので、上記（１）の問題は解決される。また、作業者の端末に点検シナリオが表示されるので、上記（３）の問題も解決される。

しかしながら、特許文献１に記載の技術では、作業員が型番等を確認しなければならず、また、作業員が手作業で点検項目の数字又はコード等を入力する必要がある。このため、上記（２）の問題は解決されない。また、作業員が点検項目の箇所を探す必要がある。

本発明は、機器の特定情報の文字を認識して、機器の特定情報に対応する点検項目の文字を認識することによって、ユーザが機器の特定情報の確認作業、及びユーザの点検項目の手作業による入力を不要として、作業効率を向上させる文字認識装置を提供することを目的とする。

本発明の代表的な一例を示せば、入力された画像に含まれる文字を認識する文字認識装置であって、文字を認識する複数の項目を含む複数のグループと、前記グループに含まれる複数の項目の当該グループ内での認識順序と、各項目の文字の認識に用いる情報とが登録された認識辞書を記憶する記憶部と、プロセッサと、を備え、前記認識辞書に登録される項目は、複数の第１項目及び複数の第２項目を含み、前記第１項目は前記グループ内での認識順序が最初の項目であって、前記第１項目に少なくとも一つの第２項目が関連付けられ、前記プロセッサは、前記認識辞書に登録された複数のグループの第１項目の文字の認識に用いる情報に基づいて、入力された画像から前記第１項目の文字を認識し、前記認識辞書に登録された前記認識順序を参照し、前記認識された文字の第１項目に関連付けられた第２項目から次に文字を認識する第２項目を特定し、前記特定した第２項目の文字の認識に用いる情報を前記認識辞書から読み出し、前記読み出された第２項目の文字の認識に用いる情報に基づいて、入力された画像から当該第２項目の文字を認識することを特徴とする。

本願において開示される発明のうち代表的なものによって得られる効果を簡潔に説明すれば、下記の通りである。すなわち、ユーザが機器の特定情報の確認作業、及びユーザの点検項目の手作業による入力を不要として、作業効率を向上させる文字認識装置を提供できる。

上記した以外の課題、構成、及び効果は、以下の実施形態の説明により明らかにされる。

実施例１の点検作業の一例の説明図である。 実施例１の文字認識装置のハードウェア構成図である。 実施例１の点検シナリオデータの説明図である。 実施例１の作業ログの説明図である。 実施例１の文字認識部によって実行される文字認識処理のフローチャートである。 実施例１の型番照合処理及び項目認識処理のフローチャートである。 実施例１の文字認識前処理及び文字列認識処理のフローチャートである。 実施例１の日付辞書の説明図である。 実施例１の場所選択受付画面の説明図である。 実施例１の型番一覧表示画面の説明図である。 実施例１の型番の認識結果表示画面の説明図である。 実施例１の点検項目一覧表示画面の説明図である。 実施例１のＳ／Ｎの認識結果表示画面の説明図である。 実施例２の文字認識処理のフローチャートである。 実施例２の項目一括認識処理のフローチャートである。 実施例１の項目一括確認処理のフローチャートである。 実施例２の型番の認識結果表示画面の説明図である。 実施例２の項目（Ｓ／Ｎ）の認識結果表示画面の説明図である。 実施例２の項目（ＭＡＣ）の認識結果表示画面の説明図である。 実施例２の未認識項目表示画面の説明図である。 実施例３の文字認識処理のフローチャートである。 実施例３の点検項目の一覧を表示する認識結果表示画面の説明図である。 実施例３の型番の認識結果表示画面の説明図である。

実施例１について図１〜図９Ｅを用いて説明する。

本実施例では、例えば、データセンタ及び各種店舗等に設置された情報機器（例えば、サーバ等）の点検作業に用いられる文字認識装置について説明する。しかしながら、本実施例の文字認識装置は、点検作業に限定されることなく、画像及び動画等から文字を認識する作業に適用可能である。

まず、本実施例の概略について説明する。

本実施例の文字認識装置は、入力された画像から文字を認識する必要のある項目文字を自動的に認識し、認識した文字を点検作業結果として記憶する。これによって、ユーザの作業効率を向上させることができる。

図１は、実施例１の点検作業の一例の説明図である。

図１では、一例として、携帯端末１００が文字認識部２５１（図２参照）を有する文字認識装置であるものとして説明する。

ユーザ（例えば、点検作業を実施する作業員）は、機器１４０に貼付されたラベル１４１を携帯端末１００（例えばタブレット端末及びスマートフォン等）のカメラで撮影する。カメラで撮影された画像は、携帯端末１００のディスプレイに認識結果表示画面１１０として表示される。認識結果表示画面１１０は、撮影画像表示エリア１２０及び文字認識結果表示エリア１３０を含む。撮影画像表示エリア１２０には、カメラで撮影された画像が表示され、当該画像に含まれる文字列のうち文字が認識された文字列が矩形１２１で囲まれて表示される。

文字認識結果表示エリア１３０は、認識文字列拡大画像表示部１３１、文字認識結果表示部１３２、ＯＫボタン１３３、及びＲｅｔｒｙボタン１３４を含む。

認識文字列拡大画像表示部１３１には、文字が認識された文字列の拡大された画像が表示される。文字認識結果表示部１３２には、認識された文字が表示される。認識文字列拡大画像表示部１３１及び文字認識結果表示部１３２は、ユーザがカメラで撮影された文字列と認識された文字との比較を可能にする。

ユーザは、認識された文字が正しいと判断した場合、ＯＫボタン１３３を操作する。一方、ユーザは、認識された文字が正しくないと判断した場合、Ｒｅｔｒｙボタン１３４を操作して、再度文字を認識させるか、手入力で正しい文字を入力する。

本実施例では、文字認識の精度を向上させるために、点検シナリオデータ２６１（図２参照）及び作業ログ２６２（図２参照）を用いて文字を認識する。

（１）点検シナリオデータ２６１に基づく文字認識
点検シナリオデータ２６１は、特許請求の範囲では認識辞書と記載され、点検シナリオデータ２６１には、文字を認識する複数の項目を含む複数のグループと、各グループ内での項目の認識順序と、各項目の文字の認識に用いる情報とが登録される。なお、点検シナリオデータ２６１に登録される項目は、複数の第１項目及び複数の第２項目を含み、第１項目は前記グループ内での認識順序が最初の項目であって、機器を特定するための機器特定情報（例えば型番）である。また、第１項目に少なくとも一つの第２項目が関連付けられる。第２項目は、機器特定情報以外の点検すべき項目である。

携帯端末１００は、点検する項目ごとに利用する辞書を切り替えて各項目の文字を認識する。これによって、携帯端末１００は、点検項目に適した辞書を用いて各項目の文字を認識するので、文字認識の精度を向上させることができる。

（２）作業ログ２６２に基づく文字認識
作業ログ２６２には、各項目の認識結果と、画像を補正するための各種パラメータとが登録される。各機器の各項目が点検された際の認識結果及び各種パラメータが作業ログ２６２に蓄積される。文字認識が一度成功した項目が再度文字認識される場合、文字認識が成功した作業ログ２６２を利用でき、当該項目の文字認識の精度を向上させることができる。

本実施例の点検シナリオデータ２６１及び作業ログ２６２を文字認識に利用することによって、文字認識の精度を向上させ、点検作業を効率化できる。なお、作業ログ２６２は文字認識に必ずしも利用されなくてもよい。

例えば、点検シナリオデータ２６１の各項目の文字認識に利用する情報としては、項目の文字種別、項目の文字数、及び項目の表記形式等がある。文字種別は、項目の文字に使用される文字の種別（例えば、数字、英字、カナ、漢字、又は記号等）である。文字数は、項目の文字の数であり、項目の文字が数字であれば桁数であってもよい。表記形式は、項目特有の文字の表記形式である。例えば、日付の表記形式は、「ＹＹ．ＭＭ．ＤＤ」又は「ＹＹ／ＭＭ／ＤＤ」等である。ここで、「ＹＹ」「ＭＭ」「ＤＤ」は、それぞれ年、月、日を表す数字を意味する。例えば、「ＭＭ」の場合、「１〜１２」と「０１〜０９」の数字である。

本実施例は、文字を認識する項目に対応して認識辞書を切り替える。例えば、画像中の日付「１５．０１．１８」が認識辞書を利用せずに文字認識されると、「ｌ（エル）５．Ｏ１・旧」と誤認識される可能性がある。画像中の「１」はアルファベットの「エル」に誤認識され、画像中の「０」はアルファベットの「オー」に誤認識され、画像中の「．」は中点に誤認識され、画像中の「１８」は、「１」と「８」とが一文字として認識されて「旧」と誤認識されている。

例えば、日付の項目の認識辞書として、文字種別が数字であること、及び表記形式「ＹＹ．ＭＭ．ＤＤ」が登録されていれば、このような誤認識を防止でき、当該日付の項目の文字を正確に認識することができる。

また、点検シナリオデータ２６１には項目の点検順序が登録されているので、点検作業の点検順に認識辞書を自動的に切り替えることができ、文字を認識する項目に適切な点検シナリオデータ２６１を利用して、文字を認識することができる。

以上によって、ユーザが機器１４０のラベル１４１を携帯端末１００のカメラで撮影するだけで、点検作業で入力する必要のある項目の文字が携帯端末１００に入力される。これによって、ユーザの点検効率を向上させることができる。

なお、必ずしも、携帯端末１００が文字認識部２５１を有する文字認識装置である必要はない。例えば、携帯端末１００は、自身が撮影した画像を、文字認識部２５１を有するサーバ（文字認識装置）に送信し、サーバが文字認識処理を実行して、文字認識結果を携帯端末１００に送信する。そして、携帯端末１００が文字認識結果等を携帯端末１００のディスプレイに表示してもよい。

図２は、実施例１の文字認識装置２００のハードウェア構成図である。

上記したように、文字認識装置２００は、携帯端末１００であってもよいし、携帯端末１００がネットワークを介して接続可能なサーバであってもよい。

文字認識装置２００は、操作部２１０、表示部２２０、画像入力部２３０、プロセッサ２５０、メモリ（主記憶装置）２６０、補助記憶装置２７０、及びインタフェース（ＩＦ）２８０を有する。

操作部２１０は、文字認識装置２００のユーザによる操作の入力を受け付ける。操作部２１０は、例えば、タッチパネル、キーボード、マウス、又はボタン等である。表示部２２０は、文字認識装置２００に入力された画像、及び文字認識結果等を表示するディスプレイ等である。画像入力部２３０は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等の撮像素子を用いて画像を撮像するデジタルカメラ又はスキャナ等である。

プロセッサ２５０は、メモリ２６０に格納されたプログラムを実行する。メモリ２６０は、不揮発性の記憶素子であるＲＯＭ及び揮発性の記憶素子であるＲＡＭを含む。ＲＯＭは、不変のプログラム（例えば、ＢＩＯＳ）などを格納する。ＲＡＭは、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）のような高速かつ揮発性の記憶素子であり、プロセッサ２５０が実行するプログラム及びプログラムの実行時に使用されるデータを一時的に格納する。

補助記憶装置２７０は、例えば、磁気記憶装置（ＨＤＤ）、フラッシュメモリ（ＳＳＤ）等の大容量かつ不揮発性の記憶装置であり、プロセッサ２５０が実行するプログラム及びプログラムの実行時に使用されるデータを格納する。すなわち、プログラムは、補助記憶装置２７０からメモリ２６０にロードされて、プロセッサ２５０によって実行される。

プロセッサ２５０は、入力された画像の文字を認識する文字認識部２５１を有する。文字認識部２５１は、機器特定情報認識部２５２及び点検項目認識部２５３を有する。機器特定情報認識部２５２は、入力された画像から機器特定情報（第１項目）の文字を認識する。点検項目認識部２５３は、入力された画像から、認識された第１項目に関連付けられた複数の第２項目の文字を認識する。すなわち、点検項目認識部２５３は、第１項目である機器特定情報によって特定される機器で点検すべき項目の文字を認識する。メモリ２６０には、文字認識部２５１に対応するプログラムが記憶され、プロセッサ２５０が当該プログラムを実行することによって、文字認識部２５１はプロセッサ２５０に実装される。

メモリ２６０には、点検シナリオデータ２６１及び作業ログ２６２が記憶される。点検シナリオデータ２６１には、機器の種類ごとに、文字を認識する項目の順序及び各項目の文字の認識に利用する認識辞書等が登録される。点検シナリオデータ２６１の詳細は図３で説明する。作業ログ２６２には、各項目の文字認識結果、及び画像を調整するための各種パラメータが登録される。作業ログ２６２の詳細は図４で説明する。

インタフェース２８０は、文字認識装置２００をネットワーク又は他の機器に接続するインタフェースである。

なお、画像は画像入力部２３０によって撮影される代わりに、インタフェース２８０から取得されてもよい。具体的には、画像が可搬型記憶媒体に記憶されていて、文字認識装置２００は、インタフェース２８０を介して可搬型記憶媒体に接続され、可搬型記憶媒体に記憶された文字を認識する画像を取得してもよい。また、文字認識装置２００にネットワークを介して接続されるサーバ等に画像が記憶されていて、文字認識装置２００は、インタフェースを介してサーバ等から画像を取得してもよい。

図３は、実施例１の点検シナリオデータ２６１の説明図である。

点検シナリオデータ２６１は、場所３０１、機器番号３０２、型番３０３、項目番号３０４、属性３０５、認識モード３０６、文字認識辞書３０７、単語辞書３０８、及び表記辞書３０９を含む。

場所３０１には、点検対象となる機器が設置された場所の識別子が登録される。例えば、場所３０１に登録された「Ａ」はデータセンタＡの識別子であり、「Ｂ」はデータセンタＢの識別子である。機器番号３０２には、点検対象となる機器を識別するための番号が登録される。型番３０３には、点検対象となる機器の型番が登録される。項目番号３０４には、点検対象となる機器に対応して点検する項目を識別するための番号が登録される。属性３０５には、点検する項目の属性が登録される。

認識モード３０６には、点検する項目の文字の認識モードが登録される。例えば、認識モードには、照合モード、読取モード、選択モード、及び直接入力モード等ある。照合モードは、認識された文字が単語辞書３０８に登録された値と一致する場合、認識された文字を文字認識結果とし、認識された文字が単語辞書３０８に登録された値と一致しない場合、認識された文字を破棄するモードである。読取モードは、認識された文字を読み取るモードである。選択モードは、表示部２２０に表示された複数の選択肢から少なくとも一つの選択肢の入力を受け付けるモードである。直接入力モードは、文字や数字をユーザが直接入力するモードである。照合モード及び読取モードは、文字認識装置２００が実際に画像から文字を認識するモードであり、選択モード及び直接入力モードは、文字認識装置２００における文字の認識が不要なモードである。

文字認識辞書３０７には、項目の文字の種別が登録される。例えば、文字認識辞書３０７に「英、数」が登録されている項目は、当該項目はアルファベット及び数字によって構成されることを意味する。当該項目の文字を認識する場合には、アルファベット用の文字認識辞書及び数字用の文字認識辞書のみが利用される。

単語辞書３０８には、認識された文字が一致しなければならない単語（値）が登録される。表記辞書３０９には、項目の文字の表記形式が登録される。例えば、表記辞書３０９に「ＮＮＮ−ＮＮＮＮ−ＪＰＮＮ」が登録されている場合、認識された項目の文字が、左から順に、３桁の数字、「−」、４桁の数字、「−」、「ＪＰ」、及び２桁の数字という表記形式でなければならないことを意味する。

文字認識辞書３０７、単語辞書３０８及び表記辞書３０９は、文字の認識に利用される情報である。

以上によって、点検シナリオデータ２６１には、点検対象となる機器ごとに、点検する項目と、当該項目の点検順序と、当該項目の認識に用いる情報とが登録される。図３に示すデータセンタＡのレコードでは、型番「９６７−７３６３−ＪＰ０３」の機器で点検する項目のグループと、型番「ＡＺ５１３−８８Ｅ」の機器で点検する項目のグループとがある。型番「９６７−７３６３−ＪＰ０３」の機器では、「型番」が最初に認識され、次に「Ｓ／Ｎ（シリアルナンバー）」が認識され、次に「ＭＡＣアドレス」が認識される。また、型番「ＡＺ５１３−８８Ｅ」の機器では、「型番」が最初に認識され、次に、「処理数」が認識される。

点検シナリオデータ２６１には機器ごとに点検する項目が登録されているため、最初に型番を認識して、点検作業を実施する機器を特定する必要がある。このため、点検シナリオデータ２６１のいずれのグループでも型番が最初に点検する項目として登録される。

図４は、実施例１の作業ログ２６２の説明図である。

作業ログ２６２は、作業日４０１、場所４０２、機器番号４０３、型番４０４、項目番号４０５、属性４０６、認識モード４０７、結果値４０８、パラメータＡ４０９、及びパラメータＢ４１０を含む。

作業日４０１には、点検作業が実施された年月日が登録される。場所４０２〜認識モード４０７は、点検シナリオデータ２６１の場所３０１〜認識モード３０６と同じであるので、説明を省略する。結果値４０８には、項目の文字認識結果が登録される。パラメータＡ４０９及びパラメータＢ４１０には、画像を補正するためのパラメータが登録される。画像を補正するためのパラメータについては、図７で詳細に説明する。また、パラメータＡ４０９及びパラメータＢ４１０には、文字認識にかかった時間、文字認識の全実行回数、及び文字認識の成功回数等が登録されてもよい。例えば、文字認識にかかった時間が所定値以上の項目、及び文字認識の全実行回数に対する成功回数の割合が所定値以下である項目は、文字認識せずにユーザの手入力を促すように点検シナリオデータ２６１を変更してもよい。また、パラメータＡ４０９及びパラメータＢ４１０には、文字認識に用いた画像が登録されてもよい。この文字認識に用いた画像の利用は、文字認識結果が成功しているか否かの調査を可能にする。

図５は、実施例１の文字認識部２５１によって実行される文字認識処理のフローチャートである。

文字認識処理は、（１）〜（３）の三つのステップを含む。

（１）点検場所選択受付ステップ（５０１）
文字認識部２５１が、点検対象の機器が設置されている場所の選択を受け付ける。

（２）機器特定ステップ（５２０）
場所の選択を受け付けた後、文字認識部２５１の機器特定情報認識部２５２が、点検対象の機器を特定する文字を認識して、点検対象の機器を特定する。

（３）点検項目認識ステップ（５３０）
点検対象の機器が特定された後、文字認識部２５１の点検項目認識部２５３が、点検シナリオデータ２６１に基づいて、機器特定ステップで特定した機器の点検項目の文字を認識する。

以下、（１）〜（３）のステップの詳細を説明する。

（１）点検場所選択受付ステップ（５０１）
ステップ５０１の処理では、文字認識部２５１は、図９Ａに示す場所選択受付画面９００を表示部２２０に表示し、ユーザから点検場所の選択の入力を受け付ける。場所選択受付画面９００には、点検シナリオデータ２６１の場所３０１に登録された場所の識別子によって識別される場所の名称が表示される。文字認識部２５１は、場所の選択の入力を受け付けた場合、点検シナリオデータ２６１を参照し、入力を受け付けた場所に設置される機器の型番のリスト等を表示部２２０に表示してもよい。具体的には、文字認識部２５１は、点検シナリオデータ２６１に登録されたレコードのうち、場所３０１に入力を受け付けた場所の識別子が登録されたレコードの型番３０３に登録された型番を取得し、取得した型番を表示部２２０に表示する。

（２）機器特定ステップ（５２０）
次に、文字認識部２５１は、機器特定ステップ（５２０）を実行するために、機器特定情報認識部２５２を呼び出す。機器特定情報認識部２５２は、点検シナリオデータ２６１に登録されたレコードのうち、ステップ５０１の処理で入力を受け付けた場所の識別子が場所３０１に登録されたレコードを読み込む（５０２）。

次に、機器特定情報認識部２５２は、作業ログ２６２に登録されたレコードのうち、ステップ５０１の処理で入力を受け付けた場所の識別子が場所４０２に登録されたレコードを読み込む（５０３）。

次に、機器特定情報認識部２５２は、ステップ５０２の処理で読み込まれた点検シナリオデータ２６１及びステップ５０３の処理で読み込まれた作業ログ２６２を用いて、型番照合処理を実行する（５０４）。型番照合処理では、機器特定情報認識部２５２は、入力された画像から点検対象の機器の型番を機器特定情報として認識する。型番照合処理の詳細は、図６及び図７で説明する。

（３）点検項目認識ステップ（５３０）
次に、文字認識部２５１は、点検項目認識ステップ（５３０）を実行するために、点検項目認識部２５３を呼び出す。点検項目認識部２５３は、点検シナリオデータ２６１に登録されたレコードのうち、場所３０１にステップ５０１の処理で入力を受け付けた場所の識別子が登録され、型番３０３にステップ５０４の処理で認識された型番が登録され、かつ次に認識する項目のレコードを読み込む（５０５）。次に項目する認識するレコードとは、例えば、ステップ５０４の処理で型番が認識された直後に点検項目認識ステップが実行される場合、項目番号３０４に型番の次に認識される項目番号が登録されたレコードである。図３に示す点検シナリオデータ２６１の型番３０３に「９６７−７３６３−ＪＰ０３」が登録されたレコードにおいては、項目番号３０４に「２」が登録されたレコードが読み出される。

次に、点検項目認識部２５３は、作業ログ２６２に登録されたレコードのうち、場所４０２にステップ５０１の処理で入力を受け付けた場所の識別子が登録され、型番４０４にステップ５０４の処理で認識された型番が登録され、かつ次に認識する項目のレコードを読み込む（５０６）。

次に、点検項目認識部２５３は、ステップ５０５の処理で読み込まれた点検シナリオデータ２６１及びステップ５０６の処理で読み込まれた作業ログ２６２を用いて、項目認識処理を実行する（５０７）。項目認識処理では、点検項目認識部２５３は、入力された画像から型番以外の項目の文字を認識する。項目認識処理の詳細は、図６及び図７で説明する。

次に、文字認識部２５１は、ステップ５０４の処理で認識された型番に対応する型番以外の全ての項目に対して項目認識処理が実行されたか否かを判定する（５０８）。

ステップ５０８の処理において、ステップ５０４の処理で認識された型番に対応する型番以外の全ての項目に対して項目認識処理が実行されていないと判定された場合（５０８：ＮＯ）、点検項目認識部２５３は、点検シナリオデータ２６１を参照して、次に項目を認識する項目を決定する（５０９）。そして、点検項目認識部２５３は、ステップ５０５の処理に戻り、次に認識する項目のレコードを読み出し、項目認識処理を実行する。

例えば、図３に示す点検シナリオデータ２６１の型番３０３に「９６７−７３６３−ＪＰ０３」が登録されたレコードにおいては、項目番号３０４に「２」が登録されたレコードの項目を認識した場合、次に認識する項目は、項目番号３０４に「３」が登録されたレコードとなる。

一方、ステップ５０８の処理において、ステップ５０４の処理で認識された型番に対応する型番以外の全ての項目に対して項目認識処理が実行されたと判定された場合（５０８：ＹＥＳ）、文字認識部２５１は、ステップ５０１の処理で入力を受け付けた場所に設置された全ての機器に対してステップ５２０及び５３０の処理が実行されたか否かを判定する（５１０）。

ステップ５１０の処理において、ステップ５０１の処理で入力を受け付けた場所に設置された全ての機器に対してステップ５２０及び５３０の処理が実行されていないと判定された場合（５１０：ＮＯ）、文字認識部２５１は、次の機器を決定し（５１１）、ステップ５０２の処理に戻る。

一方、ステップ５１０の処理において、ステップ５０１の処理で入力を受け付けた場所に設置された全ての機器に対してステップ５２０及び５３０の処理が実行されたと判定された場合（５１０：ＹＥＳ）、文字認識処理を終了する。

図６は、実施例１の型番照合処理及び項目認識処理のフローチャートである。

型番照合処理は機器特定情報認識部２５２によって実行され、項目認識処理は点検項目認識部２５３によって実行されるが、図６では、型番照合処理及び項目認識処理を纏めて説明するので、各処理の主語を文字認識部２５１として説明する。

まず、文字認識部２５１は、点検シナリオデータ２６１を参照し、点検する項目が文字認識を必要とするか否かを判定する（６０１）。文字認識を必要としない項目には、例えば、点検済みであることを示すチェックマークを入力するだけでよい項目、複数の選択肢から少なくとも一つの選択肢を選択する項目、及び、文字又は数字等を直接入力する項目等がある。点検シナリオデータ２６１の文字認識を必要としない項目のレコードの認識モード３０６には、その旨を示す情報（例えば選択モード等）が登録される。

ステップ６０１の処理で、点検する項目が文字認識を必要としないと判定された場合（６０１：ＮＯ）、文字認識部２５１は、ユーザによるデータの入力を受け付け（６０２）、ステップ６０５の処理に進む。

一方、ステップ６０１の処理で、点検する項目が文字認識を必要とすると判定された場合（６０１：ＹＥＳ）、文字認識部２５１は、文字認識前処理を実行する（６０３）。文字認識前処理では、文字認識部２５１は、入力された画像を調整し、入力された画像から文字列を抽出する。文字認識前処理の詳細は図７で説明する。

次に、文字認識部２５１は、文字列認識処理を実行する（６０４）。文字列認識処理では、文字認識部２５１は、ステップ６０３の処理で抽出された文字列から、点検する項目の文字列を認識する。文字列認識処理の詳細は図７で説明する。

次に、文字認識部２５１は、ステップ６０４の処理の認識結果をユーザに提示する（６０５）。ユーザは、ステップ６０５の処理で提示された内容に基づいて、ステップ６０４の処理の認識結果が正しいか否かを判断する。ユーザは、ステップ６０４の処理の認識結果が誤っていると判断した場合、ステップ６０３及び６０４の処理を文字認識部２５１に再度実行させるか、修正内容を文字認識装置２００に入力する。

次に、文字認識部２５１は、ステップ６０４の処理の認識結果及びステップ６０３の処理で用いたパラメータを作業ログ２６２に登録し（６０６）、型番照合処理又は項目認識処理を終了する。

図７は、実施例１の文字認識前処理及び文字列認識処理のフローチャートである。

文字認識前処理及び文字列認識処理では、文字認識部２５１は、作業ログ２６２を参照しながら、点検する項目の文字を認識する。なお、作業ログ２６２には、文字認識が成功した場合の各種パラメータ及び認識結果が登録される。ただし、文字認識が失敗した場合等、作業ログ２６２には、ユーザ等によってパラメータ又は認識結果が直接入力されてもよい。

まず、文字認識部２５１には、画像入力部２３０から画像が入力される（７０１）。文字認識部２５１は、作業ログ２６２のパラメータに含まれる焦点判定パラメータを参照し、ステップ７０１の処理で入力された画像の焦点が合っているか否かを判定する。例えば、焦点判定パラメータは、文字認識が成功した画像の濃度値の分布であり、文字認識部２５１は、当該濃度値の分布と入力された画像の濃度値の分布とを比較して、入力された画像の焦点が合っているか否かを判定する。文字認識部２５１は、入力された画像の焦点が合っていないと判定した場合、新たな画像の入力を促す画面をユーザに提示してもよい。

次に、文字認識部２５１は、作業ログ２６２のパラメータに含まれる白黒反転の有無、及び色相・輝度補正パラメータを参照し、ステップ７０１の処理で入力された画像を補正する（７０２）。点検作業においては、画像はカメラによって撮像される可能性が高い。例えば、撮像素子と紙とが密着した状態で光を当てて撮像するスキャナ等が撮像した画像では、画質が安定するが、カメラによって撮像された画像の画質は外部環境の影響を受けやすく不安定である。画像の補正の例としては、暗所で撮像された画像のコントラストの補正、及び白黒反転文字を含む画像の白黒反転等がある。作業ログ２６２の点検する項目のパラメータが白黒反転有りである場合、文字認識部２５１は、ステップ７０１の処理で入力された画像の白黒（ネガポジ）を反転させる。また、文字認識部２５１は、作業ログ２６２の点検する項目のパラメータに含まれる色相・輝度補正パラメータに基づいて、ステップ７０１の処理で入力された画像のコントラストを補正する。

次に、文字認識部２５１は、作業ログ２６２のパラメータに含まれる二値化方式及び二値化パラメータを参照し、ステップ７０１の処理で入力された画像を二値化する（７０３）。一般に、カラー画像又はグレー画像は白黒の二値画像に変換され、変換後の二値画像の文字が認識される。適切な二値画像への変換には、ステップ７０１の処理で入力された画像の状況に応じて適切な二値化方式及び二値化パラメータが利用されなければならない。例えば、文字の色と背景の色との差が小さい画像、コントラストが低い画像、及び薄い文字と濃い背景とを含む画像それぞれに適切な二値化方式及び二値化パラメータが利用されなければならない。文字認識部２５１は、文字認識が成功した項目の二値化方式及び二値化パラメータを記憶しておき、当該項目の文字を再度認識する場合には、当該二値化方式及び二値化パラメータを利用してカラー画像又はグレー画像を二値画像に変換する。

次に、文字認識部２５１は、作業ログ２６２のパラメータに含まれる撮影方向及び傾きを参照して、ステップ７０１の処理で入力された画像の射影歪、樽型歪み、又は傾き等を補正する（７０４）。機器の設置場所によっては読取対象のラベルを正面からカメラで撮影できず、ラベルを斜め方向から撮影せざるを得ない場合、また文字が傾いた状態で撮影せざるを得ない場合がある。ステップ７０４の処理では、このように撮影された画像の歪み又は傾きが補正される。作業ログ２６２には、カメラと読取対象との位置関係（例えば、撮影方向等）及び撮影時の文字列の傾きが登録されている。文字認識部２５１は、作業ログ２６２を利用して、画像の歪み及び傾きを補正するので、正確かつ高速に画像の歪み及び傾きを補正できる。

次に、文字認識部２５１は、作業ログ２６２のパラメータに含まれる項目間のレイアウト、文字列間距離、及び文字間距離を参照して、ステップ７０１の処理で画像から点検する項目の文字列を抽出する（７０５）。文字列抽出方法として連結成分融合法が知られている。連結成分融合法は、二値画像で黒画素が連続した領域を連結成分として抽出し、連結成分の配置関係から文字列を抽出する方法である。具体的には、互いに近接する連結成分の縦方向又は横方向の整列性を考慮して文字列が抽出される。

ステップ７０１の処理で入力された画像は点検する項目以外の文字列を含む可能性がある。このため、文字認識部２５１は、ステップ７０１の処理で入力された画像から点検する項目の文字列を選択する。この文字列の選択方法には三つの方法がある。

一つ目の方法は、点検する項目の文字列のみを選択する方法である。本実施例では、ユーザは、点検する項目ごとにカメラで画像を撮影する。この場合、ユーザは、点検する項目の文字列が画像の中央付近に位置するように画像を撮影する。文字認識部２５１は、ステップ７０１の処理で入力された画像の中央付近の領域から連結成分融合法を用いて文字列を抽出する。これによって、文字認識部２５１は、点検する項目の文字列のみを抽出できる。

二つ目の方法は、ステップ７０１の処理で入力された画像の全ての文字列を抽出し、ステップ６０４の処理である文字列認識処理で点検する項目の文字列を選択する方法である。具体的には、文字列認識処理では、抽出された全ての文字列のうち点検する項目の単語辞書３０８及び表記辞書３０９と一致する文字列が点検する項目として選択される。

三つ目の方法は、ステップ７０１の処理で入力された画像を表示部２２０に表示し、点検する項目の文字列の範囲の指定をユーザから受け付ける方法である。ユーザの指定方法としては、例えば、文字列の中心のみが指定される方法、文字列の両端が指定される方法、及び文字列の四隅が指定される方法等がある。

ステップ７０５の処理では、文字認識部２５１は、作業ログ２６２に含まれる文字列間距離及び文字列距離等を参照して、画像から文字列を抽出する。一つ目の方法では、点検する項目の文字列と点検する項目以外の文字列との距離が文字列間距離と比較して所定値より小さい場合、二つの文字列を一つの文字列として誤抽出する可能性がある。また、点検する項目の文字間距離が作業ログ２６２の文字間距離より所定値より大きい場合、点検する項目の文字列の一部のみしか抽出できない可能性がある。

次に、文字認識部２５１は、文字認識辞書７１１を参照し、ステップ７０５の処理で抽出された文字列の個々の文字を認識する（７０６）。文字認識方法として改良型投影距離（Ｍｏｄｉｆｉｅｄ ｑｕａｄｒａｔｉｃ ｄｉｓｃｒｉｍｉｎａｎｔ ｆｕｎｃｔｉｏｎｓ：ＭＱＤＦ）がある。この方法では、大量の文字が登録された文字認識辞書７１１が生成される場合、距離尺度を算出するための識別関数がベイズの定理から文字カテゴリごとに算出される。そして、入力された文字を認識する場合、識別関数が出力する距離尺度に基づいて入力された文字を文字カテゴリに分類することによって、入力された文字を認識する。なお、距離尺度に基づいて、文字認識の確からしさを示す文字認識スコアを算出してもよい。

ステップ７０６の処理では、文字認識部２５１は、点検シナリオデータの点検する項目のレコードの文字認識辞書３０７に登録された文字の種別を取得し、取得した文字の種別に対応する文字認識辞書７１１を参照して、文字を認識する。これによって、文字認識の精度を向上させることができる。

次に、文字認識部２５１は、ステップ７０６の処理での文字認識結果に対して単語照合処理及び表記照合処理を実行して、項目の最終的な文字認識結果を算出する（７０７）。単語照合処理は、ステップ７０６の処理での文字認識結果と点検シナリオデータ２６１の点検する項目のレコードの単語辞書３０８に登録された単語とが一致するか否かを照合する処理である。また、表記照合処理は、ステップ７０６の処理での文字認識結果の表記形式と点検シナリオデータ２６１の点検する項目のレコードの表記辞書３０９に登録された表記形式とが一致するか否かを照合する処理である。

単語照合処理の具体例について説明する。例えば、点検する項目の単語辞書３０８に「ｔｏｐ」及び「ｂａｓｅ」の二つの単語が登録され、ステップ７０６の処理での文字認識結果が「ｂａｓｓ」である場合、文字認識部２５１は、文字認識結果と単語辞書３０８に登録された単語とが一致しないと判定する。

文字認識部２５１は、文字認識結果「ｂａｓｓ」と単語辞書３０８に登録された「ｂａｓｅ」とは一文字違いであるので、文字認識結果「ｂａｓｓ」を「ｂａｓｅ」に修正し、「ｂａｓｅ」を最終的な文字認識として算出してもよい。単語照合処理では、ステップ７０６の処理での文字認識結果と単語辞書３０８に登録された単語との類似度（単語照合スコア）を算出し、算出した類似度が所定の値より両者が類似することを示せば、単語辞書３０８に登録された単語を最終的な文字認識結果として算出してもよい。

表記照合処理の具体例について説明する。点検する項目の文字が一定のルールで表記される場合、表記照合処理は、ステップ７０６の処理での文字認識結果が当該ルールと一致するか否かを照合する。例えば、点検する項目が日付である場合、当該項目の表記辞書３０９には、「ＹＹ．ＭＭ．ＤＤ」又は「ＹＹ／ＭＭ／ＤＤ」等の表記形式が登録されており、表記照合処理は、ステップ７０６の処理での文字認識結果の表記形式が、「ＹＹ．ＭＭ．ＤＤ」又は「ＹＹ／ＭＭ／ＤＤ」等の表記形式と一致するか否かを照合する。なお、表記照合処理では、ステップ７０６の処理での文字認識結果が作業ログ２６２又は表記辞書３０９に登録された数値又は英字の範囲内であるか否かを判定してもよい。

また、表記照合処理は、ステップ７０６の処理での文字認識結果の表記形式と表記辞書３０９に登録された表記形式との類似度（表記照合スコア）を算出してもよい。

点検シナリオデータ２６１の認識モード３０６に登録されるモードのうち文字認識が必要となるモードには「読取モード」及び「照合モード」がある。「読取モード」は、画像中の文字を認識するモードである。例えば、文字又は数値が可変である項目の認識モードは「読取モード」である。「照合モード」は、単語辞書３０８に登録された単語と文字認識結果とが一致するか否かを照合するモードである。文字又は数値が決まっている項目の認識モードは「照合モード」である。例えば、「型番」、「Ｓ／Ｎ」、「ＭＡＣアドレス」は文字又は数値が決まっているので、これらの項目の認識モードは「照合モード」であり、「処理数」は数値が可変であるので、認識モードは「読取モード」である。

「照合モード」の項目では、単語照合処理及び表記照合処理が実行されるが、「読取モード」の項目は単語辞書３０８が登録されていないので、「読取モード」の項目では表記照合処理のみが実行される。なお、本実施例では、型番の項目の認識モードが「照合モード」であり、単語照合処理及び表記照合処理が実行されるがこれに限定されない。例えば、型番の項目の認識モードが「読取モード」であり、表記照合処理のみが実行されてもよい。ただし、認識精度を向上させるために、型番の項目の文字は、少なくとも表記辞書３０９を用いて認識されるものとする。型番以外の項目は、各項目に対応する文字の特定に応じて適切な認識モードが設定される。

点検する項目が日付である場合の表記辞書３０９には、日付の表記形式の他に図８に示す日付辞書８００も登録されていてもよい。図８は、実施例１の日付辞書８００の説明図である。

日付辞書８００には、年、月、及び日の表記の定義、並びにこれらの組み合わせである年月日の表記の定義が登録される。日付辞書８００は、文脈自由文法の記法であるＢＮＦ（Ｂａｃｋｕｓ−Ｎａｕｒ ｆｏｒｍ）によって記述される。

次に、本実施例で表示部２２０に表示される画面について図９Ａ〜図９Ｅを用いて説明する。まず、文字認識部２５１は、図９Ａに示す場所選択受付画面９００を表示し、場所の選択の入力を受け付ける。次に、文字認識部２５１は、場所選択受付画面９００で入力を受け付けた場所で点検する機器の型番の一覧を表示する型番一覧表示画面９１０（図９Ｂ参照）を表示する。

文字認識部２５１に画像が入力された場合、文字認識部２５１は、入力された画像から最初の点検項目である型番の文字を認識し、型番の文字認識結果を含む認識結果表示画面１１０（図９Ｃ参照）を表示する。次に、文字認識部２５１は、点検シナリオデータ２６１を参照し、入力された場所の識別子、及び認識された型番に対応する機器の点検項目を取得し、取得した点検項目の一覧を含む点検項目一覧表示画面９２０（図９Ｄ）を表示する。

次に、文字認識部２５１に新たな画像が入力された場合、文字認識部２５１は、入力された画像から次の点検項目であるＳ／Ｎの文字を認識し、Ｓ／Ｎの文字認識結果を含む認識結果表示画面（図９Ｅ参照）を表示する。

なお、文字認識部２５１は、一つの項目の文字を認識するたびに、認識結果表示画面１１０を表示する。

図９Ａは、実施例１の場所選択受付画面９００の説明図である。

場所選択受付画面９００は、点検シナリオデータ２６１の場所３０１に登録された識別子によって識別される場所の名称が選択肢９０１及び９０２として表示される。ユーザは、ポインタ９０３を操作して、点検作業を実施する場所を示す選択肢を選択する。

図９Ｂは、実施例１の型番一覧表示画面９１０の説明図である。

文字認識部２５１は、場所の選択の入力を受け付けると、点検シナリオデータ２６１を参照し、場所３０１に入力を受け付けた場所の識別子が登録されたレコードの型番３０３に登録された型番を取得し、取得した型番の一覧を型番一覧表示画面９１０として表示する。

図９Ｃは、実施例１の型番の認識結果表示画面１１０の説明図である。

文字認識部２５１は、画像が入力されると、最初に型番の文字を認識する。認識結果表示画面１１０には、型番の文字認識結果が表示される。

認識結果表示画面１１０は、撮影画像表示エリア１２０及び文字認識結果表示エリア１３０を含む。撮影画像表示エリア１２０は、図１で説明した構成と同じであるので、説明を省略する。また、文字認識結果表示エリア１３０は、認識文字列拡大画像表示部１３１、文字認識結果表示部１３２、表記形式表示部９３１、ＯＫボタン１３３、及びＲｅｔｒｙボタン１３４を含む。認識文字列拡大画像表示部１３１、文字認識結果表示部１３２、ＯＫボタン１３３、及びＲｅｔｒｙボタン１３４は、図１で説明した構成と同じであるので、説明を省略する。

表記形式表示部９３１には、図７に示す表記照合処理で用いた表記辞書３０９に登録された表記形式が表示される。これによって、ユーザは、項目の文字認識結果と表記形式とが一致しているかを確認することができる。なお、表記形式表示部９３１には、数字又は英字等の範囲が表示されてもよいし、図７に示す単語照合処理で用いた単語辞書３０８に登録された単語が表示されてもよい。

図９Ｃに示す認識結果表示画面１１０では、文字認識結果表示部１３２には、ユーザによって操作可能なカーソル９３２が表示される。また、認識文字列拡大画像表示部１３１には、カーソル９３２が位置する文字に対応する文字の画像に位置するカーソル９３３が表示される。

文字認識結果表示部１３２に表示された文字認識結果が画像の点検する項目の文字と異なる場合、ユーザは、修正する文字までカーソル９３２を移動させ、正しい文字を入力することができる。カーソル９３２が位置する文字の画像にカーソル９３３が位置するので、ユーザは、修正しようとする認識結果の文字に対応する画像を即座に把握することができる。

図９Ｄは、実施例１の点検項目一覧表示画面９２０の説明図である。

文字認識部５２１は、型番の文字を認識すると、点検シナリオデータ２６１を参照し、場所３０１に場所選択受付画面９００で入力を受け付けた場所の識別子が登録され、かつ型番３０３に認識された文字が登録されたレコードの属性３０５に登録された属性を取得し、取得した属性を含む点検項目一覧表示画面９２０を表示する。

点検項目一覧表示画面９２０には、点検する機器で点検する項目が表示される。なお、型番の文字が認識済みであるので、図９Ｄに示す点検項目一覧表示画面９２０の型番には認識結果が表示される。

図９Ｅは、実施例１のＳ／Ｎの認識結果表示画面１１０の説明図である。

次に、文字認識部２５１は、型番の文字認識が終了すると、新たな画像が入力され、Ｓ／Ｎの文字を認識し、Ｓ／Ｎの認識結果表示画面１１０を表示する。Ｓ／Ｎの認識結果表示画面１１０の構成は、図９Ｃに示す型番の認識結果表示画面の構成と同じである。

認識文字列拡大画像表示部１３１には、Ｓ／Ｎの文字列の画像が拡大表示され、文字認識結果表示部１３２には、Ｓ／Ｎの文字の認識結果が表示され、表記形式表示部９３１には、Ｓ／Ｎの単語照合処理で用いた表記辞書３０９に登録された表記形式が表示される。

なお、Ｓ／Ｎの認識結果表示画面１１０でＯＫボタン１３３が操作されると、文字認識部２５１は、図９Ｄに示す点検項目一覧表示画面９２０を表示する。この場合の点検項目一覧表示画面９２０のＳ／Ｎには、Ｓ／Ｎの認識結果が表示される。

そして、新たな画像が文字認識部２５１に入力され、次の項目（ＭＡＣアドレス）の文字が認識され、ＭＡＣアドレスの認識結果表示画面１１０が表示され、ＯＫボタン１３３が操作されると、点検項目一覧表示画面９２０が表示される。この処理が最後の項目の文字が認識されるまで繰り返される。

以上によって、本実施例では、入力された画像に含まれる文字を認識する文字認識装置であって、文字を認識する複数の項目を含む複数のグループと、グループ内での複数の項目の認識順序と、各項目の文字の認識に用いる情報とが登録された認識辞書（点検シナリオデータ２６１）を記憶する記憶部と、プロセッサと、を備え、認識辞書に登録される項目は、複数の第１項目（例えば型番等の機器特定情報）及び複数の第２項目（機器特定情報以外の点検する項目）を含み、第１項目はグループ内での認識順序が最初の項目であって、第１項目に少なくとも一つの第２項目が関連付けられ、プロセッサは、認識辞書に登録された複数のグループの第１項目の文字の認識に用いる情報に基づいて、入力された画像から第１項目の文字を認識し、認識辞書に登録された認識順序を参照し、認識された文字の第１項目に関連付けられた第２項目から次に文字を認識する第２項目を特定し、特定した第２項目の文字の認識に用いる情報を認識辞書から読み出し、読み出された第２項目の文字の認識に用いる情報に基づいて、入力された画像から当該第２項目の文字を認識する。

これによって、項目に対応した文字の認識に用いる情報を用いて項目の文字を認識できるので、文字の認識精度を向上させることができ、ユーザの各項目の手作業による入力を不要として、作業効率を向上させることができる。

また、本実施例では、第１項目の文字の認識に用いる情報は、前記第１項目の表記形式を含み、前記プロセッサは、前記第１項目の認識された文字の表記形式が当該第１項目の表記形式と一致する場合、当該第１項目の認識された文字を当該第１項目の認識結果とする。これによって、第１項目の認識精度を向上させることができる。なお、第１項目の認識結果によって次の第２項目が決まるので、第１項目が誤認識されると、第２項目の文字の認識に用いる情報が誤って読み出されるので、第１項目の認識精度を向上させる必要がある。

また、本実施例では、プロセッサは、前記認識された第１項目及び第２項目の文字を、作業ログ２６２として前記記憶部に記憶する。これによって、次の文字認識に前回の文字認識結果を利用することができ、各項目の認識精度を向上させることができる。

また、本実施例では、前記プロセッサは、入力された画像をパラメータに基づいて補正し、前記補正後の画像から認識対象となる項目の文字を認識し、前記文字の認識が成功した場合、前記画像の補正に用いたパラメータを前記作業ログとして前記記憶部に記憶する。これによって、認識が成功した項目のパラメータに基づいて画像を補正することができるので、補正後の画像が文字認識に適切である可能性が高くなり、認識精度を向上させることができる。

また、本実施例では、前記第１項目の文字を認識するための画像が入力され、前記プロセッサは、前記入力された画像から前記第１項目の文字を認識し、前記認識された第１項目の次に認識する第２項目の文字を認識するための画像が入力され、前記プロセッサは、当該入力された画像から当該第２項目の文字を認識し、前記認識された第１項目に関連付けられた最後の第２項目の文字を認識するための画像が入力され、当該入力された画像から当該第２項目の文字を認識するまで繰り返す。例えば、認識する項目が中央付近に存在する画像が入力されれば、当該項目の文字の認識精度を向上させることができる。

また、本実施例では、プロセッサは、前記認識された第１項目の文字を表示部に表示し、前記認識された第２項目の文字を前記認識辞書に登録された認識順序通りに前記表示部に表示する。これによって、ユーザは、認識順序通りに項目の認識結果を確認できる。

また、本実施例では、プロセッサは、前記認識された第１項目の文字を前記表示部に表示する場合、又は前記認識された第２項目の文字を前記表示する場合、前記認識辞書に登録された前記認識に用いた情報も前記表示部に表示する。これによって、ユーザは、項目の認識結果とともに、認識に用いた情報も確認できる。

実施例２について、図１０〜図１４を用いて説明する。

実施例１では、一つの項目の文字を認識するための一つの画像がカメラで撮影され、文字認識部２５１に入力され、一つの項目ごとに文字認識処理が実行されたが、本実施例では、型番の文字を認識するための画像が入力されて型番の文字が認識された後、型番以外の項目の文字を認識するための一つの画像が入力され、当該画像から型番以外の全ての点検項目の文字が一括して認識される。

図１０は、実施例２の文字認識処理のフローチャートである。図１０では、実施例１の図５に示す文字認識処理と同じ処理は同じ符号を付与し、説明を省略する。

本実施例の文字認識処理は、点検項目認識ステップ（５３０）が実施例１の文字認識処理と異なる。

本実施例の点検項目認識ステップでは、点検項目認識部２５３は、項目一括認識処理を実行し（１００１）、項目一括確認処理を実行する（１００２）。

ステップ１００１の処理の項目一括認識処理は、点検する項目の文字を認識するために入力された画像内の全ての点検項目の文字を認識する。項目一括確認処理の詳細は図１１で説明する。

ステップ１００２の処理の項目一括確認処理は、ステップ１００１の処理における全ての点検項目の認識結果を一括して確認する。項目一括確認処理の詳細は図１２で説明する。

文字認識部２５１は、ステップ５０４の処理で認識された型番に対応する全ての点検項目の文字が認識されたか否かを判定する（１００３）。

ステップ１００３の処理で、型番に対応する全ての点検項目の文字が認識されたと判定された場合、ステップ５１０の処理に進み、ステップ５０１の処理で入力を受け付けた場所に設置された全ての機器に対してステップ５２０及び５３０の処理が実行されたか否かを判定する。

一方、ステップ１００３の処理で、型番に対応する全ての点検項目の文字が認識されていないと判定された場合、入力された画像に未認識の項目の文字列が含まれていなかったことか、入力された画像に未認識の項目の文字列が含まれるものの認識に失敗したことが考えられる。このため、文字認識部２５１は、未認識の項目を特定し（１００４）、ステップ１００１の処理に戻り、新たな画像の入力を受け付け、項目認識ステップを再度実行する。

図１１は、実施例２の項目一括認識処理のフローチャートである。

実施例１の図３に示す処理では、点検項目ごとに新たな画像が入力され、入力された画像に対して文字認識前処理及び文字列認識処理が実行される。図１１に示す項目一括認識処理では、型番以外の項目の文字認識のために入力された一つの画像に対して文字認識前処理及び文字列認識処理が実行され、当該一つの画像から型番以外の項目の文字を認識する。図１１では、図６に示す処理と同じ処理は同じ符号を付与し、説明を省略する。

ステップ６０１の処理で、全ての項目が文字認識を必要としないと判定された場合（６０１：ＮＯ）、点検項目認識部２５３は、ユーザによるデータの入力を受け付け、項目一括認識処理を終了する。

一方、ステップ６０１の処理で、いずれかの項目が文字認識を必要とすると判定された場合（６０１：ＹＥＳ）、点検項目認識部２５３は、点検シナリオデータ２６１に登録されたレコードのうち、場所３０１にステップ５０１の処理で入力を受け付けた場所の識別子が登録され、型番３０３にステップ５０４の処理で認識された型番が登録された全てのレコードを読み込む（１１０１）。

次に、点検項目認識部２５３は、作業ログ２６２に登録されたレコードのうち、場所４０２にステップ５０１の処理で入力を受け付けた場所の識別子が登録され、型番４０４にステップ５０４の処理で認識された型番が登録された全てのレコードを読み込む（１１０２）。

次に、点検項目認識部２５３は、文字認識前処理を実行する（６０３）。本実施例の文字認識前処理では、入力された画像を作業ログ２６２に登録されたパラメータに基づいて補正し、補正後の画像から全ての文字列を抽出する。

本実施例の文字認識前処理の詳細について図７のステップ７０１〜７０５の処理を用いて説明する。実施例１のステップ７０２〜７０４の処理は、ある一つの項目の文字を認識するための一つの画像に対して作業ログ２６２の当該項目のレコードに含まれるパラメータに基づいて各種処理を実行する。本実施例のステップ７０２〜７０４の処理は、型番以外の項目の全ての項目の文字を認識するための一つの画像に対して作業ログ２６２の点検作業を実施する機器の各項目のパラメータに基づいて各種処理を実行する。この結果、各項目のパラメータに基づいて各種処理が実行された画像が、点検作業を実施する機器の項目の数だけ生成される。

なお、本実施例のステップ７０２〜７０４の処理は、作業ログ２６２の点検作業を実施する機器の各項目の各パラメータの平均値を算出し、型番以外の項目の全ての項目の文字を認識するための一つの画像に対して各パラメータの平均値に基づいて各種処理を実行してもよい。また、一つの項目のパラメータを選択し、型番以外の項目の全ての項目の文字を認識するための一つの画像に対して一つの項目のパラメータに基づいて各種処理を実行してもよい。

本実施例のステップ７０５の処理は、ステップ７０２〜７０４の処理が実行された画像の全ての文字列を抽出し、図１１に示すステップ１１０３の処理に進む。

ステップ１１０３の処理では、点検項目認識部２５３は、点検シナリオデータ２６１の場所３０１にステップ５０１の処理で入力を受け付けた場所の識別子が登録され、かつ型番３０３にステップ５０４の処理で認識された型番が登録されたレコードから、次に認識する項目のレコードを読み込む（１１０３）。

次に、点検項目認識部２５３は、作業ログ２６２から場所４０２にステップ５０１の処理で入力を受け付けた場所の識別子が登録され、かつ型番４０４にステップ５０４の処理で認識された型番が登録されたレコードから、次に認識する項目のレコードを読み込む（１１０４）。

次に、点検項目認識部２５３は、ステップ６０３の処理で抽出された文字列から最初の文字列を選択する（１１０５）。ここで、最初の文字列とは、ステップ６０３の処理で文字列が画像の上から順に文字列が抽出される場合、一番上に位置する文字列である。なお、ステップ６０３の処理で文字列を抽出する方向は上から下に限定されず、例えば画像の左から右に抽出されてもよい。

なお、ステップ６０３の文字認識前処理で全ての項目に対応する画像が生成されている場合、ステップ１１０３の処理で読み込まれた点検シナリオデータ２６１のレコードの項目に対応する画像から最初に抽出された文字列を選択する。

次に、点検項目認識部２５３は、文字列認識処理を実行する（６０４）。

本実施例の文字列認識処理について図７のステップ７０６及び７０７の処理を用いて説明する。

ステップ７０６の処理は、文字認識辞書７１１を参照し、ステップ１１０５の処理で選択された文字列の文字を認識する。

ステップ７０７の処理は、ステップ７０６の処理での文字認識結果に対して単語照合処理及び表記照合処理を実行する。単語照合処理では、点検項目認識部２５３は、ステップ７０６の処理での文字認識結果とステップ１１０３の処理で読み込まれた点検シナリオデータ２６１の項目の単語辞書３０８に登録された単語とが一致するか否かを照合する。また、表記照合処理では、点検項目認識部２５３は、ステップ７０６の処理での文字認識結果の表記形式とステップ１１０３の処理で読み込まれた点検シナリオデータ２６１の項目の表記辞書３０９に登録された表記形式とが一致するか否かを照合する。

本実施例のステップ７０７の処理では、単語照合スコア及び表記照合スコアが算出されるものとする。

次に、点検項目認識部２５３は、ステップ６０４の処理での文字認識が成功したか否かを判定する（１１０６）。具体的には、点検項目認識部２５３は、単語照合スコア及び表記照合スコアの少なくとも一方が閾値以上であれば、ステップ６０４の処理での文字認識が成功したと判定する。

ステップ１１０６の処理において、ステップ６０４の処理での文字認識が失敗したと判定された場合（１１０６：ＮＯ）、点検項目認識部２５３は、ステップ６０３の処理で抽出された全ての文字列に対してステップ６０４の処理が実行されたか否かを判定する（１１０７）。

ステップ１１０７の処理において、ステップ６０３の処理で抽出された全ての文字列に対してステップ６０４の処理が実行されていないと判定された場合（１１０７：ＮＯ）、点検項目認識部２５３は、ステップ６０３の処理で抽出された文字列から次の文字列を選択し（１１０８）、ステップ６０４の処理に戻る。

一方、ステップ１１０７の処理において、ステップ６０３の処理で抽出された全ての文字列に対してステップ６０４の処理が実行されたと判定された場合（１１０７：ＹＥＳ）、ステップ１１０３の処理で読み込まれた点検シナリオデータ２６１の項目の文字が入力さ入力された画像に含まれていなかったか、当該項目の文字認識に失敗したので、点検項目認識部２５３は、当該項目を未認識の項目として記憶し（１１０９）、次の項目を選択し（１１１２）、ステップ１１０３の処理に戻る。そして、ステップ１１０３の処理では、点検シナリオデータ２６１から選択した次の項目のレコードを読み込む。

ステップ１１０６の処理において、ステップ６０４の処理での文字認識が成功したと判定された場合（１１０６：ＹＥＳ）、点検項目認識部２５３は、ステップ６０４の処理での文字認識結果を記憶し（１１１０）、点検作業を実施する機器の全ての項目に対してステップ６０４の処理が実行されたか否かを判定する（１１１１）。

ステップ１１１１の処理で、点検作業を実施する機器の全ての項目に対してステップ６０４の処理が実行されたと判定された場合（１１１１：ＹＥＳ）、項目一括認識処理を終了する。

一方、ステップ１１１１の処理で、点検作業を実施する機器の全ての項目に対してステップ６０４の処理が実行されていないと判定された場合（１１１１：ＮＯ）、ステップ１１１２の処理に進み、点検項目認識部２５３は、次の項目を選択し、ステップ１１０３の処理に戻る。

図１２は、実施例２の項目一括確認処理のフローチャートである。

まず、点検項目認識部２５３は、項目一括認識処理で認識された最初の項目を選択する（１２０１）。

次に、点検項目認識部２５３は、ステップ１２０１の処理で選択した項目の文字認識結果を含む認識結果表示画面１１０を表示し、当該項目の文字認識結果をユーザに提示する（１２０２）。ステップ１２０２の処理では、ユーザは、認識結果表示画面１１０を見て、ステップ１２０１の処理で選択した項目の文字認識結果が正しいか否かを判断する。ユーザは、文字認識結果が誤っていると判断した場合、文字一括認識処理を点検項目認識部２５３に再度実行させるか、修正内容を文字認識装置２００に入力する。

次に、点検項目認識部２５３は、ステップ１２０１の処理で選択した文字認識結果又はユーザによって修正された文字認識結果、及びステップ６０３の処理で用いたパラメータを、作業ログ２６２に登録する（１２０３）。

次に、点検項目認識部２５３は、項目一括認識処理で認識された全ての項目にステップ１２０２及び１２０３の処理が実行されたか否かを判定する（１２０４）。

ステップ１２０４の処理で、項目一括認識処理で認識された全ての項目にステップ１２０２及び１２０３の処理が実行されていないと判定された場合（１２０４：ＮＯ）、点検項目認識部２５３は、点検一括認識処理で認識された次の項目を選択し（１２０５）、ステップ１２０２の処理に戻る。

一方、ステップ１２０４の処理で、項目一括認識処理で認識された全ての項目にステップ１２０２及び１２０３の処理が実行されたと判定された場合（１２０４：ＹＥＳ）、点検項目認識部２５３は、ステップ１１０９の処理で未認識の項目が記憶されたか否かを判定する（１２０６）。

ステップ１２０６の処理において、ステップ１１０９の処理で未認識の項目が記憶されたと判定された場合（１２０６：ＹＥＳ）、点検項目認識部２５３は、ステップ１１０９の処理で記憶された未認識の項目の一覧を含む未認識項目表示画面１４００を表示し（１２０７）、項目一括確認処理を終了する。未認識項目表示画面１４００の詳細は図１４で説明する。

一方、ステップ１２０６の処理において、ステップ１１０９の処理で未認識の項目が記憶されていないと判定された場合（１２０６：ＮＯ）、点検項目認識部２５３は、項目一括確認処理を終了する。

次に、図１３Ａ〜図１４を用いて、本実施例で表示される画面について説明する。

まず、点検項目認識部２５３は、図１２に示す項目一括確認処理のステップ１２０１の処理の実行前に型番の認識結果表示画面１１０を表示する。図１３Ａは、実施例２の型番の認識結果表示画面１１０の説明図である。

図１３Ａに示す型番の認識結果表示画面１１０は、図１で説明した認識結果表示画面１１０と同じく、撮影画像表示エリア１２０及び文字認識結果表示エリア１３０を含む。

撮影画像表示エリア１２０には、項目一括認識処理の文字認識前処理のステップ７０１の処理で入力された画像が表示される。また、撮影画像表示エリア１２０に表示された画像では、点検項目の文字が認識された文字列の画像が矩形１３０１及び１３０２によって囲まれて表示される。

文字認識結果表示エリア１３０は、型番認識結果表示部１３１１及び点検項目表示部１３１２を含む。型番認識結果表示部１３１１には、型番照合５０４で認識された型番の文字が表示される。点検項目表示部１３１２には、認識された型番の機器で点検すべき項目が点検順序に従って表示される。

撮影画像表示エリア１２０に表示された画像で、項目一括確認処理を実行する場合、ユーザはＯＫボタン１３３を操作する。撮影画像表示エリア１２０に表示された画像に点検対象の文字列が含まれず、新たな画像を入力する場合、ユーザはＲｅｔｒｙボタン１３４を操作する。

次に、図１２に示す項目一括確認処理のステップ１２０１の処理では、最初に点検する項目（Ｓ／Ｎ）が選択され、ステップ１２０２の処理で、項目（Ｓ／Ｎ）の認識結果表示画面１１０が表示される。図１３Ｂは、実施例２の項目（Ｓ／Ｎ）の認識結果表示画面１１０の説明図である。

項目（Ｓ／Ｎ）の認識結果表示画面１１０の撮影画像表示エリア１２０に表示された画像では、認識結果の項目であるＳ／Ｎの文字列の画像を囲む矩形１３０１が強調表示される。一方、認識結果の項目でないＭＡＣの文字列の画像を囲む矩形１３０２は強調表示されない。

文字認識結果表示エリア１３０は、図９Ｅと同じであるので説明を省略する。

ユーザは、項目（Ｓ／Ｎ）の認識結果表示画面１１０で認識結果が正しいと判断した場合、認識結果の修正が完了した場合、ＯＫボタン１３３を操作する。ユーザによってＯＫボタン１３３が操作された場合、点検項目認識部２５３は、次の項目（ＭＡＣ）の認識結果表示画面１１０（図１３Ｃ参照）を表示する。一方、ユーザは、撮影画像表示エリア１２０に表示された画像に点検すべき項目の文字列が含まれないことに気づいた場合、Ｒｅｔｒｙボタン１３４を操作する。この場合、点検項目認識部２５３は、新たな画像の入力を受け付け、再度項目一括認識処理を実行する。

図１３Ｃは、実施例２の項目（ＭＡＣ）の認識結果表示画面１１０の説明図である。

項目（ＭＡＣ）の認識結果表示画面１１０の撮影画像表示エリア１２０に表示された画像では、認識結果の項目であるＭＡＣの文字列の画像を囲む矩形１３０２が強調表示される。一方、認識結果の項目でないＳ／Ｎの文字列の画像を囲む矩形１３０１は強調表示されない。

文字認識結果表示エリア１３０は、図９Ｅと同じであるので説明を省略する。

図１４は、実施例２の未認識項目表示画面１４００の説明図である。

未認識項目表示画面１４００には、点検作業を実施する機器の点検すべき項目のうち、項目一括認識処理で認識されていない項目の一覧が表示される。

以上によって、本実施例では、第１項目の文字を認識するための画像が入力され、前記プロセッサは、前記入力された画像から前記第１項目の文字を認識し、前記認識された第１項目に関連付けられた第２項目の文字を認識するための画像が入力され、前記プロセッサは、当該入力された画像から前記認識された第１項目に関連付けられた第２項目の文字を認識する。これによって、第２項目を特定するために必要な項目である第１項目用の画像から第１項目の文字を認識するので、第１項目の認識精度を向上させつつ、第２項目は一つの画像から一括して認識するので、第２項目ごとに画像を入力する必要がなくなり、ユーザの作業効率を向上させることができる。

実施例３について、図１５〜図１６Ｂを用いて説明する。

実施例２では、型番の文字を認識するための画像が入力されて型番の文字が認識された後、一つの画像が入力され、当該画像から型番以外の全ての点検項目の文字が一括して認識されたが、本実施例では、入力された一つの画像から型番を含む全ての項目の文字が一括して認識される。

図１５は、実施例３の文字認識処理のフローチャートである。図１５では、実施例１の図５及び実施例２の図１０に示す文字認識処理と同じ処理は同じ符号を付与し、説明を省略する。

本実施例の文字認識処理は、図１０に示すステップ５０４の処理（型番照合処理）を実行せず、また、図１０に示すステップ１００１の処理（項目一括認識処理）の代わりに全項目一括認識処理を実行し（１５０１）、図１０に示すステップ１００２の処理（項目一括確認処理）の代わりに全項目一括確認処理を実行する（１５０２）。

ステップ１５０１の処理で実行される全項目一括認識処理では、文字認識部２５１は、入力された画像から文字列を抽出し、抽出した文字列から型番を含む全ての項目の文字を認識する。

全項目一括認識処理は、基本的には項目一括認識処理と同じ処理で実現可能である。しかし、全項目一括認識処理は、型番を含む全ての項目の文字を認識する点で図１０に示す項目一括認識処理と相違する。

全項目一括認識処理では、入力された画像から最初に型番の文字を認識する必要がある。このため、型番の文字が認識される前のステップ１１０３の処理では、文字認識部２５１は、ステップ５０１の処理で入力を受け付けた場所に設置される全ての機器の型番のレコードを点検シナリオデータ２６１から読み込み、ステップ６０４の処理で型番の文字を認識する。もしくは、点検シナリオデータ２６１の機器番号３０２の順に、一つずつ型番のレコードを読み込み、ステップ６０４の処理で型番の文字を認識する。ステップ１１０４の処理でも、ステップ１１０３の処理と同じく入力を受け付けた場所に設置された機器の型番のレコードを作業ログ２６２から読み込む。なお、型番の文字が認識された後の全項目一括認識処理は、項目一括認識処理と同じである。

全項目一括確認処理は、基本的には、項目一括認識確認処理と同じ処理で実現可能である。全項目一括確認処理は、型番の文字認識結果を示す認識結果表示画面１１０も表示する点で、項目一括確認処理と異なる。

次に、図１６Ａ及び図１６Ｂを用いて、本実施例で表示される画面について説明する。

まず、文字認識部２５１は、全項目一括確認処理で最初の項目（型番）の認識結果表示画面１１０（図１６Ｂ参照）を表示する前に、点検項目の一覧を表示する認識結果表示画面１１０を表示する。図１６Ａは、実施例３の点検項目の一覧を表示する認識結果表示画面１１０の説明図である。

図１６Ａに示す認識結果表示画面１１０は、撮影画像表示エリア１２０及び文字認識結果表示エリア１３０を含む。

撮影画像表示エリア１２０には、全項目一括認識処理で入力された画像が表示される。また、撮影画像表示エリア１２０に表示された画像では、型番として認識された文字列の画像が矩形１６０１によって囲まれて表示され、型番以外の点検項目として認識された文字列の画像点検項目の文字が認識された文字列の画像が矩形１３０１及び１３０２によって囲まれて表示される。

型番の文字列を囲む矩形１６０１と点検項目の文字列を囲む矩形１３０１及び１３０２とは、型番の文字列であるか点検項目の文字列であるかをユーザが特定可能なように表示される。例えば、矩形１６０１は実線で表示され、矩形１３０１及び１３０２は点線で表示される。

文字認識結果表示エリア１３０は点検項目表示部１３１２を含み、点検項目表示部１３１２には点検すべき型番を含む項目が点検順序に表示される。

ＯＫボタン１３３が操作されると、文字認識部２５１は、最初の項目である型番の認識結果表示画面１１０を表示する。図１６Ｂは、実施例３の型番の認識結果表示画面１１０の説明図である。図１６Ｂに示す型番の認識結果表示画面１１０は、型番の認識結果が表示される点以外は、図１３Ｂに示す項目（Ｓ／Ｎ）の認識結果表示画面１１０と同じであり、同じ構成は同じ符号を付与し、説明を省略する。

撮影画像表示エリア１２０に表示される画像においては、文字認識結果表示エリア１３０に認識結果が表示されている型番の文字列の矩形１６０１が例えば実線で強調表示される。なお、Ｓ／Ｎの文字列を囲む矩形１３０１及びＭＡＣの文字列を囲む矩形１３０２は点線で表示されるが、次に認識結果が表示される矩形１３０１の点線の点と点との距離を、矩形１３０２の点線の点と点との距離を長くすることによって、次に認識結果が表示される項目の文字列を囲む矩形と、その他の項目の文字列を囲む矩形とを把握しやすいようにする。

ＯＫボタン１３３が操作されると、文字認識部２５１は、次の項目である項目（ＭＡＣ）の認識結果表示画面１１０を表示する。

本実施例では、プロセッサは、入力された一つの画像から、前記第１項目の文字を認識し、前記入力された画像から、前記認識された第１項目に関連付けられた全ての第２項目の文字を一括で認識する。これによって、一つの画像を入力するだけで、全ての項目の文字が一括で認識されるので、ユーザの作業効率を向上させることができる。

本実施例では、文字認識部２５１は、ある機器で点検作業が実施され、当該機器の項目の文字が認識された場合、文字が認識された項目の相対的な配置関係（レイアウト）を作業ログ２６２にとして記憶する。配置関係とは、例えば、型番の下方にＳ／Ｎが位置し、Ｓ／Ｎの下方にＭＡＣが位置する等の位置関係であってもよいし、項目の重心間の距離であってもよい。位置関係は上下方向に限定されず、左右方向の位置関係を含んでもよい。

そして、同じ機器で点検作業が実施される場合、文字認識部２５１は、作業ログ２６２の認識する項目のレコードのレイアウトを参照し、文字を認識する項目の文字列の抽出する領域を入力された画像から特定する。そして、文字認識部２５１は、特定した領域から文字列を抽出し、抽出した文字列の文字を認識する。このように、作業ログ２６２のレイアウトを参照して特定された文字列の抽出位置から文字列を抽出するので、入力された画像の全ての位置から文字列を抽出する必要がなくなり、文字認識装置２００の処理負荷を軽減できる。本実施例は、複数の項目を一括で認識する処理を実行する実施例２及び２に適用可能である。

本実施例の文字認識処理について実施例２を用いて説明する。

まず、図１０に示す項目一括確認処理のステップ１２０３の処理で、ステップ１２０２の認識結果表示画面１１０が表示された項目の文字認識結果及び画像を補正するためのパラメータを作業ログ２６２に登録する際に、当該項目の文字が認識された文字列の位置を示す座標も作業ログ２６２に登録する。例えば、作業ログ２６２に登録される座標は、入力された画像の文字列が抽出された領域の重心の座標である。そして、文字認識部２５１は、当該項目の項目番号より一つ前の項目の文字列の座標から当該項目の文字列の座標までの向き及び距離を計算し、計算した向き及び距離を当該項目の作業ログ２６２に登録する。このように、本実施例の項目一括確認処理では、確認する項目の作業ログ２６２に、当該項目の一つ前の項目の文字列の座標からの向き及び距離がレイアウトとして登録される。

次に、作業ログ２６２に登録されたレイアウトを用いた項目一括認識処理について図１１を用いて説明する。実施例２は、ステップ６０３の処理の文字認識前処理で入力された画像から文字列を抽出したが、本実施例は、ステップ６０３の処理の文字認識前処理で文字列を抽出せずに、ステップ１１０５の処理で文字列を抽出し、抽出した文字列を選択する。

本実施例のステップ１１０５の処理で実行される文字列抽出処理について説明する。文字認識部２５１は、ステップ１１０４の処理で読み込まれた文字を認識する項目の作業ログ２６２からレイアウトを取得する。そして、ステップ１１０５の処理では、文字認識部２５１は、文字を認識する項目の一つ前の項目の文字列の位置から、取得したレイアウトに含まれる向き及び距離によって特定される領域の文字列を抽出し、抽出した文字列を選択して、ステップ６０４の文字列認識処理を実行する。

このように、本実施例では、入力された画像の全ての文字列を抽出せずに、項目ごとに限定された領域から文字列を抽出するので、文字認識装置２００の処理負荷を軽減できる。また、文字を認識する項目の文字列が位置する可能性が高い領域から文字列が抽出され、抽出された文字列の文字が認識されるので、認識精度も向上させることができる。

なお、同じ機器に複数回点検作業が実施される場合、カメラの画角が点検作業ごとに異なる可能性があるが、文字認識前処理で、画角の違いを補正することによって文字列を正確に抽出できる。また、点検作業毎に項目のレイアウトを統計的に解析し、解析結果を作業ログ２６２に登録することによって、画角の違いを吸収できる。

また、作業ログ２６２のレイアウトは項目の文字列の周辺の文字列の座標等を含んでもよい。この場合、文字認識部２５１は、文字を認識する項目の文字列を抽出する場合、認識対象とならない周辺の文字列の座標付近の文字列を抽出しない。文字を認識する項目の周辺の文字列が抽出されないので、候補となる文字列を減らすことができ、認識精度を向上させることができる。

実施例１〜３では、文字認識部２５１に入力される画像は静止画であるものとして説明したが、文字認識部２５１に入力される画像は動画であってもよい。ユーザが点検作業をする機器のラベル等の動画を撮影し、当該動画がリアルタイムで文字認識部２５１に入力され、文字認識部２５１がリアルタイムで文字認識処理を実行してもよい。なお、文字認識部２５１は、ある機器の全ての項目の文字認識が終了した時点で、動画の撮影を終了させて、認識結果をユーザに確認させてもよい。

実施例１〜３では、文字認識部２５１は、一つの画像から文字を認識するが、複数の画像から文字を認識してもよい。例えば、文字認識部２５１に動画が入力され、入力された動画に含まれる複数のフレーム画像から文字を認識し、認識結果が同じフレーム画像が所定数以上あれば、当該認識結果を記憶する。これによって、認識精度を向上させることができる。

実施例１〜３で認識する文字は項目の名称の周辺に記載された点検対象となる文字列であるが、項目の名称の文字列及び当該項目の点検対象となる文字列の文字を認識してもよい。これは、同じ表記の文字列が一つの画像に存在する場合に有効である。例えば、文字認識部２５１に入力された画像に次回点検予定日の日付と前回点検日の日付とが含まれている場合等である。例えば、図１に示すラベル１４１からは、項目名の名称「Ｓ／Ｎ」と点検対象となる文字列「１７１２０４０１１６１」との組み合わせ、及び項目の名称「ＭＡＣ」と点検対象となる文字列「Ｃ０８ＡＤＥ１４ＣＢ６０」との組み合わせが抽出される。

また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。また、上記の各構成、機能、処理部、処理手段などは、それらの一部または全部を、例えば集積回路で設計するなどによりハードウェアで実現してもよい。

また、前記の各構成、機能などは、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。

各機能を実現するプログラム、テーブル、ファイルなどの情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）などの記録装置、または、ＩＣ（Integrated Circuit）カード、ＳＤカード、ＤＶＤ（Digital Versatile Disc）などの記録媒体に置くことができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際にはほとんど全ての構成が相互に接続されていると考えてもよい。

２００ 文字認識装置
２１０ 操作部
２２０ 表示部
２３０ 画像入力部
２５０ プロセッサ
２５１ 文字認識部
２５２ 機器特定情報認識部
２５３ 点検項目認識部
２６０ メモリ
２６１ 点検シナリオデータ
２６２ 作業ログ
２７０ 補助記憶装置

Claims (12)

1. 入力された画像に含まれる文字を認識する文字認識装置であって、
   文字を認識する複数の項目を含む複数のグループと、前記グループに含まれる複数の項目の当該グループ内での認識順序と、各項目の文字の認識に用いる情報とが登録された認識辞書を記憶する記憶部と、
   プロセッサと、を備え、
   前記認識辞書に登録される項目は、複数の第１項目及び複数の第２項目を含み、
   前記第１項目は前記グループ内での認識順序が最初の項目であって、前記第１項目に少なくとも一つの第２項目が関連付けられ、
   前記プロセッサは、
   前記認識辞書に登録された複数のグループの第１項目の文字の認識に用いる情報に基づいて、入力された画像から前記第１項目の文字を認識し、
   前記認識辞書に登録された前記認識順序を参照し、前記認識された文字の第１項目に関連付けられた第２項目から次に文字を認識する第２項目を特定し、
   前記特定した第２項目の文字の認識に用いる情報を前記認識辞書から読み出し、
   前記読み出された第２項目の文字の認識に用いる情報に基づいて、入力された画像から当該第２項目の文字を認識することを特徴とする文字認識装置。
2. 請求項１に記載の文字認識装置であって、
   前記第１項目の文字の認識に用いる情報は、前記第１項目の表記形式を含み、
   前記プロセッサは、前記第１項目の認識された文字の表記形式が当該第１項目の表記形式と一致する場合、当該第１項目の認識された文字を当該第１項目の認識結果とすることを特徴とする文字認識装置。
3. 請求項１に記載の文字認識装置であって、
   前記プロセッサは、前記認識された第１項目及び第２項目の文字を、作業ログとして前記記憶部に記憶することを特徴とする文字認識装置。
4. 請求項３に記載の文字認識装置であって、
   前記プロセッサは、
   入力された画像をパラメータに基づいて補正し、前記補正後の画像から認識対象となる項目の文字を認識し、
   前記文字の認識が成功した場合、前記画像の補正に用いたパラメータを前記作業ログとして前記記憶部に記憶することを特徴とする文字認識装置。
5. 請求項３に記載の文字認識装置であって、
   前記プロセッサは、
   入力された画像から文字列を抽出し、
   前記抽出した文字列から認識対象となる項目の文字の認識に用いる情報に基づいて文字を認識し、
   前記文字の認識が成功した場合、前記文字を認識した項目と当該項目より認識順序が一つ前の項目との配置関係を前記作業ログに登録し、
   当該項目の文字を再度認識する場合、前記作業ログに登録された配置関係に基づいて、入力された画像から文字列を抽出する領域を特定し、
   前記特定した領域から文字列を抽出することを特徴とする文字認識装置。
6. 請求項１に記載の文字認識装置であって、
   前記第１項目の文字を認識するための画像が入力され、前記プロセッサは、前記入力された画像から前記第１項目の文字を認識し、
   前記認識された第１項目の次に認識する第２項目の文字を認識するための画像が入力され、前記プロセッサは、当該入力された画像から当該第２項目の文字を認識し、
   前記認識された第１項目に関連付けられた最後の第２項目の文字を認識するための画像が入力され、当該入力された画像から当該第２項目の文字を認識するまで繰り返すことを特徴とする文字認識装置。
7. 請求項１に記載の文字認識装置であって、
   前記第１項目の文字を認識するための画像が入力され、前記プロセッサは、前記入力された画像から前記第１項目の文字を認識し、
   前記認識された第１項目に関連付けられた第２項目の文字を認識するための画像が入力され、前記プロセッサは、当該入力された画像から前記認識された第１項目に関連付けられた全ての第２項目の文字を一括で認識することを特徴とする文字認識装置。
8. 請求項１に記載の文字認識装置であって、
   前記プロセッサは、
   入力された一つの画像から、前記第１項目の文字を認識し、
   前記入力された画像から、前記認識された第１項目に関連付けられた全ての第２項目の文字を一括で認識することを特徴とする文字認識装置。
9. 請求項１に記載の文字認識装置であって、
   前記プロセッサは、
   前記認識された第１項目の文字を表示部に表示し、
   前記認識された第２項目の文字を前記認識辞書に登録された認識順序通りに前記表示部に表示することを特徴とする文字認識装置。
10. 請求項９に記載の文字認識装置であって、
    前記プロセッサは、前記認識された第１項目の文字を前記表示部に表示する場合、又は前記認識された第２項目の文字を前記表示部に前記表示する場合、前記認識辞書に登録された前記認識に用いた情報も前記表示部に表示することを特徴とする文字認識装置。
11. 入力された画像に含まれる文字を認識する文字認識装置における文字認識方法であって、
    前記文字認識装置は、記憶部とプロセッサとを有し、
    前記記憶部には、文字を認識する複数の項目を含む複数のグループと、前記グループに含まれる複数の項目の当該グループ内での認識順序と、各項目の文字の認識に用いる情報とが登録された認識辞書が記憶され、
    前記認識辞書に登録される項目は、複数の第１項目及び複数の第２項目を含み、
    前記第１項目は前記グループ内での認識順序が最初の項目であって、前記第１項目に少なくとも一つの第２項目が関連付けられ、
    前記文字認識方法は、
    前記プロセッサが、前記認識辞書に登録された複数のグループの第１項目の文字の認識に用いる情報に基づいて、入力された画像から前記第１項目の文字を認識し、
    前記プロセッサが、前記認識辞書に登録された前記認識順序を参照し、前記認識された文字の第１項目に関連付けられた第２項目から次に文字を認識する第２項目を特定し、
    前記プロセッサが、前記特定した第２項目の文字の認識に用いる情報を前記認識辞書から読み出し、
    前記プロセッサが、前記読み出された第２項目の文字の認識に用いる情報に基づいて、入力された画像から当該第２項目の文字を認識することを特徴とする文字認識方法。
12. 入力された画像に含まれる文字を認識する処理を装置が有するプロセッサに実行させるプログラムであって、
    前記装置は、記憶部と前記プロセッサとを有し、
    前記記憶部には、文字を認識する複数の項目を含む複数のグループと、前記グループに含まれる複数の項目の当該グループ内での認識順序と、各項目の文字の認識に用いる情報とが登録された認識辞書が記憶され、
    前記認識辞書に登録される項目は、複数の第１項目及び複数の第２項目を含み、
    前記第１項目は前記グループ内での認識順序が最初の項目であって、前記第１項目に少なくとも一つの第２項目が関連付けられ、
    前記処理では、
    前記プロセッサが、前記認識辞書に登録された複数のグループの第１項目の文字の認識に用いる情報に基づいて、入力された画像から前記第１項目の文字を認識し、
    前記プロセッサが、前記認識辞書に登録された前記認識順序を参照し、前記認識された文字の第１項目に関連付けられた第２項目から次に文字を認識する第２項目を特定し、
    前記プロセッサが、前記特定した第２項目の文字の認識に用いる情報を前記認識辞書から読み出し、
    前記プロセッサが、前記読み出された第２項目の文字の認識に用いる情報に基づいて、入力された画像から当該第２項目の文字を認識することを特徴とするプログラム。