JP5108018B2 - 紙葉類識別装置及び紙葉類識別方法 - Google Patents

Description

本発明は、帳票類・紙葉類の入力画像を複数の帳票類・紙葉類の参照画像と照合して該入力画像の帳票類・紙葉類の種別を識別する帳票類識別装置及び紙葉類識別方法に関し、特に、判定対象となる紙葉類の種別が多くなった場合であっても、高速、高精度かつ効率的に紙葉類の種別を識別することができる紙葉類識別装置及び紙葉類識別方法に関するものである。

従来、銀行のＡＴＭ（Automatic Teller Machine）等では紙幣等を受け入れた際にその種別を判定する必要があるため、紙幣や有価証券等の紙葉類の種別を精度良く識別するための紙葉類識別技術が知られている。

例えば、特許文献１には、２種類の判定候補の組み合わせ毎に、予め定められた複数の読取箇所から両判定候補の基準特徴量分布間の分布間距離が最大となる有効読取箇所を抽出しておき、２種類の判定候補の組み合わせ毎に求めた有効読取箇所における分布距離が最大となる組み合わせについて、有効読取箇所からのみ得られる検査対象紙葉類の特徴量との距離をそれぞれ求め、得られた距離が大きい方の紙葉類の種類を判定候補から除外する絞込処理を行い、残った判定候補について絞込処理を繰り返すことで紙葉類の種類を判定する紙葉類識別方法が開示されている。

特開２００１−２７３５４１号公報

しかしながら、この特許文献１のものは、２つの判定候補の一つを残す絞込処理を繰り返しているため、判定候補となる紙葉類の数Ｎが多くなると、一つの最終候補が残るまでにＮ−１回の識別処理を繰り返さねばならないので、処理遅延が問題となる可能性がある。例えば日本国内の紙幣のみを判定候補に限定する場合には１０００円札、２０００円札、５０００円札、１００００円札の４金種しか存在しないが、海外紙幣までをも識別対象に含めると、判定候補数が膨大な数になり、上記問題が生ずるのである。

このため、あらかじめ別の処理を行って判定候補を一つに特定する前処理を行い、この前処理によって特定された判定候補を判定対象となる紙葉類と比較して、両者が同種のものであるかを詳細判定することも考えられる。

ところが、かかる前処理によって複数の判定候補から一つの判定候補を特定すると、この判定候補が判定対象となる紙葉類と同種のものではないと判定された場合に、この判定候補を除外して再度同じ処理を繰り返さねばならなくなってしまう。その理由は、上述した判定候補を特定する前処理は精細な判定を行っているとは限らず、判定誤りを起こしている可能性があるためである。

特に、紙幣を識別対象とする場合に、かかる紙幣は偽造対策として透かし部等の一部のみがマイナーチェンジされることも多いため、上記前処理によって一つの判定候補のみに特定したのでは、結果的に判定誤りを起こす可能性が否定できない。

これらのことから、判定対象となる紙幣の種別が多くなった場合に、いかにして高速、高精度かつ効率的に紙幣の種別を識別するかが重要な課題となっている。なお、紙幣以外の有価証券等の紙葉類についても同様な課題が存在する。

本発明は、上記に鑑みてなされたものであって、判定対象となる紙葉類の種別が多くなった場合であっても、高速、高精度かつ効率的に紙葉類の種別を識別することができる紙葉類識別装置及び紙葉類識別方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、紙葉類の入力画像を複数の紙葉類の参照画像と照合して該入力画像の紙葉類の種別を識別する紙葉類識別装置であって、前記入力画像及び複数の参照画像がそれぞれ画一的にブロック分割された各ブロックの濃度特徴及び方向特徴に基づいて、所定数の紙葉類種別の候補を選択する候補選択手段と、前記候補選択手段により選択された各紙葉類種別に対応する参照画像の特徴に応じて前記入力画像を適応的にブロック分割し、ブロック分割された入力画像及び参照画像のブロック間の照合値に基づいて詳細判定を行う詳細判定手段とを備えたことを特徴とする。

また、本発明は、上記発明において、各紙葉類種別毎の参照画像の特徴量を記憶する特徴量記憶手段をさらに備え、前記候補選択手段は、前記入力画像を受け付けた際に該入力画像を画一的にブロック分割する第１のブロック分割手段と、前記第１のブロック分割手段によりブロック分割された各ブロックの濃度特徴を算出する濃度特徴算出手段と、前記ブロック分割手段によりブロック分割された各ブロックの方向特徴を算出する方向特徴算出手段と、前記濃度特徴算出手段により算出された各ブロックの濃度特徴、前記方向特徴算出手段により算出された各ブロックの方向特徴並びに前記特徴量記憶手段に記憶された各参照画像の特徴量に基づいて所定数の紙葉類種別の候補を選択する選択手段とを備えたことを特徴とする。

また、本発明は、上記発明において、各紙葉類種別の参照画像の特徴に応じたブロック分割方式並びに該ブロック分割方式で前記参照画像をブロック分割した分割済参照画像を紙葉類種別毎にそれぞれ記憶する記憶手段をさらに備え、前記詳細判定手段は、前記候補選択手段により選択された各紙葉類種別の候補にそれぞれ対応するブロック分割方式及び分割済参照画像を前記記憶手段から読み出し、読み出された各ブロック分割方式で前記入力画像をそれぞれブロック分割する第２のブロック分割手段と、前記第２のブロック分割手段によりブロック分割された入力画像と分割済参照画像のブロック間の詳細照合値を各紙葉類種別の候補毎にそれぞれ算出する詳細照合値算出手段と、前記詳細照合値算出手段により算出された各詳細照合値に基づいて前記入力画像に対応する紙葉類の種別を特定する特定手段とを備えたことを特徴とする。

また、本発明は、上記発明において、前記入力画像及び参照画像は、同一の紙葉類を撮像した赤外反射画像、赤外透過画像、可視反射画像及び可視透過画像からなり、前記候補選択手段は、可視反射画像の各ブロックの濃度特徴及び方向特徴を用いて前記紙葉類種別の一時絞り込みを行った後に、該一時絞り込みがされた紙葉類種別の赤外透過画像、赤外反射画像及び可視透過画像を用いて順次絞り込みを行って、複数の紙葉類から所定数の紙葉類種別の候補を選択することを特徴とする。

また、本発明は、上記発明において、前記第１のブロック分割手段は、各紙葉類の大きさが異なる場合であっても同一のブロックサイズのブロックに画一的にブロック分割することを特徴とする。

また、本発明は、上記発明において、前記候補選択手段は、前記紙葉類種別の候補として選択すべき数を受け付ける選択数受付手段をさらに備え、前記選択手段は、前記選択数受付手段により受け付けられた数の紙葉類種別の候補を選択することを特徴とする。

また、本発明は、紙葉類の入力画像を複数の紙葉類の参照画像と照合して該入力画像の紙葉類の種別を識別する紙葉類識別方法であって、前記入力画像及び複数の参照画像がそれぞれ画一的にブロック分割された各ブロックの濃度特徴及び方向特徴に基づいて所定数の紙葉類種別の候補を選択する候補選択工程と、前記候補選択工程により選択された各紙葉類種別に対応する参照画像の特徴に応じて前記入力画像を適応的にブロック分割し、ブロック分割された入力画像及び参照画像のブロック間の照合値に基づいて詳細判定を行う詳細判定工程とを含んだことを特徴とする。

本発明によれば、入力画像及び複数の参照画像がそれぞれ画一的にブロック分割された各ブロックの濃度特徴及び方向特徴に基づいて、所定数の紙葉類種別の候補を選択し、選択された各紙葉類種別に対応する参照画像の特徴に応じて入力画像を適応的にブロック分割し、ブロック分割された入力画像及び参照画像のブロック間の照合値に基づいて詳細判定を行うよう構成したので、判定対象となる紙葉類の種別が多くなった場合であっても、高速、高精度かつ効率的に紙葉類の種別を識別することができるという効果を奏する。

また、本発明によれば、各紙葉類種別毎の参照画像の特徴量をあらかじめ記憶しておき、入力画像を受け付けた際に該入力画像を画一的にブロック分割し、ブロック分割された各ブロックの濃度特徴及び方向特徴を算出し、算出された各ブロックの濃度特徴、方向特徴並びにあらかじめ記憶された各参照画像の特徴量に基づいて所定数の紙葉類種別の候補を選択するよう構成したので、紙葉類識別装置とは別の装置で事前に作成された各参照画像の特徴量を用いて効率良く紙葉類の候補を選択することができる。

また、本発明によれば、各紙葉類種別の参照画像の特徴に応じたブロック分割方式並びに該ブロック分割方式で参照画像をブロック分割した分割済参照画像を紙葉類種別毎にそれぞれ記憶しておき、選択された各紙葉類種別の候補にそれぞれ対応するブロック分割方式及び分割済参照画像を読み出すとともに、読み出された各ブロック分割方式で入力画像をそれぞれブロック分割し、ブロック分割された入力画像と分割済参照画像のブロック間の詳細照合値を各紙葉類種別の候補毎にそれぞれ算出し、算出した各詳細照合値に基づいて入力画像に対応する紙葉類の種別を特定するよう構成したので、所定数の紙葉類種別の候補に対してのみ詳細判定を行えば足りるため、高速に詳細判定を行うことができる。

また、本発明によれば、入力画像及び参照画像は、同一の紙葉類を撮像した赤外反射画像、赤外透過画像、可視反射画像及び可視透過画像からなり、可視反射画像の各ブロックの濃度特徴及び方向特徴を用いて紙葉類種別の候補の一時絞り込みを行った後に、該一時絞り込みがされた紙葉類種別の候補の赤外透過画像、赤外反射画像及び可視透過画像を用いて順次絞り込みを行って、複数の紙葉類から所定数の紙葉類種別の候補を選択するよう構成したので、段階的な絞り込みを通じて一層の処理の高速化及び効率化を図ることが可能となる。特に、可視反射画像は紙葉類の種別判定で最も大きな特徴が出るため、この可視反射画像を最初の絞り込みに用いることによって、より一層の処理の高速化及び効率化を図ることができる。

また、本発明によれば、各紙葉類の大きさが異なる場合であっても同一のブロックサイズのブロックに画一的にブロック分割するよう構成したので、紙葉類毎にブロックサイズを変える必要がなくなり、処理の高速化を図ることができる。

また、本発明によれば、紙葉類種別の候補として選択すべき数を設定する入力を受け付け、設定された数の紙葉類種別の候補を選択するよう構成したので、類似する参照画像が多い場合や処理時間を犠牲にしてでも候補漏れを防ぎたい場合には選択数を増やし、より高速化を図りたい場合には選択数を減らす等、操作者のニーズに応じた処理を行わせることができる。

図１は、本実施例に係る紙幣識別装置の構成を示す機能ブロック図である。 図２は、図１に示した画像入力部により入力される赤外透過画像、赤外反射画像、可視透過画像及び可視反射画像の一例を示す図である。 図３は、図１に示した切出処理部によるエッジ点の抽出処理を説明するための説明図である。 図４は、図１に示した切出処理部によるハフ変換を用いた紙幣部の角度算出を説明するための説明図である。 図５は、図１に示した切出処理部による紙幣部の切出処理を説明するための説明図である。 図６は、図１に示した候補絞込処理部によるブロック分割を説明するための説明図である。 図７は、図１に示した候補絞込処理部により算定される濃度特徴を説明するための説明図である。 図８は、図１に示した候補絞込処理部により算定される方向特徴を説明するための説明図である。 図９は、候補絞込処理部が算出する照合値の概念を説明するための説明図である。 図１０は、図１に示した詳細判定処理部によるブロック分割を説明するための説明図である。 図１１は、平均参照画像のブロック位置（ａ，ｂ）からの部分画像ｔ（ａ，ｂ）の抽出を説明するための説明図である。 図１２は、平均参照画像の特定のブロックの部分画像を入力画像の対応するブロック位置付近でずらしつつ照合値（濃度差分）を算出する概念を説明するための説明図である。 図１３は、 図１に示した紙幣識別装置による紙幣識別処理手順を説明するためのフローチャートである。 図１４は、図１３のステップＳ１０２に示した紙幣部切出処理手順を示すフローチャートである。 図１５は、図１３のステップＳ１０３に示した候補絞込処理手順を示すフローチャートである。 図１６は、図１３のステップＳ１０４に示した詳細判定処理手順を示すフローチャートである。

符号の説明

１０ 紙幣識別装置
１１ 画像入力部
１２ 切出処理部
１３ 記憶部
１３ａ 特徴量
１３ｂ 参照画像データ
１４ 候補絞込処理部
１４ａ ブロック分割処理部
１４ｂ 濃度特徴抽出部
１４ｃ 方向特徴抽出部
１４ｄ 照合値算出部
１４ｅ 候補選択部
１５ 詳細判定処理部
１５ａ ブロック分割処理部
１５ｂ 詳細照合値算出部
１５ｃ 識別結果出力部
２１ 赤外透過画像
２２ 赤外反射画像
２３ 可視透過画像
２４ 可視反射画像
３１ 赤外透過部分画像
３２ 赤外反射部分画像
３３ 可視透過部分画像
３４ 可視反射部分画像

以下に、本発明にかかる紙葉類識別装置及び紙葉類識別方法の実施例を図面に基づいて詳細に説明する。ここでは紙幣を識別対象として紙幣の種別を識別するとともに、この紙幣を識別する際に用いられる参照画像の特徴量等は事前に作成したものを記憶部に格納しているものとする。

＜紙幣識別装置の概略構成＞
まず、本実施例に係る紙幣識別装置１０の構成について説明する。図１は、本実施例に係る紙幣識別装置１０の構成を示す機能ブロック図である。同図に示す紙幣識別装置１０は、あらかじめ装置内部に各紙幣の特徴量（固有ベクトル及び平均ベクトル）及び参照画像データ（平均参照画像及び分割方式）を記憶しておき、入力画像が取得された場合に、特徴量を用いて複数の紙幣種別の中から所定数（以下では「４つ」のケースを例示する）の紙幣種別を候補紙幣種別として選択し、その後選択された候補紙幣種別について参照画像データを用いた詳細判定を行って一つの紙幣種別を特定し、特定した紙幣種別を紙幣識別結果として出力する装置である。

図１に示すように、この紙幣識別装置１０は、画像入力部１１と、切出処理部１２と、記憶部１３と、候補絞込処理部１４と、詳細判定処理部１５とを有する。画像入力部１１は、紙幣の画像を取り込むラインセンサであり、一度の読取操作で、図２に示すような赤外透過画像２１、赤外反射画像２２、可視透過画像２３及び可視反射画像２４の４種類の画像を取り込み、取り込んだ各画像を切出処理部１２に受け渡す。

具体的には、読取対象となる紙幣に対して赤外光と可視光を照射し、紙幣を透過した赤外光の受光結果から赤外透過画像２１を生成し、紙幣から反射した赤外光の受光結果から赤外反射画像２２を生成し、紙幣を透過した可視光の受光結果から可視透過画像２３を生成し、紙幣から反射した可視光の受光結果から可視反射画像２４を生成する。

切出処理部１２は、画像入力部１１から受け付けた４種類の画像（赤外透過画像２１、赤外反射画像２２、可視透過画像２３及び可視反射画像２４）から紙幣部を切り出す処理部である。具体的には、この切出処理部１２では、まず赤外透過画像２１を用いて紙幣部の幅、高さ及び傾きを求め、求めた幅、高さ及び傾きを用いて各画像の回転処理及び切出処理を行う。

記憶部１３は、入力画像の比較対象となる各紙幣の特徴量（固有ベクトル、平均ベクトル）１３ａ、参照画像データ（平均参照画像及び分割方式）１３ｂ及び重み係数（λａｂ）１３ｃを紙幣種別ごとに記憶する記憶部である。これらの特徴量１３ａ及び参照画像データ１３ｂは、紙幣の種別ごとに記憶するのはもちろんのこと、同じ紙幣種別について赤外透過画像、赤外反射画像、可視透過画像及び可視反射画像の４種類にそれぞれ対応するものを記憶する。

ここで、この記憶部１３に記憶される各紙幣種別毎の参照画像の特徴量（固有ベクトル、平均ベクトル）１３ａは、候補絞込処理部１４によって紙幣種別を絞り込む際に利用されるものである。その詳細な説明は後述するが、かかる特徴量（固有ベクトル、平均ベクトル）１３ａは、入力画像の場合と同様に多数（例えば１０００枚）の参照画像をそれぞれ画一的にブロック分割した後、各ブロック毎の濃度特徴及び方向特徴を求め、その分布から固有ベクトル及び平均ベクトルを求めることになる。

一方、この記憶部１３に記憶される各紙幣種別毎の参照画像データ（平均参照画像及び分割手順）１３ｂは、詳細判定処理部１５によって詳細判定を行う際に利用される。その詳細な説明は後述するが、ここで言う分割方式とは、参照画像をその紙幣サイズや特徴部分に応じて分割するための分割方式であり、例えばある紙幣の特徴のあるエリアを密に分割し、特徴のないエリアを粗く分割する等を規定したものである。また、平均参照画像とは、各紙幣種別毎の複数の参照画像の画素平均をとったものを上記分割方式でブロック分割したものである。

候補絞込処理部１４は、識別対象となる入力画像を受け付けた際に、この入力画像に対応する４つの紙幣種別の候補（以下、「候補紙幣種別」と言う）を選択する処理部であり、具体的には、入力画像（赤外透過画像２１、赤外反射画像２２、可視透過画像２３及び可視反射画像２４）をその紙幣サイズの大きさとは無関係に画一的にブロック分割し、各ブロックの濃度特徴及び方向特徴に基づいて４つの候補紙幣種別を選択処理することになる。

このように、かかる候補絞込処理部１４では、従来技術のように入力画像に対応する紙幣種別を直接かつ一意に特定するのではなく、その前処理として４つの候補紙幣種別を選択処理するものであり、最終的には後述する詳細判定処理部１５がこの４つの候補紙幣種別から１つの紙幣種別を決定する。

かかる事前処理を行うこととした理由は、従来技術のように直接かつ一意に紙幣種別を判定すると、識別対象となる紙幣がこの判定結果として得られる紙幣とその後の判定で不一致であると判定された場合に、この紙幣種別を除外して再度上記処理を繰り返さねばならず、正しい識別結果を得るまでに時間を要してしまうからである。

なお、本実施例では、４つの候補紙幣種別を選択処理する場合について説明するが、かかる選択処理すべき候補紙幣種別の数は、装置内部の操作部や装置外部からの指示入力によって変更することもできる。これにより、紙幣種別間でその絵柄が類似するものが多い場合や処理時間を犠牲にしてでも候補漏れを防ぎたい場合には選択すべき候補紙幣種別数を増やし、より高速化を図りたい場合には候補紙幣種別数を減らして、操作者のニーズに応じた処理を行わせることが可能となる。

詳細判定処理部１５は、候補絞込処理部１４によって選択された４つの候補紙幣種別から入力画像に対応する一つの紙幣種別を特定するための詳細判定を行う処理部である。具体的には、この詳細判定処理部１５では、各候補紙幣種別に対応する参照画像データ１３ｂを記憶部１３から読み出して、この参照画像データ１３ｂ内の分割方式で入力画像をブロック分割した後、ブロック分割された入力画像と平均参照画像のブロック間の詳細照合値を算出し、算出した詳細照合値に基づいて入力画像に対応する平均参照画像を特定し、特定した平均参照画像に対応する紙幣種別を出力する処理を行っている。

なお、ここでは機能ブロック図を用いて紙幣識別装置１０の構成を示したが、実際にコンピュータを用いて実現する場合には、画像入力部１１に対応するラインセンサ及び記憶部１３に対応するハードディスク装置等を設けるとともに、切出処理部１２、候補絞込処理部１４及び詳細判定処理部１５に対応するプログラムを不揮発性メモリ等に記憶しておき、かかるプログラムをＣＰＵにロードして実行することになる。

＜切出処理部の詳細＞
次に、図１に示した切出処理部１２の詳細について図３〜図５を用いて具体的に説明する。図３は、この切出処理部１２によるエッジ点の抽出処理を説明するための説明図であり、図４は、この切出処理部１２によるハフ変換を用いた紙幣部の角度算出を説明するための説明図であり、図５は、この切出処理部１２による紙幣部の切出処理を説明するための説明図である。

図３に示すように、この切出処理部１２では、まず入力画像の赤外透過画像２１を上方向から走査し、所定のしきい値以上の画素値を有する画素をエッジ点として検出する。その後、下方、左方、右方からも同様の処理をそれぞれ行ってエッジ点を検出し、これらのエッジ点から紙幣のエッジ部分のおおよその角度θ１を求める。

その後、図４に示すように、検出したエッジ点とその角度θ１からハフ変換を行って上辺、下辺、左辺及び右辺のハフ平面を求め、各ハフ平面ごとに傾きθを投票して４つのヒストグラムを作成する（左辺と右辺に関しては９０度回転させて投票を行う）。その後、４つのヒストグラムを加算して、加算したヒストグラムの投票値が最大となる傾きθを求め、求めた傾きθを紙幣の傾きとする。その後、上辺、下辺、左辺、右辺の各ハフ平面上で傾きθに対応する位置ρを求めて、このρの値を各辺の位置とする処理を行う。

その後、図５に示すように、得られた各辺の位置（ρ）と傾き（θ）から紙幣部を切り出して回転処理し、入力画像から紙幣部を切り出した部分画像を取得する。なお、赤外透過画像２１を用いて紙幣の傾きθと各辺の位置ρを検出したならば、同じ値を用いて赤外透過画像２１、赤外反射画像２２、可視透過画像２３及び可視反射画像２４から紙幣部を切り出し、図５に示した赤外透過部分画像３１、赤外反射部分画像３２、可視透過部分画像３３及び可視反射部分画像３４を取得する。

このようにして、この切出処理部１２では、画像入力部１１から受け付けた入力画像（赤外透過画像２１、赤外反射画像２２、可視透過画像２３及び可視反射画像２４）から紙幣部の部分画像（赤外透過部分画像３１、赤外反射部分画像３２、可視透過部分画像３３及び可視反射部分画像３４）を切り出すことになる。

＜候補絞込処理部の詳細＞
次に、図１に示した候補絞込処理部１４の詳細について図６〜図８を用いて具体的に説明する。図６は、この候補絞込処理部１４によるブロック分割を説明するための説明図であり、図７は、この候補絞込処理部１４により算定される濃度特徴を説明するための説明図であり、図８は、この候補絞込処理部１４により算定される方向特徴を説明するための説明図である。

図１に示すように、かかる候補絞込処理部１４は、ブロック分割処理部１４ａ、濃度特徴抽出部１４ｂ、方向特徴抽出部１４ｃ、照合値算出部１４ｄ及び候補選択部１４ｅからなる。

ブロック分割処理部１４ａは、入力画像をその紙幣サイズや特徴部分と無関係に画一的にブロック分割する処理部であり、本実施例では、図６に示すように、入力画像を２４画素×２４画素のサイズのブロックに分割している。ただし、隣接するブロック間が８画素重なるようにするために、あるブロックを得た後に１６画素ずらして次のブロックを取得する。このように、隣接するブロックのブロック中心の距離を１６画素刻みにし、かつ、隣接するブロックが８画素重なるようにして、２４画素×２４画素のサイズのブロックに分割している。

このように紙幣の大きさや特徴部分にかかわらず画一的なブロック分割（ブロックサイズ固定）を行うこととした理由は、前処理である絞込処理を行う段階で時間の要する適応的な処理を行うことは却って処理遅延を招く原因となるからである。また、その後の詳細判定処理部１５による詳細判定において紙幣の大きさや特徴部分を加味した判定を行えば、かかる絞込処理において適応的な分割処理を行う必要性が低いと考えられるためである。

濃度特徴抽出部１４ｂは、ブロック分割処理部１４ａにより分割された各ブロック内をさらに４分割し、各分割領域内の平均値を求めて濃度特徴とする処理部である。例えば、図７の左上部の平均値は７８であり、右上部の平均値は１１３であり、左下部の平均値は１２５であり、右下部の平均値は１３４であるため、この場合の濃度特徴は、（７８，１１３，１２５，１３４）となる。

方向特徴抽出部１４ｃは、ブロック分割処理部１４ａにより分割された各ブロックに対してガボールフィルタ（水平、垂直、斜め右、斜め左の４方向）を適用して、各画素における方向特徴量を求める処理部である。なお、かかるガボールフィルタは各ブロックに対して適用されるわけであるが、説明の便宜上図８では紙幣全体に適用した場合を示している。

このようにして求められた各画素の方向特徴量は正規化される。例えば、求められた方向特徴量が（０．７，０．２，０．１，１．２）である場合には、各要素の合計値すなわち０．７＋０．２＋０．１＋１．２＝２．２で各要素を除算した（０．３２，０．０９，０．０５，０．５５）が正規化された方向特徴量となる。

すなわち、各ブロックにガボールフィルタを適用したブロックの方向画像の各画素値を
とすると（但し、ｋ＝０は水平、ｋ＝１は斜め左、ｋ＝２は垂直、ｋ＝３は斜め右を示す）、正規化された各画素の方向特徴量ｇ_k’は、次式から得られる。

そして、各画素の方向特徴量ｇ_k’（４次元）についてブロック単位で平均値を求めて各ブロックの方向特徴量とする。これにより、１つの画像あたりの方向特徴量の次元数は、ブロック数が３２で各ブロックが４次元であり、かつ、４種類の入力画像（赤外透過画像２１、赤外反射画像２２、可視透過画像２３及び可視反射画像２４）があるため最大３２×４×４＝５１２となる。

照合値算出部１４ｄは、濃度特徴抽出部１４ｂによって求められた濃度特徴と方向特徴抽出部１４ｃによって求められた方向特徴を用いて、入力画像と各紙幣（の参照画像）との照合値を算出する処理部である。

具体的には、あらかじめ上記濃度特徴及び方向特徴を求める処理を各紙幣種別ごとに１０００回行い（１００枚の紙幣を１０回試行）、その平均ベクトルＭｉと共分散行列Ｋｉの固有ベクトルを求めて特徴量として記憶部１３に記憶しておく。そして、入力画像を取得したならば、この入力画像に対して上記処理を行って濃度特徴及び方向特徴を求め、入力画像の特徴量の固有ベクトルへの投影距離を加算したものを照合値とする。

図９は、候補絞込処理部１４が算出する照合値の概念を説明するための説明図である。ここでは、説明の便宜上２次元の場合を説明することとする。まず、ある紙幣種別について事前に１０００回の試行を行うと、これにより得られる濃度特徴や方向特徴にはばらつきが発生するため、平均ベクトルＭｉと共分散行列Ｋｉ＝Σ（Ｘｉ−Ｍｉ）（Ｘｉ−Ｍｉ）^Tの固有ベクトルが得られる。

つまり、かかる１０００回の試行は、図９に示す平均ベクトルＭｉを中心として主軸Φi1、副軸Φi2とした楕円状に分布することになる。ここで、入力画像を読み取って特徴量Ｘｉ（濃度特徴量及び方向特徴量）を求めると、平均ベクトルＭｉと特徴量Ｘｉの間の距離は||Ｘｉ−Ｍｉ||となる（なお、||ａ||は、ａのユークリッドノルムを示している）。

一方、入力画像の特徴量Ｘｉを主軸Φi1に投影した地点から平均ベクトルＭｉまでの距離は、||Φi1^T（Ｘｉ−Ｍｉ）||となるため、特徴量Ｘｉから主軸Φi1への投影距離ｄ（ｉ）は、次式により得られる。ここでは、主軸の長い方から５つ選択した場合を想定したため、ｋ＝１〜５としている。

なお、ｉ＝１のとき赤外透過画像の濃度特徴１２８次元を示し、ｉ＝２のとき赤外反射画像の濃度特徴１２８次元を示し、ｉ＝３のとき可視透過画像の濃度特徴１２８次元を示し、ｉ＝４のとき可視反射画像の濃度特徴１２８次元を示し、ｉ＝５のとき赤外透過画像の特徴１２８次元を示し、ｉ＝６のとき赤外反射画像の濃度特徴１２８次元を示し、ｉ＝７のとき可視透過画像の濃度特徴１２８次元を示し、ｉ＝８のとき可視反射画像の濃度特徴１２８次元を示している。

そして、求める照合値Ｚは、これらを合計したＺ＝Σｄ（ｉ）（但しｉ＝１〜８）となる。なお、処理時間を短縮するため、参照画像すべてについて照合値Ｚを求めるのではなく、投影距離ｄ（ｉ）を求めるごとに、その投影距離値で候補の絞り込みを行う。例えば、ｄ（４）で１２８候補とし、ｄ（２）で３２候補とする等の絞り込みを行うことになる。これにより、例えば６候補〜８候補程度の紙幣種別に絞り込むとともに、各紙幣種別の照合値を併せて取得することができる。なお、可視反射画像のｄ（４）が種別を分離するうえで最も特徴がでるため、一番最初に行うことが望ましい。

以上のことから、本実施例では、事前に各紙幣種別毎に上記一連の処理を行って例えば１０００パターンの濃度特徴量及び方向特徴量を求めるとともに、これらの特徴量（平均ベクトル及び固有ベクトル）１３ａを求めて、その結果を紙幣種別毎に記憶部１３に格納しておく必要がある。ただし、かかる特徴量（平均ベクトル及び固有ベクトル）の算定処理は、この紙幣識別装置１０上で行う必要はなく、他の装置で行ったデータを記憶部１３に記憶すれば足りる。

候補選択部１４ｅは、照合値算出部１４ｄによって絞り込まれた紙幣種別の中からその照合値の大きなものを所定数（ここでは「４つ」）選択処理する処理部である。例えば、上記照合値算出部１４ｄによって６候補の照合値が得られたならば、この６候補のうち照合値の高いものから４候補選択することになる。なお、すでに説明したように、選択される候補数は、装置内部の操作部や装置外部からの指示入力によって変更することができる。

＜詳細判定処理部の詳細＞
次に、図１に示した詳細判定処理部１５の詳細について図１０〜図１２を用いて説明する。図１０は、この詳細判定処理部１５によるブロック分割を説明するための説明図であり、図１１は、この詳細判定処理部１５による平均参照画像の生成を説明するための説明図であり、図１２は、この詳細判定処理部１５による照合値の算定を説明するための説明図である。

図１に示すように、この詳細判定処理部１５は、ブロック分割処理部１５ａ、詳細照合値算出部１５ｂ及び識別結果出力部１５ｃを有する。ブロック分割処理部１５ａは、候補絞込処理部１４により選択された４つの候補紙幣種別にそれぞれ対応する参照画像データ１３ｂ内の分割方式を記憶部１３から読み出し、読み出した分割方式で入力画像をブロック分割する処理部である。

このブロック分割処理部１５ａは、候補絞込処理部１４のブロック分割処理部１４ａによって行われる画一的なブロック分割ではなく、各紙幣種別ごとにブロック位置とブロック数を異ならせて入力画像の分割処理を行う。各紙幣の特徴をなす部分がクローズアップされるようにブロック分割を行うためである。ブロック分割処理部１４ａよりもブロック数は増え、等間隔で空白を含まないよう調整することが望ましい。図１０では、水平方向にＭ個のブロック、垂直方向にＮ個のブロックを設ける場合に、左端のブロックに紙幣部以外の領域が含まれないよう調整されている状況を示しており、このように紙幣部以外の空白を含まないよう調整して、意味ある照合値を算出することが重要となる。

ここで、具体的にブロック位置の求め方について説明する。まず、紙幣の水平方向、垂直方向の紙幣長をそれぞれlenX、lenYとし、紙幣の水平、垂直方向のブロック数をＭ、Ｎとし、紙幣の水平、垂直方向のブロック間隔をdisX、disYとし、求めるブロック位置を（Ｘａ，Ｙｂ）とすると、紙幣長に対して８画素間隔で水平方向、垂直方向のブロック数を数える。ブロックサイズを１２画素×１２画素であるとすると、
Ｍ＝((lenX-12）/8)＋１
Ｎ＝((lenY-12）/8)＋１
となる。

次に、ブロック数Ｍ、Ｎからブロック間隔（８画素以下）を
disX＝(lenX-12）/Ｍ
disY＝(lenY-12）/Ｎ
の式から求め、求めたブロック間隔disX、disYを用いて
Ｘａ＝disX × ａ
Ｙｂ＝disY × ｂ
の算定式から水平方向にａ番目、垂直方向にｂ番目のブロック位置を求める。

詳細照合値算出部１５ｂは、入力画像と平均参照画像の各ブロック間の濃度差分を詳細照合値として算出する処理部である。具体的には、入力画像のある１つのブロックのブロック切出位置（ａ，ｂ）が決まると、この切出位置を水平方向に左右３画素、垂直方向に上下３画素順次ずらしながら（ａ±３，ｂ±３）、４９個のブロックを切り出す。そして、この４９個のブロックと平均参照画像のブロック位置（ａ，ｂ）から切り出したブロックとの濃度差分を求める。そして、４９個の濃度差分の中から最小値を求め、これを当該ブロックの照合値とする。なお、ここでは水平方向に左右３画素、垂直方向に上下３画素ずらす場合を説明するが、かかるずらし量はこれに限定されるものではない。

このように、入力画像と平均参照画像のそれぞれのブロック切出位置（ａ，ｂ）の濃度差分のみを算出するのではなく、入力画像のブロック切出位置をずらしながら入力画像の４９個のブロックとの濃度差分を求めた理由は、入力画像に位置ずれが生じている可能性があるためである。

この点をさらに詳細に説明する。入力画像のあるブロック位置（ａ，ｂ）が決まり、このブロック位置を中心としたｋ個（例えば４９個）の画像データをｓk（ａ，ｂ）とし（但し、１≦ｋ≦４９）、このブロック位置（ａ，ｂ）の平均参照画像の画像データをｔ（ａ，ｂ）とすると、各ブロックでの照合値Ｚa,bは次式によって求まる。この式は、濃度差分を求める式であり、ｋ＝１〜４９の４９個の濃度差分のうちその値が最小のものをブロック間の照合値とするものである。ｓki（ａ，ｂ）を入力画像のあるブロック画像内のｉ番目の画素値とし、ti（ａ，ｂ）を平均参照画像のあるブロック画像内のｉ番目の画素値とし、ｎをブロック画像内の画素数とし、Ｚa,bを各ブロックの照合値とすると、
となる。

実際には、図１１に示すように、まず平均参照画像のブロック位置（ａ，ｂ）の部分画像を切り出した後に、図１２に示すように、平均参照画像から切り出した部分画像を入力画像の同じブロック位置（ａ，ｂ）に適用して濃度差分を求める。その後、この適用位置を水平方向に±３画素、垂直方向に±３画素順次ずらしながらそれぞれ濃度差分を求め、その最小値を当該ブロック位置（ａ，ｂ）の照合値とすることになる。

このようにして、各ブロックの照合値を求めたならば、次式のように各ブロックの照合値を加算して特定の候補紙幣種別との詳細照合値Ｚを求めることになる。なお、λa,bは、記憶部１３から読み出されるパラメータであり、各ブロックの重み係数となる。紙幣種別の特徴的なブロックについてはその重み係数λa,bを大きくし、特徴的な部分でないブロックについてはその重み係数λa,bを小さくする。例えば、複数枚の真券と他券種（他国紙幣、他金種）から取得したデータを用いて線形判別分析を行って、その結果を重み係数λa,bとすることができる。

識別結果出力部１５ｃは、詳細照合値算出部１５ｂが各候補紙幣種別ごとの詳細照合値を求めたならば、最も大きな詳細照合値を持つ紙幣種別を紙幣識別結果として出力する処理部である。例えば、この紙幣識別結果は図示しない表示部に表示したり、図示しない印字部によって印字することができる。

＜紙幣識別装置による紙幣識別処理手順＞
次に、図１に示した紙幣識別装置１０の紙幣識別処理手順について説明する。図１３は、図１に示した紙幣識別装置１０の紙幣識別処理手順を示すフローチャートである。ここでは、各紙幣種別ごとの特徴量（平均ベクトル、固有ベクトル）１３ａはあらかじめ記憶部１３に格納されているものとする。

同図に示すように、この紙幣識別装置１０では、まず画像入力部１１により識別対象となる紙幣の入力画像を取り込むための画像入力処理を行う（ステップＳ１０１）。この入力画像には、図２に示した赤外透過画像２１、赤外反射画像２２、可視透過画像２３及び可視反射画像２４が含まれる。

その後、切出処理部１２によって画像入力部１１から受け付けた入力画像（４種類の画像）から紙幣部をそれぞれ切り出す切出処理を行い（ステップＳ１０２）、候補絞込処理部１４でこの入力画像に対応する４つの候補紙幣種別を選択する処理を行う（ステップＳ１０３）。

その後、詳細判定処理部１５が、候補絞込処理部１４によって選択された４つの候補紙幣種別から入力画像に対応する一つの候補紙幣種別を特定するための詳細判定を行う（ステップＳ１０４）。かかる詳細判定処理により、入力画像に対応する１つの紙幣種別が出力されることになる。

次に、上記ステップ１０２に示した紙幣部切出処理手順についてさらに詳細に説明する。図１４は、図１３のステップＳ１０２に示した紙幣部切出処理手順を示すフローチャートである。

同図に示すように、この紙幣部切出処理では、まず入力画像をなす４種類の赤外透過画像２１、赤外反射画像２２、可視透過画像２３及び可視反射画像２４それぞれの紙幣部外縁のエッジ点を検出するエッジ点検出処理を行い（ステップＳ２０１）、検出したエッジ点を用いて紙幣部の傾きをなす概略角度θ１を求める（ステップＳ２０２）。具体的には、図３に示した上方から走査を行って所定値以上の画素値を持つエッジ点を見つける処理を上下左右方向から繰り返してエッジ点を求め、同図に示した角度θ１を取得することになる。

その後、図４を用いて説明したように、エッジ点とその角度θ１からハフ変換を行って上辺、下辺、左辺及び右辺のハフ平面を求め（ステップＳ２０３）、各辺の投票平面内で角度ごとに最大値を求め、その最大値を４辺とも加算するヒストグラム加算処理を行い（ステップＳ２０４）、得られたヒストグラムの最大値を取る角度を紙幣の傾きθとし、ハフ平面から各辺、その傾きθにおける最大値を求め、各辺の位置ρとする角度算出処理を行う（ステップＳ２０５）。

その後、図５に示すように、得られた各辺の位置ρと傾きθから紙幣部を切り出して回転処理し（ステップＳ２０６）、入力画像から紙幣部を切り出す紙幣部切出処理を行う（ステップＳ２０７）。

次に、図１３のステップ１０３に示した候補絞込処理手順についてさらに詳細に説明する。図１５は、図１３のステップＳ１０３に示した候補絞込処理手順を示すフローチャートである。

同図に示すように、まず入力画像を画一的にブロック分割するブロック分割処理（ステップＳ３０１）を行う。具体的には、図６に示すように、２４画素×２４画素のサイズのブロックを１６画素×１６画素刻みでブロック分割することになる。

その後、ブロック分割処理部１４ａにより分割された各ブロック内をさらに４分割してその平均値を求めて濃度特徴とする濃度特徴抽出処理（ステップＳ３０２）を行うとともに、入力画像の各ブロックに対してガボールフィルタ（水平、垂直、斜め左、斜め右の４方向）を適用して、各画素における方向特徴量を求める（ステップＳ３０３）。

その後、照合値算出部１４ｄが、濃度特徴抽出部１４ｂによって求められた濃度特徴と方向特徴抽出部１４ｃによって求められた方向特徴を用いて入力画像の各紙幣種別毎の照合値を算出し（ステップＳ３０４）、候補選択部１４ｅが照合値の高いものから４候補選択処理する（ステップＳ３０５）。

次に、図１３のステップ１０４に示した詳細判定処理手順についてさらに詳細に説明する。図１６は、図１３のステップＳ１０４に示した詳細判定処理手順を示すフローチャートである。

同図に示すように、まずブロック分割処理部１５ａが、候補絞込処理部１４によって選択された４つの候補紙幣種別にそれぞれ対応する分割方式で入力画像を適応的にブロック分割する（ステップＳ４０１）。すなわち、このブロック分割処理部１５ａでは、候補絞込処理部１４のブロック分割処理部１４ａによって行われる画一的なブロック分割ではなく、各紙幣種別ごとにブロック位置とブロック数を異ならせて分割処理を行う。

その後、詳細照合値算出部１５ｂが、入力画像と平均参照画像の各ブロック間の濃度差分を求めるとともに、各ブロックの濃度差分（照合値）を加算してこれを詳細照合値として算出する（ステップＳ４０２）。

このようにして、各候補紙幣種別毎の詳細照合値を求めたならば、識別結果出力部１５ｃは、最も詳細照合値の高い候補紙幣種別を紙幣識別結果として出力する（ステップＳ４０３）。

上述してきたように、本実施例では、画像入力部１１により識別対象となる紙幣の画像を入力画像として取り込む画像入力処理を行い、切出処理部１２によって画像入力部１１から受け付けた入力画像（４種類の画像）から紙幣部をそれぞれ切り出し、候補絞込処理部１４が入力画像に対応する４つの参照画像を選択し、詳細判定処理部１５が、候補絞込処理部１４によって選択された４つの候補参照画像から入力画像に対応する一つの候補参照画像を特定するための詳細判定を行うよう構成したので、判定対象となる紙葉類の種別が多くなった場合であっても、高速、高精度かつ効率的に紙葉類の種別を識別することができる。

なお、本実施例では、候補絞込処理で用いる各参照画像の特徴量（固有ベクトル及び平均ベクトル）と詳細判定処理で用いる平均参照画像をあらかじめ別装置で作成して記憶部１３に記憶しておく場合について説明したが、本発明はこれに限定されるものではなく、この紙幣識別装置１０においてこれらの情報を事前に生成して記憶部１３に格納したり、入力画像を受け付ける時点でこれらの情報を生成することもできる。

また、本実施例では、詳細判定処理部１５において事前生成された平均参照画像１３ｂを用いることとしたが、本発明は平均参照画像を用いる場合に限定されるものではなく、理想的な環境で取り込まれた参照画像をその代わりに用いることもできる。

また、本実施例では、詳細判定処理部１５において濃度差分を用いて詳細判定を行う場合を示したが、本発明はこれに限定されるものではなく、他の方式を用いて詳細判定を行うこともできる。

また、本実施例では、本発明を紙幣の識別に適用した場合を示したが、本発明はこれに限定されるものではなく、小切手等の他の紙葉類を識別対象とする場合に適用することもできる。

以上のように、本発明にかかる紙葉類識別装置及び紙葉類識別方法は、紙葉類の入力画像を複数の紙葉類の参照画像と照合して該入力画像の紙葉類の種別を識別する場合に有用であり、特に、判定対象となる紙葉類の種別が多くなった場合であっても、高速、高精度かつ効率的に紙葉類の種別を識別する場合に適している。

Claims (7)

1. 紙葉類の入力画像を複数の紙葉類の参照画像と照合して該入力画像の紙葉類の種別を識別する紙葉類識別装置であって、
   前記入力画像及び複数の参照画像がそれぞれ画一的にブロック分割された各ブロックの濃度特徴及び方向特徴に基づいて、所定数の紙葉類種別の候補を選択する候補選択手段と、
   前記候補選択手段により選択された各紙葉類種別に対応する参照画像の特徴に応じて前記入力画像を適応的にブロック分割し、ブロック分割された入力画像及び参照画像のブロック間の照合値に基づいて詳細判定を行う詳細判定手段と
   を備えたことを特徴とする紙葉類識別装置。
2. 各紙葉類種別毎の参照画像の特徴量を記憶する特徴量記憶手段をさらに備え、
   前記候補選択手段は、前記入力画像を受け付けた際に該入力画像を画一的にブロック分割する第１のブロック分割手段と、前記第１のブロック分割手段によりブロック分割された各ブロックの濃度特徴を算出する濃度特徴算出手段と、前記ブロック分割手段によりブロック分割された各ブロックの方向特徴を算出する方向特徴算出手段と、前記濃度特徴算出手段により算出された各ブロックの濃度特徴、前記方向特徴算出手段により算出された各ブロックの方向特徴並びに前記特徴量記憶手段に記憶された各参照画像の特徴量に基づいて所定数の紙葉類種別の候補を選択する選択手段とを備えたことを特徴とする請求項１に記載の紙葉類識別装置。
3. 各紙葉類種別の参照画像の特徴に応じたブロック分割方式並びに該ブロック分割方式で前記参照画像をブロック分割した分割済参照画像を紙葉類種別毎にそれぞれ記憶する記憶手段をさらに備え、
   前記詳細判定手段は、前記候補選択手段により選択された各紙葉類種別の候補にそれぞれ対応するブロック分割方式及び分割済参照画像を前記記憶手段から読み出し、読み出された各ブロック分割方式で前記入力画像をそれぞれブロック分割する第２のブロック分割手段と、前記第２のブロック分割手段によりブロック分割された入力画像と分割済参照画像のブロック間の詳細照合値を各紙葉類種別の候補毎にそれぞれ算出する詳細照合値算出手段と、前記詳細照合値算出手段により算出された各詳細照合値に基づいて前記入力画像に対応する紙葉類の種別を特定する特定手段とを備えたことを特徴とする請求項１又は２に記載の紙葉類識別装置。
4. 前記入力画像及び参照画像は、同一の紙葉類を撮像した赤外反射画像、赤外透過画像、可視反射画像及び可視透過画像からなり、
   前記候補選択手段は、可視反射画像の各ブロックの濃度特徴及び方向特徴を用いて前記紙葉類種別の一時絞り込みを行った後に、該一時絞り込みがされた紙葉類種別の赤外透過画像、赤外反射画像及び可視透過画像を用いて順次絞り込みを行って、複数の紙葉類から所定数の紙葉類種別の候補を選択する
   ことを特徴とする請求項１又は２に記載の紙葉類識別装置。
5. 前記第１のブロック分割手段は、各紙葉類の大きさが異なる場合であっても同一のブロックサイズのブロックに画一的にブロック分割することを特徴とする請求項２に記載の紙葉類識別装置。
6. 前記候補選択手段は、前記紙葉類種別の候補として選択すべき数を設定する入力を受け付ける選択数受付手段をさらに備え、前記選択手段は、設定された数の紙葉類種別の候補を選択することを特徴とする請求項２に記載の紙葉類識別装置。
7. 紙葉類の入力画像を複数の紙葉類の参照画像と照合して該入力画像の紙葉類の種別を識別する紙葉類識別方法であって、
   前記入力画像及び複数の参照画像がそれぞれ画一的にブロック分割された各ブロックの濃度特徴及び方向特徴に基づいて所定数の紙葉類種別の候補を選択する候補選択工程と、
   前記候補選択工程により選択された各紙葉類種別に対応する参照画像の特徴に応じて前記入力画像を適応的にブロック分割し、ブロック分割された入力画像及び参照画像のブロック間の照合値に基づいて詳細判定を行う詳細判定工程と
   を含んだことを特徴とする紙葉類識別方法。