JP2004133629A - 特定マーク検出用辞書作成装置、特定マーク検出装置、特定マーク認識装置並びにプログラムおよび記録媒体 - Google Patents

特定マーク検出用辞書作成装置、特定マーク検出装置、特定マーク認識装置並びにプログラムおよび記録媒体 Download PDF

Info

Publication number
JP2004133629A
JP2004133629A JP2002296673A JP2002296673A JP2004133629A JP 2004133629 A JP2004133629 A JP 2004133629A JP 2002296673 A JP2002296673 A JP 2002296673A JP 2002296673 A JP2002296673 A JP 2002296673A JP 2004133629 A JP2004133629 A JP 2004133629A
Authority
JP
Japan
Prior art keywords
image
specific mark
dictionary
polar coordinate
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002296673A
Other languages
English (en)
Other versions
JP4067379B2 (ja
Inventor
Hideaki Yamagata
山形 秀明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2002296673A priority Critical patent/JP4067379B2/ja
Priority to US10/681,857 priority patent/US7305664B2/en
Publication of JP2004133629A publication Critical patent/JP2004133629A/ja
Application granted granted Critical
Publication of JP4067379B2 publication Critical patent/JP4067379B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/24Character recognition characterised by the processing or recognition method
    • G06V30/242Division of the character sequences into groups prior to recognition; Selection of dictionaries
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30176Document
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

【課題】画像中から回転角度の不明な特定マークを検出する際に、少ない辞書容量で誤検出が少ない画像レベルの比較処理を可能とする特定マーク認識装置を提供する。
【解決手段】この特定マーク認識装置は、画像中から特定のマークを検出するときに、特定のマークの画像を、中心距離と中心角度で表現される極座標表現の極座標画像に変換して辞書に保存し、辞書中の極座標画像を回転させた画像を復元して、この復元した画像と検出対象の画像中の特定マーク候補とを比較して特定マークを検出するようにした。
【選択図】    図1

Description

【0001】
【発明の属する技術分野】
本発明は、特定マーク検出用辞書作成装置、特定マーク検出装置、特定マーク認識装置並びにプログラムおよび記録媒体に関し、特に、画像中の回転角度不明の特定のマークを検出する技術に関する。
【0002】
【従来の技術】
画像中から回転角度不明な特定の画像を検出する最も簡単な方法としては、複数の回転角度のテンプレートを用意し、すべてのテンプレートと入力画像とをマッチングさせて検出する方法がある。
【0003】
しかしながら、この方法では360度分の回転画像を予め辞書として用意しておく必要があり、辞書画像の保存に多くの記憶領域を必要とする。そのため360度分ではなく、90度分のテンプレートを用意し、入力画像を90度単位で回転させることで360度分の検出処理を行っている。
【0004】
また、特許文献1の「画像検査装置及び方法、並びに記録媒体」では、画像中の特定の画像が不定角度を持っていても、特定の画像を極座標変換した画像は常に一定の角度を保持するようになるという性質を利用して、360度分の回転画像を保存する代わりに、基準となる検査対象物の極座標変換した1枚の画像データを保存し、入力画像に対して極座標変換した画像データと保存した画像データとをマッチングする方法を提案している。
【0005】
また、特許文献2の「刻印マーク識別装置」では、刻印マークを含む円形状対象物を撮像し、その画像データの中の刻印マークを含む円形状対象物の中心点を検出し、刻印マークの輪郭線部分を強調した2値化画像を生成する。次に、検出された中心に関して、生成された輪郭線2値化画像を極座標変換して刻印マーク展開画像を生成し、この刻印マーク展開画像に対して輪郭線の方向ごとの頻度分布を特徴量として抽出する。さらに、この抽出した特徴量と予め記憶している各刻印マークの特徴量のテンプレートとを比較して、エンジンバルブ傘表上の刻印マークや貨幣のような円形状の金属部品表面に刻まれた刻印マークを識別している。
これにより、円周方向の任意の回転角度に対応した識別処理ができるとともに、種々のノイズ成分が存在するような場合でも、その影響を受けることなく高精度な識別処理を行なうことができ、また、計算負荷の高い処理がないので、十分高速に識別処理を行なうことができる。
【0006】
また、特許文献3の「貨幣識別装置」では、貨幣の表面模様を撮像して2次元画像データから貨幣部分の中心として検出し、この貨幣の中心に関して、2次元画像を極座標変換し、画像データの円周方向の分布に対して直交変換を行なって特徴量(パワースペクトル)を求め、予め記憶している各種貨幣の表、裏の特徴量のテンプレートとを比較して対象貨幣の種類を識別する。
これにより、識別対象となる貨幣の表、裏の特徴量を示すテンプレートを用意しておくだけで、大きさ、材質がほぼ同じ貨幣であっても、回転角の補正等を行なうことなく、貨幣の種類を確実に識別することができる。
【0007】
また、同様な方法として、特許文献4の「静止画オブジェクトの特徴抽出方法」では、静止画像に含まれるオブジェクトの二値形状情報とテクスチャ情報との直交座標系データを抽出し、オブジェクトを内部に含むような円を想定し、この円の中心を原点とする極座標系において、半径軸方向に0から円の半径まで、角度軸方向に0から2πまでの領域を固定の標本数で再標本化することにより、直交座標系データを極座標系データに変換し、極座標系データよりオブジェクトの特徴を抽出している。
これにより、オブジェクトの大きさや回転に関して不変な特徴、あるいは回転によるマッチングを容易に行うことのできる特徴を、回転に関する演算を行わずに抽出することができる。
【0008】
また、特許文献5の「特定マーク検出方法及び特定マーク検出装置」では、画像中の特定マークを検出するときに、特定マークの大きさに応じたラジアル多項式のテーブルを予め用意しておき、検出処理時にこのテーブルを画像の縮小/拡大率に応じて縮小/拡大したテーブルを生成し、生成したテーブルと画像との積和計算により画像のツェルニケ・モーメントを求め、それと辞書との相違度より特定マークを検出している。
これにより、画像中の任意の位置にある、任意の角度の、任意の変倍率の特定マークを高速度で高精度に検出することができる。
【0009】
さらに、特許文献6の「特定パターン検出方法」では、多次元の回転不変特徴量を用いて特定のパターンを検出するときに、各次元の特徴量がそれぞれ回転不変特徴量であり、中心角を利用して算出する特徴量が存在するとき、次元ごとに中心角算出の基準を変えることで、画像の情報の欠落を最小限に抑え、高精度に画像の検出および認識をしている。
【0010】
一方、入力画像中から外形が円形の特定の画像を検出する方法としては次のものがある。
特許文献7の「パターン認識方法、装置および記録媒体」は、入力画像の複数の位置から画像の中心に向かってエッジの存在を調べ、複数の位置からエッジが検出されたとき、入力画像中に外形が円形であると判定している。
【0011】
また、特許文献8の「上半円画像検出方法」は、入力画像中から検索開始条件に合致するパターンを検索し、検索されたパターンの上辺から副走査方向に、中点位置から左右エッジまでの距離が辞書の範囲内にあるか否かを調べ、範囲外にあるライン数が所定の閾値未満で、所定の半径値まで到達したとき、半円が検出されたと判定することによって、エッジの消失あるいはノイズによる位置ずれ等に対して頑健な検出ができる。
【0012】
また、画像のパターンマッチング方法としては次のものがある。
特許文献9の「パターンマッチング方法」は、基準画像の自己相関関数の先鋭度に応じた移動スキップ量を決定し、移動スキップ量毎に相関係数を算出して、マッチングの粗位置を決定する。その後、粗位置の周囲にて、画素ピッチに応じた単位移動量毎に相関係数を算出して、真のマッチング位置を捜し出している。これにより、従来よりも演算時間が短く、且つ正確なマッチング結果が得られる。
【0013】
特許文献10の「パターンマッチング方法およびパターンマッチング装置」は、2値化画像である標準パターンを2値化画像である検査対象パターンの位置に合わせるように補正部で位置補正した後、標準パターンと検査対象パターンとの一致しない画素を抽出する。抽出された各画素に、標準パターンの特徴を表す程度が高い領域ほど大きくなる重み係数を乗じた値の総和を求め、この総和を用いて一致度を評価している。
これにより、検査対象パターンと標準パターンとの一致度を正確に評価することができる。
【0014】
【特許文献1】
特開平11−259657号公報
【特許文献2】
特開2000−163586号公報
【特許文献3】
特開平6−274736号公報
【特許文献4】
特開2001−43365号公報
【特許文献5】
特開平9−147109号公報
【特許文献6】
特開平9−179982号公報
【特許文献7】
特開平11−110562号公報(第5頁、図3乃至図7)
【特許文献8】
特開2001−331805号公報
【特許文献9】
特開平5−250475号公報
【特許文献10】
特開平8−235359号公報
【0015】
【発明が解決しようとする課題】
しかしながら、特許文献1の方法では、元画像の中心座標に近い点ほど極座標変換後の画像で大きく引き伸ばされるため、同じ大きさの領域の画像が持つ情報量は中心座標に近いほど少なくなる。
例えば、直交座標系で中心座標の周りの4つの画素は、極座標系では360度分に補間されて引き伸ばされる。しかし中心座標から遠ざかるにしたがって、中心から同じ距離にある画素数は増えていくため、中心に近い部分の情報量と外円に近い部分での情報量は異なってくる。
したがって、単純に極座標画像間でのマッチングを行った場合、半径の小さい部分で生じるエラーにより誤判定が起きやすくなるので、最低限何らかの正規化処理が必要となってくる。
【0016】
また、特許文献2乃至特許文献4では、極座標に変換した画像をさらに特徴量に圧縮してしまうため、画像を単純にマッチングする場合と比べて精度面での性能が低下することが多い。特に、誤検出を防ぐ観点からは特徴量による比較は好ましくない。
【0017】
また、特許文献5および特許文献6では、単純な画像によるマッチングと同等の性能を得るために次元数等の情報量を増やす場合、辞書の容量は360度分のテンプレートを持つよりもむしろ大きくなる場合も少なくない。
【0018】
本発明は、上述の実情を考慮してなされたものであって、画像中から回転角度の不明な特定マークを検出する際に、少ない辞書(テンプレート)容量で誤検出が少ない画像レベルの比較処理を可能とする特定マーク検出用辞書作成装置、特定マーク検出装置、特定マーク認識装置並びにそれらの装置の機能を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体を提供することを目的とする。
【0019】
【課題を解決するための手段】
上記の課題を解決するために、本発明の請求項1の特定マーク検出用辞書作成装置は、画像中から特定のマークを検出するときの辞書を作成する辞書作成装置であって、前記特定のマークを検出するための辞書画像を入力する辞書作成用画像入力手段と、中心距離と中心角度で表現される極座標による極座標画像の座標と前記入力した辞書画像の座標との対応関係を記憶する座標変換テーブルを作成する座標変換テーブル作成手段と、前記座標変換テーブルに基づいて、前記入力された辞書画像を極座標画像に変換する極座標画像作成手段とを備えることを特徴とする。
【0020】
また、本発明の請求項2は、請求項1に記載の特定マーク検出用辞書作成装置において、前記座標変換テーブル作成手段は、前記辞書画像の中心座標からこの辞書画像における各画素の中心までの距離を中心距離方向の目盛りとし、前記辞書画像の回転角度を中心角度方向の目盛りとして極座標表現を得ることを特徴とする。
【0021】
また、本発明の請求項3は、請求項1または2に記載の特定マーク検出用辞書作成装置において、前記座標変換テーブル作成手段は、前記辞書画像の中心座標からこの辞書画像における各画素の中心までの距離をクラスタリングして、得られた各クラスタを中心距離方向の目盛りとして極座標表現を得ることを特徴とする。
【0022】
また、本発明の請求項4は、請求項3に記載の特定マーク検出用辞書作成装置において、前記座標変換テーブル作成手段は、前記辞書画像と極座標表現に変換された極座標画像の各画素間の対応が1対1となるように、中心距離方向の目盛りを定めてクラスタリングすることを特徴とする。
【0023】
また、本発明の請求項5は、請求項3に記載の特定マーク検出用辞書作成装置において、前記座標変換テーブル作成手段は、中心距離方向の量子化誤差と中心角度方向の量子化誤差の間に有意差が生じないように中心距離方向の目盛りを定めてクラスタリングすることを特徴とする。
【0024】
また、本発明の請求項6は、請求項2に記載の特定マーク検出用辞書作成装置において、前記極座標画像作成手段は、中心角度の目盛りに応じて生成した回転画像から中心距離方向の目盛りが同じ複数の画素を抽出し、この抽出された複数の画素の画素値から極座標表現の画素値を求めることを特徴とする。
【0025】
また、本発明の求項7は、請求項2に記載の特定マーク検出用辞書作成装置において、前記座標変換テーブル作成手段は、中心距離方向の距離が同じ複数の画素中から1つの画素を選出し、選出した画素の中心角度を基準として、前記中心距離方向の距離が同じ他の画素の中心角度の目盛りを定めることを特徴とする。
【0026】
また、本発明の請求項8は、請求項7に記載の特定マーク検出用辞書作成装置において、前記極座標画像作成手段は、中心角度の目盛りに応じて生成した回転画像から中心距離方向の目盛りが同じ複数の画素を抽出し、この抽出された複数の画素の画素値から極座標表現の画素値を求める際、前記中心角度算出の基準となった画素の画素値を重要視することを特徴とする。
【0027】
また、本発明の請求項9の特定マーク検出装置は、画像中から特定のマークを検出する特定マーク検出装置であって、請求項1乃至8のいずれか1に記載の特定マーク検出用辞書作成装置で作成された座標変換テーブルと極座標画像とを格納した辞書と、前記辞書中の座標変換テーブルを参照して前記極座標画像を回転させた画像を復元して、この復元した画像と検出対象の画像中の特定マーク候補とを比較して特定マークを検出するマッチング手段とを備えることを特徴とする。
【0028】
また、本発明の請求項10の特定マーク検出装置は、画像中から特定のマークを検出する特定マーク検出装置であって、請求項1乃至8のいずれか1に記載の特定マーク検出用辞書作成装置で作成された座標変換テーブルと極座標画像とを格納した辞書と、前記辞書中の座標変換テーブルを参照して前記極座標画像を回転させた画像の各画素と、その各画素に対応する検出対象の画像中の特定マーク候補の画素とを比較して特定マークを検出するマッチング手段とを備えることを特徴とする。
【0029】
また、本発明の請求項11の特定マーク認識装置は、画像中から特定のマークを検出する特定マーク認識装置であって、特定のマークの画像を、中心距離と中心角度で表現される極座標表現の極座標画像に変換して辞書に保存し、前記辞書中の極座標画像を回転させた画像を復元して、この復元した画像と検出対象の画像中の特定マーク候補とを比較して特定マークを検出することを特徴とする。
【0030】
また、本発明の請求項12の特定マーク認識装置は、画像中から特定のマークを検出する特定マーク認識装置であって、前記特定のマークの画像を、中心距離と中心角度で表現される極座標表現の極座標画像に変換して辞書に保存し、前記辞書中の極座標画像を回転させた画像の各画素と、その各画素に対応する検出対象の画像中の特定マーク候補の画素とを比較して特定マークを検出することを特徴とする。
【0031】
また、本発明の請求項13のプログラムは、コンピュータに、請求項1乃至8のいずれか1に記載の特定マーク検出用辞書作成装置の機能、または、請求項9または10に記載の特定マーク検出装置の機能、または、請求項11または12に記載の特定マーク認識装置の機能を実行させるためのプログラムである。
また、本発明の請求項14の記録媒体は、請求項13に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【0032】
以上の構成により、画像中から回転角度の不明な特定マークを検出する際に、少ない辞書容量で誤検出の少ない画像レベルでの比較ができる。
【0033】
特定マーク画像とその極座標画像との対応関係を記憶する座標変換テーブルを備えて極座標画像を作成するようにしたことで、回転画像を辞書として保持した場合に比べて大きく辞書容量を減らすことができる。
この座標変換テーブルにクラスタリング処理を施すことによって、さらに辞書容量を減らすことができる。
【0034】
また、入力方向に応じた複数の辞書作成用の画像を参照して極座標画像を生成することによって、特定マークの検出性能が原稿のスキャン方向に依存することを防ぐことができる。
中心距離方向の同じ距離を持つ画素の1つの画素の中心角を基準として他の画素の中心角を求めるようにして座標変換テーブルを作成するので、中心角度方向の量子化誤差を低減させることができる。
【0035】
また、特定マーク画像と入力画像とのマッチング処理のときに、画素ごとに逐次相違度を算出することによって、辞書から特定マーク画像のXY画像全体を復元する必要がなくなり、マッチング処理で必要とするメモリ容量を低減することができる。
【0036】
【発明の実施の形態】
以下、図面を参照して本発明に係る好適な実施形態を説明する。
図1は、本発明の特定マーク認識装置の構成を示すブロック図であり、同図に示すように、特定マーク認識装置は、特定マーク検出用辞書作成装置10と特定マーク検出装置30とから構成される。
さらに、特定マーク検出用辞書作成装置10は、座標変換テーブル作成手段11、辞書作成用画像入力手段12、極座標画像作成手段13、辞書20とからなり、特定マークを検出するための辞書20を作成する。
また、特定マーク検出装置30は、画像入力手段31、マーク候補切り出し手段32、マッチング手段33、辞書20とからなり、辞書20を参照して入力された画像が特定マークであるか否かを判定する。
【0037】
以下の説明では、XY直交座標系の画像上の点とrθ極座標系の画像上の点との位置関係を図2のように表すことにする。
図2において、XY直交座標系の画像の画素の位置は、図面左上隅を原点とし、図面右方向(主走査方向)をX軸の正方向、図面下方向(副走査方向)をY軸の正方向として表現する。この画像は、原点からの対角距離が2Rの正方形(画像21)である。
【0038】
また、このXY直交座標系の画像をrθ極座標系に変換したときの画像は、画像22のような矩形になる。角度軸θは、0から2π(360度)までであり、距離軸rは0からRまでである。
極座標変換前の画像21の中心座標P(x,y)は、変換後の矩形画像22の隅の基準点P’(0,0)に対応する。
また、極座標変換前の画像21の中心座標P(x,y)から距離rを持ち、角度θを持つXY直交座標系の点P(x,y)は、次の式によってrθ極座標系上の点P’(x’,y’)に変換される。
x’=x−r cosθ
y’=y+r sinθ
ここで角度θは、X軸に平行な点Pを通る線X’(以下、角度の基準線という)と線分Pとがなす角度である。
【0039】
<実施形態1>
まず、実施形態1に関する特定マーク検出用辞書作成装置10について説明する。以下の説明では辞書作成用画像は、図2に述べたようなXY直交座標系において40×40画素の正方形をしているものとして説明する。
【0040】
座標変換テーブル作成手段11は、辞書作成用画像のXY直交座標系上の画素の座標とrθ極座標系上の画素との対応を記述するテーブルを作成して辞書20へ書き込む。
図3は、座標変換テーブル作成手段11の処理手順を説明するためのフローチャートである。
【0041】
特定マークの辞書作成用画像の各画素について、中心からの距離rと角度の基準線X’からの回転角度θを算出し、XY直交座標系上の画素の座標(x,y)とそれに対応する距離rおよび角度θの値からなる表を作成する(ステップS1)。
各画素は点ではないので、その距離および角度は、中心座標Pと画素の重心とによって計算することにする(図4参照)。図4によれば、XY直交座標系上の画素P(19,19)は、
r=0.5×√2≒0.71
θ=315°=7π/4≒5.497787
また、画素P(21,18)は、
r=1.5×√2≒2.12
θ=225°=5π/4≒3.926991
これをすべての画素について計算すると、図5に示すような表が作成できる。
【0042】
距離rを第一キー、角度θを第2キーとして、作成された表を昇順にソートする(ステップS2)。
このソートされた表に対して、距離rの小さい順に極座標画像上でのr座標の目盛りDを0から順(0,1,2,3…)に割り振る(ステップS3)。
上記の例では、図6のように極座標画像の中心距離方向の目盛りDが割り振られるので、目盛りDは、等間隔とはならず
r=0.71,1.58,2.12,……
のようになる。
【0043】
次に、rθ極座標系における画素の角度θの目盛りFを、極座標画像のサイズ(N×Θ。r方向の画素数がN、θ方向の画素数がΘ)に応じて、下記の式によって算出する(ステップS4)。
【0044】
U=2π/Θ
F=θ/U
ここでFは、小数以下四捨五入して整数にする。
【0045】
目盛りFは、F=U,2U,3U,…と等間隔である。
また、このθ方向の画素数Θは、例えば、中心座標から遠い隣り合う画素がなす中心角程度にUがなるような自然数を選択して決める。
本例の場合、Θ=192とすると、Fは図7のように計算される。
この図7の座標変換テーブルは、XY直交座標系の画素PXYがrθ極座標系の画素PFDに変換され、この変換は可逆である(図8参照)。例えば、画素PXY(19,20)は、極座標に変換されると画素PFD(24,0)になることを示している。
【0046】
出来上がった座標変換テーブルを辞書20へ保存する(ステップS5)。
座標変換テーブルは、図7で作成された表のうち4つの項目(座標X、座標Y、目盛りD、目盛りF)を1組として、r方向の画素数分(40×40画素の画像の場合には1600個)並べて辞書20に格納する。
【0047】
辞書作成用画像入力手段12は、次のいずれかの方法で特定マークの辞書作成用の画像を読み込む。
・スキャナ装置で画像を読み込む
・予めディスク装置等に格納されていた画像を読み込む
・ネットワーク等を介して画像を取り込む等
また、この辞書作成用の画像は、検出対象の画像と等倍である予め決められたサイズ(上記の例では、40×40画素)の画像とする。
【0048】
極座標画像作成手段13は、特定マークの辞書作成用の画像を辞書作成用画像入力手段12によって読み込み、この読み込んだ画像に対して極座標変換した極座標画像を作成して、辞書20へ格納する。
この極座標画像は、上述した極座標変換テーブルの目盛りDの範囲(上例では、0〜166となる、N=167)と目盛りFの範囲(上例では、0〜191、Θ=192)の矩形領域からなる画像である。
【0049】
図9は、極座標画像作成手段13の処理手順を示すフローチャートである。
まず、極座標画像の各座標(F,D)に対応する、読み込んだ特定マークの画像における画素の座標(x,y)を算出する(ステップS11)。
この座標(x,y)は、特定マークの読み込んだ画像の中心座標を(x,y)とした場合、次の関係式から求められる。
x=x−r cosθ
y=y+r sinθ
θ=FU=2πF/Θ
ここで、rの値は、座標変換テーブルを計算したときのDに対応するrの値からわかる。
【0050】
次に、ここで求められた座標(x,y)における読み込んだ画像の画素値を座標(F,D)の画素値とする(ステップS12)。
しかし、座標(x,y)は必ずしも整数値とはならないので、その場合には周辺画素の値を用いた補間処理などにより画素値を定める。
これらの作業を、矩形領域すべての座標(F,D)について計算し、計算された極座標画像を辞書20へ保存する(ステップS13)。
以上の作業を図10の特定マーク画像に対して実施すると、図11のような極座標画像が作成される。
【0051】
辞書20は、1つの検出対象の特定マーク画像ごとに、上記で求められた座標変換テーブルおよび極座標画像を保持している。
【0052】
次に、本実施形態1に関する特定マーク検出装置30について説明する。
特定マーク検出装置30は、特定マーク検出用辞書作成装置10で作成した辞書20と、検出対象の画像を読み込む画像入力手段31と、読み込んだ画像から特定マークの候補を切り出すマーク候補切り出し手段32と、切り出した特定マークの候補画像と辞書20に保存された特定マークの画像とをマッチングして、判定結果を出力するマッチング手段33とからなっている。
【0053】
画像入力手段31は、スキャナ装置や予め検査対象の画像を記憶した記憶装置やネットワーク経由等で他のコンピュータから取り込まれる画像を読み込む。
ここで読み込んだ画像が拡大または縮小されている場合には、特定マークの大きさと等倍となるように読み込んだ画像を変形する。
【0054】
マーク候補切り出し手段32は、画像入力手段31で読み込まれた画像から外形などが特定マークの条件を満たす図形を切り出す。
特定マークの外形が円であることが特定マークの条件である場合には、特許文献7または特許文献8に記載された技術を用いて判定することができる。
【0055】
マッチング手段33は、辞書20に保存された極座標画像と座標変換テーブルとを用いて、回転角度ごとのマーク画像を復元し、切り出された画像との比較を行う。この比較は、単純な重ね合わせ法(同じ位置で画素値の異なる画素数をカウントして相違度とする)で行う。
または、特許文献9または特許文献10に記載された技術を用いて一致度を計算するようにしてもよい。
また、回転角度ごとに特徴量を計算しておき、切り出した画像の特徴量と比較するようにしてもよい。
しかし、単純な重ね合わせ法でも十分な性能が得られるので、本実施形態ではこの単純な重ね合わせ法を用いて説明する。
【0056】
マッチング手段33において、極座標画像から回転角度ごとの画像を復元する手順を図12のフローチャートをもとに説明する。
まず、極座標画像の回転角度のカウンタnをゼロに初期化する(ステップS21)。以下の説明でこのカウンタを進めるということは、回転させた特定マークの画像を作成することを意味する。
切り出した画像のすべての画素(40×40の画素)に対応する特定マークの画像を復元するために、以下のステップS22からステップS24を繰り返す。
【0057】
辞書20中の座標変換テーブルを用いて切り出した画像の各座標(X,Y)について、対応する座標(F,D)を求め、このFに回転角度のカウンタnを加えたFを計算する(ステップS22)。ここで、極座標画像の座標Fが極座標画像の回転角度方向の画素数Θ以上になる場合には、Fの値を0〜Θ−1の範囲に収める。
例えば、図7の座標変換テーブルでは、座標(X,Y)=(20,19)に対する極座標画像の座標(F,D)=(120,0)であるから、n=100の場合には(120+100,0)=(220−192,0)=(28,0)となる。
【0058】
辞書20中の極座標画像上の座標(F,D)の画素値を取り出し(ステップS23)、取り出した画素値を座標(X,Y)の画素値として一時メモリへ記憶する(ステップS24)。
例えば、カウンタn=0の場合、図7を参照すると、座標(X,Y)=(19,20)の画素値は、(19,20)に対応する座標(F,D)が(24,0)であるから極座標画像の座標(24,0)の画素値を取り出す。同様に、
(X,Y)=(20,20)の画素値は極座標画像の(72,0)の画素値、
(X,Y)=(20,19)の画素値は極座標画像の(120,0)の画素値、
(X,Y)=(19,19)の画素値は極座標画像の(168,0)の画素値
を取り出す。
【0059】
一時的にメモリへ記憶した復元した特定マークの画像と、切り出した画像とを重ね合わせ法によりマッチングを行う(ステップS25)。
この重ね合わせで画素値の相違する画素数をカウントし、このカウントが予め設定した閾値に満たなければ(ステップS26のYES)、特定マークが検出したとして、検出信号を出力し処理を終了する(ステップS27)。
ここで、上記の閾値は予め実験して決めておき(例えば500程度)、辞書20へ保存しておく。
【0060】
一方、対応する画素値の相違する画素数のカウントが予め設定した閾値を超えていれば(ステップS26のNO)、特定マークの画像を回転させるために、回転角度のカウンタnを1つ進める(ステップS28)。
特定マークの回転を360度分行っていない場合(n≦Θ)には(ステップS29のYES)、ステップS22へ戻る。
また、特定マークの回転を360度分行っても一致しない場合(n>Θ)には(ステップS29のNO)、特定マークを検出できなかったとして、非検出の信号を出力して処理を終了する(ステップS30)。
【0061】
特定マークの画像を40×40画素として本実施形態1の特定マーク検出用辞書作成装置を用いた場合、Dは0〜166の値をとり、Fは0〜191であるから、167×192画素の極座標画像で360度分のマッチング処理を行うことができる。
一方、192個(360度分)の回転画像を辞書として保持した場合には、40×40×192画素の辞書画像が必要となるので、本発明によれば大きく辞書容量を減らすことができる。
【0062】
<実施形態2>
実施形態1における座標変換テーブルは、特定マークの辞書作成用画像の中心座標から等距離rの値に対して、同じ目盛りDを割り当てており、この画像の大きさを40×40画素とした場合、目盛りDは0〜166となっていた。
本実施形態2では、この目盛りDに対してクラスタリング処理を行うことで、さらに目盛りDを小さくして、極座標画像を小さくする。
本実施形態2は、実施形態1の特定マーク検出用辞書作成装置10の座標変換テーブル作成手段11だけを以下のように変えるが、他の機能については同じであるので説明を省略する。
【0063】
図13は、本実施形態2の座標変換テーブルを作成する手順を説明するためのフローチャートである。
特定マークの辞書作成用画像の各画素について、中心座標からの距離rと角度の基準線X’からの回転角度θを算出し、x座標、y座標とそれに対応するr、θの表を作成する(ステップS31)。
各画素は点ではないので、その距離および角度は、中心座標と画素の重心とによって計算することにする(図4参照)。
これをすべての画素について計算すると、40×40画素の場合、図5に示すような表が作成できる。
【0064】
距離rを第一キー、角度θを第2キーとして、作成された表を昇順にソートする(ステップS32)。
このソートされた表に対して、距離rの小さい順に極座標画像上でのr座標の目盛りDを0から順(0,1,2,3…)に割り振り、目盛りDの最大値をメモリDmaxへ格納する(ステップS33)。
図5の例では、図6のように目盛りDが割り振られる。
【0065】
極座標画像上でのθ座標の目盛りFを、極座標画像のサイズ(N×Θ。r方向の画素数がN、θ方向の画素数がΘ)に応じて、下記の式によって算出する(ステップS34)。
【0066】
U=2π/Θ
F=θ/U
ここでFは、小数以下四捨五入して整数にする。
【0067】
このθ方向の画素数Θは、例えば、中心座標から遠い隣り合う画素がなす中心角程度にUがなるような自然数を選択して決める。
40×40の画像の場合、Θ=192とすると、Fは図7のように計算される。
【0068】
次に、今作成した座標変換テーブルの目盛りDに対してステップS35からS42で、2つの隣り合うクラスタ(目盛りDが1つ違い)内のrの最大値と最小値の差を算出し、その差のもっとも小さい隣り合うクラスタを1つのクラスタに統合するという最長距離法による階層的クラスタリング処理を行う。
【0069】
作成した座標変換テーブルの隣り合う目盛りDが同じクラスタに属するかを見るための初期値としてクラスタカウンタnをゼロに、隣り合うクラスタの中でrの最大値と最小値の差のもっとも小さいものを探すための初期値としてメモリSminに正の無限大の値を設定する(ステップS35)。
【0070】
nと(n+1)のクラスタ(目盛りD)に属するrの値の最大値と最小値の差を計算し、メモリSへ保存する(ステップS36)。
Sの値がSminの値より小さいとき(ステップS37のYES)、クラスタカウンタnの値をメモリNへ保存し、Sminの値をSの値に置き換えて保存し、ステップS39へ進む(ステップS38)。
一方、Sの値がSminの値より大きいとき(ステップS37のNO)、ステップS39へ進む。
【0071】
次の隣り合うクラスタ(目盛りD)の組み合わせを調べるために、クラスタカウンタnを1つ進め(ステップS39)、まだ処理する隣り合う組み合わせがあれば(ステップS40のNO)、ステップS36へ戻る。
【0072】
処理する隣り合う組み合わせがなければ(ステップS40のYES)、先に探したクラスタNとクラスタ(N+1)を1つのクラスタとして統合する(ステップS41)。
このとき、統合されたクラスタ内の目盛りDの値をクラスタNの値に変更し、目盛りDを欠番の無いように詰め、目盛りDの最大値Dmaxを1つ減らす。
図7の目盛りDに対して、目盛りD=0と目盛りD=1を統合した場合、図14のようになる。
【0073】
最後に、クラスタリング処理の終了条件を調べ、終了であれば(ステップS42のYES)、出来上がった座標変換テーブルを辞書20へ保存する(ステップS43)。
一方、終了していない場合には(ステップS42のNO)、さらにクラスタリング処理をするためにステップS35へ戻る。
【0074】
ここで、クラスタリング処理の終了条件としては、次のいずれかの基準を用いる。
(1)画素間の対応が1対1である限りクラスタリングを行う方法。
上述のようにクラスタリング処理を進めていくと、XY直交座標画像上の複数の画素が極座標画像上の1つの画素を指すようになってしまう。
この場合、極座標画像上の1つの画素値で複数の画素のエラーを求めることになり、エラー算出の精度が低下することは明らかである。
したがって、クラスタリングを進める過程で、XY直交座標画像上の複数の画素が極座標画像上の1つの画素を指すようになった時点でクラスタリングを終了させる。
【0075】
(2)中心角度方向の誤差と、同一クラスタ内のrの最大値と最小値の差との間に、有意差が発生しない範囲までクラスタリングを行う方法。
例えば、360度を192分割した場合、中心角度方向の量子化誤差は、中心座標から最も遠いXY直交座標の座標(0,0)の画素で最大誤差となる。
したがって、誤差の最大距離は、直径39√2画素の円周上で(360/192)/2度だけ移動した場合の距離であり、約0.451画素である。
((39√2×π)/192)/2≒0.451
【0076】
一方、中心距離方向の量子化誤差は、同一クラスタ内におけるrの最大値と最小値の差の半分である。
クラスタリングを行う前の状態では中心距離方向の量子化誤差は0であるが、クラスタリングが進むにつれて量子化誤差が増えるので、上記の場合には、中心距離方向の量子化誤差が0.451を超えた時点でクラスタリング処理を終了させる。
【0077】
(3)出来上がった極座標画像を用いて実際に検出実験を行って検出性能が低下しない範囲を求める方法。
【0078】
本実施形態2のクラスタリング処理された変換座標テーブルの目盛りDの範囲は、図14の例では0〜39である。実験の結果、この程度のクラスタリング処理ではマッチング性能の低下は見られなかった。
したがって、極座標画像は40×192画素となるので、単純に回転画像を保存しておく場合(40×40×192画素)と比較して、辞書容量を大きく低減できる。
また、この座標変換テーブルを基に極座標画像を作成すると、例えば、図10の特定マーク画像に対して図15に示すような極座標画像となる。
【0079】
<実施形態3>
画像入力機器においては、その内部でエッジ強調処理などの様々な画像処理が行われている場合が多いが、これらの画像処理は必ずしも主走査方向と副走査方向とが対称に行われているとは限らない。
例えば、主走査方向にのみMTF補正を施すなどの処理が行われることも決して珍しくはない。2値化処理についても同様で、必ずしも等方性をもって2値化処理が行われているとは限らない。
【0080】
したがって、このような画像入力装置を用いて特定マークを検出する場合には、実施形態1や実施形態2に示した手法では画像の入力が特定方向(特定の中心角)に限られるので、他の方向に回転された画像が入力された場合に、特定マークの検出に対するエラーが大きくなることが懸念される。
【0081】
このエラーを低減するために、本実施形態3では、複数の方向に回転した画像を辞書作成用の画像として用意し、これらの画像を用いて極座標画像を生成するようにした。
本実施形態3は、実施形態1または実施形態2の特定マーク検出用辞書作成装置10の辞書作成用画像入力手段12および極座標画像作成手段13だけを以下に説明するように変形する。他の機能は同じであるため説明を省略する。
【0082】
まず、等間隔で回転された辞書作成用の特定マーク画像を生成してファイルへ格納しておく。これは、機械的に原稿を回転させてスキャナ装置等で入力した画像でもよいし、1枚の特定マークのカラー画像をコンピュータにより回転させ、その回転カラー画像を画像入力装置における画像処理と同じ処理を施して複数枚の辞書作成画像を生成してもよい。
辞書作成用画像入力手段12は、このファイルに格納した複数の回転カラー画像のうち極座標画像作成手段13が指定した回転画像中の指定した位置の画素値を出力する。
以下の説明では、360度について、192枚の回転カラー画像が2値化されてファイルに用意された場合の極座標画像の作成手順について説明するが、2値化せずにカラー画像のまま極座標画像を作成してもよい。
【0083】
図16は、実施形態3における極座標画像作成手段13の処理手順を説明するためのフローチャートである。
まず、極座標画像の中心距離方向の目盛りDに対して、D=0として初期化する(ステップS51)。
極座標画像の回転角度のカウンタn=0として初期化する(ステップS52)。
【0084】
辞書20中の座標変換テーブルで同じ目盛りDをもつ目盛りFと、これらの極座標画像の座標(F,D)に対応するXY直交座標における特定マークの画像の座標(X,Y)を取り出し、このFに回転角度のカウンタnを加えたFを計算する(ステップS53)。ここで、極座標画像の座標Fが極座標画像の回転角度方向の画素数Θ以上になる場合には、Fの値を0〜Θ−1の範囲に収める。
【0085】
例えば、図7の座標変換テーブルを例にとると、D=0の場合、F=24,72,120,168の4点である。即ち、
極座標画像の座標(24,0)に対してXY座標画像の座標(19,20)、
極座標画像の座標(72,0)に対してXY座標画像の座標(20,20)、
極座標画像の座標(120,0)に対してXY座標画像の座標(20,19)、
極座標画像の座標(168,0)に対してXY座標画像の座標(19,19)。
また、図14の座標変換テーブルの場合には、D=0の場合、F=24,72,120,168,10,38,58,86,106,134,154,182の12点である。
【0086】
また、上記の例で、目盛りD=0でカウンタn=1となった場合、極座標画像の座標(F+1,0)の画素値は、4つの回転画像K=24+1,72+1,120+1,168+1からそれぞれXY座標画像の座標(19,20),(20,20),(20,19),(19,19)の画素値を取り出す(図18参照)。
【0087】
次に、求められた目盛りFと同じ回転を行っている回転画像のうち、取り出されたXY座標画像の座標(X,Y)における画素値を辞書作成用画像入力手段12によりそれぞれ取り出し、取り出された画素のうち白画素となっている画素数をメモリWへ、黒画素となっている画素数をメモリBへ保存する(ステップS54)。
例えば、F=24の場合には、図17の192個の回転画像のうち24番目(K=24)のXY座標画像の座標(19,20)の画素値を取り出す。
F=72の場合には、回転画像のうち72番目(K=72)のXY座標画像の座標(20,20)の画素値を取り出す。他も同様に取り出す。
【0088】
黒画素数(B)が白画素数(W)より大きい場合には(ステップS55のYES)、極座標画像の座標(n,D)における画素値を黒画素とする(ステップS56)。
一方、黒画素数(B)が白画素数(W)より小さいまたは同数の場合には(ステップS55のNO)、極座標画像の座標(n,D)における画素値を白画素とする(ステップS57)。
【0089】
カウンタnに1を加算して、回転角度方向の画素値Θになるまで上記ステップS53からS57を繰り返す(ステップS58)。カウンタnに1を加算することは、極座標画像を360度/192ずつ回転することを意味する。
【0090】
目盛りDに1を加算して、目盛りDの最大値になるまで上記ステップS52からS58を繰り返す(ステップS59)。
極座標画像のすべての座標(F,D)について計算が終了すると、計算された極座標画像を辞書20へ保存する(ステップS58)。
【0091】
このように、入力方向に応じた複数の辞書作成用の画像を参照して極座標画像を生成することによって、特定マークの検出性能が原稿のスキャン方向に依存することを防ぐことができる。
【0092】
上述の処理では2値化画像について説明したが、カラー画像の場合には、白画素または黒画素の画素数ではなく、画素値から補間して求めるようにする。
【0093】
<実施形態4>
例えば、XY座標画像の4つの画素が同じ目盛りDを持つ場合、これらの4つの画素はそれぞれ90度ずつ回転した位置関係にある。
このような場合には、中心角度を算出する角度の基準線をX’軸(図2参照)ではなく、4つのうちのいずれかの1画素の中心角を基準として、中心角度方向の画素数Θを4の倍数とした場合、中心角度方向の量子化誤差を0にすることができる。
【0094】
本実施形態4では、同じ目盛りDを持つ画素について、その中の1画素の中心角を基準として他の画素の中心角を求めるようにして、中心角度方向の量子化誤差を低減させる。
本実施形態4では、上述した実施形態で説明した特定マーク検出用辞書作成装置10を以下に説明するように変形する。特定マーク検出装置30は、上述の実施形態と同じであるから説明を省略する。
【0095】
座標変換テーブル作成手段11は、辞書作成用画像のXY直交座標系上の画素の座標とrθ極座標系上の画素との対応を記述する座標変換テーブルを作成して辞書20へ書き込む。
この座標変換テーブルの作成手順を図19のフローチャートによって説明する。
【0096】
特定マークの辞書作成用画像の各画素について、中心からの距離rと角度の基準線X’からの回転角度θを算出し、XY直交座標系上の画素の座標(x,y)とそれに対応する距離rおよび角度θの値からなる表を作成する(ステップS61)。
各画素は点ではないので、その距離および角度を中心座標と画素の重心を用いて計算し、すべての画素について計算すると、図5に示すような表が作成できる。
【0097】
距離rを第一キー、角度θを第2キーとして、作成された表を昇順にソートする(ステップS62)。
このソートされた表に対して、距離rの小さい順に極座標画像上でのr座標の目盛りDを0から順(0,1,2,3…)に割り振ると、上記の例では、図6のようにDが割り振られる(ステップS63)。
【0098】
上記のように割り振られたすべての目盛りDに対して、ステップS64およびS65を繰り返すことによって目盛りFを計算する。
目盛りDが等しい画素について、θの最も小さい画素(この画素のθを基準の角度Bとする)を探す(ステップS64)。
目盛りDが等しい画素について、極座標画像上でのθ座標の目盛りFを、極座標画像のサイズ(N×Θ。r方向の画素数がN、θ方向の画素数がΘ)に応じて、下記の式によって算出する(ステップS65)。
【0099】
U=2π/Θ
F=(θ―B)/U
ここでFは、小数以下四捨五入して整数にする。
【0100】
また、このθ方向の画素数Θは、例えば、中心座標から遠い隣り合う画素がなす中心角程度にUがなるような自然数を選択して決める。
40×40の画像の場合、Θ=192とすると、Fは図20のように計算される。
【0101】
出来上がった座標変換テーブルを辞書20へ保存する(ステップS66)。
この座標変換テーブルのデータ構造は実施形態1と同様である。
【0102】
また、このように中心角算出の基準を変更した場合には、極座標画像作成手段13を図21のフローチャートに示すような極座標画像作成の手順に変更することで、検出性能を向上できることが実験的に確認されている。
以下、実施形態3と同様に、192枚の2値化された辞書作成用の画像が用意されている場合について説明する。
【0103】
まず、極座標画像の中心距離方向の目盛りDに対して、D=0として初期化する(ステップS71)。
極座標画像の回転角度のカウンタn=0として初期化する(ステップS72)。
【0104】
辞書20中の座標変換テーブルで同じ目盛りDをもつ目盛りFと、これらの極座標画像の座標(F,D)に対応するXY直交座標における特定マークの画像の座標(X,Y)を取り出し、このFに回転角度のカウンタnを加えたFを計算する(ステップS73)。ここで、極座標画像の座標Fが極座標画像の回転角度方向の画素数Θ以上になる場合には、Fの値を0〜Θ−1の範囲に収める。
【0105】
例えば、図20の座標変換テーブルを例にとると、D=0の場合、F=0,48,96,144の4点である。即ち、
極座標画像の座標(0,0)に対してXY座標画像の座標(19,20)、
極座標画像の座標(48,0)に対してXY座標画像の座標(20,20)、
極座標画像の座標(96,0)に対してXY座標画像の座標(20,19)、
極座標画像の座標(144,0)に対してXY座標画像の座標(19,19)。
【0106】
また、上記の例で、目盛りD=0でカウンタn=1となった場合、極座標画像の座標(F+1,0)の画素値は、4つの回転画像K=0+1,48+1,96+1,144+1からそれぞれXY座標画像の座標(19,20),(20,20),(20,19),(19,19)の画素値を取り出す(図23参照)。
【0107】
次に、求められた目盛りFと同じ回転を行っている回転画像のうち、取り出されたXY座標画像の座標(X,Y)における画素値を辞書作成用画像入力手段12によりそれぞれ取り出し、取り出された画素のうち白画素となっている画素数をメモリWへ、黒画素となっている画素数をメモリBへ保存する(ステップS74)。
例えば、F=0の場合には、図22の192個の回転画像のうち0番目(K=0)のXY座標画像の座標(19,20)の画素値を取り出す。
F=48の場合には、回転画像のうち48番目(K=48)のXY座標画像の座標(20,20)の画素値を取り出す。他も同様に取り出す。
【0108】
黒画素数(B)が白画素数(W)より大きい場合には(ステップS75のYES)、極座標画像の座標(n,D)における画素値を黒画素とする(ステップS76)。
また、黒画素数(B)が白画素数(W)より小さい場合には(ステップS77のYES)、極座標画像の座標(n,D)における画素値を白画素とする(ステップS78)。
一方、黒画素数(B)と白画素数(W)が同数の場合には(ステップS77のNO)、極座標画像の座標(n,D)における画素値を中心角度算出の基準となった画素の画素値とする(ステップS79)。
【0109】
カウンタnに1を加算して、回転角度方向の画素値Θになるまで上記ステップS73からS79を繰り返す(ステップS80)。カウンタnに1を加算することは、極座標画像を360度/192ずつ回転することを意味する。
【0110】
目盛りDに1を加算して、目盛りDの最大値になるまで上記ステップS72からS80を繰り返す(ステップS81)。
極座標画像のすべての座標(F,D)について計算が終了すると、計算された極座標画像を辞書20へ保存する(ステップS82)。
【0111】
上述の処理では2値化画像について説明したが、カラー画像の場合には、白画素または黒画素の画素数ではなく、画素値から補間して求めるようにする。
【0112】
本実施形態4の座標変換テーブルをもとに極座標画像を作成すると、例えば、図10の特定マークの画像に対して図24に示すような極座標画像になる。
また、本実施形態4の座標変換テーブルに実施形態2のようなクラスタリング処理を施した場合には、図10の特定マークの画像に対して図25に示すような極座標画像になる。
この図24および図25の場合、中心角度の算出の基準が目盛りDごとに異なるので、図11および図15と比較して中心角度方向に画像が目盛りDごとにシフトしている様子が観察される。
【0113】
<実施形態5>
上述までの実施形態における特定マーク検出装置30のマッチング手段33では、極座標画像からXY座標画像全体を復元してからマッチング処理を行っていた。
本実施形態5では、マッチング処理を単純な重ね合わせ法とし、XY座標画像全体を復元せずにマッチング処理できるようにした。
本実施形態5では、特定マーク検出用辞書作成装置10および特定マーク検出装置30のうち画像入力手段31、マーク候補切り出し手段32の機能は上述の実施形態と同様であるので説明を省略する。
【0114】
図26は、本実施形態5に係るマッチング手段33の処理手順を説明するためのフローチャートである。
まず、特定マーク画像の回転角度のカウンタn=0に初期化し、相違画素数のカウンタE=0に初期化する(ステップS91)。
【0115】
マーク候補切り出し手段32で切り出した特定マーク候補画像のうちから1つの座標(X,Y)の画素を対象とし、その画素値を取り出す(ステップS92)。この画素値をPiとする。
【0116】
辞書20中の座標変換テーブルを用いて座標(X,Y)に対応する極座標画像の座標(F,D)を求め、このFに回転角度のカウンタnを加えたFを計算する(ステップS93)。ここで、極座標画像の座標Fが極座標画像の回転角度方向の画素数Θ以上になる場合には、Fの値を0〜Θ−1の範囲に収める。
【0117】
例えば、図7の座標変換テーブルでは、座標(X,Y)=(20,19)に対する極座標画像の座標(F,D)=(120,0)であるから、n=100の場合には(120+100,0)=(220−192,0)=(28,0)となる。
したがって、座標(X,Y)=(20,19)に対する特定マーク画像の画素値は、極座標画像の座標(28,0)の画素値となる。
【0118】
求めた極座標画像の座標(F,D)の画素値を極座標画像から取り出す(ステップS94)。この画素値をPrとする。
例えば、図7の座標変換テーブルの場合、(X,Y)=(18,19)に対応する極座標画像の座標は(F,D)=(182,1)である。
したがって、XY座標画像の座標(18,19)の画素値は、極座標画像の座標(182,1)の画素値となる。
【0119】
特定マーク候補画像の画素値Piと特定マーク画像の画素値Prとを比較し、相違すれば(ステップS95のYES)、相違画素数のカウントEを1つ進める(ステップS96)。
特定マーク候補画像のすべての画素について処理が終わっていない場合(ステップS97のNO)、ステップS92へ戻る。
【0120】
一方、特定マーク候補画像のすべての画素について処理が終わった場合(ステップS97のYES)、相違画素数のカウントEが閾値を超えていなければ(ステップS98のYES)、特定マークが検出されたと判断して検出信号を出力して処理を終了する(ステップS99)。この閾値は、実験から適切な値を予め設定しておく。
【0121】
相違画素数のカウントEが閾値を超えていれば(ステップS98のNO)、特定マークの回転角度のカウンタnに1を加算する(ステップS100)。
カウンタnの値が極座標画像の回転角度方向の画素数Θを超えていれば(ステップS101のNO)、切り出された特定マーク候補画像は特定マークではなかったとして非検出信号を出力して処理を終了する(ステップS102)。
一方、カウンタnの値が極座標画像の回転角度方向の画素数Θを超えていなければ(ステップS101のYES)、相違画素数のカウンタEをゼロに初期化してステップS92へ戻る。
【0122】
このように画素ごとに逐次エラーを算出するので、XY画像全体を復元する必要がなくなり、マッチング処理で必要とするメモリ容量が低減される。
【0123】
<実施形態6>
さらに、上述した実施形態の特定マーク認識装置(または、特定マーク検出用辞書作成装置、特定マーク検出装置の単体でもよい)を構成する各機能をそれぞれプログラム化し、あらかじめCD−ROM等の記録媒体に書き込んでおき、コンピュータに搭載したCD−ROMドライブのような媒体駆動装置にこのCD−ROMを装着して、これらのプログラムをコンピュータのメモリあるいは記憶装置に格納し、それを実行することによって、本発明の目的が達成されることは言うまでもない。
この場合、記録媒体から読み出されたプログラム自体が上述した実施形態の機能を実現することになり、そのプログラムおよびそのプログラムを記録した記録媒体も本発明を構成することになる。
【0124】
なお、記録媒体としては半導体媒体(例えば、ROM、不揮発性メモリカード等)、光媒体(例えば、DVD、MO、MD、CD−R等)、磁気媒体(例えば、磁気テープ、フレキシブルディスク等)等のいずれであってもよい。
【0125】
また、ロードしたプログラムを実行することにより上述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、オペレーティングシステム等が実際の処理の一部または全部を行い、その処理によって上述した実施形態の機能が実現される場合も含まれる。
【0126】
また、上述したプログラムをサーバコンピュータの磁気ディスク等の記憶装置に格納しておき、インターネット等のネットワークで接続された利用者のコンピュータからダウンロード等の形式で頒布する場合、このサーバコンピュータの記憶装置も本発明の記録媒体に含まれる。
【0127】
<実施形態7>
図27は、本発明をネットワーク接続して運用する形態の構成を示している。
即ち、利用者は端末40を使って、特定マーク検出対象の画像をネットワーク60で接続された本発明による特定マーク検出装置50へ送信し、特定マークの検出結果を受信して出力する。
また、特定マーク検出装置50では、本発明の特定マーク検出用辞書作成装置で作成した辞書を備え、利用者の端末40から受信した画像から特定マーク候補を切り出して、辞書とのマッチングを行った結果を利用者の端末40へ返信する。
これにより、利用者が所持する画像中に特定マークがあるか否かの判定サービスを行うことができる。
【0128】
または、本発明の各装置を次のように利用してもよい。
まず、利用者は本発明の特定マーク検出用辞書作成装置で自分用の辞書を作成する。
次に、特定マーク検出プログラム(辞書は含まず)を保持するサーバコンピュータからネットワークを介して利用者の端末へダウンロードし、このプログラムまたはこのプログラムを含んだアプリケーションプログラムと先に作成した自分用の辞書とによって特定マークの検出をする。
このようにすることで、常に最新の特定マーク検出プログラムを使えるという利点がある。
【0129】
<実施形態8>
上述した本発明の特定マークの検出を電子回路として構成してもよい。
例えば、表面に印刷または刻まれた特定マークを識別する場合には、複数種類の特定マークに対する辞書を必要とする。この特定マークとしては、各国の発行する紙幣に印刷された銀行印や複数種類の硬貨表面の模様などがある。
このような特定マークを識別する機能をもつ電子回路を複写機や仕分け装置等に組み込んで、紙幣のコピー防止または工場や流通過程での仕分け作業に応用することができる。
【0130】
この場合、特定マークを検出する特定マーク検出装置のマッチング手段を電子回路化し、同じ回路を特定マークの数に応じて用意し、この回路ごとに特定マークの辞書を供給して並列に動作させ、各回路からの非検出信号または検出信号によっていずれの特定マークと合致したかを判定して、最終的な検出信号とするように構成することができる。
【0131】
【発明の効果】
以上説明したように本発明によれば、画像中から回転角度の不明な特定マークを検出する際に、少ない辞書(テンプレート)容量で誤検出の少ない画像レベルでの比較ができる。
【0132】
特定マーク画像とその極座標画像との対応関係を記憶する座標変換テーブルを備えて極座標画像を作成するようにしたことで、回転画像を辞書として保持した場合に比べて大きく辞書容量を減らすことができる。
この座標変換テーブルにクラスタリング処理を施すことによって、さらに辞書容量を減らすことができる。
【0133】
また、入力方向に応じた複数の辞書作成用の画像を参照して極座標画像を生成することによって、特定マークの検出性能が原稿のスキャン方向に依存することを防ぐことができる。
中心距離方向の同じ距離を持つ画素の1つの画素の中心角を基準として他の画素の中心角を求めるようにして座標変換テーブルを作成するので、中心角度方向の量子化誤差を低減させることができる。
【0134】
また、特定マーク画像と入力画像とのマッチング処理のときに、画素ごとに逐次相違度を算出することによって、辞書から特定マーク画像のXY画像全体を復元する必要がなくなり、マッチング処理で必要とするメモリ容量を低減することができる。
【図面の簡単な説明】
【図1】本発明の特定マーク認識装置の構成を示すブロック図である。
【図2】直交座標系XYの画像上の点と極座標系rθの画像上の点との位置関係を説明する図である。
【図3】座標変換テーブル作成手段の処理手順を説明するためのフローチャートである。
【図4】XY直交座標系上の画素の座標(x,y)の距離rおよび角度θとの関係を説明するための図である。
【図5】XY直交座標系上の画素の座標(x,y)とそれに対応する距離rおよび角度θとから作成された表である。
【図6】図5の表に、距離rが同じ距離になるものに対して同じ目盛りDを割り振ったときの表である。
【図7】図5の表に、目盛りFを計算して追加した表である。
【図8】座標変換テーブルにおける座標(X,Y)と座標(F,D)との関係を説明するための図である。
【図9】極座標画像作成手段の処理手順を示すフローチャートである。
【図10】特定マーク画像例である。
【図11】図10の特定マーク画像に対して作成した極座標画像例である。
【図12】マッチング手段で、極座標画像から回転角度ごとの画像を復元する手順を示すフローチャートである。
【図13】目盛りDにクラスタリング処理を施す座標変換テーブル作成手段の処理手順を示すフローチャートである。
【図14】図7の表の目盛りDに対してクラスタリング処理した結果の表である。
【図15】クラスタリング処理された座標変換テーブルを基に図10の特定マーク画像から作成された極座標画像例である。
【図16】複数の回転画像から極座標画像を作成する極座標画像作成手段の処理手順を説明するためのフローチャートである。
【図17】複数の回転画像から1つの極座標画像の画素値を決定するときの説明図である。
【図18】図17に対して(360度/Θ)回転したときの極座標画像の画素値を決定するときの説明図である。
【図19】同じ目盛りDを持つ画素の1画素の中心角を基準として他の画素の中心角を求めて座標変換テーブルを作成する座標変換テーブル作成手段の処理手順を示すフローチャートである。
【図20】同じ目盛りDを持つ画素の1画素の中心角を基準として他の画素の中心角を求めて作成された表である。
【図21】中心角算出の基準を変更した場合には、極座標画像作成手段の処理手順を説明するためのフローチャートである。
【図22】複数の回転画像から1つの極座標画像の画素値を決定するときの説明図である。
【図23】図22に対して(360度/Θ)回転したときの極座標画像の画素値を決定するときの説明図である。
【図24】中心角算出の基準を変更した場合の座標変換テーブルをもとに、図10の特定マークの画像に対して作成された極座標画像例である。
【図25】中心角算出の基準を変更し、クラスタリング処理された座標変換テーブルを基に図10の特定マーク画像から作成された極座標画像例である。
【図26】XY座標画像全体を復元せずに単純な重ね合わせ法によるマッチング処理を行うマッチング手段の処理手順を説明するためのフローチャートである。
【図27】本発明をネットワーク接続して運用する形態の構成を示すブロック図である。
【符号の説明】
10…特定マーク検出用辞書作成装置、11…座標変換テーブル作成手段、12…辞書作成用画像入力手段、13…極座標画像作成手段、20…辞書、30…特定マーク検出装置、31…画像入力手段、32…マーク候補切り出し手段、33…マッチング手段、40…端末、50…特定マーク検出装置、60…ネットワーク。

Claims (14)

  1. 画像中から特定のマークを検出するときの辞書を作成する辞書作成装置であって、前記特定のマークを検出するための辞書画像を入力する辞書作成用画像入力手段と、中心距離と中心角度で表現される極座標による極座標画像の座標と前記入力した辞書画像の座標との対応関係を記憶する座標変換テーブルを作成する座標変換テーブル作成手段と、前記座標変換テーブルに基づいて、前記入力された辞書画像を極座標画像に変換する極座標画像作成手段とを備えることを特徴とする特定マーク検出用辞書作成装置。
  2. 請求項1に記載の特定マーク検出用辞書作成装置において、前記座標変換テーブル作成手段は、前記辞書画像の中心座標からこの辞書画像における各画素の中心までの距離を中心距離方向の目盛りとし、前記辞書画像の回転角度を中心角度方向の目盛りとして極座標表現を得ることを特徴とする特定マーク検出用辞書作成装置。
  3. 請求項1または2に記載の特定マーク検出用辞書作成装置において、前記座標変換テーブル作成手段は、前記辞書画像の中心座標からこの辞書画像における各画素の中心までの距離をクラスタリングして、得られた各クラスタを中心距離方向の目盛りとして極座標表現を得ることを特徴とする特定マーク検出用辞書作成装置。
  4. 請求項3に記載の特定マーク検出用辞書作成装置において、前記座標変換テーブル作成手段は、前記辞書画像と極座標表現に変換された極座標画像の各画素間の対応が1対1となるように、中心距離方向の目盛りを定めてクラスタリングすることを特徴とする特定マーク検出用辞書作成装置。
  5. 請求項3に記載の特定マーク検出用辞書作成装置において、前記座標変換テーブル作成手段は、中心距離方向の量子化誤差と中心角度方向の量子化誤差の間に有意差が生じないように中心距離方向の目盛りを定めてクラスタリングすることを特徴とする特定マーク検出用辞書作成装置。
  6. 請求項2に記載の特定マーク検出用辞書作成装置において、前記極座標画像作成手段は、中心角度の目盛りに応じて生成した回転画像から中心距離方向の目盛りが同じ複数の画素を抽出し、この抽出された複数の画素の画素値から極座標表現の画素値を求めることを特徴とする特定マーク検出用辞書作成装置。
  7. 請求項2に記載の特定マーク検出用辞書作成装置において、前記座標変換テーブル作成手段は、中心距離方向の距離が同じ複数の画素中から1つの画素を選出し、選出した画素の中心角度を基準として、前記中心距離方向の距離が同じ他の画素の中心角度の目盛りを定めることを特徴とする特定マーク検出用辞書作成装置。
  8. 請求項7に記載の特定マーク検出用辞書作成装置において、前記極座標画像作成手段は、中心角度の目盛りに応じて生成した回転画像から中心距離方向の目盛りが同じ複数の画素を抽出し、この抽出された複数の画素の画素値から極座標表現の画素値を求める際、前記中心角度算出の基準となった画素の画素値を重要視することを特徴とする特定マーク検出用辞書作成装置。
  9. 画像中から特定のマークを検出する特定マーク検出装置であって、請求項1乃至8のいずれか1に記載の特定マーク検出用辞書作成装置で作成された座標変換テーブルと極座標画像とを格納した辞書と、前記辞書中の座標変換テーブルを参照して前記極座標画像を回転させた画像を復元して、この復元した画像と検出対象の画像中の特定マーク候補とを比較して特定マークを検出するマッチング手段とを備えることを特徴とする特定マーク検出装置。
  10. 画像中から特定のマークを検出する特定マーク検出装置であって、請求項1乃至8のいずれか1に記載の特定マーク検出用辞書作成装置で作成された座標変換テーブルと極座標画像とを格納した辞書と、前記辞書中の座標変換テーブルを参照して前記極座標画像を回転させた画像の各画素と、その各画素に対応する検出対象の画像中の特定マーク候補の画素とを比較して特定マークを検出するマッチング手段とを備えることを特徴とする特定マーク検出装置。
  11. 画像中から特定のマークを検出する特定マーク認識装置であって、特定のマークの画像を、中心距離と中心角度で表現される極座標表現の極座標画像に変換して辞書に保存し、前記辞書中の極座標画像を回転させた画像を復元して、この復元した画像と検出対象の画像中の特定マーク候補とを比較して特定マークを検出することを特徴とする特定マーク認識装置。
  12. 画像中から特定のマークを検出する特定マーク認識装置であって、前記特定のマークの画像を、中心距離と中心角度で表現される極座標表現の極座標画像に変換して辞書に保存し、前記辞書中の極座標画像を回転させた画像の各画素と、その各画素に対応する検出対象の画像中の特定マーク候補の画素とを比較して特定マークを検出することを特徴とする特定マーク認識装置。
  13. コンピュータを用いて、画像中から特定マークを検出するためのプログラムまたはそのための辞書を作成するプログラムであって、前記コンピュータに、請求項1乃至8のいずれか1に記載の特定マーク検出用辞書作成装置の機能、または、請求項9または10に記載の特定マーク検出装置の機能、または、請求項11または12に記載の特定マーク認識装置の機能を実行させるためのプログラム。
  14. 請求項13に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2002296673A 2002-10-09 2002-10-09 特定マーク検出用辞書作成装置、特定マーク検出装置、特定マーク認識装置並びにプログラムおよび記録媒体 Expired - Fee Related JP4067379B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2002296673A JP4067379B2 (ja) 2002-10-09 2002-10-09 特定マーク検出用辞書作成装置、特定マーク検出装置、特定マーク認識装置並びにプログラムおよび記録媒体
US10/681,857 US7305664B2 (en) 2002-10-09 2003-10-07 Apparatus, method, software and medium storage for performing the tasks of detecting specified marks

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002296673A JP4067379B2 (ja) 2002-10-09 2002-10-09 特定マーク検出用辞書作成装置、特定マーク検出装置、特定マーク認識装置並びにプログラムおよび記録媒体

Publications (2)

Publication Number Publication Date
JP2004133629A true JP2004133629A (ja) 2004-04-30
JP4067379B2 JP4067379B2 (ja) 2008-03-26

Family

ID=32286583

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002296673A Expired - Fee Related JP4067379B2 (ja) 2002-10-09 2002-10-09 特定マーク検出用辞書作成装置、特定マーク検出装置、特定マーク認識装置並びにプログラムおよび記録媒体

Country Status (2)

Country Link
US (1) US7305664B2 (ja)
JP (1) JP4067379B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008026414A1 (fr) * 2006-08-31 2008-03-06 Osaka Prefecture University Public Corporation Procédé de reconnaissance d'image, dispositif de reconnaissance d'image et programme de reconnaissance d'image
KR20170140133A (ko) * 2017-07-28 2017-12-20 김규만 그래픽 태블릿
CN109324797A (zh) * 2018-08-22 2019-02-12 平安普惠企业管理有限公司 一种桌面图标生成方法、计算机可读存储介质及终端设备
CN114463619A (zh) * 2022-04-12 2022-05-10 西北工业大学 基于集成融合特征的红外弱小目标检测方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7466872B2 (en) * 2005-06-20 2008-12-16 Drvision Technologies Llc Object based boundary refinement method
US8411896B2 (en) * 2006-12-21 2013-04-02 Cypress Envirosystems, Inc. Gauge reading device and system
WO2009097147A1 (en) * 2008-01-30 2009-08-06 Cypress Systems Corporation Gauge monitoring methods, devices, and systems
JP5459312B2 (ja) * 2009-03-27 2014-04-02 日本電気株式会社 パターン照合装置、パターン照合方法及びパターン照合プログラム
JP5505007B2 (ja) * 2010-03-18 2014-05-28 富士通株式会社 画像処理装置、画像処理方法及び画像処理用コンピュータプログラム
US10093120B2 (en) * 2014-11-26 2018-10-09 Kabushiki Kaisha Toshiba Image processing apparatus for processing image data for printing an image with a decolorable toner
JP6613030B2 (ja) * 2015-01-19 2019-11-27 株式会社メガチップス 判定装置、制御プログラム及び判定方法
US10726254B2 (en) * 2018-03-16 2020-07-28 Bank Of America Corporation Dynamic duplicate detection

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3066137B2 (ja) 1991-10-16 2000-07-17 三洋電機株式会社 パターンマッチング方法
EP0651337A4 (en) * 1992-07-03 1996-07-03 Omron Tateisi Electronics Co IMAGE DETECTION METHOD, DEVICE AND IMAGE PROCESSING METHOD AND DEVICE.
JPH06163586A (ja) 1992-11-20 1994-06-10 Fujitsu Ltd 薄膜トランジスタマトリックス及びその製造方法
JPH08235359A (ja) 1995-02-23 1996-09-13 Matsushita Electric Works Ltd パターンマッチング方法およびパターンマッチング装置
JPH09147109A (ja) 1995-11-20 1997-06-06 Ricoh Co Ltd 特定マーク検出方法及び特定マーク検出装置
JPH09179982A (ja) 1995-12-26 1997-07-11 Ricoh Co Ltd 特定パターン検出方法
JP3675629B2 (ja) 1997-08-04 2005-07-27 株式会社リコー パターン認識方法、装置および記録媒体
JPH11259657A (ja) 1998-03-10 1999-09-24 Omron Corp 画像検査装置及び方法、並びに記録媒体
JP3358997B2 (ja) 1998-11-27 2002-12-24 三菱重工業株式会社 刻印マーク識別装置
JP2001043365A (ja) 1999-07-27 2001-02-16 Victor Co Of Japan Ltd 静止画オブジェクトの特徴抽出方法
JP2001331805A (ja) 2000-05-19 2001-11-30 Ricoh Co Ltd 上半円画像検出方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008026414A1 (fr) * 2006-08-31 2008-03-06 Osaka Prefecture University Public Corporation Procédé de reconnaissance d'image, dispositif de reconnaissance d'image et programme de reconnaissance d'image
JP4883649B2 (ja) * 2006-08-31 2012-02-22 公立大学法人大阪府立大学 画像認識方法、画像認識装置および画像認識プログラム
US8199973B2 (en) 2006-08-31 2012-06-12 Osaka Prefecture University Public Corporation Image recognition method, image recognition device, and image recognition program
KR20170140133A (ko) * 2017-07-28 2017-12-20 김규만 그래픽 태블릿
KR102127957B1 (ko) 2017-07-28 2020-06-29 김규만 그래픽 태블릿
CN109324797A (zh) * 2018-08-22 2019-02-12 平安普惠企业管理有限公司 一种桌面图标生成方法、计算机可读存储介质及终端设备
CN109324797B (zh) * 2018-08-22 2023-03-31 平安普惠企业管理有限公司 一种桌面图标生成方法、计算机可读存储介质及终端设备
CN114463619A (zh) * 2022-04-12 2022-05-10 西北工业大学 基于集成融合特征的红外弱小目标检测方法
CN114463619B (zh) * 2022-04-12 2022-07-08 西北工业大学 基于集成融合特征的红外弱小目标检测方法

Also Published As

Publication number Publication date
US20040128656A1 (en) 2004-07-01
JP4067379B2 (ja) 2008-03-26
US7305664B2 (en) 2007-12-04

Similar Documents

Publication Publication Date Title
US12406320B2 (en) Image-based pose determination
JP6143111B2 (ja) 物体識別装置、物体識別方法、及びプログラム
CN109740633B (zh) 一种图像相似度计算方法、装置、存储介质
JP6354589B2 (ja) 物体識別装置、方法及びプログラム
CN100502444C (zh) 2维码读取方法、便携终端及数字照相机
US9619733B2 (en) Method for generating a hierarchical structured pattern based descriptor and method and device for recognizing object using the same
JP6278276B2 (ja) 物体識別装置、物体識別方法、及びプログラム
JP4067379B2 (ja) 特定マーク検出用辞書作成装置、特定マーク検出装置、特定マーク認識装置並びにプログラムおよび記録媒体
US20120230592A1 (en) Pattern recognition apparatus
Ebrahimi et al. SUSurE: Speeded up surround extrema feature detector and descriptor for realtime applications
US20100158375A1 (en) Signal processing apparatus, signal processing method, computer-readable medium and computer data signal
CN101261638A (zh) 图像搜索的方法、装置及程序
KR100888674B1 (ko) 주파수영역을 이용한 지폐의 유사도 측정방법
Chen et al. Robust image retrieval using multiview scalable vocabulary trees
US6556701B1 (en) Method of and apparatus for extracting dotted line, and storage medium thereof
Gomez-Krämer et al. Printed and scanned document authentication using robust layout descriptor matching
US6870958B2 (en) Image processor for detecting specified pattern
US20250265431A1 (en) Mark authentication with distortion tolerance
KR102903995B1 (ko) 복제 불가능한 정보 코드 라벨을 이용한 물품 진품 감정 시스템 및 방법
CN103295245B (zh) 局部特征量算出装置和方法以及对应点搜索装置和方法
Nikolaidis et al. Robust text extraction in mixed-type binary documents
Vaddadi et al. Keypoint clustering for robust image matching
JP2007156764A (ja) 図形検出処理プログラム及び紙葉処理装置
Rico-Juan et al. Finding significant points for a handwritten classification task
Saitoh Rotation invariant image template matching based on correlation of curvature distribution

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050218

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20071015

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071023

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080108

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110118

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4067379

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120118

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130118

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140118

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees