JPH07152906A - ２次元シンボル画像の認識処理装置 - Google Patents

Abstract

(57)【要約】 【目的】平面上の２次元シンボルを傾斜して読取った場
合や円筒周面上の２次元シンボルを読取った場合におい
ても正確な認識処理を行なう。 【構成】画像データメモリに展開した２次元シンボル画
像の特徴点を抽出し、その抽出した特徴点から２次元シ
ンボル領域を検出して切出す。そしてこの切出した２次
元シンボル領域に対していくつかの特徴点をさらに追加
抽出する。続いて抽出した全ての特徴点をコントロール
ポイントとして対応する２次元シンボルの無歪み画像空
間から歪んだ画像空間への座標変換関数を求める。そし
て画像データメモリに展開した２次元シンボル画像につ
いて求めた座標変換関数に基づいて画像データメモリ上
の座標位置決めを行なって画像認識を行なう。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、予め複数の特徴点を有
することが明らかな２次元コード等の２次元シンボル画
像を読取って画像の認識処理を行なう認識処理装置に関
する。

【０００２】

【従来の技術】この種の認識処理装置は、撮像回路を使
用して２次元シンボル画像を読取り、撮像回路からのア
ナログな映像信号を量子化回路によりデジタルデータに
変換し、ＣＰＵ（中央処理装置）により制御されるＤＭ
Ａ（ダイレクト・メモリ・アクセス）コントローラによ
り画像データメモリに展開している。画像データメモリ
に展開したデジタル画像情報は２値データあるいはモノ
クロ多階調のデジタル画像となっている。

【０００３】そしてＣＰＵは、図１３に示すように、先
ず読取った２次元シンボル画像の特徴点を抽出し、その
特徴点に基づいて画像データメモリに展開したデジタル
画像情報から２次元のシンボルを検出して切出し、その
切出した領域について画像認識処理を行なう。

【０００４】

【発明が解決しようとする課題】ところで、バーコード
のように１次元方向のみに画像を読取るものでは、バー
コード上を各種方向から例えばレーザビームを走査し、
そのうち少なくとも１走査において読取り可能なシンボ
ル情報が得られると認識が可能となる。しかし、２次元
シンボル画像を読取る場合は、すべての白黒情報及び幅
情報を正確かつ確実に読取ることが必要となる。

【０００５】しかしながら、上述した従来装置では、撮
像回路により読取った２次元画像をそのまま認識対象と
しているため、例えば平面上に印刷された２次元シンボ
ルを真上から読取った場合は問題ないが、読取り方向が
平面に対して傾斜していたり、２次元シンボルが筒缶等
の円筒周面上に描かれそれを読取るような場合（このよ
うなケースは商品上に２次元シンボルが描かれているよ
うな場合には頻繁に起こり得る。）には、読取った２次
元画像に歪みが生じるため正確な認識処理ができなかっ
た。

【０００６】そこで本発明は、平面上に描かれている２
次元シンボルを傾斜して読取った場合や円筒周面上に描
かれている２次元シンボルを読取った場合においても正
確な認識処理ができる２次元シンボル画像の認識処理装
置を提供する。

【０００７】

【課題を解決するための手段】請求項１対応の発明は、
予め複数の特徴点を有することが明らかな２次元コード
等の２次元シンボル画像を読取って画像の認識処理を行
なう認識処理装置において、読取った２次元シンボル画
像を記憶するメモリと、このメモリに記憶した２次元シ
ンボル画像からいくつかの特徴点を抽出する特徴点抽出
手段と、この抽出手段により抽出した特徴点から２次元
シンボル領域を検出し切出す２次元シンボル検出手段
と、この検出手段により切出した２次元シンボル領域に
対していくつかの特徴点をさらに追加抽出する特徴点追
加抽出手段と、抽出した全ての特徴点をコントロールポ
イントとして対応する２次元シンボルの無歪み画像空間
から歪んだ画像空間への座標変換関数を求める座標変換
関数算出手段と、メモリに記憶した２次元シンボル画像
について座標変換関数算出手段により求めた座標変換関
数に基づいてメモリ上の座標位置決めを行なって画像認
識を行なう画像認識手段を設けたものである。

【０００８】請求項２対応の発明は、読取った２次元シ
ンボル画像を記憶する第１のメモリと、この第１のメモ
リに記憶した２次元シンボル画像からいくつかの特徴点
を抽出する特徴点抽出手段と、この抽出手段により抽出
した特徴点から２次元シンボル領域を検出し切出す２次
元シンボル検出手段と、この検出手段により切出した２
次元シンボル領域に対していくつかの特徴点をさらに追
加抽出する特徴点追加抽出手段と、抽出した全ての特徴
点をコントロールポイントとして対応する２次元シンボ
ル画像の歪みを補正する座標変換関数を求める座標変換
関数算出手段と、メモリに記憶した２次元シンボル画像
について座標変換関数算出手段により求めた座標変換関
数に基づいて歪み補正を行なって第２のメモリに記憶す
る歪み補正手段と、第２のメモリに記憶した補正済みの
２次元シンボル画像について画像認識を行なう画像認識
手段を設けたものである。

【０００９】

【作用】請求項１対応の発明においては、読取った２次
元シンボル画像をメモリに記憶し、このメモリに記憶し
た２次元シンボル画像からいくつかの特徴点を抽出す
る。そして抽出した特徴点から２次元シンボル領域を検
出して切出し、その切出した２次元シンボル領域に対し
ていくつかの特徴点をさらに追加抽出する。

【００１０】こうして抽出した全ての特徴点をコントロ
ールポイントとして対応する２次元シンボルの無歪み画
像空間から歪んだ画像空間への座標変換関数を求め、こ
の求めた座標変換関数に基づいてメモリ上の座標位置決
めを行なって２次元シンボル画像の認識を行なう。

【００１１】請求項２対応の発明においては、読取った
２次元シンボル画像を第１のメモリに記憶し、この第１
のメモリに記憶した２次元シンボル画像からいくつかの
特徴点を抽出する。そして抽出した特徴点から２次元シ
ンボル領域を検出して切出し、その切出した２次元シン
ボル領域に対していくつかの特徴点をさらに追加抽出す
る。

【００１２】こうして抽出した全ての特徴点をコントロ
ールポイントとして対応する２次元シンボル画像の歪み
を補正する座標変換関数を求め、この求めた座標変換関
数に基づいて第１のメモリに記憶した２次元シンボル画
像の歪み補正を行なって第２のメモリに記憶する。そし
て第２のメモリに記憶した補正済みの２次元シンボル画
像について画像認識を行なう。

【００１３】

【実施例】以下、本発明の第１実施例を図面を参照して
説明する。

【００１４】図１はブロック図で、１は２次元シンボル
画像を読取る撮像回路で、この撮像回路１はアナログな
２次元シンボル画像信号を量子化回路２に出力する。

【００１５】前記量子化回路２は、入力する２次元シン
ボル画像信号をデジタルな２次元シンボル画像データに
変換し、ＤＭＡ（ダイレクト・メモリ・アクセス）コン
トローラ３に出力する。

【００１６】前記ＤＭＡコントローラ３は、ＣＰＵ（中
央処理装置）４によって制御され、前記量子化回路２か
らの２次元シンボル画像データを画像データメモリ５に
展開する。

【００１７】前記ＣＰＵ４は、図２に示す画像認識処理
を行なう。

【００１８】これは先ず、前記画像データメモリ５に展
開した２次元シンボル画像の特徴点を抽出する。（特徴
点抽出手段） 続いて抽出した特徴点から２次元シンボル領域を検出し
切出す。（２次元シンボル検出手段） そしてこの切出した２次元シンボル領域に対していくつ
かの特徴点をさらに追加抽出する。（特徴点追加抽出手
段） 続いて抽出した全ての特徴点をコントロールポイントと
して対応する２次元シンボルの無歪み画像空間から歪ん
だ画像空間への座標変換関数を求める。（座標変換関数
算出手段） 続いて前記画像データメモリ５に展開した２次元シンボ
ル画像について求めた座標変換関数に基づいて画像デー
タメモリ５上の座標位置決めを行なって画像認識を行な
う。（画像認識手段） ここで、座標関数を求めるアルゴリズムについて述べる
と、図３に示すように、無歪の画像空間、歪んだ画像空
間をとり、この２つの画像空間の各座標の空間関係が、 （Ｘ，Ｙ）＝（Ｆ（ｘ，ｙ），Ｇ（ｘ，ｙ）） …(1) （ｘ，ｙ）＝（ｆ（Ｘ，Ｙ），ｇ（Ｘ，Ｙ）） …(2) と表わせると仮定し、（Ｆ（ｘ，ｙ），Ｇ（ｘ，ｙ））
あるいは（ｆ（Ｘ，Ｙ），ｇ（Ｘ，Ｙ））を求めること
で２つの座標空間の相互変換が可能となる。ここでは
（Ｆ（ｘ，ｙ），Ｇ（ｘ，ｙ））を求める。

【００１９】ここで座標変換関数が、

【数１】 という近似多項式で表わせるとすると、

【数２】 このとき未知パラメータＦ_ij，Ｇ_ij，ｆ_ij，ｇ_ijを求め
るためには、ｋ個以上の特徴点を取る必要がある。

【００２０】ここで、図４のように特徴点を５個取った
場合について考えると、

【数３】 のように未知パラメータ５個をもった座標変換関数が仮
定できる。無歪の画像空間及び歪んだ画像空間での特徴
点の座標をそれぞれ ｐ_i ＝（ｘ_i ，ｙ_i ） Ｐ_i ＝（Ｘ_i ，Ｙ_i ） （ｉ＝１〜５） とすると、(11)，(12)式は、

【数４】 となり、上記(15)，(16)式をそれぞれＦ₁ 〜Ｆ₅ ，Ｇ₁
〜Ｇ₅ に関する連立方程式としたときに、これらが一意
的に解を持つ条件は、

【数５】 となる。この条件(17)式は無歪の画像空間での座標点の
取り方のみに依存する。ここで、歪みのモデルと特徴点
を図５のように取ると、このときの各座標は、 ｐ₁ ＝（１，０） Ｐ₁ ＝（Ｘ₁ ，Ｙ₁ ） ｐ₂ ＝（１，１／２） Ｐ₂ ＝（Ｘ₂ ，Ｙ₂ ） ｐ₃ ＝（１，１） Ｐ₃ ＝（Ｘ₃ ，Ｙ₃ ） ｐ₄ ＝（１／２，１） Ｐ₄ ＝（Ｘ₄ ，Ｙ₄ ） ｐ₅ ＝（０，１） Ｐ₅ ＝（Ｘ₅ ，Ｙ₅ ） となり、上記(17)式の行列式は、

【数６】 で条件を満たす。

【００２１】このときの連立方程式(15)，(16)は、 Ｘ₁ ＝Ｆ₁ ＋Ｆ₂ Ｘ₂ ＝Ｆ₁ ＋Ｆ₂ ＋Ｆ₃ ／２＋Ｆ₄ ／２＋Ｆ₅ ／４ Ｘ₃ ＝Ｆ₁ ＋Ｆ₂ ＋Ｆ₃ ＋Ｆ₄ ＋Ｆ₅ Ｘ₄ ＝Ｆ₁ ／２＋Ｆ₂ ／４＋Ｆ₃ ＋Ｆ₄ ／２＋Ｆ₅ Ｘ₅ ＝Ｆ₃ ＋Ｆ₅ …(19) Ｙ₁ ＝Ｇ₁ ＋Ｇ₂ Ｙ₂ ＝Ｇ₁ ＋Ｇ₂ ＋Ｇ₃ ／２＋Ｇ₄ ／２＋Ｇ₅ ／４ Ｙ₃ ＝Ｇ₁ ＋Ｇ₂ ＋Ｇ₃ ＋Ｇ₄ ＋Ｇ₅ Ｙ₄ ＝Ｇ₁ ／２＋Ｇ₂ ／４＋Ｇ₃ ＋Ｇ₄ ／２＋Ｇ₅ Ｙ₅ ＝Ｇ₃ ＋Ｇ₅ …(20) 上記(19)，(20)式を解くと、その解は、 Ｆ₁ ＝Ｘ₁ −２Ｘ₃ ＋４Ｘ₄ −２Ｘ₅ Ｆ₂ ＝２（Ｘ₃ −２Ｘ₄ ＋Ｘ₅ ） Ｆ₃ ＝−２Ｘ₁ ＋４Ｘ₂ −２Ｘ₃ ＋Ｘ₅ Ｆ₄ ＝−Ｘ₁ ＋Ｘ₃ −Ｘ₅ Ｆ₅ ＝２（Ｘ₁ −２Ｘ₂ ＋Ｘ₃ ） …(21) Ｇ₁ ＝Ｙ₁ −２Ｙ₃ ＋４Ｙ₄ −２Ｙ₅ Ｇ₂ ＝２（Ｙ₃ −２Ｙ₄ ＋Ｙ₅ ） Ｇ₃ ＝−２Ｙ₁ ＋４Ｙ₂ −２Ｙ₃ ＋Ｙ₅ Ｇ₄ ＝−Ｙ₁ ＋Ｙ₃ −Ｙ₅ Ｇ₅ ＝２（Ｙ₁ −２Ｙ₂ ＋Ｙ₃ ） …(22) となり、上記(11)，(12)式に各係数を代入したものが無
歪の画像空間から歪んだ画像空間への座標変換関数とな
る。

【００２２】この座標変換関数により無歪画像空間の座
標から歪んだ画像空間における座標を得ることができる
ので、歪んだ画像空間に存在する２次元画像をあたかも
無歪の画像空間に存在するように処理することが可能と
なる。

【００２３】また、このときの各係数は１次の和と差に
より表現されるため座標変換処理にＣＰＵ４として多大
な時間を使用することもない。

【００２４】ここで実際に本アルゴリズムをシュミレー
トした結果について述べる。

【００２５】先ず、物体面の傾斜により起こる歪みに対
する本アルゴリズムの効果について述べると、図６に示
す無歪の座標系の物体面を傾斜した状態で読込んだとき
に生じる座標系の歪みを計算し、それを図示すると図７
の(a) に示すようになる。

【００２６】また、図６に示す無歪の座標系の物体面を
４５°傾けて傾斜した状態で読込んだときに生じる座標
系の歪みを計算し、それを図示すると図８の(a) に示す
ようになる。

【００２７】そこで図７の(a) の画像と図８の(a) の画
像を入力画像として図６の画像との座標変換関数を計算
し、その座標変換関数により図６の画像を変換すると、
それぞれ図７の(b) の画像と図８の(b) の画像が得られ
た。

【００２８】このように座標変換関数により作り出した
図７の(b) 及び図８の(b) の座標系は図７の(a) 及び図
８の(a) の座標系に極めて近く、この種の歪みに対し本
アルゴリズムが有効であることが分かる。

【００２９】次に、物体面が円筒面であるときに生じる
歪みに対する本アルゴリズムの効果について述べると、
図６に示す無歪の座標系の物体面が円筒面に描かれてい
る状態で読込んだときに生じる座標系の歪みを計算し、
それを図示すると図９の(a)及び図１０の(a) に示すよ
うになる。

【００３０】また、図６に示す無歪の座標系の物体面が
円筒面に描かれている状態で４５°傾けて読込んだとき
に生じる座標系の歪みを計算し、それを図示すると図１
１の(a) に示すようになる。

【００３１】そこでこれら図９の(a) の画像、図１０の
(a) の画像及び図１１の(a) の画像を入力画像として図
６の画像との座標変換関数を計算し、その座標変換関数
により図６の画像を変換すると、それぞれ図９の(b) の
画像、図１０の(b) の画像及び図１１の(b) の画像が得
られた。

【００３２】このように座標変換関数により作り出した
図９の(b) 、図１０の(b) 及び図１１の(b) の座標系は
図９の(a) 、図１０の(a) 及び図１１の(a) の座標系に
極めて近く、この種の歪みに対しても本アルゴリズムが
有効であることが分かる。

【００３３】すなわち、平面上に描かれている２次元シ
ンボルを傾斜して読取った場合や円筒周面上に描かれて
いる２次元シンボルを読取った場合においても正確な認
識処理ができることになる。

【００３４】なお、物体面が円筒面であるときに生じる
歪みの場合、物体面の傾斜により起こる歪みに比べて入
力画像と座標変換関数により作り出した画像との補正誤
差が若干大きくなるが、本シュミレーションで使用した
モデルは歪量を相当大きくして行なっており、実際に円
筒面から２次元シンボルを読み取る場合には補正誤差は
もっと小さくなり、画像認識処理するうえで問題となる
ことはない。また、仮に問題となる場合は、座標変換関
数の項数を増やし、合わせて特徴点を多く取るようにし
て補正誤差を小さくすればよい。

【００３５】次に本発明の第２実施例を図面を参照して
説明する。

【００３６】本実施例においては画像データメモリ４に
第１のメモリ領域と第２のメモリ領域を設ける。そし
て、ＤＭＡコントローラ３からのデジタルな２次元シン
ボル画像を第１のメモリ領域に展開する。

【００３７】そしてＣＰＵ４は図１２に示す画像認識処
理を行なうようになっている。

【００３８】先ず、第１のメモリ領域に展開した２次元
シンボル画像の特徴点を抽出する。（特徴点抽出手段） 続いて抽出した特徴点から２次元シンボル領域を検出し
切出す。（２次元シンボル検出手段） そしてこの切出した２次元シンボル領域に対していくつ
かの特徴点をさらに追加抽出する。（特徴点追加抽出手
段） 続いて抽出した全ての特徴点をコントロールポイントと
して対応する２次元シンボル画像の歪みを補正する座標
変換関数を求める。（座標変換関数算出手段） 続いて第１のメモリ領域に展開した２次元シンボル画像
について求めた座標変換関数に基づいて歪み補正を行な
って第２のメモリ領域に展開する。（歪み補正手段） そして第２のメモリ領域に展開した補正済みの２次元シ
ンボル画像について画像認識を行なう。（画像認識手
段） このようにすれば、第１実施例に比べて使用するメモリ
容量が多くなるが、第２のメモリ領域に補正済みの２次
元シンボル画像を記憶するときにはすでにシンボル検出
を行なった後なので、第２のメモリ領域はシンボルを検
出した部分のみを記憶すればよく第１のメモリ領域に比
べて使用するメモリ容量は少なくて済む。

【００３９】一方、この第２実施例では、メモリアクセ
スを頻繁に行なう画像認識処理において、第１実施例の
ような座標変換処理、すなわち２次元シンボルの無歪み
画像空間から歪んだ画像空間への座標変換関数を求める
処理を省くことができるので、高速化を実現できる。

【００４０】なお、前記実施例においても前記実施例と
同様に効果は得られる。

【００４１】なお、この第２実施例では第１実施例の逆
変換である(2) 式の（ｆ（Ｘ，Ｙ），ｇ（Ｘ，Ｙ））を
求めなければならない。このとき問題となるのは方程式
が一意的に解を持つ条件(17) 式が成り立たない時であ
る。第１実施例では(17) 式が成立する点を設定するこ
とができたが、この第２実施例では入力画像の歪みの状
況により(17) 式の値は常に変化する。このときは特徴
点を別の点とするか、あるいは未知係数の少ない座標変
換関数とする必要がある。

【００４２】

【発明の効果】以上、本発明によれば、平面上に描かれ
ている２次元シンボルを傾斜して読取った場合や円筒周
面上に描かれている２次元シンボルを読取った場合にお
いても正確な認識処理ができる２次元シンボル画像の認
識処理装置を提供できる。

【図面の簡単な説明】

【図１】本発明の第１実施例を示すブロック図。

【図２】同実施例のＣＰＵによる画像認識処理を示す流
れ図。

【図３】無歪の画像空間と歪んだ画像空間の各座標の対
応関係を示す図。

【図４】同実施例における特徴点の取り方の一例を示す
図。

【図５】同実施例における無歪の画像空間の特徴点の座
標と歪んだ画像空間の特徴点の座標との対応関係を示す
図。

【図６】同実施例における無歪空間の座標系を示す図。

【図７】同実施例における歪座標系を示し、(a) は無歪
空間の座標系を傾斜した状態で読込んだ時の歪座標系を
示す図、(b) は無歪空間の座標系と読込んだ歪座標系と
から求めた座標変換関数により作った歪座標系を示す
図。

【図８】同実施例における歪座標系を示し、(a) は無歪
空間の座標系を傾斜した状態で４５°傾けて読込んだ時
の歪座標系を示す図、(b) は無歪空間の座標系と読込ん
だ歪座標系とから求めた座標変換関数により作った歪座
標系を示す図。

【図９】同実施例における歪座標系を示す図で、(a) は
無歪空間の座標系を円筒面に描いた状態で読込んだ時の
歪座標系を示す図、(b) は無歪空間の座標系と読込んだ
歪座標系とから求めた座標変換関数により作った歪座標
系を示す図。

【図１０】同実施例における歪座標系を示す図で、(a)
は無歪空間の座標系を円筒面に描いた状態で読込んだ時
の歪座標系を示す図、(b) は無歪空間の座標系と読込ん
だ歪座標系とから求めた座標変換関数により作った歪座
標系を示す図。

【図１１】同実施例における歪座標系を示す図で、(a)
は無歪空間の座標系を円筒面に描いた状態で４５°傾け
て読込んだ時の歪座標系を示す図、(b) は無歪空間の座
標系と読込んだ歪座標系とから求めた座標変換関数によ
り作った歪座標系を示す図。

【図１２】本発明の第２実施例のＣＰＵによる画像認識
処理を示す流れ図。

【図１３】従来における画像認識処理を示す流れ図。

【符号の説明】

４…ＣＰＵ（中央処理装置） ５…画像データメモリ

Claims (2)

【特許請求の範囲】
1. 【請求項１】 予め複数の特徴点を有することが明らか
   な２次元コード等の２次元シンボル画像を読取って画像
   の認識処理を行なう認識処理装置において、読取った２
   次元シンボル画像を記憶するメモリと、このメモリに記
   憶した２次元シンボル画像からいくつかの特徴点を抽出
   する特徴点抽出手段と、この抽出手段により抽出した特
   徴点から２次元シンボル領域を検出し切出す２次元シン
   ボル検出手段と、この検出手段により切出した２次元シ
   ンボル領域に対していくつかの特徴点をさらに追加抽出
   する特徴点追加抽出手段と、抽出した全ての特徴点をコ
   ントロールポイントとして対応する２次元シンボルの無
   歪み画像空間から歪んだ画像空間への座標変換関数を求
   める座標変換関数算出手段と、前記メモリに記憶した２
   次元シンボル画像について前記座標変換関数算出手段に
   より求めた座標変換関数に基づいてメモリ上の座標位置
   決めを行なって画像認識を行なう画像認識手段を設けた
   ことを特徴とする２次元シンボル画像の認識処理装置。
2. 【請求項２】 予め複数の特徴点を有することが明らか
   な２次元コード等の２次元シンボル画像を読取って画像
   の認識処理を行なう認識処理装置において、読取った２
   次元シンボル画像を記憶する第１のメモリと、この第１
   のメモリに記憶した２次元シンボル画像からいくつかの
   特徴点を抽出する特徴点抽出手段と、この抽出手段によ
   り抽出した特徴点から２次元シンボル領域を検出し切出
   す２次元シンボル検出手段と、この検出手段により切出
   した２次元シンボル領域に対していくつかの特徴点をさ
   らに追加抽出する特徴点追加抽出手段と、抽出した全て
   の特徴点をコントロールポイントとして対応する２次元
   シンボル画像の歪みを補正する座標変換関数を求める座
   標変換関数算出手段と、前記メモリに記憶した２次元シ
   ンボル画像について前記座標変換関数算出手段により求
   めた座標変換関数に基づいて歪み補正を行なって第２の
   メモリに記憶する歪み補正手段と、前記第２のメモリに
   記憶した補正済みの２次元シンボル画像について画像認
   識を行なう画像認識手段を設けたことを特徴とする２次
   元シンボル画像の認識処理装置。