JPH11306282A - 文字列領域抽出方法及び装置 - Google Patents

Abstract

(57)【要約】 （修正有） 【課題】 書式が定まった文字プレート上の文字情報を
カメラを入力手段として読みとる技術において、文字列
領域の２値画像の抽出処理を高速化する。 【解決手段】 カメラ２と、文字列の領域の位置情報を
自動的に抽出する文字プレート領域抽出手段３と、２値
化すべき領域を指定する要抽出領域テンプレートを作成
して格納する要抽出領域テンプレート作成／格納手段１
０と、２値化手段４と、文字プレートの画像に対して、
３次元的な姿勢と平面内の回転を推定する傾斜／回転角
度推定手段６と、画像の２値化を行い、要抽出領域テン
プレートの形状を、３次元的な姿勢と平面内の回転に合
わせて変形する要抽出領域テンプレート変形手段１と、
変形された要抽出領域テンプレートの範囲内にある黒画
素のみを対象として３次元的な傾斜による歪みと平面内
の回転の補正を行う２値画像傾斜／回転補正手段５とを
有する文字列領域抽出装置である。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、文字列領域抽出方
法及びその実施装置に関し、特に、例えば、名札のよう
な書式が定まった文字プレート上の文字情報をカメラを
入力手段として読みとる技術において、読みとるべき文
字列領域の２値画像を抽出する技術に関する。

【０００２】

【従来の技術】従来の文字列領域抽出装置は、図１６に
示すように、情景画像を撮影するカメラ１００、文字プ
レート領域抽出手段２００、この抽出された文字プレー
ト領域を２値化するための２値化手段３００、３次元的
な傾斜による歪みと平面内の回転の補正を行う２値画像
傾斜／回転補正手段４００、文字列領域抽出手段５０
０、及び３次元的な姿勢と平面内の回転を推定する傾斜
／回転角度推定手段６００を備えている。

【０００３】図１７は読み取り対象である名札の例を正
面から見た模式図であり、図１８は図１７の内容を説明
するための図である。図１８において、１０１は会社の
マーク、１０２は社員証、１０３は線分領域、１０４は
写真領域、１０５は会社名の文字列領域、１０６は所属
部署名の文字列領域、１０７は氏名の文字列領域であ
り、それぞれ読みとるべき文字列領域とする。

【０００４】図１９は図１７の名札をカメラ１００で撮
影した画像の例の模式図であり、３次元的な傾斜のため
の歪みがある。

【０００５】図２０は図１９から名札の中の背景領域の
画素だけを抽出した画像を示す図であり、この例では、
名札の背景領域の色合い情報は、例えば、ＲＧＢ値（赤
・緑・青のそれぞれの値）の形で分かっているとしてお
り、この抽出はこの色合い情報を用いて行う。

【０００６】図２１は名札に属する領域における背景画
素以外の画素を黒画素とし、残りを全て白画素で表した
２値画像を示す図である。

【０００７】図２２は図２１の画像に対して傾斜による
歪みと回転を補正した画像である。ただし、この例では
回転が非常に小さいので回転補正の効果は目ではわから
ない。

【０００８】図２３は図２２から文字列領域だけを抽出
した結果を示す図である。この方法は、例えば、黒画素
の連結成分をラベリングにより求め、近接する連結成分
を結合して文字パターンの候補を作成し、同程度の大き
さの文字パターン候補が複数個横方向に一定に近い間隔
で並んでいることを文字列領域の基準として選ぶことで
行うことができる。

【０００９】図２３に示す処理の後で、個々の文字列領
域に属する２値画像に対して文字切り出し（個別の文字
パターンの切り出し）と文字認識を行い、さらに、単語
辞書と照合することで各文字列領域が読み取れる。その
中で、読みとるべき文字列である所属部署と氏名だけを
その後の処理過程に送る。

【００１０】傾斜による歪みと回転の補正を２値画像に
おける全黒画素に対して行うが、この処理は三角関数を
多用した処理量の大きい処理であり、処理速度が低下す
るという問題があった（1997年電子情報通信学会 全国
大会 情報・システムソサイエティ大会 p.250、表題
「撮像斜影歪みを利用した文字平面の単眼視姿勢推定」
参照）。

【００１１】また、傾斜による歪みと回転の補正を全て
の領域について行った２値画像に対し、さらに全ての領
域において文字列の抽出、文字切り出し、文字認識、単
語照合等を画像全体について行うため処理速度が低下す
るという問題があった。

【００１２】

【発明が解決しようとする課題】本発明者は、前記従来
技術を検討した結果、以下の問題点を見いだした。

【００１３】前述の従来の技術では、傾斜による歪みと
回転の補正を２値画像における全黒画素に対して行う
が、この処理は三角関数を多用した処理量の大きい処理
であり、処理速度が低下するという問題があった。

【００１４】また、傾斜による歪みと回転の補正を全て
の領域について行った２値画像に対し、さらに全ての領
域において文字列の抽出、文字切り出し、文字認識、単
語照合を行うため処理速度が低下する問題があった。

【００１５】本発明の目的は、名札のような書式が定ま
った文字プレート上の文字情報をカメラを入力手段とし
て読みとる技術において、読みとるべき文字列領域の２
値画像の抽出処理を高速化することが可能な技術を提供
することにある。

【００１６】本発明の前記ならびにその他の目的と新規
な特徴は、本明細書の記述及び添付図面によって明らか
にする。

【００１７】

【課題を決決するための手段】本願において開示される
発明のうち、代表的なものの概要を簡単に説明すれば、
以下のとおりである。

【００１８】（１）抽出すべき文字列の領域の位置情報
を、サンプルとして提示した３次元的な姿勢が分かって
いる文字プレートの画像を分析することにより、自動的
に抽出し、この抽出された位置情報の２値化すべき領域
を指定する要抽出領域テンプレートを作成して格納する
学習処理過程と、入力対象である文字プレートの画像に
対して、３次元的な姿勢と平面内の回転を推定し、画像
の２値化を行い、前記の学習処理過程により作成した要
抽出領域テンプレートの形状を、前記３次元的な姿勢と
平面内の回転に合わせて変形し、変形された要抽出領域
テンプレートの範囲内にある黒画素のみを対象として３
次元的な傾斜による歪みと平面内の回転の補正を行う入
力補正処理過程とを有する文字列領域抽出方法である。

【００１９】（２）情景画像を撮影するカメラと、情景
画像に含まれる抽出すべき文字列の領域の位置情報を、
サンプルとして提示した３次元的な姿勢が分かっている
文字プレートの画像を分析することにより、自動的に抽
出する文字プレート領域抽出手段と、この抽出された文
字プレート領域の２値化すべき領域を指定する要抽出領
域テンプレートを作成して格納する要抽出領域テンプレ
ート作成・格納手段と、前記指定された文字プレート領
域を２値化する２値化手段と、入力対象である文字プレ
ートの画像に対して、３次元的な姿勢と平面内の回転を
推定する傾斜／回転角度推定手段と、画像の２値化を行
い、前記要抽出領域テンプレートの形状を、前記３次元
的な姿勢と平面内の回転に合わせて変形する要抽出領域
テンプレート変形手段と、変形された要抽出領域テンプ
レートの範囲内にある黒画素のみを対象として３次元的
な傾斜による歪みと平面内の回転の補正を行う２値画像
傾斜／回転補正手段とを有する文字列領域抽出装置であ
る。

【００２０】すなわち、本発明の特徴は、要抽出領域テ
ンプレートを学習用のサンプル画像から作成する学習処
理過程を行う手段を設ける。入力処理過程においては、
文字プレートの三次元的な傾斜と回転の大きさを画像か
ら推定し、その傾斜と回転の大きさを用いて要抽出領域
テンプレートを変形して文字プレートの画像と重ね合わ
せる。要抽出領域テンプレートの範囲内の領域を処理の
対象とすることである。

【００２１】

【発明の実施の形態】以下、図面を参照して本発明の実
施形態（実施例）を詳細に説明する。

【００２２】図１は本発明の一実施形態（実施例）の文
字列領域抽出装置の概略構成を示すブロック構成図であ
り、図２は図１の文字列領域抽出装置による文字列領域
抽出方法の処理手順を示すフローチャートである。

【００２３】本実施形態の文字列領域抽出装置は、図１
に示すように、文字プレート領域の２値化すべき領域を
指定する要抽出領域テンプレートを３次元的な姿勢と平
面内の回転に合わせて変形する要抽出領域テンプレート
変形手段１と、情景画像を撮影するカメラ２と、このカ
メラ２によって撮影された情景画像に含まれる抽出すべ
き文字列の領域の位置情報を、サンプルとして提示した
３次元的な姿勢が分かっている文字プレートの画像を分
析することにより、自動的に抽出する文字プレート領域
抽出手段３と、抽出された文字プレート領域を２値化す
るための２値化手段４と、３次元的な傾斜による歪みと
平面内の回転の補正を行う２値画像傾斜／回転補正手段
５と、３次元的な姿勢と平面内の回転を推定する傾斜／
回転角度推定手段６と、文字列領域抽出手段７と、文字
切り出し認識手段８と、単語照合手段９と、文字プレー
ト領域の２値化すべき領域を指定する要抽出領域テンプ
レートを作成して格納する要抽出領域テンプレート作成
／格納手段１０とからなっている。

【００２４】図３は要抽出領域テンプレートを作成する
ための学習用サンプルの画像例の模式図であり、１０１
は会社のマーク、１０２は社員証、１０３は線分領域、
１０４は写真領域、１０５は会社名の文字列領域、１０
６は所属部署名の文字列領域、１０７は氏名の文字列領
域であり、それぞれ読みとるべき文字列領域とする。

【００２５】学習処理過程においては、文字プレートの
三次元的な姿勢は決まっているものとする。

【００２６】図４乃至図７は要抽出領域テンプレートを
作成する方法を説明するための図であり、図８は単語照
合で用いる単語辞書の内容の例を示す図である。単語の
綴りと、各単語が抽出すべきものであるか否かの情報が
「要／不要」の形で記入されている。

【００２７】図９は図７で抽出された各文字列領域に対
して、文字切り出し、文字認識、単語照合を行った結果
を示す図である。所属部署名の文字列領域１０６と氏名
の文字列領域１０７だけが「要」、すなわち、抽出すべ
き文字列領域であることを表している。この結果を用い
て、所属部署名の文字列領域１０６と氏名の文字列領域
１０７の文字列領域とを要抽出領域とした結果を図１０
に示す。ただし、他の文字プレートについては、文字列
の位置や文字数が若干異なることが予想されるため、こ
の２つの領域の周囲に余裕を取った例を図１１に示す。
これを要抽出領域テンプレートとする。形式的には、各
領域を長方形で表し、各領域の四隅の座標で要抽出領域
テンプレートを表現する。

【００２８】前記の手段により求められた要抽出領域テ
ンプレートを用いて図３の画像の例を処理する過程を以
下に示す。

【００２９】図１２乃至図１５までがその後の処理過程
を説明するための図である。図１２は図１１で表される
要抽出領域テンプレートを扱っている文字プレートの見
え方に合わせて３次元的な傾斜／平面内の回転をした時
の形状に変形させた結果を示す図である（ただし回転は
ほとんどしていないため見た目にはわからない）。形式
的には、各領域を表す長方形の四隅の座標を座標変換す
ることで変形が行われる。

【００３０】図１３は前記図５の２値画像に図１２の要
抽出領域テンプレートを重ね合わせた図であり、図１４
は要抽出領域テンプレートの範囲内の画像を抽出した結
果を示す図である。図１５は図１４において抽出された
黒画素に対して従来技術と同様な三次元的な傾斜による
歪みと回転の補正を行った結果を示す図である。

【００３１】次に、図１に示す文字列領域抽出装置によ
る文字列領域抽出方法を図２を用いて説明する。

【００３２】本実施形態の文字列領域抽出方法の処理手
順は、図２に示す処理ステップで実行される。すなわ
ち、 Ｓ２０１：まず、画像カメラ２により撮影された情景画
像における、図３に示すような指定値の姿勢を持つ文字
プレートを含む濃淡画像を、学習データとして、入力す
る。

【００３３】Ｓ２０２：文字プレート領域抽出手段３に
より、前記入力された濃淡画像から、図４に示すような
文字プレート領域の濃淡画像を抽出する。

【００３４】Ｓ２０３：２値化手段４により、図５に示
すように、文字プレート領域の画像からプレートの背景
領域の画素を白、背景領域以外の画素を黒とした２値画
像を作成する。

【００３５】Ｓ２０４：２値画像傾斜／回転補正手段５
により、図６に示すように、文字プレート領域の２値画
像の３次元的な傾斜による歪みを補正する。

【００３６】Ｓ２０５：２値画像傾斜／回転補正手段５
により、文字プレート領域の２値画像の回転を補正す
る。

【００３７】Ｓ２０６：文字列領域抽出手段７により、
図７に示すように、３次元的な傾斜による歪みと回転が
補正された文字プレート領域の２値画像から、文字列領
域を抽出する。

【００３８】Ｓ２０７：文字切り出し認識手段８によ
り、各文字列領域に対して文字切り出し／文字認識処理
を行う。

【００３９】Ｓ２０８：単語照合手段９により、図８に
示すように、各文字列領域に対して文字切り出し／文字
認識処理の結果に対して単語照合を行い、要抽出領域テ
ンプレート作成／格納手段１０により、図９に示すよう
に、抽出すべき文字列領域であるか否かを判定し、抽出
すべき文字列領域については文字プレートの画像中の領
域としての場所を表わす要抽出領域テンプレートを作成
しメモリに格納する。

【００４０】Ｓ２０９：入力対象の文字プレートを含む
濃淡画像を入力する。

【００４１】Ｓ２１０：文字プレート領域の濃淡画像を
抽出する。

【００４２】Ｓ２１１：文字プレート領域の輪郭から、
文字プレートの３次元的な姿勢と平面内の回転角度を算
出する。

【００４３】Ｓ２１２：要抽出領域テンプレート変形手
段１により、文字プレートの３次元的な姿勢と平面内の
回転角度を算出結果を用いて、要抽出領域テンプレート
の形状を、同一の平面内で該文字プレートと重ね合わせ
た時の形状に変形させる。

【００４４】Ｓ２１３：２値化手段４により、文字プレ
ート領域の画像からプレートの背景領域の画素を白、背
景領域以外の画素を黒とした２値画像を作成する。

【００４５】Ｓ２１４：文字プレート領域の２値画像と
変形させた要抽出領域テンプレートを重ね合わせ、要抽
出領域テンプレートの範囲に含まれる黒画素に対して３
次元的な傾斜による歪みと平面内の回転を補正し、出力
する。

【００４６】なお、前記本実施形態の文字列領域抽出方
法の処理手順は、コンピュータのソフトウェアのプログ
ラムによっても実現できる。

【００４７】以上、本発明を前記実施例に基づき具体的
に説明したが、本発明は、前記実施例に限定されるもの
ではなく、その要旨を逸脱しない範囲において種々変更
可能であることは勿論である。

【００４８】

【発明の効果】本願において開示される発明のうち代表
的なものによって得られる効果を簡単に説明すれば、以
下のとおりである。

【００４９】本発明の学習処理過程と入力補正処理過程
とを有する文字列領域抽出方法によれば、傾斜による歪
みと回転の補正を２値画像における限定された領域に含
まれる黒画素に対してのみ行うので、処理速度が向上す
ることができる。

【００５０】また、文字列の抽出、文字切り出し、文字
認識、単語照合を２値画像における限定された領域に対
してのみ行うので、処理速度か向上することができる。

【図面の簡単な説明】

【図１】本発明の一実施形態（実施例）の文字列領域抽
出装置の概略構成を示すブロック構成図である。

【図２】図１の文字列領域抽出装置による文字列領域抽
出方法の処理手順を示すフローチャートである。

【図３】要抽出領域テンプレートを作成するための学習
用サンプルの画像例の模式図である。

【図４】本実施形態の要抽出領域テンプレートを作成す
る方法を説明するための図である。

【図５】本実施形態の要抽出領域テンプレートを作成す
る方法を説明するための図である。

【図６】本実施形態の要抽出領域テンプレートを作成す
る方法を説明するための図である。

【図７】本実施形態の要抽出領域テンプレートを作成す
る方法を説明するための図である。

【図８】本実施形態の単語照合で用いる単語辞書の内容
の例を示す図である。

【図９】図７で抽出された各文字列領域に対して、文字
切り出し、文字認識、単語照合を行った結果を示す図で
ある。

【図１０】本実施形態の所属部署領域と氏名領域の文字
列領域を要抽出領域とした結果を示す図である。

【図１１】本実施形態の文字列の位置や文字数が若干異
なることが予想されるため、この２つの領域の周囲に余
裕を取った例を示す図である。

【図１２】本実施形態の入力処理過程を説明するための
図である。

【図１３】本実施形態の入力処理過程を説明するための
図である。

【図１４】本実施形態の入力処理過程を説明するための
図である。

【図１５】本実施形態の入力処理過程を説明するための
図である。

【図１６】従来の文字列領域抽出装置の概略構成を示す
ブロック構成図である。

【図１７】従来の読み取り対象である名札の例を正面か
ら見た模式図である。

【図１８】図１７の内容を説明するための図である。

【図１９】図１７の名札をカメラで撮影した画像の例の
模式図である。

【図２０】図１９から名札の中の背景領域の画素だけを
抽出した画像を示す図である。

【図２１】名札に属する領域における背景画素以外の画
素を黒画素とし、残りを全て白画素で表した２値画像を
示す図である。

【図２２】図２１の画像に対して傾斜による歪みと回転
を補正した画像である。

【図２３】図２２から文字列領域だけを抽出した結果を
示す図である。

【符号の説明】

１…要抽出領域テンプレート変形手段、２…カメラ、３
…文字プレート領域抽出手段、４…２値化手段、５…２
値画像傾斜／回転補正手段、６…傾斜／回転角度推定手
段、７…文字列領域抽出手段、８…文字切り出し認識手
段、９…単語照合手段、１０…要抽出領域テンプレート
作成／格納手段、１０１…会社のマーク、１０２…社員
証、１０３…線分領域、１０４…写真領域、１０５…会
社名の文字列領域、１０６…所属部署名の文字列領域、
１０７…氏名の文字列領域、１００…カメラ、２００…
文字プレート領域抽出手段、３００…２値化手段、４０
０…２値画像傾斜／回転補正手段、５００…文字列領域
抽出手段、６００…傾斜／回転角度推定手段。

Claims (2)

【特許請求の範囲】
1. 【請求項１】 抽出すべき文字列の領域の位置情報を、
   サンプルとして提示した３次元的な姿勢が分かっている
   文字プレートの画像を分析することにより、自動的に抽
   出し、この抽出された位置情報の２値化すべき領域を指
   定する要抽出領域テンプレートを作成して格納する学習
   処理過程と、入力対象である文字プレートの画像に対し
   て、３次元的な姿勢と平面内の回転を推定し、画像の２
   値化を行い、前記の学習処理過程により作成した要抽出
   領域テンプレートの形状を、前記３次元的な姿勢と平面
   内の回転に合わせて変形し、変形された要抽出領域テン
   プレートの範囲内にある黒画素のみを対象として３次元
   的な傾斜による歪みと平面内の回転の補正を行う入力補
   正処理過程とを有することを特徴とする文字列領域抽出
   方法。
2. 【請求項２】 情景画像を撮影するカメラと、情景画像
   に含まれる抽出すべき文字列の領域の位置情報を、サン
   プルとして提示した３次元的な姿勢が分かっている文字
   プレートの画像を分析することにより、自動的に抽出す
   る文字プレート領域抽出手段と、この抽出された文字プ
   レート領域の２値化すべき領域を指定する要抽出領域テ
   ンプレートを作成して格納する要抽出領域テンプレート
   作成／格納手段と、前記指定された文字プレート領域を
   ２値化する２値化手段と、入力対象である文字プレート
   の画像に対して、３次元的な姿勢と平面内の回転を推定
   する傾斜／回転角度推定手段と、画像の２値化を行い、
   前記要抽出領域テンプレートの形状を、前記３次元的な
   姿勢と平面内の回転に合わせて変形する要抽出領域テン
   プレート変形手段と、変形された要抽出領域テンプレー
   トの範囲内にある黒画素のみを対象として３次元的な傾
   斜による歪みと平面内の回転の補正を行う２値画像傾斜
   ／回転補正手段とを有することを特徴とする文字列領域
   抽出装置。