JP3673034B2

JP3673034B2 - 郵便物の宛名領域検出装置

Info

Publication number: JP3673034B2
Application number: JP25993796A
Authority: JP
Inventors: 昭彦中尾
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1996-09-30
Filing date: 1996-09-30
Publication date: 2005-07-20
Anticipated expiration: 2016-09-30
Also published as: JPH1099788A

Description

【０００１】
【発明の属する技術分野】
この発明は郵便物の処理装置、特に郵便物の宛名を読み取ってその配達先に従って区分する際に用いられる郵便物の宛名領域検出装置に関する。
【０００２】
【従来の技術】
郵便物の処理分野においては、連日大量に送られてくる郵便物を限られた時間内に処理して行かねばならない。そこで郵便業務の機械化が進められ、郵便局員の負担の軽減がはかられている。その一例が、光学的文字読取装置を用いて、郵便物上の郵便番号を読み取り、その読取結果によって郵便物を複数の配達郵便局ごとに区分する差立区分機、あるいは、更に郵便物上の宛名を読み取りその読取結果によって郵便物を複数の送達区域ごとに区分する配達区分機である。
【０００３】
配達区分機では、郵便物上に書かれた宛名を読みとる際、従来は画像処理によって宛名が書かれていると推定される領域を１つ確定させ、その領域に対して行検出、文字検出、文字識別、町名識別をパイプライン処理することにより宛名を自動認識している。
【０００４】
しかし、現行の郵便物の宛名に関しては、その宛名記載位置、記載方法などの書式にほとんど制約が設けられていないため様々な書式の郵便物が存在し、しかも郵便物上には広告等の宛名以外の文字情報、絵および写真も存在し、それらの画像情報が混在する中から宛名情報を正しく抽出することは非常に困難である。したがって、今後もますます郵便物の量が増加していくことを考えると、従来手法よりも高性能の宛名読み取り手法を開発することが求められている。
【０００５】
【発明が解決しようとする課題】
従来の技術では宛名領域を確定してからその領域に含まれる情報を読み取るように構成されているために、誤った領域を宛名領域として決定した場合、当該郵便物は配達区分機からリジェクトされるので、再投入するしかなく、最初に投入された配達区分機における以降の処理で宛名を正しく認識することは不可能である。しかも確定された１つの領域内に書かれている文字を全て認識してからこの領域が宛名領域であるか否かを決定するため、１領域当たりの処理時間が長くなる。
【０００６】
一般に宛名領域検出の成功率を上げるには一度リジェクトされた郵便物について他の領域の検出動作を続行できるようにすればよいが、郵便１通あたりの処理時間が制限されているため、従来の方法で複数の領域を検出することは時間が多く掛り、実現が困難であった。
【０００７】
そこで、この発明は、郵便物表面の画像から宛名領域を簡単、正確に検出し、郵便物処理を高速で行うことを可能とする郵便物の宛名領域検出装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
この発明の郵便物の宛名検出装置は、郵便物表面より光電変換して画像信号を得る画像入力手段と、この画像入力手段により得られた前記画像信号を格納する画像メモリと、この画像メモリの前記画像信号を２値画像判定した黒画素連結領域とこの黒画素連結領域に外接する外接矩形情報を抽出する黒画素連結領域抽出部と、この黒画素連結領域抽出部により抽出された前記外接矩形情報から行候補の矩形情報を抽出する行候補検出部と、この行候補検出部により抽出された矩形情報から宛名領域候補を検出する宛名領域候補検出部と、前記宛名領域候補に含まれる文字情報から宛名領域を確定する宛名領域確定手段と、を具備することを特徴としている。
【０００９】
上記の構成により、最初に文字行を検出し、それを統合して複数の宛名領域候補を検出し、各領域候補から宛名書きだし部であると推定される文字行を検出し、その文字行に対して文字検出、文字識別、町名識別を行なって宛名書きだし部であるか否か調べることにより、その文字行を含む領域が宛名記載領域であるか否かを高速に判定することができる。文字認識の結果、その文字行が宛名情報を含んでいなければその行を含む領域には宛名情報が書かれていないと判断し、次の領域候補について同様の処理を行う。ここで、この発明では各領域につき一行から数行分の文字認識を行うだけでよいため、１領域あたりの処理時間が短くてすむため、複数領域の候補について確認をとることが可能となる。
【００１０】
【発明の実施の形態】
以下、この発明の第１の実施の形態について図面を参照して説明する。
図１はこの発明の第１の実施の形態に係わる光学的文字読取装置の構成を示すブロック図であり、図２は図１の宛名領域検出部の内部構成を示すブロック図である。
【００１１】
図１において、郵便物Ｍの画像が光学的文字読取装置１の光電変換回路２により電気信号に変換され、２値化処理部３により白画素と黒画素を示す２値信号に変換される。２値化処理部３から得られた２値信号は黒画素連結領域抽出部４の画像メモリに一時格納され、この画像メモリ上で黒画素連結領域が抽出される。一般に郵便物の宛名記載は黒字で行われ、かつ宛名文字は１行または複数行に亘って記載される。したがって、郵便物の画像中から黒画素連結領域を検出すると、この検出された黒画素連結領域には宛名文字列を構成する文字もしくは文字の一部分が含まれている可能性が高い。検出された黒画素連結領域からは、その領域に外接する矩形情報が求められる。
【００１２】
黒画素連結領域抽出部４により抽出された黒画素連結領域に外接する矩形情報は、宛名領域の検出のために宛名領域検出部５に送られる。宛名領域検出部５により検出された領域に含まれる宛名文字の読取りは、宛名文字行から個々の文字の検出を次の文字検出切り出し回路６にて行い、この切り出された文字一つ一つについて行う。
【００１３】
ここで、宛名領域検出部５の内部の構成を図２を参照して説明する。図２において、黒画素連結領域抽出部４により抽出された黒画素連結領域に外接する矩形情報は、宛名領域の検出のために宛名領域検出部５の行候補検出部５ａに送られてチェックされる。この宛名領域検出部５には、基準宛名領域データベース５Ｒが関連して設けられ、後述する行候補検出部５ａ、宛名領域候補検出部５ｂ、行、領域評価部５ｃ，および宛名筆頭部候補検出部５ｄ夫々において予め用意されている基準となる情報を参照して、あるいは基準情報との比較に基づく類似度の大小により夫々の段階に於ける候補の検出が行われる。
【００１４】
まず行候補検出部５ａでは、黒画素連結領域抽出部４により抽出された各々の外接矩形情報に含まれる矩形領域の形状、郵便物上の位置などを表す情報が基準宛名領域データベース５Ｒに格納されている対応する基準情報と比較され、この比較結果をもとに複数の外接矩形領域を統合して行候補領域を切り出して、その行候補の矩形情報を抽出するようになっている。
【００１５】
検出された行候補情報は次に宛名領域候補検出部５ｂにより処理され、基準宛名領域データベース５Ｒに格納されている対応する基準情報と比較され、この比較結果をもとに一つもしくは複数箇所の宛名領域候補が検出される。
【００１６】
検出された宛名候補領域に対しては、検出された宛名候補領域に行がいくつ含まれているか、あるいは行数が所定数ｎよりも多いか少ないか、検出された行の平均幅が所定の寸法より大きいか、小さいか、あるいは検出された行の幅の分布がどのようになっているか、検出された宛名候補領域に含まれている行の位置の分布がどのようなものかなどが行、領域の評価部５ｃにより評価される。この行、領域の評価部５ｃによる評価の方法の詳細は後で説明する。
【００１７】
行、領域の評価部５ｃにより宛名領域であると評価する際には、宛名領域候補検出部５ｂにより検出された宛名領域候補の一つ一つについて同様に基準宛名領域データベース５Ｒに格納されている対応する基準情報と比較され、その中に含まれる行の数、サイズ、および行位置の分布から宛名の記載書式を判定し、この判定された書式に応じて次の宛名筆頭部行候補検出部５ｄにおいて、宛名筆頭行の候補を検出する。
【００１８】
検出された宛名候補領域が複数の場合は、この複数の宛名候補領域の夫々についてその中の筆頭部候補を宛名筆頭部行候補検出部５ｄにより検出し、所定の記憶エリアに格納しておく。
【００１９】
このようにして宛名領域検出部５により検出された宛名筆頭行部候補の一つ、例えば最も筆頭部として可能性の高い行を一つ選択し、この行について次の文字検出切り出し回路６で個々の文字を切り出し、順次認識回路７に送り、文字辞書８を用いて文字認識を行う。宛名筆頭行部の文字全てについて文字認識が行われ、認識された文字は次の知識処理回路９に送られ、知識辞書１０を用いて市区町村名の宛名識別が行われる。識別された市区町村名が予め知識辞書１０に格納された実在の宛名と一致すれば、処理された宛名筆頭行部候補が含まれる宛名領域中の全ての行についても同様に識別し、読み取られた宛名情報は読取り結果処理回路１１に送られ、所定の配達区分処理が行われる。
【００２０】
図１の光電変換回路２で読取られた郵便物Ｍの画像が、例えば図３の（ａ）に示したように縦方向の中央部に横書きでＬ１，Ｌ２の２行にわたって記載された宛名部分を持つ場合を例に取って図１、図２に示した光学的文字読取装置１の動作を説明する。処理対象となる郵便物Ｍの画像には更に広告文字行Ｌ３，Ｌ４ならびに切手Ｌ５の画像が含まれているものとする。なお、以下の説明では通常の書状で切手や郵便番号枠が上にきて長手方向の辺が縦になるような書状の置き方を縦置き、切手や郵便番号枠が右手にきて短手方向の辺が縦になるような書状の置き方を横置きと呼ぶことにする。また縦行とは書状長手方向に長い行のことを指し、横行とは書状短手方向に長い行のことを指すものとする。
【００２１】
光電変換回路２で読取られた郵便物Ｍの画像データからは、２値化処理部３により微分・２値化処理を施したのち、黒画素連結領域抽出部４にて図３の（ｂ）に示したような行Ｌ１，Ｌ２，Ｌ３，Ｌ４に対応する連結黒画素領域に外接する矩形情報を求める。この矩形情報はそれぞれの文字に対応しており、この情報は宛名領域検出部５内の行候補検出部５ａにおいて横方向に隣接する外接矩形情報を統合することによって、図３（ｃ）に示したような行Ｌ１，Ｌ２，Ｌ３，Ｌ４を検出する。
【００２２】
これらの検出された行Ｌ１，Ｌ２，Ｌ３，Ｌ４の情報は宛名領域候補検出部５ｂにおいてさらに隣接する行を統合して、図３（ｄ）に示したように行Ｌ１，Ｌ２に対応する第１の宛名領域候補Ａ１ならびに第２の宛名領域候補Ａ２を検出する。各領域Ａ１，Ａ２内の夫々の行Ｌ１〜Ｌ４は、行サイズ・相対位置を図３（ｅ）において基準宛名領域データベース５Ｒに格納されているあらかじめ用意された評価基準にかけられ、夫々の領域Ａ１，Ａ２内において類似度あるいは評価値の高いものが宛名書きだし行候補、即ち宛名筆頭行部として選択される。領域Ａ１，Ａ２内において筆頭行候補として選択された行は図３（ｆ）に示したようにハッチングで示される。
【００２３】
宛名書きだし行候補は複数箇所選択され、評価値の高いものから順に図３（ｇ）に示したフィードバック処理にかけられる。フイードバック処理では、まず、図３（ｈ）において宛名書きだし行候補の中から行Ｌ１を選択し、図３（ｉ）においてその行Ｌ１の各々の文字検出を行い、図３（ｊ）において個々の文字識別を行い、識別された文字列に対して図３（ｋ）において市町村名識別、たとえば町名識別処理を行う。次に図３（ｌ）においてその識別結果が宛名情報として読めるか調べる。もし知識辞書１０を参照した結果、識別された文字列が意味をなしていなければ、別の領域Ａ２の筆頭行、例えばＬ３を選択して同様の処理を繰り返す。もし図３（ｌ）において意味をなしていれば、その行Ｌ１の前または後の行、ここでは後の行Ｌ２を認識処理にかけ，宛名情報を完成させる。
【００２４】
次に、図２の行、領域の評価部５ｃにおいて宛名がどのような書式で記載されているか判断する処理について説明する。これは、最初に郵便物に宛名が記載される主な書式をいくつか情報として持っておき、与えられた書状がどの書式で書かれている可能性が高いか判断する処理を行う。図４は、宛名の記載される書式の分類方式の一例である。図４に挙げているのは、宛名行の方向および記載位置に注目して縦置き横書き（ａ）、縦置き横書き（ｂ）、横置き横書きの正方向（ｃ）および逆方向（ｄ）の４通りに宛名の書式を分類した例である。この例以外の宛名行方向・位置の場合を宛名記載書式に追加登録してもよい。また、宛名の方向・記載位置の他に宛名行サイズも考慮してさらに宛名記載書式を細かく分類して定義してもよい。
【００２５】
宛名の記載書式を判断する手法の一例として、書状画像から行を切り出した後縦置きした時の画像上部から横書き行が見つかった場合は縦置き横書き方向に宛名が書かれていると判断する方法が考えられる。またこの場合、書状上部に書かれている横行ほど宛名行書きだし候補の検出処理にかける優先順位を高くする処理を行うことが考えられる。
【００２６】
以下、図２の行、領域評価部５ｃにおける行、領域の評価の具体例を図５乃至図１１を参照して詳細に説明する。
図５の例では、図５（ａ）に示したように縦置きの書状に２行の縦書で宛名が記載された郵便物の場合であり、図５（ｂ）はこの郵便物の画像から宛名記載領域を判定し、宛名が手書きで表示された場合の宛名行を検出する処理を示すフローチャートを示す。図２の宛名領域候補検出部５ｂで検出された領域に含まれた行を切り出した後、図５（ｂ）の最初のステップＳＴ１において検出された行数がｎ行以下、例えば４行以下であるか否かを判定し、ｎ行以下でなければ宛名領域ではないものとしてステップＳＴ２の別の判定処理にうつる。
【００２７】
ここではｎ行以下であるから、宛名が手書きであり、手書きフラグをステップＳＴ３でセットし、ステップＳＴ４で手書きの宛名用に用意した筆頭宛名行検出処理を行う。この筆頭宛名行検出処理は図２の宛名筆頭部候補行検出部５ｄにおいて行われる。
【００２８】
上記の宛名行が４行以下か否かという判定条件は、別の条件と組み合わせて使用してもよい。一例として宛名が書状長手方向であるという条件と組み合わせた場合を図６に示す。図６（ａ）に示した書状画像から行を切り出した後、ステップＳＴ１１で検出された行のうち書状長手方向の行数がｎ行以下であるか否かを判定し、ｎ行以上であれば別の判定処理（ＳＴ１２）にうつる。ｎ行以下であれば宛名が書状長手方向に手書きで書かれていると判断（ＳＴ１３）し、宛名行が手書きの縦行である場合用に用意した宛名行検出処理を行う（ＳＴ１４）。例えば、書状から検出された縦行数が４行以下であれば宛名が手書きであると判断する。なお、行方向の条件を書状長手方向とする代わりに書状短手方向としても良い。
【００２９】
宛名の記載領域を判断する手法の別の例を図７に示す。図７（ａ）に示す書状画像から行を切り出した後、書状から検出された行の平均幅を図７（ｂ）のステップＳＴ２１にて計算し、行平均幅がＷミリメートル以上であるか否かを判定（ＳＴ２２）し、Ｗミリメートル以上でなければ別の判定処理（ＳＴ２３）にうつる。
【００３０】
Ｗミリメートル以上であれば宛名が手書きであると判断（ＳＴ２４）し、手書きの宛名用に用意した筆頭宛名行検出処理を行う（ＳＴ２５）。例えば、書状から検出された行の平均幅が２０ｍｍ以上であれば宛名が手書きであると判断する。なお行平均幅のしきい値は、ミリメートル単位の代わりに画素数単位で与えても良い。また上の例では平均幅を求めるために書状画像から検出した全ての行を使用しているが、書状画像の特定領域に書かれた行のみを用いて平均幅を算出しても良い。
【００３１】
上記の判定条件は、別の条件と組み合わせて使用してもよい。一例として宛名行が書状長手方向であるという条件と組み合わせた場合を図８に示す。図８（ａ）に示した書状画像から行を切り出した後、図８（ｂ）のステップＳＴ３１にて書状から検出された行のうち縦行の平均幅を計算し、行平均幅がＷミリメートル以上であるか否かを判定（ＳＴ３２）し、Ｗミリメートル以上でなければ別の判定処理（ＳＴ３３）にうつる。Ｗミリメートル以上であれば宛名が書状長手方向に手書きで書かれていると判断（ＳＴ３４）し、宛名行が手書きの縦行である場合用に用意した筆頭宛名行検出処理を行う（ＳＴ３５）。例えば、書状から検出された縦行の平均幅が２０ｍｍ以上であれば宛名が手書きであると判断する。なお行平均幅のしきい値は、ミリメートル単位の代わりに画素数単位で与えても良い。また、行方向の条件を書状長手方向とする代わりに書状短手方向としても良い。さらに、上の例では平均幅を求めるために書状画像から検出した全ての行を使用しているが、書状画像の特定領域に書かれた行のみを用いて平均幅を算出しても良い。
【００３２】
画像から検出した行の平均幅を用いて宛名の記載形式を推定するためには、行の平均幅が宛名行幅に近い値である必要がある。画像から検出した行の幅サイズにばらつきがある場合の筆頭宛名行検出手法の例を図９に示す。図９（ａ）に示す書状画像から行を切り出した後、図９（ｂ）に矩形で囲んで示すように宛名行の可能性の高い行を選択し、選択した行の平均幅によって宛名の記載書式を判定する。
【００３３】
まず書状から検出された行の幅サイズの分布を調べておき（ＳＴ４１）、行の平均幅を計算（ＳＴ４２）する。次に検出した行のうち、平均幅の１／ｍよりは幅が広くかつｎ倍以下の幅である行を選択（ＳＴ４３）し、選択した行の平均幅を計算して、宛名書式判定用の基準幅とする（ＳＴ４４）。基準幅がＷミリメートル以上であるか否かを判定（ＳＴ４５）し、Ｗミリメートル以上でなければ別の判定処理（ＳＴ４６）にうつる。
【００３４】
Ｗミリメートル以上であれば宛名が手書きであると判断（ＳＴ４７）し、手書きの宛名用に用意した筆頭宛名行検出処理を行う（ＳＴ４８）。例えば、ｍ＝２，ｎ＝１．５，基準幅が２０ｍｍ以上であれば宛名が手書きであると判断する。なお行平均幅のしきい値は、ミリメートル単位の代わりに画素数単位で与えても良い。また上の例では基準幅を求めるために書状画像から検出した全ての行を使用しているが、書状画像の特定領域に書かれた行のみを用いて基準幅を算出しても良い。
【００３５】
上記の判定条件は、別の条件と組み合わせて使用してもよい。一例として宛名が書状長手方向であるという条件と組み合わせた場合を図１０に示す。図１０（ａ）に示す書状画像から行を切り出した後、図１０（ｂ）に示したように宛名行の可能性の高い縦行を選択し、図１０（ｃ）の各々のステップにおいて選択した行の平均幅によって宛名の記載書式を判定する。
【００３６】
まず書状から検出された縦行の幅サイズの分布を調べておき（ＳＴ５１）、縦行の平均幅を計算（ＳＴ５２）する。次に検出した縦行のうち、平均幅の１／ｍよりは幅が広くかつｎ倍以下の幅である行を選択（ＳＴ５３）し、選択した縦行の平均幅を計算して、宛名書式判定用の基準幅とする（ＳＴ５４）。基準幅がＷミリメートル以上であるか否かを判定（ＳＴ５５）し、Ｗミリメートル以上でなければ別の判定処理（ＳＴ５６）にうつる。Ｗミリメートル以上であれば宛名が書状長手方向に手書きで書かれていると判断（ＳＴ５７）し、宛名行が手書きの縦行である場合用に用意した筆頭宛名行検出処理を行う（ＳＴ５８）。例えば、ｍ＝２，ｎ＝１．５，基準幅が２０ｍｍ以上であれば宛名が手書きであると判断する。なお行平均幅のしきい値は、ミリメートル単位の代わりに画素数単位で与えても良いし、行方向の条件を書状長手方向とする代わりに書状短手方向としても良い。また上の例では基準幅を求めるために書状画像から検出した全ての行を使用しているが、書状画像の特定領域に書かれた行のみを用いて基準幅を算出しても良い。
【００３７】
宛名の記載書式を判断する手法の別の例を図１１に示す。図１１（ａ）のステップＳＴ６１において、書状から検出された行の記載位置の分布を調べ、検出した行のうち、ステップＳＴ６２において書状を縦置きした時の右半分の領域に行領域全部または行領域の一部がかかっている行がどれだけあるか調ベる。行総数のうちｎ％以上でなければ図１２（ａ）の別の判定処理（ステップＳＴ７１）にうつる。
【００３８】
ｎ％以上であれば宛名が図１１（ｂ）または図１１（ｄ）に示したように書状右半分に縦置き縦書き方向または横置き横書き方向に書かれていると判断する（ＳＴ６３）。例えば図１１（ｂ）または図１１（ｄ）に示した書状では、いずれの書状もその右半分に全行数の７０％以上の行が書かれており、書状右半分に縦置き縦書き、または横置き横書きに書かれていると判断する。
【００３９】
反対に、図１２（ｂ）に示したように書状の左半分に全行数の７０％以上の行が書かれている場合、図１２（ａ）のステップＳＴ７１いおいて検出した行のうち書状を縦置きした時の左半分の領域に行領域全部または行領域の一部がかかっている行がどれだけあるか調ベ、行総数のうちｎ％（例えばｎ＝７０）以上でなければ別の判定処理（ＳＴ７２）にうつる。
【００４０】
７０％以上であれば宛名が書状左半分に書状下から上方向に横置き横書きで書かれていると判断する（ＳＴ７３）。例えば図１２（ｂ）の書状が与えられて、書状左半分に全行数の７０％以上の行が書かれていた場合、図１２（ｃ）のように書状左半分に書状下から上方向に横置き横書きに書かれていると判断する。
【００４１】
ここで、郵便物画像から宛名記載領域を検出する処理の具体例について図１３を参照してさらに説明する。図１３（ａ）に示した書状画像から同図（ｂ）の行情報を検出する。次に、宛名の記載書式ごとに宛名行を検出するデフォルトの領域および宛名行方向を定義しておき、宛名行と方向が同じで行デフォルト領域に行領域がかかる行を選択して宛名行候補とする。例えば宛名が縦置き横書きで書かれていると仮定した時は図１３（ｃ）の斜線領域にかかっている横行を選択し、横置き横書きまたは縦置き縦書きで書かれていると仮定した時は図１３（ｄ）または（ｅ）の斜線領域にかかっている縦行を選択する。図１３（ａ）の書状の場合は、図１３（ｆ），（ｇ）に示したように、縦置き横書きと正方向の横置き横書きの宛名領域候補および宛名行候補が検出されるが、図１３（ｅ）に示したように斜線部が逆方向の右端に偏った場合には図１３（ｈ）において横置き横書きの宛名行候補は検出されない。
【００４２】
以上のように検知された各記載書式ごとに、選択された行の中から宛名行を見つける処理を行う。以下、郵便物画像から宛名行を検出し読みとる処理について説明する。図１４は郵便物画像から宛名の書きだしの行をまず検出し、そのあと宛名の続きの行を順次文字認識にかける処理の一例である。
【００４３】
図１４のステップＳＴ１８１において郵便物画像を入力し、この入力された郵便物画像からステップＳＴ１８２において行情報を検出し、ステップＳＴ１８３にて検出した各行の記載位置および行サイズの分布を調べ分析する。
【００４４】
分析の結果最も可能性の高い宛名の記載書式を判定（ＳＴ１８４）し、その宛名記載書式に対応する宛名行検出処理を行い１行または複数の宛名の書きだしすなわち筆頭行候補を選択する（ＳＴ１８５）。選択された宛名書きだし行候補は優先順位の高い順に文字検出および文字認識処理にかけられ、例えば町名の一部として読めるかどうか判断される（ＳＴ１８６）。
【００４５】
宛名書きだし行候補の中に町名として読める行が存在すればその行の郵便物画像上での位置の近くから続きの行を見つけ、宛名行として順次文字検出および文字認識処理にかけていく（ＳＴ１８７）。町名として読める宛名書きだし行候補がなかった場合は２番目に可能性の高い宛名記載書式を選択（ＳＴ１８８）し、その宛名記載書式に対応する宛名行検出処理を行い１行または複数の宛名の書きだし行候補を選択する（ＳＴ１８９）。以下、町名の一部として読める宛名書きだし行候補が見つかる（ＳＴ１９０）まで可能性の高い宛名記載書式を順次選択（ＳＴ１９１）し、その宛名記載書式に対応する宛名行検出処理を行って１行または複数の宛名の書きだし行候補を選択（ＳＴ１９２）し、選択された宛名書きだし行候補は優先順位の高い順にｎ番目まで文字検出および文字認識処理にかけて、町名として読めるかどうか判断する（ＳＴ１９３）処理を繰り返す。
【００４６】
第ｎ番目の宛名記載処理まで処理して宛名書きだし行が見つからなかった場合は処理を打ち切りリジェクトする。ここで可能性があまり低い場合はエラーとなることが多いので、ｎの値は例えば３などの固定値であってもよい。また、最初に選択した宛名記載書式によってｎの値を変えても良い。一例として、縦置き横書きと最初に判定した場合は最初の候補で宛名が読めることが多いのでｎ＝１とし、それ以外の場合はｎ＝４とする処理が考えられる。
【００４７】
次に郵便物画像に書かれた行の位置やサイズの分布を調べて宛名の記載書式を判定する際、記載書式を１つに絞りきれない場合の処理の一例を図１５に示す。ここではほとんどの処理が図１４の場合と同じなので対応する処理は同じ番号を付してある。図１５において、郵便物画像（１８１）から行情報を検出（ＳＴ１８２）し、検出した各行の記載位置および行サイズの分布を調べ分析（ＳＴ１８３）して可能性の高い宛名記載書式をいくつか選択する（ＳＴ１８４Ａ）。
【００４８】
可能性の高い宛名記載書式がｎ通りあった場合、まずｎ個の中で最も可能性の高い宛名記載書式を１つ選択（ＳＴ１８４Ｂ）し、その書式に対応する宛名行検出処理を行って宛名行候補を検出する（ＳＴ１８５）。検出した宛名行候補に順次文字検出処理および文字認識処理をほどこし、その行が宛名の一部として読めるか調ベる（ＳＴ１８６）。宛名として読めた場合はその行の続きの行を順次宛名読み取り処理にかけていく（ＳＴ１８７）。
【００４９】
読める行が見つからなかった場合は、第１の宛名記載書式に類似した宛名記載書式を優先的に選択し（ＳＴ１８８Ａ）、その宛名記載書式に対応する宛名行検出処理を行って宛名行候補を検出（ＳＴ１８９）し、検出した候補の中から宛名の一部として読める行を探し（ＳＴ１９０）、宛名行が見つからなければ別の宛名記載書式で同様の処理を繰り返す（ＳＴ１９０），（ＳＴ１９１），（ＳＴ１９２），（ＳＴ１９３）。ｎ番目の宛名記載書式でも宛名行が見つからなかった場合はリジェクトする。
【００５０】
次に郵便物画像に書かれた行の位置やサイズの分布を調べて宛名の記載書式を判定する際、記載書式を１つに絞りきれない場合の処理の別の例を図１６に示す。これは、たとえば図１６（ａ）および図１６（ｂ）に示すように、宛名が書状右半分に書かれている２つの書状において、行の書かれた位置およびサイズが非常に類似していて、宛名の書式が縦置き縦書きなのか横置き横書きなのかは文字認識処理を行うまで判断することが困難であるような場合である。このような場合、一方の宛名記載書式で書かれた書状が他方の宛名記載書式で書かれた書状よりも郵便局に多く届く時には、一番多く届く宛名記載書式に対応する宛名行検出処理を行い、見つからなかった場合に２番目に多く届く宛名記載書式に対応する宛名行検出処理処理を行うのが有効である。以下の説明は宛名が書状右半分に縦置き縦書き方向に書かれている場合の宛名行検出処理を先に行う場合である。
【００５１】
図１６（ｃ）の最初のステップＳＴ２０１において宛名が書状右半分に書かれていると判断された書状から、ＳＴ２０２において宛名行の探索対象とする行を選択する。次に（ａ）のように、宛名が書状右半分に縦置き縦書き方向に書かれている場合の宛名行検出処理（ＳＴ２０３）を行い、宛名探索対象となる行の中から宛名行候補を選択する。
【００５２】
宛名行候補を順次文字検出および文字認識処理にかけ、宛名の一部として読める行が存在するか調べる（ＳＴ２０４）。宛名行が見つかった場合は、その行の付近の行を順次宛名読みとり処理にかける（ＳＴ２０５）。宛名行が見つからなかった場合は、図１６（ｂ）に例示したように宛名が書状右半分に横置き縦書き正方向に書かれている場合の宛名行検出処理（ＳＴ２０６）を行い、宛名探索対象となる行の中から宛名行候補を選択する。宛名行候補を順次文字検出および文字認識処理にかけ、宛名の一部として読める行が存在するか調べる（ＳＴ２０７）。宛名行が見つかった場合は、その行の付近の行を順次宛名読みとり処理にかける（ＳＴ２０８）。
【００５３】
これでも宛名行が見つからなかった場合はその他の宛名記載書式を選択した場合の宛名行検出処理を行う（ＳＴ２０９）。
この例では宛名が書状右半分に書かれている書状の場合について述べたが、他の制約条件と組み合わぜて使用しても良い。例えば（ＳＴ２０１）の部分を「宛名が手書きで書状右半分に書かれていると判断された書状」としても良い。
【００５４】
次に、郵便物画像から宛名行を検出し読みとる処理のさらに別の例について説明する。図１７は郵便物画像からハイフン「−」を含む行を検出しその行の付近に書かれた行を宛名行候補とする処理の一例である。これは、たとえば図４（ａ）に示した郵便物画像の最上行の郵便番号記載枠列２１０の中間に含まれているハイフン「−」２１１に基づき宛名に含まれる行情報，および番地表示行２１２中のハイフン２１３を検出するものである。
【００５５】
図１７の最初のステップＳＴ２１１において図４（ａ）に示したような郵便物の画像が取り込まれ、その最上部に横方向の文字行２１０をステップＳＴ２１２により検出する。
【００５６】
次にステップＳＴ２１３において行数カウンタｉに０をセットし、ステップＳＴ２１４にてｉが検出した全行数よりも小さければ、すなわち１行以上の横行があれば、ステップＳＴ２１５において例えば行２１０中にハイフン「−」２１１が存在するか否かを調べる。このハイフン２１１の存在は、行２１０の２値化画像の射影情報を用いたり、行２１０内の黒画素外接矩形の形状を調べることによって判定する。行２１０中にハイフンが存在していなければステップＳＴ２１６にてｉの値を１つ増やしてＳＴ２１４の処理に戻る。
【００５７】
ハイフン２１１が見つかった場合はステップＳＴ２１７で行２１０のフラグをセットして（ＳＴ２１４）の処理に戻る。ｉの値が行数と等しくなった時点（この場合はｉ＝３）で処理を終了する。同様に３行目の行２１２にもハイフン２１３が検出される。全ての行を評価し終ったあと、ＳＴ２１８にて書状上でフラグがセットされた２行（２１０、２１２）で挟まれた１行（２１４）または複数行から構成される行セットを検出する。
【００５８】
ついで、行セット数カウン夕ｊに０をセット（ＳＴ２１９）し、ｊが検出した全行セット数よりも小さければ（ＳＴ２２０），フラグがセットされた２行（２１０，２１２）を郵便番号行および街区情報を含む行とし、２行に挟まれた行セットｊに属する行（２１４）を順次文字検出および文字認識処理にかけて（ＳＴ２２１）宛名として読めるか調べる（ＳＴ２２２）。なおフラグがセットされた２行のどちらが郵便番号行か判定出来た場合は行セットｊの中でその行に近い側の行から順に宛名読み取り処理にかける。２行のどちらが郵便番号行か判定出来なかった場合は、一方の行が郵便番号行であった場合の処理を両方の行について行う。行セットｊが宛名読み取り処理にかけた結果宛名として読めた場合は、読み取り結果を出力する。宛名として読めなかった場合はｊの値を１つ増やして（ＳＴ２２３）、（ＳＴ２２０）の処理に戻る。
ｊの値が全行セット数と等しくなって宛名が見つかっていない場合は別の宛名検出処理に移るか、リジェクト処理を行う。
【００５９】
【発明の効果】
以上詳述したようにこの発明によれば、宛名領域候補を迅速に検出でき、また各領域候補のごく一部分に対して文字認識を行なうことによって宛名領域か否かの確認が速やかにできるので、１領域あたりの宛名領域か否かの判定処理が高速に実行でき、したがって、郵便物画像から複数の宛名領域候補をとり、個々について順次宛名領域か否かの確認が可能となり、宛名読み取り性能を向上させることが可能となる。また、各宛名領域候補において、領域内の行に読みとり順序を設定しているため、宛名書きだし行として選択した行がそうでなかった場合も次の候補をすぐ選択できる。上記の効果により、宛名書きだし行以降の住所情報を読みとる際、認識すべき行を選択することが容易である。書状上の行のサイズ、分布、記載位置を評価して宛名の記載書式を推定するため、宛名行の検出が容易になる。更に宛名の記載書式ごとに宛名行を検索する領域を用意し、その領域から宛名行検出を行うため一書式あたりの宛名行検出処理時間が短い。複数の宛名記載書式を書状に適用するため、最初に推定した宛名記載書式が正しくなくても、２番目以降に適用した宛名記載書式に正解があれば宛名情報を読みとることが出来る。
【図面の簡単な説明】
【図１】この発明の一実施の形態に係る郵便物の宛名領域検出装置の回路構成を示すブロック図。
【図２】図１の一部の回路の内部を詳細に示すブロック図。
【図３】この発明の一実施の形態に係る郵便物の宛名領域検出の処理の流れを示すフローチャート。
【図４】種々の宛名記載書式の例を示す図。
【図５】宛名記載書式の判定処理の一例を示す図。
【図６】宛名記載書式の判定処理の他の例を示す図。
【図７】宛名記載書式の判定処理の他の例を示す図。
【図８】宛名記載書式の判定処理のさらに他の例を示す図。
【図９】宛名記載書式の判定処理のさらに他の例を示す図。
【図１０】宛名記載書式の判定処理のさらに他の例を示す図。
【図１１】宛名記載書式の判定処理のさらに他の例を示す図。
【図１２】宛名記載書式の判定処理のさらに他の例を示す図。
【図１３】宛名記載領域検出の種々の例を示す図。
【図１４】この発明の一実施の形態に係る郵便物の宛名行検出の処理の流れを示すフローチャート。
【図１５】この発明の他の実施の形態に係る郵便物の宛名行検出の処理の流れを示すフローチャート。
【図１６】この発明の更に他の実施の形態に係る郵便物の宛名行検出の処理の流れを示すフローチャート。
【図１７】この発明の更に他の実施の形態に係る郵便物の宛名行検出の処理の流れを示すフローチャート。
【符号の説明】
１…光学的文字読取り装置
２…光電変換回路
３…２値化処理部
４…黒画素連結領域抽出部
５…宛名領域検出部
５ａ…行候補検出部
５ｂ…宛名領域候補検出部
５ｃ…行、領域の評価部
５ｄ…宛名筆頭部行候補検出部
５Ｒ…基準宛名領域データベース
６…文字検出切り出し部
７…認識回路
８…文字辞書
９…知識処理回路
１０…知識辞書
１１…読取り結果処理回路
Ｍ…郵便物

Claims

郵便物表面より光電変換して画像信号を得る画像入力手段と、
この画像入力手段により得られた前記画像信号を格納する画像メモリと、
この画像メモリの前記画像信号を２値画像判定した黒画素連結領域とこの黒画素連結領域に外接する外接矩形情報を抽出する黒画素連結領域抽出部と、
この黒画素連結領域抽出部により抽出された前記外接矩形情報から行候補の矩形情報を抽出する行候補検出部と、
この行候補検出部により抽出された矩形情報から宛名領域候補を検出する宛名領域候補検出部と、
前記宛名領域候補に含まれる文字情報から宛名領域を確定する宛名領域確定手段と、
を具備することを特徴とする郵便物の宛名領域検出装置。
前記行候補検出部は、
郵便物表面の宛名領域に含まれる行画像の種々の特徴パターンを類型化して記憶する手段と、
前記検出された行画像の特徴と記憶された行画像の種々の特徴パターンとの類似度を検出する手段と、
この検出された類似度の高い順に宛名領域候補を決定する手段と、
を具備することを特徴とする請求項１に記載の郵便物の宛名領域検出装置。
前記宛名領域確定手段は、前記検出された複数文字を含む文字行を表す行画像の記載位置および郵便物の長辺または短辺に対する宛名文字の方向を検出する領域情報検出手段を含むことを特徴とする請求項１に記載の郵便物の宛名領域検出装置。
前記領域情報検出手段は、予め複数の郵便物について前記文字行の数、サイズ、分布状態、位置についての統計データを蓄積したデータベースと、前記検出された文字行の数、サイズ、分布状態、位置のうちの少なくとも一つを示すデータと前記データベースとの対応関係から宛名記載位置および宛名文字の方向について少なくとも２個の候補を出力する手段とを有することを特徴とする請求項３に記載の郵便物の宛名領域検出装置。
郵便物表面の２値画像情報を得る手段と、
この２値画像情報から郵便物中の文字行情報を検出する手段と、
郵便物表面画像中の文字行情報に応じて宛名記載位置および方向を検出する手段と、
前記郵便物表面画像から検出された行数があらかじめ用意したしきい値より少ない場合は宛名が手書きでなされていると判断する手段と、
この判断手段の結果により手書き宛名文字の認識処理を実行する手段と、
検出された宛名が縦置き郵便物の右側か左側に集中して記載されていることを検知する手段と、
縦置き郵便物の右側に集中して記載されている場合は宛名が縦書きであるものとして認識処理し、左側に行が集中している場合に横置き横書きとして認識処理する手段と、
を具備することを特徴とする郵便物の宛名領域検出装置。
前記検知手段は、検出された行のうち所定の割合の行が縦置き郵便物の右側か左側に集中して記載されていることを検知する手段を含むことを特徴とする請求項５による郵便物の宛名領域検出装置。
郵便物表面の２値画像情報を得る手段と、
この２値画像情報から郵便物中の文字行情報を検出する手段と、
郵便物表面画像中の文字行情報の分布状態に応じて宛名記載位置および方向を検出する手段と、
前記検出した各行についてハイフンが含まれているか調べる手段と、
この手段によりハイフンを含む行が２行ある場合に、それぞれを郵便番号行および街区行と判断する手段と、
前記ハイフンを含む２行にはさまれた１行または複数行を宛名行と判断する手段と、を具備することを特徴とする郵便物の宛名領域検出装置。