JP2006178802A - 帳票定義自動作成方法 - Google Patents

Abstract

【課題】罫線がない不定型帳票を含む任意の帳票に対して、人手の介入なく自動的に帳票定義を作成すること。
【解決手段】帳票定義作成方法であって、表記領域の重心位置、上下左右の端の位置、上下左右の空白の大きさ、上下左右・内部の記号の有無と種類、密度、線密度（縦・横・右左斜め各方向別、太さ別）など、罫線の有無に関わらず算出可能な表記領域属性をもとに表記領域を分類した結果である表記領域分類を算出する表記領域分類ステップを有する。
【選択図】図１

Description

本発明は帳票画像に対する画像処理技術に関し、特に、帳票のフォーマットを読み取り、フォーマットの構造を定義した情報である帳票定義を自動的に作成する画像処理方法に関する。

以下、帳票の項目が記載されている領域を表記領域と呼ぶ。具体的には、罫線がある表ではセルあるいはカラムと呼ばれる領域である。罫線がない表ではエレメントと呼ばれることもある。また、罫線がある帳票を定型帳票、罫線がないが特定の規則に従って表記内容が並んでいる帳票を不定型帳票と呼ぶ。

現在、銀行の振込み用紙やマークシート用紙など、文字認識技術が広く用いられている。紙面に記載された内容を文字認識技術によって電子化し、集計したりデータベース化するなどして電子的に活用する場合、帳票定義があって、記載の位置をもとに記載内容があらかじめわかれば、効率よく処理を行える。帳票定義の作成には大きな手間がかかるが、より多くの場面で帳票定義を活用可能にするために、少しづつ異なる複数の帳票定義も同一の帳票定義として扱え、帳票定義が変更された場合も帳票定義を作り直す手間をかけずに帳票定義を得ることができる方法の１つとして、帳票画像から自動的に帳票定義を作成する方法へのニーズが高まっている。

一般的な帳票定義作成方法は、コンピュータのディスプレイ上に帳票画像を表示し、マウスなどのポインティングデバイスを用いて画面上で表記領域の位置をユーザが指示してその表記領域の位置を指定し、さらに同様に手動で対話的に表記領域を分類する技術で、その代表例は 特開平１１−６６２３２「帳票定義方法」である（特許文献１）。

また、帳票定義の自動作成方法として、特開２００１−１２６０１０「帳票処理装置、帳票定義作成方法、領域抽出方法及び記憶媒体」がある（特許文献２）。特許文献２は、表記領域の切り出し結果を用いた簡便な計算を行うだけで、表記領域の分類に大きく寄与できることを見出してなされたもので、まず、罫線あるいはキーワード（“年”、“月”、“日”、“フリガナ”、“電話”など）をもとに表記領域を切り出し、次に、罫線をもとに表記領域を抽出した場合は、罫線の特徴、具体的には、罫線の種類（実線か点線か空白か）や罫線の太さ、点線の場合は点線間隔を用いて表記領域を分類し、キーワードをもとに表記領域を抽出した場合は、キーワードの種類によって表記領域を分類して帳票定義を作成する。上記方法は、罫線の種類が空白、すなわち罫線がない場合、表記領域の位置を指定する際に人手を要するという例外があるものの、基本的には自動的な帳票定義作成方法である。

特開平１１−６６２３２「帳票定義方法」

特開２００１−１２６０１０「帳票処理装置、帳票定義作成方法、領域抽出方法及び記憶媒体」

しかし、特許文献１ではユーザの操作が必要であるため作業量が多いという課題があった。また、特許文献２は基本的に自動的に帳票を作成できるが、罫線がない帳票に対しては自動作成を行えないという課題があった。
本発明は上記の事情を鑑みてなされたもので、罫線がない帳票を含む任意の帳票に対して、人手の介入なく自動的に帳票定義を作成できる帳票定義自動作成方法を提供することを目的とする。

表記領域分類ステップを有する帳票定義作成方法であって、前記表記領域分類ステップは、表記領域の重心位置、上下左右の端の位置、上下および左右方向の幅、上下左右にある空白の大きさ、上下左右・内部の記号の有無と種類、密度、線密度（縦・横・右左斜め各方向別、太さ別）、文字書式設定（半角・全角・倍角）など、罫線の有無に関わらず算出可能な表記領域属性をもとに表記領域を分類する。

本発明の方法によれば、罫線がない帳票を含む任意の帳票の文書画像を効率よく電子化できる。

以下、図面を参照して本発明の実施の形態について詳細に説明する。

図１、図２を用いて、本発明に係る帳票定義作成方法の処理の概要を説明する。なお、図１ａ）は図２の処理２１０を説明する図である。同様に、ｂ）は２２０を、ｃ）は２３０を、ｄ）は２４０を、ｅ）は２５０を説明する図である。

図２のうち、２１０は帳票画像を入力する帳票画像入力ステップ、２２０は帳票画像から表記領域を抽出して表記領域座標を算出する表記領域抽出ステップ、２３０は表記領域の特徴を表す量である表記領域属性を算出する表記領域属性算出ステップ、２４０は前記表記領域属性をもとに表記領域を分類して、分類結果である表記領域分類を出力する表記領域分類ステップ、２５０は前記表記領域分類を含む帳票定義を作成して出力する帳票定義出力ステップである。

各ステップの処理を図１を用いて説明する。なお図１ではレシートを罫線がない帳票の一例とし、レシートの画像を入力して、商品名欄と個数欄と価格欄にあたる３つの分類に表記領域を分類する。また、表記領域の位置は図１（ａ）に示したように帳票画像の左下端を原点として数値化し、横方向の位置をｘ座標、縦方向の位置をｙ座標と呼ぶとする。

前記帳票画像入力ステップがレシートの帳票画像（ａ）１１０を入力すると、前記表記領域抽出ステップが表記領域（ｂ）１２１〜１２８を切り出す。次に、前記表記領域属性算出ステップ２３０が表記領域ごとに表記領域属性、本例では表記領域の左上の座標（ｃ）１３１１〜１３１８と右下の座標（ｃ）１３２１〜１３２８を算出する。次に、表記領域属性を用いた既定の分類方法に従って前記表記領域分類ステップが表記領域を分類する。本例では、前記表記領域の左上位置のｘ座標の度数分布表（ｄ−２）と、前記表記領域の右下位置のｘ座標の度数分布表（ｄ−３）とを作成して、既定の閾値を３として、既定の閾値以上度数がある座標（ｄ−２）ｘ１と（ｄ−３）ｘ２を検出し、それぞれ、前記表記領域の左上位置のｘ座標がｘ１である前記表記領域１２１、１２３、１２７、および、前記表記領域の右下位置のｘ座標がｘ２である前記表記領域ｘ２が同じ前記表記領域１２２、１２４、１２６、１２８が位置を揃えてあると判断し、分類（ｄ−１）１４１、１４２、１４３を得る。１４１が商品名欄、１４２が個数欄、１４３が価格欄にあたる。最後に、前記帳票定義出力ステップが、前記領域分類１４１、１４２、１４３をもとに帳票定義（ｅ）１５１を作成し、出力する。なお、帳票定義１５１の作成においては、表記領域１２１〜１２８にＮｏ．１〜Ｎｏ．８の通し番号を付けて管理しているとした。また分類は、分類に属する表記領域のｘ座標の重心の位置の順にＣｌｍ１〜Ｃｌｍ３と呼ぶとした。

なお、帳票は一般的に行列状の表であり、帳票定義を作成するには行方向の分類と列方向の分類が必要であるが、上記の説明では、あらかじめ行抽出処理が行われており、帳票画像１１０が横書きで、表記領域１２１と１２２、１２３と１２４、１２５と１２６、１２７と１２８がそれぞれ１〜４行目（分類Ｒｏｗ１〜Ｒｏｗ４。後述の図で使用。）に属することが既知であると仮定して説明した。前記仮定が成り立たない場合は、表記領域分類ステップによる分類を、ｘ方向のみでなく、ｘ、ｙの２方向に対して行い、行を抽出すればよい。

図１、図２に示すように、本発明に係る帳票定義作成方法によれば、表記領域の左右両端の座標など、罫線の有無に関係のない表記領域の属性を用いて表記領域を分類するため、罫線がない帳票を含む任意の帳票に対して、人手の介入なく自動的に帳票定義を作成できる。

図３に、前記表記領域抽出ステップが出力する表記領域座標の一例を示す。表記領域座標は、例えば表記領域が矩形であるとして、図３に示すように、矩形の左上位置の座標と右下位置の座標でよい。また、表記領域座標は、例えば表記領域が台形状だとして、台形の４隅の座標でもよい。また、表記領域座標は、例えば表記領域が曲線の境界線を持つとして、境界線の座標でもよい。

図４に、前記表記領域属性算出ステップが出力する表記領域属性の一例を示す。表記領域属性は、前記表記領域の重心位置、前記表記領域の上下左右の端の位置、前記表記領域の上下および左右方向の幅、前記表記領域の上下左右にある空白の大きさ、前記表記領域の上下左右および内部の記号の有無、記号の種類のうち１つ以上でもよい。これらの表記領域属性は、罫線の無い帳票を作成する際、表記領域を揃えるために用いられる量であるため、これらの表記領域属性を用いれば、罫線の無い帳票の表記領域を分類できる。

また、前記表記領域属性は前記表記領域の上下左右および内部の記号の有無と種類でもよい。記号は、例えば”￥”、”×”、”，”、”（”、”｛”、”＊”、”■”などの形状記号、あるいは”年”、”月”、”日”、”時”、 ”個”、”箱”、”０”〜”９”、”Ａ”〜”Ｚ”、”cm”、”ml”、”cap”などの既定の文字でよい。

例えば金額を意味する記号である”￥”を用いれば、記号が含まれる（あるいは記号の上、下、左、右）表記領域がそれ以外の表記領域と異なる分類に属すことと、分類の意味が金額であることがわかり、表記領域に数字が書かれていると予想できる。同様に”×”を用いれば、記号の前の表記領域内と後ろの表記領域がそれぞれそれ以外の表記領域と異なる分類に属すことと、記号の前の表記領域内に何かの単位量にあたる数字が書かれていることと、記号の後ろの表記領域内に数量にあたる数字が書かれていることがわかる。一般的に、表記領域の位置は同じでも記載内容が異なることがあり、記号の種類や有無は記載内容を強く既定することから、表記領域の重心や隣接した空白に加えてこれらの表記領域属性を用いれば、詳細な分類ができる。また、“￥”や“×”の例では数字が書かれていると予想したように、表記領域の字種が予測できるため、文字認識の精度を向上させることもできる。

なお、前記表記領域属性として記号の有無を用いる場合は、前記表記領域抽出ステップの後に、表記領域ごとに表記領域内部の一部あるいは全部に対して文字認識処理を行って記号の有無を判定する。
また、前記表記領域属性は前記表記領域内の有色の画素の密度（以後、画素密度と呼ぶ）、前記表記領域内の線密度（縦・横・右左斜め各方向別、太さ別）、前記表記領域に記載された文字の書式設定（半角・全角・倍角）のうち１つ以上でもよい。一般的に表記領域内の内容が平仮名や片仮名の場合より漢字の場合の方が有色の画素の密度が高く、片仮名の場合より平仮名の場合の方が、斜め方向の線密度が高いため、これらの表記領域属性を用いれば、表記領域内の内容の字種（ひらがな、かたかな、アルファベット、数字）がどれであるかを予想でき、分類の精度を向上させることができる。

例えば、表記領域を重心位置によって分類した結果、分類１、分類２の２分類が得られ、分類１に属す表記領域の画素密度の平均が１０で、分類２に属す表記領域の画素密度の平均が３であったとする。さらに、分類１に属する表記領域の１つだけ画素密度が３であったとする。その場合、その表記領域の分類結果を分類１ではなく”分類できず”とすれば、確かに分類１に属する表記領域のみが分類１に残るため、分類の精度を向上させることができる。また、例えば、表記領域を重心位置によって分類した結果、分類１、分類２の２分類が得られ、分類１に属す表記領域が１個を除いて全て漢字だと、分類２に属す表記領域の画素密度の平均が３であったとする。さらに、分類１に属する表記領域の１つだけ画素密度が３であったとする。その場合、その表記領域の分類結果を分類１ではなく”分類できず”とすれば、確かに分類１に属する表記領域のみが分類１に残るため、分類の精度を向上させることができる。

図５に、前記表記領域分類ステップが出力する帳票定義の例を示す。１５１は表記領域を管理する通し番号、１５２は行抽出処理によって抽出した行毎に同じ番号をつけた行分類、１５３は前記表記領域分類ステップによる分類結果である領域分類、１５４は前記行分類と前記領域分類をあわせて行列状の表現形式で帳票の構造を表した帳票構造情報である。本発明の前記帳票定義は。前記領域分類を含むことを特徴とするが、その表現方法は、図５に示すように、前記帳票定義の表現方法は行列状の表現形式でもよい。あるいは、樹形図状の表現形式でもよい。あるいは、カテゴリ毎に任意の個数の要素をカンマ区切りで列記する表現形式でも、画像上のレイアウト自体を表す表記領域座標でもよい。

図６、図７を用いて、帳票定義を作成した後、作成した帳票定義に従って、帳票ソフトあるいは表示装置に帳票の記載内容を表示するしくみを備えた本発明の帳票定義自動作成方法の例を説明する。

図６は本例での処理の概要を示すフローチャートである。
２１０から２５０は図２で前述したステップで、２１０は帳票画像を入力する帳票画像入力ステップ、２２０は帳票画像に記載された表記領域の位置である表記領域座標を抽出する表記領域抽出ステップ、２３０は表記領域の特徴である表記領域属性を算出する表記領域属性算出ステップ、２４０は前記表記領域属性をもとに表記領域を分類した結果である表記領域分類を算出する表記領域分類ステップ、２５０は前記表記領域分類を含む帳票定義を作成して出力する帳票定義出力ステップである。６１０から６３０が、本例で加えた、図２にないステップで、６１０は、例えば前記帳票画像入力ステップが出力した帳票画像と前記表記領域抽出ステップが出力した表記領域座標を入力して、表記領域ごとにその記載内容を文字認識して出力する文字認識ステップ、６２０は、前記帳票定義出力ステップが出力した帳票定義に従って、各表記領域を前記文字認識ステップが出力した文字認識結果である電子的な帳票を帳票ソフトあるいは表示装置に表示する表示ステップ、６３０は、表示ステップ６２０が表示した電子的な帳票を用いて、合計金額の計算が間違いないか確認するための再計算や購入商品の追加・修正などの電子処理を行う電子処理ステップである。

図７は、前記表示ステップが表示する、帳票ソフトあるいは表示装置における表示の一例である。本例は図１、図２と同じ帳票画像の処理結果である。
図６、図７に示すように、本発明に係る帳票定義作成方法によれば、帳票画像から電子的な帳票を自動的に作成できるので、電子的な処理を容易に行えるようになる。

図８から図１２を用いて、本発明に係る帳票定義作成方法をレセプト画像に適用して、レセプト画像の摘要欄の電子的な帳票を自動的に作成する例を説明する。
図８にレセプト画像の例を示す。レセプトとは、医療機関が保険組合あるいは政府管掌保険に医療費を請求するための請求書で、請求先である保険組合あるいは政府管掌保険を特定する保険者番号など８１０と、請求元である医療機関と医療行為を受けた被保険者（患者）を特定する氏名などの情報８２０と、診断名など８３０と、診断の元に行った診療行為と請求額の要約８４０と、診療行為と請求額の詳細８４０が図８に示すように書かれており、特に８４０で示す部分を摘要欄と呼ぶ。

レセプトの摘要欄には、図９に示すように、例えば“ケフラールカプセル２５０ｍｇ” とういう薬、これは“３カプセル”を１単位にして処方される、単価が２３（×１０円）の薬であるが、“ケフラールカプセル２５０ｍｇ”を２単位処方した、というように、診療行為名（例えばケフラールカプセル２５０ｍｇ）、正規化単位（例えば３カプセル）、単価（例えば２３）、数量（例えば２）という４カラムを1まとまりとした情報が、１まとまり１行として、複数行に罫線なく記載されている。なお、記載内容は基本的に１まとまり４カラムであるが、バリエーションが多く、正規化単位がなく３カラムだったり、１つの診療行為名に複数の単価と数量が対応したり、複数の診療行為名に１つの単価と数量が対応したりする。また、診療行為名と正規化単位の間が空白であったり、カンマであったり、記載形式が医療機関によって異なる。

本発明に係る帳票定義作成方法では、前記帳票画像入力ステップが図９に示した適用欄の画像を入力すると、前記表記領域抽出ステップが図１０に示した表記領域を切り出し、前記表記領域属性算出ステップが、記号“×”の有無、左右の表記領域の数、表記領域の幅、隣接する表記領域の分類を用いた分類規則に従って、前記表記領域を“診療行為名”、“正規化単位”、“単価”、“数量”に分類する。ここで、分類規則はユーザがあらかじめ設定したものとし、記号“×”を左右の端に含む表記領域は“×”を除いた内容を記載内容とし、左右の端以外に含む表記領域は“×”より前を“単価”、“×”より後ろを“数量”に分割するものとする。その結果、表示ステップが帳票ソフトあるいは表示装置に表示する電子的な帳票の一例を図１１に示した。

図８から図１１に示したように、本発明の帳票定義作成方法における表記領域属性を用いれば、ユーザが簡単な分類規則を設定するだけで、記載内容や記載形式厳密でない帳票からも自動的に電子的な帳票を作成でき、合計金額の計算が間違いないか確認するための再計算や修正に活用できる。

図８から図１１ではレセプト画像図８のうち適用欄８４０を入力画像として説明したが、本発明の帳票定義作成方法を用いれば、レセプト画像図８から適用欄８４０を抽出することができる。すなわち、１つの帳票の中に複数の形式の表が記載されている場合、あるいは、帳票の一部のみが表形式で記載されている場合、表記領域属性を用いて表記領域の配置の均質さを評価することで、表形式で記載されている部分を抽出することができる。

図１２、１３を用いて、上記の処理のうち最も簡単な例を説明する。図１２はレシートの帳票画像である。画像内には、商店のマークや住所、広告文、レシートの管理番号と、表形式の情報、入金・出金が記載されている。
前記表記領域抽出ステップが図１３（ａ）に示す表記領域を抽出する。次に、前記表記領域属性算出ステップが表記領域属性を算出する。ここで、前記表記領域分類ステップにおいて、規則１：「表記領域間の空白の幅が大きい部分１３１１をブロックの区切りとみなす」と、規則２：「空白の幅が等間隔で複数続く部分１３１２部分を表形式で記載されている部分とみなす」をユーザが設定しているとする。すると、規則１により、表記領域はブロック１３２１、１３２２、１３２３、１３２４に分割され、規則２により、ブロック１３２３が表形式で記載されていると判断でき、表形式の部分１３２３を抽出することができる。

また、レセプト画像図８においても、罫線抽出を行い、罫線内を１ブロックとして、各ブロック内の表記領域の配置の均質性を、本発明の帳票定義作成方法における表記領域属性を用いて評価し、均質性の高いブロックを表形式の部分だと判定する規則をユーザが設定すれば、適用欄８４０を抽出できる。

図１３、１４に示すように、本発明の帳票定義作成方法における表記領域属性を用いれば、ユーザが簡単な分類規則を設定するだけで、１つの帳票の中に複数の形式の表が記載されている場合、あるいは、帳票の一部のみが表形式で記載されている場合に、一定の形式、たとえば表形式で記載されている部分を抽出することができる。

本発明の帳票定義作成方法は、フォーマットの異なるレセプトを集めて処理する機関の業務システムにおいて特に有用である。例えば、形式の異なるレシートを電子的に一括処理する場合、および、複数の医療機関からのレセプトを処理する場合に有効である。また、本発明の帳票定義作成方法は、帳票のフォーマットが変更された場合、帳票が変更前のフォーマットであるか後のフォーマットであるかに関わらず処理を行えるため、処理システムを更新せずに帳票の変更を行える。
その他、本発明の帳票定義作成方法は、銀行の振込み用紙や名刺を電子的に処理する場合にも有用である。

本発明に係る帳票定義作成方法の処理の概要を例示する図。 本発明に係る帳票定義作成方法の処理の概要を示すフローチャート。 本発明に係る表記領域抽出ステップが出力する表記領域座標の一例を示す図。 本発明に係る表記領域属性算出ステップが出力する表記領域属性の一例を示す図。 本発明に係る表記領域分類ステップが出力する帳票定義の例を示す図。 帳票定義を作成後、表示装置に帳票の内容を表示するしくみを備えた本発明の帳票定義自動作成方法の処理の概要を示すフローチャート。 本発明の実施例に係る表示ステップが表示する電子的な帳票の一例を示す図。 本発明の帳票定義作成方法によって処理するレセプト画像の例。 本発明の帳票定義作成方法によって処理するレセプトの摘要欄の画像の例。 本発明の実施例に係る表記領域抽出ステップで切り出された表記領域を示す図。 本発明の実施例に係る表示ステップが表示する電子的な帳票の例を示す図。 本発明の実施例に係る処理対象とするレシートの帳票画像の例を示す図。 本発明の実施例に係る帳票の一部に記載された表形式の部分を抽出する処理を説明する図。

符号の説明

１１０...帳票画像、１２１〜１２８...表記領域、１３１〜１３７...表記領域属性、１４１...分類（商品名欄）、１４２...分類（個数欄）、１４３...分類（価格欄）、１５１...帳票定義、２１０...帳票画像入力ステップ、２２０...表記領域抽出ステップ、２３０...表記領域属性算出ステップ、２４０...表記領域分類ステップ、２５０...帳票定義出力ステップ、６１０...文字認識ステップ、６２０...表示ステップ、６３０...電子処理ステップ。

Claims (6)

1. 帳票画像を入力して帳票のフォーマットを読み取り、フォーマットの構造を定義した情報である帳票定義を自動的に作成する帳票定義自動作成方法であって、帳票画像を入力する帳票画像入力ステップと、帳票画像のうち、帳票の項目が記載されている領域である表記領域を抽出し、前記表記領域の位置を表す表記領域座標を算出する表記領域抽出ステップと、表記領域を特徴づける量、具体的には前記表記領域の重心位置、上下左右の端の位置、上下および左右方向の幅、上下左右にある空白の大きさ、前記表記領域の上下左右および内部の記号の有無、記号の種類のうち１つ以上である表記領域属性を算出する表記領域属性算出ステップと、前記表記領域属性を用いたクラスタリングあるいはユーザが設定した規則によって前記表記領域を分類する表記領域分類ステップと、前記表記領域座標と前記表記領域分類とを含む帳票定義を作成して出力する帳票定義出力ステップとを有することを特徴とする帳票定義自動作成方法。
2. 請求項１に記載の帳票定義自動作成方法において、前記表記領域属性算出ステップが、表記領域の右端のｘ座標、左端のｘ座標、上端のｙ座標、下端のｙ座標、重心のｘ座標、重心のｙ座標のうち１つ以上を算出し、前記表記領域属性がｘ座標の場合はｘ座標の度数分布表を、前記表記領域属性がｙ座標の場合はｙ座標の度数分布表を作成し、Ｔｈｒを既定の閾値として、Ｔｈｒ以上度数がある座標ｘ１あるいはｙ１を検出し、Δを微小量として、前記表記領域属性がｘ座標である場合はｘ座標がｘ１-Δ以上ｘ１＋Δ未満である全ての前記表記領域を位置を揃えてあると判断して１分類とし、前記表記領域属性がｙ座標である場合はｙ座標がｙ１-Δ以上ｙ１＋Δ未満である全ての前記表記領域を位置を揃えてあると判断して１分類とすることを特徴とする帳票定義自動作成方法。
3. 請求項１または請求項２に記載の帳票定義自動作成方法において、前記表記領域属性が、前記表記領域内部の記号の有無と種類、有色の画素の密度、線密度（縦線・横線・右斜め線、左斜め線。ただし、それぞれ前記４方向と複数の太さについて）、文字書式設定（半角・全角・倍角）のうち１つ以上を含むことを特徴とする帳票定義自動作成方法。
4. 請求項１乃至請求項３のいずれかに記載の帳票定義自動作成方法において、表記領域を文字認識し、帳票ソフトあるいは表示装置上に、前記帳票定義に従って表示することを特徴とする帳票定義自動作成方法。
5. 請求項１乃至請求項３のいずれかに記載の帳票定義自動作成方法を実装した帳票定義自動作成装置。
6. 請求項１乃至請求項３のいずれかに記載の帳票定義自動作成方法において、前記帳票画像がレセプトあるいはレシートの画像であることを特徴とする帳票定義自動作成方法。

Images