JPH083828B2 - 文書画像理解装置 - Google Patents
文書画像理解装置Info
- Publication number
- JPH083828B2 JPH083828B2 JP60122425A JP12242585A JPH083828B2 JP H083828 B2 JPH083828 B2 JP H083828B2 JP 60122425 A JP60122425 A JP 60122425A JP 12242585 A JP12242585 A JP 12242585A JP H083828 B2 JPH083828 B2 JP H083828B2
- Authority
- JP
- Japan
- Prior art keywords
- document image
- rectangular area
- understanding
- document
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Character Input (AREA)
- Processing Or Creating Images (AREA)
- Character Discrimination (AREA)
Description
【発明の詳細な説明】 〔発明の利用分野〕 本発明は文書画像処理方式に係り、特に電子的文書フ
アイル装置の入力部として好適な文書理解方式に関す
る。
アイル装置の入力部として好適な文書理解方式に関す
る。
従来の電子的文書フアイル装置は単に文書の各ページ
を画像として格納するのみであり、検索のための二次情
報は別にキーボードなどの符号入力手段から外部から与
えてやる必要があつた。しかし、フアイル入力作業の省
力化のためには文書中に記載されている表題や著者など
を自動的に読み取つて二次情報を生成することが望まし
い。さらに検索を高度化するためには図表のキヤプシヨ
ンや章・節表題の自動入力あるいは本文自体の認識によ
る自動キーワード抽出などが必要となる。また対象文書
の画像を表題・著者・要約・本文・図・写真などの部分
に分割すること、さらに文字の部分は認識して符号化す
ることは、記憶スペースの削減や検索単位の多様化のた
めにも要請されていた。
を画像として格納するのみであり、検索のための二次情
報は別にキーボードなどの符号入力手段から外部から与
えてやる必要があつた。しかし、フアイル入力作業の省
力化のためには文書中に記載されている表題や著者など
を自動的に読み取つて二次情報を生成することが望まし
い。さらに検索を高度化するためには図表のキヤプシヨ
ンや章・節表題の自動入力あるいは本文自体の認識によ
る自動キーワード抽出などが必要となる。また対象文書
の画像を表題・著者・要約・本文・図・写真などの部分
に分割すること、さらに文字の部分は認識して符号化す
ることは、記憶スペースの削減や検索単位の多様化のた
めにも要請されていた。
従来技術ではこのような問題点に対処するため、文書
の中の検索対象領域を外部から指定し、文字認識装置に
よつて検索用文字データに自動的に変換する方法が提案
されており、たとえば特許公開公報昭60-17565号「画像
記憶検索装置」（昭和60年１月29日公開）にこのような
方法の一例が開示されている。しかし、この方法は検索
対象領域の指定に人手がかかるという問題点がある。
の中の検索対象領域を外部から指定し、文字認識装置に
よつて検索用文字データに自動的に変換する方法が提案
されており、たとえば特許公開公報昭60-17565号「画像
記憶検索装置」（昭和60年１月29日公開）にこのような
方法の一例が開示されている。しかし、この方法は検索
対象領域の指定に人手がかかるという問題点がある。
人手指定方式の問題点に対処するため、文書の内容を
理解しその理解結果に基づいて文書の処理を行う方式が
研究されており、たとえば情報処理学会第23回全国大会
講演論文「新聞記事の切り抜きを行うシステムに関する
基礎的研究」（論文集6C−１、昭和56年）に記載してあ
る。しかし、この文書理解技術は新聞を対象としたもの
であるため、論文誌や特許公報のようにある程度定型化
された文書に対して、検索のため必要な表題や著者など
の二次情報を効率的に抽出する目的には必ずしも適しな
い。また、二次情報抽出を失敗したとき抽出方法を改良
して行く手段は適当なものがない。
理解しその理解結果に基づいて文書の処理を行う方式が
研究されており、たとえば情報処理学会第23回全国大会
講演論文「新聞記事の切り抜きを行うシステムに関する
基礎的研究」（論文集6C−１、昭和56年）に記載してあ
る。しかし、この文書理解技術は新聞を対象としたもの
であるため、論文誌や特許公報のようにある程度定型化
された文書に対して、検索のため必要な表題や著者など
の二次情報を効率的に抽出する目的には必ずしも適しな
い。また、二次情報抽出を失敗したとき抽出方法を改良
して行く手段は適当なものがない。
本発明の目的は、定型化された一般の文書を対象と
し、その構造に従つて分割を行うとともに、必要な場合
には文字部の認識を行うことを可能とする文書理解方式
を提供することにある。
し、その構造に従つて分割を行うとともに、必要な場合
には文字部の認識を行うことを可能とする文書理解方式
を提供することにある。
かかる目的を達成するために、本発明においては画像
の構造を表現する文法を用い、この文法によつて表現さ
れた記述を構文解析することにより、未知入力画像の構
造を把握するものである。上記の文法では、画像を矩形
領域の集合として表現し、上記矩形領域の絶対的あるい
は相対的な大きさ及び矩形領域間の絶対的あるいは相対
的な関係を表す数量を変数として含んでいる。また、矩
形領域の探索方法を指定することができる。さらに、矩
形領域をまた矩形領域の集合として表現し、このような
階層的な表現によつて、画像の構文を細部に至るまで表
現できる。
の構造を表現する文法を用い、この文法によつて表現さ
れた記述を構文解析することにより、未知入力画像の構
造を把握するものである。上記の文法では、画像を矩形
領域の集合として表現し、上記矩形領域の絶対的あるい
は相対的な大きさ及び矩形領域間の絶対的あるいは相対
的な関係を表す数量を変数として含んでいる。また、矩
形領域の探索方法を指定することができる。さらに、矩
形領域をまた矩形領域の集合として表現し、このような
階層的な表現によつて、画像の構文を細部に至るまで表
現できる。
各種文書に対し、上記の文法に従つて表現された文書
の書式があらかじめメモリ内に格納されている。構文解
析部では未知画像が入力されると、画像書式で指定され
た探索方法に従つて矩形領域を探索し、探索が成功した
か否かの情報と探索時に定まるパラメータ（矩形領域の
絶対的あるいは相対的な大きさ及び矩形領域間の絶対的
あるいは相対的な関係）を表す数値を抽出する。構文理
解部は、上記のパラメータの数値を画像書式の中の変数
に代入し、次の解析を行うことにより、順次画像の構文
解析を進める。
の書式があらかじめメモリ内に格納されている。構文解
析部では未知画像が入力されると、画像書式で指定され
た探索方法に従つて矩形領域を探索し、探索が成功した
か否かの情報と探索時に定まるパラメータ（矩形領域の
絶対的あるいは相対的な大きさ及び矩形領域間の絶対的
あるいは相対的な関係）を表す数値を抽出する。構文理
解部は、上記のパラメータの数値を画像書式の中の変数
に代入し、次の解析を行うことにより、順次画像の構文
解析を進める。
本発明の実施例を説明する前に本発明の原理を説明す
る。第１図に入力画像として一定の書式を有する技術論
文の一頁の例を示す。以下の説明では対象として技術論
文を例にとるが、他の文書であつても文法の形式が若干
異なるのみであり文法の一部を変更すれば本発明が適用
でき、本発明は上記技術論文の一例に限定されるもので
はない。
る。第１図に入力画像として一定の書式を有する技術論
文の一頁の例を示す。以下の説明では対象として技術論
文を例にとるが、他の文書であつても文法の形式が若干
異なるのみであり文法の一部を変更すれば本発明が適用
でき、本発明は上記技術論文の一例に限定されるもので
はない。
次に、文書の構造を表現する文法（以下文書文法と略
する）の一例を示す。
する）の一例を示す。
（defform Ｆ （form F1（10 90 10 40）） （form F2 …… ） （form F3 …… ）） （defform F1 （form F11（10 90 10 50）） （form F12（10 90 60 90））） （defmac LINE−１（％１） （point?Y1（mode IN Ｙ LESS） （point?Y2（mode OUT Ｙ LESS） （form ％１（０ ?W ?Y1 ?Y2））） 上記の文法を第１図の例を参照して説明する。
最初のdefform Ｆ……は、書式Ｆが第２図のよう
に、書式F1の下部に書式F2及びF3が横に並んだものが付
随して構成されることを示す。第１図では第２図に対応
したF,F1,F2,F3の部分は破線で囲んで示してある。書式
各F1の次の（ ）で挟まれた４個の数値 10 90 10 40 は書式Ｆに対応する全領域を100×100としたときの書式
F1の領域の位置を示す。ここで、座標系は左上を原点と
している。領域を示す数値は、Ｘ座標の最小値、Ｘ座標
の最大値、Ｙ座標の最小値、Ｙ座標の最大値である。こ
の例のようにパラメータの値が既知のときは、その値を
直接記述すればよい。同様に、書式F2、書式F3も矩形領
域で記述する。
に、書式F1の下部に書式F2及びF3が横に並んだものが付
随して構成されることを示す。第１図では第２図に対応
したF,F1,F2,F3の部分は破線で囲んで示してある。書式
各F1の次の（ ）で挟まれた４個の数値 10 90 10 40 は書式Ｆに対応する全領域を100×100としたときの書式
F1の領域の位置を示す。ここで、座標系は左上を原点と
している。領域を示す数値は、Ｘ座標の最小値、Ｘ座標
の最大値、Ｙ座標の最小値、Ｙ座標の最大値である。こ
の例のようにパラメータの値が既知のときは、その値を
直接記述すればよい。同様に、書式F2、書式F3も矩形領
域で記述する。
次のdefform F1……は、書式F1が、さらに書式F11と
F12が縦に並んで構成されることを示す。すなわち、書
式F11のＹ方向の領域は10から50であり、書式F12のＹ方
向の領域は60から90である。書式F11と、書式F12の領域
の位置は、書式F1の左上を原点とした座標系で記述して
いる。従つて、書式Ｆからみれば相対座標系になつてい
る。
F12が縦に並んで構成されることを示す。すなわち、書
式F11のＹ方向の領域は10から50であり、書式F12のＹ方
向の領域は60から90である。書式F11と、書式F12の領域
の位置は、書式F1の左上を原点とした座標系で記述して
いる。従つて、書式Ｆからみれば相対座標系になつてい
る。
このように、書式を矩形領域で表現し、この領域の集
合として階層的に次々と表現する事によつて画像を一般
化して表現することができる。もちろん階層的ではな
く、第３図に示すように書式Ｆを基準として絶対座標系
で記述してもよい。この場合、第２図と同様の矩形領域
を指定するためには下記のようにすればよい。
合として階層的に次々と表現する事によつて画像を一般
化して表現することができる。もちろん階層的ではな
く、第３図に示すように書式Ｆを基準として絶対座標系
で記述してもよい。この場合、第２図と同様の矩形領域
を指定するためには下記のようにすればよい。
（defform Ｆ （form F11（18 82 13 25）） （form F12（18 82 28 38）） （form F2 …… ） （form F3 …… ）） 次のdefmac LINE−１（％１）以降は、マクロ定義で
ある。本マクロ定義の本体である、以下の３行の記述
は、矩形領域の上から１行目めが書式％１であることを
表現したものである。
ある。本マクロ定義の本体である、以下の３行の記述
は、矩形領域の上から１行目めが書式％１であることを
表現したものである。
（point?Y1（mode IN Ｙ LESS）） （point?Y2（mode OUT Ｙ LESS）） （form ％１（０ ?W ?Y1 ?Y2））） ここで、?Wは書式の横方向の大きさ、?Hは書式の縦方
向の大きさを表す。?Y1,?Y2は以下に述べるように探索
により特定される変数である。
向の大きさを表す。?Y1,?Y2は以下に述べるように探索
により特定される変数である。
pointはある条件を満足する点を探索し、変数に代入
することを示す。探索条件はmodeによつて指定する。IN
・OUTは探索点が白から黒への変化点か黒から白への変
化点かを示し、Ｙは探索軸（ＸまたはＹ）を示し、LESS
は探索方向を表す。areaは探索範囲の領域を示す。
することを示す。探索条件はmodeによつて指定する。IN
・OUTは探索点が白から黒への変化点か黒から白への変
化点かを示し、Ｙは探索軸（ＸまたはＹ）を示し、LESS
は探索方向を表す。areaは探索範囲の領域を示す。
探索方法をマクロ定義の記述を例に第４図を用いて説
明する。（Ａ）は書式中にTitle…、Author…なる行が
存在することを示す。これらの行のＹ方向の座標値、す
なわち１行目及び２行目を記述したのが（Ｂ）と（Ｃ）
であり１行目は?Y1から?Y2までに存在し、２行目が?Y3
から?Y4までに存在していることを示す。前述したよう
に（Ｂ）は１行目の書式が％１であることを定義したマ
クロ、同様に、（Ｃ）は２行目の書式が％１であること
を定義したマクロである。これらマクロの呼び出しかた
は以下のようにすればよい。
明する。（Ａ）は書式中にTitle…、Author…なる行が
存在することを示す。これらの行のＹ方向の座標値、す
なわち１行目及び２行目を記述したのが（Ｂ）と（Ｃ）
であり１行目は?Y1から?Y2までに存在し、２行目が?Y3
から?Y4までに存在していることを示す。前述したよう
に（Ｂ）は１行目の書式が％１であることを定義したマ
クロ、同様に、（Ｃ）は２行目の書式が％１であること
を定義したマクロである。これらマクロの呼び出しかた
は以下のようにすればよい。
（LINE−１ F1） （LINE−２ F2） すなわち、１行目の書式がF1,2行目の書式がF2とな
る。（Ｂ）の２行目のpointで指定される座標値?Y1の探
索条件は、IN Ｙ LESSである。従つて、白から黒への
変化点、探索軸はＹ、その方向はLESSすなわちＹ座標値
の小さいものから探索するという条件になつている。ま
たＹ座標値の大きいものから探索する場合はGREATERと
すればよい。これらの条件を満足するものが１行目の上
限の座標値?Y1である。（Ｂ）の３行目のpointで指定さ
れる１行目の下限の座標値?Y2は上記の探索条件におい
て、黒から白への変化点であると記述すればよい。すな
わち?Y2の探索条件は、OUT Ｙ LESSである。
る。（Ｂ）の２行目のpointで指定される座標値?Y1の探
索条件は、IN Ｙ LESSである。従つて、白から黒への
変化点、探索軸はＹ、その方向はLESSすなわちＹ座標値
の小さいものから探索するという条件になつている。ま
たＹ座標値の大きいものから探索する場合はGREATERと
すればよい。これらの条件を満足するものが１行目の上
限の座標値?Y1である。（Ｂ）の３行目のpointで指定さ
れる１行目の下限の座標値?Y2は上記の探索条件におい
て、黒から白への変化点であると記述すればよい。すな
わち?Y2の探索条件は、OUT Ｙ LESSである。
次に、書式中の２行目を定義した（Ｃ）について説明
する。２行目は１行目の次の行であるから、１行目の下
限?Y2を探索し、?Y3は探索範囲の領域をareaで示す。す
なわち、探索対象とする矩形領域を、 ０ ?W ?Y2 ?H とすることによつて、１行目の下限から（Ｂ）と同様の
探索をすることができる。
する。２行目は１行目の次の行であるから、１行目の下
限?Y2を探索し、?Y3は探索範囲の領域をareaで示す。す
なわち、探索対象とする矩形領域を、 ０ ?W ?Y2 ?H とすることによつて、１行目の下限から（Ｂ）と同様の
探索をすることができる。
文書の理解においては、文法に則つて書かれた表現を
参照し、その中に記述された矩形領域が文書に存在する
か否かを順次調べて行く。変数を含んで記述された矩形
領域が探索されると、その変数の数値が得られることと
なり、以後はその数値を変数に代入して用いる。
参照し、その中に記述された矩形領域が文書に存在する
か否かを順次調べて行く。変数を含んで記述された矩形
領域が探索されると、その変数の数値が得られることと
なり、以後はその数値を変数に代入して用いる。
次に、矩形領域間の演算について説明する。実際の文
書では矩形以外の形状をした領域も出現する。第５図
（Ａ），（Ｂ）は矩形以外の形状をした領域の例であ
る。また、（Ｃ）は一つの矩形領域が二つの矩形領域に
分離した例を示す。第５図（Ａ），（Ｂ）は、それぞれ
破線で示すように、二つの矩形領域の和あるいは差とし
て考えられる。また、（Ｃ）は二つの矩形領域がつなが
つて仮想的に一つの矩形領域に纏まつていると考えれ
ば、表現が単純になる。このような矩形領域間の演算を
可能にするため、次のように領域の仮想的な転送を定義
する。
書では矩形以外の形状をした領域も出現する。第５図
（Ａ），（Ｂ）は矩形以外の形状をした領域の例であ
る。また、（Ｃ）は一つの矩形領域が二つの矩形領域に
分離した例を示す。第５図（Ａ），（Ｂ）は、それぞれ
破線で示すように、二つの矩形領域の和あるいは差とし
て考えられる。また、（Ｃ）は二つの矩形領域がつなが
つて仮想的に一つの矩形領域に纏まつていると考えれ
ば、表現が単純になる。このような矩形領域間の演算を
可能にするため、次のように領域の仮想的な転送を定義
する。
（map＆form Ｆ （space ?W ?H） （position （（?X0 ?Y0） （?Xmin ?Xmax ?Ymin ?Ymax）） （… ））） 第６図はこの定義の意味を示したものである。space
は、新しく書式Ｆとし幅?W、高さ?Hの矩形領域を設定
し、この領域中に転送が行われることを示す。position
は転送先の矩形領域の左上の座標を表す。４個の値 （?Xmin ?Xmax ?Ymin ?Ymax） で示される転送先の矩形領域を、上記の転送先に複写す
る。
は、新しく書式Ｆとし幅?W、高さ?Hの矩形領域を設定
し、この領域中に転送が行われることを示す。position
は転送先の矩形領域の左上の座標を表す。４個の値 （?Xmin ?Xmax ?Ymin ?Ymax） で示される転送先の矩形領域を、上記の転送先に複写す
る。
この仮想的転送を第７図により具体的に説明する。解
析する対象である実際の書式が（Ａ）のように配置され
てあつたとする。これは多段組、もしくはダブルカラム
とよばれているものである。書式F1と書式F2は、空間的
に横並びとして配置されているが、意味的には（Ｂ）の
ように縦並びになつている。このような矩形領域間の演
算は （map＆form Ｆ （space 50 60） （position（（10 10）（10 40 10 40）） （（10 40）（40 70 10 30）））） によつて表現できる。（Ｂ）に示す仮想的な書式はspac
eによつて、幅50、高さ60の矩形領域を設定する。そし
て（Ａ）と（Ｂ）の関係を、 （position（（10 10）（10 40 10 40）） （（10 40）（40 70 10 30））） のように表現する。（Ａ）における矩形領域（10 40
10 40）は、（Ｂ）の（10 10）を原点とする領域に転
送される。
析する対象である実際の書式が（Ａ）のように配置され
てあつたとする。これは多段組、もしくはダブルカラム
とよばれているものである。書式F1と書式F2は、空間的
に横並びとして配置されているが、意味的には（Ｂ）の
ように縦並びになつている。このような矩形領域間の演
算は （map＆form Ｆ （space 50 60） （position（（10 10）（10 40 10 40）） （（10 40）（40 70 10 30）））） によつて表現できる。（Ｂ）に示す仮想的な書式はspac
eによつて、幅50、高さ60の矩形領域を設定する。そし
て（Ａ）と（Ｂ）の関係を、 （position（（10 10）（10 40 10 40）） （（10 40）（40 70 10 30））） のように表現する。（Ａ）における矩形領域（10 40
10 40）は、（Ｂ）の（10 10）を原点とする領域に転
送される。
以上に説明した仮想的転送を組み合わせれば、第５図
に示したような複雑な形状の領域は二つ以上の矩形領域
間の演算によつて表現することができる。たとえば、第
５図（Ａ）は大きさの異なる二つの矩形領域を隣接させ
て転送したものとして表現できる。
に示したような複雑な形状の領域は二つ以上の矩形領域
間の演算によつて表現することができる。たとえば、第
５図（Ａ）は大きさの異なる二つの矩形領域を隣接させ
て転送したものとして表現できる。
以上の説明から分るように本発明で提案した文書文法
では、文書の構造を矩形領域の組み合わせとして把握
し、矩形領域間の関係を文法で表現しているので文書の
表現力が増し、領域内の行数が不定の場合や、矩形領域
が出現するか否かが不定の場合など、従来取り扱いが困
難であつた対象も記述できる。従つて、多種多様の文書
が解析可能となる。
では、文書の構造を矩形領域の組み合わせとして把握
し、矩形領域間の関係を文法で表現しているので文書の
表現力が増し、領域内の行数が不定の場合や、矩形領域
が出現するか否かが不定の場合など、従来取り扱いが困
難であつた対象も記述できる。従つて、多種多様の文書
が解析可能となる。
以下、本発明の実施例について図面を用いて詳細に説
明する。
明する。
第８図は本発明の一実施例による画像理解方式を採用
した装置の構成を示すブロツク図である。本実施例にお
いては理解する画像を文書を対象にして述べるが、一般
の画像、すなわち図形や写真など濃淡画像などが含まれ
ている場合でも応用できる。装置の各部はバス１に接続
され、全体の動作は制御部２により制御される。文書３
上の情報（文書画像情報）はスキヤナ４により光電変換
・デイジタル化されてデイジタル画像となり、バス１を
介してメモリ51に格納される。メモリ51は後述する52,5
3,54,55とともにメモリ５の一部をなす。デイジタル画
像51をスキヤナ４から得る代わりに、光デイスクなどの
デイジタル画像フアイル装置から読みこんでもよい。ま
た、以下の説明では１画素１ビツトに二値化するものと
するが、１画素を多値で表現してもよく、カラースキヤ
ナにより光電変換して色情報を付与してもよい。文書画
像に対し制御部２により公知の位置補正処理、傾き補正
処理などを行つて得られる正規化画像メモリ52に格納さ
れる。
した装置の構成を示すブロツク図である。本実施例にお
いては理解する画像を文書を対象にして述べるが、一般
の画像、すなわち図形や写真など濃淡画像などが含まれ
ている場合でも応用できる。装置の各部はバス１に接続
され、全体の動作は制御部２により制御される。文書３
上の情報（文書画像情報）はスキヤナ４により光電変換
・デイジタル化されてデイジタル画像となり、バス１を
介してメモリ51に格納される。メモリ51は後述する52,5
3,54,55とともにメモリ５の一部をなす。デイジタル画
像51をスキヤナ４から得る代わりに、光デイスクなどの
デイジタル画像フアイル装置から読みこんでもよい。ま
た、以下の説明では１画素１ビツトに二値化するものと
するが、１画素を多値で表現してもよく、カラースキヤ
ナにより光電変換して色情報を付与してもよい。文書画
像に対し制御部２により公知の位置補正処理、傾き補正
処理などを行つて得られる正規化画像メモリ52に格納さ
れる。
前述した文法に則つて書かれた対象文書の書式データ
が、あらかじめメモリ53に格納されているものとする。
制御部２は、この書式データを用いて上記の正規化画像
の文書理解処理を行う。ここで文書理解処理とは、複数
の矩形領域に分解し、その各領域の分類を行うことをい
う。文書理解結果として得られる各領域のうち、検索対
象領域としてあらかじめ定められた領域について、その
部分の画像を文字認識部６に送つて、内部の文字パター
ンを認識させる。一般に元の文書画像は複雑な形状をし
ているが、文書理解結果として得られる領域は矩形形状
をしているので、公知の手法により文字の切り出し・認
識が容易にできる。文字認識結果として得られる文字符
号列あるいはそれを編集した文字符号列は入力文書の検
索情報である。以上のようにして得られる入力文書の検
索情報をフアイル７に、文書のデイジタル画像をフアイ
ル８に出力する。文書のデイジタル画像のフアイル８へ
の出力に際しては、分解された複数の矩形領域単位で別
々に出力してもよい。また、フアイル７とフアイル８は
同一のものとしてもよい。
が、あらかじめメモリ53に格納されているものとする。
制御部２は、この書式データを用いて上記の正規化画像
の文書理解処理を行う。ここで文書理解処理とは、複数
の矩形領域に分解し、その各領域の分類を行うことをい
う。文書理解結果として得られる各領域のうち、検索対
象領域としてあらかじめ定められた領域について、その
部分の画像を文字認識部６に送つて、内部の文字パター
ンを認識させる。一般に元の文書画像は複雑な形状をし
ているが、文書理解結果として得られる領域は矩形形状
をしているので、公知の手法により文字の切り出し・認
識が容易にできる。文字認識結果として得られる文字符
号列あるいはそれを編集した文字符号列は入力文書の検
索情報である。以上のようにして得られる入力文書の検
索情報をフアイル７に、文書のデイジタル画像をフアイ
ル８に出力する。文書のデイジタル画像のフアイル８へ
の出力に際しては、分解された複数の矩形領域単位で別
々に出力してもよい。また、フアイル７とフアイル８は
同一のものとしてもよい。
以下に文書理解処理の詳細を述べる。第９図及び第10
図は、文書理解の処理の流れを説明する図である。処理
の流れは、PAD（program Analysis Diagram）形式で書
かれている。100で文書画像の輪郭抽出を行い、メモリ5
4に格納する。輪郭抽出は公知の手法を使用すればよ
い。輪郭抽出の代わりにいわゆる連結領域抽出法を使用
してもよい。200で抽出された各輪郭ｉからそのＸ座標
及びＹ座標の最大値と最小値 Xmin（ｉ） Xmax（ｉ） Ymin（ｉ） Ymax（ｉ） を抽出する。この４個の数値から輪郭ｉの外接長方形が
求まる。300,400,500はそれぞれ構文解析処理の初期
化、本体、終了判定である。
図は、文書理解の処理の流れを説明する図である。処理
の流れは、PAD（program Analysis Diagram）形式で書
かれている。100で文書画像の輪郭抽出を行い、メモリ5
4に格納する。輪郭抽出は公知の手法を使用すればよ
い。輪郭抽出の代わりにいわゆる連結領域抽出法を使用
してもよい。200で抽出された各輪郭ｉからそのＸ座標
及びＹ座標の最大値と最小値 Xmin（ｉ） Xmax（ｉ） Ymin（ｉ） Ymax（ｉ） を抽出する。この４個の数値から輪郭ｉの外接長方形が
求まる。300,400,500はそれぞれ構文解析処理の初期
化、本体、終了判定である。
300ではメモリ53に格納されている書式データを作業
用メモリ55に複写し、各種テーブルやプログラム内部変
数の初期化を行う。
用メモリ55に複写し、各種テーブルやプログラム内部変
数の初期化を行う。
構文解析処理の本体400は、410〜460から構成され
る。410は、420〜450の処理を460で終了判定が行われる
まで繰り返し行うように制御する。420では書式データ
中のステートメントを取り出す。処理未了ステートメン
トとは、その中に含まれる変数で値の定まつていないも
のがあるが、または対応する文書領域がまだ決定されて
いないような行を指す。430は、処理未了ステートメン
トが残つていない場合は440の処理スキツプする判定で
ある。この場合には終了判定が行われることになる。42
0で取り出したステートメントが処理未了ステートメン
トの場合、440の処理が行われる。440は、ステートメン
トの種類を判定して分岐する部分で、ステートメントの
種類に応じて処理の内容が変化する。第9,10図及び以下
の説明では、formステートメント、すなわち （form F0 （?Xmin ?Xmax ?Ymin ?Ymax） （shrink ?X ?Y）） の場合についてのみ述べるが、他のステートメントでも
同様にそのステートメント特有の処理が行われる。
る。410は、420〜450の処理を460で終了判定が行われる
まで繰り返し行うように制御する。420では書式データ
中のステートメントを取り出す。処理未了ステートメン
トとは、その中に含まれる変数で値の定まつていないも
のがあるが、または対応する文書領域がまだ決定されて
いないような行を指す。430は、処理未了ステートメン
トが残つていない場合は440の処理スキツプする判定で
ある。この場合には終了判定が行われることになる。42
0で取り出したステートメントが処理未了ステートメン
トの場合、440の処理が行われる。440は、ステートメン
トの種類を判定して分岐する部分で、ステートメントの
種類に応じて処理の内容が変化する。第9,10図及び以下
の説明では、formステートメント、すなわち （form F0 （?Xmin ?Xmax ?Ymin ?Ymax） （shrink ?X ?Y）） の場合についてのみ述べるが、他のステートメントでも
同様にそのステートメント特有の処理が行われる。
ここで、この式の（?Xmin ?Xmax ?Ymin ?Ymax）の
項は、取り出すステートメントの領域を表す。つまり、
領域のＸ座標およびＹ座標の最小値と最大値を表す。ま
た、（shrink ?X ?Y）の項は、Ｘ方向の大きさが?X以
下、Ｙ方向の大きさが?Y以下の文字成分を無視して、領
域の大きさを正規化することを表す。このことを第11図
（Ｃ）を用いて説明する。本来ならば（Ｃ）では、破線
で囲まれた領域が取り出されるステートメントである
が、（shrink 5 5）があるため、左上の文字成分 が無視され、実線で囲まれた領域が取り出される。ここ
で、無視された文字成分は、第12図（Ｂ）のｉ＝５に対
応する。したがってその大きさは、Ｘ方向が、26−22＝
４であり、Ｙ方向が、16−12＝４である。
項は、取り出すステートメントの領域を表す。つまり、
領域のＸ座標およびＹ座標の最小値と最大値を表す。ま
た、（shrink ?X ?Y）の項は、Ｘ方向の大きさが?X以
下、Ｙ方向の大きさが?Y以下の文字成分を無視して、領
域の大きさを正規化することを表す。このことを第11図
（Ｃ）を用いて説明する。本来ならば（Ｃ）では、破線
で囲まれた領域が取り出されるステートメントである
が、（shrink 5 5）があるため、左上の文字成分 が無視され、実線で囲まれた領域が取り出される。ここ
で、無視された文字成分は、第12図（Ｂ）のｉ＝５に対
応する。したがってその大きさは、Ｘ方向が、26−22＝
４であり、Ｙ方向が、16−12＝４である。
第10図441〜448は述語formを処理する部分である。44
1では書式名称F0が登録済みか否かを調べ、未登録なら
ば442で書式テーブルにF0を登録する。442では、変数名 ?Xmin、?Xmax、?Ymin、?Ymax、?X、?Y の位置に書かれた文字列が変数か数値か、変数なら登録
済みか否かを調べ、未登録ならこれらを変数表に登録す
る。変数が登録済みならばその値が確定しているか否か
を調べ、確定していなければform処理は終了する（この
場合このステートメントは処理未終了となる）。確定し
ていれば、ステートメント中の変数名を上記の数値で書
き換える。
1では書式名称F0が登録済みか否かを調べ、未登録なら
ば442で書式テーブルにF0を登録する。442では、変数名 ?Xmin、?Xmax、?Ymin、?Ymax、?X、?Y の位置に書かれた文字列が変数か数値か、変数なら登録
済みか否かを調べ、未登録ならこれらを変数表に登録す
る。変数が登録済みならばその値が確定しているか否か
を調べ、確定していなければform処理は終了する（この
場合このステートメントは処理未終了となる）。確定し
ていれば、ステートメント中の変数名を上記の数値で書
き換える。
具体例として、 ?Xmin＝０、?Xmax＝90、 ?Ymin、?Ymax:未登録 ?X＝５、?Y＝５、 のとき、前記のステートメントは （form F0 （０ 90 ?Ymin ?Ymax） （shrink ５ ５）） と書き換えられ、変数?Ymin、?Ymaxが変数テーブルに登
録されて、値未確定となる。
録されて、値未確定となる。
443で、ステートメント中の変数名が全て数値に書き
換えられているか否かにより分岐し、全て数値に書き換
えられていたとき、444のform実行処理を行う。form実
行処理の詳細は445〜448で表される。445は、200で抽出
された輪郭ｉについて以下の処理を繰り返すことを示
す。446では、輪郭ｉのＸ座標及びＹ座標の最小値と最
大値 Xmin（ｉ） Xmax（ｉ） Ymin（ｉ） Ymax（ｉ） をステートメント中の変数 ?Xmin ?Xmax ?Ymin ?Ymax ?X ?Y に対応する数値と比較し ?Xmin＜Xmin（ｉ）＜Xmax（ｉ）＜?Xmax ?Ymin＜Ymin（ｉ）＜Ymax（ｉ）＜?Ymax ?X ＜Ymax（ｉ）−Xmin（ｉ） ?Y ＜Ymax（ｉ）−Ymin（ｉ） が成立する輪郭か否かを判定する。447では、上記の条
件が成立したとき、その輪郭ｉをF0の成分テーブルに登
録する。448では、上記の条件が成立する輪郭が存在し
ないとき、解析失敗のフラグを立てる。
換えられているか否かにより分岐し、全て数値に書き換
えられていたとき、444のform実行処理を行う。form実
行処理の詳細は445〜448で表される。445は、200で抽出
された輪郭ｉについて以下の処理を繰り返すことを示
す。446では、輪郭ｉのＸ座標及びＹ座標の最小値と最
大値 Xmin（ｉ） Xmax（ｉ） Ymin（ｉ） Ymax（ｉ） をステートメント中の変数 ?Xmin ?Xmax ?Ymin ?Ymax ?X ?Y に対応する数値と比較し ?Xmin＜Xmin（ｉ）＜Xmax（ｉ）＜?Xmax ?Ymin＜Ymin（ｉ）＜Ymax（ｉ）＜?Ymax ?X ＜Ymax（ｉ）−Xmin（ｉ） ?Y ＜Ymax（ｉ）−Ymin（ｉ） が成立する輪郭か否かを判定する。447では、上記の条
件が成立したとき、その輪郭ｉをF0の成分テーブルに登
録する。448では、上記の条件が成立する輪郭が存在し
ないとき、解析失敗のフラグを立てる。
以上説明したように441〜448の処理により、書式デー
タ中のステートメントformに対応する構造が入力画像に
存在することを検出できる。from以外のステートメント
についても同様である。fromの場合には出力データはな
いが、ステートメントによつては、ステートメント中の
変数に解析時に求めたパラメータを代入するものもあ
り、その結果が他のステートメントで用いられる。
タ中のステートメントformに対応する構造が入力画像に
存在することを検出できる。from以外のステートメント
についても同様である。fromの場合には出力データはな
いが、ステートメントによつては、ステートメント中の
変数に解析時に求めたパラメータを代入するものもあ
り、その結果が他のステートメントで用いられる。
450では、解析失敗フラグを調べ、解析が失敗したと
き後戻りして再試行する。この場合、解析済みのステー
トメントに戻つてパラメータを代入した変数をまた以前
の状態に書き直し、別の可能性を探索するように制御す
る。
き後戻りして再試行する。この場合、解析済みのステー
トメントに戻つてパラメータを代入した変数をまた以前
の状態に書き直し、別の可能性を探索するように制御す
る。
460では、解析失敗フラグが立つていないか、あるい
は後戻り再試行の後解析失敗フラグがあるかを検出し、
終了判定を行う。
は後戻り再試行の後解析失敗フラグがあるかを検出し、
終了判定を行う。
500は解析の結果得られたデータを外部に受け渡す部
分である。外部に受け渡すデータとしては、書式名称に
対応して検出した矩形領域の文書上での座標などがあ
る。
分である。外部に受け渡すデータとしては、書式名称に
対応して検出した矩形領域の文書上での座標などがあ
る。
解析失敗フラグを立てる指定のあるステートメントで
解析が失敗したとき、この文書は理解不能であり、この
ときはリジエクト処理を行う。たとえば文書理解の最終
結果あるいは中間結果をコンソール９に表示し、マンマ
シン的に修正する。
解析が失敗したとき、この文書は理解不能であり、この
ときはリジエクト処理を行う。たとえば文書理解の最終
結果あるいは中間結果をコンソール９に表示し、マンマ
シン的に修正する。
次に、form実行処理の内容を第11図を用いて具体的に
説明する。第11図（Ａ）は画像中にノイズ成分 や文字1,A,2,B成分が存在している場合を示す。
説明する。第11図（Ａ）は画像中にノイズ成分 や文字1,A,2,B成分が存在している場合を示す。
（Ｂ）は、fromステートメントの実行時のパラメータ
が、 （form Ｆ （20 80 10 50） （shrink ０
０）） （Ｃ）は、formステートメントの実行時のパラメータ
が、 （form Ｆ （20 80 10 50） （shrink ５
５））の場合である。図に示すように書式Ｆの成分テー
ブルには、（Ｂ）の場合、ノイズ成分と、文字1,A成分
が登録され、（Ｃ）の場合、文字1,A成分は登録される
が、ノイズ成分はshrink指定によつて登録されず、除去
される。また、書式Ｆの矩形領域がformの実行後、図の
ように、領域内に含まれる文字成分によつて領域を正規
化することができ、画像の内容に応じて領域の大きさを
柔軟に特定することができる。
が、 （form Ｆ （20 80 10 50） （shrink ０
０）） （Ｃ）は、formステートメントの実行時のパラメータ
が、 （form Ｆ （20 80 10 50） （shrink ５
５））の場合である。図に示すように書式Ｆの成分テー
ブルには、（Ｂ）の場合、ノイズ成分と、文字1,A成分
が登録され、（Ｃ）の場合、文字1,A成分は登録される
が、ノイズ成分はshrink指定によつて登録されず、除去
される。また、書式Ｆの矩形領域がformの実行後、図の
ように、領域内に含まれる文字成分によつて領域を正規
化することができ、画像の内容に応じて領域の大きさを
柔軟に特定することができる。
第12図に、上記from実行時の輪郭成分の選択方法を、
具体的に説明する。第12図（Ａ）は、第11図（Ａ）に示
す輪郭画像を第９図200によつて処理した結果の外接長
方形を示す。すなわち、５はノイズ成分、１−８は文字
成分、さらに６−８は所謂内輪郭である。これらの成分
のXmin,Xmax,Ymin,Ymaxを（Ｂ）に示す。そして書式Ｆ
に含まれるか否かは次式 20＜Xmin（ｉ）＜Xmax（ｉ）＜80 10＜Ymin（ｉ）＜Ymax（ｉ）＜50 5＜Xmax（ｉ）−Xmin（ｉ） 5＜Ymax（ｉ）−Ymin（ｉ） 成立するかどうかをもつて判定する。この例では、輪郭
ｉ＝１と３が成立する。
具体的に説明する。第12図（Ａ）は、第11図（Ａ）に示
す輪郭画像を第９図200によつて処理した結果の外接長
方形を示す。すなわち、５はノイズ成分、１−８は文字
成分、さらに６−８は所謂内輪郭である。これらの成分
のXmin,Xmax,Ymin,Ymaxを（Ｂ）に示す。そして書式Ｆ
に含まれるか否かは次式 20＜Xmin（ｉ）＜Xmax（ｉ）＜80 10＜Ymin（ｉ）＜Ymax（ｉ）＜50 5＜Xmax（ｉ）−Xmin（ｉ） 5＜Ymax（ｉ）−Ymin（ｉ） 成立するかどうかをもつて判定する。この例では、輪郭
ｉ＝１と３が成立する。
以上説明したごとく、本発明によれば格納すべき対象
文書の解析を自動的に行うことが可能であり、キーボー
ドから二次情報を入力することが不要となるかあるいは
大幅に削減されるので、入力がきわめて簡素化される。
また、対象文書の構造が変化しても書式データを変更す
れば、直ちに対応できるなどの利点がある。
文書の解析を自動的に行うことが可能であり、キーボー
ドから二次情報を入力することが不要となるかあるいは
大幅に削減されるので、入力がきわめて簡素化される。
また、対象文書の構造が変化しても書式データを変更す
れば、直ちに対応できるなどの利点がある。
第１図は文書の一例を示す参考図、第2,3,4,5,6,7図は
本発明の原理を説明するための説明図、第８図は本発明
の文書処理方式を実施する装置の構成を示すブロツク
図、第９図，第10図は第８図中の制御部２における処理
を説明するための流れ図、第11図，第12図は第10図の処
理内容を説明するための説明図である。 １…バス、２…制御部、３…文書、４…スキヤナ、５…
メモリ、６…文字認識部、7,8…フアイル、９…コンソ
ール。
本発明の原理を説明するための説明図、第８図は本発明
の文書処理方式を実施する装置の構成を示すブロツク
図、第９図，第10図は第８図中の制御部２における処理
を説明するための流れ図、第11図，第12図は第10図の処
理内容を説明するための説明図である。 １…バス、２…制御部、３…文書、４…スキヤナ、５…
メモリ、６…文字認識部、7,8…フアイル、９…コンソ
ール。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 江尻 正員 東京都国分寺市東恋ヶ窪１丁目280番地 株式会社日立製作所中央研究所内 (56)参考文献 特開 昭60−183688（ＪＰ，Ａ)
Claims (7)
- 【請求項１】文書画像を矩形領域の集合として表現する
文法を用いてほぼ定型化された文書の書式を予め記憶す
る記憶手段と、 入力文書画像を光電変換してディジタル画像に変換する
手段と、 上記ディジタル画像中から矩形領域を抽出して、上記記
憶手段に記憶された文書の書式中の各々の矩形領域が、
抽出された上記矩形領域のいずれかに対応するか否かを
探索する矩形領域探索手段と、 上記探索結果により上記入力文書画像の構文を理解する
画像構文理解手段と、 を備えたことを特徴とする文書画像理解装置。 - 【請求項２】特許請求の範囲第１項記載の文書画像理解
装置において、 上記文法は、矩形領域の絶対的なあるいは相対的な大き
さを表わす数量を変数として、及び矩形領域間の絶対的
なあるいは相対的な関係を表わす数量を変数として、表
現することを特徴とする文書画像理解装置。 - 【請求項３】特許請求の範囲第２項記載の文書画像理解
装置において、 上記矩形領域探索手段は、上記矩形領域の絶対的なある
いは相対的な大きさを表わす変数により矩形領域を探索
することを特徴とする文書画像理解装置。 - 【請求項４】特許請求の範囲第３項記載の文書画像理解
装置において、 上記矩形領域探索手段は、上記矩形領域の絶対的なある
いは相対的な大きさを表わす変数が存在しなくなるまで
矩形領域を探索することを特徴とする文書画像理解装
置。 - 【請求項５】特許請求の範囲第１項記載の文書画像理解
装置において、 上記文法の矩形領域は、空間的に隔てられた複数個の矩
形領域から演算を行って生成した仮想的な矩形領域を含
むことを特徴とする文書画像理解装置。 - 【請求項６】特許請求の範囲第１項記載の文書画像理解
装置において、 上記記憶手段は、上記複数個の矩形領域に対する属性を
記憶することを特徴とする文書画像理解装置。 - 【請求項７】特許請求の範囲第１項記載の文書画像理解
装置において、 上記画像構文理解手段は、上記矩形領域探索手段の探索
結果により求められる矩形領域内の画像パターンを認識
することを特徴とする文書画像理解装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP60122425A JPH083828B2 (ja) | 1985-06-07 | 1985-06-07 | 文書画像理解装置 |
| US07/253,445 US4907285A (en) | 1984-08-24 | 1988-10-05 | Image understanding system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP60122425A JPH083828B2 (ja) | 1985-06-07 | 1985-06-07 | 文書画像理解装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPS61281377A JPS61281377A (ja) | 1986-12-11 |
| JPH083828B2 true JPH083828B2 (ja) | 1996-01-17 |
Family
ID=14835513
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP60122425A Expired - Fee Related JPH083828B2 (ja) | 1984-08-24 | 1985-06-07 | 文書画像理解装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH083828B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3178483B2 (ja) * | 1992-06-09 | 2001-06-18 | 富士ゼロックス株式会社 | 文書処理装置 |
| JP3067966B2 (ja) * | 1993-12-06 | 2000-07-24 | 松下電器産業株式会社 | 画像部品を検索する装置及びその方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS5611573A (en) * | 1979-07-10 | 1981-02-04 | Fujitsu Ltd | Slip reading system |
| JPH0664624B2 (ja) * | 1984-03-02 | 1994-08-22 | 日本電気株式会社 | 光学文字読取方式 |
-
1985
- 1985-06-07 JP JP60122425A patent/JPH083828B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPS61281377A (ja) | 1986-12-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US4907285A (en) | Image understanding system | |
| DE10162156B4 (de) | Die Benutzernavigation durch Multimedia-Dateiinhalte unterstützendes System und Verfahren | |
| US7046847B2 (en) | Document processing method, system and medium | |
| JPS63155386A (ja) | 帳票デ−タ読取装置 | |
| JPH11306197A5 (ja) | ||
| CN118799908B (zh) | 一种文献目录自动识别方法及装置 | |
| CN120611020A (zh) | 基于多模态rag的图文问答方法、系统、设备及存储介质 | |
| CN120849531A (zh) | 文档处理方法、装置、计算机设备、存储介质及程序产品 | |
| CN113343658A (zh) | 一种pdf文件信息抽取方法、装置以及计算机设备 | |
| JPH083828B2 (ja) | 文書画像理解装置 | |
| JP2004272822A (ja) | 文字認識装置および文字認識方法並びにコンピュータプログラム | |
| JPH10162098A (ja) | 文書電子化装置及び文書電子化方法 | |
| JPH07107711B2 (ja) | 文書画像の処理装置 | |
| JP3611061B2 (ja) | 図形作成装置 | |
| JP3941610B2 (ja) | 情報抽出方法、情報抽出装置および情報抽出プログラム | |
| EP0175928A2 (en) | Image understanding system | |
| JP3714723B2 (ja) | 文書表示システム | |
| JPH02121058A (ja) | データファイル装置とデータ連想記憶検索方法及び検索装置 | |
| JP2733057B2 (ja) | 文字列成分抽出装置 | |
| JP2606560B2 (ja) | 文書画像記憶装置 | |
| JPH0743718B2 (ja) | マルチメディア文書構造化方式 | |
| JPS61193276A (ja) | 文字列抽出方式 | |
| JPH10134081A (ja) | ページ作成支援方法及び装置 | |
| CN121503478A (zh) | 一种基于内容结构感知的pdf文档智能分词方法 | |
| JPH07319879A (ja) | 翻訳処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |