JPH0689330A - 画像ファイリングシステム - Google Patents

Abstract

(57)【要約】 【目的】本発明は、画面上に表示された入力画像上の所
望の文字列領域を簡単に指示できるとともに、文字列方
向が得られ、入力画像の検索に用いるキーワードを効率
よく入力でき、オペレータの作業負担を軽減できる画像
ファイリングシステムを提供する 【構成】表示部３の画面上に表示された入力画像に対し
て、操作部１より任意の一点の位置座標を指示すると、
認識対象文字列抽出部７により指示座標から適当な領域
が設定され、同時に領域内の文字列成分の並び方向が判
定され、この結果から文字列成分の並び方向に沿って領
域が拡張されて、拡張領域内の文字列成分が抽出され、
この抽出された文字列成分を文字認識部８で文字認識
し、さらにコード化して、コード化された文字列を入力
画像のキーワードとして入力画像に対応づけて光ディス
ク１１にファイリングしている。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像情報を記録・検索
する画像ファイリングシステムに関するものである。

【０００２】

【従来の技術】画像情報を記録・検索する画像ファイリ
ングシステムでは、画像情報の検索に用いるタイトルを
容易に入力するための方法が種々考えられている。

【０００３】しかして、従来、このような画像情報の検
索に用いるタイトルの入力を可能にしたものとして、例
えば、特開６０−１３６８７７号公報に開示されたもの
が知られている。このものは、画像をファイリングする
作業において、入力画像を表示している画面上の所望の
文字列領域をマウス等の指示手段により指示して切り出
し、この指示領域の内容をキーワードとして文字認識す
るとともにコード化して、その後の画像検索に用いるタ
イトルとして入力するようにしている。

【０００４】また、画像中に含まれる文字列を認識し、
この認識された文字コードによってその画像に付与すべ
き名称またはキーワードを作成すものとして、「信学論
Ｄ，Ｊ71ーＤ，No.10,pp2050-2058 」に開示されるよう
な書式定義言語で文字列領域を記述する方法も知られて
いる。

【０００５】

【発明が解決しようとする課題】しかし、最初の考えの
ものでは、マウス等により文字列領域を指示する場合、
文字列領域の少なくとも２点指示を必要とし、また、同
時に文字列方向をオペレータが設定しなければならなら
なず、さらに、各入力画像ごとに指示作業を必要とする
ことからオペレータに対する作業負担が大きくなり、使
用しずらいという問題点があった。

【０００６】また、後の考えのものでも、文書構造や文
字列位置をその画像中における絶対座標などの物理量を
用いて記述するため、同一構造を持つ文書を処理する場
合においても、大幅な位置ズレが生じているものを入力
する場合には正確に文字列領域を抽出できないという問
題があり、また、文字列領域の定義の記述が煩雑である
ため、オペレータに対する負担が大きいといった実用的
制約を生じるという問題点があった。

【０００７】また、入力画像よりキーワード画像を指示
してキーワードを作成するものでは、文字認識により複
数の認識候補が得られたような場合、この内の一つを選
択しタイトルとして入力するようになるため、例えば認
識結果が不明瞭で一つの候補に絞れないような場合には
不正確な認識結果をタイトルとして入力することがあ
り、、このために正確な画像検索が難しくなるという問
題点もあった。なお、この問題を回避するために、キー
ワード画像の文字認識結果を画像入力時にオペレータが
いちいち確認、修正するようにしたのでは、オペレータ
の負担が大きくなってしまう。

【０００８】本発明は、上記事情に鑑みてなされたもの
で、画面上に表示された入力画像上の所望の文字列領域
を簡単に指示できると同時に、文字列方向も得られ、入
力画像の検索に用いるキーワード等を効率よく入力で
き、オペレータに対する作業負担を軽減することができ
る画像ファイリングシステムを提供することを目的とす
る。

【０００９】また、本発明は、同一種類の文書で内容に
よる字数や行数の変動や位置ズレが生じる場合であって
もキーワードとなるべき文字列成分を正確に検出するこ
とができ、オペレータに対する負担を軽減できる画像フ
ァイリングシステムを提供することを目的とする。

【００１０】さらに、本発明は、入力画像中のキーワー
ド画像に関する認識結果をオペレータが確定しておかな
くても画像検索を行うことができる画像ファイリングシ
ステムを提供することを目的とする。

【００１１】

【課題を解決するための手段】本発明は、入力画像を画
面上に表示する表示手段と、この表示手段の画面上の任
意の一点の位置座標を指示する手段と、この手段で指示
された位置座標から適当な領域を設定する手段、この手
段で設定された領域内の入力画像から文字列成分の並び
方向を判定する手段、この手段で判定された文字列成分
の並び方向に沿って領域を拡張する手段、この手段によ
り拡張された領域内の文字列成分を抽出する手段を有す
る認識対象文字列抽出手段と、この認識対象文字列抽出
手段により抽出された文字列成分を文字認識及びコード
化するとともに該コード化された文字列を前記入力画像
のキーワードとして該入力画像に対応づけてファイリン
グする手段とにより構成されている。

【００１２】また、本発明は、入力画像から文字列成分
を抽出する手段と、この手段より抽出された各文字列成
分を所定の関係で統合したブロックを検出するとともに
これらブロックの物理的な位置および大きさを解析し各
ブロック間の意味的接続関係を獲得する手段と、この手
段より各ブロック間の意味的接続関係から前記各ブロッ
クに対して属性情報を割り当てる手段と、予め所定の文
字列に関する情報を記憶した手段と、この手段に記憶さ
れた所定の文字列に関する情報を参照して前記属性情報
を割り当てられたブロックの文字列成分を抽出する手段
と、この手段より抽出された文字列成分を文字認識及び
コード化するとともに該コード化された文字列を前記入
力画像のキーワードとして該入力画像に対応づけてファ
イリングする手段とにより構成されている。

【００１３】さらに本発明は、入力画像に対してキーワ
ード領域を指示する手段と、この手段より指示されたキ
ーワード領域の画像をキーワード画像として前記入力画
像より切り出す手段と、この手段より切り出されたキー
ワード画像を文字認識する手段と、この手段で文字認識
された結果を文字認識候補も含めて格納する手段と、検
索時に与えられるキーワードに対して前記各文字認識候
補の類似性を判断して類似性の高い画像を優先的に提示
する手段により構成されている。

【００１４】

【作用】この結果、本発明によれば、オペレータにより
画面上に表示されている入力画像上で任意の一点が指示
されると、最初に適当な領域が設定されるとともに、領
域内の入力画像の文字列成分の並び方向が判定され、こ
の判定に基づいて文字列成分の並び方向に沿って領域が
拡大されて、この拡大領域の文字列成分について文字認
識およびコード化が実行され、コード化された文字列を
キーワードとして入力画像のファイリングが行われるよ
うになる。これにより、オペレータは、入力画像上の任
意の一点を指示するだけで、入力画像に付与すべきタイ
トル情報などのキーワードを文字認識およびコード化し
て入力することができるようになる。

【００１５】また、本発明によれば、入力画像から抽出
した文字列成分を所定の関係で統合したブロックについ
て物理的な位置および大きさを解析し、各ブロック間の
意味的接続関係を獲得し、さらに各ブロックに対する属
性情報を付与して、これら意味的接続関係や属性情報に
より入力画像のタイトルもしくはキーワードに相当する
任意の位置に記載されている文字列成分を正確に検出で
きるようになる。これにより、同一種類の文書等におい
て所望の文字列に、字数や行数の変動および位置ズレが
生じている場合であってもキーワードとなるべき文字列
成分を正確に検出することが可能となる。

【００１６】さらに、本発明によれば、入力画像に対し
て指示されたキーワード領域より切り出されたキーワー
ド画像について文字認識が行われ、この文字認識結果を
文字認識候補を含めて格納し、画像検索時に与えられる
キーワードにより文字認識候補との類似性の判断より両
者がよく類似する画像を優先的に提示するようになる。
これにより、キーワード画像の認識が不明瞭の場合で
も、複数の認識候補中に正しい認識結果を残しておき、
検索時には認識候補の中からキーワードとの類似性の高
いものを選んで対応する画像を提示するので、オペレー
タは所望の画像を得ることができる。つまり、キーワー
ド画像の認識結果を確定することなく適切な画像検索が
行える。さらに画像が提示された時点で、オペレータが
所望の画像が得られたと判断して確定の指示を与えるこ
とにより、その画像のキーワードの認識結果を検索に用
いたキーワードとして一意に決定するようにしてもよ
い。

【００１７】

【実施例】

（第１実施例）図１は同実施例の概略的な構成を示して
いる。図において、１は操作部で、この操作部１は、本
装置の運用に関する指示情報の入力に用いられるキーボ
ードやマウスなどのポインティングデバイスからなって
いる。そして、この操作部１からの入力データは制御部
２に送られる。

【００１８】制御部２は、本装置全体の動作を制御する
もので、表示部３、画像入力部４、出力部５、入力画像
圧縮部６、認識対象文字列抽出部７、文字認識部８、登
録部１０および記録部１２に対し制御指示を与えるよう
になっている。

【００１９】ここで、表示部３は、本装置からの種々の
情報をオペレータに提示するためのＣＲＴディスプレイ
等からなっている。画像入力部４は、文字や図形、写
真、表、グラフなどが記載された文書を、例えば光学的
にスキャンして画像情報として入力するためのものであ
る。

【００２０】本システムによる画像ファイリング処理
は、画像入力部４から画像情報として入力された画像に
対して操作部１の操作と表示部３による情報提示により
対話的に進められるようになる。この場合、画像入力部
４から入力された文書（入力画像）は入力画像圧縮部６
と認識対象文字列抽出部７に与えられる。入力画像圧縮
部６では、入力記画像を所定の圧縮形式で圧縮し、記憶
部１２に格納する。認識対象文字列抽出部７では、利用
者がポインティングデバイスを用いて指示する「入力画
像の不特定の位置に記載されている入力文書のタイトル
もしくはキーワードに相当する文字列」を入力画像から
抽出するようになる。この場合、従来では文字列領域を
獲得するために領域の２カ所を指示しなければならなか
ったが、本発明では獲得すべき文字列領域の中心と見な
せる一点のみを指示するだけで所望の文字列領域を獲得
できるようになっている。このとき、文字認識対象文字
列が抽出された結果を表示部３において表示するように
してもよい。

【００２１】文字認識部８は、文字認識対象文字列に含
まれる文字を一文字ずつ切り出して、辞書部９に予め格
納されている認識対象カテゴリの標準文字パターンとそ
れぞれ照合することにより認識処理を行い、各文字をコ
ード化して登録部１０に供給するようにしている。この
とき、文字認識結果を表示部３において表示してもよ
い。そして、表示部３に表示された文字認識結果で誤っ
ているものを利用者が操作部１のキーボード等を用いて
対話的に修正し、その後、登録部１０でコード化された
文字列を、記憶部１２に格納されている圧縮された入力
画像と関連させて、その入力画像のタイトルあるいはキ
ーワードとして光ディスク１１に登録するようになる。

【００２２】出力部５は、光ディスク１１に格納されて
いる画像を出力するレーザプリンタ等からなっている。
また、記憶部１２は、圧縮された入力画像と各処理にお
ける途中結果、及び最終結果や、装置の状態に関する情
報等を格納するものである。次に、以上のように構成し
た実施例の動作について説明する。

【００２３】この場合、同実施例における画像ファイリ
ング処理は、図２に示す３つの処理からなっている。

【００２４】（ａ）入力画像を圧縮する（図示１３）。

【００２５】（ｂ）オペレータによって対話的に指示さ
れた「入力文書に付与すべきタイトルあるいはキーワー
ドとなるべき文字列」を含む領域を入力画像から抽出し
（図示１４）、その領域に含まれる文字パターンを文字
認識処理によりコード化する（図示１５）。

【００２６】（ｃ）圧縮入力画像とコード化された文字
列を対応付けて光ディスクに登録する（図示１６）。

【００２７】ここでの（ａ）の処理は、画像圧縮部６に
おいて実施され、（ｂ）の処理は、認識対象文字列抽出
部７および文字認識部８において実施され、（ｃ）の処
理は登録部１０において実施される。

【００２８】以下、本発明の要部である上述の（ｂ）の
処理について、図３に示す入力画像例を用いて説明す
る。

【００２９】ところで、オペレータは、画像ファイリン
グ作業に先だって、表示部３に表示されているメニュウ
から「画像入力及びキーワードの自動付加」という項目
をキーボードまたはポインティングデバイスにより選択
するようになる。

【００３０】すると、入力画像に対して２値化処理、ノ
イズ除去処理等が実施され、これら２値化処理、ノイズ
除去処理等が行われた画像１７が表示部３に表示され、
さらに「文字認識対象文字列を指定して下さい」という
メッセージが表示される。

【００３１】この状態から、オペレータは、表示部３に
表示されている画像１７上において、入力文書中に記載
されている入力文書のタイトルあるいはキーワードに相
当する文字列領域を獲得するためにポインティングデバ
イスを用いて指示を与える。この場合、図４に示すよう
に入力文書のタイトルあるいはキーワードに相当する表
題文字列１８の中心部１９と見なすことのできる一点を
指示するようにする。

【００３２】これにより、ポインティングデバイスで指
示した位置に相当する画像上の座標値（ｘ，ｙ）が得ら
れる。そして、この座標値（ｘ，ｙ）を用いて以下述べ
る処理手続きにより認識対象文字列を抽出する。

【００３３】この場合、座標値（ｘ，ｙ）を含む画像１
７上の限定された範囲において、水平方向の文字間スペ
ースと垂直方向の文字間スペースを求め、これらを比較
することにより文字列方向の推定を行い、その方向に文
字（実際は黒連結成分矩形）をまとめることにより認識
対象文字列領域を抽出するようになる。

【００３４】まず、座標値（ｘ，ｙ）に対し下記に示す
式１，式２，式３，式４を適用して図５に示すように座
標値（ｌｘ，ｌｙ）と座標値（ｒｘ，ｒｙ）を求め、認
識対象文字列領域を抽出するための処理の適用範囲２０
を限定する。

【００３５】 ここで、Ｗは入力画像の幅、Ｈは入力画像の高さ、αは
しきい値である。

【００３６】そして、これら各式より得られた処理適用
範囲２０（すなわち、ｌｘ≦ｘ≦ｒｘとｌｙ≦ｙ≦ｒｙ
をともに満たす範囲）において、各黒画素間の連結関係
を調べて黒連結領域を抽出するラベリング処理を行い、
各黒画素領域の外接矩形を抽出する（図６）。さらに、
図７（ａ）（ｂ）に示すように、ある程度近接する黒画
素連結成分２１や領域の重なりをもつ黒画素連結成分２
２は、それらを一纏めにして一つの文字候補矩形２３と
する。

【００３７】次いで、文字候補矩形２３群から認識対象
文字列の文字列方向を推定する。そのためには、図８に
示すように、まず、ポインティングデバイスで指示した
座標（ｘ，ｙ）に最も近い黒連結成分矩形Ｃを見つけ
る。この黒連結成分矩形Ｃは、すべての黒連結成分矩形
の重心のうちで座標（ｘ，ｙ）からの距離が最も小さい
ものである。

【００３８】そして、この黒連結成分矩形Ｃに着目し
て、さらに黒連結成分矩形全体から下記の式５及び式６
を共に満たす他の黒連結成分矩形との集合ＣＳを抽出す
る。

【００３９】 ｍｉｎ（ｃｘ２，ｘ２）−ｍａｘ（ｃｘ１，ｘ１）＞０ …式５ ｍｉｎ（ｃｙ２，ｙ２）−ｍａｘ（ｃｙ１，ｙ１）＞０ …式６ ここで、（ｃｘ１，ｃｙ１）を黒連結成分矩形２４の左
上端、（ｃｘ２，ｃｙ２）を右下端とし、（ｘ１，ｙ
１）を他の黒連結成分矩形の左上端、（ｘ２，ｙ２）を
右下端とする。

【００４０】ここで、 （１）式５を満たす（すなわち黒連結成分矩形Ｃと垂直
方向に並ぶ）矩形の数をカウントする（このカウント値
をＶＣとする）。

【００４１】（２）式６を満たす（すなわち黒連結成分
矩形Ｃと水平方向に並ぶ）矩形の数をカウントする（こ
のカウント値をＨＣとする）。

【００４２】そして、ＶＣ＋ｔｈ（しきい値）＜ＨＣな
らば認識対象文字列の方向は水平方向となり、また、Ｈ
Ｃ＋ｔｈ＜ＶＣならば認識対象文字列の方向は垂直方向
となる。また、上記以外の場合にはさらに以下の処理を
行う。

【００４３】｜ＨＶ−ＶＣ｜≦ｔｈ この場合、上述のＣＳから水平方向に隣接する黒連結成
分矩形間距離の平均値を求め、これを水平方向文字間ス
ペースをＨＳとし、垂直方向に隣接する黒連結成分矩形
間距離の平均値を求め、これを垂直方向文字間スペース
をＶＳとする。

【００４４】そして、ＨＳは、例えば上述のＣＳの中で ｍｉｎ（ｘi2，ｘj2）−ｍａｘ（ｘi1，ｘj1）＞０ …式７ を満たす隣接する文字候補矩形間距離の平均値を求める
ことにより推定することができる。また、ＶＳも同様
に、上述のＣＳの中で ｍｉｎ（ｙi2，ｙj2）−ｍａｘ（ｙi1，ｙj1）＞０ …式８ を満たす隣接する文字候補矩形間距離の平均値を求める
ことにより推定することができる。

【００４５】ここで、黒連結成分矩形ｉの左上端の座標
値を（ｘi1，ｙi1）、右下端の座標値を（ｘi2，ｙi2）
とし、黒連結成分矩形ｊの左上端の座標値を（ｘj1，ｙ
j1）、右下端の座標値を（ｘj2，ｙj2）としている。

【００４６】一般に印刷文書では文字間距離の方が行間
距離より小さいという性質を持っており、これにより、
文字間スペースの小さい方向を文字列方向と推定するこ
とができる。すなわち、 ＨＳ ＜ ＶＳ …式９ が成り立つ場合には文字列方向を水平方向とし、 ＨＳ ＞ ＶＳ …式１０ が成り立つ場合には文字列方向を垂直方向とする。ま
た、 ＨＳ ＝ ＶＳ …式１１ が成り立つ場合には文字列方向の推定不可能とする。

【００４７】このようにして認識対象文字列が得られた
ら、さらにその文字列方向に処理適用範囲２０を以下の
ように拡大する。

【００４８】まず、文字列方向が水平（垂直）方向の場
合には、処理適用範囲２０は、図９に示すように拡大す
る。この場合、 １ｘ′＝０ （１ｘ′＝１ｘ） …式１２ １ｙ′＝１ｙ （１ｙ′＝０） …式１３ ｒｘ′＝Ｗ （ｒｘ′＝ｒｘ） …式１４ ｒｙ′＝ｒｙ （ｒｙ′＝Ｈ） …式１５ となり、新しい処理適用範囲２０１は、「１ｘ′≦ｘ≦
ｒｘ′と１ｙ′≦ｙ≦ｒｙ′を共に満たす領域」にな
る。

【００４９】そして、この新しい処理適用範囲２０１に
おいて認識対象文字列領域を推定する。この場合、まず
処理適用範囲２０１でラベリング処理を行って上述した
黒連結成分矩形Ｃを抽出し、以下のように認識対象文字
列領域を推定する。

【００５０】文字列方向が水平（垂直）方向である場合
は、まず、矩形Ｃから見て左（上）側にある（すなわち
矩形Ｃ以外の矩形の右下端のｘ（ｙ）座標＜ｃｘ１（ｃ
ｙ１）である）矩形に対して式６（式５）を適用し、こ
の条件を満たす矩形群ＣＳＨ１（ＣＳＶ１）を抽出す
る。ここでＣＳＨ１（ＣＳＶ１）には矩形Ｃが含まれて
いる。

【００５１】次に、それぞれの矩形の左上端のｘ（ｙ）
座標について降順にＣＳＨ１（ＣＳＶ１）において矩形
の出現順序を並べかえる。これをＣＳＨ１′（ＣＳＶ
１′）とする。この結果、ＣＳＨ１（ＣＳＶ１）は矩形
Ｃに最も近い矩形から最も遠い矩形へと並べかえられる
ことになる。

【００５２】次に、ＣＳＨ１′（ＣＳＶ１′）におい
て、以下の条件を先頭から順次適用していき、条件を満
たす矩形Ｃから最も遠い矩形ＣＬＨ１（ＣＬＶ１）を抽
出する。ここでの条件は、式６（式５）と式１６（式１
７）の両方を満たすことである。 ｜ｘi1−ｘj2｜≦
λ …式１６ （｜ｙi1−ｙj2｜≦λ …式１７） ただし、矩形ｊは矩形ｉより出現順序は後とする。ま
た、λは、矩形Ｃの高さとする。

【００５３】そして、ＣＬＨ１（ＣＬＶ１）までの矩形
の左上端の座標の内、最小のｘ座標ｘｍｉｎとｙ座標ｙ
ｍｉｎを求める。

【００５４】次に、矩形Ｃから見て右（下）側にある
（すなわち矩形Ｃ以外の矩形の左上端のｘ（ｙ）座標＞
ｃｘ２（ｃｙ２）である）矩形に対して式６（式５）を
適用し、この条件を満たす矩形群ＣＳＨ２（ＣＳＶ２）
を抽出する。ここでＣＳＨ２（ＣＳＶ２）には矩形Ｃを
含める。

【００５５】次に、それぞれの矩形の左上端のｘ（ｙ）
座標について昇順にＣＳＨ２（ＣＳＶ２）において矩形
の出現順序を並べかえる。これをＣＳＨ２′（ＣＳＶ
２′）とする。この結果、ＣＳＨ２（ＣＳＶ２）は矩形
Ｃに最も近い矩形から最も遠い矩形へと並べかえられる
ことになる。

【００５６】次に、ＣＳＨ２′（ＣＳＶ２′）におい
て、以下の条件を先頭から順次適用していき、条件を満
たす矩形Ｃから最も遠い矩形ＣＬＨ２（ＣＬＶ２）を抽
出する。ここでの条件は、式６（式５）と式１６（式１
７）を両方を満たすことである。さらに、ＣＬＨ２（Ｃ
ＬＶ２）までの矩形の右下端の座標の内、最大のｘ座
標：ｘｍａｘとｙ座標：ｙｍａｘを求める。

【００５７】そして、（ｘｍｉｎ，ｙｍｉｎ）と（ｘｍ
ａｘ，ｙｍａｘ）の２点の座標で特定される矩形を認識
対象文字列領域とする（すなわちｘｍｉｎ≦ｘ≦ｘｍａ
ｘとｙｍｉｎ≦ｙ≦ｙｍａｘを共に満たす領域）。

【００５８】ここで、表示部３で表示されている画像１
７上に文字認識対象領域を枠で囲んだり、該当部分の色
をかえて表示したりさらに文字部や背景部をそれらとは
違う色で塗りつぶして表示するようにしてもよい。

【００５９】上述した方法による一点指示により文字認
識対象領域が正しく抽出されない場合には、ポインティ
ングデバイスを用いて、表示部３で表示されている画像
１７上における所望の文字列の最左上端と最右下端の２
点をポインティングデバイスして指示する、従来の「２
点指示」を用いれば、認識対象文字列領域を指示するこ
とができる。このとき、指示された領域が縦長（ｗ＜
ｈ）の場合では、認識対象文字列は縦書きであると見な
し、横長（ｗ≧ｈ）の場合では、認識対象文字列は横書
きであると見なす。ただし、ｗ：認識対象文字列領域の
横幅、ｈ：認識対象文字列領域の縦幅とする。

【００６０】次に、ポインティングデバイスとして、例
えば図１０に示すマウスを用いたときその位置座標の指
示について説明する。

【００６１】図において、２４はマウス本体で、この本
体２４に設けられる左ボタン２５は一点指示により文字
認識対象領域を指定するときに用いられ、中ボタン２６
は指定された領域に対して文字認識を行い画像を自動的
にコード化するときに用いられ、右ボタン２７は二点指
示により文字認識対象領域を指定するときに用いられる
ようになっている。そして、このようなマウスの各ボタ
ンを押すことによって生じる制御信号に関する論理は以
下の通りである。

【００６２】（１）「左ボタン２５」を押して次ぎに
「中ボタン２６」を押す。１点指示により文字認識対象
領域が指定され、その対象領域内部のパターンが認識さ
れコード化される。

【００６３】（２）「左ボタン２５」を押し続ける。最
後の１点指示により確定した領域を文字認識対象領域と
する。

【００６４】（３）「左ボタン２５」を押して「右ボタ
ン２７」を押す。１点指示モードが解除され２点指示モ
ードとなる。

【００６５】（４）「右ボタン２７」を押して「左ボタ
ン２５」を押す。２点指示モードが解除され１点指示モ
ードとなる。

【００６６】（５）「右ボタン２７」を押し続ける。最
後の２点指示により確定した領域を文字認識対象領域と
する。

【００６７】（６）「中ボタン２６」を押す。予め１回
以上「左ボタン２５」を押してある場合と２回以上「右
ボタン２７」を押してある場合以外は無効とする。

【００６８】この他に、上記（２）の「左ボタン２５」
を押し続けたとき、例えば文字列領域の候補が「左ボタ
ン２５」を押した回数だけ抽出され、それを表示部３に
表示するようにしてもよい。例えば、図１１（ａ）に示
すような文字列において図中Ｐ１の位置で左ボタン２７
を一回押したとき図１１（ｂ）が文字列領域候補として
表示され、２回押したとき図１１（ｃ）が文字列領域候
補として表示されるように徐々に文字列領域を拡大して
いくようにしてもよい。このとき、逐次抽出される文字
列領域候補が所望の文字列領域と合致する時点で中ボタ
ン２６を押すことにより文字認識処理が実施されるよう
になる。

【００６９】このようにして文字認識処理対象文字列が
抽出され、さらにポインティングデバイスによる文字認
識機能作動の信号が発生させられた状態で、文字認識部
８が起動される。この場合、認識対象文字列領域では、
文字候補矩形が生成されているので、各矩形ごとにその
文字パターンを文字認識部８に供給する。このとき、左
右における文字候補矩形のパターン統合は基本的に行わ
ない。この結果、例えば「動」のような文字は「重」と
「力」のような２つのパターンとして抽出される。この
ようにして抽出される２つのパターンは１文字である可
能性と、２文字である可能性とを持っているので、この
２つの可能性についてそれぞれ考慮することが必要とな
る。従ってこのような場合には、例えば複数の切り出し
候補のすべてに対して文字認識を行い、最後に文脈的な
整合性を評価して何れかに決定するようにすれば良い。
また逆に、複数の文字が接触しているような文字パター
ンも存在する。このような文字パターン、例えば図１２
（ａ）に示すような文字パターンに対しては、同図
（ｂ）に示すように文字パターンを構成する黒画素の文
字列と垂直な方向の周辺分布（射影成分）ｆの極小点を
取る位置を、接触した複数の文字パターンの境界位置で
あると判定する。しかる後、この該境界位置の付近のパ
ターン形状を調査し、境界位置の間近の凹み部位を当該
文字列パターンの切断箇所であると判定し、その切断箇
所にて前記文字列パターンを切り分けることによって個
々の文字列パターンを切り出す。

【００７０】しかして、個々の文字パターンが切り出さ
れると、次には各文字パターンを、そのパターンが帰属
する可能性のある文字のカテゴリと対応付ける。この対
応付けは、例えば複合類似度法のように、統計的に作成
された標準パターンと未知パターンとの重ね合わせによ
る一致度を算出する等して行われる。この結果、未知パ
ターンと対応付けられる第１位から第Ｍ位までの文字カ
テゴリを、その一致度の高いものから順に当該文字カテ
ゴリのコードと上記一致度と共にリスト化して出力す
る。上記リストは表示部３に表示され、オペレータが操
作部１を操作しながら、誤認識結果を修正するようにな
る。

【００７１】そして、このような処理により、入力文書
のタイトルあるいはキーワードが確定したならば、その
文字列コードを、記憶部１２に既に格納してある前記圧
縮された入力画像と関連づけて光ディスク１１に格納し
てファイリング処理を終了することになる。

【００７２】ここで、光ディスク１１に格納されるデー
タは入力画像そのものでなくても良く、その一部分や認
識結果等の加工データであってもよい。

【００７３】従って、このようにすれば、入力画像上の
任意の位置に記載されている所望の文字列上の一点を指
示するだけで、適当な領域の設定とともに、領域内の入
力画像の文字列成分の並び方向が判定され、この判定に
基づいて文字列成分の並び方向に沿って領域が拡大され
て、この拡大領域の文字列成分について文字認識および
コード化が実行され、このコード化された文字列をキー
ワードとして入力画像のファイリングが行われるように
なるので、入力画像の検索に用いるタイトル情報などの
キーワードを効率よく入力でき、オペレータに対する作
業負担を軽減することができるようになる。

【００７４】（第２実施例）上述した第１実施例では入
力された文書ごとに利用者が「入力文書のキーワードあ
るいはタイトルとなりうる文字列領域」をポインティン
グデバイスで指示するようにしているが、この作業は大
量の入力文書をファイリングする場合には煩雑に感じら
れることがある。

【００７５】ところで、入力文書がほぼ同じ書式である
場合には、「入力文書のキーワードあるいはタイトルと
なりうる文字列領域」が、文書中のほぼ決まった位置に
あることが予想され、一枚の文書のその領域がわかれば
それを他の文書でも流用できると思われる。

【００７６】そこで、第２実施例では、「キーワードあ
るいはタイトルに相当する文字列」が多数の文書におい
ても大体同じ位置にある場合、最初の画像に対してポイ
ンティングデバイスで認識対象文字列を指示するだけで
他の文書においても認識対象文字列を正しく抽出できる
ようにしている。

【００７７】この場合、１つの文書を代表として選んだ
とき、その入力画像上で、ポインティングデバイスを用
いて所望の文字列領域を指示したときに得られる矩形領
域の左上端の座標値（ｘｍｉｎ，ｙｍｉｎ）と右下端の
座標値（ｘｍａｘ，ｙｍａｘ）をそれぞれ下記の式１
８，式１９，式２０，式２１により変化させる。

【００７８】 この結果、認識対象領域は図１３に示すように、最初の
指示により得られた文字列領域２８に対して左上端の座
標２９、右下端の座標３０で表される拡大した文字列領
域３１として得られ、入力文書に書式の変動や多少の位
置ズレが生じても所望の文字列を正確に抽出することを
可能にしている。

【００７９】そして、他の入力文書に関しては、拡大し
た文字列領域３１に含まれる画像を抽出することにより
所望の文字列を抽出するようになる。このとき、文字列
領域３１の中で、第１実施例と同様に、黒連結成分矩形
を抽出し、その分布を調べることにより、さらに正確な
文字列領域を決定して、その内部の画像を所望の文字列
パターンとして抽出してもよい。

【００８０】また、上述した他に、例えば、最初の指示
により得られた文字列領域２８を入力画像ごとに適応的
に変化させて、所望の文字列領域を決定するようにして
もよい。例えば、入力画像が傾いているため、所望の文
字列パターンが矩形外にはみ出ている場合には、領域２
８の各辺上の座標値に対応する画像がすべて白画素（す
なわち背景部）となるように領域２８を徐々に拡大して
所望の文字列成分を囲む矩形を生成するようにしてもよ
い。また、領域２８の各辺上の座標値に対応する画像が
すでに全て白画素である場合には、徐々に領域を縮小し
て、所望の文字列成分を外接する最小の矩形を生成する
ようにしてもよい。

【００８１】従って、このようにすれば、入力画像にお
けるタイトル領域が定型化しているような場合は、予め
その領域を設定するようにすれば大量の文書で自動的に
タイトル情報をコード化して入力することができるよう
になり、入力コストを大幅に低減させることができる。

【００８２】（第３実施例）上述の第１実施例では、利
用者が画像ファイリング作業中に、表示部３に表示され
た入力文書画像上で直接操作部１を用いて「入力文書に
付与すべきタイトルあるいはキーワードとなるべき文字
列（すなわち認識対象文字列）」を指示または指定する
ものであったが、ここでは、利用者が画像ファイリング
作業前に予め所望の文字列（認識対象文字列）が存在し
うる領域（例えば文書画像中の絶対位置座標）を例えば
フォーマットコントロール等で定義するようにしてい
る。

【００８３】この場合、「所望の文字列が存在しうる領
域」は、予め利用者により例えば２点の座標情報により
矩形領域Ｓとして定義される。そして、画像ファイリン
グ作業時に文書が入力されたとき、この矩形領域Ｓの情
報を用いて以下のように動作する。

【００８４】まず、入力文書についてレイアウト解析処
理または文字列抽出処理を行い、文字列単位あるいは単
語単位で文字パターンを抽出し、それを矩形で表現する
（抽出された文字列矩形群をＳＳとする。） 次いで、「矩形領域Ｓ」と文字列矩形群ＳＳとの間で重
ね合わせを行い、文字列矩形群ＳＳのうち「矩形領域
Ｓ」と重なりを持つ文字列矩形Ｓ′を抽出する。このと
き矩形Ｓ′は、他の矩形と比べて明示的に表示されても
良い。もちろん、文字列矩形群ＳＳすべてを表示しても
良いし、それらを原画像に重ねて表示することは有効で
ある。さらに認識結果をそれらの近傍に表示することも
できる。

【００８５】次に、オペレータが「重なりを持つ文字列
矩形Ｓ′」のうち、所望する文字列に相当する矩形を操
作部１を用いて順次指示する（指示された矩形をＰＲと
する）。そして、この「指示された矩形ＰＲ」におい
て、その内部のパターンを文字認識部８において認識し
てコード化する。認識結果は指示（ポインティング）さ
れた順に格納されることになるが、このとき、認識結果
を逐次、表示部３に表示し、オペレータが操作部１を操
作しながら、誤認識結果を修正できるようにしても良
い。

【００８６】次に、「ポインティングデバイスを用いて
指示することにより得られる座標と矩形ＰＲとの対応関
係」について説明する。この対応関係は、ポインティン
グデバイスにより指示された座標Ｐは、それを含む矩形
のうち最小の矩形に対応するというものである。しか
し、その矩形内に、他の矩形Ｒ′が含まれている場合
（ただし、Ｒ′はＰを含まないこととする）には、矩形
Ｒ′は考慮されないこととする。例を挙げて説明する
と、たとえば図１４に示すように、矩形３２の内部の任
意の一点（例えば３３）を指示すると、矩形３２の内部
のパターンのみを認識するようにする。また、矩形３４
の内部の任意の一点（例えば３５）を指示すると矩形３
４の内部パターンのみを認識するようにする。そして、
矩形３２の内部および矩形３４の内部に含まれない矩形
３６の内部の任意の一点（例えば３７）を指示すると、
矩形３６内部のパターンを全て認識するようにする。こ
のとき、利用者が矩形を指示するとき識別しやすいよう
に、例えば矩形３２と矩形３４（すなわち他の矩形に含
まれる矩形）は、表示部３において実際より多少小さく
表示するようにしてもよい。

【００８７】これらの処理においては、あらかじめ矩形
領域Ｓを決めておかなくてもよい。すなわち、入力画像
全体について、あるいは一部についてレイアウト解析を
行ない、その結果を画面に原画像に重ねあわせて表示
し、その中から認識対象文字列をオペレータが指示でき
るようにしてもよい。

【００８８】そして、このような処理により、入力文書
のタイトルあるいはキーワードが確定したならば、その
文字列コードを、記憶部１２に既に格納してある前記圧
縮された入力画像と関連づけて光ディスク１１に格納し
てファイリング処理を終了する。

【００８９】（第４実施例）図１５は同実施例の概略的
な構成を示すもので、図１と同一部分には同符号を付し
ている。

【００９０】この場合、画像入力部４から入力された文
書（入力画像）は入力画像圧縮部６と文書構造解析部４
２に与えられる。

【００９１】文書構造解析部４２は、入力画像に対して
２値化処理を施し、さらに入力文書画像の文書構造を解
析して、パラグラフや文字列、その他図形成分等を矩形
情報として抽出するようにしている。そして、文書構造
データ作成部４３で、文書構造解析部４２で抽出された
種々の矩形情報を互いに関連づけ、文書構造を表現する
データとして体系づけるようにしている。このとき、文
書構造データの作成結果を表示部３において表示しても
よい。

【００９２】文書構造解析部４２および文書構造データ
作成部４３での処理は、利用者が予め操作部１の操作と
表示部３による情報提示により対話的に作成した知識ベ
ース４５に格納されている入力文書に固有の知識を参照
して実行されるようになっている。

【００９３】そして、認識対象文字列抽出部４４におい
て、知識ベース４５に格納されている入力文書に固有の
知識に基づいて、文書構造データから入力文書のタイト
ルもしくはキーワードに相当する文字列（すなわち文字
認識対象文字列）を抽出するようにしている。このと
き、文字認識対象文字列として抽出された画像を表示部
３において表示するようにしてもよい。

【００９４】なお、４１は知識獲得支援部で、知識ベー
ス４５に格納するべき「入力文書に関する知識」と「文
字認識対象文字列情報に関する情報」を記述および改訂
する作業を支援するものである。

【００９５】その他の構成は、上述した図１と同様なの
で、ここでの説明は省略する。

【００９６】次に、第４実施例の処理動作について説明
する。

【００９７】本装置では、オペレータによって入力され
た画像から、画像に記載されてある「キーワードもしく
はタイトルとなる文字列」を自動的に抽出し、その文字
列領域内のパターンを文字認識し、自動的にコード化し
て入力画像に関連づけてファイリングするようにしてい
る。

【００９８】従って、オペレータが直接「キーワードも
しくはタイトル等」をキー入力する必要がないためファ
イリング作業の省力化を図ることができる。まず入力文
書画像を解析して、文字行成分、単語成分、ブロック
（パラグラフに相当）成分等を抽出し、それらを矩形で
表現する。次いでレイアウト理解処理により矩形間の論
理的な関係を調べることにより、各矩形に「表題、要
約、本文、ヘッダー、フッター、キャプション等」の属
性を割り当てる。この結果、利用者は所望の文字列すな
わち「キーワードもしくはタイトルとなる文字列」をそ
の属性や論理関係（相対的な位置）で指定することが可
能となる。

【００９９】これにより、文字列をその画像中の絶対的
な位置座標で指定する従来方法と比べて柔軟性が高く、
入力画像に多少の位置ズレや書式の変動があっても対応
できるので、同形式の文書を大量にファイリングする場
合、逐次文字列領域を指定しなくても良いという利点が
ある。また、操作性の容易なインターフェイスを用いて
所望の文字列領域を指定することもできるため、トータ
ルな作業時間を従来より短縮することが可能となる。

【０１００】そして、同実施例における画像ファイリン
グ処理は、図１６に示す３つの処理からなっている。

【０１０１】（ａ）入力画像を圧縮する（図示４６）。

【０１０２】（ｂ）入力文書に付与すべきタイトルある
いはキーワードとなるべき文字列を含む領域を入力画像
から自動的に検出し（図示４７）、その領域に含まれる
文字パターンを文字認識処理によりコード化する（図示
４８）。

【０１０３】（ｃ）圧縮入力画像とコード化されたタイ
トルあるいはキーワードを対応付けて光ディスクに登録
する（図示４９）。

【０１０４】ここでの（ａ）の処理は、画像圧縮部６に
おいて実施され、（ｂ）の処理は、文章構造解析部４
２、文書構造データ作成部４３、認識対象文字列抽出部
４４、文字認識部８において実施され、（ｃ）の処理は
登録部１０において実施される。

【０１０５】以下、本発明の要部である（ｂ）の処理
を、図１７に示す処理手続きに従って説明する。

【０１０６】この場合、図１７の処理手続きにおいて、
ステップａからステップｈまでは、文書構造解析部４２
で実施され、ステップｉは文書構造データ作成部４３
で、ステップｊとステップｋは認識対象文字列抽出部４
４で、ステップｌとステップｍは文字認識部８それぞれ
実施される。

【０１０７】いま、画像入力部４から、例えば光学スキ
ャナのような画像入力手段を用いて画像が入力される
と、この入力画像を２値化した後（ステップａ）、その
２値化画像中の微小な孤立点をノイズとして除去する
（ステップｂ）。

【０１０８】次に、２値化画像から例えば各黒画素間の
連結関係を調べることにより、黒連結領域を抽出するラ
ベリング処理を行い、各黒連結領域の外接矩形を抽出す
る（ステップｃ）。このとき各黒連結成分矩形において
左上端の座標値と高さおよび幅（あるいは右下端の座標
値）などをデータとして抽出する。図１８（ａ）に入力
画像データに対する黒連結成分矩形の抽出例を示してい
る。

【０１０９】次に、検出された黒連結成分矩形に対し
て、その形状（例えば幅、高さ、縦横比、黒画素濃度）
を調べることにより各黒連結成分矩形の属性、すなわち
各黒連結成分矩形が、文字列領域中に含まれる矩形（以
後、文字候補矩形とする）、グラフィクス（図形、表、
枠、直線成分）に相当する矩形、写真等のイメージに相
当する矩形及びノイズに相当する矩形のいずれであるか
を決定し、それらを記憶部１２に格納する（ステップ
ｄ）。この黒連結成分矩形の識別処理は、公知の方式に
より実現されてもよい。以後の処理では、文字候補矩形
に着目する。

【０１１０】そして、図１８（ｂ）に示すように文字候
補矩形それぞれの先端位置（あるいは終端位置、あるい
は矩形の横幅すべて）を文字列方向と垂直な方向に射影
することにより周辺分布を求め、この周辺分布形状を解
析することにより入力文書画像の段組後方位置を検出
し、さらに文字候補矩形の先頭（あるいは終端）位置が
文字列方向と垂直な方向に揃っている位置を検出し段組
５０を定義する。そして、これらを文書構造データの一
部として記憶部１２に格納する（ステップｅ）。

【０１１１】段組位置検出処理は上述した他に、例えば
文字列と垂直な方向に延びる連続した空白領域を検出す
ることにより実現してもよい。このとき、入力文書の文
字列方向は、知識ベース４５に格納されている「入力文
書の文書構造に関する情報」を参照することにより知る
ことができる。ただし、この段組位置検出処理は１段組
の文書に対しては特に実行される必要がないので、利用
者が実行すべきか否かを決定することもできる。すなわ
ち段組位置検出処理の実行、非実行に関しては、知識ベ
ース４５に格納されているオペレータが予め定義した
「入力文書の文書構造に関する情報」に記述されてお
り、黒連結成分矩形の識別処理の後にこの知識を参照し
て段組位置検出処理を実行するか否かを決定することが
できる。特に、知識ベース４５において段組位置検出処
理の実行・非実行に関する定義がなされていない場合に
は、本処理を常に実施するようにしてもよい。

【０１１２】段組位置検出処理で得られた段組位置に従
って、文字列方向に文字候補矩形を統合することにより
文字行に相当する矩形（以後、文字行候補矩形とする）
を抽出する（ステップｆ）。すなわち段組が検出されな
い領域では、文字列方向と垂直な方向に重なりがあり、
かつ文字列方向に近接している文字候補矩形を文字列方
向に統合することにより文字行が抽出される。また、段
組が検出されている領域では、その段組位置をまたがら
ないようにして同様に文字候補矩形を文字列方向に統合
することにより文字行候補矩形が抽出される。

【０１１３】図１９に、図１８に示す画像データに対し
て文字行抽出処理を施した例を示す。このときさらに、
各文字行候補矩形において、文字候補矩形間距離を解析
して、近接する文字候補矩形を統合することにより単語
検出を行い、単語候補矩形を生成する（ステップｇ）。
単語候補矩形検出処理は、例えば以下の手順で行われて
も良い。

【０１１４】（１）文字候補矩形間距離を求め、そのヒ
ストグラムを作成する。

【０１１５】（２）ヒストグラムの形状を解析し、単語
内距離と単語間距離を分離するいき値を求める。

【０１１６】（３）このいき値に基づき順に文字候補矩
形間距離を評価し、文字候補矩形を単語として統合する
ことにより単語候補矩形を生成する。

【０１１７】この結果、単語候補矩形は文字行候補矩形
において左から右の方向に順に管理されることになる。
この時点で矩形データは文字候補矩形、単語候補矩形、
文字行候補矩形というように階層的に表現され管理され
ることになる。

【０１１８】次に、図２０に示すように同一段組にあ
り、文字行と垂直な方向に隣接する文字行候補矩形を統
合し、ブロック（パラグラフに相当する）を検出する
（ステップｈ）。このブロック検出処理は、例えば（信
学技報、PRU87-89、pp.51-61、1987. ）に示されている
ような公知の方式によるもので実現されても良い。

【０１１９】このようにブロックが抽出された後、例え
ば（信学技報、PRU87-89、pp.51-61、1987. ）に示され
ているような公知の方式を用いて段組位置とブロックの
物理的な位置関係より、ブロックの順番を決定する。更
にブロックの順番に従って文字行候補矩形の順番を並べ
変える。この時点で、入力文書は文字単位の矩形、単語
単位の矩形、文字行単位の矩形、ブロック単位の矩形で
表現され、ブロック、文字行候補矩形、単語候補矩形、
文字候補矩形における物理的位置関係により階層的に管
理される。ただしこの時点では、各矩形は、座標情報や
大きさ等の情報しか持っていない。そして、前記ブロッ
クと文字行候補矩形それぞれの物理的な位置関係、順
番、論理関係、文字候補矩形以外の属性を持つ黒連結成
分矩形（例えば図・写真など）の位置や大きさ及び文字
候補矩形との相互関係等に基づいてレイアウト解析処理
を行うことにより矩形間の意味的接続関係を獲得し、各
矩形に「表題」、「要約」、「本文」、「ヘッダー」、
「フッター」、「キャプション」等の属性を割り当てる
（ステップｉ）。

【０１２０】この場合、図２１（ａ）に示すような矩形
群は、同図（ｂ）に示す木構造で表現され、さらにブロ
ック内で文字行候補矩形が、また文字行候補矩形内では
単語候補矩形が、また単語候補矩形内では文字候補矩形
がそれぞれ木構造で表現されている。このようにして得
られたデータは、文書構造データとして記憶部１２に格
納する。

【０１２１】以上の処理により、入力画像から単語、文
字列、ブロックに関して、属性情報と意味的接続関係情
報と物理的位置関係情報が得られたことになる。ここで
のレイアウト解析処理は、例えば「Tsujimoto,S., and
Asada, H. :"UnderstandingMulti-articled Document
s", in Proc. 10th Int. Conf. Pattern Recognition,p
p.551-556, 1990.」に示されているような公知の方式を
用いてもよい。

【０１２２】入力画像に付与すべきタイトルもしくはキ
ーワードに相当する文字列の抽出は、認識対象文字列抽
出部４４において、あらかじめオペレータにより定義さ
れている知識ベース４５を参照して、記憶部１２に格納
されている木構造の文書構造データから所望の文字列に
相当する矩形を抽出することにより実現される（ステッ
プｊ）。そして、知識ベース４５には、入力文書のタイ
トルもしくはキーワードと見なすことができる文字列領
域がオペレータにより記述される。すなわち、オペレー
タは所望の入力画像のキーワードに相当する文字列を知
識ベース４５で、属性、意味的接続関係、物理的位置に
関する情報により定義している。このことより、所望の
文字列は、「属性情報」、「意味的接続関係情報」、
「物理的位置情報」のいずれを用いても抽出することが
可能となる。

【０１２３】例えば、図２５に示すような文書において
題目（１）を抽出したい場合、知識ベース４５に「題
目」を抽出するように記述しておけば、認識対象文字列
抽出部４４では、記憶部１２に格納されている木構造で
表現されている文書構造データを探索して「題目」の属
性の付いた矩形をすべて抽出する。このとき、入力文書
ごとに、表示部３において、文字認識処理対象となる文
字列領域を表示してもよい（ステップｋ）。また、その
文字列領域が正しく抽出されていない場合あるいは抽出
すべき文字列を含む複数の文字列領域が抽出されている
場合などには、操作部１のマウスなどのによりオペレー
タが正しい文字列領域を指示または指定する（実際の画
像を囲む）ようにしてもよい。

【０１２４】このようにして文字認識処理対象文字列が
抽出されたら、次にその文字列領域から個々の文字パタ
ーンを切り出す。この処理は、既にステップｃで抽出さ
れている近接する連続黒画素領域同士を統合して文字パ
ターンとすることにより実現される。この近接を評価す
るためには距離に関するしきい値を設定し、文字の上下
方向の近接する文字素を統合して１つの文字パターンと
する。この結果、例えば「ｉ」や「％」のような分離文
字は一つに統合されて抽出される。尚、左右における文
字素のパターン統合は基本的に行わない。この結果、例
えば「動」のような文字は「重」と「力」のような２つ
のパターンとして抽出される。このようにして抽出され
る２つのパターンは１文字である可能性と、２文字であ
る可能性とを持っているので、この２つの可能性につい
てそれぞれ考慮することが必要となる。従ってこのよう
な場合には、例えば複数の切り出し候補のすべてに対し
て文字認識を行い、最後に文脈的な整合性を評価して何
れかに決定するようにすればよい。また逆に、複数の文
字が接触しているような文字パターンも存在する。この
ような文字パターン、例えば図２２（ａ）に示すような
文字パターンに対しては、同図（ｂ）に示すように文字
パターンを構成する黒画素の文字列と垂直な方向の周辺
分布（射影成分）ｆの極小点を取る位置を、接触した複
数の文字パターンの境界位置であると判定する。しかる
後、この該境界位置の付近のパターン形状を調査し、境
界位置の間近の凹み部位を当該文字列パターンの切断箇
所であると判定し、その切断箇所にて前記文字列パター
ンを切り分けることによって個々の文字列パターンを切
り出すようになる。

【０１２５】このようにして個々の文字パターンが切り
出されると、次には各文字パターンを、そのパターンが
帰属する可能性のある文字のカテゴリと対応付ける。こ
の対応付けは、例えば複合類似度法のように、統計的に
作成された標準パターンと未知パターンとの重ね合わせ
による一致度を算出する等して行われる（ステップ
ｌ）。この結果、未知パターンと対応付けられる第１位
から第Ｍ位までの文字がカテゴリを、その一致の高いも
のから順に当該文字カテゴリのコードと上記一致度と共
にリス化して出力する。上記リストは前記「表示部」２
に表示され（ステップｍ）、利用者が前記「操作部」１
を操作しながら、認識結果を修正するようにしてもよ
い。

【０１２６】上述の処理で入力文書のタイトルあるいは
キーワードが確定したならば、その文字列コードを、記
憶部１２に既に格納してある圧縮された入力画像と関連
づけて光ディスク１１に格納してファイリング処理を終
了する。格納されるデータは入力画像そのものでなくて
もよく、それの一部分やあ認識結果等の加工データであ
っても良い。

【０１２７】ここで、知識ベース４５について具体的に
説明する。この知識ベース４５には、同一の書式もしく
は構造を持つ文書ごとにオペレータが作成した「文書構
造に関する情報」と「入力画像中に存在する入力文書の
タイトルもしくはキーワードに相当する文字列情報に関
する情報」がそれぞれ格納されている。これらの知識
は、画像ファイリング作業が行われる前に、オペレータ
が知識獲得支援部４１を起動し、操作部１の操作と表示
部３による情報提示により対話的に作成するものであ
る。また、オペレータは画像ファイリング作業時に知識
ベース４５から定義済みの入力文書に応じた「文書構造
に関する情報」と「入力画像中に存在する入力文書のタ
イトルもしくはキーワードに相当する文字列情報に関す
る情報」を選択あるいは新たに作成する。画像入力作業
時における文書構造解析及び理解処理と文字認識対象文
字列の抽出処理は、この知識を参照しながら実行され
る。

【０１２８】「文書構造に関する情報」では、例えば ・入力文書の文字列方向（垂直方向、水平方向） ・入力文書の構造（段組数） ・入力文書のサイズ（Ａ４、Ｂ４など） ・入力文書の属性（テキスト、表、図など） などが定義されており、「入力画像中に存在する入力文
書のタイトルもしくはキーワードに相当する文字列情報
に関する情報」では、入力文書中に存在する文字認識対
象文字列領域が定義されている。

【０１２９】次に、知識ベース４５の作成に用いられる
知識獲得支援部４１について説明する。知識獲得支援部
４１は、オペレータが画像ファイリング処理を行う前に
知識ベース４５を構築するとき、オペレータによって起
動される処理部であり、ファイリング処理時には動作し
ないようになっている。知識獲得支援部４１では、入力
文書に対する「文書構造に関する情報」と「入力画像中
に存在する入力文書のタイトルもしくはキーワードに相
当する文字列情報に関する情報」の定義、修正、追加、
変更、確認、評価等を、オペレータが操作部１の操作と
表示部３による情報提示により対話的に行うことができ
るようになっている。知識獲得支援部４１における知識
の対話設計では、例えばオペレータは、文字列領域を定
義するために文字数や文字が存在している座標位置など
の煩雑な情報を設定する必要がなく、簡単に文書構造や
文字列位置を定義することが可能である。オペレータが
知識を定義して知識ベース４５を構築するときに、知識
獲得支援部４１がオペレータに提示する外部表現は例え
ば、図２３に示すような画面５１に対してウインドウ５
２が考えられ、またパネル形式も考えられる。ウインド
ウ５２は、例えば図２４に示すように画面５１の上部
（下部あるいは左端あるいは右端）にアイコン形式で表
示されているアイコン５３を操作部１のマウスなどで指
示することにより、画面の任意の位置に表示される。文
書構造あるいは文字認識対象領域の定義に用いられるウ
インドウはスクロール可能な１枚のウインドウで構成さ
れていてもよいし、段階的に順次表示されるような複数
のウインドウで構成されていてもよい。スクロール可能
な１枚のウインドウで、文書構造あるいは文字認識対象
領域の定義に用いられるウインドウを構成している場合
には、オペレータはウインドウにおける指示に従って上
から順に文書構造及び文字認識対象文字列領域を定義し
ていく。また、複数のウインドウで、文書構造及び文字
認識対象領域の定義に用いられるウインドウを構成して
いる場合には、利用者はまず入力文書の文書構造に関す
る定義を一つのウインドウで行った後、次に文字認識対
象文字列領域に関する定義を順次新たに発生するウイン
ドウで定義する。この場合、各ウインドウは前段階の定
義が終了する度ごとに、自動的に発生するようにしても
よい。

【０１３０】次に、図２５に示す実際の文書の例を用い
て知識獲得支援部４１により「文書構造に関する情報」
と「文字認識対象文字列情報に関する情報」を定義する
場合を説明する。

【０１３１】図２５は、「情報処理学会論文誌」の表題
頁である。表題頁には題目や著者名、要約などが必ず記
載され、また本文の一部も記載される。この文書を画像
として蓄積する場合、検索用のインデックス（すなわち
入力画像のタイトル）を画像に付与する必要がある。こ
のような文字列を自動的に抽出するためには、その文字
列領域を予め定義しなければならないが、本発明を用い
ると簡単な操作でそれが可能となる。ここでは、図２５
の入力画像の文書構造と、同図中の題目（１）の文字列
領域を本発明を用いて定義することにする。

【０１３２】オペレータが入力画像の文書構造と文字認
識対象文字列を定義するためには、まず図２４に示すア
イコン５３を操作部１のマウス等で指示しなければなら
ない。その結果、表示部３の画面上に、まず、図２６に
示すようなウインドウ５２ａが表示される。

【０１３３】オペレータは、このウインドウ５２ａにお
いて、項目（１）を選択すると既に定義済みの「文書構
造及び文字認識対象文字列に関する知識」を入力文書に
適用することができる。また、項目（４）を選択する
と、新たに入力文書の「文書構造及び文字認識対象文字
列に関する知識」を図２８から図３２に示すウインドウ
５２ｃからウインドウ５２ｇまでを用いて定義すること
ができる。

【０１３４】ここで図２６に示すウインドウ５２ａで項
目（１）を選択すると、ウインドウ５２ａが表示部３か
ら消滅し、図２７に示すウインドウ５２ｂが表示部３の
画面上に表示される。そして、このウインドウ５２ｂの
項目（２）を選択すると、図２８から図３２に示すウイ
ンドウ５２ｃからウインドウ５２ｇが順次表示されパラ
メータの一部を変更して入力文書に適用することができ
る。また、ウインドウ５２ｂの項目（３）を選択すると
定義済みの「文書構造及び文字認識対象文字列に関する
知識」をそのまま入力文書に適用することができる。こ
の場合、入力文書に対する「文書構造及び文字認識対象
文字列に関する知識」の定義はこれで終了となる。

【０１３５】ここでは、図２６に示すウインドウ５２ａ
の項目（４）を選択して図２５の文書に対して新しく
「文書構造及び文字認識対象文字列に関する知識」定義
することにする。

【０１３６】なお、各ウインドウにおいて、記述されて
いる各項目を選択するには、操作部１のマウス等を用い
て、各項目の先頭に記載された白抜きの角印を指示する
ようにする。この場合、白抜きの角印を指示すると黒色
の角印に変化し、この状態で下線付きの空白部に情報を
記入すると、この入力情報は入力文書に関する知識とし
て採用されるようになる。また、黒色の角印を指示する
と白抜きの角印に変化し、下線付きの空白部に記入され
ていた情報はキャンセルされ（下線部は再び空白とな
る）、オペレータは新たな情報を記入することができる
ようになる。

【０１３７】ここで、図２６に示すウインドウ５２ａの
項目（４）を選択すると、ウインドウ５２ａは表示部３
から消滅し、図２８に示すウインドウ５２ｃが表示部３
の画面上に表示される。オペレータはこのウインドウ５
２ｃを用いて入力画像の文書構造を定義することにな
る。

【０１３８】ウインドウ５２ｃに対してオペレータは、
上の項目から順に選択するとともに、各項目の下線付き
空白部に操作部１のキーボード等により所定の情報を記
入する。この場合、項目（５）は文書の文字列方向の定
義に関する項目である。図２５に示す文書は横書きなの
で、利用者は項目（５）において横書きをマウス等で指
示すればよい。図１７の処理手続きにおける文字行抽出
処理（ステップｆ）は、この情報に基づいて黒連結成分
矩形を統合し文字行を抽出するようになる。

【０１３９】項目（６）は、入力文書の段組数の定義に
関する項目である。図２５に示す文書は２段組であるの
で、オペレータは項目（６）の下線付き空白部に「２」
を記入すれば良い。ここで下線付き空白部に「２」以上
を記入した場合のみ図１７の処理手続きにおいて段組抽
出処理（ステップｅ）が実施される。

【０１４０】項目（７）は、入力文書のサイズの定義に
関する項目である。図２５に示す入力文書はＢ５サイズ
であるので、オペレータは項目（７）の下線付き空白部
に「Ｂ５」を記入すれば良い。項目（８）は、入力文書
の属性の定義に関する項目である。入力文書は主にテキ
ストデータから構成されているので、オペレータは項目
（８）において「テキスト」をマウス等で指示すれば良
い。ここで例えば「表」が選択される場合には、ファイ
リング処理における文書構造解析処理で表検出処理と表
構造解析処理が実施される。また図面が選択される場合
には段組検出処理（ステップｅ）とブロック検出処理
（ステップｈ）が行われず、図面に対応した文字列抽出
処理が実施される。項目（９）をマウス等で指示した場
合には、ウインドウ５２ｃがオープンされてからこのウ
インドウ上で定義したすべての情報をキャンセルするこ
とができる。このウインドウ５２ｃにおける文書構造の
定義を終了したい場合には、最後に項目（１０）をマウ
ス等で指示すると、ウインドウ５２ｃが表示部３の画面
上から消滅し、ウインドウ５２ｄが画面上に表示され、
文書認識対象領域の定義ができるようになる。このと
き、ウインドウ５２ｃにおいて項目（５）から（８）ま
での内一つでも選択漏れや記入漏れが生じている場合に
は、表示部３において「ウインドウにおける定義が適切
出はありません。定義をやり直してください」というよ
うな警告メッセージを表示するようにしてもよい。

【０１４１】図２５に示す文書における題目（１）の文
字列領域を定義するために、まず図２９に示すウインド
ウ５２ｄで文字列領域抽出処理範囲を定義する。

【０１４２】ここで、項目（４１）を選択すると、所望
の文字列を属性で定義することができる。このとき、図
３３に示すウインドウ５２ｈが画面上に表示され、所望
の文字列の属性に相当する項目を選択すればよい。題目
（１）に関しては、これで定義を終了できるが、さらに
位置座標情報による定義についても説明する。

【０１４３】この場合、図２８に示すウインドウ５２ｃ
の項目（６）で段組数を「２」と定義したので、この図
２９に示すウインドウ５２ｄでは項目（１１）を選択す
ればよい。他に、上述ウインドウ５２ｃで項目（６）に
おいて段組数を「１」と設定しておけば、ウインドウ５
２ｄでは項目（１２）を選択し「全体を垂直方向に３分
割した内の上から１番目までを文字列領域抽出処理範囲
とする」と定義すると、ファイリング処理時における文
書構造解析処理は全体の３分の１の領域（上部）につい
てのみ実施される。また、図２９に示すウインドウ５２
ｄでは他に、項目（１３）を選択すると図３４のような
抽出処理範囲の定義が可能であるし、また項目（１４）
を選択すると任意の２点の絶対座標を頂点とする矩形に
よる抽出処理範囲の定義が可能である。ここでの項目選
択は以下のウインドウにおける定義に曖昧さを残さない
ために（１１）から（１４）までの内の１つの項目を１
回しか選択できない。このウインドウ５２ｄにおける定
義を終了したい場合には、最後に項目（１６）をマウス
等で指示すると、ウインドウ５２ｄが表示部３の画面上
から消滅し、図３０に示すウインドウ５２ｅが画面上に
表示され文字認識対象文字列領域について更に詳細な定
義が可能となる。オペレータは、このウインドウ５２ｅ
により文字認識対象文字列を含むブロックの領域に関す
る定義を行うようになる。

【０１４４】図３０に示すウインドウ５２ｅの項目（１
７）は、図１７の処理手続きにおけるブロック検出処理
（ステップｈ）で参照されるパラメータを定義する項目
である。オペレータは、図２５に示す入力文書におい
て、ブロック間のセパレータと見なしうる空白領域の幅
の下限を測定し、その大きさをmm単位で項目（１７）の
下線付き空白部に記入する。

【０１４５】ここで、図２５の入力文書について６mmが
妥当であるとすると項目（１７）の下線付き空白部に
「６」を記入すればよい。項目（１８）は、文字認識対
象文字列が含まれるブロックの領域を定義するところで
ある。文書構造解析処理で自動的にブロックが検出され
順番付けされるが、利用者はどのブロックに文字認識対
象文字列が含まれるかを推測し、項目（１８）の下線付
き空白部に記入する。例えば図２５の題目（１）は２番
目のブロックに含まれるので利用者は「２」を項目（１
８）の下線付き空白部に記入する。ここでの項目選択は
以下のウインドウにおける定義に曖昧さを残さないため
に一つのブロックしか定義できないようになっている。
また、項目（１７）を選択せず項目（１８）を選択した
場合には項目（１７）の下線付き空白部にはαmmあるい
は、入力文書の平均文字行幅のβ倍がセットされる。こ
こで、項目（１８）が利用者によって選択されない場合
には、図１７の処理手続きにおけるブロック抽出処理
（ステップｈ）実施されない。あるいは、常に実施され
るようになっていてもよい。

【０１４６】その後、図３０に示すウインドウ５２ｅに
おける定義を終了したい場合には、最後に項目（２０）
をマウス等で指示すると、ウインドウ５２ｅが表示部３
の画面上から消滅し、図３１に示すウインドウ５２ｆが
画面上に表示され文字認識対象文字列領域について更に
詳細な定義が可能となる。

【０１４７】このウインドウ５２ｆは，それまでに定義
された文字認識対象文字列抽出範囲の中の文字認識対象
文字列領域を定義するためのものである。図２５の題目
（１）の文字列領域を決定するためには項目（２１）か
ら（３０）までのうち、オペレータは項目（２１）を選
択すればよい。すなわち上述の題目（１）は２番目のブ
ロックに含まれる全ての文字（列）で構成されているの
で、それら全ての文字を認識してコード化する必要があ
る。

【０１４８】図２５の示す文書に関するウインドウを用
いた文字列領域の定義は、これで完了となる。

【０１４９】次に、その他の項目（２２）から（３０）
について、これらで定義できる文字列領域の種類につい
て説明する。

【０１５０】項目（２２）は、ある領域（それまでに定
義した文字認識対象文字列が存在する領域）内の連続す
る複数（或いは１つ）の文字行領域を文字認識対象文字
行と定義することができる。項目（２３）は、ある領域
内の任意の罫線の前後に存在する連続した複数（或いは
１行）の文字列を文字認識対象文字列と定義することが
できる。例えば図２５の書誌事項（２）に含まれる文字
行領域を項目（２３）で定義することができる。項目
（２４）は、ある領域内に含まれる２本の罫線に囲まれ
る連続する複数（或いは一つの）文字列を認識対象文字
列領域と定義することができる。項目（２５）は、ある
領域内に含まれる文字列のうちその文字列幅（横書き文
字列なら縦幅、縦書き文字列なら横幅）が下線付き空白
部に記入した数値の範囲内に含まれるものを認識対象文
字列と定義することができる。例えば図２５の題目
（１）の文字列について、例えば、下線付き空白部に
「３．５」と「５」のように順に入力する事によりその
文字列領域を定義することができる。項目（２６）は、
ある領域に含まれるアンダーラインの引かれた複数（或
いは１つ）の文字列を認識対象文字列領域であると定義
することができる。項目（２７）は、ある領域の矩形に
囲まれた連続する複数（或いは１つ）の文字行を認識対
象文字列領域と定義することができる。項目（２８）
は、ある領域に含まれる白抜き文字列を認識対象文字列
とすることができる。この項目（２８）が選択される
と、図１７の処理手続きの文字行抽出処理（ステップ
ｆ）において抽出された文字行候補矩形のうち、（黒画
素の量／白画素の量）がγ以上である文字行を白抜き文
字行として抽出し、更に黒画素を反転させて通常の文字
行と同様に扱えるようにする。項目（２９）は、これま
での項目（２１）から（２８）までにおいて定義した認
識対象文字列領域に含まれる文字列のうち、利用者がキ
ーボード等から下線付き空白部に記入した文字列を含ん
だ文字行を認識対象文字列と定義することができる。こ
の項目（２９）が定義されると、図１７の処理手続きの
文字認識処理（ステップ１）においてそれまでに定義さ
れた対象文字列領域に含まれる全ての文字パターンを認
識して、更にその中から利用者が指定した文字列を含む
文字行を抽出する。このとき項目（２９）の（含、除
去）において「含」をマウス等で指示すれば利用者が指
定した文字列を含んだ全ての文字コードを登録すること
ができ、「除去」をマウス等で指示すれば利用者が指定
した文字列を除いた全ての文字コードを登録することが
できる。項目（３０）は、項目（２１）から（２９）ま
での何れかにおいて、入力文書のある１行を認識対象文
字列領域と定義した場合のみ選択できる項目である。す
なわち、項目（２１）から（２９）までの何れかを選択
し、更に認識対象文字列として複数行を定義した場合に
は項目（３０）を選択することはできない（このとき項
目（３０）を選択すると再定義を促す警告メッセージが
表示部３の任意の位置に表示される）。この項目（３
０）を選択すると利用者が指定した単語のみを認識対象
文字列と定義することができる。

【０１５１】このように上述の各項目（２１）から（３
１）は、それ以前の項目（１）から（２０）までで定義
された各領域に含まれる文字列に対して、認識対象文字
列領域を定義することができる。従って、新たに別の領
域を定義する場合には、項目（３２）をマウス等で指示
する必要がある。項目（３２）を指示すると図２９に示
すウインドウ５２ｄが再び表示され、定義作業を続ける
ことができる。

【０１５２】全ての定義を終了する場合には、図３１に
示すウインドウ５２ｆにおいて、まず項目（３３）をマ
ウス等で選択し、それまで定義した情報を入力文書に対
する「文書構造に関する情報」および「入力画像中に存
在する入力文書のタイトルもしくはキーワードに相当す
る文字列情報に関する情報」として知識ベース４５に格
納する。

【０１５３】そして、最後に項目（３４）を指示すると
ウインドウ５２ｆが表示部３の画面上から消滅し、図３
２に示すウインドウ５２ｇが画面上に表示される。ウイ
ンドウ５２ｆでは、定義済みの知識を入力文書に適用す
るときの種々の条件設定を行うもので、項目（３５）及
び項目（３６）は、複数枚の文書を連続処理する場合に
定義済みの知識を適用する文書の位置を決めるためのも
ので、項目（３５）は対象文書がまとまって入力される
ときに選択し、項目（３６）は対象文書がとびとびに入
力されるときに選択するようにしている。両方の項目と
も「複」を指示すると一回の選択で複数回の定義が可能
である。項目（３７）は、ファイリング作業中に表示部
３に表示された入力画像あるいは矩形情報で表現された
文書構造データ上に文字認識対象文字列領域の表示する
場合に選択するものであり、項目（３８）は、ファイリ
ング作業中に表示部３において文字認識結果の表示し、
修正作業を行う場合に選択するものである。そして、項
目（４０）を選択すると、図３３に示すようなファイリ
ング作業に関するメニューが表示され、ファイリング処
理のための準備が完了する。

【０１５４】ここで、上述した各ウインドウ５２ａ〜５
２ｇは、上述した表示方法の他に、図３５に示すように
各ウインドウ５２ａ〜５２ｇがオーバラップされ、必要
に応じて各ウインドウをマウス等で指示し、該当ウイン
ドウを手前に表示し定義するようにしてもよいし、、図
３６に示すようにタイル形式で表示し、各ウインドウ５
２ａ〜５２ｇで定義するようにしてもよい。また、上述
のごとく記述された認識対象文字列の領域に関する定義
について、知識獲得支援部４１でその内容に「重複」や
「矛盾」があるかどうかをチェックするようにしてもよ
い。さらに、知識獲得支援部４１の起動等を制御するメ
ニューにおいて「テスト」を操作部１で選択すると、オ
ペレータが定義した「入力文書中に存在する入力文書の
タイトルもしくはキーワードに相当する文字列情報に関
する情報」が所望通り定義されているか否かをサンプル
文書により確認することができるようにしてもよい。

【０１５５】従って、このようにすれば、入力画像から
抽出した文字列成分を所定の関係で統合したブロックに
ついて物理的な位置および大きさを解析し、各ブロック
間の意味的接続関係を獲得し、さらに各ブロックに対す
る属性情報を付与して、これら意味的接続関係や属性情
報により入力画像のタイトルもしくはキーワードに相当
する任意の位置に記載されている文字列成分を正確に検
出できるようになるので、多種多様な書式を持つ文書に
ついても一括して自動的に検索タイトルを付与しながら
ファイリングできることになる。また、入力文書に記載
されているタイトル文字列に関する情報の設定は、表示
部での適切な表示により装置と対話的に行うことがで
き、オペレータのファイリング処理に関する作業を大幅
に軽減することができる。

【０１５６】なお、上述した第４実施例では、知識ベー
ス４５に格納されている「入力文書の文書構造に関する
情報」として（１）入力文書の文字列方向、（２）入力
文書の構造（段組等）、（３）入力文書のサイズ、
（４）入力文書の属性などが定義され、「入力文書中に
存在する入力文書のタイトルもしくはキーワードに相当
する文字列情報に関する情報」では文字認識対象列領域
が定義されているが、上記の他に入力文書の種類とそれ
に対応して、入力文書画像のキーワードもしくはタイト
ルとなるべき文字列（矩形）の属性（すなわち「表
題」、「要約」、「本文」、「ヘッダー」、「フッタ
ー」、「キャプション」の何れか）を知識として格納す
るようにしてもよい。この場合、画像ファイリング作業
時にオペレータは入力文書ごとに文書の種類を入力す
る。このとき、認識対象文字列抽出部４４では、オペレ
ータによって入力された入力文書の種類と知識ベース４
５を照合して、抽出すべき文字列（すなわち文書構造デ
ータ中の矩形）の属性を獲得した後、レイアウト解析処
理により得られた入力文書の文書構造データ群（記憶部
１２に格納されている）から妥当な矩形（文字列領域）
を抽出するようになる。

【０１５７】また、上述の第４実施例では、知識ベース
４５を構築するために知識獲得支援部４１を用いる必要
があったが、「入力文書中に存在する入力文書のタイト
ルもしくはキーワードに相当する文字列情報に関する情
報」を第４実施例よりも容易に、知識獲得支援部４１を
用いずに定義するようにもできる。この方法を以下に説
明する。この方法は同形式の文書を大量にファイリング
する場合に有効である。

【０１５８】まず、サンプル文書１枚を入力し、その文
書のレイアウト構造を理解する事により文書構造データ
を抽出し、この結果を図３７に示すように表示部３の画
面５４上に、単語単位の文書構造データ５５、文字行単
位の文書構造データ５６、ブロック単位の文書構造デー
タ５７としてそれぞれ表示する。そして、オペレータ
は、表示されたものの内「入力文書に付与すべきタイト
ルあるいはキーワードとなるべき文字列領域」と見なす
ことのできるものをマウス等で指示する事により「入力
文書中に存在する入力文書のタイトルもしくはキーワー
ドに相当する文字列情報に関する情報」を作成するよう
にしている。すなわち、マウス等で指示されたものに関
する「属性」や「位置」、「大きさ」、「順番」、「論
理関係」、「相互関係」等が自動的に抽出され、体系づ
けられて「入力文書中に存在する入力文書のタイトルも
しくはキーワードに相当する文字列情報に関する情報」
として知識ベース４５に格納されるようになる。

【０１５９】（第５実施例）本実施例では、入力画像中
に存在するタイトルやキーワードに相当するキーワード
画像情報について文字認識により得られた各文字認識候
補を特定することなく、この文字認識候補のままで保存
しておき、画像検索の際に複数認識候補の中から最も相
応しい認識結果を画像のタイトルやキーワードとして選
択するようにしたものである。

【０１６０】図３８は、キ―ワ―ド画像の登録までを説
明するもので、ここでは、入力図面に対してキ―ワ―ド
を付加して光ディスクなどの登録するものを示してい
る。

【０１６１】この場合、入力図面６１は、スキャナ等の
画像入力装置６２より画像操作することで画像デ―タベ
―ス６３に格納されるようになる。ここで、画像はディ
スプレ６４に表示され，オペレ―タは入力画像のキ―ワ
―ドとして登録したい領域をマウスなどを用いて指示を
するようになる。

【０１６２】図３９はキ―ワ―ド領域を登録する際の画
面の１例を示している。この場合、ディスプレ６４に表
示された入力図面の画像６４１に対してキ―ワ―ド領域
６４２を示している。この場合のキ―ワ―ド領域６４２
としては、あらかじめ登録されたキ―ワ―ド位置、ある
いは自動検出またはマウスによる直接指定などの操作に
よるキ―ワ―ド位置が与えられる。

【０１６３】画像デ―タベ―ス６３に格納され入力画像
から切り出されたキ―ワ―ド画像６５は、文字認識装置
６６に送られ、ここで文字認識が行われる。そして、そ
の認識候補は、すべて文字認識候補格納部６７に格納さ
れる。この場合、文字認識候補格納部６７は、図３８
（ｂ）に示すように認識順位の高いものから順に格納す
るようにしている。

【０１６４】その後、入力図面が上述の手続きに従って
順次登録される。なお、キ―ワ―ドの登録やキ―ワ―ド
画像の切り出し処理、文字認識処理等は必ずしも画像登
録毎に行う必要はなくバッチ的に処理してもよい。

【０１６５】このようにして本実施例では、文字認識候
補から文字認識結果を一意に決定するのでなく文字認識
候補も含めてキ―ワ―ドとして登録されるようになる。

【０１６６】図４０は、キ―ワ―ド画像の検索を説明す
るためのものである。この場合、オペレ―タにより与え
られるキ―ワ―ドに基づいて画像デ―タベ―ス６３より
図面画像を選択する。つまり、オペレ―タより与えられ
るキ―ワ―ド６８と文字認識候補格納部６７とを検索装
置６９で照合し、キ―ワ―ド６８として保存された図面
画像７０を画像デ―タベ―ス６３より取り出すようにな
る。

【０１６７】そして、オペレ―タによる確認操作７１に
より文字認識候補が確定されると余分な文字認識候補は
文字認識候補格納部６７から除去され，この段階で文字
認識結果が一意に決定されるようになる。

【０１６８】次に、文字認識候補格納部６７について詳
述する。図４１（ａ）は切り出されたキ―ワ―ド画像７
２を示している。そして、このキ―ワ―ド画像７２に対
して１文字切り出し処理を施すことにより、同図（ｂ）
に示す文字画像７２１から７２７を切り出して文字認識
を行う。

【０１６９】文字認識結果は文字認識処理で評価され
る’類似度値’の大きい順に並べ換えられる。図４１
（ｃ）図は、切り出された文字画像７２１から７２７の
文字認識結果７３を示している。ここでは、類似度値は
０から１０００まで取り得る。

【０１７０】図４２（ａ）は、文字認識結果から３位ま
でを文字認識候補として選択した場合を示し、同図
（ｂ）は文字カテゴリ毎に異なる候補数を与えた場合を
示している。この場合、１位の文字認識結果の文字カテ
ゴリにより候補数が決まる。図４２（ｂ）図の場合、文
字’Ｔ’と’Ｙ’ならば１つ、文字’−’ならば２つ、
文字’０’、’Ｏ’、’Ｂ’、’１’ならば４つと予め
与えられている。

【０１７１】図４２（ｃ）は、文字認識処理における類
似度値により候補を選択する例である。類似度値が予め
与えた値よりも大きい文字認識結果のみを文字認識候補
として登録することが考えられる。あるいは１位の類似
度値が十分大きく、かつ２位との類似度値の差も大きい
のなら１位の認識結果のみを文字認識候補として登録す
るが２位との類似度値の差が余り大きくないのなら文字
認識結果の１位と２位を共に登録するような方法も適用
可能である。図４２（ｄ）は各文字のサブセット（文字
種）に関する情報を用いて文字認識結果より文字認識候
補を選択した場合である。ここで、キ―ワ―ド画像７２
のサブセット情報として １文字目：英文字大文字 ２文字目：英文字大文字 ３文字目：英文字大文字 ４文字目：英文字大文字 ５文字目：記号（’−’または’／’） ６文字目：英文字大文字 ７文字目：数字 を用いることができる。この際、”５文字目は必ず’
−’（ハイフン）である”といった制限を設定すること
も可能である。このサブセットに関する情報はキ―ワ―
ド画像登録時にオペレ―タにより設定される。

【０１７２】キ―ワ―ド画像７２の文字認識において１
文字として切り出す際にもいくつかの候補が存在するこ
とがある。図４１（ｂ）の場合、文字画像７２６は１文
字として切り出されたが、文字’１’と’３’が接触し
て生成されたパタ―ンである可能性もある。そこで、図
４３に示すように文字切り出しの候補も含めた文字認識
候補を出力するようにもできる。この場合、かすれある
いは分離文字の存在などを考慮した文字切り出しの候補
も考えられる。また、キ―ワ―ド登録時にキ―ワ―ド文
字数などを与えることができるのなら文字切り出しの候
補を少なくすることができる。

【０１７３】文字認識候補の選択例を上で述べたが文字
認識候補格納部６７のデ―タ量を圧縮する必要がないの
なら文字認識結果７３をそのまま用いることもできる。
また、文字認識候補の選択手法は組み合わせて用いるこ
ともできる。

【０１７４】文字認識において文字画像へのノイズの付
加、かすれなどにより、あるいは１文字切り出しの誤り
などにより文字認識結果が却下されることがある。

【０１７５】図４４は、文字認識結果が却下された場合
の処理を説明するためのもので、この場合、図示７４か
ら８０までの処理は、図３８で述べたと同様である。そ
して、文字認識装置８０での文字認識結果が却下された
場合は（図示８１）、オペレ―タに対してキ―ボ―ドな
どを用いてキ―ワ―ドをタイプするかどうか尋ねる（図
示８２）。ここで、Ｙｅｓならオペレ―タのタイピング
によるキ―ワ―ドの登録処理８３によりキ―ワ―ドが文
字認識候補格納部８４に格納される。なお、タイピング
されたキ―ワ―ドは文字認識候補の１位の欄に登録され
る。

【０１７６】一方、オペレ―タに対して図示８２の返答
がＮｏの場合は、文字認識処理がパラメ―タ等を変更し
て再度行われるようになる。その具体的な方法として
は、画像入力装置７５の感度を変更して画像の入力から
行うことや文字認識処理の際のパラメ―タを変更するこ
とが考えられる。また、オペレ―タによる登録キ―ワ―
ドの指定７７まで戻り、オペレ―タに切り出し位置の確
認を求めることも考えられる。ここで、処理が図面画像
の入力まで戻るときは、入力図面を再び画像入力装置７
５にセットする必要がある。しかし、画像入力装置７５
が多値画像を取り扱うことができるのなら、入力図面を
多値画像として多値画像メモリ８５に格納し、これを２
値化処理８６して画像入力感度を変更した図面画像とし
て獲得することができる。また、画像ファイリング処理
がバッチ的に行われているのならキ―ワ―ド登録が却下
された図面に対してはすべての図面が登録された後、確
認修正操作が施される。

【０１７７】ここでは、キ―ワ―ドの文字認識結果が一
意に決定されることなく、その後の検索時にそれらが確
認される。よって検索前にキ―ワ―ドに関する処理、例
えばキ―ワ―ドリストを表示する等の要求があった場合
は認識候補のうち１位だけが用いられる。

【０１７８】次に、キ―ワ―ド画像の検索を図４５によ
り説明する。

【０１７９】この場合、検索すべきキ―ワ―ド９０の文
字数と等しい文字数から構成されるキ―ワ―ド候補８８
を文字認識候補格納部８７より抽出する。次いで、各キ
―ワ―ド候補８８に対してキ―ワ―ド９０との類似性を
評価することによりキ―ワ―ド９０に対応する登録キ―
ワ―ド８９が決定される。類似性の評価は文字認識候補
の中にキ―ワ―ドが含まれているかどうかで判定するこ
とができる。そして登録キ―ワ―ド８９に対応する図面
画像が画像データベースより選択されオペレ―タに提示
する。そして、オペレ―タの確認動作の後、キ―ワ―ド
の文字認識結果が一意に決定され、キ―ワ―ドに対する
文字認識候補９１に従い文字認識候補８７が修正される
ようになる。なお、文字認識結果が既に一意に決定され
ている場合は文字認識候補８７の修正は行われない。

【０１８０】文字認識候補とキ―ワ―ドとの類似性につ
いて図４６（ａ）（ｂ）を用いて説明する。この場合、
１位の候補と一致するときは１０点、２位の候補と一致
するときは９点、等と点数をつけ合計点により類似性を
評価するようにしている。そして、図示例の場合、キ―
ワ―ド９２に対し、文字認識候補９３との類似性は３９
点と評価され、文字認識候補９４との類似性は３７点と
評価される。

【０１８１】点数の与え方としては、１位１０点、２位
７点、３位５点というように１位に重みを置いた点数の
与え方や文字認識の際の類似度値を用いる方法、また類
似文字には同じ点数を与えるなどいろいろ考えられる。
類似文字に同じ点数を与える方法では文字認識候補９３
の２文字目の２位にも一位と同じ点数が与えられる。つ
まり、キ―ワ―ド９２との類似性は４０点と評価される
ようになる。

【０１８２】図４５に戻って、検索装置ではオペレ―タ
により与えられたキ―ワ―ド９０に対応する登録キ―ワ
―ド８９を前に述べた類似性に従い検出するが、その検
出の方法を図４７を用いて説明する。

【０１８３】この場合、第１の方法では予め与えた得点
よりも大きな類似性を持つ候補があればそれを登録キ―
ワ―ドとして検出することであり、図４７（ａ）の例で
はキ―ワ―ド候補９５から９７のうちキ―ワ―ド候補９
５が登録キ―ワ―ドとして検出される。第２の方法では
キ―ワ―ド候補すべてとの間で類似性を評価しそのうち
最高の類似性をもつものを登録キ―ワ―ドとして検出す
ることであり、図４７（ａ）の例ではキ―ワ―ド候補９
５から９７のうちキ―ワ―ド候補９７が登録キ―ワ―ド
として検出されることになる。なお、第２の方法の場
合、図４７（ｂ）に示すようにキ―ワ―ド候補９８、９
９が同点をとることがあると、類似性の評価方法を代え
たり、オペレ―タに提示して選択させる方法がとられ
る。類似性の評価方法を代える場合は１位、２位、３位
の得点配分を変えることが考えられる。

【０１８４】次に、オペレ―タに選択させる場合の例を
図４８を用いて説明する。

【０１８５】この場合、図４８（ａ）は同点をとったキ
―ワ―ド候補に対応する図面画像１００から１０５をデ
ィスプレ１０６に表示した状態を示している。オペレ―
タはこれによりキ―ワ―ドの対応した図面画像を選択す
ることができる。図４８（ｂ）図は、同点を取ってキ―
ワ―ド候補に対応する図面画像中のキ―ワ―ド画像１０
７から１１２をディスプレ１１３に表示したところを示
しており、オペレ―タはこれによりキ―ワ―ド画像を選
択しその結果対応する図面画像が決定される。キ―ワ―
ド画像を提示する場合はキ―ワ―ド位置も文字認識候補
と共に格納しておく必要がある。

【０１８６】ところで、検索装置により登録キ―ワ―ド
が検出できないことがある。このような場合は、類似パ
ターンを発生するようにしている。図４９は、この様子
を説明するものである。

【０１８７】図ではキ―ワ―ド画像１１４が文字認識さ
れて文字認識候補１１５が得られている。そして、オペ
レ―タによりキ―ワ―ド１１６が与えられると検索装置
１１７により登録キ―ワ―ドが検索される。この場合、
文字認識候補がキ―ワ―ド１１６で検出されないような
場合、類似文字デ―タベ―ス１１８に予め登録されてい
る類似文字デ―タに基づいて類似パタ―ン発生装置１１
９よりキ―ワ―ドの類似パタ―ン１２０を自動的に発生
させ、それらと文字認識候補との類似性を検索装置１２
１で調べ登録キ―ワ―ドを検出するようになる。これで
もキ―ワ―ドが検索できない時は、図示１２２のように
オペレータによる直接の選択が行われるようになる。

【０１８８】図５０は、類似パタ―ン発生装置１１９を
説明するためのものである。この場合、各文字毎に類似
文字が類似文字デ―タベ―ス１１８に登録されている。
この中には類似文字のみではなく文字切り出しの候補も
登録されている。図５０の文字’Ｂ’の類似文字とし
て、’８’、’０’、…、’１３’、…、等が登録され
ている。なお、類似パタ―ンは必ずしも類似文字である
必要はなく文字認識装置の誤認識する性質を反映させた
ものにしてもよい。つまり、用いた文字認識装置が文
字’責’の文字パタ―ンを文字’貴’と誤認識するので
あれば文字’責’の類似パタ―ンとして文字’貴’を登
録してもよい。

【０１８９】検索装置により登録キ―ワ―ドが検出でき
ない場合の他の対処方法として、文字認識を再度やり直
すことである。キ―ワ―ド画像切り出し位置も文字認識
候補と共に格納されていればこれは可能となる。キ―ワ
―ド検出する意図でキ―ワ―ド画像を解析、文字認識す
れば正しく文字認識できる可能性がある。

【０１９０】図５１に示すように検索により文字認識結
果が確定されたデ―タを不確定のデ―タを明確に区別す
ることも考えられる。先の例では文字認識候補が１つに
限定された場合を確定デ―タとしたが図５１に示すよう
に入力に対して確定デ―タは光ディスク１２３、不確定
デ―タは磁気ディスク１２４に格納するようにしてもよ
い。つまり、入力キ―ワ―ド画像が文字認識されその文
字認識結果が信頼できると判定された場合は確定デ―タ
として光ディスク１２３に格納され、文字認識結果が信
頼できない場合で複数の文字認識候補が存在する場合は
いったん不確定デ―タとして磁気ディスク１２４に格納
するようにしている。

【０１９１】そして、検索装置１２５により磁気ディス
ク１２４内の不確定デ―タ、光ディスク１２３内の確定
デ―タを検索するが、不確定デ―タが検索キ―ワ―ドと
して検出された場合は、確認作業１２６によりデ―タの
確定を行う。即ち磁気ディスク１２４内の不確定デ―タ
を確定デ―タを格納している光ディスク１２３に移動す
るようにする。

【０１９２】いずれの方法を用いても検索装置で登録キ
―ワ―ドが検出できない場合は検索装置においてキ―ワ
―ドが検索され文字認識結果が確定されたもの以外の図
面画像、あるいはキ―ワ―ド画像を図４８に示すように
ディスプレに表示しオペレ―タにより選択させるように
なる。

【０１９３】従って、このようにすれば、入力画像に対
して指示されたキーワード領域より切り出されたキーワ
ード画像について文字認識が行われ、この文字認識結果
を文字認識候補を含めて格納しておき、画像検索時に与
えられるキーワードとの類似性により画像を検索し、提
示された画像が所望のものであるかどうかによって文字
認識候補の中から文字認識結果を一意に決定するように
したので、キーワード画像の認識が不明瞭の場合でも、
複数の認識候補中に正しい認識結果を残しておくことに
より、画像検索時に認識候補の中から認識結果を一意に
決定することで、画像入力時に認識結果を一意に決定す
る必要がなく、適切な画像検索を行うことができるよう
になる。

【０１９４】なお、保存しておく複数の認識候補の数に
よっては正しい認識結果がその中に含まれない可能性が
有り得るので、画像入力時にオペレータが重要と思うも
のに付いては、認識結果を確認、修正、確定するか、キ
ーワード画像認識に頼ることなくオペレータ自身がキー
ワードを入力することができるようにし、オペレータが
このような事を行わないときに本実施例の方法を採るよ
うにすると効果的である。

【０１９５】

【発明の効果】本発明によれば、オペレータにより画面
上に表示されている入力画像上で任意の一点が指示され
ると、最初に適当な領域が設定されるとともに、領域内
の入力画像の文字列成分の並び方向が判定され、この判
定に基づいて文字列成分の並び方向に沿って領域が拡大
されて、この拡大領域の文字列成分について文字認識お
よびコード化が実行され、コード化された文字列をキー
ワードとして入力画像のファイリングが行われるように
なるので、オペレータは、入力画像上の任意の一点を指
示するだけで、入力画像に付与すべきタイトル情報など
のキーワードを文字認識およびコード化して入力するこ
とができるようになり、オペレータのファイリング処理
作業を著しく軽減することができる。

【０１９６】また、本発明によれば、入力画像から抽出
した文字列成分を所定の関係で統合したブロックについ
て物理的な位置および大きさを解析し、各ブロック間の
意味的接続関係を獲得し、さらに各ブロックに対する属
性情報を付与して、これら意味的接続関係や属性情報に
より入力画像のタイトルもしくはキーワードに相当する
任意の位置に記載されている文字列成分を正確に検出で
きるので、同一種類の文書等において所望の文字列に、
字数や行数の変動および位置ズレが生じている場合であ
ってもキーワードとなるべき文字列成分を正確に検出す
ることができ、多種多様な書式を持つ文書についても一
括して自動的に検索タイトルを付与しながら効率よくフ
ァイリングでき、また、入力文書に記載されているタイ
トル文字列に関する情報の設定は、表示部での適切な表
示により装置と対話的に行うことができ、オペレータの
ファイリング処理に関する作業を大幅に軽減することが
できる。

【０１９７】さらに、本発明によれば、入力画像に対し
て指示されたキーワード領域より切り出されたキーワー
ド画像について文字認識が行われ、この文字認識結果を
文字認識候補を含めて格納し、画像検索時に与えられる
キーワードにより文字認識候補との類似性の判断より両
者がよく類似する画像を優先的に提示するようになるの
で、キーワード画像の認識が不明瞭の場合でも、複数の
認識候補中に正しい認識結果を残しておき、検索時には
認識候補の中からキーワードとの類似性の高いものを選
んで対応する画像を提示することになり、オペレータは
所望の画像を得ることができる。つまり、キーワード画
像の認識結果を確定することなく適切な画像検索が行え
るようになる。さらに画像が提示された時点で、オペレ
ータが所望の画像が得られたと判断して確定の指示を与
えることにより、その画像のキーワードの認識結果を検
索に用いたキーワードとして一意に決定するようにして
もよい。

【図面の簡単な説明】

【図１】本発明の第１実施例の概略構成を示す図。

【図２】第１実施例のファイリング処理を説明するため
の図。

【図３】第１実施例によりファイリング処理される文書
例を示す図。

【図４】第１実施例によるファイリング処理を説明する
ための図。

【図５】第１実施例によるファイリング処理を説明する
ための図。

【図６】第１実施例での黒画素連結成分の生成例を示す
図。

【図７】第１実施例での近接する黒画素連結成分の統合
例を示す図。

【図８】第１実施例での文字列を形成する可能性のある
黒画素連結成分の抽出例を示す図。

【図９】第１実施例で文字列方向に処理適用範囲の拡大
例を示す図。

【図１０】第１実施例に適用されるポインティングデバ
イスを示す図。

【図１１】図１０のポインティングデバイスの指示によ
り得られる位置座標と文字列成分との対応関係を説明す
る図。

【図１２】第１実施例に適用される文字パターンの切り
だし方法を説明する図。

【図１３】本発明の第２実施例での文字列領域の拡大を
説明するための図。

【図１４】本発明の第３実施例でのポインティングデバ
イスの指示により得られる位置座標と文字列成分との対
応関係を説明する図。

【図１５】本発明の第４実施例の概略構成を示す図。

【図１６】第４実施例のファイリング処理を説明するた
めの図。

【図１７】第４実施例のファイリング処理を説明するた
めのフローチャート。

【図１８】第４実施例での黒画素連結成分の生成を示す
図。

【図１９】第４実施例での文字行成分の生成を示す図。

【図２０】第４実施例でのブロックの生成を示す図。

【図２１】第４実施例での文書構造データの一例を示す
図。

【図２２】第４実施例での文字パターンの切り出し方法
を説明する図。

【図２３】第４実施例に用いられる知識獲得支援部を説
明するための図。

【図２４】第４実施例に用いられる知識獲得支援部を説
明するための図。

【図２５】第４実施例によりファイリングされる文書例
を示す図。

【図２６】第４実施例でのウインドウ表現を示す図。

【図２７】第４実施例でのウインドウ表現を示す図。

【図２８】第４実施例でのウインドウ表現を示す図。

【図２９】第４実施例でのウインドウ表現を示す図。

【図３０】第４実施例でのウインドウ表現を示す図。

【図３１】第４実施例でのウインドウ表現を示す図。

【図３２】第４実施例でのウインドウ表現を示す図。

【図３３】第４実施例でのウインドウ表現を示す図。

【図３４】第４実施例に用いられる知識獲得支援部を説
明するための図。

【図３５】第４実施例でのウインドウ表現を示す図。

【図３６】第４実施例でのウインドウ表現を示す図。

【図３７】他の実施例に用いられる知識獲得支援部を説
明するための図。

【図３８】第５実施例でのキ―ワ―ド画像登録を説明す
るための図。

【図３９】第５実施例でのキ―ワ―ド領域を登録する際
の画面例を示す図。

【図４０】第５実施例でのキ―ワ―ド画像検索を説明す
るための図。

【図４１】第５実施例に用いられる文字認識候補格納部
を説明するための図。

【図４２】第５実施例での文字認識候補の選択を説明す
る図。

【図４３】第５実施例の文字切り出し候補も含めた文字
認識候補の出力状態を示す図。

【図４４】第５実施例の文字認識結果が却下された場合
の処理を説明するための図。

【図４５】第５実施例でのキ―ワ―ド画像の検索を説明
するための図。

【図４６】第５実施例での文字認識候補とキ―ワ―ドと
の類似性を説明するための図。

【図４７】第５実施例での登録キーワードの検出を説明
するための図。

【図４８】第５実施例でのオペレータによるーワード候
補の選択を説明するための図。

【図４９】第５実施例での類似パターン自動発生を説明
するための図。

【図５０】図４９に用いられる類似パタ―ン発生装置を
示す図。

【図５１】第５実施例での確定データと不確定データの
扱いを説明するための図。

【符号の説明】

１…操作部、２…制御部、３…表示部、４…画像入力
部、５…出力部、６…画像圧縮部、７…認識対象文字列
抽出部、８…文字認識部、９…辞書部、１０…登録部、
１１…光ディスク、１２…記憶部、１７…画像、１８…
表題文字列、１９…中心部、２０、２０１…処理適用範
囲、２１、２２…黒画素連結成分、２３…文字候補矩
形、２４…マウス本体、２５、２６、２７…ボタン、２
８、３１…文字列領域、２９、３０…座標、４１…知識
獲得支援部、４２…文書構造解析部、４３…文書構造デ
ータ生成部、４４…認識対象文字列抽出部、４５…知識
ベース、５０…段組位置、５１…画面、５２、５２ａ〜
５２ｇ…ウインドウ、５３…アイコン、５５…単語単位
の文書構造データ、５６…文字行単位の文書構造デー
タ、５７…ブロック単位の文書構造データ、６１…入力
画面、６２…画像入力装置、６３…画像デ―タベ―ス、
６４…ディスプレ、６５…キ―ワ―ド画像、６６…文字
認識装置、６７…文字認識候補格納部、６８…キ―ワ―
ド、６９…検索装置、７０…図面画像、７１…確認操
作、１１８…類似文字データベース、１１９…類似パタ
ーン発生装置、１２０…類似パタ―ン、１２３…磁気デ
ィスク、１２４…光ディスク。

Claims (3)

【特許請求の範囲】
1. 【請求項１】 入力画像を画面上に表示する表示手段
   と、 この表示手段の画面上の任意の一点の位置座標を指示す
   る手段と、 この手段で指示された位置座標から適当な領域を設定す
   る手段、この手段で設定された領域内の入力画像から文
   字列成分の並び方向を判定する手段、この手段で判定さ
   れた文字列成分の並び方向に沿って領域を拡張する手
   段、この手段により拡張された領域内の文字列成分を抽
   出する手段を有する認識対象文字列抽出手段と、 この認識対象文字列抽出手段により抽出された文字列成
   分を文字認識およびコード化するとともに該コード化さ
   れた文字列を前記入力画像のキーワードとして該入力画
   像に対応づけてファイリングする手段とを具備したこと
   を特徴とする画像ファイリングシステム。
2. 【請求項２】 入力画像から文字列成分を抽出する手段
   と、 この手段より抽出された各文字列成分を所定の関係で統
   合したブロックを検出するとともにこれらブロックの物
   理的な位置および大きさを解析し各ブロック間の意味的
   接続関係を獲得する手段と、 この手段より各ブロック間の意味的接続関係から前記各
   ブロックに対して属性情報を割り当てる手段と、 予め所定の文字列に関する情報を記憶した手段と、 この手段に記憶された所定の文字列に関する情報を参照
   して前記属性情報を割り当てられたブロックの文字列成
   分を抽出する手段と、 この手段より抽出された文字列成分を文字認識およびコ
   ード化するとともに該コード化された文字列を前記入力
   画像のキーワードとして該入力画像に対応づけてファイ
   リングする手段とを具備したことを特徴とする画像ファ
   イリングシステム。
3. 【請求項３】 入力画像に対してキーワード領域を指示
   する手段と、 この手段より指示されたキーワード領域の画像をキーワ
   ード画像として前記入力画像より切り出す手段と、 この手段より切り出されたキーワード画像を文字認識す
   る手段と、 この手段で文字認識された結果を文字認識候補も含めて
   格納する手段と、 画像検索時に与えられるキーワードに対して前記各文字
   認識候補の類似性を判断して類似性の高い画像を優先的
   に提示する手段とを具備したことを特徴とする画像ファ
   イリングシステム。