JPH0362169A - 文書検索方法及び文書検索装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

（産業上の利用分野］ 本発明は、大量のデータの検索方法、特に、文書データ
の検索方法に関する。産業の各方面において文書データ
の検索が必要とされ１例えば原子力発電所等においては
、その各種設備の高信頼性を維持して運用するために、
また、その設備、機器の設計、改良のために多種多様な
情報の蓄積、管理が必要とされる。従って、光ディスク
などの大容量記憶装置を応用した大量文書のファイリン
グが求められており、この蓄積された大量の文書を検索
する必要がある。 ｒ従来の技術］ 従来の装置は、ヒタチレビュー３６の２１３頁（１，９
８７年）　（Ｓ、　　Ｉｔｏ　ｅｔ　ａｌ、。 “Ｉ−Ｉ　Ｉ　Ｔ　Ｆ　Ｉ　Ｔ、Ｅ　　６５０　０ｐｔ
ｉｃａｌ　ＤｉｓｋＦｉｌｊｎｇ　Ｓｙｓｔｅｍ、　　
　ＨＩ　ＴＡＣＨＩＲＥＶＩＥＷ　　３６，２１３　（
，１９８７））に記載のように文書画像を一貫単位で光
ディスク等の記憶装置に格納していた。従って、文書中
の写真や図表、テキストは一貫単位で検索し表示されて
いた。そのため、文書画像中のテキストに対する検索は
できなかった。また、図表や写真を個別に検索すること
もできなかった。

【発明が解決しようとする課題】

文書情報の中でも価値の高い情報は、技術報告書、技術
資料、技術雑誌であり、これらの文書では、写真、イラ
ストレーション、図表むどが混在しており、また、カラ
ー情報が重要である。従って、これら異種媒体の混在し
た文書、即ちマルチメディア文書を光ディスクに効率的
に蓄積し、かつ、検索に重要な情報抽出を行ない、文書
の内容を利用した検索方法が必要である。ところが、上
記従来技術は、文書画像をページ単位で蓄積、管理する
ため、写真、イラストレーション、図表などが混在した
文書を個別に取扱うことができず、これらの情報を効率
的に蓄積、管理することに問題があった。また、カラー
写真を含む文書を効率的に蓄積することが考慮されてい
なかった。 本発明の目的は、カラー写真などを含むマルチメディア
文書画像を情報システムに効率よく入力。 蓄積し、それらの文書の意味的な内容から所望の文書を
容易に検索することにある。

【：ＪＡ題を解決するための手段】

上記目的を達成するために、カラースキャナで読み取っ
たカラー文書画像から、カラー情報を分離抽出し、更に
構成要素に分解して意味的構造を抽出し、構造化された
マルチメディア情報の検索を知識を援用した推論により
実行するものである。

【作用１ カラー文書画像から、カラー情報を分離抽出し、更に構
成要素に分解して意味的構造を抽出する手段では、カラ
ー文書画像からカラー地領域、テキスト領域、および非
テキスト領域を分離抽出し、テキストについては文字認
識を行って、文書を構造的に分解すると同時に、文書の
論理構造などの意味的構造を抽出する。これによって、
文書画像をその構成要素に分解するとともに、それら構
成要素の関係を抽出することができる。さらに、構造化
されたマルチメディア情報の検索を知識を援用した推論
により実行する手段においては、文書検索システムの利
用者のあいまい、又は、抽象的な検索要求から関連性を
辿ることによって、所望の文書を検索する。 ｒ実施例】 以下１本発明の一実施例を第１図により説明する。マル
チメディアファイル１００は、印刷文書を構造化して格
納するファイルである。当該印刷文書はカラースキャナ
等の画像入力装置を用いて撮像され、画像データとなる
。この画像データ１こは、カラー写真、テキスト、図表
等の各種メディアが画像として存在している。この画像
データに対して、マルチメディア構造化処理部１０５で
文書画像を構成要素に分解するとともに、構成要素間の
関係を抽出する。従って、マルチメディアファイル１０
０は、書誌事項を格納するＩＦ誌ソファイル１１０レイ
アウト構造および論理構造の情報を有するテキストデー
タからなる構造化テキストファイル１１１、分離した図
並びに表よりなる図表ファイル１１２、カラー写真なら
びにモノクロ写真からなる中間調画像ファイル１１３、
より構成される。 文書検索のための登録及び更新を行う登録・更新部１０
１は、書誌インデックス抽出部１１４、意味抽出部１１
５、テキスト内容分析部１１６、テキスト・図表関連抽
出部１．１７、図表インデックス抽出部１１８のそれぞ
れからなる。この内、書誌ファイル１１０よりａ誌事項
を検索のためのインデックス情報とするのが書誌インデ
ックス抽出部１１４である。また、意味抽出部１１５で
は、主に構造化テキストファイル１１１の内容を用い。 文章の意味を抽出し、その結果を意味ネットワークとし
て意味ネットワークファイル１２０出力する。さらに、
テキスト内容分析部１１６では、テキストデータに対し
て形態素解析、構文解析を行い、その結果をテキスト内
容ファイル１２１に出力する。さらに、テキスト・図表
関連抽出部１１７では、テキスト中において、図表を参
照している個所を抽出し、テキストの当該個所と図表と
をリンクする情報を付加し、テキスト・図表関連ファイ
ル１２２に出力する。また、図表インデックス抽出部１
１８では、図表中に含まれる文字列を切り出すとともに
、図や表の縦軸、横軸の構造を抽出し、図表の主要項目
である軸の文字パターンや項目の文字パターンを抽出し
、これらの主要な文字列に対して文字認識を行い、その
結果を図表インデックスファイル１２３に格納する。こ
れらの登録、更新処理は、検索対話部１０８を介して、
登録・更新項目入力部１０７においてインタラクティブ
に行うこともできる。 検索用ファイル１０２は、書誌インデックスファイル１
１９、意味ネットワークファイル１２０、テキスト内容
ファイル１２１、テキスト・図表関連ファイル１２２、
図表インデックスファイル１２３、概念ネットワークフ
ァイル１２４からなる。この内、概念ネットワークファ
イル１２４は、検索対話１０８を介して登録・更新項目
入力部１０７によってインタラクティブに作成するもの
であり、概念をＷＩＮ化してネットワーク状に表現した
ものである。その他のファイル１１９゜１２０．１２１
，１２２，１２３は登録・更新部１０１の出力結果を格
納したファイルである。 検索部１０３は、書誌検索部１２５、意味検索部１２６
、テキスト検索部１２７、テキスト・図表関連検索部１
２８、図表検索部１２９、連想検索部１３０より構成さ
れ、それぞれ、検索対話部１０８を介して入力された検
索条件を検索条件解釈部１０’９において解釈し、検索
条件に合致する文書を探索する。この時、それぞれの検
索部１２５．１２６，１２７，１２８，１２９゜１３９
は、単独で検索を実行することもできるし、複数を組合
せて検索することもできる。ここで、書誌検索部１２５
は、指定の書誌事項を有する文書を探索する。また、意
味検索部１２６は、意味ネットワークファイル１２０を
用いて、検索条件として与えられた意味と類似する意味
を有する文書を探索する。さらに、テキスト検索部１２
７では、テキスト内容ファイル１２１を利用して指定の
単語や構文と合致する文書を探索する。また、テキスト
・図表関連検索部１２８では、テキストの指定された個
所に関連する図表を検索すること及び指定された図表に
関連するテキストの章や節等の該当個所を検索する。ま
た、図表検索部１２９では、図表インデックスファイル
１２３を用い、指定した検索条件により、例えば、図の
横軸の名称を指定することにより、その検索条件を満た
す図表を探索する。さらに、連想検索部１３０では、概
念ネットワークファイル１２４を用い、類似の概念を有
する文書を探索する。これにより、知識を援用した推論
による検索が可能となる。検索部１０３の処理結果は、
検索結果ファイル１０４に格納され、デイスプレィ装置
よりなる結果表示部１０６において、その結果が表示さ
れる。第６図は検索用ファイル１０２に格納される情報
の一部を説明する図である。検索のための情報は、文書
構造に関する情報と、特に検索に供される検索属性情報
とに大別している。この内、文書構造に関する検索のた
めの情報は、一部はマルチメディアファイル１００の内
容と重複するが。 これら重複部分は共有させてもよいし、検索の高速化の
ために別途設けることもできる。検索に用いる文書構造
の情報は、レイアウト構造に関する情報６００と論理構
造に関する情報６０１に分類でき、その内、レイアウト
構造に関する情報６００では、分離した要素に関する情
報６０２と。 その要素の属性６０３とがある。要素に関する情報６０
２としてはテキスト６０４と非テキスト６０８があり、
テキスト６０４では、カラム６０５、行６０６、単語や
文字６０７といった情報が検索のために用いられる。ま
た、非テキスト６０８に関するものとしては、図６０９
、表６１０、写真６１１といった情報がある。これらの
情報、即ち、要素がどのメディアに属するものかという
情報とともに、要素自体の属性情報６０３があるが、こ
の属性情報としては、要素の位置６１２、カラー６１３
．フォント６１４がある。一方、論理構造に関する情報
６０１としては、書誌事項６２０があり、この例として
は、ＵＤＣ６２１、タイトル６２２、著者名６２３、抄
録６２４、キーワード６２５がある。また、本文である
かどうかの情１１６２６も重要であり、さらに、章６２
７１節６２８、パラグラフ６２９が検索のために用いら
れる。また、参考文献リスト６３０を対象とする検索も
でき、このリストにある参考文＃６３１自体も検索に利
用できる。更に、脚注６３２、ノンプル６３３、柱６３
４といった情報も検索に用いることができる。一方、検
索に用いる特別の属性としては、要素に関する情報６４
０と関連性に関する情報６４１がある。要素に関する情
報６４０としては、テキスト６４２の書誌情報６４３は
勿論のことであり１章、節の名称６４４、テキスト中の
強調部分６４５としては、イタリック６４６やボールド
６４７といった書体に関する情報や、文字のカラー情報
６４８、アンダラインの有無６４９がある。また１図表
、写真に関する情報６５０としては、キャプション６５
１、図表中の文字６５２、表、グラフの構造６５３があ
る。また、関連性に関する情報６４１として、本文と図
表との関係６５４や本文と参照文献６５５との関係６５
５がある。本発明は、これらの情報を自動的に抽出する
こと及びこれらの情報を検索に用いることができるため
、検索のためのインデックスを登録するとうぃう煩雑な
作業が不要になるとともに、多様な検索が可能である。 第２図は、本発明の一実施例である文書検索システムの
構成図である。計算機やワークステーションからなる検
索ステーション２００ならびに２０１は、検索対話を行
うものであり、検索条件を入力するとともに検索結果の
表示を行う。また、検索結果はフルカラープリンタなど
の出力装置２０２により結果を紙２１１の形でプリント
アウトすることができる。この文書検索システムはロー
カルエリアネットワーク等の通信路２０７を介して、計
算機を結合した分散システムの構成である。これにより
、検索、登録、更新やマルチメディア構造化といった処
理が並行して行うことができ、効率のよいシステムとな
る。このシステムにおいて、大量の印刷文書２１０は、
予め、カラー或いはモノクロイメージスキャナ等の画像
入力装置２０６によって計算機に入力される。ここで、
２０３は登録ステーションであり、ワークステーション
で構成されており、画像入力装置２０６の制御を行うと
ともに、高速演算装置２０５と協調して文書画像の構造
化処理を行う。ファイルサーバ２０４は、同じく、ワー
クステーションから構成されており、大容量ファイルサ
ーバとしての役割を果たしており、光ディスク装＠２０
８゜２０９を制御している。 第３図は、文書検索システムの処理の手順の一例を示す
ブロック図である。カラースキャナによって撮像された
文書画像データ３００は、カラー領域抽出部３０２によ
り、文書中のカラー領域を分離抽出される。そして、写
真領域分離抽出部３０２において、濃淡を有する写真の
部分を分離する。この写真部分に対しては、ガンマ補正
等の画像補正を画像補正部３１８によって行い、中間調
画像としてマルチメディアファイル３１０に格納する。 一方、写真部を分離された画像データに対して、２値化
処理部３０３において２値化処理を行い、濃淡画像を２
値画像に変換する。そして、書誌領域抽出部３０４にお
いて、タイトル、著者名等の書誌事項を画像パターンの
まま抽出し１項目認識部３０９において文字パターンの
認識を行い、書誌事項をコードデータとしてマルチメデ
ィアファイル３１０に格納する。一方、書誌事項を分離
した文書画像データに対しては、囲み記事を３０５にお
いて抽出すると共に、文字のみよりなるテキスト領域と
線図形や面図形から構成される図表などの非テキスト領
域とを２０６において分離し、さらに非テキスト領域は
構造化してマルチメディアファイル３１０に格納される
。テキスト領域はレイアウト構造や論理構造を油出する
テキスト構造化処理を３０７において行い、文字認識部
３０８と協調して構造化テキスト情報を抽出し。 マルチメディアファイル３１０に格納する。次いで、こ
のマルチメディアファイル３１０に対して、図表検索属
性登録部３１１では、図表から重要な文字列を、図表の
構造化をもとにして抽出し、検索用ファイル３１４に格
納する。一方、参照関係登録部３１２では、テキストと
図表の参照関係を抽出し、同じく検索用ファイル３１４
に格納する。 また、テキスト分析部３１３では、テキストに対して意
味情報を抽出し、同じく検索用ファイル３１４に格納す
る。この検索用ファイル３１４を用いて、３１５，３１
６，３１７で示した図表検索、関連検索、意味検索を行
う。本実施例によれば、印刷文書をイメージスキャナで
撮像し採取した文書画像データから自動的に検索に用い
る情報を抽出することができる効果がある。また、検索
用のファイルをマルチメディアファイルとは別に設けて
いるため、検索の効率化、高速化の効果がある。 第４図は、本発明の一実施例を示す文書検索システムの
説明図である。大量の文ＩＦ４００は予め当該システム
に格納するが、この文書はテキスト、写真、図表といっ
たメディアが混在しており、マルチメディア文書と呼ぶ
、一般に、文書中には階層的に情報が含まれており、論
理構造と割り付は構造を有している。第１５図は、文書
の割り付は構造の説明図であり、ページ１５００には１
例えば、二つのフレーム１５０１．１５０８がある。 さらに、このフレーム１５０１には、ブロック１０５２
．１５０３，１５０４が含まれテいる。 また、フレーム１５０８には、ブロック１５０５゜１５
０６．１５０７が含まれている。これは、ブロックはテ
キストであったり、図表、写真であったりする。第１４
図は１文書の論理構造と割り付は構造の対応を説明する
図であり、文書は論理構造１４００及び割り付は構造１
４０１を持っているが、この割り付は構造としては、先
ず、一つの文書が複数のページからなり、表紙頁１４２
０、前見返し頁１４２１．ＵＤＣ７レーム１４２２、表
題フレーム１４２３、著者名フレーム１４２４゜要約フ
レーム１４２５、本文フレーム１４２６、後見返し頁１
４２７、裏表紙頁１４２８がある。 また１本文フレーム１４２６には、左枠フレーム１４２
９、右枠フレーム１４３ｏがあり、例えば。 この左枠フレーム１４２９には、ブロック１４３１．１
４３２．１４３３．１４３４が含まれているという構造
を有している。これらブロックの単数または複数個が論
理構造の要素に対応することになり、例えば、テキスト
１４１６はブロック１４３１とブロック１４３３に対応
している。 また１図表１４１７はブロック１４３３と対応している
。論理構造１４００は、表紙１４ｏ２、前見返し１４０
３、論文１４０４、後見返し１４ｏ５、裏表紙１４０６
からなり、論文１４０４は、更に、ＵＤＣ１４０７、表
題１４０８、著者名１４０９、要約１４．　ｌ　０１章
１４１１、参考文＃１４１３からなる。更に、章１４１
１は、節１４１４．１４１５がらなり、節１４１４はテ
キスト１４１６、図表１４１７からなる。本発明は、こ
れらの論理構造、割り付は構造を文書画像データから自
動的に抽出するものである。このため、対象とするマル
チメディア文書４００を画像データとして本システムに
入力する。 ここで、カラー文書を扱うため、赤色画像４０１、緑色
画像４０２、青色画像４０３をカラースキャナで採取し
、カラー画像データ４０６を対象に文書の構造化を行う
。文書構造化部４０５は、論理構造抽出部４０７、カラ
ー画像分離圧縮部４０８、文字認識部４０９．意味情報
抽出部４１０からなり、文書のレイアウトの条件など文
書知！１１４０４を用いて、文書を構造化する。構造化
した出力結果はマルチメディアファイル４１１に格納さ
れることになり、文書構造ファイル４１２．書誌ファイ
ル４１３、テキストファイル４１４、意味情報４１５、
写真ファイル４１６、図形ファイル４１７にそれぞれ格
納され、このマルチメディアファイル４１１を用いた検
索を内容検索部４１８で行う。本発明により、文書の論
理構造、割り付は構造が自動的に抽出される。また、構
成要素であるテキストは文字パターンからコードデータ
に文字認識によって変換されるため、データ量の削減が
可能となる。さらに、写真に対しては、写真にのみ適し
た圧縮符号化ができるため、文書画像の一ページ全体を
符号化するのに比べて、効率のよいデータ圧縮が可能で
ある。 第５図は、本発明の別の一実施例である文書検索システ
ムの構成図である。マルチメディア構造化部５００は、
マルチメディア文書を構造化し、マルチメディアデータ
ベース管理部５０１を介して、データベースに格納する
。このデータベースは、要素間関係データベース５０２
、図形データベース５０３、画像データベース５０４、
テキストデータベース５０５、書誌データベース５０６
゜意味内容データベース５０７からなる。この内、要素
間関係データベース５０２では１文書の構成要素の関係
を格納している。また、図形データベース５０３は、図
形情報を１例えば、線ベクトルとして格納している。ま
た、画像データベース５０４は、文書中の写真を画像デ
ータとして格納している。テキストデータベース５０５
は１文書中のテキストを文字コードとして格納している
。 図形サーチ部５０９では、指定した図形と類似の図形を
図形データベース５０３から探索する。また１画像サー
チ部５１１では、指定した画像と類似の特徴をもつ画像
を画像データベース５０４から探索する。さらに、文字
列サーチ５１１では、指定した文字列を有する文字列を
テキストデータベース５０５から探索する。本発明によ
れば、これらの図形、画像、文字列は１紙に印刷された
文書の中から探索することができる。 また、これらのサーチ部５０９，５１０，５１１は単独
で、或いは、複数で実行することができるため、所望の
文書を、従来の文字列検索だけで探索するのではなく、
文書に含まれる図形１画像等を探索することによって求
めることが可能である。 推論検索部５１２は意味内容データベース５０７、知識
ベース５０８とを利用して、推論を行いながら所望の文
書を探索する。この知識ベース５０８は、知識ベース管
理部５１３によって、登録、更新がなされる。第７・図
はマルチメディアデータベース管理部５０１の検索用イ
ンタフェースの構成を示す。ここでは、検索対話部７０
１、メディア再構成部７０３、推論検索部７００．知識
ベース管理部７０２、知識ベース７０４からなり、知識
ベース７０４を用いてマンマシン性のよい検索インタフ
ェースが可能である。 第８図は、印刷された文書を電子的に流し読みすること
ができる印刷文書ブラウジングシステムの説明図である
。印刷文書８２１に対して文書構造化部８２０によって
１文書を構造化するとともにインデックスを自動的に付
加する６文書構造化部８２０の結果は、検索用ファイル
８０３に格納される。検索画面８００は、マルチウィン
ドウ形式になっており、書誌事項ウィンドウ８１１、テ
キストウィンドウ８１２、図表ウィンドウ８１０、など
が複数個表示される。８１３，８１４は他のウィンドウ
を示す、ブラウザ部８０２は、検索用ファイル８０３に
アクセスし、検索画面に文書情報を表示するとともに利
用者との対話を利用して順次文書の要素に対して流し読
みを行うことができる。 第９図は、意味検索を説明する図である０画面は複数の
ウィンドウ９０２，９０３が表示できる。 ここで、９００，９０１は画面を示している０画面９０
０の中で、検索要求ウィンドウ９０２に、例えば、光デ
ィスクの技術に関する質問を行うと、技術名称表示ウィ
ンドウ９０３に、光デイスク技術に関連する技術が階層
的に表示される０例えば、光デイスク技術９０４を支え
る技術として、装置技術９０５と記憶媒体技術９０６が
あることがトリー状に表示される。また、さらに、Ｖ＆
置核技術９０５支える詳細な技術を利用者が知りたい場
合は、利用者は装置技術９０５の表示個所に１例えば、
カーソルを合わせマウスをクリックすることによって１
次の画面９０１のウィンドウ９１０に装置技術９２５及
びその技術を支える技術として、光点形成技術９２７．
光点位置決め技術９２８、アクチュエータ９２９が表示
される。さらに、これら個々の技術の詳細説明文章をテ
キストウィンドウ９１１，９１２，９１３に表示するこ
ともできる０本実施例によれば、階層的な情報構造を有
する技術体系などをその意味構造を基１こして検索する
ことができ、従来の固定的な名称を探索するのではなく
、関連する技術名称とその内容を容易に検索できる効果
がある。 第１０図は、論理構造と意味構造の説明図である。印刷
文書の画像データから論理構造を自動的に抽出した結果
を１０６０に示す０文書の名称１０００は、この例では
、大容量光ディスクファイルであり、その構造は、要旨
１００２．１緒言１００３．２光デイスクの位置づけと
開発のねらい１００４．等の章名称と節名称１００５゜
１００６．１００７，１００８，１００９゜１０１０．
１０１１，１０１２，１０１３゜１０１４．１０１５，
１０１６．１０１７からなる。これらの章及び節名称を
分析することにより、意味構造１０６１を抽出する。先
ず、文書の名称１０００である大容量光ディスクファイ
ルｔｏｏｌを基にファイル１０２０を意味構造のルート
に設定する。そして、光ディスク１０２１とその属性１
０６２として大容量１０２２をリンクする。ここで、技
術名称の結ぶリンクとしては、論理構造の上下関係及び
、技術の属性として構成要素、目的、対象、などがある
、技術名称である光ディスク１０２１の下位には、位置
付け１０２３、開発の狙い１０２４、基本構成１０２５
、特徴１０２６などがあるが、これらは１例えば、２光
デイスクの位置づけと開発のねらい１００４を基に、位
置付け１０２３と開発の狙い１０２４を抽出している。 また、３光デイスクフアイルの基本構成と特徴１００５
から意味構造として基本構成１０２５、特徴１０２６を
抽出している。さらに、４光デイスクを支える主要技術
１００６から、意味構造として主要技術１０２７を抽出
する。このように、論理構造における章や節の名称から
。 意味構造を抽出する本実施例によれば、意味構造を基に
した検索が可能であり、これにより情報構造を有する技
術名称を詳細に探索することが可能である。 第１１図は、印刷文書の電子化文書への変換を説明する
図である。ここでは、印刷文書を対象としているが、勿
論１手書き文書についても可能であり、印刷文書に対象
を限定するものではない。 ここでは、この電子化文書のデイスプレィ画面を１１０
０に、電子化文書のファイル構成を１１０１に、また、
印刷文書の電子化文書への変換手順を１１０２に示す、
利用者はデスプレイ画面１１００を介して、テキスト１
１０３゜１１０４及び図１１０５等を流し読みすること
ができ、特に、１１２０で示す図の参照個所に対して、
リンク情報が図１１０５に対して付加されており、１１
２０の個所から、参照している図を流し読みすることが
できる。また、同じように。 １１２２で示した個所に対しても、他のテキスト１１０
６とのリンクが取られており、この例では、文献（１）
１１２２を、即座にデイスプレィ画面に表示することが
できる。このようなリンク情報は、電子化文書のファイ
ル１１０１に格納されている、当該ファイル１１０１に
は、文献１１０７の下位に章１１０８、節１１０９、項
１１１０、文１１１１、単語１１１３が階層的に格納さ
れており５図表１１１２は、節１１０９や或いは文１１
１１とリンクされて保存されている。同じく文献１１１
４は、文１１１１や単語１１１３にリンクされて保存さ
れている。このような電子化文書のファイル１１０１は
、印刷文書から自動的に作成され、先ず対象とする印刷
文ｉ１１１１５をスキャナ人力１１１６して、次いで、
文書構造化１１１７を行い、検索属性抽出１１１８を行
い、それらの結果を当該ファイル１１０１に格納してい
る。第１２図は、テキストと図表とのリンク情報を自動
的に付加する処理手順を説明する図である。テキストフ
ァイル並びに図表ファイルを１２００で入力し、文字列
探索部１２０１により図表の参照個所を探索する。そし
て、図表参照文抽出部１２０２において、参照文字列を
取り出すとともにその位置を登録し、１２０３において
テキストと図表の関連付けを行う。 第１３図は印刷文書を書式付き処理可能形式の文書ファ
イルへ自動的に変換する手順を説明する図である。実線
枠１３００で示した処理が、印刷文書を書式付き処理可
能形式の文書ファイルへ変換する手順を、破線枠１３０
１で示した処理が、人手による文書作成の手順である。 印刷文書１３０２はスキャナ入力部１３０３によって画
像として入力され、メディア分離・構造抽出部１３０４
によって、論理構造、割り付は構造及び内容を自動的に
抽出し、論理構造１３０８、割り付は構造１３０９．内
容１３１０を有する書式付き処理可能形式の文書ファイ
ル１３０７に格納される。当該ファイルは、転送処理部
１３１１を介して、他のシステムに転送することができ
る。 方、人手による文書作成では、１３０５に示す文書編集
部で、論理構造及び内容を入力し、割り付は処理部１３
０６によってページのレイアウトが設定され、それぞれ
論理構造、割り付は構造、内容が当該ファイル１３０７
に格納される。本実施例によれば１人手により作成され
た文書ファイルと同一形式にファイルを印刷文書から自
動的に作成することができ、印刷文書を他システムに自
由に転送することができる。また、印刷された文書を電
子化し、再編集することができる効果もある。 第１６図は第１図に１２９に示した図表検索を説明する
図である。この図表検索では、文献１６００．１６０１
，１６０２等に記載されている図表を図表中に含まれる
主要な文字例をもとに探索することができる０例えば、
検索条件として図の縦軸の名称を指定することができ、
その名称を縦軸にもつ図表を検索して表示する。検索の
ために利用者に提供される画面１６０３において、１６
０６が検索条件の入力するウィンドウであり、この例で
は、縦軸が記憶容量を表しているという条件を入力して
いる。図表表示ウィンドウ１６０４．１６０５には、そ
れぞれ検索結果の図表が表示されることになる。縦軸１
６０７゜１６０８は、それぞれ記憶容量を示している。 このような図表検索を行うためには、図表から主要な文
字列を抽出する必要がある。第１８図は、図表検索のた
めの自動登録の処理過程を示す図である。図表ファイル
１８００から読み出された画像データは１表及びグラフ
に１８０２で分類し、図表の構造抽出部１８０３で図表
から縦軸、横軸、項目等の構造を抽出する。そして１文
字列抽出部１８０１では、縦軸、横軸、項目の文字列を
抽出し、単語抽出部１８０４で１文字認識を行い、検索
語登録部１８０５において、図表検索のためのインデッ
クスとして当該単語を図表の構造、例えば、横軸の名称
であることを合わせて登録する。 第１７図は図表検索の別の実施例を示す図である。文書
画像データ１７００に対して、図を分離した結果が１７
０１である。これに対して、キャプションの抽出を行っ
た結果が１７０２、図本体から文字列を抽出した結果が
１７０３である。これらは、それぞれキャプションファ
イル並びに図表インデックスファイルとして用いる。こ
れにより１図表のふくまれている文字列をもとにした検
索が可能であり、大量の文献の中から、所望の図表のみ
を効率良く検索することができる。

【発明の効果】

本発明によれば、写真、図表、テキストなど各種メディ
アが混在した文書に対して、これを画像データとして検
索システムに入力し、各メディアに分離抽出し、それぞ
れのメディアに適した符号化を行い蓄積格納できるので
、文書データの圧縮ができ記憶装置を有効に利用できる
効果がある。 また、文書を要素に分離し、割り付は構造と論理構造を
抽出することができるので、印刷文書を事務文書体系の
ファイルに自動的に変換でき、印刷文書を電子化された
文書ファイルとして、自由に他のシステムに転送できる
効果もある。さらに。 テキストの意味を抽出し、その意味をもとに検索ができ
るので、意味のレベルで類似の意味をもつ文書を探索す
ることができる効果がある。また、文書に含まれる図表
を図表中の文字列をもとにして探索することができるの
で所望の図表のみを効率的に検索する効果もある。さら
に１図表やテキストなどの要素の参照関係を登録してい
るので。 参照個所を簡単な操作で流し読みしながら検索できる効
果もある。

【図面の簡単な説明】

第１図は本発明の一実施例の機能構成図、第２図は文書
検索システムの構成図、第３図は文書検索の処理手順を
示すブロック図、第４図は文書検索システムの説明図、
第５図は別の一実施例である文書検索システムの構成図
、第６図は検索用ファイルに格納された情報の説明図、
第７図は検索用インタフェースの構成図、第８図は印刷
文書ブラウジングシステムの説明図、第９図は意味検索
の説明図、第１０図は論理構造と意味構造の説明図、第
１１図は印刷文書の電子化文書への変換の説明図、第１
２図はリンク情報を付加する処理過程を示す図、第１３
図は、書式付き処理可能形式の文書ファイルへの印刷文
書の自動変換手順を説明する図、第１４図は文書の論理
構造と割り付は構造の対応を説明する図、第１５図は文
書の割り付は構造の説明図、第１６図は図表検索の説明
図、第１７図は図表検索の別の実施例の説明図、第１８
図は図表検索のための登録処理過程の説明図である。 符号の説明 ■ｏＯ・・・マルチメディアファイル、１０１・・・ｆ
ｆｉ更新部、１０２・・・検索用ファイル、１０３・・
・検索部、１０５・・・マルチメディア構造化処理部、
２００・・・検索ステーション、２０３・・・登録ステ
ーション、３０２・・・写真領域分離部、４０５・・・
文書構造化部、５０１・・・マルチメディアデータベー
ス管理部、８００・・・検索画面、９０３・・・技術名
称表示ウィンドウ。

Claims (1)

1. 【特許請求の範囲】 １、記憶手段と処理手段と表示手段とよりなる情報検索
   装置において文書を要素ごとに格納する手段と、要素か
   ら抽出した検索のための属性情報を格納する手段とを設
   けたことを特徴とする文書検索装置。 ２、文書検索方法において、文書画像を入力することと
   、入力された文書画像を要素に分離することと、入力さ
   れた文書画像を構造化することと、上記分離した要素を
   該要素の種類ごとに符号化することと、要素より検索属
   性を抽出することと、要素間の関係を保持して要素を格
   納することとを行なうことを特徴とする文書検索方法。 ３、文書検索方法において、文書画像から図表を分離す
   ることと、図表を構造化することと、構造に付与された
   文字列を抽出することと、当該文字列を検索用ファイル
   に格納することとを行なうことを特徴とする文書検索方
   法。 ４、文書検索装置において、文書中の文章を抽出する手
   段と、文章から構造を抽出する手段と、構造に付与され
   た文字列を符号化する手段と、当該文字列をもとに階層
   構造を有する文書の意味情報を求める手段と、当該意味
   情報を基に文書を探索する手段とを設けたことを特徴と
   する文書検索装置。 ５、文書検索方法において、文書要素間の参照関係を抽
   出する手段と、当該参照関係を保存する手段と、表示装
   置を介して会話的に参照関係をたどる手段と、参照され
   た要素の内容を表示し流し読みする手段とを設けたこと
   を特徴とする文書検索装置。 ６、文書検索装置であって、文書画像を要素に分離する
   装置と、文書画像から構造を抽出する装置と、分離した
   要素と類似した要素を探索する装置とを設けたことを特
   徴とする文書検索装置。 ７、情報の通信および検索装置であって、文書画像を構
   造化する手段と、文書要素符号に変換する手段と、当該
   の符号化した文書要素を通信する手段とを設けたことを
   特徴とする文書通信ならびに検索装置。 ８、文書検索装置であって、文書画像の入力装置と、文
   書画像の構造化装置と、文書の文字認識装置と、文書の
   検索対話装置と、検索結果表示出力装置とを通信網を介
   して相互に結合したことを特徴とする文書検索装置。