JPH03172966A - 類似文書検索装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野１ この発明は、フルテキストのデータベース中から類似文
書を効率よく高精度に検索することができる類似文書検
索装置に関する。

［従来の技術］ 従来から情報検索システムの構築を目指して種々のシス
テムが立案、実現されてきている。これらのシステムで
は、データベース中から必要な情報を取り出す場合の検
索方法として、文書番号や文書名を入力する方法、各文
書に付与されているキーワードを検索する方法、文書の
文字をすべて検索する方法が取られてきた。

例えば特許文を検索するシステム（ＰＡＴＯＬＩＳ）で
は、特許番号（出願番号、公告番号、公開番号など）９
国際分類番号、出願人などの書誌事項から特許文書を検
索することができる。また、各特許に対して発明の目的
、産業上の利用分野、効果、構成等をフリーキーワード
として登録しており、検索したいキーワード列と論理式
（ＡＮＤ、ＯＲ，Ｎ０Ｔ）の組み合わせを入力するとと
により希望の特許文書を検索することができる。

最後の方法はフルテキストサーチと呼ばれている方法で
あり、ユーザが入力したキーワードと一致する単語を持
つ文書を出力する方法である。この場合検索結果は、検
索した順に出力する場合とキーワードの一致数が多い順
にソートして出力する場合がある。

［発明が解決しようとする課題］ 上記従来技術においては、多数のキーワードと論理式を
複雑に組み合わせたとしても、必ずしも希望の文書を入
手できるとは限らない。また、キーワードのマツチング
方式においては、キーワードの直接マツチング、論理式
（ＡＮＤ、ＯＲ。

ＮＯＴ等）、複合条件式（近傍条件２文脈条件）が用い
られるが、検索時に必要な文書を検索することが非常に
多く、大量に出力された検索結果から希望する文書を人
手で探さなければならない等の問題点があった。

この発明は、上記の問題点を解決するためになされたも
ので、フルテキストのデータベースの中から類似文書を
効率よく、かつ高精度に検索ができる類似文書検索装置
を提供することを目的とする。

［課題を解決するための手段］ この発明にかかる類似文書検索装置は、検索対象である
文章を直接外部から入力可能とする文書入力部と、入力
文書を分かち書きし、形態素情報から文節間の係り受け
関係を解析する係り受け解析部と、係り受け解析結果か
ら文構造を決定し、この文構造から索引を抽出し、重要
度付与を行う索引抽出部と、入力された文書の形態素情
報、係り受け情報、索引情報を記憶する文書蓄積部と、
索引抽出部で作成した索引の同義語や類義語をシソーラ
ス辞書から取り出すソシーラス展開部と、索引とその同
義語、類義語をキーワードとして、文構造の類似度を算
出する類似文書検索部と、類似文書検索部で検索した文
書を類似度の高い順に画面に出力する類似文書出力部と
を具備したものである。

〔作用１ この発明においては、入力として直接検索したい文書を
入力するため、キーワードや論理式の設定をせずに類似
文書を検索することが可能となる。また、索引抽出部で
付与した索引の重要度と、シソーラス展開した同義語、
類義語の意味の近さとを考慮し、さらに係り受け構造の
類似度から文書の類似度を判断するので、従来に比べ精
度のよい類似文書の検索が可能となる。

〔実施例〕

以下、この発明の実施例について説明する。

まず、この発明の類似文書検索装置の全体構成について
述べる。

第１図はこの発明の一実施例の構成を示すブロック図で
ある。１は文書入力部で、外部から入力した文書情報（
イメージ情報、コード情報）を本装置に適したコード情
報に変換する。２は係り受け解析部で、文書入力部１か
ら入力した文を分かち書きし単語単位に分割する。さら
に、品詞情報、活用形、形態素の情報を個々の単語に付
与して係り受け解析を行う。３は索引抽出部で、索引を
抽出するとともに、抽出した索引に重要度を付与する。

索引の重要度は係り受け解析部２の係り受け情報から得
た構文情報から判断する。４は文書蓄積部で、形態素情
報、係り受け情報、索引情報等を蓄積する。５はシソー
ラス展開部で、索引抽出部３で抽出した索引の同義語、
類義語をシソーラス辞書から取り出す。６は類似文書検
索部で、索引抽出部３から抽出した索引と、シソーラス
展開部５で取得した同義語、類義語と、係り受け解析部
２の係り受け関係を用いて文書の類似度を算出する。７
は類似文書出力部で、類似文書検索部６で検索された文
書を類似度の高い順に画面に出力する。

第２図にこの発明の類似文書検索装置のシステム構成ブ
ロック図を示す。イメージ情報からコード情報への変換
は文字認識部１０が受け持つ。イメージ情報の入力デバ
イスとしては、イメージリーダ１１．Ａノドスキャナ１
２．ＦＡＸ１３゜ＣＤ−ＲＯＭ１４がある。また、直接
コード情報として入力するデバイスとして、フロッピー
ディスク１５やマグネティックテープ１６がある。また
、ユーザが直接キーボードから文書入力可能なようにユ
ーザ端末にはキーボード１７が用意されている。

ＣＰＵ２０およびＲＡＭ２１を使用して係り受け解析部
２．索引抽出部３．シソーラス展開部５、類似文書検索
部６の処理を実行する。ＤＩＳＫ３０には文書データベ
ース１０ｏ、シソーラス辞書１０１．形態素解析用辞書
１０２が記憶されている。文書データベース、辞書等は
通常ＤＩＳＫ３０に記憶されているが、各種処理の高速
化を図るためＲＡＭ２１の容量に応じて、ＤＩＳＫ３０
からＲＡＭ２１に転送されて使用される。類似文書検索
結果は、デイスプレー７０に映し出される。そして、上
記１０〜１７および７０の各部は、第１図の文書入力部
１に対応し、これらから文書を直接入力する。また、第
１図の文書蓄積部４は文書データベース１００に対応し
ている。

以下に各処理の詳細について第１図、第２図により述べ
る。

文書入力部１ではイメージ情報、コード情報のどちらも
入力可能である。イメージ情報の入力は、ＦＡＸ１３．
ＣＤ−ＲＯＭ１４．イメージリーグ１１等のイメージ読
取り装置から行われる。

各デバイスドライバでは、各デバイスから取得したイメ
ージ情報から文書構造情報を基に文字を切り出し、切り
出した文字イメージを文字認識部１０に転送する。文字
認識部１０では転送されてきた文字イメージをコード情
報に変換する処理を行う。この処理は、例えば宮原（宮
原：文字読取方式、特願昭５７−２２２４８９号）の発
明を用いる。コード情報は変換した後、他の処理を行う
ためＲＡＭ２１に転送される。

直接、フロッピーディスク１５やマグネティックテープ
１６からコード情報を読取る場合は、読取った情報を直
接ＲＡＭ２１に転送する。キーボード１７から直接コー
ド情報を入力する場合でも同様にＲＡＭ２１に転送され
る。

係り受け解析部２では、まず、入力された文書の形態素
解析を行う。形態素解析では、形態素解析用辞書１０２
を用いて文を分かち書きし、形態素情報を付与する。形
態素情報としては、表記。

読み９品詞、活用形、意味カテゴリ番号等を付与する。

係り受け解析はこれらの形態素情報を用いて実施される
。係り受け解析の代表的な手法としては、稲垣ら（稲垣
、小橋：係り受け解析方法、特開昭６４−１７１５２号
公報参照）の発明がある。この係り受け解析手法を用い
て入力文章を係り受け解析した例を第３図に示す。

入力文「カナ文字列及び同音語選択指示信号を入力する
ための入力手段と、・・・・・・」を文節単位に分割す
ると、「カナ文字列　及び　同音語選択指示信号を　入
力するための　入力手段と、」と分割される。次に文節
単位に分割された単語群の係り受け関係を求める。この
入力文では第３図に示すように、「カナ文字列」と「同
音語選択指示信号」は並列構文を形成しており、ともに
「入力するための」に係り、文節「入力するための」は
「入力手段」に係ることになる。係り受け解析部２では
、このような文節間の係り受け関係を求める処理を受け
持つ。

索引抽出部３では、形態素解析で分割された単語の中か
ら索引を抽出するとともに、抽出した索引を重み付けす
る。

索引抽出する手法としては、不要語辞書法と統制語辞書
法がある。前者は、索引として抽出してはならない単語
を不要語辞書に登録し、不要語辞書にない単語を索引と
して抽出する手法である。

後者は、索引となるべき単語を統制語辞書に登録し、統
制語辞書の単語と一致する単語が文書中に存在する場合
、索引として出力する手法である。

統制語辞書が用意されている文書では統制語辞書法を用
い、統制語辞書が用意されていない文書では不要語辞書
を用いる。第３図に示すような例では、統制語辞書が用
意されていないため、不要語辞書法を適用する。この種
の文書では、第４図に示すような不要語辞書を用意し、
不要語以外の単語を除いた名詞相当語句（固有名詞、す
変名側等も含む）を索引として抽出する。

索引の重み付けは、係り受け解析結果から算出される文
構造ポイントを利用する。文構造ポイントは、文節間の
係り受けとその係り受け関係の属性により決定する。文
末の文節に文構造ポイントの基準値を与え、各文節の文
構造ポイントは、文末の文節から対象とする文節にたど
り着くまでに通る係り受けの文節間リンクポイントの合
計値とする。

第５図に係り文節の付属語と文節間のリンクポイントの
対応を示す。第６図に例を示すが、「信号を　入力する
ための　入力手段。」という入力文では、「入力手段。

」には文構造ポイントの基準値（０）を与え、文節「入
力するための」は、助詞「の」を介した係り受け関係で
あるため、文節間リンクポイントは２となり、文構造ポ
イントも２となる。同様にして、文節「信号を」は文節
間リンクポイントがＯであるため、「入力するための」
と同じ文構造ポイント２となる。同様にして、すべての
文節の文構造ポイントを求める。文構造ポイントが大き
いほど索引の重要度を低（する。

文書蓄積部４では、文書情報を文書データベース１００
に登録する。登録する情報としては、ただ単に文書のコ
ード情報だけでなく、係り受け解析部２で付与した形態
素情報や索引抽出部３で付与した索引情報も同時に記憶
する。第７図に入力文書例、第８図に入力された文章が
蓄積されている状態を示す。各行は文節単位に区切られ
ており、各文節に対して文節番号９文節表記１文節読み
９品詞、係り先番号、索引等が付与されている。新しい
文書蓄積の際には、類似文書検索部６で必要なインデッ
クス情報も併せて更新する。第９図にインデックス情報
テーブルを示す。インデックス情報テーブルには、文書
データベースの索引とその索引が付与されている文書番
号が記憶されている。このテーブルはマツチングした文
書番号を高速に取得するために使用される。

シソーラス展開部５では、検索装置が種々の文書表現に
対応できるように、索引抽出部３で抽出した索引を同義
語や類義語で展開する。第１０図に索引をシソーラス辞
書１０１で展開した例を示す。左端に列挙されている単
語が文書中から抽出された索引群である。その索引に対
して、シソーラス辞書１０１を検索し、見出し語と索引
が一致した場合は、その見出し語に付与されている同義
語・類義語を抽出する。

このシソーラス辞書１０１では、同義語を３つに分類し
ている。同義語０．同義語１．同義語２である。これら
は意味の近さによって大別されている。つまり同義語Ｏ
とは見出し語と意味的に全（類似の単語であり、どのよ
うな条件でも言い替え可能な語と定義する。同義ｉ！■
、同義語２と番号が高くなるにつれて、見出し語から意
味が遠くなる。

例えば「文書」という索引の場合、同義語Ｏとしては「
ドキュメント」が挙げられている。この場合「文書」は
「ドキュメントＪと言い替えても全く意味的に同じこと
を示している。また、類義語としては、「テキスト」、
「文章」、「文ｊ等がある。

また、シソーラス辞書１０１には、多義判定テーブルが
用意されており、表記上では同じでも意味が異なる単語
の区別を文書の分野によって判定する。第１１図に多義
判定テーブルを示す。多義判定テーブルでは、単語の表
記、読み、利用分野の情報からなり、シソーラス展開す
る場合、入力された文書の分野に最も意味的に正しい同
義語。

類義語を出力する。例えばｒＣＤＪといった場合、銀行
関係を分野で使われる［キャッシュ・デイスペンサー」
であるのか、音楽関係である「コンパクト・ディスク」
であるのかわからないが、この発明の装置では、文書の
分野が多義判定テーブルに記載されている場合、その分
野に対応する同義語、類義語を優先する。もし、適当な
分野がない場合は、すべての同義語、類義語を抽出する
。

類似文書検索部６では、入力文書に類似する文書を検索
する処理を行う。入力文書と文書データベース１００と
のマツチングは、２段階で実施される。第１段階は、キ
ーワード包含率検査で、入力文書のシソーラス展開され
たキーワードと文書データベースとのキーワードがどの
程度一致しているかを検査する。マツチングは、第９図
のインデックス情報テーブルとシソーラス展開された語
との間で高速に行われる。キーワード包含率は、キーワ
ードの一致した個数を、各文書に付与されているキーワ
ード数（重複したキーワードは１個と数える）で割った
値である。

キーワード包含率 目した処理を行う。係り受け関係により抽出される２項
関係としては、く名詞（句）〉とく動詞（句）〉の関係
、名詞句内のく名詞〉とく名詞〉の関係等がある。名詞
句の場合、名詞句の一番最後にくる名詞にその名詞句の
意味を代表させ、動詞句の場合、動詞句を構成する単語
すべてを対象とした。

第７図の入力文では、例えば く名詞〉　　　　　　　く動詞〉 第２段階のマツチングでは、先のキーワード包含率でヒ
ツトした文書に対して、文構造の類似度を判断して絞り
込みを行う。キーワードが２個以上一致した文書すべて
に対して処理を実施した場合時間がかかるため、ユーザ
の要望に合わせて処理レベルを決定する。処理レベルは
、キーワード包含率や文書数の２種類の指定が可能であ
る。

この発明の装置では、絞り込みの手法として、係り受け
関係に代表される２項関係の類似度に着のようなく名詞
〉とく動詞〉の２項関係が抽出される。また、名詞句内
の関係と 〈名詞〉　　　　　　〈名詞〉 カナ文字　　　の　　　読み 使用頻度　　　の　　　高い 同ランク　　　の　　　単語 などが抽出される。また、動詞句が複数の用言から構成
されている場合には、く名詞（句）〉は、複数の用言と
の２項関係を持つとする。例えば「漢字カナ混じり文に
　変換して　表示し・・・・・・」という文の場合、 く名詞〉　　　　　　　　〈動詞〉 漢字カナ混じり文　　に　　変換 漢字カナ混じり文　　　　　表示 とする。

これらの２項関係が文書データベース中の文書に存在す
る場合、マツチングポイントを与える。

マツチングポイントは索引の重要度、シソーラスポイン
トにより変化する。以下でそれぞれの評価ポイントにつ
いて説明する。

索引の重要度は、文書蓄積部４で付与した文構造を考慮
した標準的重みを、第１段階のマツチング状況に応じて
変化させたものである。先に付与した文構造に基づく標
準的重み付けは、その文書の一般的内容に対する重み付
けであり、文書の内容に深く立ち入った専門的内容につ
いての重みは軽くしている。しかし、検索要求としては
、広い意味での検索（例えば「かな漢字変換装置に関す
る特許を収集したい」）や狭い意味での検索要求（例え
ば「かな漢字変換装置の同音語選択に関する特許を収集
したい」）などがあり、その２面性を同時に満足する必
要がある。この発明の装置の場合、なるべ（広い検索要
求から狭い検索要求まで対応できるように索引の重み付
けを変化させる。

第１段階のマツチングでキーワード包含率が低い場合は
、現在ある文書データベースの内容が入力された文書に
対して十分なデータ量を保持していないと判断し、広い
意味での検索を優先して行う。そのため、索引の重要度
は標準的重み付けのままとする。キーワード包含率が高
い場合は、専門的な内容に立ち入った検索であると判断
して、索引の重要度を内容の深いところに対して最大の
重みを付加した状態で検索を実行する。

シソーラスポイントは、シソーラス展開部５で付与され
た同義語、類義語の索引に対しての意味的距離を表した
ものである。索引に意味的距離が近いほどシソーラスポ
イントは高くなる。つまり、索引及び同義語０はシソー
ラスポイント３、同義語１と同義語２はシソーラスポイ
ント２、類義語はシソーラスポイント１を与える。

各索引の評価値は、索引の重要度、シソーラスポイント
のそれぞれを掛は合せたポイントとし、係り受け関係が
一致した場合、それぞれの評価値どうしを掛は合せたポ
イントをマツチングポイントとする。最終的な文書間の
類似度は、マツチングポイントの総和にキーワード包含
率を掛けた値とする。

第１２図にマツチングポイントを求める例を示す。入力
文は°゛カナ文字列を漢字カナ混じり文に変換し、”で
、類似度を検査する文（マツチング文）は、゛第１の文
字を第２の文字に置換し、で、それぞれの係り受け関係
及び索引重要度が図のように求められているとする。こ
の場合、各文節について見ると、第１文節は“文字”と
いう単語が一致している（シソーラスポイント３）。第
２文節では、゛漢字°°に対して°゛文字゛が類義語で
あるからシソーラスポイント１゜第３文節では゛変換°
゛に対して°゛置換が類義語であるからシソーラスポイ
ントｌとなる。ここで、入力文の索引重要度とマツチン
グ文の索引重要度とシソーラスポイントをすべて掛は合
せ索引の評価値を算出する。係り受け関係が同じ場合、
係り文節と受け文節の索引評価値を掛は合せたポイント
を各係り受け関係のマツチングポイントとする。例えば
第１文゛漢字カナ混じり文に”と°°変換し、°゛が係
り受け関係にあり、また、第２文゛第２の文字に°°と
“°置換し”の係り受け関係が一致しているため、この
文節の係り受けのマツチングポイントは、各文節のポイ
ントを掛は合せた１ＯＸ１０＝１００ポイントとなる。

同様にして、全ての係り受け関係についてマツチングポ
イントを求め総和をとり、キーワード包含率を掛は合せ
て文書の類似度とする。

類似文書出力部７は、類似文書検索部６の検索結果をデ
イスプレィ７０に表示する。この場合、類似度の高い順
にソートし類似度の高い文書５件を画面に表示し、それ
ぞれの内容が分かりやすいように表示する。画面上に５
件全て表示できない場合は、類似度の高い文書を優先し
て表示する。

［発明の効果］ この発明は以上説明したように、文書を直接入力し、コ
ード情報とする文書入力部と、入力された文字列を分か
ち書きし、形態素情報を付与するとともに、形態素情報
を基にして文節間の係り受け関係を判定する係り受け解
析部と、係り受け解析部の係り受け解析結果から文構造
を決定し、この文構造から索引を抽出するとともに、索
引の重要度を付与する索引抽出部と、入力文書、係り受
け解析結果、索引抽出結果を蓄積する文　書蓄積部と、
索引抽出部の索引をシソーラス辞書で展開するシソーラ
ス展開部と、入力文書と蓄積されている文書との類似度
を索引の類似度と係り受け関係の類似度から判定する類
似文書検索部と、検索した類似文書を出力する類似文書
出力部とからなるので、ユーザはキーワード、論理式等
を考慮する必要なくして類似文書の検索が可能となる。

また、類似文書の検索においては、索引をシソーラス展
開することにより漏れのない検索を可能とする。検索し
た文書の絞り込みは、検索対象による索引に対して行い
高精度に実行される。また、２段階の検索方式により検
索時間の短縮が可能となる。

【図面の簡単な説明】

第１図はこの発明の一実施例の構成を示すブロック図、
第２図は類似文書検索装置のシステム構成ブロック図、
第３図は係り受け解析例を説明する図、第４図は不要語
辞書を説明する図、第５図は係り文節の付属語と文節間
リンクポイントの対応を示すテーブル図、第６図は文構
造ポイント計算例を説明する図、第７図は入力文書例を
説明する図、第８図は蓄積された文書情報を示す図、第
９図はインデックス情報テーブル図、第１０図はシソー
ラス展開部を説明する図、第１１図は多義判定テーブル
、第１２図はマツチングポイント計算例を説明する図で
ある。 図中、１は文書入力部、２は係り受け解析部、３は索引
抽出部、４は文書蓄積部、５はシソーラス展開部、６は
類似文書検索部、７は類似文書出力部、１０は文字認識
部、１１はイメージリーグ、１２はハンドスキャナ、１
３はＦＡＸ、１４はＣＤ−ＲＯＭ、１５はフロッピーデ
ィスク、１６はマグネティックテープ、１７はキーボー
ド、２ＱはＣＰＵ、１００は文書データベース、１０１
はシソーラス辞書、１０２は形態素解析用辞書である。 文節間リンクポイント　− 文構造ポイント

Claims (1)

【特許請求の範囲】
1. 文書を直接入力し、コード情報とする文書入力部と、前
   記入力された文字列を分かち書きし、形態素情報を付与
   するとともに、前記形態素情報を基にして文節間の係り
   受け関係を判定する係り受け解析部と、前記係り受け解
   析部の係り受け解析結果から文構造を決定し、この文構
   造から索引を抽出するとともに、索引の重要度を付与す
   る索引抽出部と、入力文書、係り受け解析結果、索引抽
   出結果を蓄積する文書蓄積部と、前記索引抽出部の索引
   をシソーラス辞書で展開するシソーラス展開部と、入力
   文書と蓄積されている文書との類似度を索引の類似度と
   係り受け関係の類似度から判定する類似文書検索部と、
   検索した類似文書を出力する類似文書出力部とを具備す
   ることを特徴とする類似文書検索装置。