JPH0934905A - キーセンテンス抽出方式及び抄録方式及び文検索方式 - Google Patents
キーセンテンス抽出方式及び抄録方式及び文検索方式Info
- Publication number
- JPH0934905A JPH0934905A JP7182890A JP18289095A JPH0934905A JP H0934905 A JPH0934905 A JP H0934905A JP 7182890 A JP7182890 A JP 7182890A JP 18289095 A JP18289095 A JP 18289095A JP H0934905 A JPH0934905 A JP H0934905A
- Authority
- JP
- Japan
- Prior art keywords
- sentence
- degree
- key
- association
- sentences
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Machine Translation (AREA)
- Document Processing Apparatus (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
(57)【要約】
【課題】 文書内のキーセンテンスを抽出するための文
の重要度の評価において、文書内の他の文との関連度に
基づくことにより、文脈に基づいたより適切な重要度を
与え、キーセンテンスの抽出の精度を高める。 【解決手段】 文切り出し手段２により電子化文書１内
の文間の関連度を評価し、文重要度評価手段４により文
の重要度を評価し、キーセンテンス抽出手段５により文
書１内からキーセンテンスを抽出し、更には、抽出した
キーセンテンスから抄録文を作成する。文間の関連度
は、文内の名詞を主体としたキーワード候補単語間の重
複度に基づき、また、文の重要度は、他の文群との関連
度の強さと関連の有無に基づいて求める。
の重要度の評価において、文書内の他の文との関連度に
基づくことにより、文脈に基づいたより適切な重要度を
与え、キーセンテンスの抽出の精度を高める。 【解決手段】 文切り出し手段２により電子化文書１内
の文間の関連度を評価し、文重要度評価手段４により文
の重要度を評価し、キーセンテンス抽出手段５により文
書１内からキーセンテンスを抽出し、更には、抽出した
キーセンテンスから抄録文を作成する。文間の関連度
は、文内の名詞を主体としたキーワード候補単語間の重
複度に基づき、また、文の重要度は、他の文群との関連
度の強さと関連の有無に基づいて求める。
Description
【０００１】
【発明の属する技術分野】本発明は、文書から重要文
（キーセンテンス）を抽出するキーセンテンス抽出方
式、及び、該キーセンテテンス抽出方式を用いた抄録方
式、及び、前記キーセンテンス抽出方式における文間関
連度評価手段を用いた文検索方式に関する。
（キーセンテンス）を抽出するキーセンテンス抽出方
式、及び、該キーセンテテンス抽出方式を用いた抄録方
式、及び、前記キーセンテンス抽出方式における文間関
連度評価手段を用いた文検索方式に関する。
【０００２】
【従来の技術】文書の要約は、文書の概要を把握する上
で重要であり、自動要約装置が期待されている。しか
し、人間によっても難しい要約の作成を自動化するの
は、さらに難しい。そこで、要約に代わるものとして、
文書中のキーセンテンス（重要文）の抽出や、それらの
重要文をつないで作成する抄録の自動化の方が実現性が
高い。キーセンテンスの抽出には、高い頻度の単語
［１：特開昭６１−１１７６５８号公報（文章抄録装
置）］やキーワードの重要度［２：特開平３−２７８２
７０号公報（抄録文作成装置）］やキー構文との照合
［３：特開昭６１−１００８６１号公報（文書編集装
置）］、重要語と原文の論理的な構造［４：特開平２−
１８１２６１号公報（自動抄録生成装置）］、重要部分
を認識する知識［５：特開平４−７４２５９号公報（文
書要約装置）］等に基づく方法等、さまざまな方法があ
る。
で重要であり、自動要約装置が期待されている。しか
し、人間によっても難しい要約の作成を自動化するの
は、さらに難しい。そこで、要約に代わるものとして、
文書中のキーセンテンス（重要文）の抽出や、それらの
重要文をつないで作成する抄録の自動化の方が実現性が
高い。キーセンテンスの抽出には、高い頻度の単語
［１：特開昭６１−１１７６５８号公報（文章抄録装
置）］やキーワードの重要度［２：特開平３−２７８２
７０号公報（抄録文作成装置）］やキー構文との照合
［３：特開昭６１−１００８６１号公報（文書編集装
置）］、重要語と原文の論理的な構造［４：特開平２−
１８１２６１号公報（自動抄録生成装置）］、重要部分
を認識する知識［５：特開平４−７４２５９号公報（文
書要約装置）］等に基づく方法等、さまざまな方法があ
る。
【０００３】なお、前記特開昭６１−１１７６５８号公
報［１］に記載の発明は、文章をパラグラフ毎等の形に
順次分割し、該分割した各パラグラフ等中に存在する文
単位に用語を夫々分担して当該用語の使用頻度等に基づ
いて文の重要度を夫々判別し、各パラグラフ毎に最重要
度の文を順次つなぐ形で抄録を編集することにより、文
章の抄録を自動的に編集するようにしたものである。
報［１］に記載の発明は、文章をパラグラフ毎等の形に
順次分割し、該分割した各パラグラフ等中に存在する文
単位に用語を夫々分担して当該用語の使用頻度等に基づ
いて文の重要度を夫々判別し、各パラグラフ毎に最重要
度の文を順次つなぐ形で抄録を編集することにより、文
章の抄録を自動的に編集するようにしたものである。
【０００４】また、前記特開平３−２７８２７０号公報
［２］に記載の発明は、キーワード抽出評価手段が入力
された文書中からキーワード候補を抽出すると共にキー
ワード候補の重要度を予め設定された所定条件に基づい
て算定し、この算定されたキーワードの重要度と入力さ
れた文書とから文章評価手段が各文章毎に文書の内容表
現に対する適切さを文章評価値として各々算出すると共
に文章評価値を予め設定された閾値と比較して所定の文
章を選出し、この選出された文章を並べて抄録文を作成
するようにしたものである。
［２］に記載の発明は、キーワード抽出評価手段が入力
された文書中からキーワード候補を抽出すると共にキー
ワード候補の重要度を予め設定された所定条件に基づい
て算定し、この算定されたキーワードの重要度と入力さ
れた文書とから文章評価手段が各文章毎に文書の内容表
現に対する適切さを文章評価値として各々算出すると共
に文章評価値を予め設定された閾値と比較して所定の文
章を選出し、この選出された文章を並べて抄録文を作成
するようにしたものである。
【０００５】また、前記特開昭６１−１００８６１号公
報［３］に記載の発明は、入力された文章中の各文を構
文的または意味的に解析し、この構文的または意味的に
解析された文構造の全体またはその一部分と辞書に予め
登録された部分文構造（文のキー構造）とを照合して、
上記辞書に登録された部分文構造を含む文を前記入力文
章中から抽出し、これらの抽出された文を用いて文章を
再構成するようにしたもので、例えば、辞書に登録され
た部分文構造中の削除規則に該当する文要素を、前記入
力文章中から抽出された文中から削除して文を再構成す
るようにしたものである。
報［３］に記載の発明は、入力された文章中の各文を構
文的または意味的に解析し、この構文的または意味的に
解析された文構造の全体またはその一部分と辞書に予め
登録された部分文構造（文のキー構造）とを照合して、
上記辞書に登録された部分文構造を含む文を前記入力文
章中から抽出し、これらの抽出された文を用いて文章を
再構成するようにしたもので、例えば、辞書に登録され
た部分文構造中の削除規則に該当する文要素を、前記入
力文章中から抽出された文中から削除して文を再構成す
るようにしたものである。
【０００６】また、前記特開平２−１８１２６１号公報
［４］に記載の発明は、日本語辞書を用いて機能語を完
全に除去し、一般名詞と固有名詞を対象として、これら
の頻度情報および位置情報から、文章の主題や記述の核
となる重要語を高精度に抽出するとともに、原文の文章
の論理的な構造の解析を行い、文章の構造の情報から著
者が重要と思っている内容や強調したい内容に関する記
述を抄録の中に含ませるようにしたものである。
［４］に記載の発明は、日本語辞書を用いて機能語を完
全に除去し、一般名詞と固有名詞を対象として、これら
の頻度情報および位置情報から、文章の主題や記述の核
となる重要語を高精度に抽出するとともに、原文の文章
の論理的な構造の解析を行い、文章の構造の情報から著
者が重要と思っている内容や強調したい内容に関する記
述を抄録の中に含ませるようにしたものである。
【０００７】更に、前記特開平４−７４２５９号公報
［５］に記載の発明は、要約対象とする文書を構成して
いる文をそれぞれ解析し、この解析結果と知識記憶手段
に格納されている文書中の重要な部分を認識するための
知識、例えば、文字修飾情報とを用いて前記文書中の重
要な文を認識判定し、この判定結果に従って前記文書中
から重要な文を抽出して要約文を作成するようにしたも
のである。
［５］に記載の発明は、要約対象とする文書を構成して
いる文をそれぞれ解析し、この解析結果と知識記憶手段
に格納されている文書中の重要な部分を認識するための
知識、例えば、文字修飾情報とを用いて前記文書中の重
要な文を認識判定し、この判定結果に従って前記文書中
から重要な文を抽出して要約文を作成するようにしたも
のである。
【０００８】
【発明が解決しようとする課題】しかし、上記従来の方
法は、外部からの情報［前記公報２，３，４，５］や、
構文解析［前記公報３，４，５］を必要としたり、１文
ごとの独立した評価を行っており、文書内の文の関連性
に重きが置かれていない。なお、特開平６−２５９４２
４号公報（文書表示装置及び文書要約装置並びにディジ
タル複写装置）は、文書内の見出しに限っているが、キ
ーワードの可能性の高い文書内の見出しとの関連性の高
い文を見出し内の単語との照合により抽出しており、文
脈的な選択となっている。
法は、外部からの情報［前記公報２，３，４，５］や、
構文解析［前記公報３，４，５］を必要としたり、１文
ごとの独立した評価を行っており、文書内の文の関連性
に重きが置かれていない。なお、特開平６−２５９４２
４号公報（文書表示装置及び文書要約装置並びにディジ
タル複写装置）は、文書内の見出しに限っているが、キ
ーワードの可能性の高い文書内の見出しとの関連性の高
い文を見出し内の単語との照合により抽出しており、文
脈的な選択となっている。
【０００９】本発明は、上述のごとき実情に鑑みてなさ
れたもので、特に、文書内のキーセンテンスを抽出する
ための文の重要度の評価において、文書内の他の文との
関連度に基づくことにより、文脈に基づいたより適切な
重要度を与え、キーセンテンスの抽出の精度を高めるこ
と、また、文の重要度の評価として、外部知識や構文解
析等の大きな負担のない簡単な方法を適用可能にするこ
とを目的としてなされたものである。
れたもので、特に、文書内のキーセンテンスを抽出する
ための文の重要度の評価において、文書内の他の文との
関連度に基づくことにより、文脈に基づいたより適切な
重要度を与え、キーセンテンスの抽出の精度を高めるこ
と、また、文の重要度の評価として、外部知識や構文解
析等の大きな負担のない簡単な方法を適用可能にするこ
とを目的としてなされたものである。
【００１０】
【課題を解決するための手段】請求項１の発明は、電子
化された文書から文を切り出す「文切り出し手段」と、
文書内の１文と他の１文との関連度を評価する「文間関
連度評価手段」と、文書内の他の文群との関連度に基づ
き、文の重要度を評価する「文重要度評価手段」と、文
の重要度に基づき、キーセンテンスを抽出する「キーセ
ンテンス抽出手段」とを有すること、請求項２の発明
は、請求項１の発明において、前記「文間関連度評価手
段」は、文からキーワード候補単語群を抽出し、各々の
文に含まれるキーワード候補単語間の類似度に基づき関
連度を評価すること、請求項３の発明は、請求項２の発
明において、前記「文間関連度評価手段」におけるキー
ワード候補単語間の類似度として、キーワード候補単語
の文字列間の文字の重複度を用いること、請求項４の発
明は、請求項１乃至３の発明において、前記「文重要度
評価手段」が、他の文群との関連度の強さと他の文群と
の関連のカバレージ度の一方あるいは双方とによって文
の重要度を評価すること、請求項５の発明は、請求項４
の発明において、前記他の文群との関連度の強さとし
て、他の文との関連度の平均値、前記他の文群との関連
のカバレージ度として、他の文との関連度の有無の平均
値を用いること、請求項６の発明は、請求項４の発明に
おいて、前記文の重要度として、他の文群との関連度の
強さと他の文群との関連のカバレージ度との積を用いる
こと、を特徴としたものであり、これら請求項１乃至請
求項６の発明により、文書内の文間の関連度に基づいた
文の重要度によるキーセンテンスの抽出を可能とし、特
に、請求項２乃至請求項６で提供する文間の関連度と文
の重要度を評価する方式は、外部知識や構文解析等を用
いず、名詞判定程度の解析処理と文字列照合の処理によ
って簡単に得られる効果的な方法である。
化された文書から文を切り出す「文切り出し手段」と、
文書内の１文と他の１文との関連度を評価する「文間関
連度評価手段」と、文書内の他の文群との関連度に基づ
き、文の重要度を評価する「文重要度評価手段」と、文
の重要度に基づき、キーセンテンスを抽出する「キーセ
ンテンス抽出手段」とを有すること、請求項２の発明
は、請求項１の発明において、前記「文間関連度評価手
段」は、文からキーワード候補単語群を抽出し、各々の
文に含まれるキーワード候補単語間の類似度に基づき関
連度を評価すること、請求項３の発明は、請求項２の発
明において、前記「文間関連度評価手段」におけるキー
ワード候補単語間の類似度として、キーワード候補単語
の文字列間の文字の重複度を用いること、請求項４の発
明は、請求項１乃至３の発明において、前記「文重要度
評価手段」が、他の文群との関連度の強さと他の文群と
の関連のカバレージ度の一方あるいは双方とによって文
の重要度を評価すること、請求項５の発明は、請求項４
の発明において、前記他の文群との関連度の強さとし
て、他の文との関連度の平均値、前記他の文群との関連
のカバレージ度として、他の文との関連度の有無の平均
値を用いること、請求項６の発明は、請求項４の発明に
おいて、前記文の重要度として、他の文群との関連度の
強さと他の文群との関連のカバレージ度との積を用いる
こと、を特徴としたものであり、これら請求項１乃至請
求項６の発明により、文書内の文間の関連度に基づいた
文の重要度によるキーセンテンスの抽出を可能とし、特
に、請求項２乃至請求項６で提供する文間の関連度と文
の重要度を評価する方式は、外部知識や構文解析等を用
いず、名詞判定程度の解析処理と文字列照合の処理によ
って簡単に得られる効果的な方法である。
【００１１】請求項７の発明は、請求項１乃至６のいず
れかのキーセンテンス抽出方式を用いて、文の重要度の
高いキーセンテンスを抽出し、文書内の文の順番に並べ
ることを特徴としたものであり、これにより、文書内に
文間の関連度に基づいた文の重要度によるキーセンテン
スの抽出、抄録作成を行うようにしたものである。
れかのキーセンテンス抽出方式を用いて、文の重要度の
高いキーセンテンスを抽出し、文書内の文の順番に並べ
ることを特徴としたものであり、これにより、文書内に
文間の関連度に基づいた文の重要度によるキーセンテン
スの抽出、抄録作成を行うようにしたものである。
【００１２】請求項８の発明は、請求項１乃至３のいず
れかに記載のキーセンテンス抽出方式における「文間関
連度評価手段」に基づき、検索要求の文あるいは単語群
との関連度に基づき文書内の文を検索することを特徴と
したものであり、これにより、請求項１乃至請求項３の
発明の文間の関連度を利用して、文書内から選択した特
定の文、外部から与えた検索文やキーワード群と関連の
大きい文を検索する方式としても効果があるようにした
ものである。
れかに記載のキーセンテンス抽出方式における「文間関
連度評価手段」に基づき、検索要求の文あるいは単語群
との関連度に基づき文書内の文を検索することを特徴と
したものであり、これにより、請求項１乃至請求項３の
発明の文間の関連度を利用して、文書内から選択した特
定の文、外部から与えた検索文やキーワード群と関連の
大きい文を検索する方式としても効果があるようにした
ものである。
【００１３】
【発明の実施の形態】図１は、本発明によるキーセンテ
ンス抽出方式、抄録方式、及び、文検索方式を説明する
ための構成図で、図中、１は電子化文書、２は文切り出
し手段、３は文間関連度評価手段、４は文重要度評価手
段、５はキーセンテンス抽出手段で、「文切り出し手
段」２は、電子化文書１から文を１文づつ切り出す。通
常、文書内の文は、句点「。」で１文づつ区切られてい
るか、見出しのように句点なしに１行が１文をなしたり
する。一般に、電子化された文書ファイルから文を１文
づつ切り出す技術は、機械翻訳システム等で既に実現さ
れている技術であり、ここでは詳細を述べない。図２
に、以下の説明に用いる文書の内容を示し、図３には、
「文切り出し手段」によって切り出された文を示す（各
文の先頭に付加されているのは文番号である。なお、図
２に示した原文では、最初の３文が見出しとなってい
る）。
ンス抽出方式、抄録方式、及び、文検索方式を説明する
ための構成図で、図中、１は電子化文書、２は文切り出
し手段、３は文間関連度評価手段、４は文重要度評価手
段、５はキーセンテンス抽出手段で、「文切り出し手
段」２は、電子化文書１から文を１文づつ切り出す。通
常、文書内の文は、句点「。」で１文づつ区切られてい
るか、見出しのように句点なしに１行が１文をなしたり
する。一般に、電子化された文書ファイルから文を１文
づつ切り出す技術は、機械翻訳システム等で既に実現さ
れている技術であり、ここでは詳細を述べない。図２
に、以下の説明に用いる文書の内容を示し、図３には、
「文切り出し手段」によって切り出された文を示す（各
文の先頭に付加されているのは文番号である。なお、図
２に示した原文では、最初の３文が見出しとなってい
る）。
【００１４】文間関連度評価手段３では、切り出された
各文と他の各文との関連がどの程度あるかを評価し、関
連度として求める。文間の関連度を求める方法は、さま
ざま考えられるが、請求項２の発明では、各文からキー
ワード候補単語群を抽出し、各々の文に含まれるキーワ
ード候補単語間の類似度に基づき関連度を評価するよう
にしている。
各文と他の各文との関連がどの程度あるかを評価し、関
連度として求める。文間の関連度を求める方法は、さま
ざま考えられるが、請求項２の発明では、各文からキー
ワード候補単語群を抽出し、各々の文に含まれるキーワ
ード候補単語間の類似度に基づき関連度を評価するよう
にしている。
【００１５】キーワード候補単語としては、一般には名
詞が挙げられる。図４に、各文からキーワードになりに
くい日付け等の数名詞や１字漢字の名詞を除く名詞を抽
出した結果を示す。名詞の抽出は、従来の日本語文の形
態素解析技術に依ることができる。あるいは、漢字、カ
タカナやアルファベットの文字列を切り出すだけでも、
ほぼ同等の結果を得ることができる。
詞が挙げられる。図４に、各文からキーワードになりに
くい日付け等の数名詞や１字漢字の名詞を除く名詞を抽
出した結果を示す。名詞の抽出は、従来の日本語文の形
態素解析技術に依ることができる。あるいは、漢字、カ
タカナやアルファベットの文字列を切り出すだけでも、
ほぼ同等の結果を得ることができる。
【００１６】キーワード候補単語の類似に基づき文間の
関連度を得る方法もさまざまありえるが、請求項３の発
明では、キーワード候補単語間の類似度として、キーワ
ード候補単語の文字列間の文字の重複度を用いる。ここ
では、文ｉの文ｊに対する関連度Ｒ（ｉ，ｊ）を、文ｉ
のキーワード候補単語文字の総数に対する文ｉのキーワ
ード候補単語文字のうち、一方の文ｊのキーワード候補
単語の文字と重複する文字の総数の比とする。
関連度を得る方法もさまざまありえるが、請求項３の発
明では、キーワード候補単語間の類似度として、キーワ
ード候補単語の文字列間の文字の重複度を用いる。ここ
では、文ｉの文ｊに対する関連度Ｒ（ｉ，ｊ）を、文ｉ
のキーワード候補単語文字の総数に対する文ｉのキーワ
ード候補単語文字のうち、一方の文ｊのキーワード候補
単語の文字と重複する文字の総数の比とする。
【００１７】たとえば、第５文と第６文のキーワード候
補単語は、次のようになっているが、 ［５］英米 主要先進 Ｇ７ 合意 規制 イラク 対
象 対共産圏輸出統制委員会 ココム リスト ［６］Ｇ７ 対象 品目 話し合い 冷戦終結 輸出規
制 両文のキーワード候補単語間の組合せでの部分文字列照
合により、容易に重複する文字は「Ｇ７」、「規制」、
「対象」、「輸出」であることがわかる。重複する文字
の数は８であり、一方、各文のキーワード候補単語の文
字の総数は、各々３４と１８であるので、その比は、各
文について、 Ｒ（５，６）：８／３４＝０.２３５ Ｒ（６，５）：８／１８＝０.４４４ となる。
補単語は、次のようになっているが、 ［５］英米 主要先進 Ｇ７ 合意 規制 イラク 対
象 対共産圏輸出統制委員会 ココム リスト ［６］Ｇ７ 対象 品目 話し合い 冷戦終結 輸出規
制 両文のキーワード候補単語間の組合せでの部分文字列照
合により、容易に重複する文字は「Ｇ７」、「規制」、
「対象」、「輸出」であることがわかる。重複する文字
の数は８であり、一方、各文のキーワード候補単語の文
字の総数は、各々３４と１８であるので、その比は、各
文について、 Ｒ（５，６）：８／３４＝０.２３５ Ｒ（６，５）：８／１８＝０.４４４ となる。
【００１８】図５に第５文の他の文との関連度を示し、
図６に文間の関連度をマトリクスで示す（なお、図中、
関連度は上記の値を１００倍［パーセント化］し、整数
化して示してある）。上記の方法は、単語文字列の部分
一致に基づいているが、キーワード候補単語が一致する
単語数の割合をとれば、上記の場合は、「Ｇ７」、「規
制」、「対象」の３単語が一致し、一方、各々の単語数
は１０と６であるので、次のようになる。 Ｒ（５，６）：３／１０＝０.３０ Ｒ（６，５）：３／６ ＝０.５０
図６に文間の関連度をマトリクスで示す（なお、図中、
関連度は上記の値を１００倍［パーセント化］し、整数
化して示してある）。上記の方法は、単語文字列の部分
一致に基づいているが、キーワード候補単語が一致する
単語数の割合をとれば、上記の場合は、「Ｇ７」、「規
制」、「対象」の３単語が一致し、一方、各々の単語数
は１０と６であるので、次のようになる。 Ｒ（５，６）：３／１０＝０.３０ Ｒ（６，５）：３／６ ＝０.５０
【００１９】また、請求項２の発明に立ち戻って、より
一般的な関連度としては、たとえば、文ｊに対する文ｉ
の関連度Ｒ（ｉ，ｊ）を、文ｉ内の単語の文ｊ内の各単
語との類似度の和の平均とする等が考えられる。これ
は、文ｉ内のキーワード候補単語の集合をＷ（ｉ）、単
語ｘと単語ｙの類似度をｒ（ｘ，ｙ）［０〜１］、文ｉ
内のキーワード候補単語数をＮ（ｉ）とすると、次の式
（１）で示す表わすことができる。
一般的な関連度としては、たとえば、文ｊに対する文ｉ
の関連度Ｒ（ｉ，ｊ）を、文ｉ内の単語の文ｊ内の各単
語との類似度の和の平均とする等が考えられる。これ
は、文ｉ内のキーワード候補単語の集合をＷ（ｉ）、単
語ｘと単語ｙの類似度をｒ（ｘ，ｙ）［０〜１］、文ｉ
内のキーワード候補単語数をＮ（ｉ）とすると、次の式
（１）で示す表わすことができる。
【００２０】
【数１】
【００２１】単語間の類似度を厳密に考えると、単語間
の上位・下位関係が与えられたシソーラス体系を利用す
る方法等も考えられる。
の上位・下位関係が与えられたシソーラス体系を利用す
る方法等も考えられる。
【００２２】文重要度評価手段４では、各文について得
られた他の文との関連度に基づいて、文の重要度を評価
する。請求項４の発明では、文の重要度を他の文群との
関連度の強さ及び他の文群との関連のカバレージによっ
て評価する。前者は、他の文とどれだけ強く関連してい
るかを示し、後者は、どれだけ広く他の文と関連してい
るかを示す。具体的な算出方法としては、請求項６の発
明において、他の文群との関連度の強さは、他の文との
関連度の平均値、他の文群との関連のカバレージ度は、
他の文との関連度の有無の平均値を用いる。第５文につ
いて見れば、表１のようになる。
られた他の文との関連度に基づいて、文の重要度を評価
する。請求項４の発明では、文の重要度を他の文群との
関連度の強さ及び他の文群との関連のカバレージによっ
て評価する。前者は、他の文とどれだけ強く関連してい
るかを示し、後者は、どれだけ広く他の文と関連してい
るかを示す。具体的な算出方法としては、請求項６の発
明において、他の文群との関連度の強さは、他の文との
関連度の平均値、他の文群との関連のカバレージ度は、
他の文との関連度の有無の平均値を用いる。第５文につ
いて見れば、表１のようになる。
【００２３】
【表１】
【００２４】図７に、図６の関連度に基づいた各文の関
連度の強さとカバレージとその積の値を示す（いずれも
１００倍し、整数化してある。積は‘＝＞’の右に示
す）。関連度の強さに着目すると、第２文、第３文が.
３３，.２７と高く、第４，６，７，１０文が.１５〜.
１７の範囲の第２グループをなしている。関連のカバレ
ージに着目すると、第５文、第７文が.９１と高く、第
４，６文が.７３で続く。
連度の強さとカバレージとその積の値を示す（いずれも
１００倍し、整数化してある。積は‘＝＞’の右に示
す）。関連度の強さに着目すると、第２文、第３文が.
３３，.２７と高く、第４，６，７，１０文が.１５〜.
１７の範囲の第２グループをなしている。関連のカバレ
ージに着目すると、第５文、第７文が.９１と高く、第
４，６文が.７３で続く。
【００２５】関連度の強さが高い文群は、見出しが高く
なっているように、文書のテーマに強く関わっている文
であることが想定される。また、関連のカバレージが高
い文は、新聞記事等で要約的な内容をもつといわれる第
１段落の文を含んでおり、全体の内容を含んでいる可能
性が高いことが想定される。逆に、この値が低い文は、
非常に個別的な話題を述べている文であると考えられ
る。このように、いずれの値もキーセンテンスを抽出す
るための文の重要度として意味のあるものになってい
る。
なっているように、文書のテーマに強く関わっている文
であることが想定される。また、関連のカバレージが高
い文は、新聞記事等で要約的な内容をもつといわれる第
１段落の文を含んでおり、全体の内容を含んでいる可能
性が高いことが想定される。逆に、この値が低い文は、
非常に個別的な話題を述べている文であると考えられ
る。このように、いずれの値もキーセンテンスを抽出す
るための文の重要度として意味のあるものになってい
る。
【００２６】さらに、請求項６の発明では、この両者の
積によって、双方の効果を加味した文の重要度を与え
る。この重要度に基づくと、.１０以上では、第２文、
第７文、第６文、第４文、第１０文、第５文の順とな
り、見出し第２文、第１段落の３文（第４，５，６
文）、第２段落の第１文（第７文）と最終文（第１０
文）がキーセンテンスとして抽出される。
積によって、双方の効果を加味した文の重要度を与え
る。この重要度に基づくと、.１０以上では、第２文、
第７文、第６文、第４文、第１０文、第５文の順とな
り、見出し第２文、第１段落の３文（第４，５，６
文）、第２段落の第１文（第７文）と最終文（第１０
文）がキーセンテンスとして抽出される。
【００２７】請求項７の発明は、抽出されたキーセンテ
ンスを順に示して、抄録となすもので、上記の重要度に
基づけば、抄録として、図８（上位２文：第２文、第７
文）や図９（上位６文：第２文、第４文、第５文、第６
文、第７文、第１０文）が得られる。
ンスを順に示して、抄録となすもので、上記の重要度に
基づけば、抄録として、図８（上位２文：第２文、第７
文）や図９（上位６文：第２文、第４文、第５文、第６
文、第７文、第１０文）が得られる。
【００２８】請求項８の発明は、検索要求として与えた
文やキーワード群に対して関連する文を本発明の文の関
連度により検索するものである。たとえば、見出し文が
重要なキーワードを含んでいると考えられることから、
見出し文の第１文「通常兵器関連の工業製品」を検索文
とすれば、第４文「通常兵器の部品や加工機械に転用で
きる工業製品の輸出規制が二十日、…」が検索され（図
１０）、見出し文の第２文によれば、第１段落の３文と
最終段落の第１文が関連度が高い文として検索される
（図１１）。
文やキーワード群に対して関連する文を本発明の文の関
連度により検索するものである。たとえば、見出し文が
重要なキーワードを含んでいると考えられることから、
見出し文の第１文「通常兵器関連の工業製品」を検索文
とすれば、第４文「通常兵器の部品や加工機械に転用で
きる工業製品の輸出規制が二十日、…」が検索され（図
１０）、見出し文の第２文によれば、第１段落の３文と
最終段落の第１文が関連度が高い文として検索される
（図１１）。
【００２９】
【発明の効果】請求項１の発明は、電子化された文書か
ら文を切り出す「文切り出し手段」と、文書内の１文と
他の１文との関連度を評価する「文間関連度評価手段」
と、文書内の他の文群との関連度に基づき、文の重要度
を評価する「文重要度評価手段」と、文の重要度に基づ
き、キーセンテンスを抽出する「キーセンテンス抽出手
段」とを有することを特徴としたものであり、請求項２
の発明は、請求項１の発明において、前記「文間関連度
評価手段」は、文からキーワード候補単語群を抽出し、
各々の文に含まれるキーワード候補単語間の類似度に基
づき関連度を評価すること、請求項３の発明は、請求項
２の発明において、前記「文間関連度評価手段」におけ
るキーワード候補単語間の類似度として、キーワード候
補単語の文字列間の文字の重複度を用いること、請求項
４の発明は、請求項１乃至３の発明において、前記「文
重要度評価手段」が、他の文群との関連度の強さと他の
文群との関連のカバレージ度の一方あるいは双方とによ
って文の重要度を評価すること、請求項５の発明は、請
求項４の発明において、前記他の文群との関連度の強さ
として、他の文との関連度の平均値、前記他の文群との
関連のカバレージ度として、他の文との関連度の有無の
平均値を用いること、請求項６の発明は、請求項４の発
明において、前記文の重要度として、他の文群との関連
度の強さと他の文群との関連のカバレージ度との積を用
いることを特徴としたものであり、これら請求項１乃至
請求項６の発明により、文書内の文間の関連度に基づい
た文の重要度によるキーセンテンスの抽出を可能とし、
特に、請求項２乃至請求項６で提供する文間の関連度と
文の重要度を評価する方式は、外部知識や構文解析等を
用いず、名詞判定程度の解析処理と文字列照合の処理に
よって簡単に得られる効果的な方式である。
ら文を切り出す「文切り出し手段」と、文書内の１文と
他の１文との関連度を評価する「文間関連度評価手段」
と、文書内の他の文群との関連度に基づき、文の重要度
を評価する「文重要度評価手段」と、文の重要度に基づ
き、キーセンテンスを抽出する「キーセンテンス抽出手
段」とを有することを特徴としたものであり、請求項２
の発明は、請求項１の発明において、前記「文間関連度
評価手段」は、文からキーワード候補単語群を抽出し、
各々の文に含まれるキーワード候補単語間の類似度に基
づき関連度を評価すること、請求項３の発明は、請求項
２の発明において、前記「文間関連度評価手段」におけ
るキーワード候補単語間の類似度として、キーワード候
補単語の文字列間の文字の重複度を用いること、請求項
４の発明は、請求項１乃至３の発明において、前記「文
重要度評価手段」が、他の文群との関連度の強さと他の
文群との関連のカバレージ度の一方あるいは双方とによ
って文の重要度を評価すること、請求項５の発明は、請
求項４の発明において、前記他の文群との関連度の強さ
として、他の文との関連度の平均値、前記他の文群との
関連のカバレージ度として、他の文との関連度の有無の
平均値を用いること、請求項６の発明は、請求項４の発
明において、前記文の重要度として、他の文群との関連
度の強さと他の文群との関連のカバレージ度との積を用
いることを特徴としたものであり、これら請求項１乃至
請求項６の発明により、文書内の文間の関連度に基づい
た文の重要度によるキーセンテンスの抽出を可能とし、
特に、請求項２乃至請求項６で提供する文間の関連度と
文の重要度を評価する方式は、外部知識や構文解析等を
用いず、名詞判定程度の解析処理と文字列照合の処理に
よって簡単に得られる効果的な方式である。
【００３０】請求項７の発明は、請求項１乃至６の発明
のいずれかのキーセンテンス抽出方式を用いて、文の重
要度の高いキーセンテンスを抽出し、文書内の文の順番
に並べることを特徴としたものであり、これにより、文
書内に文間の関連度に基づいた文の重要度によるキーセ
ンテンスの抽出、抄録作成を行うようにしたものであ
る。
のいずれかのキーセンテンス抽出方式を用いて、文の重
要度の高いキーセンテンスを抽出し、文書内の文の順番
に並べることを特徴としたものであり、これにより、文
書内に文間の関連度に基づいた文の重要度によるキーセ
ンテンスの抽出、抄録作成を行うようにしたものであ
る。
【００３１】請求項８の発明は、請求項１乃至３のいず
れかに記載のキーセンテンス抽出方式における「文間関
連度評価手段」に基づき、検索要求の文あるいは単語群
との関連度に基づき文書内の文を検索することを特徴と
したものであり、これにより、請求項１乃至請求項３の
発明の文間の関連度を利用して、文書内から選択した特
定の文、外部から与えた検索文やキーワード群と関連の
大きい文を検索する方式としても効果があるようにした
ものである。
れかに記載のキーセンテンス抽出方式における「文間関
連度評価手段」に基づき、検索要求の文あるいは単語群
との関連度に基づき文書内の文を検索することを特徴と
したものであり、これにより、請求項１乃至請求項３の
発明の文間の関連度を利用して、文書内から選択した特
定の文、外部から与えた検索文やキーワード群と関連の
大きい文を検索する方式としても効果があるようにした
ものである。
【図１】 本発明によるキーセンテンス抽出方式、抄録
方式、及び、文検索方式を説明するための構成図であ
る。
方式、及び、文検索方式を説明するための構成図であ
る。
【図２】 本発明の一実施例を説明するための電子化文
書の一例（原文）を示す図である。
書の一例（原文）を示す図である。
【図３】 図２に示した原文の文切り出し結果を示す図
である。
である。
【図４】 文ごとのキーワード候補単語を示す図であ
る。
る。
【図５】 第５文の他の文との関連度を示す図である。
【図６】 文間の関連度マトリクスを示す図である。
【図７】 関連度の強さ、関連のカバレージ、及びその
積を示す図である。
積を示す図である。
【図８】 抄録の一例（抄録１）を示す図である。
【図９】 抄録の他の例（抄録２）を示す図である。
【図１０】 見出し第１文による関連文の検索結果を示
す図である。
す図である。
【図１１】 見出し第２文による関連文の検索結果を示
す図である。
す図である。
１…電子化文書、２…文切り出し手段、３…文間関連度
評価手段、４…文重要度評価手段、５…キーセンテンス
抽出手段。
評価手段、４…文重要度評価手段、５…キーセンテンス
抽出手段。
Claims (8)
- 【請求項１】 電子化された文書から文を切り出す文切
り出し手段と、文書内の１文と他の１文との関連度を評
価する文間関連度評価手段と、文書内の他の文群との関
連度に基づいて、文の重要度を評価する文重要度評価手
段と、文の重要度に基づいて、キーセンテンスを抽出す
るキーセンテンス抽出手段とを有することを特徴とする
キーセンテンス抽出方式。 - 【請求項２】 前記文間関連度評価手段は、文からキー
ワード候補単語群を抽出し、各々の文に含まれるキーワ
ード候補単語間の類似度に基づいて関連度を評価するこ
とを特徴とする請求項１に記載のキーセンテンス抽出方
式。 - 【請求項３】 前記文間関連度評価手段におけるキーワ
ード候補単語間の類似度として、キーワード候補単語の
文字列間の文字の重複度を用いることを特徴とする請求
項２に記載のキーセンテンス抽出方式。 - 【請求項４】 前記文重要度評価手段が、他の文群との
関連度の強さと他の文群との関連のカバレージ度の一方
あるいは双方とによって文の重要度を評価することを特
徴とする請求項１乃至３のいずれかに記載のキーセンテ
ンス抽出方式。 - 【請求項５】 前記他の文群との関連度の強さとして、
他の文との関連度の平均値、前記他の文群との関連のカ
バレージ度として、他の文との関連度の有無の平均値を
用いることを特徴とする請求項４に記載のキーセンテン
ス抽出方式。 - 【請求項６】 前記文の重要度として、他の文群との関
連度の強さと他の文群との関連のカバレージ度との積を
用いることを特徴とする請求項４に記載のキーセンテン
ス抽出方式。 - 【請求項７】 請求項１乃至６のいずれかのキーセンテ
ンス抽出方式を用いて、文の重要度の高いキーセンテン
スを抽出し、文書内の文の順番に並べることを特徴とす
る抄録方式。 - 【請求項８】 請求項１乃至３のいずれかに記載のキー
センテンス抽出方式における文間関連度評価手段に基づ
いて、検索要求の文あるいは単語群との関連度に基づき
文書内の文を検索することを特徴とする文検索方式。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP18289095A JP3594701B2 (ja) | 1995-07-19 | 1995-07-19 | キーセンテンス抽出装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP18289095A JP3594701B2 (ja) | 1995-07-19 | 1995-07-19 | キーセンテンス抽出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0934905A true JPH0934905A (ja) | 1997-02-07 |
| JP3594701B2 JP3594701B2 (ja) | 2004-12-02 |
Family
ID=16126196
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP18289095A Expired - Fee Related JP3594701B2 (ja) | 1995-07-19 | 1995-07-19 | キーセンテンス抽出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3594701B2 (ja) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09319768A (ja) * | 1996-05-29 | 1997-12-12 | Oki Electric Ind Co Ltd | 要点抽出方法 |
| JPH10301956A (ja) * | 1997-04-30 | 1998-11-13 | Ricoh Co Ltd | キーセンテンス抽出方式及び抄録方式及び文書表示方式 |
| JPH11238064A (ja) * | 1998-02-20 | 1999-08-31 | Toshiba Corp | データベース作成方法および情報記憶検索装置および記録媒体 |
| JPH11259521A (ja) * | 1998-03-13 | 1999-09-24 | Fujitsu Ltd | 文書理解支援装置、要約文生成方法、並びに文書理解支援プログラムを記録したコンピュータ読み取り可能な記録媒体 |
| JPH11272664A (ja) * | 1998-03-19 | 1999-10-08 | Sharp Corp | テキスト構造解析装置および抄録装置、並びにプログラム記録媒体 |
| JP2001034638A (ja) * | 1999-07-27 | 2001-02-09 | Fujitsu Ltd | 索引生成装置及び方法及び記録媒体 |
| US6424429B1 (en) | 1997-11-14 | 2002-07-23 | Ricoh Company, Ltd. | File system and a recording medium with a program used in the system stored therein |
| KR100434526B1 (ko) * | 1997-06-12 | 2004-09-04 | 삼성전자주식회사 | 문맥정보및지역적문서형태를이용한문장추출방법 |
| JP2009015795A (ja) * | 2007-07-09 | 2009-01-22 | Nippon Telegr & Teleph Corp <Ntt> | テキストセグメンテーション装置、テキストセグメンテーション方法、プログラム及び記録媒体 |
| JP2015132899A (ja) * | 2014-01-09 | 2015-07-23 | 日本放送協会 | 重要語抽出装置、及びプログラム |
| JP2016538616A (ja) * | 2013-09-29 | 2016-12-08 | ペキン ユニバーシティ ファウンダー グループ カンパニー，リミティド | 知識抽出方法及びシステム |
| CN111291214A (zh) * | 2020-01-15 | 2020-06-16 | 腾讯音乐娱乐科技（深圳）有限公司 | 一种检索文本的识别方法、装置及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06215049A (ja) * | 1993-01-20 | 1994-08-05 | Sharp Corp | 文書要約装置 |
| JPH06259424A (ja) * | 1993-03-02 | 1994-09-16 | Ricoh Co Ltd | 文書表示装置及び文書要約装置並びにディジタル複写装置 |
-
1995
- 1995-07-19 JP JP18289095A patent/JP3594701B2/ja not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06215049A (ja) * | 1993-01-20 | 1994-08-05 | Sharp Corp | 文書要約装置 |
| JPH06259424A (ja) * | 1993-03-02 | 1994-09-16 | Ricoh Co Ltd | 文書表示装置及び文書要約装置並びにディジタル複写装置 |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09319768A (ja) * | 1996-05-29 | 1997-12-12 | Oki Electric Ind Co Ltd | 要点抽出方法 |
| JPH10301956A (ja) * | 1997-04-30 | 1998-11-13 | Ricoh Co Ltd | キーセンテンス抽出方式及び抄録方式及び文書表示方式 |
| KR100434526B1 (ko) * | 1997-06-12 | 2004-09-04 | 삼성전자주식회사 | 문맥정보및지역적문서형태를이용한문장추출방법 |
| US6424429B1 (en) | 1997-11-14 | 2002-07-23 | Ricoh Company, Ltd. | File system and a recording medium with a program used in the system stored therein |
| JPH11238064A (ja) * | 1998-02-20 | 1999-08-31 | Toshiba Corp | データベース作成方法および情報記憶検索装置および記録媒体 |
| JPH11259521A (ja) * | 1998-03-13 | 1999-09-24 | Fujitsu Ltd | 文書理解支援装置、要約文生成方法、並びに文書理解支援プログラムを記録したコンピュータ読み取り可能な記録媒体 |
| JPH11272664A (ja) * | 1998-03-19 | 1999-10-08 | Sharp Corp | テキスト構造解析装置および抄録装置、並びにプログラム記録媒体 |
| JP2001034638A (ja) * | 1999-07-27 | 2001-02-09 | Fujitsu Ltd | 索引生成装置及び方法及び記録媒体 |
| JP2009015795A (ja) * | 2007-07-09 | 2009-01-22 | Nippon Telegr & Teleph Corp <Ntt> | テキストセグメンテーション装置、テキストセグメンテーション方法、プログラム及び記録媒体 |
| JP2016538616A (ja) * | 2013-09-29 | 2016-12-08 | ペキン ユニバーシティ ファウンダー グループ カンパニー，リミティド | 知識抽出方法及びシステム |
| JP2015132899A (ja) * | 2014-01-09 | 2015-07-23 | 日本放送協会 | 重要語抽出装置、及びプログラム |
| CN111291214A (zh) * | 2020-01-15 | 2020-06-16 | 腾讯音乐娱乐科技（深圳）有限公司 | 一种检索文本的识别方法、装置及存储介质 |
| CN111291214B (zh) * | 2020-01-15 | 2023-09-12 | 腾讯音乐娱乐科技（深圳）有限公司 | 一种检索文本的识别方法、装置及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3594701B2 (ja) | 2004-12-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Kannan et al. | Preprocessing techniques for text mining | |
| EP0530993B1 (en) | An iterative technique for phrase query formation and an information retrieval system employing same | |
| CN103136352B (zh) | 基于双层语义分析的全文检索系统 | |
| US5937422A (en) | Automatically generating a topic description for text and searching and sorting text by topic using the same | |
| Wu et al. | Domain-specific keyphrase extraction | |
| Vossen | Extending, trimming and fusing WordNet for technical documents | |
| KR20010015368A (ko) | 정보 검색 방법과 정보 검색 장치 | |
| KR100406671B1 (ko) | 문장 표절 및 도용 검색 방법 | |
| JP3594701B2 (ja) | キーセンテンス抽出装置 | |
| Litvak et al. | Degext: a language-independent keyphrase extractor | |
| JP2572314B2 (ja) | キーワード抽出装置 | |
| CN111209737B (zh) | 噪声文档的筛除方法及计算机可读存储介质 | |
| JPH0844771A (ja) | 情報検索装置 | |
| Chaibi et al. | Topic segmentation for textual document written in arabic language | |
| Ramirez et al. | ACE: improving search engines via Automatic Concept Extraction | |
| EP3203384A1 (en) | Method, device, and computer program for providing a definition or a translation of a word belonging to a sentence as a function of neighbouring words and of databases | |
| Atwan et al. | Impact of stemmer on arabic text retrieval | |
| Chi et al. | Word segmentation and recognition for web document framework | |
| KR20020054254A (ko) | 사전구조를 이용한 한국어 형태소 분석방법 | |
| Tsapatsoulis | Web image indexing using WICE and a learning-free language model | |
| Kiyota et al. | Automatic summarization of Japanese sentences and its application to a WWW KWIC index | |
| JP3578618B2 (ja) | 文書分割装置 | |
| Panunzi et al. | Keyword extraction in open-domain multilingual textual resources | |
| Rosner et al. | Multisum: query-based multi-document summarization | |
| Yoshioka et al. | On a combination of probabilistic and Boolean IR models for WWW document retrieval |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040302 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040412 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040831 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040901 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080910 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080910 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090910 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090910 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100910 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110910 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120910 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130910 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |