JPH01217623A - キーワード自動生成装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 「産業上の利用分野」 この発明は文書データベース作成のため、データベース
に蓄積される文書に対して、文章の内容を適切に表現す
るキーワードを文章中から自動的に生成する装置に関す
るものである。

「従来の技術」 新聞記事、特許出願明細書、技術論文などの大量の文書
を含むデータベースを作成する場合、文書の入力の際に
検索用のキーワードを付与しなければならない、従来、
この目的のために、次のような方法が用いられていた。

（ａ）対象文章から抽出した語と、キーワードになり得
ない語を収集した不要語辞書とを照合し、一致しなかっ
た語をキーワードとして抽出する方法。

（ｂ）対象文章中から抽出した語と、キーワードになり
得る語を収集したキーワード辞書とを照合し、一致した
語をキーワードとして抽出する方法。

（ｃ）対象文章中の語の出現頻度を計算し、出現頻度が
中程度の語が文章の特徴を最もよ（表していると考え、
これをキーワードとして抽出する方法。

「発明が解決しようとする課題」 しかし、これら従来の方法にはそれぞれ次のような欠点
がある。

（ａ）の方法では、キーワードとするのに適切な紐取外
に、文章の内容を代表するのに適切ではない語や、余り
重要ではない内容を表現する語が、非常に大量にキーワ
ードとして抽出される。また、同じ内容を表現するのに
複数の語が用いられ、用語の統制がなされていない。

（ｂ）の方法では、キーワードとなり得る語が文章中に
出現している場合に、この語が自動抽出される。従って
、キーワード辞書中の語ならば、文章の内容を代表する
のに適切ではない語や、余り重要でない内容を表現する
語であっても文章中に出現すればキーワードとして抽出
される。また、キーワード辞書中に文章の内容を表現す
るのに適切なキーワードが存在しても、対象文章中にこ
の語と完全に一致する語が出現しなければ、キーワード
として抽出されてない。

〔ｃ〕の方法では、高頻度語は一般的な用語として除去
し、低頻度語は特殊な用語として除去し、中程度の出現
頻度の語を文章の特徴を表す語として抽出する。このた
め、抽出された語にはある程度の適切性と重要性が保証
されるが、キーワードとなり得ない語を抽出したり、キ
ーワードとなり得る語を除去することがある。また、用
語の統制もなされない。

この発明の目的は、従来の方法では、文章中に出現し、
かつ、不要語辞書と一致しないか、または、重要語辞書
と一致したという理由で、文章の内容を代表するのに適
切でない語や、重要ではない内容を表現する語がキーワ
ードとして抽出されるという問題点や、キーワード辞書
と完全一致する語が文章中に出現しなければ、キーワー
ド辞書中に内容を適切に表現する語があってもキーワー
ドとされることはないという問題点を解決したキーワー
ド自動生成装置を提供することにある。

「課題を解決するための手段」 この発明によればキーワードとなり得る語（これを見出
し語と呼ぶ）及びその関連語がキーワード辞書に記憶さ
れ、キーワード生成の対象となる文章中から名詞及び名
詞である可能性のある語が名詞抽出部で抽出され、その
名詞抽出部により抽出された対象文章中の語とキーワー
ド辞書に記憶された見出し語及びその関連語とが辞書照
合部で照合され、対象文章中の語がキーワード辞書中の
語と文字列として部分的または完全に一致する（これを
部分一致と呼ぶ）場合にその対象文章中の語（これを部
分一致語と呼ぶ）が検出される。

辞書照合部により検出された部分一致語に基づいて、こ
れがキーワード辞書の見出し語と部分一致している場合
にはその見出し語がキーワード候補抽出部でキーワード
候補として出力されると共に見出し語の関連語と部分一
致している場合には対応する見出し語がキーワード候補
として出力される。辞書照合部により検出された部分一
致語とこれに部分一致したキーワード辞書中の語との一
致度が２つの語の一致の種類及び−敗文字数などから一
致度計算部で計算され、辞書照合部により検出された部
分一致語の重要度が対象文章中における出現位置から重
要度計算部で計算され、辞書照合部により検出された部
分一致語とキーワード候補抽出部により抽出されたキー
ワード候補との関連度が、部分一致したキーワード辞書
中の語とキーワード候補との関係より関連度計算部で計
算される。キーワード候補抽出部により抽出された各キ
ーワード候補毎に、一致度計算部で計算された一致度、
重要度計算部で計算された重要度、及び関連度計算部で
計算された関連度を全ての部分一致語に関して集計して
、対象文章に対するキーワード候補の重要性と適切性と
がキーワード生成部で判定され、最適なものから順番に
キーワードとして生成される。

つまりこの発明は、 重要な内容を表現する語は、題名、見出し、抄録、第１
段落などの文章構成上の先頭部に使用されることが多い
という性質を利用して、文章中で語が出現した位置に応
じた重みを与えることにより、重要な内容を表す語に重
みを置いた処理ができること、 重要な内容を表現する語は、文章中で繰り返し使用され
るが、必ずしも単一の語が使用されるわけではなく、複
合語、派生語、省略語を形成することが多いという性質
を利用して、文章中の語とキーワード辞書中の見出し語
とを部分一致照合することにより、見出し語の複合語、
派生語、省略語が出現した場合にも対応できること、重
要な内容を表現する語は、同義語や関連語が使用される
ことが多いという性質を利用して、キーワード辞書中の
見出し語の関連語に関しても、部分−敗照合を行い、見
出し語との関係に応じた重みを与えることにより、見出
し語の関連語、及び、その複合語、派生語、省略語が出
現した場合にも対応できることを最も主要な特徴とする
。

従来の技術とは、 対象文章中の語とキーワード辞書中の語との部分一致照
合を行うので、従来の方法ではキーワード辞書中の語と
完全一致する語が文章中に出現しなければキーワードと
して抽出されなかったのに対して、この装置ではキーワ
ード辞書中の語の複合語、派生語、省略語、同義語、関
連語などが出現していればキーワードを生成できること
、キーワードを生成する手がかりとなった文章中の部分
一致語に関して、キーワード辞書中の語との一致度、出
現位置による重要度、キーワードとの関連度、部分一致
語の出現回数などを考慮するので、従来の技術では文章
の内容を代表するには不適切で重要でないキーワードが
大量に抽出されたのに対して、この装置では文章の重要
な内容を表現するキーワードを必要な数だけ生成できる
ことが異なる。

「実施例」 第１図はこの発明の基本構成例を示す。

ｌはキーボード、ＯＣＲ（光学読取装置）等の入力装置
、２は入力装置１によって読み込まれ磁気記憶装置に文
字コードの形式で記録されている文書データベース、３
は文書データベース２から読み込みを行う入力処理部、
４は読み込まれた文章中から名詞及び名詞である可能性
のある語を抽出する名詞抽出部、５はキーワードとなり
得る語及びその同義語、上位語、下位語などの関連語を
記憶したキーワード辞書、６は名詞抽出部４で抽出され
た語とキーワード辞書５に記憶された語とを部分一致照
合する辞書照合部、７は辞書照合部６で検出された部分
一致語からキーワード候補を抽出するキーワード候補抽
出部、８は辞書照合部６で検出された部分一致語とこれ
に部分一致したキーワード辞書５中の語との一致度を計
算する一致度計算部、９は辞書照合部６で検出された部
分一致語の文章中における重要度を計算する重要度計算
部、１０は辞書照合部６で検出された部分一致語とキー
ワード辞書５中の語との関連性の強さを計算する関連度
計算部、１）はキーワード候補抽出部７で抽出されたキ
ーワード候補の対象文章に対する重要性及び適切性を、
−成度計算部８で計算された一致度、重要度計算部９で
計算された重要度、関連度計算部１０で計算された関連
度から計算し、最適なキーワードを必要な数だけ生成す
るキーワード生成部、１２は生成されたキーワードを出
力するキーワード出力部である。

第２図はこの発明の動作例で、 １３は入力処理部３により読み込まれたキーワード生成
対象文章の一部、１４は名詞抽出部４により対象文章か
ら抽出された語、１５は辞書照合部６により対象文章よ
り抽出された語とキーワード辞書５を部分一致照合して
検出された対象文章中の部分−数倍、１６は部分−数倍
からキーワード候補抽出部７により抽出されたキーワー
ド候補、１７はキーワード候補に関して、その部分−数
倍の一致度、重要度、関連度を集計してキーワード生成
部１）により生成されたキーワードである。

この実施例の動作を説明する。

まず、キーワード生成の対象となる文書がキーボード、
ＯＣＲなどの入力装置１から入力され、磁気記憶装置に
記録されて文書データベース２となる。

この文書データベース２からキーワード生成対象文章が
入力処理部３によって名詞抽出部４に入力され、ここで
対象文章から名詞及び名詞である可能性のある語が抽出
される。１３はキーワード生成対象文章の一部を示し、
１４は名詞抽出部４により対象文章１３から抽出された
語を示す。

名詞抽出部４により抽出された語が辞書照合部６により
キーワード辞書５と照合され、部分一致する語が検出さ
れる。１５は辞書照合部６により検出された部分−数倍
である。

辞書照合部６により検出された部分−数倍からキーワー
ド候補抽出部７によりキーワード候補が抽出される。こ
こでは、部分−数倍がキーワード辞書中の見出し語と部
分−敗している場合にはその見出し語がキーワード候補
とされ、部分−数倍がキーワード辞書の見出し語の関連
語と部分一致している場合には対応する見出し語がキー
ワード候補となる。１６はキーワード候補抽出部７によ
り抽出されたキーワード候補である。

辞書照合部６により検出された部分−数倍とこれに部分
一致したキーワード辞書中の語との一致度が一致度計算
部８により計算される。−成度は、２つの語の文字列長
及び２つの語の共通文字列の長さ、及び、２つの語の一
致の種類（前方一致、中間一致、後方一致など）より計
算される。

記事中の語とこれに部分一致した辞書中の語の一致度は
、次式により計算される。

（語Ｕ、の文字数）（語−４の文字数）ただし、 ここで、 Ｗ、：記事中の部分一致語 圓、：キーワード辞書中の語 Ｍ（Ｌ、　Ｈａ）　　’一致の種類による重みＳ（Ｗ、
、圓、）：語−１と語−６の一致度辞書照合部６により
検出された部分−数倍の対象文章中における重要度が重
要度計算部８により計算される０重要度は、見出し、段
落、文番号などの文章構成単位上での部分一致語の出現
位置から計算される。

部分−数倍の重要度は、次式により計算される。

Ｗ（Ｗ、）　＝　２　’−” ここで、 ６　：部分−数倍 ｎ：語−１が出現する記事中の文番号 ただし、見出しを第０文とする。

また、前文がある場合には、前文を本文の第一段落と見
なし、以降の文番号を順に付与する。

獣−１）：語Ｗ、の重要度 辞書照合部６により検出された部分−数倍とキーワード
候補との関連度が関連度計算部１０により計算される。

関連度は、部分−数倍が部分一致したキーワード辞書中
の語とキーワード候補との関係（見出し語、同義語、上
位語、下位語など）から計算される。

関係度は次のような定義される。

ここで、 −６：キーワード辞書中の語 −ｋ　：キーワード候補 Ｒ（讐ａＪｂ）：語−４とキーワード候補−の関係度次
の動作として、キーワード生成部１）において、キーワ
ード候補抽出部７により抽出された各キーワード候補毎
に、−成度計算部８で計算した一致度、重要度計算部９
で計算した重要度、関連度計算部１０で計算した関連度
が全ての部分一致語について集計され、各キーワード候
補の対象文章に対する重要性及び適切性が判定され、最
適なものから順にキーワード１２が生成される。１７は
キーワード生成部１）により生成されたキーワードを示
す。

キーワード候補の得点は、次式により計算される。

１（１−Σ−（Ｗ、）Ｓ（Ｗｓ、　Ｌ）ｉ（Ｌ、　Ｗｂ
）Ｗ、、　ＩＡａ ここで −ｍ　＝部分一致語 賀、：語讐、と部分一致したキーワード辞書中の語 Ｗ、　　ｊ語賀、から得られたキーワード候補ｔ＋（Ｗ
、）　　：語−１の重要度 Ｓ（Ｌ、Ｗａ）　　’語−１と語６の一致度Ｒ（Ｗａ、
Ｗｋ）’語−４とキーワード候補−５の関係度 ！（讐、Ｉ）：キーワード候補−５の得点このような構
成及び動作となっているので、対象文章中に存在するキ
ーワード辞書中の語との部分一致語を手がかりとしてキ
ーワード候補を抽出し、部分一致語の文章中における重
要度、キーワード辞書中の語との一致度、キーワード候
補との関連度などから文章全体の内容を解析した上で、
キーワードを生成することができる。従って、従来の技
術に比べて、対象文章中にキーワード辞書と完全に一致
する語が出現しない場合でも、その複合語、派生語、省
略語などからキーワードを生成する能力を備え、文章の
内容を代表するのに不適切な語や余り重要でない内容を
表現する語がキーワードとして抽出されることを削減し
、対象文章に対して最も適切で重要なキーワードから順
に生成することができるという改善がある。

「発明の効果」 以上説明したように、この発明のキーワード自動抽出装
置は、対象とする文章中から抽出した語とキーワード辞
書中の語との部分−敗照合を行うことによりキーワード
候補を生成し、対象文章中の語とキーワード辞書中の語
との一致度、キーワード候補抽出の手がかりとなった対
象文章中の語の重要度、対象文章中の語とキーワード候
補との関連度から文章全体の内容を解析した上でキーワ
ードを生成するのであるから、 対象文章中にキーワード辞書と完全に一致する語が使用
されていない場合でも、その複合語、派生語、省略語な
ど部分的に一致する文字列を持つ語を手がかりとしてキ
ーワードを生成することができ、文章全体の内容を適切
に表現する語や文章中の重要な内容を表現する語をキー
ワードとして生成することができるという利点がある。

【図面の簡単な説明】

第１図はこの発明装置の基本構成例を示すブロック図、
第２図はこの発明装置の動作例を示す図である。 特許出願人：日本電信電話株式会社

Claims (1)

【特許請求の範囲】
1. （１）キーワードとなり得る語（これを見出し語と呼ぶ
   ）及びその関連語を記憶したキーワード辞書と、 キーワード生成の対象となる文章中から名詞及び名詞で
   ある可能性のある語を抽出する名詞抽出部と、 前記名詞抽出部により抽出された対象文章中の語と前記
   キーワード辞書に記憶された見出し語及びその関連語と
   を照合し、対象文章中の語がキーワード辞書中の語と文
   字列として部分的または完全に一致する（これを部分一
   致と呼ぶ）場合に、この対象文章中の語（これを部分一
   致語と呼ぶ）を検出する辞書照合部と、 前記辞書照合部により検出された部分一致語に基づいて
   、これがキーワード辞書の見出し語と部分一致している
   場合にはその見出し語をキーワード候補とし、見出し語
   の関連語と部分一致している場合には対応する見出し語
   をキーワード候補として出力するキーワード候補抽出部
   と、 前記辞書照合部により検出された部分一致語とこれに部
   分一致したキーワード辞書中の語との一致度を２つの語
   の一致の種類及び一致文字数などから計算する一致度計
   算部と、 前記辞書照合部により検出された部分一致語の重要度を
   対象文章中における出現位置からを計算する重要度計算
   部と、 前記辞書照合部により検出された部分一致語と前記キー
   ワード候補抽出部により抽出されたキーワード候補との
   関連度を、部分一致したキーワード辞書中の語とキーワ
   ード候補との関係より計算する関連度計算部と、 前記キーワード候補抽出部により抽出された各キーワー
   ド候補毎に、前記一致度計算部で計算された一致度、前
   記重要度計算部で計算された重要度、及び、前記関連度
   計算部で計算された関連度を全ての部分一致語に関して
   集計して、対象文章に対するキーワード候補の重要性と
   適切性を判定し、最適なものから順番にキーワードとし
   て生成するキーワード生成部とを有するキーワード自動
   生成装置。