JPH0765018A - キーワード自動抽出装置 - Google Patents

Abstract

(57)【要約】 【目的】 用途や使用者の好みなど目的に応じた尤度の
高いキーワードの自動抽出とそのシステムの設計作業の
軽減を可能とすること。 【構成】 キーワード抽出手段３が複数のキーワード抽
出パラメータ８に基づいて文書から抽出したキーワード
４をキーワード評価手段５が人の指定するキーワードと
比較して評価し、その評価値を最大化するようにパラメ
ータ最適化手段７が複数のキーワード抽出パラメータの
組合せと重みを最適化する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ワードプロセッサ、日
本語文書解析装置やキーワード抽出装置など、文章から
意味を持つ文字列の抽出処理が必要な、キーワード抽出
装置に関するものである。

【０００２】

【従来の技術】従来のキーワード抽出装置は、対象とな
る文書を形態素解析し、得られた単語の出現頻度や文法
的な関係などの情報を手がかりとして、様々な文字列の
抽出・作成のためのルールを駆使してキーワード抽出を
行なっている。すなわちキーワード抽出は入力された文
字列を様々なルールで加工することである。

【０００３】従来例として、特に複合語のキーワードを
頻度情報から作成する特開平３−１１６３７４号公報に
示された専門用語抽出システムについて以下に説明す
る。これは、文章中からすべての複合語を抽出し、複合
語の構成語の出現頻度と単語結合数から、特定の構成語
を専門用語特徴語基として複合語から抽出し、その語基
を含む複合語をすべてキーワードとするものである。

【０００４】図７は、上記の従来例の専門用語抽出シス
テム構成を示すもので、入力文章７１を入力とする形態
素解析部７２と、複合語抽出部７３と、専門用語特徴語
基抽出部７４と、専門用語抽出部７５による処理を順に
行なうように構成されている。

【０００５】形態素解析部７２は任意の分野の入力文書
について、語の単位と品詞を認定する形態素解析を行な
う。複合語抽出部７３は形態素解析結果に対して名詞、
形容動詞、接辞の連続を複合語として抽出する複合語抽
出を行い、入力文章７１中の複合語をすべて抽出する。
専門用語特徴語基抽出部７４では抽出された複合語に対
して、その構成語なる主語基が専門用語をなす語基であ
るかどうかを評価値を用いて判断し、専門用語をなす語
基だけを抽出する専門用語特徴語基抽出処理を行なう。
ついで、専門用語抽出部７５では、抽出された複合語中
から、専門用語特徴語基と判定された語を語基とするも
のだけを専門用語として抽出する処理を行なう。

【０００６】ここに、専門用語特徴語基抽出部７４によ
る処理の概要を図８により説明する。前述した複合語抽
出部７３により抽出された複合語リスト７６中の複合語
に対して、まず、語末に位置する主語基の頻度を算出す
る。次に、各主語基の入力文書７１内での平均結合数を
計算する。これは、ある語を主語基とする時に、その前
に付く修飾語の数を、１つの語基あたりについて計算す
るものである。主語基の頻度と平均結合数から評価値を
算出し、ある閾値以上であればその語を専門用語特徴語
基と判定するものである。

【０００７】これらのキーワード抽出に適用されるルー
ルやその強さを決定するパラメータは、目的に応じ設計
者により選択、調整される。

【０００８】

【発明が解決しようとする課題】しかしながら、これら
パラメータの調整作業はキーワード抽出装置の設計者に
よる試行錯誤的かつ主観的評価に基づいて行われるた
め、設計者の負担が多いことや、設計者と使用者とのキ
ーワード評価の不一致が見られることなどが問題であっ
た。

【０００９】個々のキーワード抽出ルールの妥当性は、
組合せ方や使用者の目的によって変化し、また、自然言
語としてのキーワードが本来持っている意味の曖昧性な
どの問題により尤度の高いキーワードの自動抽出は困難
であった。

【００１０】また、人によるキーワード評価自体にも先
入観や矛盾などの問題があり、キーワード抽出の熟練者
でない場合、評価の妥当性も低く、したがって得られる
キーワードの尤度は低い。

【００１１】本発明は、このような従来のキーワード抽
出装置の課題を考慮し、キーワード抽出のルールやパラ
メータを自動的かつ簡便に最適化できるキーワード自動
抽出装置を提供することを目的とするものである。

【００１２】

【課題を解決するための手段】本発明は、入力文書から
キーワード抽出パラメータに従ってキーワードを抽出す
るキーワード抽出手段と、キーワードの尤度を演算する
キーワード評価手段と、キーワード評価値を最大化する
ようにキーワード抽出パラメータを設定するパラメータ
最適化手段とを備えたキーワード自動抽出装置である。

【００１３】

【作用】本発明は、キーワード抽出パラメータのちがい
により様々なキーワードを抽出することのできるキーワ
ード抽出手段によって、目的に合わせた汎用性の高いキ
ーワード抽出が可能となり、さらに、自動抽出されたキ
ーワードの尤度を数値化するキーワード評価手段により
効率的なキーワードの校正および客観的評価が可能とな
り、さらに、パラメータ最適化手段によりキーワード評
価値を最大化するようなパラメータを効率的に探索する
ことにより試行錯誤に依らないキーワード自動抽出装置
の性能向上が可能となる。

【００１４】

【実施例】以下、本発明の実施例について図面を参照し
て説明する。

【００１５】本発明の一実施例にかかるキーワード自動
抽出装置は図１に示すとおり、キーワード抽出パラメー
タ８に従い入力文書１から得られる文字列２よりキーワ
ード候補４を抽出するキーワード抽出手段３と、入力さ
れたキーワード候補４の尤度を評価してキーワード評価
値６の出力とキーワード１０の出力を行うキーワード評
価手段５と、キーワード評価値６を最大化するようにキ
ーワード抽出パラメータ８を変更設定するパラメータ最
適化手段７で構成されている。

【００１６】ここにキーワード抽出手段３による処理の
概要を図２により説明する。図２において、キーワード
抽出手段３は、形態素解析部２１とキーワード候補作成
部２２のそれぞれの処理を順に行うように構成されてい
る。形態素解析部２１は、入力文書１より得られる文字
列２について、辞書２６を用いて解析する。得られた形
態素情報２７はキーワード候補作成部２２に送られ、キ
ーワード候補の作成基準として使用される。

【００１７】次にキーワード候補作成部２２は、文字列
２より形態素情報２７とキーワード作成ルールを元にキ
ーワード候補を抽出する。形態素解析部２１で用いる形
態素解析ルールとキーワード候補作成部２２において用
いるキーワード作成ルールは、パラメータ制御部２３か
らの指示により決定される。キーワード抽出処理の手順
は、これらの指示されたルールによって変化するが、そ
の一例を次に示す。まず入力された文書中に「索引語を
自動抽出する。」という文があるとすると、これを文の
最小単位である単語「索引語／を／自動／抽出／す
る。」に分解する。通常、キーワードは名詞単語である
ため、辞書２６は「索引語、自動、抽出」などの名詞単
語を文字の表記と品詞の情報を持ち、この辞書との照合
により名詞単語を分離する。ここで単語「索引語」が文
書全体に高頻度に出現している場合に、「文中での出現
頻度が高い単語をキーワードとする」というルールを適
用するならば、名詞単語「索引語」がキーワードとして
選択され易くなる。また、辞書２６にシソーラス情報や
類義語、専門用語などを入れることにより、文章中に現
れない単語をキーワード候補として作成してもよい。こ
れは例えば、「索引語」の代わりに「キーワード」とい
う表現を使えるということである。

【００１８】これらのキーワード抽出に関するルール
は、統計情報（単語の文中の出現頻度や一般的な使用頻
度、文字列の長さなど）や、文字情報（文字種、網かけ
や下線の文字修飾など）文字情報、文書中での位置情報
（題名、文頭、段落はじめ）、意味情報（未知語か登録
語か、シソーラスの上下関係、分野、修飾関係）などを
元にして作成し、ルール保存部２４に記憶させておく。
例えば、統計情報によるルールの例としては、「出現頻
度が高い単語のキーワード評価値を上げる。」や、「一
般的に使われることの多い単語はキーワード評価値を下
げる。」などが挙げられる。このとき評価値をどのくら
い上下させるかもパラメータ制御部２３からの指示によ
って決定される。

【００１９】このような複数のキーワード抽出ルールの
組合せによって形態素解析とキーワード候補作成を行な
うが、ルール作成支援部２５は抽出されたキーワード候
補と使用された抽出ルールの関係を表示することによ
り、人手によるルール作成の支援を可能にする。ここ
に、ルール保存部２４とルール作成支援部２５の処理を
図５により説明する。パラメータ制御部２３が指示した
ルールに従い形態素解析部２１とキーワード候補作成部
２２により処理された結果は、使用されたルールとの相
関関係を含めてルール作成支援部２５のルール表示部５
１に表示される。ここで使用者はルール表示部５１より
得られる情報を基にルールの矛盾や不足を判断し、ルー
ル入力部５２に新規のルールを記述する。新規のルール
はルール保存部２４の抽出ルール記録部５３に記録され
パラメータ制御部２３からの要請に応じて抽出ルール選
択部５４に送られキーワード抽出処理ルールとして使用
される。使用された結果は再びルール表示部５１に表示
されるため、新規追加ルールの動作や効果は使用者の知
るところとなる。このように局所的なループを構成する
ことにより、妥当性の高いキーワード抽出ルールの追加
が可能となる。

【００２０】次に、キーワード評価手段５による処理の
概要を図３により説明する。図３において、キーワード
評価手段５は入力されたキーワード候補４を情報表示部
３１とキーワード決定部３３に送り、さらにキーワード
決定部３３では教師入力３２によりキーワード１０を出
力し、処理結果を評価値演算部３４に送ることによりキ
ーワード評価値６を出力するように構成されている。入
力されるキーワード候補４は文字列のみならず形態素や
抽出ルールに関する情報をも含むため、情報表示部３１
における使用者によるキーワードの評価支援が可能であ
る。使用者は評価結果を教師入力部３２を通じてキーワ
ード決定部３３に送ることにより、キーワード１０の最
終的な決定と、次に送られる評価値演算部３４でのキー
ワード評価値の算出に使用される。

【００２１】ここに、教師入力部３２における処理を図
６により説明する。キーワード抽出手段３から出力され
たキーワード候補の情報は情報表示部３１を介して使用
者に分かりやすく提示される。この情報を基に使用者は
比較評価部６１、キーワード順序評価部６２、キーワー
ド校正部６３のいずれか又はそれらを組み合わせて使用
することによりキーワード候補の尤度評価を行なう。

【００２２】比較評価部６１は、キーワード入力部６０
に入力された使用者が抽出したキーワード文字列をキー
ワード抽出手段３が抽出したキーワード候補文字列と照
合し、一致する点が多いほど評価を高くする。キーワー
ド順序評価部６２は、情報表示部３１にキーワード抽出
手段３が尤度順に出力したキーワード文字列を使用者の
考える尤度順に並べ変えることにより評価を反映させる
もので、並べ変えが少ないほどキーワードの尤度が高い
とするものである。キーワード校正部６３は、キーワー
ド候補文字列に使用者が修正、削除、追加などの校正を
加えることによりキーワード評価を実現しようとするも
のである。校正が少ないほどキーワードとしての尤度は
高いということになり、かつ校正された尤度の高いキー
ワードを得ることが出来る。

【００２３】評価結果は評価尺度選択部６４を介してキ
ーワード決定部３３におけるキーワード決定要素として
採用される。また、評価結果および得られる人手による
キーワードを評価尺度保存部６５に目的（使用者・用
途）別に保存することにより、必要に応じ評価尺度選択
部６４が呼び出し利用することも出来る。

【００２４】次にパラメータ最適化手段７による処理の
概要を図４により説明する。図４において、パラメータ
最適化手段７はキーワード評価手段５より入力されるキ
ーワード評価値６を基にパラメータ最適化部においてキ
ーワード抽出パラメータ８を最適化し、キーワード抽出
手段３に出力する構成となっている。また、最適化され
たパラメータはパラメータ保存部４２に保存され、目的
に応じてパラメータ最適化部４１と初期値設定部４３に
呼び出されるような構成からなっている。ここでいうパ
ラメータとはキーワード抽出手段３の動作を一意に決定
するキーワード抽出ルールの組み合せおよびそれぞれの
強さを示すものである。

【００２５】ここでパラメータ最適化手段７における動
作を遺伝的アルゴリズムを使用した場合を例にとり具体
的に説明する。まず、初期パラメータ候補として、キー
ワード抽出ルールの組み合せおよびそれぞれの強さが様
々な状態のものを初期値設定部４３に複数組をセットす
る。これらパラメータ候補群はパラメータ保存部４２か
ら過去に他の目的用に保存したパラメータを呼び出すこ
とにより設定してもよいが、ランダムに様々な値にパラ
メータを変化させたものを設定してもよい。次にパラメ
ータ候補のそれぞれについてキーワード抽出手段３に出
力し、さらにキーワード評価手段５を経てキーワード評
価値６としてパラメータ候補の評価を行なう。このよう
にしてパラメータ候補それぞれについてキーワード評価
値６が得られる。

【００２６】次にパラメータ最適化部４１において、相
対的に評価値が高いパラメータの内容を反映したパラメ
ータを新規に設定することにより、評価値を最大化する
パラメータの組合せを決定する。具体的には確率的に評
価値の高いもの同士のパラメータの一部を交換して、新
たなパラメータの組合せを作成し、その分評価値の低い
組合せをパラメータ候補群から削除することにより、パ
ラメータ候補群の平均評価値を高めていく方向に駆動す
るのである。これを繰り返すことにより、最終的に評価
値を最大化するパラメータ候補が得られ、使用者の目的
に合った尤度の高いキーワードの抽出が可能となる。

【００２７】パラメータ最適化手法としては、上記した
遺伝的アルゴリズムに限らず、全探索やニューラルネッ
トワークなど評価値を最大化することでパラメータの探
索が出来るアルゴリズムであれば、パラメータ最適化部
４１において同様に使用できる。全探索を使う場合は、
パラメータの全ての組合せを作成し、それらの評価値で
最大のものを最適なパラメータとして選択する。

【００２８】なお、本発明の各手段は、コンピュータを
用いてソフトウェア的に実現し、あるいはそれら各機能
を有する専用のハード回路を用いて実現する事が出来
る。

【００２９】

【発明の効果】以上述べたところから明らかなように、
本発明は、キーワード抽出パラメータのちがいにより様
々なキーワードを抽出することのできるキーワード抽出
手段により、目的に合わせた汎用性の高いキーワード抽
出が可能となる。

【００３０】また、自動抽出されたキーワードの尤度を
数値化するキーワード評価手段により効率的なキーワー
ドの校正および客観的評価が可能となる。

【００３１】また、パラメータ最適化手段によりキーワ
ード評価値を最大化するようなパラメータを効率的に探
索することにより試行錯誤に依らないキーワード自動抽
出装置の性能向上が可能となる。

【図面の簡単な説明】

【図１】本発明の一実施例を示すブロック図である。

【図２】同実施例のキーワード抽出手段の概要を示すブ
ロック図である。

【図３】同実施例のキーワード評価手段の概要を示すブ
ロック図である。

【図４】同実施例のパラメータ最適化手段の概要を示す
ブロック図である。

【図５】同実施例のルール作成支援部とルール保存部を
説明するためのブロック図である。

【図６】同実施例の教師入力部の処理を説明するための
ブロック図である。

【図７】従来のキーワード抽出装置の構成を示すブロッ
ク図である。

【図８】従来のキーワード抽出装置の動作を示すブロッ
ク図である。

【符号の説明】

１ 入力文書 ２ 文字列 ３ キーワード抽出手段 ４ キーワード候補 ５ キーワード評価手段 ６ キーワード評価値 ７ パラメータ最適化手段 ８ キーワード抽出パラメータ ９ 文字列 １０ キーワード

───────────────────────────────────────────────────── フロントページの続き (72)発明者 〆木 泰治 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 (72)発明者 前川 英嗣 大阪府門真市大字門真1006番地 松下電器 産業株式会社内

Claims (12)

【特許請求の範囲】
1. 【請求項１】キーワード抽出パラメータに従って、入力
   文書よりキーワードを抽出するキーワード抽出手段と、
   前記キーワード抽出手段が抽出したキーワードの尤度を
   演算しキーワード評価値として出力するキーワード評価
   手段と、キーワード評価値を最大化するように、前記キ
   ーワード抽出パラメータを修正するパラメータ最適化手
   段とを備えたことを特徴とするキーワード自動抽出装
   置。
2. 【請求項２】キーワード抽出手段は、前記入力文書中の
   単語の品詞や頻度や文法的関係等を解析する形態素解析
   部と、その形態素解析結果を元にキーワードを作成する
   キーワード候補作成部と、前記キーワード抽出パラメー
   タに従って、前記形態素解析部とキーワード候補作成部
   の動作を決定するキーワード抽出パラメータ制御部と、 を備えたことを特徴とする請求項１記載のキーワード自
   動抽出装置。
3. 【請求項３】キーワード評価手段は、使用者によるキー
   ワード評価を入力する教師入力部と、前記キーワード抽
   出手段が出力するキーワード候補の情報と前記教師入力
   部からの情報によりキーワードを決定し出力するキーワ
   ード決定部と、そのキーワードの決定結果よりキーワー
   ド評価値を演算する評価値演算部と、 を備えたことを特徴とする請求項１記載のキーワード自
   動抽出装置。
4. 【請求項４】パラメータ最適化手段は、前記キーワード
   評価手段が出力するキーワード評価値を最大化するよう
   に、前記キーワード抽出パラメータを設定して、前記キ
   ーワード抽出手段に出力するパラメータ最適化部を持つ
   ことを特徴とする請求項１記載のキーワード自動抽出装
   置。
5. 【請求項５】キーワード抽出手段は、様々なキーワード
   抽出ルールを記録している抽出ルール記録部と、前記パ
   ラメータ制御部からの問い合わせに応じてキーワード抽
   出ルールを選択する抽出ルール選択部とからなるルール
   保存部を持つことを特徴とする請求項２記載のキーワー
   ド自動抽出装置。
6. 【請求項６】キーワード抽出手段は、そのキーワード抽
   出手段により抽出されたキーワードと抽出に用いたルー
   ルとの相関関係を使用者に示すルール表示部と、新規の
   抽出ルールを入力するルール入力部で構成されるルール
   作成支援部とを持つことを特徴とする請求項２記載のキ
   ーワード自動抽出装置。
7. 【請求項７】キーワード評価手段は、前記キーワード抽
   出手段より得られる入力文書の形態素解析結果とキーワ
   ード候補を共に表示し、相関関係を示すことで、前記教
   師入力部を介しての使用者のキーワード評価を支援する
   情報表示部を持つことを特徴とする請求項３記載のキー
   ワード自動抽出装置。
8. 【請求項８】キーワード評価手段の教師入力部は、入力
   文書より使用者が抽出したキーワード文字列を入力する
   キーワード入力部と、前記キーワード抽出手段の出力す
   るキーワード候補文字列と使用者の抽出するキーワード
   文字列の比較評価部とを持つことを特徴とする請求項３
   記載のキーワード自動抽出装置。
9. 【請求項９】キーワード評価手段の教師入力部は、前記
   キーワード抽出手段の出力したキーワード候補を使用者
   が目的に応じて尤度順に並べ変えることによってキーワ
   ード評価を行うキーワード順序評価部を持つことを特徴
   とする請求項３記載のキーワード自動抽出装置。
10. 【請求項１０】キーワード評価手段の教師入力部は、前
    記キーワード抽出手段が出力したキーワード候補を使用
    者が修正、削除、追加などの校正をすることによりキー
    ワード評価を行うキーワード校正部を持つことを特徴と
    する請求項３記載のキーワード自動抽出装置。
11. 【請求項１１】キーワード評価手段の教師入力部は、そ
    の教師入力部において使用者が評価した尺度を目的別に
    保存する評価尺度保存部と、目的に応じてそれらを選択
    し利用する評価尺度選択部を持つことを特徴とする請求
    項３記載のキーワード自動抽出装置。
12. 【請求項１２】パラメータ最適化手段は、最適化された
    パラメータを目的別に記録するパラメータ保存部と、目
    的に応じそれらを呼び出して利用する初期値設定部を持
    つことを特徴とする請求項４記載のキーワード自動抽出
    装置。