JPH03286372A - キーワード抽出装置 - Google Patents
キーワード抽出装置Info
- Publication number
- JPH03286372A JPH03286372A JP2087833A JP8783390A JPH03286372A JP H03286372 A JPH03286372 A JP H03286372A JP 2087833 A JP2087833 A JP 2087833A JP 8783390 A JP8783390 A JP 8783390A JP H03286372 A JPH03286372 A JP H03286372A
- Authority
- JP
- Japan
- Prior art keywords
- word
- dictionary
- words
- compound
- specific
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Machine Translation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【発明の詳細な説明】
産業上の利用分野
本発明は日本語文書についてのキーワード抽出装置に関
する。
する。
従来の技術
従来、文書から自動的にキーワードを抽出する技術とし
て言語現象に着目した手法がある。これは頻度などによ
る統計的手法に比へ、文書の内容を反映させることかで
きると考えられている。このような言語現象に着目した
手法として諸特徴評価法（例えば「キーワード自動抽出
と需要層評価」情報処理学会自然言語処理研究会、１９
８７．１１．２０）がある。これは、抽出した語に対し
て必要なキーワードであるかどうかを評価するものであ
る。この評価法にシソーラス上の位置、文書中の出現位
置、頻度、並列表現か、連体修飾語か、などの観点から
複合語の評価を行って適切な語をキーワードとするもの
である。
て言語現象に着目した手法がある。これは頻度などによ
る統計的手法に比へ、文書の内容を反映させることかで
きると考えられている。このような言語現象に着目した
手法として諸特徴評価法（例えば「キーワード自動抽出
と需要層評価」情報処理学会自然言語処理研究会、１９
８７．１１．２０）がある。これは、抽出した語に対し
て必要なキーワードであるかどうかを評価するものであ
る。この評価法にシソーラス上の位置、文書中の出現位
置、頻度、並列表現か、連体修飾語か、などの観点から
複合語の評価を行って適切な語をキーワードとするもの
である。
しかし、文書中のキーワードとなる語は、その分野の専
門用語である場合が多いが、このような専門用語は実際
には新技術や新概念であることが多く、造語力のある漢
字によって造られた複合語であることが多い。つまり、
抽出した複合語から複合語を選出することで、その文書
の分野に適したキーワードが得られることになる。
門用語である場合が多いが、このような専門用語は実際
には新技術や新概念であることが多く、造語力のある漢
字によって造られた複合語であることが多い。つまり、
抽出した複合語から複合語を選出することで、その文書
の分野に適したキーワードが得られることになる。
ここで、このような複合語を検出する装置としては特開
平１−１３７３６６号公報に開示されたものが存する。
平１−１３７３６６号公報に開示されたものが存する。
これは逆語辞書を作成するためのもので、入力された文
書を形態素解析して予め設定された特定語を接尾辞とし
て含む複合語を選出し、これを辞書に格納すると云うも
のである。
書を形態素解析して予め設定された特定語を接尾辞とし
て含む複合語を選出し、これを辞書に格納すると云うも
のである。
発明が解決しようとする課題
上述の公報に開示された方法では、予め設定された特定
語を接尾辞として含む複合語を検出するので、文書から
専門用語を検出することが可能である。
語を接尾辞として含む複合語を検出するので、文書から
専門用語を検出することが可能である。
だが、これを実現するためには、キーワード抽出を行な
う文書の内容や分野に対応した特定語を予め所定の辞書
手段に登録しておく必要があり、手作業での用語選定や
入力を要することになって好ましくない。
う文書の内容や分野に対応した特定語を予め所定の辞書
手段に登録しておく必要があり、手作業での用語選定や
入力を要することになって好ましくない。
課題を解決するための手段
入力された日本語文章を単語分割して予め辞書手段に設
定された特定語が語末に含まれる複合語をキーワードと
して抽出するキーワード抽出装置において、入力された
日本語文章を単語分割して接辞と名詞とからなる複合語
を検出する複合語検出手段を設け、この複合語検出手段
が検出した複合語の名詞の日本語文章内における結合数
と頻度とから評価値を算出して所定の閾値と比較する演
算手段を設け、この演算手段が選別した複合語の名詞を
特定語として辞書手段に入力する辞書設定手段を設けた
。
定された特定語が語末に含まれる複合語をキーワードと
して抽出するキーワード抽出装置において、入力された
日本語文章を単語分割して接辞と名詞とからなる複合語
を検出する複合語検出手段を設け、この複合語検出手段
が検出した複合語の名詞の日本語文章内における結合数
と頻度とから評価値を算出して所定の閾値と比較する演
算手段を設け、この演算手段が選別した複合語の名詞を
特定語として辞書手段に入力する辞書設定手段を設けた
。
作用
入力された日本語文章を単語分割して接辞と名詞とから
なる複合語を検出する複合語検出手段を設け、この複合
語検出手段が検出した複合語の名詞の日本語文章内にお
ける結合数と頻度とから評価値を算出して所定の閾値と
比較する演算手段を設け、この演算手段が選別した複合
語の名詞を特定語として辞書手段に入力する辞書設定手
段を設けたことにより、技術文書からの専門用語の抽出
などに必要な特定語を格納した辞書手段を自動的に作成
することができる。
なる複合語を検出する複合語検出手段を設け、この複合
語検出手段が検出した複合語の名詞の日本語文章内にお
ける結合数と頻度とから評価値を算出して所定の閾値と
比較する演算手段を設け、この演算手段が選別した複合
語の名詞を特定語として辞書手段に入力する辞書設定手
段を設けたことにより、技術文書からの専門用語の抽出
などに必要な特定語を格納した辞書手段を自動的に作成
することができる。
実施例
本発明の実施例を第１図ないし第７図に基づいて説明す
る。このキーワード抽出装置１は、第１図に例示するよ
うに、文書情報の入力部２が複合語検出手段である単語
分割部３とキーワード抽出部４とを介してキーワード情
報の出力部５に接続され、前記単語分割部３と前記キー
ワード抽出部４とに各々単語辞書６と辞書手段である分
野一般辞書７とが接続された構造となっている。そして
、第２図に例示するように、前記単語辞書６には各種単
語の表記情報と品詞情報とが格納されており、第３図に
例示するように、前記分野一般辞書７には複合語からな
る専門用語の一部に利用可能な名詞が特定語として格納
されている。なお、このキーワード抽出装置ｌでは、所
定の演算を行なう演算手段（図示せず）や、二の演算手
段の算出結果に基づいて前記分野一般辞書７内の内容を
設定する辞書設定手段（図示せず）などが設けられてい
る。
る。このキーワード抽出装置１は、第１図に例示するよ
うに、文書情報の入力部２が複合語検出手段である単語
分割部３とキーワード抽出部４とを介してキーワード情
報の出力部５に接続され、前記単語分割部３と前記キー
ワード抽出部４とに各々単語辞書６と辞書手段である分
野一般辞書７とが接続された構造となっている。そして
、第２図に例示するように、前記単語辞書６には各種単
語の表記情報と品詞情報とが格納されており、第３図に
例示するように、前記分野一般辞書７には複合語からな
る専門用語の一部に利用可能な名詞が特定語として格納
されている。なお、このキーワード抽出装置ｌでは、所
定の演算を行なう演算手段（図示せず）や、二の演算手
段の算出結果に基づいて前記分野一般辞書７内の内容を
設定する辞書設定手段（図示せず）などが設けられてい
る。
このような構成において、このキーワード抽出装置１の
動作を第４図に例示するフローチャートを参考に説明す
る。まず、日本語文章からなる文書情報が入力部２から
入力されると、これは単語分割部３で単語辞書６の格納
内容に従って単語分割され、この単語群から名詞と接辞
とが連続したものが複合語として検出される。そして、
この検出された複合語の語末に位置する名詞と分野一般
辞書７内に格納された単語とがキーワード抽出部４で比
較され、これが一致した複合語がキーワードとして選別
される。そこで、上述のような動作処理が必要な単語が
検出される毎に文書情報の文頭から文末まで順次行なわ
れることで、このキーワード抽出装置１のキーワードの
抽出作業が完了する。
動作を第４図に例示するフローチャートを参考に説明す
る。まず、日本語文章からなる文書情報が入力部２から
入力されると、これは単語分割部３で単語辞書６の格納
内容に従って単語分割され、この単語群から名詞と接辞
とが連続したものが複合語として検出される。そして、
この検出された複合語の語末に位置する名詞と分野一般
辞書７内に格納された単語とがキーワード抽出部４で比
較され、これが一致した複合語がキーワードとして選別
される。そこで、上述のような動作処理が必要な単語が
検出される毎に文書情報の文頭から文末まで順次行なわ
れることで、このキーワード抽出装置１のキーワードの
抽出作業が完了する。
ここで、このキーワード抽出装置１における分野一般辞
書７への特定語の設定処理を第５図に例示するフローチ
ャートを参考に説明する。まず、上述のキーワード抽出
と同様に所定の文書情報がら複合語が検出され、この複
合語の語末の名詞が特定語候補として文書情報内におけ
る結合数と頻度とがカウントされる。そして、このよう
な処理を文頭から文末まで行なって結合数と頻度とが求
められると、これらの数値から各特定語候補の評価値を
算出して所定の閾値と比較する。そこで、このようにし
て選出された名詞を特定語として分野一般辞書７に入力
することで、設定内容が特定分野に対応した分野一般辞
書７が形成される。ここで、第６図に例示するように、
上述のような作業中で特定語候補として検出される名詞
は、表記、結合語、結合数、頻度等からなる情報として
処理されるようになっている。なお、同図でφとして示
したものは単独での出現を意味している。
書７への特定語の設定処理を第５図に例示するフローチ
ャートを参考に説明する。まず、上述のキーワード抽出
と同様に所定の文書情報がら複合語が検出され、この複
合語の語末の名詞が特定語候補として文書情報内におけ
る結合数と頻度とがカウントされる。そして、このよう
な処理を文頭から文末まで行なって結合数と頻度とが求
められると、これらの数値から各特定語候補の評価値を
算出して所定の閾値と比較する。そこで、このようにし
て選出された名詞を特定語として分野一般辞書７に入力
することで、設定内容が特定分野に対応した分野一般辞
書７が形成される。ここで、第６図に例示するように、
上述のような作業中で特定語候補として検出される名詞
は、表記、結合語、結合数、頻度等からなる情報として
処理されるようになっている。なお、同図でφとして示
したものは単独での出現を意味している。
そこで、上述のように機能するキーワード抽出装置１の
処理作業の具体例を第７図に基づいて以下に説明する。
処理作業の具体例を第７図に基づいて以下に説明する。
まず、分野一般辞書７への特定語の設定処理として、例
えば、情報処理に関する所定の日本語文章を文書情報と
して入力したところ、第６図に例示したような特定語候
補が検出されたとする。そこで、評価値を（結合数の合
計／頻度）として算出すると、各特定語候補の評価値は
「コンピュータ」では１，６、「ファクシミリ」では１
．２、「プロセッサ」では２．０、「結果」では０．５
となり、例えば、閾値が１．０なら分野一般辞書７には
「コンピュータ」、「ファクシミリ」、「プロセッサ」
の三つの名詞が特定語として入力されることになる。
えば、情報処理に関する所定の日本語文章を文書情報と
して入力したところ、第６図に例示したような特定語候
補が検出されたとする。そこで、評価値を（結合数の合
計／頻度）として算出すると、各特定語候補の評価値は
「コンピュータ」では１，６、「ファクシミリ」では１
．２、「プロセッサ」では２．０、「結果」では０．５
となり、例えば、閾値が１．０なら分野一般辞書７には
「コンピュータ」、「ファクシミリ」、「プロセッサ」
の三つの名詞が特定語として入力されることになる。
つぎに、上述のようにして分野一般辞書７が設定された
キーワード抽出装置１に、「分散プロセッサで稼働して
いる応用プログラムを別機に移植した。」と云う日本語
文章を文書情報として入力した場合、第７図に例示した
ように、上記文章は単語分割部３で単語分割されて各々
の品詞が判別され、この単語群から名詞と接辞とが連続
したものが複合語として検出される。そこで、このよう
な検出を名詞の検知に基づいて行なうとすると、まずは
「分散」が名詞として検出されるが特定語でないのでキ
ャンセルされ、次の名詞である「プロセッサ」が特定語
として選出される。そこで、この処理の先頭である「分
散」がら「プロセッサ」までがキーワードとして抽出さ
れ、以下同様な処理作業が文末まで行なわれて上記文章
からは専門用語である「分散プロセッサ」が得られるこ
とになる。
キーワード抽出装置１に、「分散プロセッサで稼働して
いる応用プログラムを別機に移植した。」と云う日本語
文章を文書情報として入力した場合、第７図に例示した
ように、上記文章は単語分割部３で単語分割されて各々
の品詞が判別され、この単語群から名詞と接辞とが連続
したものが複合語として検出される。そこで、このよう
な検出を名詞の検知に基づいて行なうとすると、まずは
「分散」が名詞として検出されるが特定語でないのでキ
ャンセルされ、次の名詞である「プロセッサ」が特定語
として選出される。そこで、この処理の先頭である「分
散」がら「プロセッサ」までがキーワードとして抽出さ
れ、以下同様な処理作業が文末まで行なわれて上記文章
からは専門用語である「分散プロセッサ」が得られるこ
とになる。
つまり、このキーワード抽出装置ｌでは、技術文書など
から簡易に専門用語を抽出することができ、しかも、こ
の作業を実現するために必要な特定語を格納した分野一
般辞書７が、予め適当な文書を機器に入力しておくたけ
て自動的に作成され、手作業での用語選定や入力を行な
うことを要しない。なお、分野一般辞書７を選定するた
めの文書情報は、予め適当な日本語文章を人力しておく
ことの他、例えば、キーワード抽出を行なう１１本語文
章が十分に長い場合なとは、この文書情報から分野一般
辞書７を作成してキーワード抽出を行なうようなことも
可能である。
から簡易に専門用語を抽出することができ、しかも、こ
の作業を実現するために必要な特定語を格納した分野一
般辞書７が、予め適当な文書を機器に入力しておくたけ
て自動的に作成され、手作業での用語選定や入力を行な
うことを要しない。なお、分野一般辞書７を選定するた
めの文書情報は、予め適当な日本語文章を人力しておく
ことの他、例えば、キーワード抽出を行なう１１本語文
章が十分に長い場合なとは、この文書情報から分野一般
辞書７を作成してキーワード抽出を行なうようなことも
可能である。
発明の効果
本発明は上述したように、入力された日本語文章を単語
分割して予め辞書手段に設定された特定語が語末に含ま
れる複合語をキーワードとして抽出するキーワード抽出
装置において、入力された日本語文章を単語分割して接
辞と名詞とからなる複合語を検出する複合語検出手段を
設け、この複合語検出手段が検出した複合語の名詞の日
本語文章内における結合数と頻度とから評価値を算出し
て所定の閾値と比較する演算手段を設け、この演算手段
が選別した複合語の名詞を特定語として辞書手段に入力
する辞書設定手段を設けたことにより、技術文書からの
専門用語の抽出などに必要な特定語を格納した辞書手段
を自動的に作成することができ、手作業での用語選定や
入力を行なうことを要しないので、操作性が良好で使用
者の負担が軽いキーワード抽出装置を得ることができる
等の効果を有するものである。
分割して予め辞書手段に設定された特定語が語末に含ま
れる複合語をキーワードとして抽出するキーワード抽出
装置において、入力された日本語文章を単語分割して接
辞と名詞とからなる複合語を検出する複合語検出手段を
設け、この複合語検出手段が検出した複合語の名詞の日
本語文章内における結合数と頻度とから評価値を算出し
て所定の閾値と比較する演算手段を設け、この演算手段
が選別した複合語の名詞を特定語として辞書手段に入力
する辞書設定手段を設けたことにより、技術文書からの
専門用語の抽出などに必要な特定語を格納した辞書手段
を自動的に作成することができ、手作業での用語選定や
入力を行なうことを要しないので、操作性が良好で使用
者の負担が軽いキーワード抽出装置を得ることができる
等の効果を有するものである。
７・・・辞書手段
株式会社
第１図は本発明の実施例を示すブロック図、第２図及び
第３図はデータ構造の概念説明図、第４図及び第５図は
フローチャート、第６図及び第７図はデータ構造の概念
説明図である。
第３図はデータ構造の概念説明図、第４図及び第５図は
フローチャート、第６図及び第７図はデータ構造の概念
説明図である。
Claims (1)
- 入力された日本語文章を単語分割して予め辞書手段に設
定された特定語が語末に含まれる複合語をキーワードと
して抽出するキーワード抽出装置において、入力された
日本語文章を単語分割して接辞と名詞とからなる複合語
を検出する複合語検出手段を設け、この複合語検出手段
が検出した前記複合語の名詞の日本語文章内における結
合数と頻度とから評価値を算出して所定の閾値と比較す
る演算手段を設け、この演算手段が選別した複合語の名
詞を特定語として前記辞書手段に入力する辞書設定手段
を設けたことを特徴とするキーワード抽出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2087833A JP2883153B2 (ja) | 1990-04-02 | 1990-04-02 | キーワード抽出装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2087833A JP2883153B2 (ja) | 1990-04-02 | 1990-04-02 | キーワード抽出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH03286372A true JPH03286372A (ja) | 1991-12-17 |
| JP2883153B2 JP2883153B2 (ja) | 1999-04-19 |
Family
ID=13925937
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2087833A Expired - Fee Related JP2883153B2 (ja) | 1990-04-02 | 1990-04-02 | キーワード抽出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2883153B2 (ja) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06251072A (ja) * | 1993-02-27 | 1994-09-09 | Omron Corp | 文書処理装置および方法 |
| JPH06282572A (ja) * | 1993-03-29 | 1994-10-07 | Nec Corp | キーワード自動抽出装置 |
| JPH06301722A (ja) * | 1993-04-13 | 1994-10-28 | Matsushita Electric Ind Co Ltd | 形態素解析装置及びキーワード抽出装置 |
| JPH0895982A (ja) * | 1994-09-29 | 1996-04-12 | Ricoh Co Ltd | キーワード抽出装置 |
| JPH10134077A (ja) * | 1996-11-05 | 1998-05-22 | Tokkyo Joho Shuppan:Kk | ワード処理システムおよび記憶媒体 |
| US5867812A (en) * | 1992-08-14 | 1999-02-02 | Fujitsu Limited | Registration apparatus for compound-word dictionary |
| US7765193B2 (en) | 2004-03-15 | 2010-07-27 | Ricoh Company, Ltd. | Control of document disclosure according to affiliation or document type |
| JP2010537286A (ja) * | 2007-08-23 | 2010-12-02 | グーグル・インコーポレーテッド | 領域辞書の作成 |
| US9158756B2 (en) | 2012-03-30 | 2015-10-13 | International Business Machines Corporation | Computer-implemented method, program, and system for identifying non-self-descriptive terms in electronic documents |
-
1990
- 1990-04-02 JP JP2087833A patent/JP2883153B2/ja not_active Expired - Fee Related
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5867812A (en) * | 1992-08-14 | 1999-02-02 | Fujitsu Limited | Registration apparatus for compound-word dictionary |
| JPH06251072A (ja) * | 1993-02-27 | 1994-09-09 | Omron Corp | 文書処理装置および方法 |
| JPH06282572A (ja) * | 1993-03-29 | 1994-10-07 | Nec Corp | キーワード自動抽出装置 |
| JPH06301722A (ja) * | 1993-04-13 | 1994-10-28 | Matsushita Electric Ind Co Ltd | 形態素解析装置及びキーワード抽出装置 |
| JPH0895982A (ja) * | 1994-09-29 | 1996-04-12 | Ricoh Co Ltd | キーワード抽出装置 |
| JPH10134077A (ja) * | 1996-11-05 | 1998-05-22 | Tokkyo Joho Shuppan:Kk | ワード処理システムおよび記憶媒体 |
| US7765193B2 (en) | 2004-03-15 | 2010-07-27 | Ricoh Company, Ltd. | Control of document disclosure according to affiliation or document type |
| JP2010537286A (ja) * | 2007-08-23 | 2010-12-02 | グーグル・インコーポレーテッド | 領域辞書の作成 |
| US9158756B2 (en) | 2012-03-30 | 2015-10-13 | International Business Machines Corporation | Computer-implemented method, program, and system for identifying non-self-descriptive terms in electronic documents |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2883153B2 (ja) | 1999-04-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5684999A (en) | Apparatus and a method for retrieving image objects based on correlation with natural language sentence parameters | |
| Jacobs et al. | SCISOR: Extracting information from on-line news | |
| KR970004100B1 (ko) | 일문 문서용 키 워드 추출 장치 | |
| JPH0424869A (ja) | 文書処理システム | |
| JPH05242138A (ja) | 単語ディスアンビギュエーション装置及び方法 | |
| JPH03286372A (ja) | キーワード抽出装置 | |
| JPH01217623A (ja) | キーワード自動生成装置 | |
| JPH09198395A (ja) | 文書検索装置 | |
| JPH09282331A (ja) | 文書類似判定装置および文書類似判定方法 | |
| CN112084777B (zh) | 一种实体链接方法 | |
| JP2005025555A (ja) | シソーラス構築システム、シソーラス構築方法、この方法を実行するプログラム、およびこのプログラムを記憶した記憶媒体 | |
| JP2002189754A (ja) | 文書検索装置及び文書検索方法 | |
| JP3324910B2 (ja) | 日本語解析装置 | |
| JPS63228326A (ja) | キ−ワ−ド自動抽出方式 | |
| JPH04357566A (ja) | 機械翻訳装置 | |
| JPH11282839A (ja) | 機械翻訳システム及び機械翻訳処理プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP3907106B2 (ja) | 翻訳ルール作成装置およびプログラム | |
| JP4071657B2 (ja) | テキスト処理装置 | |
| KR970071313A (ko) | 문장을 이용한 일정관리장치 및 방법 | |
| JPH0765030A (ja) | 文章検索方法及びその装置 | |
| JPH10334115A (ja) | 検索式作成装置 | |
| JP2777889B2 (ja) | 並列句決定システム | |
| JPH07152778A (ja) | 文書検索装置 | |
| Park et al. | Eliminating Implausible Korean Morphological Interpretations by Using History of Previous Analysis and Lexical Association | |
| JPH0715692B2 (ja) | 文脈処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080205 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090205 Year of fee payment: 10 |
|
| LAPS | Cancellation because of no payment of annual fees |