JPH01144162A - キーワードを用いた形態素解析方式及び装置 - Google Patents
キーワードを用いた形態素解析方式及び装置Info
- Publication number
- JPH01144162A JPH01144162A JP62303544A JP30354487A JPH01144162A JP H01144162 A JPH01144162 A JP H01144162A JP 62303544 A JP62303544 A JP 62303544A JP 30354487 A JP30354487 A JP 30354487A JP H01144162 A JPH01144162 A JP H01144162A
- Authority
- JP
- Japan
- Prior art keywords
- natural language
- language sentence
- keyword
- morphological analysis
- morpheme analysis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 34
- 230000000877 morphologic effect Effects 0.000 claims description 30
- 238000000034 method Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 235000009508 confectionery Nutrition 0.000 description 4
- 238000010586 diagram Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 235000008429 bread Nutrition 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Landscapes
- Machine Translation (AREA)
- Document Processing Apparatus (AREA)
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【発明の詳細な説明】
を形態素解析する方式及び装置に関するものである。
従来、自然ｄ語文を形態素解析する技術としては１例え
ば、高橋延匡編「日本語情報処理Ｊ １９８６年の田中
穂積著「構文解析と意味解析」に記載されている１字種
切りによる強制分割、最長一致の原則による辞書引きと
接続情報の獲得、接続表チエツクによる分かち書き、の
３つの処理のフェイズからなる形態素解析技術が知られ
ている。
ば、高橋延匡編「日本語情報処理Ｊ １９８６年の田中
穂積著「構文解析と意味解析」に記載されている１字種
切りによる強制分割、最長一致の原則による辞書引きと
接続情報の獲得、接続表チエツクによる分かち書き、の
３つの処理のフェイズからなる形態素解析技術が知られ
ている。
従来の形態素解析技術では、形態素解析の対象とする自
然ａｈ文の述べる話題を特定分野に限っため１人力され
た自然言語文中に特定分野に固有の語が出現した場合に
は分割の鞘度が低下するという問題があった。
然ａｈ文の述べる話題を特定分野に限っため１人力され
た自然言語文中に特定分野に固有の語が出現した場合に
は分割の鞘度が低下するという問題があった。
本発明のキーワードを用いた形態素解析方式は。
特定分野に話題を限定した自然言語文を人力し。
前もって前記特定分野のキーワードを登録しておいた辞
書を参照して、前記辞書に登録されたキーワードが出現
するとその前後に形態素解析にて認識可能な区切り記号
を挿入し、その後に形態素解析を行なうことを特徴とす
る。
書を参照して、前記辞書に登録されたキーワードが出現
するとその前後に形態素解析にて認識可能な区切り記号
を挿入し、その後に形態素解析を行なうことを特徴とす
る。
ある物足の分野における自然ｄ語文には分野固有の語が
現われる。例えは、物品売買情報を解析の対象分野とす
る際に。
現われる。例えは、物品売買情報を解析の対象分野とす
る際に。
「４０万で買ったパソコン新同品を２３万円で売ります
。」 という文においてはｒ、ｌｒ同品」とは「新品同様の品
」の意の物品売買分野固有の飴である。従来の形態素解
析技術では「・・・パンコン」まではう筐く分割できて
も、「新同品」という語が′＃書に含まれているとはと
ても期待できないのでその後の分割が保証できない。対
象分野を紋った自然ぎ語処理の応用システムにおいては
１通常１分野固有の語は文章の意味を取るのに］Ｌ要な
役割を持つので１分野固有の語を正確に拾い出すことが
必要である。
。」 という文においてはｒ、ｌｒ同品」とは「新品同様の品
」の意の物品売買分野固有の飴である。従来の形態素解
析技術では「・・・パンコン」まではう筐く分割できて
も、「新同品」という語が′＃書に含まれているとはと
ても期待できないのでその後の分割が保証できない。対
象分野を紋った自然ぎ語処理の応用システムにおいては
１通常１分野固有の語は文章の意味を取るのに］Ｌ要な
役割を持つので１分野固有の語を正確に拾い出すことが
必要である。
分野固有の飴は文章中で一意的な意味を持つことが多く
１前後の飴への依存を考慮せずに切シ出すことができる
。「新同品」もその一つであるが。
１前後の飴への依存を考慮せずに切シ出すことができる
。「新同品」もその一つであるが。
解析方式にお−て優先的に扱うことができる。すなわち
、まず、自然言語文中からキーワードだけを検出し、検
出できたキーワードの前後に印として区切り記号を挿入
して、そこでは分割が決定されたものとする。区切シ記
号を便宜的に＠で表わすことにすると、上の例は。
、まず、自然言語文中からキーワードだけを検出し、検
出できたキーワードの前後に印として区切り記号を挿入
して、そこでは分割が決定されたものとする。区切シ記
号を便宜的に＠で表わすことにすると、上の例は。
［４０万で買ったパソコン＠新同品＠を２３万円で売シ
ます。
ます。
となる。次に、＠が区切り記号であることを認識しなが
ら、具体的には、＠を前後の接続が自由な語として扱い
ながら従来の形態素解析技術を適用し、上の文を解析す
る。
ら、具体的には、＠を前後の接続が自由な語として扱い
ながら従来の形態素解析技術を適用し、上の文を解析す
る。
この方式では１分野固有の飴が誤って分割されることが
なくなる。特に、特殊記号や数値が混在した文字列など
１通常分割される単位としては認め難いものが分野固有
の意味を持つ場合に有効である。また、形態素解析の対
象とする文字列が実質的に短くなるので、処理が高速化
されるという効果もある。上の例だと。
なくなる。特に、特殊記号や数値が混在した文字列など
１通常分割される単位としては認め難いものが分野固有
の意味を持つ場合に有効である。また、形態素解析の対
象とする文字列が実質的に短くなるので、処理が高速化
されるという効果もある。上の例だと。
「４０万で買ったパンコン」及び「を２３万円で売シま
す。」 の２つの短い断片の形態素解析に帰着される。
す。」 の２つの短い断片の形態素解析に帰着される。
第１図は本発明の方式の実施例を示すプロ、り図である
。キーワードによる分割部２によって。
。キーワードによる分割部２によって。
キーワード格納部１に予じめ格納されたキーワードのう
ち１人力された自然言語文の文字列の一部分と一致する
ものがないかが調べられ、一致する部分があれはその前
後に形態素解析において認識可能な区切り記号が挿入さ
れる。一致する部分が無ければなにも挿入されない。区
切シ記号によって分割された自然言語文もしくは区切シ
記号が挿入されず人力されたままの状態の自然言語文は
形態素解析部３に送られ、従来技術を用いて形態素解析
される。
ち１人力された自然言語文の文字列の一部分と一致する
ものがないかが調べられ、一致する部分があれはその前
後に形態素解析において認識可能な区切り記号が挿入さ
れる。一致する部分が無ければなにも挿入されない。区
切シ記号によって分割された自然言語文もしくは区切シ
記号が挿入されず人力されたままの状態の自然言語文は
形態素解析部３に送られ、従来技術を用いて形態素解析
される。
第２図は本発明の装置の実施例を示すプロ、り図である
。人力自然首胎文は人力自然言語文用メモＩＪ １１に
格納される。制御器１５によって、キーワード検出器１
２に動作の指示が出され、キーワード検出器１２ｆｉ特
定分野のキーワードが予じめ格納されているキーワード
辞書２０と入力自然言語文用メモリ１１を参照しながら
キーワードを検出し、検出された各キーワードの入力さ
れた自然言語文中における位ＩＩＩｔをキーワード位置
用メモリ１４に書き込む。キーワード位置用メモリ１４
には、キーワードが人力自然言語文中に検出される度に
、そのキーワードの人力自然ｔｉ文中における開始位置
と、終了位置の次の文字の位置の２つの値が書き込まれ
る。キーワード検出器１２及びキーワード辞書２０には
いろいろな実現方法があるが１例えば、［口径バイ）Ｊ
１９８７年８月号の伊、高木、牛島共著「５種類のパタ
ーン−マツチング手法をｃｄ語の関数で実現する」で紹
介されている６８Ｍアルゴリズムに基づいた装置を用い
ればよい。前に示した「４０万で買りたパンコン新同品
を２３万円で売シます。」という例だと、キーワード「
新同品」に対して「ｉＦＦ」の位置と１を」の位置の２
つがキーワード位置用メモリ１４に書き込まれる。キー
ワード検出器１２が人力自然言語文用メモリ１１の内容
をスキャンし終ると、制御器１５はアドレスカウンタ１
３と比較器１６とマルチプレク″９″１７に動作を指示
する。
。人力自然首胎文は人力自然言語文用メモＩＪ １１に
格納される。制御器１５によって、キーワード検出器１
２に動作の指示が出され、キーワード検出器１２ｆｉ特
定分野のキーワードが予じめ格納されているキーワード
辞書２０と入力自然言語文用メモリ１１を参照しながら
キーワードを検出し、検出された各キーワードの入力さ
れた自然言語文中における位ＩＩＩｔをキーワード位置
用メモリ１４に書き込む。キーワード位置用メモリ１４
には、キーワードが人力自然言語文中に検出される度に
、そのキーワードの人力自然ｔｉ文中における開始位置
と、終了位置の次の文字の位置の２つの値が書き込まれ
る。キーワード検出器１２及びキーワード辞書２０には
いろいろな実現方法があるが１例えば、［口径バイ）Ｊ
１９８７年８月号の伊、高木、牛島共著「５種類のパタ
ーン−マツチング手法をｃｄ語の関数で実現する」で紹
介されている６８Ｍアルゴリズムに基づいた装置を用い
ればよい。前に示した「４０万で買りたパンコン新同品
を２３万円で売シます。」という例だと、キーワード「
新同品」に対して「ｉＦＦ」の位置と１を」の位置の２
つがキーワード位置用メモリ１４に書き込まれる。キー
ワード検出器１２が人力自然言語文用メモリ１１の内容
をスキャンし終ると、制御器１５はアドレスカウンタ１
３と比較器１６とマルチプレク″９″１７に動作を指示
する。
比較器１６は、アドレスカウンタ１３の値とキーワード
位置用メモリ１４の値とを比較し、キーワード位置用メ
モリ１４の負の中にアドレスカウンタ１３の値と等しい
ものがあれば、マルチプレクサ１７に働きかけて区切シ
記号用メモリ１８に格納されている文字を形態素解析器
１９にたいして出力させ、アドレスカウンタ１３に対し
て１回動作を待機してアドレス値を更新しなめように指
示し、さらにキーワード位置用メモリ１４中から該当す
る値を削除する。キーワード位置用メモリ１４の値の中
にアドレスカウンタ１３の値と等しいものが無かったら
、比較器１６は、マルチプレクサ１７に働きかけてアド
レスカウンタ１３の持つアドレス値に該当する人力自然
言語文用メモリｌｌ中の文字を形態素解析器１９にたい
して出力させ。
位置用メモリ１４の値とを比較し、キーワード位置用メ
モリ１４の負の中にアドレスカウンタ１３の値と等しい
ものがあれば、マルチプレクサ１７に働きかけて区切シ
記号用メモリ１８に格納されている文字を形態素解析器
１９にたいして出力させ、アドレスカウンタ１３に対し
て１回動作を待機してアドレス値を更新しなめように指
示し、さらにキーワード位置用メモリ１４中から該当す
る値を削除する。キーワード位置用メモリ１４の値の中
にアドレスカウンタ１３の値と等しいものが無かったら
、比較器１６は、マルチプレクサ１７に働きかけてアド
レスカウンタ１３の持つアドレス値に該当する人力自然
言語文用メモリｌｌ中の文字を形態素解析器１９にたい
して出力させ。
アドレスカウンタ１３に対してアドレス値に１を加える
ように指示する。アドレスカウンタ１３の値が入力自然
ぎ語文用メモリ１１に格納されている自然言語文の最後
の文字のアドレスを越えるまでこの比較器１６の動作が
繰り返される。前の例だと、［４０万で買ったパソコン
］までは人力自然言語文中メモＩＪ １１から１文字ず
つ形態素解析器１９へ文字が送られるが、アドレスカウ
ンタ１３が「新」を指すと区切り記号が送られキーワー
ド位置用メモリ１４から「新」の位置の値が削除される
。続いて「新同品」が１文字ずつ送られ。
ように指示する。アドレスカウンタ１３の値が入力自然
ぎ語文用メモリ１１に格納されている自然言語文の最後
の文字のアドレスを越えるまでこの比較器１６の動作が
繰り返される。前の例だと、［４０万で買ったパソコン
］までは人力自然言語文中メモＩＪ １１から１文字ず
つ形態素解析器１９へ文字が送られるが、アドレスカウ
ンタ１３が「新」を指すと区切り記号が送られキーワー
ド位置用メモリ１４から「新」の位置の値が削除される
。続いて「新同品」が１文字ずつ送られ。
「を」に至って区切り記号が送られてキーワード位置用
メモリ１４から「を」の位置の値が削除される。「２３
万円で売ります。」はそのまま送られる。
メモリ１４から「を」の位置の値が削除される。「２３
万円で売ります。」はそのまま送られる。
形態素解析器１９は従来技術のものが利用できる。
本発明のキーワードを用いた形態素解析方式もしくは装
置を使うと、ある特定の分野に話題を限定した自然言語
の文章を形態素解析する際に、その分野固有の語や２通
常の形祠メ解析においては分割される単位としては認め
難い分野固有の意味を持つ特殊記号や数値が混在した文
字列などを含む文章を相変良く形態素解析することがで
きるという効果がある。また、形態素解析の対象とする
文字列が短くなることがあるので処理が高速化されると
いう効果がある。
置を使うと、ある特定の分野に話題を限定した自然言語
の文章を形態素解析する際に、その分野固有の語や２通
常の形祠メ解析においては分割される単位としては認め
難い分野固有の意味を持つ特殊記号や数値が混在した文
字列などを含む文章を相変良く形態素解析することがで
きるという効果がある。また、形態素解析の対象とする
文字列が短くなることがあるので処理が高速化されると
いう効果がある。
図工ある。
ｌ・・・・・・キーワード格納部、２・・・・・・キー
ワードによる分割部、３・・・・・・形態素解析部、１
１・・・・・・入力自然言語文用メモリ、１２・・・・
・・キーワード検出器。 １３・・・・・・アドレスカウンタ、１４・・・・・・
キーワード位置用メモリ、１５・・・・・・制御器、１
６・・・・・・比較器。 １７・・・・・・マルチプレタブ、１８・・・・・・区
切り記号用メモ！７．１９・・・・・・形態素解析器、
２０・・・・・・キーワード辞書、２１・・・・・・キ
ーワードによる分割手段。 ２２・・・・・・形態素解析手段、２３・・・・・・キ
ーワード格納手段である。 代理人 弁理士 内・）・′原゛晋 臼然、−語文Ｘ力 笈１ 図 箭２回
ワードによる分割部、３・・・・・・形態素解析部、１
１・・・・・・入力自然言語文用メモリ、１２・・・・
・・キーワード検出器。 １３・・・・・・アドレスカウンタ、１４・・・・・・
キーワード位置用メモリ、１５・・・・・・制御器、１
６・・・・・・比較器。 １７・・・・・・マルチプレタブ、１８・・・・・・区
切り記号用メモ！７．１９・・・・・・形態素解析器、
２０・・・・・・キーワード辞書、２１・・・・・・キ
ーワードによる分割手段。 ２２・・・・・・形態素解析手段、２３・・・・・・キ
ーワード格納手段である。 代理人 弁理士 内・）・′原゛晋 臼然、−語文Ｘ力 笈１ 図 箭２回
Claims (2)
- （１）特定分野に話題を限定した自然言語文を入力し、
前もって前記特定分野のキーワードを登録しておいた辞
書を参照して、前記辞書に登録されたキーワードが出現
すると前記自然言語文中のキーワードの前後に形態素解
析にて認識可能な予じめ設定した区切り記号を挿入し、
前記区切り記号が挿入された自然言語文に対して形態素
解析を行なうことを特徴とするキーワードを用いた形態
素解析方式。 - （２）特定分野のキーワードを予じめ格納しておくキー
ワード格納手段と、前記特定分野に話題を限定して入力
した自然言語文中に前記キーワード格納手段に格納され
た特定分野のキーワードが有る否か参照し対応するキー
ワードを検出したとき前記自然言語文に対して検出され
たキーワードの前後に形態素解析にて認識可能な予じめ
設定した区切り信号の挿入を行なうキーワードによる分
割手段と、前記キーワードによる分割手段によって前記
区切り記号が挿入された前記自然言語文を形態素解析中
に前記区切り記号を見つけると処理対象の文字列が終了
したことを認識し次の文字から新たに形態素解析を始め
ることを繰り返す形態素解析手段と含み構成されること
を特徴とするキーワードを用いた形態素解析装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP62303544A JPH01144162A (ja) | 1987-11-30 | 1987-11-30 | キーワードを用いた形態素解析方式及び装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP62303544A JPH01144162A (ja) | 1987-11-30 | 1987-11-30 | キーワードを用いた形態素解析方式及び装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH01144162A true JPH01144162A (ja) | 1989-06-06 |
Family
ID=17922279
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP62303544A Pending JPH01144162A (ja) | 1987-11-30 | 1987-11-30 | キーワードを用いた形態素解析方式及び装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH01144162A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05174011A (ja) * | 1991-12-25 | 1993-07-13 | Sharp Corp | 仮名漢字変換処理装置 |
-
1987
- 1987-11-30 JP JP62303544A patent/JPH01144162A/ja active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05174011A (ja) * | 1991-12-25 | 1993-07-13 | Sharp Corp | 仮名漢字変換処理装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5794177A (en) | Method and apparatus for morphological analysis and generation of natural language text | |
| JP2783558B2 (ja) | 要約生成方法および要約生成装置 | |
| WO1997004405A9 (en) | Method and apparatus for automated search and retrieval processing | |
| US6904564B1 (en) | Method of summarizing text using just the text | |
| JPH06259424A (ja) | 文書表示装置及び文書要約装置並びにディジタル複写装置 | |
| JPS63244259A (ja) | キ−ワ−ド抽出装置 | |
| JPH03286372A (ja) | キーワード抽出装置 | |
| JPH01144162A (ja) | キーワードを用いた形態素解析方式及び装置 | |
| JP2830097B2 (ja) | 文章検索方式 | |
| JP2982076B2 (ja) | 文章処理装置および方法 | |
| JPH01295369A (ja) | 漢字仮名混じり文節分割処理方式 | |
| JPH07152778A (ja) | 文書検索装置 | |
| JPH04130578A (ja) | 未登録語検索方法および装置 | |
| JPH10334115A (ja) | 検索式作成装置 | |
| JP4071657B2 (ja) | テキスト処理装置 | |
| JPH05233689A (ja) | 文書自動要約方法 | |
| JP2894298B2 (ja) | 文書検索装置 | |
| Cowie | CRL’s Approach to MET | |
| JP3884001B2 (ja) | 言語解析システムおよび方法 | |
| JPS6395573A (ja) | 日本語文形態素解析における未知語処理方法 | |
| JP2001022752A (ja) | 文字組抽出方法、文字組抽出装置および文字組抽出のための記録媒体 | |
| JP2001125907A (ja) | 辞書検索方法、装置、および辞書検索プログラムを記録した記録媒体 | |
| JPH02127769A (ja) | 項目検出方式及びその装置 | |
| JPH05266072A (ja) | 話題抽出装置 | |
| JPS63213061A (ja) | 単語検索装置における送り仮名分類装置 |