JPH06195372A - 形態素解析装置 - Google Patents
形態素解析装置Info
- Publication number
- JPH06195372A JPH06195372A JP4359242A JP35924292A JPH06195372A JP H06195372 A JPH06195372 A JP H06195372A JP 4359242 A JP4359242 A JP 4359242A JP 35924292 A JP35924292 A JP 35924292A JP H06195372 A JPH06195372 A JP H06195372A
- Authority
- JP
- Japan
- Prior art keywords
- character
- dictionary
- character string
- word
- lattice
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Machine Translation (AREA)
Abstract
(57)【要約】
【目的】 言語の差異を辞書引き開始位置の決定処理の
違いに吸収することで、種々の言語に対して対応可能と
すること。 【構成】 入力部１により文字列を入力し、辞書３は語
情報を語毎に記憶する。文字解析部２は文字列中の辞書
引き開始位置を決定する。辞書検索部４により文字列中
の特定位置から始まる文字列にマッチする語を辞書中か
ら検索し、出力部５で辞書検索部の結果を出力する。
違いに吸収することで、種々の言語に対して対応可能と
すること。 【構成】 入力部１により文字列を入力し、辞書３は語
情報を語毎に記憶する。文字解析部２は文字列中の辞書
引き開始位置を決定する。辞書検索部４により文字列中
の特定位置から始まる文字列にマッチする語を辞書中か
ら検索し、出力部５で辞書検索部の結果を出力する。
Description
【０００１】
【技術分野】本発明は、形態素解析装置に関し、より詳
細には、文字列を入力とし、入力文字列中の語を辞書検
索し、その検索結果を出力する形態素解析装置に関す
る。
細には、文字列を入力とし、入力文字列中の語を辞書検
索し、その検索結果を出力する形態素解析装置に関す
る。
【０００２】
【従来技術】本発明に係る従来技術を記載した公知文献
としては、例えば、特開昭６１−７０６６２号公報に
「辞書検索装置」が提案されている。この公報のもの
は、アルファベットで入力された文字列に対応する単語
辞書を検索するために、大文字を含むアルファベット文
字列を小文字に変換したアルファベット文字列でも単語
辞書を検索可能としたものである。また、特開昭６２
−８２４６６号公報の「辞書検索装置」は、辞書検索に
おいて単語情報が見出されず、かつ入力文字列に大文字
が含まれている時、入力文字列中の大文字を小文字に変
換した文字列によって単語辞書記憶手段を検索するもの
である。また、特開昭６３−１０１９６７号公報の
「電子辞書検索利用装置」は、辞書側に用意された表現
形式以外の表現形式のキーワードが入力されても、該キ
ーワードを辞書側の変換形式のキーワードに変換し、該
キーワードで辞書情報源を検索するものである。
としては、例えば、特開昭６１−７０６６２号公報に
「辞書検索装置」が提案されている。この公報のもの
は、アルファベットで入力された文字列に対応する単語
辞書を検索するために、大文字を含むアルファベット文
字列を小文字に変換したアルファベット文字列でも単語
辞書を検索可能としたものである。また、特開昭６２
−８２４６６号公報の「辞書検索装置」は、辞書検索に
おいて単語情報が見出されず、かつ入力文字列に大文字
が含まれている時、入力文字列中の大文字を小文字に変
換した文字列によって単語辞書記憶手段を検索するもの
である。また、特開昭６３−１０１９６７号公報の
「電子辞書検索利用装置」は、辞書側に用意された表現
形式以外の表現形式のキーワードが入力されても、該キ
ーワードを辞書側の変換形式のキーワードに変換し、該
キーワードで辞書情報源を検索するものである。
【０００３】また、特開平２−１２４５７号公報の
「機械翻訳システム」は、翻訳対象となる文書に対する
翻訳用辞書との照合方法を指定変更することにより、よ
り適切な訳文を得るものである。また、特開平２−６
１７６８号公報の「電子辞書装置及び電子辞書検索方
法」は、予め距離の近い文字列を生成しておくことによ
って入力文字列と近い距離にある見出し語との距離計算
回数を減少させ、辞書の検索を高速化するものである。
また、特開平２−５８１６３号公報の「機械翻訳シス
テム」は、翻訳部における単語認識の時に、原文中の単
語文字列と翻訳辞書中の見出し語文字列とが文字の置
換、挿入、削除等を行なった場合に同一であるか否かを
判定して認識するものである。
「機械翻訳システム」は、翻訳対象となる文書に対する
翻訳用辞書との照合方法を指定変更することにより、よ
り適切な訳文を得るものである。また、特開平２−６
１７６８号公報の「電子辞書装置及び電子辞書検索方
法」は、予め距離の近い文字列を生成しておくことによ
って入力文字列と近い距離にある見出し語との距離計算
回数を減少させ、辞書の検索を高速化するものである。
また、特開平２−５８１６３号公報の「機械翻訳シス
テム」は、翻訳部における単語認識の時に、原文中の単
語文字列と翻訳辞書中の見出し語文字列とが文字の置
換、挿入、削除等を行なった場合に同一であるか否かを
判定して認識するものである。
【０００４】このように、従来の辞書検索装置において
は、日本語あるいは英語等の言語の差異に応じて、形態
素解析装置も別々に実現する必要があった。また、文字
には用法の曖昧性がある。例えば次に示す英語のハイフ
ン文字を考える。 上記例では、ハイフン文字に関して、行末のハイフネー
ションによって、metarule という語に挿入された文字
なのか、或いは、meta-rule というハイフン語の表記の
一部なのか、という用法上の曖昧性がある。従来では、
形態素解析の段階で、このような曖昧性を特殊処理を設
けることで対応するため、処理が複雑化していた。例え
ば、特開昭６１−７０６６２号公報、特開昭６２−
８２４６６号公報、特開平２−１２４５７号公報など
がある。また、これらに関して言えば、大文字−小文字
の関係しか扱えず、例えば、１文字と複数文字間の対応
等は扱えない。
は、日本語あるいは英語等の言語の差異に応じて、形態
素解析装置も別々に実現する必要があった。また、文字
には用法の曖昧性がある。例えば次に示す英語のハイフ
ン文字を考える。 上記例では、ハイフン文字に関して、行末のハイフネー
ションによって、metarule という語に挿入された文字
なのか、或いは、meta-rule というハイフン語の表記の
一部なのか、という用法上の曖昧性がある。従来では、
形態素解析の段階で、このような曖昧性を特殊処理を設
けることで対応するため、処理が複雑化していた。例え
ば、特開昭６１−７０６６２号公報、特開昭６２−
８２４６６号公報、特開平２−１２４５７号公報など
がある。また、これらに関して言えば、大文字−小文字
の関係しか扱えず、例えば、１文字と複数文字間の対応
等は扱えない。
【０００５】また、文字には表記の曖昧性がある。例え
ば、次のような異表記がある。 theatre／英語 ←→ theater／米語 従来では、形態素解析の段階で、このような曖昧性を特
殊処理を設けることで対応するため、処理が複雑化して
いた。例えば、特開昭６３−１０１９６７号公報があ
る。また、これに関して言えば、辞書中に付与されたキ
ーワード毎に可能な表現形式を予め与えられなければな
らず、データ作成のコストの増大を引き起こす。さら
に、文字には誤記の可能性がある。例えば、人間による
タイプミスや、ＯＣＲによる読み取りミス等が原因とな
る。従来では、形態素解析の段階で、このような誤記に
対して特殊処理を設けることで対応するため、処理が複
雑化していた。特開平２−５８１６３号公報、特開
平２−６１７６８号公報などがある。また、これらに関
して言えば、文字一般に対して変換、削除、挿入等を行
うので、（文字列間の距離という制限を設けたとして
も）処理の効率が悪化する。
ば、次のような異表記がある。 theatre／英語 ←→ theater／米語 従来では、形態素解析の段階で、このような曖昧性を特
殊処理を設けることで対応するため、処理が複雑化して
いた。例えば、特開昭６３−１０１９６７号公報があ
る。また、これに関して言えば、辞書中に付与されたキ
ーワード毎に可能な表現形式を予め与えられなければな
らず、データ作成のコストの増大を引き起こす。さら
に、文字には誤記の可能性がある。例えば、人間による
タイプミスや、ＯＣＲによる読み取りミス等が原因とな
る。従来では、形態素解析の段階で、このような誤記に
対して特殊処理を設けることで対応するため、処理が複
雑化していた。特開平２−５８１６３号公報、特開
平２−６１７６８号公報などがある。また、これらに関
して言えば、文字一般に対して変換、削除、挿入等を行
うので、（文字列間の距離という制限を設けたとして
も）処理の効率が悪化する。
【０００６】
【目的】本発明は、上述のごとき実情に鑑みなされたも
ので、言語の差異を、辞書引き開始位置の決定処理の違
いに吸収することで、種々の言語に対して対応できるよ
うにすること、また、曖昧性を、文字ラティスというデ
ータ構造で表すことで、曖昧性の種類に寄らず、処理を
簡素化できる枠組みを提示すること、また、曖昧性を、
辞書中のキーワード毎ではなく、異表記の可能性がある
文字パタンに関してのみ、文字ラティスというデータ構
造で表すことにより、データ作成のコストをある程度に
抑えた上で、処理を簡素化すること、さらに、誤記の可
能性がある文字パタンについてのみ、文字ラティスとい
うデータ構造で表すことにより、処理効率をある程度に
抑えた上で、処理を簡素化するようにした形態素解析装
置を提供することを目的としてなされたものである。
ので、言語の差異を、辞書引き開始位置の決定処理の違
いに吸収することで、種々の言語に対して対応できるよ
うにすること、また、曖昧性を、文字ラティスというデ
ータ構造で表すことで、曖昧性の種類に寄らず、処理を
簡素化できる枠組みを提示すること、また、曖昧性を、
辞書中のキーワード毎ではなく、異表記の可能性がある
文字パタンに関してのみ、文字ラティスというデータ構
造で表すことにより、データ作成のコストをある程度に
抑えた上で、処理を簡素化すること、さらに、誤記の可
能性がある文字パタンについてのみ、文字ラティスとい
うデータ構造で表すことにより、処理効率をある程度に
抑えた上で、処理を簡素化するようにした形態素解析装
置を提供することを目的としてなされたものである。
【０００７】
【構成】本発明は、上記目的を達成するために、（１）
語情報を語毎に記憶するための辞書と、文字列を入力す
るための入力部と、文字列中の辞書引き位置を全て決定
し出力するための文字解析部と、文字列中の特定位置か
ら始まる文字列にマッチする語を辞書中から検索するた
めの辞書検索部と、該辞書検索部の結果を出力するため
の出力部とから成ること、或いは、（２）語情報を語毎
に記憶するための辞書と、文字列を入力するための入力
部と、文字列中の各文字に関して、用法の曖昧性を文字
ラティス中に表現して出力するための文字解析部と、文
字ラティス中の特定位置から始まる文字列にマッチする
語を辞書中から検索するための辞書検索部と、該辞書検
索部の結果を出力するための出力部とから成ること、或
いは、（３）語情報を語毎に記憶するための辞書と、文
字列を入力するための入力部と、文字列中の各文字に関
して、異表記による曖昧性を文字ラティス中に表現して
出力するための文字解析部と、文字ラティス中の特定位
置から始まる文字列にマッチする語を辞書中から検索す
るための辞書検索部と、該辞書検索部の結果を出力する
ための出力部とからなること、或いは、（４）語情報を
語毎に記憶するための辞書と、文字列を入力するための
入力部と、文字列中の各文字に関して、誤記の可能性が
ある場合に正しい表記と基の表記を共に文字ラティス中
に表現して出力するための文字解析部と、文字ラティス
中の特定位置から始まる文字列にマッチする語を辞書中
から検索するための辞書検索部と、該辞書検索部の結果
を出力するための出力部とから成ることを特徴としたも
のである。以下、本発明の実施例に基づいて説明する。
語情報を語毎に記憶するための辞書と、文字列を入力す
るための入力部と、文字列中の辞書引き位置を全て決定
し出力するための文字解析部と、文字列中の特定位置か
ら始まる文字列にマッチする語を辞書中から検索するた
めの辞書検索部と、該辞書検索部の結果を出力するため
の出力部とから成ること、或いは、（２）語情報を語毎
に記憶するための辞書と、文字列を入力するための入力
部と、文字列中の各文字に関して、用法の曖昧性を文字
ラティス中に表現して出力するための文字解析部と、文
字ラティス中の特定位置から始まる文字列にマッチする
語を辞書中から検索するための辞書検索部と、該辞書検
索部の結果を出力するための出力部とから成ること、或
いは、（３）語情報を語毎に記憶するための辞書と、文
字列を入力するための入力部と、文字列中の各文字に関
して、異表記による曖昧性を文字ラティス中に表現して
出力するための文字解析部と、文字ラティス中の特定位
置から始まる文字列にマッチする語を辞書中から検索す
るための辞書検索部と、該辞書検索部の結果を出力する
ための出力部とからなること、或いは、（４）語情報を
語毎に記憶するための辞書と、文字列を入力するための
入力部と、文字列中の各文字に関して、誤記の可能性が
ある場合に正しい表記と基の表記を共に文字ラティス中
に表現して出力するための文字解析部と、文字ラティス
中の特定位置から始まる文字列にマッチする語を辞書中
から検索するための辞書検索部と、該辞書検索部の結果
を出力するための出力部とから成ることを特徴としたも
のである。以下、本発明の実施例に基づいて説明する。
【０００８】図１は、本発明による形態素解析装置の一
実施例を説明するための構成図で、図中、１は入力部、
２は文字解析部、３は辞書、４は辞書検索部、５は出力
部である。以下、請求項１について説明する。英語の場
合は（接頭・接尾辞等を考えない場合）入力文字列中の
空白文字の直後から語が始まる。一方、日本語の場合
は、全ての位置から語が始まる可能性がある。このよう
な、言語毎の差異を、辞書引き開始位置の決定処理に吸
収する。入力部１により文字列を入力し、辞書３は語情
報を語毎に記憶する。文字解析部２は文字列中の辞書引
き開始位置を決定する。辞書検索部４により文字列中の
特定位置から始まる文字列にマッチする語を辞書中から
検索し、出力部５で辞書検索部の結果を出力する。
実施例を説明するための構成図で、図中、１は入力部、
２は文字解析部、３は辞書、４は辞書検索部、５は出力
部である。以下、請求項１について説明する。英語の場
合は（接頭・接尾辞等を考えない場合）入力文字列中の
空白文字の直後から語が始まる。一方、日本語の場合
は、全ての位置から語が始まる可能性がある。このよう
な、言語毎の差異を、辞書引き開始位置の決定処理に吸
収する。入力部１により文字列を入力し、辞書３は語情
報を語毎に記憶する。文字解析部２は文字列中の辞書引
き開始位置を決定する。辞書検索部４により文字列中の
特定位置から始まる文字列にマッチする語を辞書中から
検索し、出力部５で辞書検索部の結果を出力する。
【０００９】図５は（ａ）,（ｂ）は、本発明による形
態素解析装置の請求項１の動作を説明するためのフロー
チャートである。なお、図（ｂ）は、図（ａ）の step
３のフローチャートである。図２に示す英語の文字列に
関して形態素解析処理を行う場合について説明する。step１ ：まず、入力部より文字列を入力する。step２ ：次に、後述する状態バッファと出力バッファを
初期化する。すなわち、状態バッファに初期状態０を代
入し、出力バッファを空にする。step３ ：次に、文字解析部における文字毎の処理に移
る。step４ ：入力文字列の文字を先頭から１文字づつ取り出
し、最後の文字になるまで以下を行う。
態素解析装置の請求項１の動作を説明するためのフロー
チャートである。なお、図（ｂ）は、図（ａ）の step
３のフローチャートである。図２に示す英語の文字列に
関して形態素解析処理を行う場合について説明する。step１ ：まず、入力部より文字列を入力する。step２ ：次に、後述する状態バッファと出力バッファを
初期化する。すなわち、状態バッファに初期状態０を代
入し、出力バッファを空にする。step３ ：次に、文字解析部における文字毎の処理に移
る。step４ ：入力文字列の文字を先頭から１文字づつ取り出
し、最後の文字になるまで以下を行う。
【００１０】step３-1：現状の状態バッファの値ｓ１
と、現在の文字ｘから、図３の有限状態オートマンの表
を引き、次の状態ｓ２と出力文字列ｙを得る。step３-2 ：例えば、ｓ１＝０，ｘ＝“１”の場合、ｓ２
＝１とｙ＝“＃１”となる（図３の表中では、出力が文
字列ａｂであることをａ，ｂとコマンドで区切って表し
ている）。ただし、図３の表中でｎｗｘはｘが非空白文
字（not white）であることを表し、ｗｘとはｘが空白
文字であることを表す。step３-3 ：また、出力中の＃は辞書引き開始位置を表す
記号である。ｓ２を状態バッファに記録する。step３-4 ：ｙを出力バッファに追加する。このようにし
て、入力文字列に対して、図４に示す出力バッファの内
容を得る。step５ ：次に、辞書検索部は、図４の出力バッファの内
容を受取り、＃で示された辞書引き開始位置から、辞書
検索を行い、結果を出力部に送る。step６ ：出力部は、辞書検索結果を出力する。一方、図
６〜図８に日本語の場合の例を示す。
と、現在の文字ｘから、図３の有限状態オートマンの表
を引き、次の状態ｓ２と出力文字列ｙを得る。step３-2 ：例えば、ｓ１＝０，ｘ＝“１”の場合、ｓ２
＝１とｙ＝“＃１”となる（図３の表中では、出力が文
字列ａｂであることをａ，ｂとコマンドで区切って表し
ている）。ただし、図３の表中でｎｗｘはｘが非空白文
字（not white）であることを表し、ｗｘとはｘが空白
文字であることを表す。step３-3 ：また、出力中の＃は辞書引き開始位置を表す
記号である。ｓ２を状態バッファに記録する。step３-4 ：ｙを出力バッファに追加する。このようにし
て、入力文字列に対して、図４に示す出力バッファの内
容を得る。step５ ：次に、辞書検索部は、図４の出力バッファの内
容を受取り、＃で示された辞書引き開始位置から、辞書
検索を行い、結果を出力部に送る。step６ ：出力部は、辞書検索結果を出力する。一方、図
６〜図８に日本語の場合の例を示す。
【００１１】次に、請求項２について説明する。文字の
用法に関する曖昧性を、文字ラティスというデータ構造
で表すことで、課題を解決する。すなわち、曖昧性の種
類に応じて、多数の辞書検索処理を用意するのではな
く、曖昧性を文字ラティスとして陽に表現し、文字ラテ
ィスに対する辞書検索処理を１つ用意する。そして、様
々な曖昧性の種類による処理の違いを、文字ラティスを
構成するための有限状態オートマトンの表データの違い
を吸収することで処理を簡素化する。図９は、本発明に
よる形態素解析装置の請求項２の構成図で、図中、１１
は入力部、１２は文字解析部、１３は辞書、１４は辞書
検索部、１５は出力部である。入力部１により文字列を
入力し、辞書３は語情報を語毎に記憶する。文字解析部
２は、文字列中の各文字に関して、用法の曖昧性を文字
ラティス中に表現して出力する。辞書検索部４は、文字
ラティス中の特定位置から始まる文字列にマッチする語
を辞書中から検索し、出力部５で辞書検索部の結果を出
力する。
用法に関する曖昧性を、文字ラティスというデータ構造
で表すことで、課題を解決する。すなわち、曖昧性の種
類に応じて、多数の辞書検索処理を用意するのではな
く、曖昧性を文字ラティスとして陽に表現し、文字ラテ
ィスに対する辞書検索処理を１つ用意する。そして、様
々な曖昧性の種類による処理の違いを、文字ラティスを
構成するための有限状態オートマトンの表データの違い
を吸収することで処理を簡素化する。図９は、本発明に
よる形態素解析装置の請求項２の構成図で、図中、１１
は入力部、１２は文字解析部、１３は辞書、１４は辞書
検索部、１５は出力部である。入力部１により文字列を
入力し、辞書３は語情報を語毎に記憶する。文字解析部
２は、文字列中の各文字に関して、用法の曖昧性を文字
ラティス中に表現して出力する。辞書検索部４は、文字
ラティス中の特定位置から始まる文字列にマッチする語
を辞書中から検索し、出力部５で辞書検索部の結果を出
力する。
【００１２】図１４（ａ）,（ｂ）は、本発明による形
態素解析装置の請求項２の動作を説明するためのフロー
チャートである。なお、図（ｂ）は、図（ａ）の step
３のフローチャートである。図１０に示す英語の文字列
に関して形態素解析処理を行う場合について説明する。step１ ：まず、入力部より文字列を入力する。step２ ：次に、後述する状態バッファと出力バッファを
初期化する。すなわち、状態バッファに初期状態０を代
入し、出力バッファを空にする。step３ ：次に、文字解析部における文字毎の処理に移
る。step４ ：入力文字列の文字を先頭から１文字づつ取り出
し、最後の文字になるまで以下を行う。
態素解析装置の請求項２の動作を説明するためのフロー
チャートである。なお、図（ｂ）は、図（ａ）の step
３のフローチャートである。図１０に示す英語の文字列
に関して形態素解析処理を行う場合について説明する。step１ ：まず、入力部より文字列を入力する。step２ ：次に、後述する状態バッファと出力バッファを
初期化する。すなわち、状態バッファに初期状態０を代
入し、出力バッファを空にする。step３ ：次に、文字解析部における文字毎の処理に移
る。step４ ：入力文字列の文字を先頭から１文字づつ取り出
し、最後の文字になるまで以下を行う。
【００１３】step３-1：現在の状態バッファの値ｓ１
と、現在の文字ｘから、図１１の有限状態オートマトン
の表を引き、次の状態ｓ２と出力文字列の候補ｙを得
る。step３-2 ：例えば、ｓ１＝１、ｘ＝改行文字の場合、ｓ
２＝０とｙ＝｛−，ＳＰ｝となる。ここで、｛ａ，ｂ
…｝によって、出力文字列候補の集合を表している。Ｓ
Ｐはスペース文字を表す。また、図１１の表中で、［＾
ａｂ…］は、ａｂ…以外の任意の文字であることを表
す。出力欄のａ，ｂは、文字列“ａｂ”を表す。step３-3 ：次に、ｓ２を状態バッファに記録する。step３-4 ：ｙを出力バッファに追加する。出力バッファ
には図１２に示すような、文字ラティスを記録する。文
字ラティスは次の場合分けによって構成される。 Ｘ−Ｙ ← 入力文字列中で文字Ｘに文字Ｙが後続す
る場合
と、現在の文字ｘから、図１１の有限状態オートマトン
の表を引き、次の状態ｓ２と出力文字列の候補ｙを得
る。step３-2 ：例えば、ｓ１＝１、ｘ＝改行文字の場合、ｓ
２＝０とｙ＝｛−，ＳＰ｝となる。ここで、｛ａ，ｂ
…｝によって、出力文字列候補の集合を表している。Ｓ
Ｐはスペース文字を表す。また、図１１の表中で、［＾
ａｂ…］は、ａｂ…以外の任意の文字であることを表
す。出力欄のａ，ｂは、文字列“ａｂ”を表す。step３-3 ：次に、ｓ２を状態バッファに記録する。step３-4 ：ｙを出力バッファに追加する。出力バッファ
には図１２に示すような、文字ラティスを記録する。文
字ラティスは次の場合分けによって構成される。 Ｘ−Ｙ ← 入力文字列中で文字Ｘに文字Ｙが後続す
る場合
【００１４】
【表１】
【００１５】文字ラティスを実現には、データ構造とし
て例えば、図１３に示す配列表を用いればよい。ここ
で、文字位置の欄には入力文字列中の先頭からの順番を
表す整数が格納される。文字の欄には該当する文字が、
後続する文字の位置の欄には、後続する文字の全ての候
補の文字位置が格納される。このようにして、入力文字
列に対して、図１２に示す出力バッファの内容を得る。step５ ：次に、辞書検索部は、図１２の出力バッファの
内容を受取り、辞書検索を行う。辞書検索は以下のよう
に行う。ここでは、辞書の情報は、語毎に語表記の第１
文字をキーとして格納されている場合を考える。出力バ
ッファ中の各文字Ｘに関して、それをキーとする語表記
の候補をまず求める。それら語表記の候補と、キーとな
った文字Ｘに後続する出力バッファ中の文字ラティスと
のマッチングを取り、一致すれば、その語表記に対応す
る語情報（例えば、品詞情報等）を出力部に送る。出力
バッファ中の文字ラティスと、語表記の候補とのマッチ
ングは以下のように行う。まず、 Ｘ−Ｙ− … という１次元文字のパスに関しては、辞書中の語候補の
表記と文字列“ＸＹ…”とのマッチングを行う。
て例えば、図１３に示す配列表を用いればよい。ここ
で、文字位置の欄には入力文字列中の先頭からの順番を
表す整数が格納される。文字の欄には該当する文字が、
後続する文字の位置の欄には、後続する文字の全ての候
補の文字位置が格納される。このようにして、入力文字
列に対して、図１２に示す出力バッファの内容を得る。step５ ：次に、辞書検索部は、図１２の出力バッファの
内容を受取り、辞書検索を行う。辞書検索は以下のよう
に行う。ここでは、辞書の情報は、語毎に語表記の第１
文字をキーとして格納されている場合を考える。出力バ
ッファ中の各文字Ｘに関して、それをキーとする語表記
の候補をまず求める。それら語表記の候補と、キーとな
った文字Ｘに後続する出力バッファ中の文字ラティスと
のマッチングを取り、一致すれば、その語表記に対応す
る語情報（例えば、品詞情報等）を出力部に送る。出力
バッファ中の文字ラティスと、語表記の候補とのマッチ
ングは以下のように行う。まず、 Ｘ−Ｙ− … という１次元文字のパスに関しては、辞書中の語候補の
表記と文字列“ＸＹ…”とのマッチングを行う。
【００１６】
【表２】
【００１７】という枝分かれのあるパスに関しては、Ｘ
−Ｙ−Ｗ…，Ｘ−Ｚ−Ｗ…のように全てのパスの組み合
わせについて辞書中の語候補の表記とマッチングを行
う。step６ ：出力部は、辞書検索結果を出力する。
−Ｙ−Ｗ…，Ｘ−Ｚ−Ｗ…のように全てのパスの組み合
わせについて辞書中の語候補の表記とマッチングを行
う。step６ ：出力部は、辞書検索結果を出力する。
【００１８】次に、請求項３について説明する。文字の
表記に関する曖昧性を、文字ラティスというデータ構造
で表すことで、課題を解決する。有限状態オートマトン
の表データを、各種の表記の曖昧性に応じて設定する点
を除いて、請求項２の構成と同様である。例えば、図１
５に示す英語の文字列に関して、図１６に示す有限状態
オートマトンを表を設定することで、図１７に示す文字
ラティスを得る。図１６の表データは、予め異表記とな
る可能性がある文字パタンに応じて設定しておく。この
表データは、米語と英語におけるｅｒ／ｒｅの表記の差
を扱っている。これにより、辞書中に theater のみが
語表記として登録されていても、この語に対応する語情
報を取り出すことができる。
表記に関する曖昧性を、文字ラティスというデータ構造
で表すことで、課題を解決する。有限状態オートマトン
の表データを、各種の表記の曖昧性に応じて設定する点
を除いて、請求項２の構成と同様である。例えば、図１
５に示す英語の文字列に関して、図１６に示す有限状態
オートマトンを表を設定することで、図１７に示す文字
ラティスを得る。図１６の表データは、予め異表記とな
る可能性がある文字パタンに応じて設定しておく。この
表データは、米語と英語におけるｅｒ／ｒｅの表記の差
を扱っている。これにより、辞書中に theater のみが
語表記として登録されていても、この語に対応する語情
報を取り出すことができる。
【００１９】次に、請求項４について説明する。文字の
誤記に関する可能性を、文字ラティスというデータ構造
で表すことで、課題を解決する。有限状態オートマトン
の表データを、各種の誤記の可能性に応じて設定する点
を除いて、請求項２の構成と同様である。例えば、図１
８に示す英語の文字列に関して、図１９に示す有限状態
オートマトンの表を設定することで、図２０に示す文字
ラティスを得る。図１９の表データは、予め誤記となる
可能性がある文字パタンに応じて設定しておく。この表
データは、ＯＣＲの読み取りミス等で発生しやすいＩ
（英文字）とＩ（数字）の間の誤記の可能性を扱ってい
る。これにより、辞書中にＩ（英文字）とＩ（数字）と
の両方が登録されている場合、この両方に関する語情報
を取り出すことができる。
誤記に関する可能性を、文字ラティスというデータ構造
で表すことで、課題を解決する。有限状態オートマトン
の表データを、各種の誤記の可能性に応じて設定する点
を除いて、請求項２の構成と同様である。例えば、図１
８に示す英語の文字列に関して、図１９に示す有限状態
オートマトンの表を設定することで、図２０に示す文字
ラティスを得る。図１９の表データは、予め誤記となる
可能性がある文字パタンに応じて設定しておく。この表
データは、ＯＣＲの読み取りミス等で発生しやすいＩ
（英文字）とＩ（数字）の間の誤記の可能性を扱ってい
る。これにより、辞書中にＩ（英文字）とＩ（数字）と
の両方が登録されている場合、この両方に関する語情報
を取り出すことができる。
【００２０】
【効果】以上の説明から明らかなように、本発明による
と、以下のような効果がある。 （１）請求項１に対応する効果：種々の言語に対して形
態素解析処理が可能となる。 （２）請求項２に対応する効果：文字の用法の曖昧性に
関して、曖昧性の種類に寄らず、形態素解析処理を簡素
化できる。 （３）請求項３に対応する効果：文字の表記の曖昧性が
発生する可能性がある文字パタンに関してのみ、異表記
の処理対象とするので、全てのキーワードに関して異表
記のデータを作成する場合に比べて、データ作成のコス
トを抑えることができる。また、請求項２同様、形態素
解析処理を簡素化できる。 （４）請求項４に対応する効果：文字の誤記が発生する
可能性がある文字パタンに関してのみ処理対象とするの
で、全ての文字に関して検査する場合に比べて効率のよ
い処理が実現できる。また、請求項２同様、形態素解析
処理を簡素化できる。
と、以下のような効果がある。 （１）請求項１に対応する効果：種々の言語に対して形
態素解析処理が可能となる。 （２）請求項２に対応する効果：文字の用法の曖昧性に
関して、曖昧性の種類に寄らず、形態素解析処理を簡素
化できる。 （３）請求項３に対応する効果：文字の表記の曖昧性が
発生する可能性がある文字パタンに関してのみ、異表記
の処理対象とするので、全てのキーワードに関して異表
記のデータを作成する場合に比べて、データ作成のコス
トを抑えることができる。また、請求項２同様、形態素
解析処理を簡素化できる。 （４）請求項４に対応する効果：文字の誤記が発生する
可能性がある文字パタンに関してのみ処理対象とするの
で、全ての文字に関して検査する場合に比べて効率のよ
い処理が実現できる。また、請求項２同様、形態素解析
処理を簡素化できる。
【図１】 本発明による形態素解析装置の一実施例を説
明するための構成図である。
明するための構成図である。
【図２】 本発明による入力文字列を示す図である。
【図３】 本発明による有限状態オートマトンを示す図
である。
である。
【図４】 本発明による有限状態オートマトンの出力を
示す図である。
示す図である。
【図５】 本発明による形態素解析装置の動作を説明す
るためのフローチャートである。
るためのフローチャートである。
【図６】 本発明による他の入力文字列を示す図であ
る。
る。
【図７】 本発明による他の有限状態オートマトンを示
す図である。
す図である。
【図８】 本発明による他の有限状態オートマトンの出
力を示す図である。
力を示す図である。
【図９】 本発明による形態素解析装置の他の実施例を
示す図である。
示す図である。
【図１０】 本発明による更に他の入力文字列を示す図
である。
である。
【図１１】 本発明による更に他の有限状態オートマト
ンを示す図である。
ンを示す図である。
【図１２】 本発明による更に他の有限状態オートマト
ンの出力を示す図である。
ンの出力を示す図である。
【図１３】 本発明による文字ラティスを表す配列表を
示す図である。
示す図である。
【図１４】 本発明による形態素解析装置の他の動作を
説明するためのフローチャートである。
説明するためのフローチャートである。
【図１５】 本発明による更に他の入力文字列を示す図
である。
である。
【図１６】 本発明による有限状態オートマトンを示す
図である。
図である。
【図１７】 本発明による有限状態オートマトンの出力
を示す図である。
を示す図である。
【図１８】 本発明による更に他の入力文字列を示す図
である。
である。
【図１９】 本発明による有限状態オートマトンを示す
図である。
図である。
【図２０】 本発明による有限状態オートマトンの出力
を示す図である。
を示す図である。
１…入力部、２…文字解析部、３…辞書、４…辞書検索
部、５…出力部。
部、５…出力部。
Claims (4)
- 【請求項１】 語情報を語毎に記憶するための辞書と、
文字列を入力するための入力部と、文字列中の辞書引き
位置を全て決定し出力するための文字解析部と、文字列
中の特定位置から始まる文字列にマッチする語を辞書中
から検索するための辞書検索部と、該辞書検索部の結果
を出力するための出力部とから成ることを特徴とする形
態素解析装置。 - 【請求項２】 語情報を語毎に記憶するための辞書と、
文字列を入力するための入力部と、文字列中の各文字に
関して、用法の曖昧性を文字ラティス中に表現して出力
するための文字解析部と、文字ラティス中の特定位置か
ら始まる文字列にマッチする語を辞書中から検索するた
めの辞書検索部と、該辞書検索部の結果を出力するため
の出力部とから成ることを特徴とする形態素解析装置。 - 【請求項３】 語情報を語毎に記憶するための辞書と、
文字列を入力するための入力部と、文字列中の各文字に
関して、異表記による曖昧性を文字ラティス中に表現し
て出力するための文字解析部と、文字ラティス中の特定
位置から始まる文字列にマッチする語を辞書中から検索
するための辞書検索部と、該辞書検索部の結果を出力す
るための出力部とからなることを特徴とする形態素解析
装置。 - 【請求項４】 語情報を語毎に記憶するための辞書と、
文字列を入力するための入力部と、文字列中の各文字に
関して、誤記の可能性がある場合に正しい表記と基の表
記を共に文字ラティス中に表現して出力するための文字
解析部と、文字ラティス中の特定位置から始まる文字列
にマッチする語を辞書中から検索するための辞書検索部
と、該辞書検索部の結果を出力するための出力部とから
成ることを特徴とする形態素解析装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4359242A JPH06195372A (ja) | 1992-12-25 | 1992-12-25 | 形態素解析装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4359242A JPH06195372A (ja) | 1992-12-25 | 1992-12-25 | 形態素解析装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH06195372A true JPH06195372A (ja) | 1994-07-15 |
Family
ID=18463492
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP4359242A Pending JPH06195372A (ja) | 1992-12-25 | 1992-12-25 | 形態素解析装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH06195372A (ja) |
-
1992
- 1992-12-25 JP JP4359242A patent/JPH06195372A/ja active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5526259A (en) | Method and apparatus for inputting text | |
| US6169999B1 (en) | Dictionary and index creating system and document retrieval system | |
| JP4404211B2 (ja) | マルチリンガル翻訳メモリ、翻訳方法および翻訳プログラム | |
| JP2726568B2 (ja) | 文字認識方法及び装置 | |
| US20020169763A1 (en) | Method and system for expanding document retrieval information | |
| JP2002117027A (ja) | 感情情報抽出方法および感情情報抽出プログラムの記録媒体 | |
| JPH056396A (ja) | 機械翻訳装置 | |
| JPH0442704B2 (ja) | ||
| JPH10283368A (ja) | 情報処理装置及びその方法 | |
| JP3377942B2 (ja) | 電子辞書検索装置および電子辞書検索装置制御用プログラムを記憶したコンピュータ読取可能な記憶媒体 | |
| JPH0962794A (ja) | 文書認識装置 | |
| JP2729342B2 (ja) | 仮名漢字変換方法および装置 | |
| JP2560959B2 (ja) | 文字認識後処理方式 | |
| JP3048793B2 (ja) | 文字変換装置 | |
| JP3344793B2 (ja) | かな漢字変換装置 | |
| JP3204517B2 (ja) | 未知語認定方法 | |
| JPH0232467A (ja) | 機械翻訳方式 | |
| JPH11232268A (ja) | 文書処理装置、ルビ割り付け方法、及び記録媒体 | |
| JPH11212976A (ja) | 形態素解析装置 | |
| JPH05108703A (ja) | 機械翻訳機 | |
| JPH0619880A (ja) | かな漢字変換装置 | |
| JPH0554062A (ja) | 機械翻訳システム | |
| JPH06332949A (ja) | 電子ファイリング装置 | |
| JPH0715690B2 (ja) | 日本文文書解析装置 | |
| JPH07105225A (ja) | 辞書検索装置 |