JPH08329085A - 英語形態素解析装置および英語形態素解析方法 - Google Patents
英語形態素解析装置および英語形態素解析方法Info
- Publication number
- JPH08329085A JPH08329085A JP7139099A JP13909995A JPH08329085A JP H08329085 A JPH08329085 A JP H08329085A JP 7139099 A JP7139099 A JP 7139099A JP 13909995 A JP13909995 A JP 13909995A JP H08329085 A JPH08329085 A JP H08329085A
- Authority
- JP
- Japan
- Prior art keywords
- token
- english
- tokens
- character string
- dividing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Machine Translation (AREA)
Abstract
(57)【要約】
【目的】 人名等の固有名詞を分割することなく正確に
解析することができると共に各トークンの解釈において
誤りのない英語形態素解析装置および英語形態素解析方
法を提供することを目的とする。 【構成】 英文字列をスペース等の区切り文字でトーク
ンに分割する文字列分割手段３と、大文字で始まり且つ
連続するトークンが形態素解析において分割不可の場合
には分割不可を示すマークを付加する大文字開始トーク
ン列認識手段５とを備える。
解析することができると共に各トークンの解釈において
誤りのない英語形態素解析装置および英語形態素解析方
法を提供することを目的とする。 【構成】 英文字列をスペース等の区切り文字でトーク
ンに分割する文字列分割手段３と、大文字で始まり且つ
連続するトークンが形態素解析において分割不可の場合
には分割不可を示すマークを付加する大文字開始トーク
ン列認識手段５とを備える。
Description
【０００１】
【産業上の利用分野】本発明は、文字列として入力した
英文の形態情報を出力する英語形態素解析装置および英
語形態素解析方法に関するものである。
英文の形態情報を出力する英語形態素解析装置および英
語形態素解析方法に関するものである。
【０００２】
【従来の技術】英文字列をスペース等の区切り文字で分
割した個々の単位をトークンという。英文中の大文字で
始まるトークン（以下、「大文字開始トークン」とい
う）は、企業名、団体名、人名など固有名詞の一部であ
ると考えらえ、大文字開始トークンが複数続いた場合
は、１つの名詞としてまとめることができる。しかし、
従来の形態素解析では、文中に例えば「Ｊｏｈｎ Ｓｍ
ｉｔｈ」という文字列が現れた場合、「Ｊｏｈｎ」と
「Ｓｍｉｔｈ」とに分けて解析しているため、「Ｊｏ−
ｈｎ Ｓｍｉｔｈ」を１まとまりと考えられず、別々に
処理してしまう。また、従来の形態素解析では、先頭の
大文字を小文字に直して辞書を検索するため、「Ｓｍｉ
ｔｈ」からは「鍛冶屋」という解釈が得られる。
割した個々の単位をトークンという。英文中の大文字で
始まるトークン（以下、「大文字開始トークン」とい
う）は、企業名、団体名、人名など固有名詞の一部であ
ると考えらえ、大文字開始トークンが複数続いた場合
は、１つの名詞としてまとめることができる。しかし、
従来の形態素解析では、文中に例えば「Ｊｏｈｎ Ｓｍ
ｉｔｈ」という文字列が現れた場合、「Ｊｏｈｎ」と
「Ｓｍｉｔｈ」とに分けて解析しているため、「Ｊｏ−
ｈｎ Ｓｍｉｔｈ」を１まとまりと考えられず、別々に
処理してしまう。また、従来の形態素解析では、先頭の
大文字を小文字に直して辞書を検索するため、「Ｓｍｉ
ｔｈ」からは「鍛冶屋」という解釈が得られる。
【０００３】このように、大文字開始トークンの連続と
いう情報を用いない場合、多義、多品詞の解消時に誤っ
た解釈を採用してしまうという問題点があった。
いう情報を用いない場合、多義、多品詞の解消時に誤っ
た解釈を採用してしまうという問題点があった。
【０００４】そこで、英文中に現れる大文字開始トーク
ン列「Ｊｏｈｎ Ｓｍｉｔｈ」を形態素解析で一つにま
とめるという方法が考えられた。
ン列「Ｊｏｈｎ Ｓｍｉｔｈ」を形態素解析で一つにま
とめるという方法が考えられた。
【０００５】
【発明が解決しようとする課題】しかしながら、上記従
来の形態素解析では、「Ｊｏｈｎ Ｓｍｉｔｈ」を単に
一つにまとめているだけであるので、それぞれの語、
「Ｊｏｈｎ」、「Ｓｍｉ−ｔｈ」が持つ解釈が生かせ
ず、後の処理で未知語として扱われてしまうという問題
点があった。
来の形態素解析では、「Ｊｏｈｎ Ｓｍｉｔｈ」を単に
一つにまとめているだけであるので、それぞれの語、
「Ｊｏｈｎ」、「Ｓｍｉ−ｔｈ」が持つ解釈が生かせ
ず、後の処理で未知語として扱われてしまうという問題
点があった。
【０００６】本発明は上記従来の問題点を解決するもの
で、人名等の固有名詞を分割することなく正確に解析す
ることができると共に各トークンの解釈において誤りの
ない英語形態素解析装置および人名等の固有名詞を分割
することなく正確に解析することができると共に各トー
クンの解釈において誤りのない英語形態素解析方法を提
供することを目的とする。
で、人名等の固有名詞を分割することなく正確に解析す
ることができると共に各トークンの解釈において誤りの
ない英語形態素解析装置および人名等の固有名詞を分割
することなく正確に解析することができると共に各トー
クンの解釈において誤りのない英語形態素解析方法を提
供することを目的とする。
【０００７】
【課題を解決するための手段】この目的を達成するため
に本発明の請求項１記載の英語形態素解析装置は、英文
字列をスペース等の区切り文字でトークンに分割する文
字列分割手段と、大文字で始まり且つ連続するトークン
が形態素解析において分割不可の場合には分割不可を示
すマークを付加する大文字開始トークン列認識手段とを
備えた構成を有している。
に本発明の請求項１記載の英語形態素解析装置は、英文
字列をスペース等の区切り文字でトークンに分割する文
字列分割手段と、大文字で始まり且つ連続するトークン
が形態素解析において分割不可の場合には分割不可を示
すマークを付加する大文字開始トークン列認識手段とを
備えた構成を有している。
【０００８】請求項２記載の英語形態素解析方法は、英
文字列をスペース等の区切り文字でトークンに分割する
文字列分割工程と、大文字で始まり且つ連続するトーク
ンが形態素解析において分割不可の場合には分割不可を
示すマークを付加する大文字開始トークン列認識工程と
を有する構成を有している。
文字列をスペース等の区切り文字でトークンに分割する
文字列分割工程と、大文字で始まり且つ連続するトーク
ンが形態素解析において分割不可の場合には分割不可を
示すマークを付加する大文字開始トークン列認識工程と
を有する構成を有している。
【０００９】
【作用】この構成によって、英文中に大文字開始トーク
ンが連続して現れた場合に、形態素解析において個々の
トークンに分割してはいけない１つの単位としてマーク
を付加するようにしたので、企業名、団体名、人名など
の固有名詞を分割することなく正確に解析を行なうこと
ができる。また、各トークンの解釈が自ずと決定されて
誤りがなく、英語形態素解析の結果を用いるような処理
装置、特に機械翻訳機において、多義、多品詞の解消に
おける負荷を軽減することができる。
ンが連続して現れた場合に、形態素解析において個々の
トークンに分割してはいけない１つの単位としてマーク
を付加するようにしたので、企業名、団体名、人名など
の固有名詞を分割することなく正確に解析を行なうこと
ができる。また、各トークンの解釈が自ずと決定されて
誤りがなく、英語形態素解析の結果を用いるような処理
装置、特に機械翻訳機において、多義、多品詞の解消に
おける負荷を軽減することができる。
【００１０】
（実施例１）以下本発明の一実施例について図を用いて
説明する。
説明する。
【００１１】図１は、本発明の一実施例に係る英語形態
素解析装置を示すブロック図である。図１において、１
は要求された情報を処理する中央処理装置、２は中央処
理装置１に英文字列を入力するための入力手段、３は入
力された英文字列を辞書検索の単位となる文字列つまり
トークンに分割する文字列分割手段、４は文字列分割手
段３で分割したトークンを構成する文字によってそのト
ークンの種別を決定するトークン種別認定手段、５は大
文字開始トークンが連続して現れた場合、それらのトー
クンを１つにまとめる大文字開始トークン列認識手段、
６は文字列分割手段３で分割した個々のトークンをキー
として、後述の辞書群９を検索し、その語彙情報を獲得
する辞書検索手段、７は形態素解析を行う英文字列をＯ
ＣＲ（光学式文字読取り装置）やキーボードにより入力
する英文入力部、８は英文入力部７から入力した英文字
列、文字列分割手段３で分割した結果、トークン種別認
定手段４における認定結果、辞書検索手段６で得た語彙
情報、大文字開始トークン列認識手段５で得た結果を記
憶する記憶部、９は単語を見出しとして、その語彙情報
が登録されている辞書群である。
素解析装置を示すブロック図である。図１において、１
は要求された情報を処理する中央処理装置、２は中央処
理装置１に英文字列を入力するための入力手段、３は入
力された英文字列を辞書検索の単位となる文字列つまり
トークンに分割する文字列分割手段、４は文字列分割手
段３で分割したトークンを構成する文字によってそのト
ークンの種別を決定するトークン種別認定手段、５は大
文字開始トークンが連続して現れた場合、それらのトー
クンを１つにまとめる大文字開始トークン列認識手段、
６は文字列分割手段３で分割した個々のトークンをキー
として、後述の辞書群９を検索し、その語彙情報を獲得
する辞書検索手段、７は形態素解析を行う英文字列をＯ
ＣＲ（光学式文字読取り装置）やキーボードにより入力
する英文入力部、８は英文入力部７から入力した英文字
列、文字列分割手段３で分割した結果、トークン種別認
定手段４における認定結果、辞書検索手段６で得た語彙
情報、大文字開始トークン列認識手段５で得た結果を記
憶する記憶部、９は単語を見出しとして、その語彙情報
が登録されている辞書群である。
【００１２】文字列分割手段３においては、区切り文字
として、スペース、カンマ、セミコロン、コロン、感嘆
符、疑問符、括弧などを使用する。トークン種別認定手
段４において認定されるトークンの種類の一例を（表
１）に示す。
として、スペース、カンマ、セミコロン、コロン、感嘆
符、疑問符、括弧などを使用する。トークン種別認定手
段４において認定されるトークンの種類の一例を（表
１）に示す。
【００１３】
【表１】
【００１４】（表１）には大文字開始トークンとして８
種類のトークンを示してある（特殊トークンは除く）。
なお、大文字開始トークン列として、文頭の冠詞などの
ように大文字開始トークン列の一部とならないものもあ
るので、大文字開始トークン列認識手段５は文頭の場合
だけはそのチェックを行う。
種類のトークンを示してある（特殊トークンは除く）。
なお、大文字開始トークン列として、文頭の冠詞などの
ように大文字開始トークン列の一部とならないものもあ
るので、大文字開始トークン列認識手段５は文頭の場合
だけはそのチェックを行う。
【００１５】図２は、図１の英語形態素解析装置の構成
機器を具体的に示す機器構成図である。図２において、
１は中央処理装置（ＣＰＵ）、７ａはマウスを含むキー
ボード、７ｂは光学式文字読取り装置（ＯＣＲ）、８ａ
はランダムアクセスメモリ（ＲＡＭ）、８ｂはリードオ
ンリーメモリ（ＲＯＭ）である。
機器を具体的に示す機器構成図である。図２において、
１は中央処理装置（ＣＰＵ）、７ａはマウスを含むキー
ボード、７ｂは光学式文字読取り装置（ＯＣＲ）、８ａ
はランダムアクセスメモリ（ＲＡＭ）、８ｂはリードオ
ンリーメモリ（ＲＯＭ）である。
【００１６】図１の英文入力部７はキーボード７ａ、Ｏ
ＣＲ７ｂにより実現され、記憶部８はＲＡＭ８ａによ
り、辞書群９はＲＡＭ８ａ又はＲＯＭ８ｂにより実現さ
れている。図１の入力手段２、文字列分割手段３、トー
クン種別認定手段４、大文字開始トークン列認識手段
５、辞書検索手段６は、ＣＰＵ１がＲＡＭ８ａおよびＲ
ＯＭ８ｂとデータのやりとりを行いながら、ＲＯＭ８ｂ
に記憶されたプログラムを実行することにより実現され
ている。
ＣＲ７ｂにより実現され、記憶部８はＲＡＭ８ａによ
り、辞書群９はＲＡＭ８ａ又はＲＯＭ８ｂにより実現さ
れている。図１の入力手段２、文字列分割手段３、トー
クン種別認定手段４、大文字開始トークン列認識手段
５、辞書検索手段６は、ＣＰＵ１がＲＡＭ８ａおよびＲ
ＯＭ８ｂとデータのやりとりを行いながら、ＲＯＭ８ｂ
に記憶されたプログラムを実行することにより実現され
ている。
【００１７】以上のような構成の英語形態素解析装置に
ついて、その動作を図３、図４のフローチャートおよび
図１を用いて説明する。本実施例では、英語形態素解析
を行う文字列は、予め文単位に区切られたファイルより
入力されるものとする。このファイルには複数の文が改
行で区切られた形式で登録されている。このファイルを
以下、英文ファイルという。
ついて、その動作を図３、図４のフローチャートおよび
図１を用いて説明する。本実施例では、英語形態素解析
を行う文字列は、予め文単位に区切られたファイルより
入力されるものとする。このファイルには複数の文が改
行で区切られた形式で登録されている。このファイルを
以下、英文ファイルという。
【００１８】図３は、図１の英語形態素解析装置の動作
を示すフローチャートである。まず、入力手段２は、上
記英文ファイルより１行の英文を入力する（Ｓ１）。次
に、入力手段２は、入力した英文が英文ファイルの終了
を示すものか否か、つまり英文ファイルのすべての行を
入力したか否かを判定し（Ｓ２）、英文ファイルの終了
を示すと判定した場合には処理を終了する。英文ファイ
ルの終了を示さないと判定した場合には、ステップ３に
移行する。ここでは、 「Mayor William B.Hartsfield filed suit for divorc
e from his wife,PearlWilliam Hartsfield,in Fulton
Superior Court Friday. 」 という文が入力されたものとする。
を示すフローチャートである。まず、入力手段２は、上
記英文ファイルより１行の英文を入力する（Ｓ１）。次
に、入力手段２は、入力した英文が英文ファイルの終了
を示すものか否か、つまり英文ファイルのすべての行を
入力したか否かを判定し（Ｓ２）、英文ファイルの終了
を示すと判定した場合には処理を終了する。英文ファイ
ルの終了を示さないと判定した場合には、ステップ３に
移行する。ここでは、 「Mayor William B.Hartsfield filed suit for divorc
e from his wife,PearlWilliam Hartsfield,in Fulton
Superior Court Friday. 」 という文が入力されたものとする。
【００１９】ステップ３では、上記入力文をスペース、
カンマ、セミコロン、コロン、感嘆符、疑問符、括弧等
の区切り文字を用いてトークン単位に分割する（文字列
分割工程）。次に、分割した各トークンに、トークンの
種別をつける（Ｓ４）。ここで、上記入力文は図５の構
造図に示すような双方向のリストに構造化される。これ
を以下、「トークンリスト」という。以下の処理では、
図５に示すトークンリストの処理を行う。
カンマ、セミコロン、コロン、感嘆符、疑問符、括弧等
の区切り文字を用いてトークン単位に分割する（文字列
分割工程）。次に、分割した各トークンに、トークンの
種別をつける（Ｓ４）。ここで、上記入力文は図５の構
造図に示すような双方向のリストに構造化される。これ
を以下、「トークンリスト」という。以下の処理では、
図５に示すトークンリストの処理を行う。
【００２０】次に、ステップ５の大文字開始トークン列
認定処理（大文字開始トークン列認定工程）において
は、トークンの種別を元に、連続して現れる大文字開始
トークンに「分割してはいけない１つの単位」としての
マークを付加する。ステップ５の大文字開始トークン列
認定処理の詳細を図４に示す。ステップ５で大文字開始
トークン列として処理されるトークンの種別は、（表
１）中の、「大文字のみ」、「大文字開始１」、「大文
字開始２」、「大文字開始３」、「大文字開始４」、
「短縮１」、「短縮２」、「短縮３」の８種類である。
図４においては、ステップ１１〜１６で、最初に現れる
大文字開始トークンを検索する。まずｉを最初のトーク
ンを示すものにして（ｉの初期値を設定して）、トーク
ン（ｉ）はあるか否かを判定する（Ｓ１１、Ｓ１２）。
トークン（ｉ）がないと判定した場合はこの処理を終了
する。トークン（ｉ）があると判定した場合、トークン
（ｉ）は大文字開始トークンか否かを判定する（Ｓ１
３）。ステップ１３で大文字開始トークンでないと判定
した場合には、ｉを次のトークンを示すものにする（Ｓ
１４）。例えばｉ＝ｉ＋１というような演算をしてｉを
「１」だけ増加させる。
認定処理（大文字開始トークン列認定工程）において
は、トークンの種別を元に、連続して現れる大文字開始
トークンに「分割してはいけない１つの単位」としての
マークを付加する。ステップ５の大文字開始トークン列
認定処理の詳細を図４に示す。ステップ５で大文字開始
トークン列として処理されるトークンの種別は、（表
１）中の、「大文字のみ」、「大文字開始１」、「大文
字開始２」、「大文字開始３」、「大文字開始４」、
「短縮１」、「短縮２」、「短縮３」の８種類である。
図４においては、ステップ１１〜１６で、最初に現れる
大文字開始トークンを検索する。まずｉを最初のトーク
ンを示すものにして（ｉの初期値を設定して）、トーク
ン（ｉ）はあるか否かを判定する（Ｓ１１、Ｓ１２）。
トークン（ｉ）がないと判定した場合はこの処理を終了
する。トークン（ｉ）があると判定した場合、トークン
（ｉ）は大文字開始トークンか否かを判定する（Ｓ１
３）。ステップ１３で大文字開始トークンでないと判定
した場合には、ｉを次のトークンを示すものにする（Ｓ
１４）。例えばｉ＝ｉ＋１というような演算をしてｉを
「１」だけ増加させる。
【００２１】ステップ１３でトークン（ｉ）は大文字開
始トークンであると判定した場合、次に、トークン
（ｉ）は文頭の冠詞か否かを判定し（Ｓ１５）、文頭の
冠詞であると判定した場合には、ｉを次のトークンを示
すものにしてステップ１２に戻る。ステップ１５で文頭
の冠詞でないと判定した場合には、ｓｔａをトークンの
番号を示すｉと同一番号とする（Ｓ１６）。ｓｔａで示
す番号のトークンが最初に現れた大文字開始トークンで
ある。
始トークンであると判定した場合、次に、トークン
（ｉ）は文頭の冠詞か否かを判定し（Ｓ１５）、文頭の
冠詞であると判定した場合には、ｉを次のトークンを示
すものにしてステップ１２に戻る。ステップ１５で文頭
の冠詞でないと判定した場合には、ｓｔａをトークンの
番号を示すｉと同一番号とする（Ｓ１６）。ｓｔａで示
す番号のトークンが最初に現れた大文字開始トークンで
ある。
【００２２】ステップ１７〜１９では大文字開始トーク
ンが連続しているか否かを判定し、連続している場合に
はステップ２０で分割不可を示すマークをトークンに付
ける。まず、ｉを次のトークンを示すものにして（Ｓ１
７）、トークン（ｉ）が大文字開始トークンか否かを判
定する（Ｓ１８）。つまり、大文字開始トークンが連続
している限り、ステップ１７と１８とを繰り返し、その
繰返し回数に応じてｉは増加していく。次に、ステップ
１８で大文字開始トークンでないと判定した場合は、大
文字開始トークンは１つのみであったか否かを判定する
（Ｓ１９）。１つのみでないと判定した場合、つまり大
文字開始トークンが連続していると判定した場合、ｓｔ
ａで示す番号からｉで示す番号までのトークンに分割不
可を示すマークを付ける（Ｓ２０）。１つのみの場合は
分割不可を示すマークを付ける必要はないので、ｉを次
のトークンを示すものにして（Ｓ２１）、ステップ１２
に戻る。ステップ１２〜２１をトークン（ｉ）が無くな
るまで繰り返す。トークン付加の例を図６の構造図に示
す。図６ではマークとして星印が付加されている。
ンが連続しているか否かを判定し、連続している場合に
はステップ２０で分割不可を示すマークをトークンに付
ける。まず、ｉを次のトークンを示すものにして（Ｓ１
７）、トークン（ｉ）が大文字開始トークンか否かを判
定する（Ｓ１８）。つまり、大文字開始トークンが連続
している限り、ステップ１７と１８とを繰り返し、その
繰返し回数に応じてｉは増加していく。次に、ステップ
１８で大文字開始トークンでないと判定した場合は、大
文字開始トークンは１つのみであったか否かを判定する
（Ｓ１９）。１つのみでないと判定した場合、つまり大
文字開始トークンが連続していると判定した場合、ｓｔ
ａで示す番号からｉで示す番号までのトークンに分割不
可を示すマークを付ける（Ｓ２０）。１つのみの場合は
分割不可を示すマークを付ける必要はないので、ｉを次
のトークンを示すものにして（Ｓ２１）、ステップ１２
に戻る。ステップ１２〜２１をトークン（ｉ）が無くな
るまで繰り返す。トークン付加の例を図６の構造図に示
す。図６ではマークとして星印が付加されている。
【００２３】上述した図３のステップ５における処理
（大文字開始トークン列認定処理）が終了すると、辞書
検索手段６は、個々のトークンをキーとして辞書群９を
検索し、語彙情報を獲得する（Ｓ６）。
（大文字開始トークン列認定処理）が終了すると、辞書
検索手段６は、個々のトークンをキーとして辞書群９を
検索し、語彙情報を獲得する（Ｓ６）。
【００２４】以上のように本実施例によれば、大文字開
始トークン列認識手段５において、分割不可を示すマー
クを付加するようにしたので、後の処理（たとえば翻訳
の構文解析）で分割してしまう誤りを未然に防止するこ
とができる。また、連続して現れる大文字開始トークン
列は一般には企業名、団体名、人名等の固有名詞である
と考えられるところから、各トークンの解釈が自ずと決
定されて誤りがなく、英語形態素解析の結果を用いるよ
うな処理装置、特に機械翻訳機において、多義、多品詞
の解消における負荷を軽減することができる。
始トークン列認識手段５において、分割不可を示すマー
クを付加するようにしたので、後の処理（たとえば翻訳
の構文解析）で分割してしまう誤りを未然に防止するこ
とができる。また、連続して現れる大文字開始トークン
列は一般には企業名、団体名、人名等の固有名詞である
と考えられるところから、各トークンの解釈が自ずと決
定されて誤りがなく、英語形態素解析の結果を用いるよ
うな処理装置、特に機械翻訳機において、多義、多品詞
の解消における負荷を軽減することができる。
【００２５】
【発明の効果】以上のように本発明は、英文字列をスペ
ース等の区切り文字でトークンに分割する文字列分割手
段と、大文字で始まり且つ連続するトークンが形態素解
析において分割不可の場合には分割不可を示すマークを
付加する大文字開始トークン列認識手段とを設けたこと
により、人名等の固有名詞を分割することなく正確に解
析することができると共に各トークンの解釈において誤
りがなく、英語形態素解析の結果を用いるような処理装
置において、多義、多品詞の解消における負荷を軽減す
ることが可能な英語形態素解析装置を実現することがで
きる。
ース等の区切り文字でトークンに分割する文字列分割手
段と、大文字で始まり且つ連続するトークンが形態素解
析において分割不可の場合には分割不可を示すマークを
付加する大文字開始トークン列認識手段とを設けたこと
により、人名等の固有名詞を分割することなく正確に解
析することができると共に各トークンの解釈において誤
りがなく、英語形態素解析の結果を用いるような処理装
置において、多義、多品詞の解消における負荷を軽減す
ることが可能な英語形態素解析装置を実現することがで
きる。
【００２６】また、英文字列をスペース等の区切り文字
でトークンに分割する文字列分割工程と、大文字で始ま
り且つ連続するトークンが形態素解析において分割不可
の場合には分割不可を示すマークを付加する大文字開始
トークン列認識工程とを有することにより、人名等の固
有名詞を分割することなく正確に解析することができる
と共に各トークンの解釈において誤りがなく、英語形態
素解析の結果を用いるような処理装置において、多義、
多品詞の解消における負荷を軽減することが可能な英語
形態素解析方法を実現することができる。
でトークンに分割する文字列分割工程と、大文字で始ま
り且つ連続するトークンが形態素解析において分割不可
の場合には分割不可を示すマークを付加する大文字開始
トークン列認識工程とを有することにより、人名等の固
有名詞を分割することなく正確に解析することができる
と共に各トークンの解釈において誤りがなく、英語形態
素解析の結果を用いるような処理装置において、多義、
多品詞の解消における負荷を軽減することが可能な英語
形態素解析方法を実現することができる。
【図１】本発明の一実施例に係る英語形態素解析装置を
示すブロック図
示すブロック図
【図２】図１の英語形態素解析装置の構成機器を具体的
に示す機器構成図
に示す機器構成図
【図３】図１の英語形態素解析装置の動作を示すフロー
チャート
チャート
【図４】図１の装置における大文字開始トークン列認識
処理を示すフローチャート
処理を示すフローチャート
【図５】トークン分割後のトークンリストを示す構造図
【図６】大文字開始トークン列にマークを付加した後の
トークンリストを示す構造図
トークンリストを示す構造図
１ 中央処理装置 ２ 入力手段 ３ 文字列分割手段 ４ トークン種別認定手段 ５ 大文字開始トークン列認識手段 ６ 辞書検索手段 ７ 英文入力部 ７ａ キーボード ７ｂ ＯＣＲ ８ 記憶部 ８ａ ＲＡＭ ８ｂ ＲＯＭ ９ 辞書群
Claims (2)
- 【請求項１】英文字列をスペース等の区切り文字でトー
クンに分割する文字列分割手段と、大文字で始まり且つ
連続する前記トークンが形態素解析において分割不可の
場合には分割不可を示すマークを付加する大文字開始ト
ークン列認識手段とを備えたことを特徴とする英語形態
素解析装置。 - 【請求項２】英文字列をスペース等の区切り文字でトー
クンに分割する文字列分割工程と、大文字で始まり且つ
連続する前記トークンが形態素解析において分割不可の
場合には分割不可を示すマークを付加する大文字開始ト
ークン列認識工程とを有することを特徴とする英語形態
素解析方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7139099A JPH08329085A (ja) | 1995-06-06 | 1995-06-06 | 英語形態素解析装置および英語形態素解析方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7139099A JPH08329085A (ja) | 1995-06-06 | 1995-06-06 | 英語形態素解析装置および英語形態素解析方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH08329085A true JPH08329085A (ja) | 1996-12-13 |
Family
ID=15237470
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP7139099A Pending JPH08329085A (ja) | 1995-06-06 | 1995-06-06 | 英語形態素解析装置および英語形態素解析方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH08329085A (ja) |
-
1995
- 1995-06-06 JP JP7139099A patent/JPH08329085A/ja active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US4868750A (en) | Collocational grammar system | |
| JPH02299068A (ja) | 入力文字列からワードを分離する方法 | |
| EP0241717A2 (en) | Linguistic analysis method and apparatus | |
| US20040193399A1 (en) | System and method for word analysis | |
| US6999917B1 (en) | Left-corner chart parsing system | |
| Verkerk et al. | LASLA and Collatinus: a convergence in lexica | |
| Salam et al. | Developing the bangladeshi national corpus-a balanced and representative bangla corpus | |
| JPH08329085A (ja) | 英語形態素解析装置および英語形態素解析方法 | |
| Ishraq et al. | Towards developing uniform lexicon based sorting algorithm for three prominent indo-aryan languages | |
| JP2632806B2 (ja) | 言語解析装置 | |
| JP2599973B2 (ja) | 日本文訂正候補文字抽出装置 | |
| JPS62249269A (ja) | 文書処理装置 | |
| JPH10198676A (ja) | 日本語形態素解析装置及び日本語形態素解析方法 | |
| JP2595047B2 (ja) | 日本文誤り自動検定・訂正装置 | |
| JP2989824B2 (ja) | 文型・文法格認識方法 | |
| JPS63163956A (ja) | 文書作成・校正支援装置 | |
| JP3884001B2 (ja) | 言語解析システムおよび方法 | |
| JP3281214B2 (ja) | 辞書検索装置 | |
| JPH01258069A (ja) | 日本語文字列の形態素解析方式 | |
| JPH05225183A (ja) | 日本文単語誤り自動検出装置 | |
| JPH0231274A (ja) | 単語辞書検索装置 | |
| JPS60144886A (ja) | 文字認識装置における後処理方式 | |
| JPS62267873A (ja) | 言語解析装置 | |
| Verkerk et al. | Lss | |
| JPH11282838A (ja) | 入力補正方法及び入力補正装置 |