JPS5990167A - 文章解析装置 - Google Patents
文章解析装置Info
- Publication number
- JPS5990167A JPS5990167A JP57199271A JP19927182A JPS5990167A JP S5990167 A JPS5990167 A JP S5990167A JP 57199271 A JP57199271 A JP 57199271A JP 19927182 A JP19927182 A JP 19927182A JP S5990167 A JPS5990167 A JP S5990167A
- Authority
- JP
- Japan
- Prior art keywords
- character string
- candidate character
- evaluation
- sentence
- analysis method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Machine Translation (AREA)
- Document Processing Apparatus (AREA)
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【発明の詳細な説明】
〔発明の技術分野〕
本発明は自動翻訳や文字音声変換等のため釦、文字で表
現された文章から、その文章を構成する個々の単語を切
分ける単語の同定方式に関する。
現された文章から、その文章を構成する個々の単語を切
分ける単語の同定方式に関する。
自動翻訳、あるいは文字音声変換においては、文章の解
析が必須である。特に日本語のような単語境界が不明確
で、同字異義語、同字異音語の多い言語では、単語境界
の判定と語の同定が重要であり、かつ難しいものでもあ
る。例えば、「蓄量物価格安定法」の単語構成は、 ■ 畜産物・価格・安定法 ■ 蓄産・物価・格安・定法 ■ 蓄産・物価路・安定法 などいくつか考えられるが、■が正解であると判断でき
なければならない。
析が必須である。特に日本語のような単語境界が不明確
で、同字異義語、同字異音語の多い言語では、単語境界
の判定と語の同定が重要であり、かつ難しいものでもあ
る。例えば、「蓄量物価格安定法」の単語構成は、 ■ 畜産物・価格・安定法 ■ 蓄産・物価・格安・定法 ■ 蓄産・物価路・安定法 などいくつか考えられるが、■が正解であると判断でき
なければならない。
文章内の単語を同定するためには、従来、■ 最長一致
と文法的接続関係を用いて順次検索判定する方法、 ＠ 可能性のあるすべての候補文字列単位の組合わせを
抽出し、各々を評価関数を用いて評価し、最良の組合わ
せを選択する方法、が考えられていた。しかし、 ■では最適解が得られない場合があり、処理も複雑であ
った（バックトラックが必要）。
と文法的接続関係を用いて順次検索判定する方法、 ＠ 可能性のあるすべての候補文字列単位の組合わせを
抽出し、各々を評価関数を用いて評価し、最良の組合わ
せを選択する方法、が考えられていた。しかし、 ■では最適解が得られない場合があり、処理も複雑であ
った（バックトラックが必要）。
また、＠では組合わせの数が膨大となり長い文字列に適
用することはできなかった。
用することはできなかった。
本発明は日本語のような単語境界の明確でない文章を解
析して、文章を構成する単語などの文字列単位の境界を
判定し、さらに各文字列単位を同定する作業に関し、正
確な解析を簡単かつ少ない処理にて行なうことを目的と
する。
析して、文章を構成する単語などの文字列単位の境界を
判定し、さらに各文字列単位を同定する作業に関し、正
確な解析を簡単かつ少ない処理にて行なうことを目的と
する。
上記の目的を達成するため、本発明は複数の文字列単位
からなる文章を解析して、文章を構成する文字列単位を
同定する文章解析方式において、候補となる文字列単位
の妥当性を数値で表わし、これを評価尺度とする動的計
画法により最適な文字列単位を同定することを特徴とす
る。
からなる文章を解析して、文章を構成する文字列単位を
同定する文章解析方式において、候補となる文字列単位
の妥当性を数値で表わし、これを評価尺度とする動的計
画法により最適な文字列単位を同定することを特徴とす
る。
以下図面により詳細に説明する。
第１図は具体的文章について、上記＠の従来例による場
合と、本発明による動的計画法（以下ＤＰ法と称す）Ｋ
よる場合とを比較したものである。
合と、本発明による動的計画法（以下ＤＰ法と称す）Ｋ
よる場合とを比較したものである。
文章解析装置には予じめ考えられ得るすべての文字列単
位（いわゆる単語の他忙慣用的な単語列。
位（いわゆる単語の他忙慣用的な単語列。
つ
文字列も含む）が記憶されている。図で例では文字「島
」には「シマ」と「トウ」との夫々の読みに対して１つ
づつの文字列が用意されている。
」には「シマ」と「トウ」との夫々の読みに対して１つ
づつの文字列が用意されている。
また、「から」という読みに対しては５種類の文字列、
例えば名詞としての「殻」、「唐」２格助詞としての「
〜から」などが用意されている。
例えば名詞としての「殻」、「唐」２格助詞としての「
〜から」などが用意されている。
さらに「か」の文字単独についても６種類の文字列（１
文字のものも含めて文字列と称する）、例えば疑問を表
わす「〜か？」２選択の意を表わす「〜か〜か」２反問
を表わす「か」などが用意されている。他の文字につい
ても同様である。
文字のものも含めて文字列と称する）、例えば疑問を表
わす「〜か？」２選択の意を表わす「〜か〜か」２反問
を表わす「か」などが用意されている。他の文字につい
ても同様である。
図示Ａの部分は従来例＠で述べたように、すべての組合
わせについて評価するとした場合の組合わせの数を示し
ており、１０万通り以上の組合わせとなり、実用的でな
いことが判る。
わせについて評価するとした場合の組合わせの数を示し
ており、１０万通り以上の組合わせとなり、実用的でな
いことが判る。
図示Ｂの部分は本発明のＤＰ法による場合で、文頭２文
末（Ｍ、点）を示す文字列を含めても、わずか２８８回
の処理で済むことが判る。
末（Ｍ、点）を示す文字列を含めても、わずか２８８回
の処理で済むことが判る。
第２図は本発明のＤＰ法の概念を説明する図であり、あ
る語境界に注目し、その境界で終わる文字列が４２口の
２種類、その境界から始まる文字列がα、β、γの３種
類ある場合を示している。
る語境界に注目し、その境界で終わる文字列が４２口の
２種類、その境界から始まる文字列がα、β、γの３種
類ある場合を示している。
ある文字列（Ｘとする）を選択した場合、Ｘまでの合計
評価点を１（Ｘ）とし、Ｘに関して周囲状況によらない
評価をＵ（Ｘ）、他の文字列Ｙとの接続関係による評価
をｃ（ｘ、ｙ）とする。
評価点を１（Ｘ）とし、Ｘに関して周囲状況によらない
評価をＵ（Ｘ）、他の文字列Ｙとの接続関係による評価
をｃ（ｘ、ｙ）とする。
このとき第２図に示す境界における左側から右側へ評価
をすすめる場合に、以下の如くの処理を行なう。
をすすめる場合に、以下の如くの処理を行なう。
尚、ＭＡＸ（）はカッコ内の最大値をとることをわか会
半希意味する。
半希意味する。
このように左から（文の頭から）順に各文字列について
、自分自身の評価と、１つ前の文字列との接続関係によ
る評価とから、その場所における自分の評価を求めてい
くことを各境界において行なっていく。
、自分自身の評価と、１つ前の文字列との接続関係によ
る評価とから、その場所における自分の評価を求めてい
くことを各境界において行なっていく。
尚、第１図の矢印Ｃの如く、一部の文字列にとってのみ
境界となる位置においてもその文字列について上記と同
様の処理をすればよい。
境界となる位置においてもその文字列について上記と同
様の処理をすればよい。
また評価点のとり方によっては上記ＭＡＸ（］の代りに
ＭｒＮ（］を用いてもよい。
ＭｒＮ（］を用いてもよい。
また本来の文字列に加えて、文頭及び文末（読点があれ
ば不要）を示す文字列を考慮する。
ば不要）を示す文字列を考慮する。
このようにして次々と評価を求めていくと、最後の文字
列（読点）の評価を求める際に、その直前にあるいくつ
かの文字列候補（第１図の例では１０通りの候補）の中
のどれとつながる場合が最大値となるかが判る。よって
その最大値を与える文字列候補を順にたどっていけば、
最適な文字列単位の組合わせが得られることとなる。
列（読点）の評価を求める際に、その直前にあるいくつ
かの文字列候補（第１図の例では１０通りの候補）の中
のどれとつながる場合が最大値となるかが判る。よって
その最大値を与える文字列候補を順にたどっていけば、
最適な文字列単位の組合わせが得られることとなる。
次に第３図、第４図を用いて、本発明のＤＰ法を実現す
る具体的一実施例について述べる。
る具体的一実施例について述べる。
第３図は本発明の一実施例の概略ブロック図であり、■
は文字列単位辞書、２は辞書照合部、３はＤＰ部である
。
は文字列単位辞書、２は辞書照合部、３はＤＰ部である
。
文字列単位辞書１には、各文字列単位に対する文字列単
位の表記（照合に用いる文字コード）の他ＤＰ部３で用
いる接続関係情報（右側及び左側の接続関係の種別を番
号で表わしたもの）、周囲の文字列によらず定まる評価
点１文字列単位番号等をあらかじめ設定してお（。
位の表記（照合に用いる文字コード）の他ＤＰ部３で用
いる接続関係情報（右側及び左側の接続関係の種別を番
号で表わしたもの）、周囲の文字列によらず定まる評価
点１文字列単位番号等をあらかじめ設定してお（。
辞書照合部２は入力文章を文字列単位辞書１と照合する
ことにより、入力文章の構成単位となり得るすべての候
補文字列単位を抽出し、その結果をＤＰ部に設定する。
ことにより、入力文章の構成単位となり得るすべての候
補文字列単位を抽出し、その結果をＤＰ部に設定する。
そしてＤＰ部３において、第２図に関連して説明した如
き評価計算によって、どの文字列単位の組合わせが最も
好ましいかを決定する。
き評価計算によって、どの文字列単位の組合わせが最も
好ましいかを決定する。
尚、辞書照合部２０機能及び構成は従来技術と同様でよ
いので、以下にはＤＰ部３について詳述する。
いので、以下にはＤＰ部３について詳述する。
第４図はＤＰ部３の一実施例ブロック図である。
各部の説明は以下のとおりである。
ＷＭ：候補文字列単位の情報を格納するメモリであり、
以下のＡ−Ｐの各部からなり、ＷＭＡにＷＭ内アドレス
を入力し、Ｒに信号を与えること忙よ仇度に１文字列単
位の各部の情報を出力し、ＷＫ倍信号与えること九より
、Ｇ及びＰに情報を読み込み記憶する。
以下のＡ−Ｐの各部からなり、ＷＭＡにＷＭ内アドレス
を入力し、Ｒに信号を与えること忙よ仇度に１文字列単
位の各部の情報を出力し、ＷＫ倍信号与えること九より
、Ｇ及びＰに情報を読み込み記憶する。
Ａ、Ｂ、Ｖ、Ｎは辞書照合部により設定される。Ｇ部は
辞書照合部により０に初期設定される。
辞書照合部により０に初期設定される。
Ａ：文字列単位（以下単語と略す）の前方接続関係の種
別を格納している。
別を格納している。
Ｂ：単語の後方接続関係の種別を格納している。
Ｖ：単語の周囲の文字列によらず定まる評価点ｖ（ｘｉ
）を格納している。
）を格納している。
Ｎ：単語の単語番号を格納している。
Ｇ：その単語までの総合評価点Ｇ（ｘｉ ）を格納して
いる。
いる。
Ｐ：その単語までの最も良い評価点を与える１つ前の単
語のＷＭ内アドレスを格納する。
語のＷＭ内アドレスを格納する。
ＥＷＭ ： Ｃ３及びＣＩの内容を上位及び下位のアト
報の格納されているＷＭ内アドレスが辞書照合部により
設定されている。
報の格納されているＷＭ内アドレスが辞書照合部により
設定されている。
３児（：］ＤＷＭと同様棹、Ｃ３にて示される境界にて
始まる単語の情報の格納されているＷＭ内アドレスが辞
書照合部により設定されているメモリ。
始まる単語の情報の格納されているＷＭ内アドレスが辞
書照合部により設定されているメモリ。
Ｃ１：ＣＩＨに信号を与えられると１増加し、ＣＩＣに
信号を与えられると０にクリヤされるカウンタであり、
ある境界にて終了する単語のＥＷＭ内の順番を示す。
信号を与えられると０にクリヤされるカウンタであり、
ある境界にて終了する単語のＥＷＭ内の順番を示す。
Ｃ２：Ｃ２ＵＩＣ信号を与えられると１増加１−１Ｃ２
Ｃに信号を与えられると０にクリヤされるカウンタであ
り、ある境界にて始まる単語のＥＷＭ内の順番を示す。
Ｃに信号を与えられると０にクリヤされるカウンタであ
り、ある境界にて始まる単語のＥＷＭ内の順番を示す。
Ｃ３：Ｃ３Ｕに信号をゝ与えられると１増加し、Ｃ３Ｃ
に信号を与えられると０にクリヤされるカウンタであり
、境界の番号を示す。
に信号を与えられると０にクリヤされるカウンタであり
、境界の番号を示す。
ｒｓ ：１つの文章に対する境界番号の上限を示すレジ
スタであり、辞書照合部により設定される。
スタであり、辞書照合部により設定される。
ＣＯＭＰ４ ： Ｃ３及びｒｓ の値を比較し、Ｃ３＞
ｒｓの場合、Ｃ３］ｉ！の信号を発する比較器。
ｒｓの場合、Ｃ３］ｉ！の信号を発する比較器。
ＣＯＭＰＩ ： ｌｉ： Ｗ Ｍより読み出される出力
が０．すなわち１つの境界に対する単語の終りを表わす
符号であるか否かをチェックするロジックで、０の場合
ｃ１ｘの信号を発する。
が０．すなわち１つの境界に対する単語の終りを表わす
符号であるか否かをチェックするロジックで、０の場合
ｃ１ｘの信号を発する。
ωＭＰ２： ＣＯＭＰＩと同様にＢＷＭよりの出力をチ
ェックし、Ｃ２］Ｄを発するロジック。
ェックし、Ｃ２］Ｄを発するロジック。
ｒ４：判定結果を読み出すためにＷＭ内のアドレスを一
時格納するレジスタ。
時格納するレジスタ。
ＭＰＸ：Ｓに与えられた信号によりＷＭＡをＫＷＭの出
力又はｒ４の出力に切換えるアドレス！ルチプレクザ。
力又はｒ４の出力に切換えるアドレス！ルチプレクザ。
ｒｌ：ＷＭのＡよりＢＷＭによりアクセスされたある境
界より始まるある単語の前方接続関係の種別を保持する
ｌ／レジスタ、ｒｌＬ信号によりロードを行なう。
界より始まるある単語の前方接続関係の種別を保持する
ｌ／レジスタ、ｒｌＬ信号によりロードを行なう。
Ｔ ：ある境界より始まる単語の前方接続関係及びその
境界で終わる単語の後方接続関係により定まる接続関係
の評点を定める定数メモリであり、 ｒｌ及びＫＷＭに
よりアクセスされるＷＭのＢ部の値によりアクセスされ
、１つの評点を出力するものである。
境界で終わる単語の後方接続関係により定まる接続関係
の評点を定める定数メモリであり、 ｒｌ及びＫＷＭに
よりアクセスされるＷＭのＢ部の値によりアクセスされ
、１つの評点を出力するものである。
ｒ２：ＢＷＭＫよりアクセスされるＷＭの７部の値を保
持するレジスタで、ｒ２Ｌ信号によりロードを行なう。
持するレジスタで、ｒ２Ｌ信号によりロードを行なう。
ＡＤＤ ： Ｔの出力、 ｒ２及びＥＷＭによりアク
セスされるＷＭのＧ部の値を加算する加算器である。
セスされるＷＭのＧ部の値を加算する加算器である。
ｒ６：ある境界より始まるある単語に対する一連の処理
中、ＡＤＤの出力の最大値を保持するレジスタであり、
ｒａｃ ［１８号を入力することによりクリヤされる。
中、ＡＤＤの出力の最大値を保持するレジスタであり、
ｒａｃ ［１８号を入力することによりクリヤされる。
ｒｓ：ある境界より始まるある単語に対する一連の処理
中、ＡＤＤの出力の最大＜ｒｔｔを与える単語情報のＷ
Ｍ内アドレスを保持するレジスタである。
中、ＡＤＤの出力の最大＜ｒｔｔを与える単語情報のＷ
Ｍ内アドレスを保持するレジスタである。
ＣＯＭＰ３： Ａ Ｄ Ｄの出力と ｒ６の出力を比較
する比較器であり、ＡＤＤ出力＞ ｒｅ小出力場合、ｒ
３ｇＬの信号を出力してｒ６にＡＤＤの出力。
する比較器であり、ＡＤＤ出力＞ ｒｅ小出力場合、ｒ
３ｇＬの信号を出力してｒ６にＡＤＤの出力。
ｒｓに ＥＷＭの出力をロードさせる。ｒ３６Ｌに挿入
されているゲートは、ＣＬ傷信号よって同期をとるため
のものである。
されているゲートは、ＣＬ傷信号よって同期をとるため
のものである。
ＴＭＧ ： ＣＩＥ、Ｃ２Ｅ、Ｃ３Ｋを入力し、ＣＩＵ
、ＣＩＣ。
、ＣＩＣ。
Ｃ２Ｕ、 Ｃ２Ｃ、Ｓ 、 Ｒ，Ｗ、 ｒｉＬ、 ｒ２
Ｌ＋ ｒ６ｃ、ｒｉＬ。
Ｌ＋ ｒ６ｃ、ｒｉＬ。
Ｃ３Ｃ，Ｃ３Ｕ を出力するタイミング制御回路であ
り、以下に述べる動作手順に従い、各信号の制御を行な
うものである。
り、以下に述べる動作手順に従い、各信号の制御を行な
うものである。
第５図はＥＷＭの内容の一例を第１図の例に沿って示し
たもので、Ｘｉ、Ｙｌ〜Ｙ２．Ｚｌ 〜Ｚ６．ＺＺ工〜
ＺＺ９等はＷＭ内アドレスを意味する。そして例えばＣ
３＝００１１の境界が第１図の矢印ｄの位置に相当する
。ＢＷＭについても同様であるので省略する。
たもので、Ｘｉ、Ｙｌ〜Ｙ２．Ｚｌ 〜Ｚ６．ＺＺ工〜
ＺＺ９等はＷＭ内アドレスを意味する。そして例えばＣ
３＝００１１の境界が第１図の矢印ｄの位置に相当する
。ＢＷＭについても同様であるので省略する。
以下に１つの文章を解析するための手順を示す。
尚、本例では、単語ｘ、ｙ間の接続関係による評 ゛
点ｃ（ｘ、ｙ）として第４図における定数テーブルＴの
出力を用い、かつ、 としている。
点ｃ（ｘ、ｙ）として第４図における定数テーブルＴの
出力を用い、かつ、 としている。
また、ｒｓ、ＥＷＭ、ＢＷＭ、Ａ、Ｂ、Ｖ、Ｎ、Ｇ
は各項で説明したように辞書照合部２により初期設定さ
れているものとする。またＷＭのアドレスＯＫは、考え
得る最も小さいＡＤＤ出力を与えるようなり。
は各項で説明したように辞書照合部２により初期設定さ
れているものとする。またＷＭのアドレスＯＫは、考え
得る最も小さいＡＤＤ出力を与えるようなり。
Ｖ、Ｇが格納されているものとする。
（ｉ）ｃ３ｃ信号を発し、ｃ３（境界番号）を０クリヤ
する。
する。
（２）Ｃ２Ｃ信号を発し、Ｃ２（その境界より始まる単
語のＢＷＭ内の順番）をＯクリヤする。
語のＢＷＭ内の順番）をＯクリヤする。
（３）Ｓ信号を発し、ＭＰＸをＢＷＭの出力に切りかえ
る。
る。
（４）Ｒ信号を発し、ＷＭよりその境界より始まるＣ２
にて示される単語のＡ及びＶを出力させる。
にて示される単語のＡ及びＶを出力させる。
（５） ｒｔＬ 、 ｒ２Ｌ信号を発し、ｒｌ及びｒ
２にＡ及びＶの出力をロードする。
２にＡ及びＶの出力をロードする。
（６） ｅｔｃ信号を発し、Ｃ１（その境界にて終了
する単語のＥＷＭ内の順番）をＯクリヤする。
する単語のＥＷＭ内の順番）をＯクリヤする。
（７）Ｓ信号を発し、ＭＰＸをＥＷＭの出力に切りかえ
る。
る。
（Ｊ３） ｒ６Ｃ信号を発し、ｒｅ（その境界より始
まる１単語に対するＡＤＤの出力の最大値）を０クリヤ
する。
まる１単語に対するＡＤＤの出力の最大値）を０クリヤ
する。
（９）一定周期でＣＩＥに信号が現れるまで、Ｃ３，Ｕ
及びＣＩ、信号を発生させること釦より、その境界より
始まる１単語に対するＡＤＤ出力の最大値及びその最大
値を与える単語情報のＷＭ内アドレスをそれぞれｒｅ
、ｒ３に格納させる。
及びＣＩ、信号を発生させること釦より、その境界より
始まる１単語に対するＡＤＤ出力の最大値及びその最大
値を与える単語情報のＷＭ内アドレスをそれぞれｒｅ
、ｒ３に格納させる。
Ｑｏ） Ｓ信号を発し、ＭＰＸの出力なりＷ！ｉ’［
の出力に切りかえる。
の出力に切りかえる。
（ＩＪ） Ｗ信号を発し、ｒｅ及びｒ３の内容をＧ及
びＰに書き込む。
びＰに書き込む。
１Ｊ２１ Ｒ，ｒ４Ｌ 信号を発し、書き込んだＰ
の内容をｒ４ にロードする。
の内容をｒ４ にロードする。
θ→ Ｃ２Ｕ信号を発し、Ｃ２Ｕを１増加させる。
Ｃ４（４）〜０局までの手順をＣ２Ｅ信号が現れるまで
繰り返す。
繰り返す。
（ＩＦ９ Ｃ３υ信号を発し、Ｃ３Ｕを１増加させる
。
。
（１６） （２）〜０つまでの手順をＣ３Ｅに信号が
現れるまで繰り返す。
現れるまで繰り返す。
θカ Ｓ信号を発し、ＭＰＸの出力なｒ４の出力に切り
かえる。
かえる。
（ト） Ｒ信号を発し、Ｎを出力する。
（１９１ｒ＜Ｌ信号を発し、Ｐをｒ４にロードする。
（イ）θ→、θ１を繰り返すことにより、順次判定結果
である単語番号Ｎを読み出す。
である単語番号Ｎを読み出す。
以上の手順により、判定結果を文章の後方の単語より順
次出力する。
次出力する。
上記の実施例では、各メモリやレジスタ等を専用ハード
ウェアとｌして設けるものとして説明したカｔ、汎用計
算機を用いてソフトウェアにより実現することも可能で
ある。第６図に処理フローを示す。
ウェアとｌして設けるものとして説明したカｔ、汎用計
算機を用いてソフトウェアにより実現することも可能で
ある。第６図に処理フローを示す。
上記、周囲の文字列によらぬ固有の評価どしては、候補
文字列をかな書きした場合の文字数（発声した場合の拍
数、音節数も含む）又は接頭語。
文字列をかな書きした場合の文字数（発声した場合の拍
数、音節数も含む）又は接頭語。
接尾語を加えた文字数に対応した評価点を用いることが
できる。
できる。
あるいは、候補文字列の一般的な（或いは使用分野を限
った）統計的出現頻度（使用頻度）情報を利用してもよ
い。さらには自立語、接辞語９等の区別、品詞による区
別等を用いてもよい。あるいはそれらの組合わせでもよ
い。
った）統計的出現頻度（使用頻度）情報を利用してもよ
い。さらには自立語、接辞語９等の区別、品詞による区
別等を用いてもよい。あるいはそれらの組合わせでもよ
い。
また上記、接続関係による評価としては、前後の品詞の
組合わせの頻度情報１語幹・語尾の接続頻度、接辞との
接続頻度、あるいは文頭１文末になる頻度、数字や助数
詞との接続頻度などを利用することができる。あるいは
文章全体のどの辺の位置に置かれる率が高いか等の情報
も利用できる。
組合わせの頻度情報１語幹・語尾の接続頻度、接辞との
接続頻度、あるいは文頭１文末になる頻度、数字や助数
詞との接続頻度などを利用することができる。あるいは
文章全体のどの辺の位置に置かれる率が高いか等の情報
も利用できる。
また上記の例では、文頭から文末に向って評価計算を行
プよったが、文末から文頭に向って行なうこともできる
。
プよったが、文末から文頭に向って行なうこともできる
。
さらに、いくつかの部分に分けて行なってから全体を統
合したり、両方向の処理を組合わせてもよい。
合したり、両方向の処理を組合わせてもよい。
以上の如く本発明によれば、候補文字列の妥当性を数値
で表現することによりＤＰ法が容易に利用でき、そのた
め処理が単純でかつ処理量がきわめて少なくて済み、か
つ最適解を求めることができる。
で表現することによりＤＰ法が容易に利用でき、そのた
め処理が単純でかつ処理量がきわめて少なくて済み、か
つ最適解を求めることができる。
第１図は本発明と従来例とを比較する説明図。
第２図は本発明の概念図、第３図は本発明の概略ブロッ
ク図、第４図は本発明の一実施例ブロック図、第５図は
、ＥＷＭの内容の一具体例を示す図。 第６図は本発明の一実施例処理フローチャートである。 第３図において、１は文字列単位辞書、２は辞書照合部
、３はＤｒ部である。 ＋１冬＼１ 」 封、乙図
ク図、第４図は本発明の一実施例ブロック図、第５図は
、ＥＷＭの内容の一具体例を示す図。 第６図は本発明の一実施例処理フローチャートである。 第３図において、１は文字列単位辞書、２は辞書照合部
、３はＤｒ部である。 ＋１冬＼１ 」 封、乙図
Claims (7)
- （１）複数の文字列単位からなる文章を解析して、文章
を構成する文字列単位を同定する文章解析方式において
、候補となる文字列単位の妥当性を数値で表わし、これ
を評価尺度とする動的計画法により最適な文字列単位を
同定することを特徴とする文章解析方式。 - （２）上記、候補文字列単位の妥当性として、該候補文
字列単位に固有な第１の評価点と、該候補文字列単位と
他の候補文字列単位との関係による第２の評価点とを用
いることを特徴とする特許請求の範囲第（１）項記載の
文章解析方式。 - （３）上記第１の評価点の一部又は全部として、該候補
文字列単位をかな表記した場合の文字数に相当する情報
を用いることを特徴とする特許請求の範囲第（２）項記
載の文章解析方式。 - （４）上記第１の評価点の一部又は全部として、該候補
文字列単位の使用頻度情報を用いることを特徴とする特
許請求の範囲第（２）項記載の文章解析方式。 - （５）上記第１の評価点の一部又は全部として、該候補
文字列単位の品詞情報を用いることを特徴とする特許請
求の範囲第（２）項記載の文章解析方式。 - （６）上記第２の評価点の一部又は全部として、該候補
文字列単位の前又は後、若しくは前後の候補文字列単位
との文法的接続関係情報を用いることを特徴とする特許
請求の範囲第（２）項ないし第（５）項のいずれかに記
載の文章解析方式。 - （７）上記第２の評価点の一部又は全部として、該候補
文字列単位の文章中に占める位置情報を用いることを特
徴とする特許請求の範囲第（２）項ないし第（５）項の
いずれかに記載の文章解析方式。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP57199271A JPS5990167A (ja) | 1982-11-12 | 1982-11-12 | 文章解析装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP57199271A JPS5990167A (ja) | 1982-11-12 | 1982-11-12 | 文章解析装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPS5990167A true JPS5990167A (ja) | 1984-05-24 |
| JPH0415503B2 JPH0415503B2 (ja) | 1992-03-18 |
Family
ID=16405007
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP57199271A Granted JPS5990167A (ja) | 1982-11-12 | 1982-11-12 | 文章解析装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPS5990167A (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6126175A (ja) * | 1984-07-06 | 1986-02-05 | インタ−ナショナル ビジネス マシ−ンズ コ−ポレ−ション | 複合漢字列分割装置 |
| JPS6391776A (ja) * | 1986-09-30 | 1988-04-22 | インタ−ナショナル・ビジネス・マシ−ンズ・コ−ポレ−ション | 自然言語解析装置 |
| JPH02224058A (ja) * | 1988-11-15 | 1990-09-06 | Ricoh Co Ltd | 自然言語処理システム |
| JPH02230370A (ja) * | 1989-03-02 | 1990-09-12 | Nec Corp | 形態素解析装置 |
| JPH03271972A (ja) * | 1990-03-20 | 1991-12-03 | Nec Corp | 自然言語の翻訳支援装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS5617468A (en) * | 1979-07-20 | 1981-02-19 | Fujitsu Ltd | *kana* japanese syllabary *kanji* chinese character converter |
| JPS5714971A (en) * | 1980-07-02 | 1982-01-26 | Nec Corp | Kana japanese syllabary kanji chinese character conversion device |
-
1982
- 1982-11-12 JP JP57199271A patent/JPS5990167A/ja active Granted
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS5617468A (en) * | 1979-07-20 | 1981-02-19 | Fujitsu Ltd | *kana* japanese syllabary *kanji* chinese character converter |
| JPS5714971A (en) * | 1980-07-02 | 1982-01-26 | Nec Corp | Kana japanese syllabary kanji chinese character conversion device |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6126175A (ja) * | 1984-07-06 | 1986-02-05 | インタ−ナショナル ビジネス マシ−ンズ コ−ポレ−ション | 複合漢字列分割装置 |
| JPS6391776A (ja) * | 1986-09-30 | 1988-04-22 | インタ−ナショナル・ビジネス・マシ−ンズ・コ−ポレ−ション | 自然言語解析装置 |
| JPH02224058A (ja) * | 1988-11-15 | 1990-09-06 | Ricoh Co Ltd | 自然言語処理システム |
| JPH02230370A (ja) * | 1989-03-02 | 1990-09-12 | Nec Corp | 形態素解析装置 |
| JPH03271972A (ja) * | 1990-03-20 | 1991-12-03 | Nec Corp | 自然言語の翻訳支援装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0415503B2 (ja) | 1992-03-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110364171B (zh) | 一种语音识别方法、语音识别系统及存储介质 | |
| US6178396B1 (en) | Word/phrase classification processing method and apparatus | |
| US8775158B2 (en) | Data processing device, data processing method, and data processing program | |
| JPH0415503B2 (ja) | ||
| CN117672182A (zh) | 一种基于人工智能的声音克隆方法及系统 | |
| CN116795685A (zh) | 一种Verilog代码缺陷检测方法和系统 | |
| JPS6190269A (ja) | 翻訳方式 | |
| CN119517006B (zh) | 方言识别方法、装置、设备及程序产品 | |
| JPS60157659A (ja) | 日本語解析方式 | |
| JPH04253098A (ja) | 音声合成に用いる数字及び特殊記号の言語処理方法 | |
| JP2908132B2 (ja) | 文字認識結果の後処理方法 | |
| JPS63163956A (ja) | 文書作成・校正支援装置 | |
| JPH01266670A (ja) | 日本語対象文固有用語抽出処理装置 | |
| JPH04115384A (ja) | 単語チェック機能を持つ日本語ｏｃｒ | |
| Crowgey | Constructing a morphophonological analyzer for Lushootseed | |
| JPS61177575A (ja) | 日本語文章作成装置 | |
| JPS63103393A (ja) | 単語認識装置 | |
| JP2880600B2 (ja) | 単語列翻訳装置 | |
| JPH06289890A (ja) | 自然言語処理装置 | |
| JPH1027191A (ja) | 論理回路生成装置 | |
| JPS6386073A (ja) | 日本語修飾関係解析装置 | |
| JPH04211887A (ja) | 誤読文字修正方法 | |
| Park et al. | Eliminating Implausible Korean Morphological Interpretations by Using History of Previous Analysis and Lexical Association | |
| JPH04328679A (ja) | 形態素解析装置 | |
| Forsberg et al. | Deriving Morphological Analyzers from Example Inflections |