JPH0528183A - テキスト原稿解析法 - Google Patents
テキスト原稿解析法Info
- Publication number
- JPH0528183A JPH0528183A JP4027626A JP2762692A JPH0528183A JP H0528183 A JPH0528183 A JP H0528183A JP 4027626 A JP4027626 A JP 4027626A JP 2762692 A JP2762692 A JP 2762692A JP H0528183 A JPH0528183 A JP H0528183A
- Authority
- JP
- Japan
- Prior art keywords
- word
- words
- manuscript
- text
- list
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/237—Lexical tools
- G06F40/242—Dictionaries
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/42—Data-driven translation
- G06F40/44—Statistical methods, e.g. probability models
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Probability & Statistics with Applications (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Machine Translation (AREA)
Abstract
(57)【要約】
【目的】 2つの書かれた言語間の翻訳を、どちらの言
語についても特別の知識を必要とせず比較可能とするこ
と。 【構成】 一方が他方の(誤りの可能性がある)翻訳で
ある2つのテキスト原稿が、テキスト処理システムのメ
モリ内に記憶される。両原稿中における各単語の分布及
び形態が比較され、どの単語が正しく翻訳されている見
込みかが統計的処理によって求められる。そして、一貫
して翻訳されていると思われる単語のリストが編集され
る。
語についても特別の知識を必要とせず比較可能とするこ
と。 【構成】 一方が他方の(誤りの可能性がある)翻訳で
ある2つのテキスト原稿が、テキスト処理システムのメ
モリ内に記憶される。両原稿中における各単語の分布及
び形態が比較され、どの単語が正しく翻訳されている見
込みかが統計的処理によって求められる。そして、一貫
して翻訳されていると思われる単語のリストが編集され
る。
Description
【0001】
【産業上の利用分野】この発明は、例えば原稿の翻訳精
度をテストするなど、テキスト(文章)原稿の解析に関
する。
度をテストするなど、テキスト(文章)原稿の解析に関
する。
【0002】
【従来の技術】第2の言語で書かれた第2の原稿の翻訳
である第1の言語で書かれた第1の原稿の精度をテスト
するためには、各原稿をそれぞれ走査し、辞書を用いて
両テキストを比較する必要がある。これはもちろん非常
に時間のかかる仕事で、多量なまたは専門的な原稿をテ
ストする場合によくそうであるようにテスト中の一部の
単語が辞書に含まれていなかったり;単語の必要な全て
の同義語が辞書になかったり;あるいは、例えばケチャ
(Qetchua) 語やチチェワ(Chichewa)語など多くの言語に
ついて尚そうであるように、関連の辞書が編集されてい
なかったり入手できない場合には、困難が生じる。
である第1の言語で書かれた第1の原稿の精度をテスト
するためには、各原稿をそれぞれ走査し、辞書を用いて
両テキストを比較する必要がある。これはもちろん非常
に時間のかかる仕事で、多量なまたは専門的な原稿をテ
ストする場合によくそうであるようにテスト中の一部の
単語が辞書に含まれていなかったり;単語の必要な全て
の同義語が辞書になかったり;あるいは、例えばケチャ
(Qetchua) 語やチチェワ(Chichewa)語など多くの言語に
ついて尚そうであるように、関連の辞書が編集されてい
なかったり入手できない場合には、困難が生じる。
【0003】
【発明が解決しようとする課題】本発明の目的は、2つ
の書かれた言語間の翻訳を、どちらの言語についても特
別の知識を必要とせず比較できるようにすることにあ
る。この点は特に、珍しい言語で書かれた原稿に適用す
るのに適している。
の書かれた言語間の翻訳を、どちらの言語についても特
別の知識を必要とせず比較できるようにすることにあ
る。この点は特に、珍しい言語で書かれた原稿に適用す
るのに適している。
【0004】本発明の別の目的は、2つの言語間の単語
の対応を示す辞書のベースを、両方の言語で書かれた1
つ以上の原稿の解析から編集できるようにすることにあ
る。
の対応を示す辞書のベースを、両方の言語で書かれた1
つ以上の原稿の解析から編集できるようにすることにあ
る。
【0005】
【課題を解決するための手段】本発明によれば、第1の
テキスト原稿と第2のテキスト原稿を処理する方法で、
各々の原稿がセグメントに分割されてテキスト処理シス
テムのメモリ手段内に記憶され、各セグメントがさらに
単語に分割されている方法において: a)第1のテキスト原稿中の単語と第2のテキスト原稿
中の単語を選び出し、第1のテキスト原稿と第2のテキ
スト原稿の各セグメント内における単語の分布の比較結
果を考慮しながら、2つの単語が実質上同一の意味を持
つ確率の表示を求めるステップ;及び b)2つの単語が実質上同一の意味を持つ確率の表示が
しきい値より大きい2つの単語を実質上同一の意味を持
つ単語と見なすステップ;を含む方法が提供される。
テキスト原稿と第2のテキスト原稿を処理する方法で、
各々の原稿がセグメントに分割されてテキスト処理シス
テムのメモリ手段内に記憶され、各セグメントがさらに
単語に分割されている方法において: a)第1のテキスト原稿中の単語と第2のテキスト原稿
中の単語を選び出し、第1のテキスト原稿と第2のテキ
スト原稿の各セグメント内における単語の分布の比較結
果を考慮しながら、2つの単語が実質上同一の意味を持
つ確率の表示を求めるステップ;及び b)2つの単語が実質上同一の意味を持つ確率の表示が
しきい値より大きい2つの単語を実質上同一の意味を持
つ単語と見なすステップ;を含む方法が提供される。
【0006】
【作用】すなわち本発明によれば、一方が他方の(誤り
の可能性がある)翻訳である2つのテキスト原稿が、テ
キスト処理システムのメモリ内に記憶される。両原稿中
における各単語の分布及び形態が比較され、どの単語が
正しく翻訳されている見込みかが統計的処理によって求
められる。そして、一貫して翻訳されていると思われる
単語のリストが編集される。
の可能性がある)翻訳である2つのテキスト原稿が、テ
キスト処理システムのメモリ内に記憶される。両原稿中
における各単語の分布及び形態が比較され、どの単語が
正しく翻訳されている見込みかが統計的処理によって求
められる。そして、一貫して翻訳されていると思われる
単語のリストが編集される。
【0007】
【実施例】以下本発明を、添付の図面を参照しながら一
例として説明する。
例として説明する。
【0008】図1に示したシステムの各構成要素は:バ
ス3に沿ってランダムアクセスメモリ2と双方向交信す
るプロセッサ1;例えばキーボードとし得る入力装置
4;及びプロセッサ1に接続され、例えばCRTとし得
る出力装置5である。
ス3に沿ってランダムアクセスメモリ2と双方向交信す
るプロセッサ1;例えばキーボードとし得る入力装置
4;及びプロセッサ1に接続され、例えばCRTとし得
る出力装置5である。
【0009】本方法の一例は、一方が他方の(誤りの可
能性がある)翻訳である2つのテキスト原稿をメモリ2
内に記憶すること;両原稿中における各単語の分布及び
形態を比較すること;どの単語が正しく翻訳されている
見込みかを統計的処理によって求めること;及び一貫し
て翻訳されていると思われる単語のリストを編集するこ
とから成る。その後このリストを、翻訳中の誤りを訂正
できる言語学者により評価してもらってもよい。正しく
翻訳されている単語をそれらの翻訳同等物と対にし(ペ
アリング)、こうして形成された各対を二か国語辞書の
ベースとして用いてもよい。尚本方法は、発生の都度わ
ざと誤訳されている単語については、誤って翻訳された
ものと見なさない。
能性がある)翻訳である2つのテキスト原稿をメモリ2
内に記憶すること;両原稿中における各単語の分布及び
形態を比較すること;どの単語が正しく翻訳されている
見込みかを統計的処理によって求めること;及び一貫し
て翻訳されていると思われる単語のリストを編集するこ
とから成る。その後このリストを、翻訳中の誤りを訂正
できる言語学者により評価してもらってもよい。正しく
翻訳されている単語をそれらの翻訳同等物と対にし(ペ
アリング)、こうして形成された各対を二か国語辞書の
ベースとして用いてもよい。尚本方法は、発生の都度わ
ざと誤訳されている単語については、誤って翻訳された
ものと見なさない。
【0010】次に本方法の例を詳しく説明するが、説明
を容易とするため一例としてのみ、(各要素間の関係を
概略的に示した)図4中21、22、23、24及び2
5で表した一連の5つの要素に分けて説明する。図5、
6、7、8、9及び10は、各要素21、22、23、
24及び25にそれぞれ含まれるステップを詳しく示し
ており、また分かりやすくするため、本方法の一例中の
2つのステップが図4、7及び9において26と27で
表してある。
を容易とするため一例としてのみ、(各要素間の関係を
概略的に示した)図4中21、22、23、24及び2
5で表した一連の5つの要素に分けて説明する。図5、
6、7、8、9及び10は、各要素21、22、23、
24及び25にそれぞれ含まれるステップを詳しく示し
ており、また分かりやすくするため、本方法の一例中の
2つのステップが図4、7及び9において26と27で
表してある。
【0011】◆要素 1
図1及び2を参照すると、起点原稿60と目標原稿80
がメモリ2内に保持される。本方法の一例が翻訳中で起
こり得る誤りをサーチするのに使われる場合、2つの原
稿のうち一方は原文テキストのコピーとし、他方は翻訳
テキストのコピーとすべきである。以下の説明中、60
と69の間の参照番号は起点原稿60に関する特徴を表
し、80と89の間の参照番号は目標原稿80に関する
特徴を表している。
がメモリ2内に保持される。本方法の一例が翻訳中で起
こり得る誤りをサーチするのに使われる場合、2つの原
稿のうち一方は原文テキストのコピーとし、他方は翻訳
テキストのコピーとすべきである。以下の説明中、60
と69の間の参照番号は起点原稿60に関する特徴を表
し、80と89の間の参照番号は目標原稿80に関する
特徴を表している。
【0012】本方法の一例の第1段階では、各原稿中に
おける単語の位置を作表する。2つの原稿はそれぞれ、
各々が多数の単語62m−zと82a−nを含む番号付
けされたセグメント61a−nと81a−nに分割さ
れ、各セグメント61a−nは、翻訳が正しく行われた
場合実質上同一の意味を持つ対応する1つのセグメント
81a−nと対にされる。そのため、2つの原稿間で翻
訳が正しく行われていれば、一方の原稿の特定セグメン
ト内の単語が、他方の原稿の対応するセグメント内の単
語の1つの翻訳を表していることがよくある。例えば、
(英語で書かれた)1セグメントが“THE CAT IS BLAC
K”で、これに対応する(フランス語の)セグメントが
“LE CHAT EST NOIR”のとき、各対の単語:“THE”と
“LE”;“CAT”と“CHAT”;“IS”と“EST”;及び
“BLACK”と“NOIR”が、相互の翻訳を表す単語を含ん
だ対となる。
おける単語の位置を作表する。2つの原稿はそれぞれ、
各々が多数の単語62m−zと82a−nを含む番号付
けされたセグメント61a−nと81a−nに分割さ
れ、各セグメント61a−nは、翻訳が正しく行われた
場合実質上同一の意味を持つ対応する1つのセグメント
81a−nと対にされる。そのため、2つの原稿間で翻
訳が正しく行われていれば、一方の原稿の特定セグメン
ト内の単語が、他方の原稿の対応するセグメント内の単
語の1つの翻訳を表していることがよくある。例えば、
(英語で書かれた)1セグメントが“THE CAT IS BLAC
K”で、これに対応する(フランス語の)セグメントが
“LE CHAT EST NOIR”のとき、各対の単語:“THE”と
“LE”;“CAT”と“CHAT”;“IS”と“EST”;及び
“BLACK”と“NOIR”が、相互の翻訳を表す単語を含ん
だ対となる。
【0013】本方法を例示するため、実質上同一のテキ
ストを表した以下の表1と2に示したテキスト原稿を参
照する;表1の原稿は英語で書かれ、表2の原稿は表1
の原稿のチチェワ語への翻訳である。表1の原稿は起点
原稿を表し、表2の原稿は目標原稿を表す。これらの原
稿は両方とも、1から10まで番号の付されたセグメン
トに分けられ、翻訳が正確に行われた場合、対応するセ
グメント(1と1、2と2、等)がテキストの同じ部分
を表すようになっている。尚本方法の用途は、本方法の
一例が適用されるシステムで表示可能なようなアルファ
ベット文字で書かれた言語への使用に限られない:非標
準的な文字が他の記号あるいは記号の組合せで置き換え
られてもよい − 例えば、表2の原稿中第5のセグメン
トで使われている符号“=”は、その原稿において前の
文字に対する曲アクセントを表している。こうした記号
あるいは記号の組合せも、アルファベット文字であるか
のように扱われる。
ストを表した以下の表1と2に示したテキスト原稿を参
照する;表1の原稿は英語で書かれ、表2の原稿は表1
の原稿のチチェワ語への翻訳である。表1の原稿は起点
原稿を表し、表2の原稿は目標原稿を表す。これらの原
稿は両方とも、1から10まで番号の付されたセグメン
トに分けられ、翻訳が正確に行われた場合、対応するセ
グメント(1と1、2と2、等)がテキストの同じ部分
を表すようになっている。尚本方法の用途は、本方法の
一例が適用されるシステムで表示可能なようなアルファ
ベット文字で書かれた言語への使用に限られない:非標
準的な文字が他の記号あるいは記号の組合せで置き換え
られてもよい − 例えば、表2の原稿中第5のセグメン
トで使われている符号“=”は、その原稿において前の
文字に対する曲アクセントを表している。こうした記号
あるいは記号の組合せも、アルファベット文字であるか
のように扱われる。
【0014】
表 1
(1) This is the Good News about Jesus Christ, the Son of God.
(2) It began as the prophet Isaiah had written: "God said, 'I will
send my messenger ahead of you to clear the way for you.'
(3) Someone is shouting in the desert, 'Get the road ready for the
Lord; make a straight path for him to travel!'"
(4) So John appeared in the desert, baptizing and preching. "Turn away
from your sins and be baptized", he told the people, "and God will
forgive your sins."
(5) Many people from the province of Judaea and the city of Jerusalem
went out to hear Hohn. They confessed their sins, and he baptized
them in the River Jordan.
(6) John wore clothes made of camel's hair, with a leather belt round
his waist, and his food was locusts and wild honey.
(7) He announced to the people, "The man who will come after me is much
greater than I am not good enough even to bend down and untie his
sandals.
(8) I baptize you with water, but he will baptize you with the Holy
Spirit."
(9) Not long afterwards Jesus came from Nazareth in the province of
Galilee, and was baptized by John in the Jordan.
(10)As soon as Jesys came up out of the waterm he saw heaven opening
and the Spirit coming down on him like a dove.
表 2
(1) Uwu ndi Uthelga Wabwino wonena za Yesu Kristu, Mwana wa Mulungu.
(2) Unayamba monga mneneri Yesaya analemba m'buku mwake kuti, Mulungu
akuti, Siyi nthumwi yanga. Ndiituma m'tsogolo mwako kuti
ikakonzeretu za kufika kwako.
(3) Munthu akupfuula m'chiululu, alikunena kuti, Konzani msewu
woderzeramo Ambuye, ongolani njira zoti apitemo.
(4) Zimenezi zinachitikadi pamene Yohane Mbatizi anafika kuchipululu,
nayamba kulalika. Ankauza anthu kuti, Lapani, batizidwani, ndipo
Mulungu adzakhululukira machimo anu.
(5) Anthu a m'dera lonse la Yudea, ndi a ku Yerusalemu omwe,
analikubwera kwa iye. Ndipo iwo ataulula machimo awo, iye
anka=wabatiza mumtsinje wa Yordane.
(6) Yohaneyo, chobvala chake chinali chaubweya wa nyama yina yothedwa
ngamila. M7chiuno ankamangira lamba wachikopa, ndipo zakudya zake
zinali dzombe ndi uchi.
(7) Kulalika kwake ankati, Pambuyo panga pakubwera wina wamphamyu
kuposa ine. Ndine wosayenera ngakhale ku=werama ndi kumasula zingwe
za nsapato zake.
(8) Ine ndimakubatizani ndi madzi chabe, koma Iyeyo adzakubatizani ndi
Mzimu Woyera.
(9) Pamasiku amenewo Yesu anafika kuchokera ku nazarete, mudzi wa ku
Galilea, ndipo Yohane anambatiza mumtsinje wa Yordane.
(10) Pobvuuka m'madzimo, anangoona kuthambo kulikutsekuka, ndipo Mzimu W
oyera, wooneka ngati nkhunda, akutsika pa Iye.
本方法の動作全体を通じ、大文字と小文字は同等に扱わ
れる;すなわち、単語“Apple” は単語“apple” と全
く等しいものとして扱われる。各単語はスペースによっ
て区切られていると見なされるが、単語の最初のアルフ
ァベット文字の前あるいは単語の最後のアルファベット
文字の後に位置する非アルファベット文字(例えばカッ
コ)は無視される。従って、一節“TWENTY-FOUR (MEN'S
DOGS'COLLARS)”は、次の各単語からなるものとして扱
われる:“TWENTY-FOUR”、“MEN'S”、“DOGS”及び
“COLLARS”。
れる;すなわち、単語“Apple” は単語“apple” と全
く等しいものとして扱われる。各単語はスペースによっ
て区切られていると見なされるが、単語の最初のアルフ
ァベット文字の前あるいは単語の最後のアルファベット
文字の後に位置する非アルファベット文字(例えばカッ
コ)は無視される。従って、一節“TWENTY-FOUR (MEN'S
DOGS'COLLARS)”は、次の各単語からなるものとして扱
われる:“TWENTY-FOUR”、“MEN'S”、“DOGS”及び
“COLLARS”。
【0015】再び図2を参照すれば、起点単語リスト6
3、起点単語発生セット65及び起点単語頻度リスト6
8が、起点原稿60に関して編集される。起点単語リス
ト68は単語64a−nのリストであり、これらの単語
はすべて起点原稿60中におけるユニークな単語形態
で、異なる各単語は1回だけ含まれる。起点単語発生セ
ット65は、セグメント番号67aa−nnのリストで
ある起点単語発生リスト66a−nのセットで、各起点
単語発生リスト66a−nは単語64a−nの1つに対
応し、その単語64a−nが発生するセグメント61a
−nの番号のリストである。
3、起点単語発生セット65及び起点単語頻度リスト6
8が、起点原稿60に関して編集される。起点単語リス
ト68は単語64a−nのリストであり、これらの単語
はすべて起点原稿60中におけるユニークな単語形態
で、異なる各単語は1回だけ含まれる。起点単語発生セ
ット65は、セグメント番号67aa−nnのリストで
ある起点単語発生リスト66a−nのセットで、各起点
単語発生リスト66a−nは単語64a−nの1つに対
応し、その単語64a−nが発生するセグメント61a
−nの番号のリストである。
【0016】セグメント番号は、関連する単語64a−
nが同じ番号を有するセグメント61a−n中で1回よ
り多く発生しても、特定の起点単語発生リスト66a−
n内に1回だけ含まれる。起点単語頻度リスト68はレ
コード69a−nのリストであり、各レコード69a−
nは単語64a−nの1つに対応し、単語64a−nの
起点原稿60における発生が見つかった回数のレコード
である。
nが同じ番号を有するセグメント61a−n中で1回よ
り多く発生しても、特定の起点単語発生リスト66a−
n内に1回だけ含まれる。起点単語頻度リスト68はレ
コード69a−nのリストであり、各レコード69a−
nは単語64a−nの1つに対応し、単語64a−nの
起点原稿60における発生が見つかった回数のレコード
である。
【0017】起点単語リスト63、起点単語発生セット
65及び起点単語頻度リスト68は、各セグメント61
a−n内の各単語62m−zを順次取り出し、それを起
点単語リスト63内でサーチし;そこで見つからなけれ
ば、その単語を起点単語リスト63に付け加え;その単
語に対応するレコード69a−nをインクレメントし
(あるいはその単語がそれまでに見つかっていなければ
該当レコードを1に設定し)、またその単語が該当セグ
メント内でそれまでに見つかっていなければ、単語が見
つかったセグメント61a−nの番号をその単語に対応
する起点単語発生リスト66a−nに付け加えることに
よって編集できる。
65及び起点単語頻度リスト68は、各セグメント61
a−n内の各単語62m−zを順次取り出し、それを起
点単語リスト63内でサーチし;そこで見つからなけれ
ば、その単語を起点単語リスト63に付け加え;その単
語に対応するレコード69a−nをインクレメントし
(あるいはその単語がそれまでに見つかっていなければ
該当レコードを1に設定し)、またその単語が該当セグ
メント内でそれまでに見つかっていなければ、単語が見
つかったセグメント61a−nの番号をその単語に対応
する起点単語発生リスト66a−nに付け加えることに
よって編集できる。
【0018】前記2つの段落で説明した処理を例示する
ため、以下の表3に、起点単語リスト、起点単語頻度リ
スト及び起点単語発生セットのうち、表1の原稿につい
て編集される部分を示す。例えば、単語“SINS”は表1
の第4及び5セグメント中で発生しているので、単語
“SINS”に対応した起点単語発生リスト内にリストアッ
プされる。尚、単語“SINS”は第4セグメント中で2回
発生しているが、同セグメントにおけるその発生は、単
語“SINS”に対応した起点単語発生リスト内に1回だけ
レコードされる。
ため、以下の表3に、起点単語リスト、起点単語頻度リ
スト及び起点単語発生セットのうち、表1の原稿につい
て編集される部分を示す。例えば、単語“SINS”は表1
の第4及び5セグメント中で発生しているので、単語
“SINS”に対応した起点単語発生リスト内にリストアッ
プされる。尚、単語“SINS”は第4セグメント中で2回
発生しているが、同セグメントにおけるその発生は、単
語“SINS”に対応した起点単語発生リスト内に1回だけ
レコードされる。
【0019】
表 3
起点単語リスト 起点単語頻度リスト 起点単語発生セット
AWAY 1 4
FROM 3 4 5 9
YOUR 1 4
SINS 3 4 5
BE 1 4
BAPTIZED 3 4 5 9
HE 5 4 5 7 8 10
同じく再び図2を参照すれば、目標単語リスト83、目
標単語発生セット85及び目標単語頻度リスト88が、
目標原稿80に関して編集される。目標単語リスト83
は単語84a−nのリストであり、これらの単語はすべ
て目標原稿80中における別個な単語で、異なる各単語
は1回だけ含まれる。目標単語発生セット85は、セグ
メント番号87aa−nnのリストである目標単語発生
リスト86a−nのセットで、各目標単語発生リスト8
6a−nは単語84a−nの1つに対応し、その単語8
4a−nが発生するセグメント81a−nの番号のリス
トである。セグメント番号は、関連する単語84a−n
が同じ番号を有するセグメント81a−n中で1回より
多く発生しても、特定の目標単語発生リスト86a−n
内に1回だけ含まれる。目標単語頻度リスト88はレコ
ード89a−nのリストであり、各レコード89a−n
は単語84a−nの1つに対応し、単語84a−nの発
生が見つかった回数のレコードである。
標単語発生セット85及び目標単語頻度リスト88が、
目標原稿80に関して編集される。目標単語リスト83
は単語84a−nのリストであり、これらの単語はすべ
て目標原稿80中における別個な単語で、異なる各単語
は1回だけ含まれる。目標単語発生セット85は、セグ
メント番号87aa−nnのリストである目標単語発生
リスト86a−nのセットで、各目標単語発生リスト8
6a−nは単語84a−nの1つに対応し、その単語8
4a−nが発生するセグメント81a−nの番号のリス
トである。セグメント番号は、関連する単語84a−n
が同じ番号を有するセグメント81a−n中で1回より
多く発生しても、特定の目標単語発生リスト86a−n
内に1回だけ含まれる。目標単語頻度リスト88はレコ
ード89a−nのリストであり、各レコード89a−n
は単語84a−nの1つに対応し、単語84a−nの発
生が見つかった回数のレコードである。
【0020】目標単語リスト83、目標単語発生セット
85及び目標単語頻度リスト88は、各セグメント81
a−n内の各単語82m−zを順次取り出し、それを目
標単語リスト83内でサーチし;そこで見つからなけれ
ば、その単語を目標単語リスト83に付け加え;その単
語に対応するレコード89a−nをインクレメントし
(あるいはその単語がそれまでに見つかっていなければ
該当レコードを1に設定し)、またその単語が該当セグ
メント内でそれまでに見つかっていなければ、単語が見
つかったセグメント81a−nの番号をその単語に対応
する目標単語発生リスト86a−nに付け加えることに
よって編集できる。
85及び目標単語頻度リスト88は、各セグメント81
a−n内の各単語82m−zを順次取り出し、それを目
標単語リスト83内でサーチし;そこで見つからなけれ
ば、その単語を目標単語リスト83に付け加え;その単
語に対応するレコード89a−nをインクレメントし
(あるいはその単語がそれまでに見つかっていなければ
該当レコードを1に設定し)、またその単語が該当セグ
メント内でそれまでに見つかっていなければ、単語が見
つかったセグメント81a−nの番号をその単語に対応
する目標単語発生リスト86a−nに付け加えることに
よって編集できる。
【0021】目標単語リスト、目標単語頻度リスト及び
(目標単語発生リストを含む)目標単語発生セットのう
ち、表2の原稿について編集される部分を、以下の表4
に示す。
(目標単語発生リストを含む)目標単語発生セットのう
ち、表2の原稿について編集される部分を、以下の表4
に示す。
【0022】
表 4
目標単語リスト 目標単語頻度リスト 目標単語発生セット
ANKAUZA 1 4
ANTHU 2 4 5
LAPANI 1 4
BATIZIDWANI 1 4
NDIPO 5 4 5 6 9 10
以上説明したように作表された情報を用いて、目標原稿
内の単語と実質上同一の意味を有すると思われる起点原
稿内の単語の指示を得るための以下3つの処理要素は、
図4に示すように反復して実行される。
内の単語と実質上同一の意味を有すると思われる起点原
稿内の単語の指示を得るための以下3つの処理要素は、
図4に示すように反復して実行される。
【0023】◆要素 2
特に“合致”すると思われる、すなわち発生する文脈で
実質上同一の意味を有すると思われる、一方は起点原稿
60から他方は目標原稿80からの一対の単語を突き止
めるため、起点及び目標両原稿60と80について解析
を行う。
実質上同一の意味を有すると思われる、一方は起点原稿
60から他方は目標原稿80からの一対の単語を突き止
めるため、起点及び目標両原稿60と80について解析
を行う。
【0024】各単語64a−nが順次取り出され、その
単語64a−nに対応した目標単語発生リスト67aa
−nnに含まれるセグメント内で生じた各単語84a−
nと順次対にされる。例えば、xで示す起点原稿からの
単語とyで示す目標原稿からの単語など各ペラリング毎
に、以下の各値が求められる: m(x,y) −単語xと単語yが起点及び目標両原稿60と
80内の対応するセグメント61a−nと81a−n中
で生じている回数(これは、各単語に対応したセグメン
ト番号のリスト66a−nと86a−nとの比較によっ
て求められる); Sx −起点原稿60内における単語xのまだ合致し
ていない発生回数(これはその単語に対応したレコード
69a−nに記憶される);及び Ty −目標原稿80内における単語yのまだ合致し
ていない発生回数(これはその単語に対応したレコード
89a−nに記憶される); そして、両単語xとyが合致する尤度(確率)の仮表示
であるp1(H)(x,y) が、図11に示す式を用いて計算さ
れる。
単語64a−nに対応した目標単語発生リスト67aa
−nnに含まれるセグメント内で生じた各単語84a−
nと順次対にされる。例えば、xで示す起点原稿からの
単語とyで示す目標原稿からの単語など各ペラリング毎
に、以下の各値が求められる: m(x,y) −単語xと単語yが起点及び目標両原稿60と
80内の対応するセグメント61a−nと81a−n中
で生じている回数(これは、各単語に対応したセグメン
ト番号のリスト66a−nと86a−nとの比較によっ
て求められる); Sx −起点原稿60内における単語xのまだ合致し
ていない発生回数(これはその単語に対応したレコード
69a−nに記憶される);及び Ty −目標原稿80内における単語yのまだ合致し
ていない発生回数(これはその単語に対応したレコード
89a−nに記憶される); そして、両単語xとyが合致する尤度(確率)の仮表示
であるp1(H)(x,y) が、図11に示す式を用いて計算さ
れる。
【0025】この式の形は、一般に、両単語xとyが合
致する尤度の指示をp1(H)(x,y) の値が与えるように選
ばれている;つまりp1(H)(x,y) は一般に、両単語xと
yが合致する見込みが高いほど大きくなる。この式を用
いて計算されるp1(H)(x,y)の値は、両単語xとyが相
互に同じセグメントでより頻繁に生じるように原稿全体
を通じて分布されていれば;あるいは、両単語xとyが
相互に同じセグメントで生じる回数が合計の発生回数と
比べてより高ければ、増加する傾向にあるが;それぞれ
の原稿中で両単語xとyが生じる合計の回数差が大きい
ほど、減少する傾向にある。
致する尤度の指示をp1(H)(x,y) の値が与えるように選
ばれている;つまりp1(H)(x,y) は一般に、両単語xと
yが合致する見込みが高いほど大きくなる。この式を用
いて計算されるp1(H)(x,y)の値は、両単語xとyが相
互に同じセグメントでより頻繁に生じるように原稿全体
を通じて分布されていれば;あるいは、両単語xとyが
相互に同じセグメントで生じる回数が合計の発生回数と
比べてより高ければ、増加する傾向にあるが;それぞれ
の原稿中で両単語xとyが生じる合計の回数差が大きい
ほど、減少する傾向にある。
【0026】前述したように、一対の単語について計算
されたp1(H)(x,y) の値は両単語が合致する尤度を指示
しているので、起点原稿中の特定の単語と合致する見込
みの最も高い目標原稿中の単語は、起点原稿中からの単
語と対にされたとき最も大きい値のp1(H)(x,y) を与え
た目標原稿中の単語と見なされる。
されたp1(H)(x,y) の値は両単語が合致する尤度を指示
しているので、起点原稿中の特定の単語と合致する見込
みの最も高い目標原稿中の単語は、起点原稿中からの単
語と対にされたとき最も大きい値のp1(H)(x,y) を与え
た目標原稿中の単語と見なされる。
【0027】例えば、表1及び2の原稿を参照し且つ上
記した表示法を用いれば、(起点原稿からの)単語xが
“IN”(表1中第3、4、5及び9セグメントで発生)
で、(目標原稿からの)単語yが“KUTI”(表2中第
2、3及び4セグメントで発生)とすると、両単語xと
yが対応するセグメントで生じる回数(m(x,y)) は2
となり(なぜなら“IN”と“KUTI”は共に第3及び4セ
グメントで生じている);単語xが表1の原稿中で生じ
る回数(Sx) は4となり、単語yが表2の原稿中で生
じる回数(Ty) は3となる。従ってこの単語対につい
て、図11に示した式を用いれば、p1(H)(x,y)= 0.94
3 となる。表1の原稿からの単語“IN”と表2の原稿か
らの他の単語との対について求めたp1(H)(x,y) の最大
値を、以下の表5に示す。p1(H)(x,y) の最高値:1.27
3 は、単語yが“NDIPO” の場合に該当し、p1(H)(x,
y) の次に高い値:1.155 は、単語yが例えば“ANAFIK
A” の場合に該当する。これから“NDIPO” が、単語
“IN”と合致する表2の原稿中で最も見込みの高い単語
と考えられる。
記した表示法を用いれば、(起点原稿からの)単語xが
“IN”(表1中第3、4、5及び9セグメントで発生)
で、(目標原稿からの)単語yが“KUTI”(表2中第
2、3及び4セグメントで発生)とすると、両単語xと
yが対応するセグメントで生じる回数(m(x,y)) は2
となり(なぜなら“IN”と“KUTI”は共に第3及び4セ
グメントで生じている);単語xが表1の原稿中で生じ
る回数(Sx) は4となり、単語yが表2の原稿中で生
じる回数(Ty) は3となる。従ってこの単語対につい
て、図11に示した式を用いれば、p1(H)(x,y)= 0.94
3 となる。表1の原稿からの単語“IN”と表2の原稿か
らの他の単語との対について求めたp1(H)(x,y) の最大
値を、以下の表5に示す。p1(H)(x,y) の最高値:1.27
3 は、単語yが“NDIPO” の場合に該当し、p1(H)(x,
y) の次に高い値:1.155 は、単語yが例えば“ANAFIK
A” の場合に該当する。これから“NDIPO” が、単語
“IN”と合致する表2の原稿中で最も見込みの高い単語
と考えられる。
【0028】
表 5
y m(X,Y) Sx Ty p1(H)(x,y)
NDIPO 3 4 5 1.273
ANAFIKA 2 4 2 1.155
ANTHU 2 4 2 1.155
KU 2 4 2 1.155
MACHIMO 2 4 2 1.155
MUMTSINJE 2 4 2 1.155
YOHANE 2 4 2 1.155
YORDANE 2 4 2 1.155
WA 2 4 4 1.000
KUTI 2 4 3 0.943
各単語64a−n毎に、その単語を含むペアリングにつ
いて求められたp1(H)(x,y) の最高値と次に高い値は、
それらの値が計算されたペアリングに含まれていた目標
原稿中の単語のレコードと一緒に記憶される。起点原稿
60からの特定単語xに関して、これらの単語はそれぞ
れy1'及びy1"と表され、またp1(H)(x,y) の最高値と
次に高い値はそれぞれp1(H)(x,y1') 及びp1(H)(x,y
1") と表される。そして単語y1'が、目標単語リスト内
にある中で単語xと最も合致する見込みのある単語と見
なされる。
いて求められたp1(H)(x,y) の最高値と次に高い値は、
それらの値が計算されたペアリングに含まれていた目標
原稿中の単語のレコードと一緒に記憶される。起点原稿
60からの特定単語xに関して、これらの単語はそれぞ
れy1'及びy1"と表され、またp1(H)(x,y) の最高値と
次に高い値はそれぞれp1(H)(x,y1') 及びp1(H)(x,y
1") と表される。そして単語y1'が、目標単語リスト内
にある中で単語xと最も合致する見込みのある単語と見
なされる。
【0029】起点原稿からの単語と目標原稿からの単語
とのどのペアリングが合致を表す全てのペアリング中で
最も見込みが高いかを判定するため、最高値のp1(H)
(x,y)が計算されたペアリングを選ぶことができる。こ
れは、単語xとそれに対応する単語y1'とのペアリング
について計算されたp1(H)(x,y1') の値となる。しかし
ながら、同じ単語xとそれに対応する単語y1"とのペア
リングについて計算されたp1(H)(x,y1") の値がp1(H)
(x,y1') の値に近い場合、単語xが単語y1"または単語
y1"どちらと合致するのか(もしくはことによると両方
と合致するのか)はっきりしない。最も合致する見込み
のある対は、特定の単語xについてp1(H)(x,y1') とp
1(H)(x,y1") の相対差が最も大きくなる対である、と考
えるのが好ましいことが見いだされている。そこで各単
語64a−n毎に、その単語が最も合致を表す見込みの
ある対のメンバーである尤度の修正表示 r1(H)(x,y1')
が、図12に示した式を用いて計算される。この式の形
では、単語xとそれに対応する単語y1'が合致する見込
みが高いほど、r1(H)(x,y1') は一般に大きくなる。
とのどのペアリングが合致を表す全てのペアリング中で
最も見込みが高いかを判定するため、最高値のp1(H)
(x,y)が計算されたペアリングを選ぶことができる。こ
れは、単語xとそれに対応する単語y1'とのペアリング
について計算されたp1(H)(x,y1') の値となる。しかし
ながら、同じ単語xとそれに対応する単語y1"とのペア
リングについて計算されたp1(H)(x,y1") の値がp1(H)
(x,y1') の値に近い場合、単語xが単語y1"または単語
y1"どちらと合致するのか(もしくはことによると両方
と合致するのか)はっきりしない。最も合致する見込み
のある対は、特定の単語xについてp1(H)(x,y1') とp
1(H)(x,y1") の相対差が最も大きくなる対である、と考
えるのが好ましいことが見いだされている。そこで各単
語64a−n毎に、その単語が最も合致を表す見込みの
ある対のメンバーである尤度の修正表示 r1(H)(x,y1')
が、図12に示した式を用いて計算される。この式の形
では、単語xとそれに対応する単語y1'が合致する見込
みが高いほど、r1(H)(x,y1') は一般に大きくなる。
【0030】各単語64a−n毎にr1(H)(x,y1') を計
算した後、これらの単語のうちどれについて最高値のr
1(H)(x,y1') が計算されたかを判定し、この単語をx*
と表す。
算した後、これらの単語のうちどれについて最高値のr
1(H)(x,y1') が計算されたかを判定し、この単語をx*
と表す。
【0031】r1(H)(x,y1') の最高値が一定の値k1
(1かそれより大きくなければならない)以下だと、単
語x* と合致する単語をもはや決定できないと見なされ
る。そのため、処理は後述する要素5に移される。
(1かそれより大きくなければならない)以下だと、単
語x* と合致する単語をもはや決定できないと見なされ
る。そのため、処理は後述する要素5に移される。
【0032】一定値より大きければ、単語x* とペアリ
ングされてp1(H)(x,y) の最高値を与える単語y1'が単
語x* に合致すると見なされ、一時的な合致記憶装置5
0に記憶される。単語y1'が単語x* に合致すると見な
されたので、目標原稿中における単語y1'の発生が起点
原稿中における単語x* の発生に対応するような、すな
わち単語x* と単語y1'に対応したセグメント番号のリ
スト67aa−nn及び87aa−nnが共に特定のセ
グメント番号を含んでいるような合致を見いだすための
処理に、単語y1'をもはや含める必要はない。そこで、
起点原稿60と目標原稿80中でそのような対応が発生
する位置について、相互に対応している単語x* とy1'
が起点単語発生セット65及び目標単語発生セット85
から削除され、これに従って起点単語リスト63、目標
単語リスト83、起点単語頻度リスト68及び目標単語
頻度リスト88が次のように更新される: −単語x* に対応するレコード69a−nに記憶された
値が、削除される各単語x* 毎に1づつデクレメントさ
れる; −特定のセグメント61a−nにおける単語x* の各発
生が目標原稿からのある1つの単語に対応すると見いだ
されたら、そのセグメントの番号が単語x* に対応した
起点単語発生リスト66a−nから削除される; −単語x* に対応するレコード69a−nに記憶された
値がゼロになれば、単語x* が起点単語リスト63から
削除される; −単語y1'に対応するレコード89a−nに記憶された
値が、削除される各単語y1'毎に1づつデクレメントさ
れる; −特定のセグメント81a−nにおける単語y1'の各発
生が目標原稿からのある1つの単語に対応すると見いだ
されたら、そのセグメントの番号が単語y1'に対応した
目標単語発生リスト86a−nから削除される;そして −単語y1'に対応するレコード89a−nに記憶された
値がゼロになれば、単語y1'が目標単語リスト83から
削除される。
ングされてp1(H)(x,y) の最高値を与える単語y1'が単
語x* に合致すると見なされ、一時的な合致記憶装置5
0に記憶される。単語y1'が単語x* に合致すると見な
されたので、目標原稿中における単語y1'の発生が起点
原稿中における単語x* の発生に対応するような、すな
わち単語x* と単語y1'に対応したセグメント番号のリ
スト67aa−nn及び87aa−nnが共に特定のセ
グメント番号を含んでいるような合致を見いだすための
処理に、単語y1'をもはや含める必要はない。そこで、
起点原稿60と目標原稿80中でそのような対応が発生
する位置について、相互に対応している単語x* とy1'
が起点単語発生セット65及び目標単語発生セット85
から削除され、これに従って起点単語リスト63、目標
単語リスト83、起点単語頻度リスト68及び目標単語
頻度リスト88が次のように更新される: −単語x* に対応するレコード69a−nに記憶された
値が、削除される各単語x* 毎に1づつデクレメントさ
れる; −特定のセグメント61a−nにおける単語x* の各発
生が目標原稿からのある1つの単語に対応すると見いだ
されたら、そのセグメントの番号が単語x* に対応した
起点単語発生リスト66a−nから削除される; −単語x* に対応するレコード69a−nに記憶された
値がゼロになれば、単語x* が起点単語リスト63から
削除される; −単語y1'に対応するレコード89a−nに記憶された
値が、削除される各単語y1'毎に1づつデクレメントさ
れる; −特定のセグメント81a−nにおける単語y1'の各発
生が目標原稿からのある1つの単語に対応すると見いだ
されたら、そのセグメントの番号が単語y1'に対応した
目標単語発生リスト86a−nから削除される;そして −単語y1'に対応するレコード89a−nに記憶された
値がゼロになれば、単語y1'が目標単語リスト83から
削除される。
【0033】図3に示した結果テーブル90も、新たに
突き止められた合致を考慮し、データ行をテーブルへ付
け加えることによって更新され、各行は次の列を含む: −単語x* とy1'の現ペアリングに割り当てられたシリ
アル番号(列91に記憶される); −単語x* (列92に記憶される); −単語y1'(列93に記憶される); −単語y1'に当てはまると現在時点で見なされる分解
(すなわち接頭語、語幹及び接尾語への分割)(列94
に記憶される) (以下説明する要素4がまだ処理されていなければ、単
語y1'は接頭語または接尾語を持たないと見なされ
る); −単語x* の発生が単語y1'と合致すると見いだされた
起点原稿中のセグメントのリスト(列95に記憶され
る); −単語y1'の発生が単語x* と合致すると見いだされた
目標原稿中のセグメントのリスト(列96に記憶され
る); −単語x* とy1'の合致対の総数(列97に記憶され
る);及び −現在行の列94に記憶された分解が更新されたかどう
かを示すフラグレコード、現在時点では更新されなかっ
たと示すように設定されている(列98に記憶され
る)。
突き止められた合致を考慮し、データ行をテーブルへ付
け加えることによって更新され、各行は次の列を含む: −単語x* とy1'の現ペアリングに割り当てられたシリ
アル番号(列91に記憶される); −単語x* (列92に記憶される); −単語y1'(列93に記憶される); −単語y1'に当てはまると現在時点で見なされる分解
(すなわち接頭語、語幹及び接尾語への分割)(列94
に記憶される) (以下説明する要素4がまだ処理されていなければ、単
語y1'は接頭語または接尾語を持たないと見なされ
る); −単語x* の発生が単語y1'と合致すると見いだされた
起点原稿中のセグメントのリスト(列95に記憶され
る); −単語y1'の発生が単語x* と合致すると見いだされた
目標原稿中のセグメントのリスト(列96に記憶され
る); −単語x* とy1'の合致対の総数(列97に記憶され
る);及び −現在行の列94に記憶された分解が更新されたかどう
かを示すフラグレコード、現在時点では更新されなかっ
たと示すように設定されている(列98に記憶され
る)。
【0034】その後、単語x* と合致する他の単語を突
き止めるため、処理は要素3に移される。
き止めるため、処理は要素3に移される。
【0035】◆要素 3
単語x* と合致する他の単語を突き止めるため、一般
に、2つの単語に共通な連続する文字のグループが長い
ほど、これら2つの単語が相互に“関連”しており、従
って翻訳されたとき、それら2つの単語が同じ単語によ
って表される見込みが高いという仮説を用いる。例え
ば、関連した単語“REMOULD”、“MOULDED”及び“MOUL
DS”には5つの連続する文字のグループが共通してお
り、しかもこれらの単語は“関連”しているので、それ
らを翻訳したとき、翻訳中の同じ単語がそれらの各単語
を表していることがあり得る。同様に、表1の原稿中に
おける単語“John”は、表2の原稿中、第4セグメント
で現れるときは“YOHANE”としてまた第6セグメントで
現れるときは“YOHANEYO”として(正しく)翻訳されて
おり、6つの連続する文字のグループが“YOHANE”と
“YOHANEYO”に共通している。2つの単語に共通するも
のとして突き止められた連続する文字のグループは語幹
と見なされ、単語内における語幹の前または後の文字グ
ループはそれぞれ接頭語または接尾語と見なされる。
に、2つの単語に共通な連続する文字のグループが長い
ほど、これら2つの単語が相互に“関連”しており、従
って翻訳されたとき、それら2つの単語が同じ単語によ
って表される見込みが高いという仮説を用いる。例え
ば、関連した単語“REMOULD”、“MOULDED”及び“MOUL
DS”には5つの連続する文字のグループが共通してお
り、しかもこれらの単語は“関連”しているので、それ
らを翻訳したとき、翻訳中の同じ単語がそれらの各単語
を表していることがあり得る。同様に、表1の原稿中に
おける単語“John”は、表2の原稿中、第4セグメント
で現れるときは“YOHANE”としてまた第6セグメントで
現れるときは“YOHANEYO”として(正しく)翻訳されて
おり、6つの連続する文字のグループが“YOHANE”と
“YOHANEYO”に共通している。2つの単語に共通するも
のとして突き止められた連続する文字のグループは語幹
と見なされ、単語内における語幹の前または後の文字グ
ループはそれぞれ接頭語または接尾語と見なされる。
【0036】図2を再び参照すると、先に単語x* と合
致する見込みが最も高いと識別され、一時的な合致記憶
装置50に記憶された単語y1'の語幹を表す可能性のあ
る各組の文字が順次取り出され、その語幹を含んでいる
残りの各単語84a−nの目標単語発生リスト86a−
n中のセグメント番号87a−nが一時的な語幹発生記
憶装置51に集められる。qで表されるこのような各語
幹毎に、下記の値が求められる: m(x*,q) − 単語x* とqを含む残りの単語84a−n
が起点及び目標両原稿60と80内の対応するセグメン
ト61a−nと81a−n中で生じている回数(これ
は、単語x* に対応したセグメント番号のリスト66a
−nと一時的な語幹発生記憶装置51の内容との比較に
よって求められる); Sx − 起点原稿60内における単語x* のまだ合
致していない発生回数(これは単語x* に対応したレコ
ード69a−nに記憶される); Tq − 目標原稿80内の語幹qを含んだ単語84
a−nyのまだ合致していない合計の発生回数; L − 語幹qの長さ そして、単語x* と語幹qを含む単語84a−nとが合
致する尤度の表示であるp2(H)(x*,q)が、図13に示す
式を用いて計算される。
致する見込みが最も高いと識別され、一時的な合致記憶
装置50に記憶された単語y1'の語幹を表す可能性のあ
る各組の文字が順次取り出され、その語幹を含んでいる
残りの各単語84a−nの目標単語発生リスト86a−
n中のセグメント番号87a−nが一時的な語幹発生記
憶装置51に集められる。qで表されるこのような各語
幹毎に、下記の値が求められる: m(x*,q) − 単語x* とqを含む残りの単語84a−n
が起点及び目標両原稿60と80内の対応するセグメン
ト61a−nと81a−n中で生じている回数(これ
は、単語x* に対応したセグメント番号のリスト66a
−nと一時的な語幹発生記憶装置51の内容との比較に
よって求められる); Sx − 起点原稿60内における単語x* のまだ合
致していない発生回数(これは単語x* に対応したレコ
ード69a−nに記憶される); Tq − 目標原稿80内の語幹qを含んだ単語84
a−nyのまだ合致していない合計の発生回数; L − 語幹qの長さ そして、単語x* と語幹qを含む単語84a−nとが合
致する尤度の表示であるp2(H)(x*,q)が、図13に示す
式を用いて計算される。
【0037】この式の形は、一般に、単語x* と語幹q
を含む単語84a−nとが合致する尤度の指示をp2(H)
(x*,q)の値が与えるように選ばれている;つまりp2(H)
(x*,q)は一般に、単語x* と語幹qを含む単語84a−
nとが合致する見込みが高いほど大きくなる。この式を
用いて計算されるp2(H)(x*,q)の値は、単語x* と語幹
qを含む単語84a−nが相互に同じセグメントでより
頻繁に生じるように原稿全体を通じて分布されていれ
ば;あるいは、単語x* と語幹qを含む単語84a−n
とが相互に同じセグメントで生じる回数が合計の発生回
数と比べてより高ければ;あるいは語幹qがより長いほ
ど、増加する傾向にあるが;単語x* と語幹qを含む単
語84a−ntとがそれぞれの原稿中で生じる合計の回
数差が大きいほど、減少する傾向にある。
を含む単語84a−nとが合致する尤度の指示をp2(H)
(x*,q)の値が与えるように選ばれている;つまりp2(H)
(x*,q)は一般に、単語x* と語幹qを含む単語84a−
nとが合致する見込みが高いほど大きくなる。この式を
用いて計算されるp2(H)(x*,q)の値は、単語x* と語幹
qを含む単語84a−nが相互に同じセグメントでより
頻繁に生じるように原稿全体を通じて分布されていれ
ば;あるいは、単語x* と語幹qを含む単語84a−n
とが相互に同じセグメントで生じる回数が合計の発生回
数と比べてより高ければ;あるいは語幹qがより長いほ
ど、増加する傾向にあるが;単語x* と語幹qを含む単
語84a−ntとがそれぞれの原稿中で生じる合計の回
数差が大きいほど、減少する傾向にある。
【0038】有り得る語幹q毎に計算されたp2(H)(x*,
q)の最高値と次に高い値は、それらの値が計算された語
幹qのレコードと一緒に記憶される。これらの語幹はそ
れぞれq’及びq”と表され、またp2(H)(x*,q)の最高
値と次に高い値はそれぞれp2(H)(x*,q') 及びp2(H)(x
*,q") と表される。そして語幹q’を含む単語が、単語
y1'と共通な語幹を有する目標単語リスト内にある残り
の単語のうち、単語x* と最も合致する見込みがあると
見なされる。
q)の最高値と次に高い値は、それらの値が計算された語
幹qのレコードと一緒に記憶される。これらの語幹はそ
れぞれq’及びq”と表され、またp2(H)(x*,q)の最高
値と次に高い値はそれぞれp2(H)(x*,q') 及びp2(H)(x
*,q") と表される。そして語幹q’を含む単語が、単語
y1'と共通な語幹を有する目標単語リスト内にある残り
の単語のうち、単語x* と最も合致する見込みがあると
見なされる。
【0039】p2(H)(x*,q') の値がp2(H)(x*,q") の値
と同じであれば、単語x* と一致する他の単語は現時点
において、要素3の処理によって決定できないと見なさ
れる。従って、単語x* と合致するさらに他の単語を突
き止めるため、処理は以下の要素4に移される。
と同じであれば、単語x* と一致する他の単語は現時点
において、要素3の処理によって決定できないと見なさ
れる。従って、単語x* と合致するさらに他の単語を突
き止めるため、処理は以下の要素4に移される。
【0040】同じ値でなければ、単語x* とペアリング
されてp2(H)(x*,q') の最高値を与える、語幹q’を含
んだ単語84a−nが単語x* に合致すると見なされ、
そのため、目標原稿中におけるそれらの単語の発生が起
点原稿中における単語x* の発生に対応するような、す
なわち単語x* と語幹q’を含んだ単語84a−nとに
対応したセグメント番号のリスト67aa−nn及び8
7aa−nnがそれぞれ共に特定のセグメント番号を含
んでいるような合致を見いだすための処理に、それらの
単語をもはや含める必要はない。そこで、起点原稿60
と目標原稿80中でそのような対応が発生する位置につ
いて、相互に対応している単語x* と語幹q’を含んだ
単語84a−nとが起点単語発生セット65及び目標単
語発生セット85から削除され、これに従って起点単語
リスト63、目標単語リスト83、起点単語頻度リスト
68及び目標単語頻度リスト88が次のように更新され
る: −単語x* に対応するレコード69a−nに記憶された
値が、削除される各単語x* 毎に1づつデクレメントさ
れる; −特定のセグメント61a−nにおける単語x* の各発
生が目標原稿からのある1つの単語に対応すると見いだ
されたら、そのセグメントの番号が単語x* に対応した
起点単語発生リスト66a−nから削除される; −単語x* に対応するレコード69a−nに記憶された
値がゼロになれば、単語x* が起点単語リスト63から
削除される; −削除される各単語84a−nに対応するレコード89
a−nに記憶された値が、削除される各単語84a−n
毎に1づつデクレメントされる; −削除される単語84a−nの特定のセグメント81a
−nにおける各発生が目標原稿からのある1つの単語に
対応すると見いだされたら、そのセグメントの番号がそ
の単語86a−nに対応した目標単語発生リスト86a
−nから削除される;そして −削除される単語84a−nに対応するレコード89a
−nに記憶された値がゼロになれば、その単語が目標単
語リスト83から削除される。
されてp2(H)(x*,q') の最高値を与える、語幹q’を含
んだ単語84a−nが単語x* に合致すると見なされ、
そのため、目標原稿中におけるそれらの単語の発生が起
点原稿中における単語x* の発生に対応するような、す
なわち単語x* と語幹q’を含んだ単語84a−nとに
対応したセグメント番号のリスト67aa−nn及び8
7aa−nnがそれぞれ共に特定のセグメント番号を含
んでいるような合致を見いだすための処理に、それらの
単語をもはや含める必要はない。そこで、起点原稿60
と目標原稿80中でそのような対応が発生する位置につ
いて、相互に対応している単語x* と語幹q’を含んだ
単語84a−nとが起点単語発生セット65及び目標単
語発生セット85から削除され、これに従って起点単語
リスト63、目標単語リスト83、起点単語頻度リスト
68及び目標単語頻度リスト88が次のように更新され
る: −単語x* に対応するレコード69a−nに記憶された
値が、削除される各単語x* 毎に1づつデクレメントさ
れる; −特定のセグメント61a−nにおける単語x* の各発
生が目標原稿からのある1つの単語に対応すると見いだ
されたら、そのセグメントの番号が単語x* に対応した
起点単語発生リスト66a−nから削除される; −単語x* に対応するレコード69a−nに記憶された
値がゼロになれば、単語x* が起点単語リスト63から
削除される; −削除される各単語84a−nに対応するレコード89
a−nに記憶された値が、削除される各単語84a−n
毎に1づつデクレメントされる; −削除される単語84a−nの特定のセグメント81a
−nにおける各発生が目標原稿からのある1つの単語に
対応すると見いだされたら、そのセグメントの番号がそ
の単語86a−nに対応した目標単語発生リスト86a
−nから削除される;そして −削除される単語84a−nに対応するレコード89a
−nに記憶された値がゼロになれば、その単語が目標単
語リスト83から削除される。
【0041】削除された単語84a−nの語幹qの前ま
たは後に何等かの文字が生じていたら、図2に示す形態
素テーブル70が修正される。形態素テーブル70は:
接頭語72a−nのリストである接頭語リスト71;各
接頭語72a−nの発生が見いだされた回数74a−n
のリストである接頭語頻度リスト73;接尾語76a−
nのリストである接尾語リスト75;及び各接尾語76
a−nの発生が見いだされた回数78a−nのリストで
ある接尾語頻度リスト73から成る。削除される単語8
4a−nの語幹qの前に何等かの文字が生じていれば、
それらは接頭語を表すものと見なされ、yp で表され
る;接頭語yp について接頭語リスト71のサーチを行
い、そのリスト中に見つからなかったら、接頭語yp が
接頭語リスト71に付け加えられ、さらにその接頭語の
発生が見いだされた回数のレコードが、接頭語yp に対
応したレコード74a−nを1だけインクレメントする
ことによって(あるいはそれまでに接頭語yp が見いだ
されていなければ、そのレコードを1に設定することに
よって)修正される。削除される単語84a−nの語幹
qの後に何等かの文字が生じていたら、それらは接尾語
を表すものと見なされ、ys で表される;接尾語ys に
ついて接尾語リスト75のサーチを行い、そのリスト中
に見つからなかったら、接尾語ys が接尾語リスト75
に付け加えられ、さらにその接尾語の発生が見いだされ
た回数のレコードが、接尾語ys に対応したレコード7
6a−nを1だけインクレメントすることによって(あ
るいはそれまでに接尾語ys が見いだされていなけれ
ば、そのレコードを1に設定することによって)修正さ
れる。図3に示した結果テーブル90も、新たに突き止
められた合致を考慮し、削除される単語84a−n毎に
そのテーブルへデータ行を付け加えることによって更新
され、各行は次の列を含む: −単語x* と削除される単語84a−nのペアリングに
割り当てられたシリアル番号(列91に記憶される); −単語x* (列92に記憶される); −削除される単語84a−n(列93に記憶される); −削除される単語84a−nに当てはまると現在時点で
見なされる分解(すなわち接頭語、語幹及び接尾語への
分割)(列94に記憶される)(前述したように、単語
は接頭語yp 、接尾語ys 及び語幹qに分割されるもの
と見なされる); −単語x* の発生が削除される単語84a−nと合致す
ると見いだされた起点原稿中のセグメントのリスト(列
95に記憶される); −削除される単語84a−nの発生が単語x* と合致す
ると見いだされた目標原稿中のセグメントのリスト(列
96に記憶される); −単語x* と削除される単語84a−nの合致対の総数
(列97に記憶される);及び −現在行の列94に記憶された分解が更新されたかどう
かを示すフラグレコード、現在時点では更新されなかっ
たと示すように設定されている(列98に記憶され
る)。
たは後に何等かの文字が生じていたら、図2に示す形態
素テーブル70が修正される。形態素テーブル70は:
接頭語72a−nのリストである接頭語リスト71;各
接頭語72a−nの発生が見いだされた回数74a−n
のリストである接頭語頻度リスト73;接尾語76a−
nのリストである接尾語リスト75;及び各接尾語76
a−nの発生が見いだされた回数78a−nのリストで
ある接尾語頻度リスト73から成る。削除される単語8
4a−nの語幹qの前に何等かの文字が生じていれば、
それらは接頭語を表すものと見なされ、yp で表され
る;接頭語yp について接頭語リスト71のサーチを行
い、そのリスト中に見つからなかったら、接頭語yp が
接頭語リスト71に付け加えられ、さらにその接頭語の
発生が見いだされた回数のレコードが、接頭語yp に対
応したレコード74a−nを1だけインクレメントする
ことによって(あるいはそれまでに接頭語yp が見いだ
されていなければ、そのレコードを1に設定することに
よって)修正される。削除される単語84a−nの語幹
qの後に何等かの文字が生じていたら、それらは接尾語
を表すものと見なされ、ys で表される;接尾語ys に
ついて接尾語リスト75のサーチを行い、そのリスト中
に見つからなかったら、接尾語ys が接尾語リスト75
に付け加えられ、さらにその接尾語の発生が見いだされ
た回数のレコードが、接尾語ys に対応したレコード7
6a−nを1だけインクレメントすることによって(あ
るいはそれまでに接尾語ys が見いだされていなけれ
ば、そのレコードを1に設定することによって)修正さ
れる。図3に示した結果テーブル90も、新たに突き止
められた合致を考慮し、削除される単語84a−n毎に
そのテーブルへデータ行を付け加えることによって更新
され、各行は次の列を含む: −単語x* と削除される単語84a−nのペアリングに
割り当てられたシリアル番号(列91に記憶される); −単語x* (列92に記憶される); −削除される単語84a−n(列93に記憶される); −削除される単語84a−nに当てはまると現在時点で
見なされる分解(すなわち接頭語、語幹及び接尾語への
分割)(列94に記憶される)(前述したように、単語
は接頭語yp 、接尾語ys 及び語幹qに分割されるもの
と見なされる); −単語x* の発生が削除される単語84a−nと合致す
ると見いだされた起点原稿中のセグメントのリスト(列
95に記憶される); −削除される単語84a−nの発生が単語x* と合致す
ると見いだされた目標原稿中のセグメントのリスト(列
96に記憶される); −単語x* と削除される単語84a−nの合致対の総数
(列97に記憶される);及び −現在行の列94に記憶された分解が更新されたかどう
かを示すフラグレコード、現在時点では更新されなかっ
たと示すように設定されている(列98に記憶され
る)。
【0042】◆要素 4
単語x* と合致するさらに他の単語を突き止めるため、
一般に、単語内の連続する文字のグループは語幹と推測
され、そうかもしれない語幹の前の文字が接頭語として
生じていると考えられる頻度が高いほど、あるいはそう
かもしれない語幹の後の文字が接尾語として生じている
と考えられる頻度が高いほど、そうかもしれない語幹が
事実その単語の真の語幹である見込みがが高いという仮
説を用いる。これは、要素3で使われたアルゴリズムを
手直しするのに使える。例えば、単語“CURING”と“SC
URVY”は共に、単語“CURED” と共通な3つの連続する
文字の同一グループ(“CUR”) を有している。文字グ
ループ“CUR” はこれら全ての単語に共通な語幹と見な
されるので、単語“CURING”は語幹“CUR” の後に接尾
語“-ING”が続いて成るものと見なせ、また単語“SCUR
VY”は誤って接頭語“S-”の後に語幹“CUR” と接尾語
“-VY” が続いて成るものと見なされる。“-ING”の方
が“S-”や“-VY” より一般的な接頭語であるため、
“CURING”の方が“SCURVY”より“CURED” と‘関連’
している見込みがより高いと正しく見なされる。
一般に、単語内の連続する文字のグループは語幹と推測
され、そうかもしれない語幹の前の文字が接頭語として
生じていると考えられる頻度が高いほど、あるいはそう
かもしれない語幹の後の文字が接尾語として生じている
と考えられる頻度が高いほど、そうかもしれない語幹が
事実その単語の真の語幹である見込みがが高いという仮
説を用いる。これは、要素3で使われたアルゴリズムを
手直しするのに使える。例えば、単語“CURING”と“SC
URVY”は共に、単語“CURED” と共通な3つの連続する
文字の同一グループ(“CUR”) を有している。文字グ
ループ“CUR” はこれら全ての単語に共通な語幹と見な
されるので、単語“CURING”は語幹“CUR” の後に接尾
語“-ING”が続いて成るものと見なせ、また単語“SCUR
VY”は誤って接頭語“S-”の後に語幹“CUR” と接尾語
“-VY” が続いて成るものと見なされる。“-ING”の方
が“S-”や“-VY” より一般的な接頭語であるため、
“CURING”の方が“SCURVY”より“CURED” と‘関連’
している見込みがより高いと正しく見なされる。
【0043】いずれかの単語x* が合致されず残ってい
る場合、図2を再び参照すると、目標原稿中に残ってい
る各単語84a−nが順次取り出され、単語x* とペア
リングされる。単語x* と目標原稿からのyで表される
単語との各ペアリング毎に、下記の値が求められる: m(x*,y) − 単語x* と単語yが起点及び目標両原稿6
0と80内の対応するセグメント61a−nと81a−
n中で生じている回数(これは、各単語に対応したセグ
メント番号のリスト66a−nと88aa−nnとの比
較によって求められる); Sx − 起点原稿60内で単語x* が生じている発生回
数(これは単語x* に対応したレコード69a−nに記
憶される); Ty − 要素2での定義と同じ L − 単語yと、先に単語x* と最も合致の見込みが
あると識別され一時的な合致記憶装置50に記憶された
単語y1'との両方に共通な連続する文字の最長グループ
の長さ; f1 − 単語yの接頭語(単語yのうち語幹の前に生じ
ている部分)の発生が見いだされた回数(これは単語y
の接頭語に対応したレコード74a−nに記憶され
る);及び f2 − 単語yの接尾語(単語yのうち語幹の後に生じ
ている部分)の発生が見いだされた回数(これは単語y
の接尾語に対応したレコード78a−nに記憶され
る); そして、単語x* と単語yとが合致する尤度の修正表示
であるp3(H)(x*,y)が、図14に示す式を用いて計算さ
れる。
る場合、図2を再び参照すると、目標原稿中に残ってい
る各単語84a−nが順次取り出され、単語x* とペア
リングされる。単語x* と目標原稿からのyで表される
単語との各ペアリング毎に、下記の値が求められる: m(x*,y) − 単語x* と単語yが起点及び目標両原稿6
0と80内の対応するセグメント61a−nと81a−
n中で生じている回数(これは、各単語に対応したセグ
メント番号のリスト66a−nと88aa−nnとの比
較によって求められる); Sx − 起点原稿60内で単語x* が生じている発生回
数(これは単語x* に対応したレコード69a−nに記
憶される); Ty − 要素2での定義と同じ L − 単語yと、先に単語x* と最も合致の見込みが
あると識別され一時的な合致記憶装置50に記憶された
単語y1'との両方に共通な連続する文字の最長グループ
の長さ; f1 − 単語yの接頭語(単語yのうち語幹の前に生じ
ている部分)の発生が見いだされた回数(これは単語y
の接頭語に対応したレコード74a−nに記憶され
る);及び f2 − 単語yの接尾語(単語yのうち語幹の後に生じ
ている部分)の発生が見いだされた回数(これは単語y
の接尾語に対応したレコード78a−nに記憶され
る); そして、単語x* と単語yとが合致する尤度の修正表示
であるp3(H)(x*,y)が、図14に示す式を用いて計算さ
れる。
【0044】この式の形は、一般に、両単語x* とyが
合致する尤度の指示をp3(H)(x*,y)の値が与えるように
選ばれている;つまりp3(H)(x*,y)は一般に、両単語x
* とyが合致する見込みが高いほど大きくなる。この式
を用いて計算される p3(H)(x*,y)の値は、両単語x*
とyが相互に同じセグメントでより頻繁に生じるように
原稿全体を通じて分布されていれば;あるいは、両単語
x* とyが相互に同じセグメントで生じる回数が合計の
発生回数と比べてより高ければ;あるいは単語yと単語
y1'に共通な連続する文字の最長グループがより長いほ
ど;あるいはその連続する文字グループの前または後の
文字グループの発生がより頻繁に見いだされれば、増加
する傾向にあるが;両単語x* とyがそれぞれの原稿中
で生じる合計の回数差が大きいほど、減少する傾向にあ
る。
合致する尤度の指示をp3(H)(x*,y)の値が与えるように
選ばれている;つまりp3(H)(x*,y)は一般に、両単語x
* とyが合致する見込みが高いほど大きくなる。この式
を用いて計算される p3(H)(x*,y)の値は、両単語x*
とyが相互に同じセグメントでより頻繁に生じるように
原稿全体を通じて分布されていれば;あるいは、両単語
x* とyが相互に同じセグメントで生じる回数が合計の
発生回数と比べてより高ければ;あるいは単語yと単語
y1'に共通な連続する文字の最長グループがより長いほ
ど;あるいはその連続する文字グループの前または後の
文字グループの発生がより頻繁に見いだされれば、増加
する傾向にあるが;両単語x* とyがそれぞれの原稿中
で生じる合計の回数差が大きいほど、減少する傾向にあ
る。
【0045】求められたp3(H)(x*,y)の最高値と次に高
い値は、それらの値が計算されたペアリングに含まれて
い目標原稿中の単語のレコードと一緒に記憶される。こ
れらの単語はそれぞれy3'及びy3"と表され、またp3
(H)(x*,y)の最高値と次に高い値はそれぞれp3(H)(x*,y
3') 及びp3(H)(x*,y3") と表される。そして単語y3'
が、目標単語リスト内にある残りの単語のうち、単語x
*と最も合致する見込みがあると見なされる。
い値は、それらの値が計算されたペアリングに含まれて
い目標原稿中の単語のレコードと一緒に記憶される。こ
れらの単語はそれぞれy3'及びy3"と表され、またp3
(H)(x*,y)の最高値と次に高い値はそれぞれp3(H)(x*,y
3') 及びp3(H)(x*,y3") と表される。そして単語y3'
が、目標単語リスト内にある残りの単語のうち、単語x
*と最も合致する見込みがあると見なされる。
【0046】p3(H)(x*,y3') の値がp3(H)(x*,y3") の
値と同じであれば、単語x* とのそれ以上の一致は現時
点において決定できないと見なされる。従って、起点原
稿からの別の単語を単語x* として選ぶため、処理は要
素4に移される。
値と同じであれば、単語x* とのそれ以上の一致は現時
点において決定できないと見なされる。従って、起点原
稿からの別の単語を単語x* として選ぶため、処理は要
素4に移される。
【0047】同じ値でなければ、単語x* とペアリング
されて p3(H)(x*,y) の最高値を与える、単語y3'が単
語x* に合致すると見なされ、そのため、目標原稿中に
おけるその単語の発生が起点原稿中における単語x* の
発生に対応するような、すなわち単語x* と単語y3'と
がそれぞれ起点及び目標中で同じセグメント番号を有す
るセグメント内で生じているような合致を見いだすため
の処理に、単語y3'をもはや含める必要はない。そこ
で、起点原稿60と目標原稿80中でそのような対応が
発生する位置について、相互に対応している単語x* と
単語y3'とが起点単語発生セット65及び目標単語発生
セット85から削除され、これに従って起点単語リスト
63、目標単語リスト83、起点単語頻度リスト68及
び目標単語頻度リスト88が次のように更新される: −単語x* に対応するレコード69a−nに記憶された
値が、削除される各単語x* 毎に1づつデクレメントさ
れる; −特定のセグメント61a−nにおける単語x* の各発
生が目標原稿からのある1つの単語に対応すると見いだ
されたら、そのセグメントの番号が単語x* に対応した
起点単語発生リスト66a−nから削除される; −単語x* に対応するレコード69a−nに記憶された
値がゼロになれば、単語x* が起点単語リスト63から
削除される; −単語y3'に対応するレコード89a−nに記憶された
値が、削除される単語y3'毎に1づつデクレメントされ
る; −特定のセグメント81a−nにおける単語y3'の各発
生が目標原稿からのある1つの単語に対応すると見いだ
されたら、そのセグメントの番号がその単語y3'に対応
した目標単語発生リスト86a−nから削除される;そ
して −単語y3'に対応するレコード89a−nに記憶された
値がゼロになれば、単語y3'が目標単語リスト83から
削除される。
されて p3(H)(x*,y) の最高値を与える、単語y3'が単
語x* に合致すると見なされ、そのため、目標原稿中に
おけるその単語の発生が起点原稿中における単語x* の
発生に対応するような、すなわち単語x* と単語y3'と
がそれぞれ起点及び目標中で同じセグメント番号を有す
るセグメント内で生じているような合致を見いだすため
の処理に、単語y3'をもはや含める必要はない。そこ
で、起点原稿60と目標原稿80中でそのような対応が
発生する位置について、相互に対応している単語x* と
単語y3'とが起点単語発生セット65及び目標単語発生
セット85から削除され、これに従って起点単語リスト
63、目標単語リスト83、起点単語頻度リスト68及
び目標単語頻度リスト88が次のように更新される: −単語x* に対応するレコード69a−nに記憶された
値が、削除される各単語x* 毎に1づつデクレメントさ
れる; −特定のセグメント61a−nにおける単語x* の各発
生が目標原稿からのある1つの単語に対応すると見いだ
されたら、そのセグメントの番号が単語x* に対応した
起点単語発生リスト66a−nから削除される; −単語x* に対応するレコード69a−nに記憶された
値がゼロになれば、単語x* が起点単語リスト63から
削除される; −単語y3'に対応するレコード89a−nに記憶された
値が、削除される単語y3'毎に1づつデクレメントされ
る; −特定のセグメント81a−nにおける単語y3'の各発
生が目標原稿からのある1つの単語に対応すると見いだ
されたら、そのセグメントの番号がその単語y3'に対応
した目標単語発生リスト86a−nから削除される;そ
して −単語y3'に対応するレコード89a−nに記憶された
値がゼロになれば、単語y3'が目標単語リスト83から
削除される。
【0048】単語y3'の語幹(この語幹は単語y3'に関
するLの値の計算で求められている)の前または後に何
等かの文字が生じていたら、形態素テーブル70が修正
される。単語y3'の語幹の前に何等かの文字が生じてい
れば、それらは接頭語を表すものと見なされ、yp で表
される。接頭語yp について、接頭語リスト71のサー
チを行う。yp と同等な接頭語がそのリスト中に見つか
れば、その接頭語の発生が見いだされた回数のレコード
が、接頭語yp に対応したレコード74a−nを1だけ
インクレメントすることによって修正される。yp と同
等な接頭語が接頭語リスト71中に見つからなかった
ら、接頭語yp が接頭語リスト71に付け加えられ;そ
の接頭語の発生が見いだされた回数のレコード(接頭語
yp に対応したレコード74a−n)が1に設定され;
さらに接頭語yp の最初の文字からなる接頭語につい
て、接頭語リスト71のサーチを行う。
するLの値の計算で求められている)の前または後に何
等かの文字が生じていたら、形態素テーブル70が修正
される。単語y3'の語幹の前に何等かの文字が生じてい
れば、それらは接頭語を表すものと見なされ、yp で表
される。接頭語yp について、接頭語リスト71のサー
チを行う。yp と同等な接頭語がそのリスト中に見つか
れば、その接頭語の発生が見いだされた回数のレコード
が、接頭語yp に対応したレコード74a−nを1だけ
インクレメントすることによって修正される。yp と同
等な接頭語が接頭語リスト71中に見つからなかった
ら、接頭語yp が接頭語リスト71に付け加えられ;そ
の接頭語の発生が見いだされた回数のレコード(接頭語
yp に対応したレコード74a−n)が1に設定され;
さらに接頭語yp の最初の文字からなる接頭語につい
て、接頭語リスト71のサーチを行う。
【0049】そのようないずれかの接頭語が生じていた
と見いだされれば、そうした各接頭語が生じている結果
テーブル90の列92にリストアップされた単語が順次
取り出され、それらの統計的に有意な数が接頭語yp の
文字で始まっていれば、その接頭語のそれまでの評価は
誤っていたと見なされ;その接頭語がyp と見なされ;
従って、それらの各単語毎に結果テーブル90の列92
にそれまで記憶されていた分解が、接頭語としてyp を
与えるように変更され;結果テーブル90の列98中の
対応したフラグは、該当のペアリングが形態素テーブル
70内で更新されたことを示すように設定され;接頭語
yp の発生が見いだされた回数のレコード(接頭語yp
に対応したレコード74a−n)が1だけインクレメン
トされて、先に評価された接頭語に対応したレコード7
4a−nが1だけデクレメントされる。例えば、単語
“UNDERTOW”が接頭語“UN-” と語幹“DERTOW”を有す
ると見なされていた場合、接頭語が “UNDER-”と見な
される単語が突き止められると、単語“UNDERTOW”が再
評価され、今度は接頭語“UNDER-”と語幹“TOW”を有
すると見なされる。
と見いだされれば、そうした各接頭語が生じている結果
テーブル90の列92にリストアップされた単語が順次
取り出され、それらの統計的に有意な数が接頭語yp の
文字で始まっていれば、その接頭語のそれまでの評価は
誤っていたと見なされ;その接頭語がyp と見なされ;
従って、それらの各単語毎に結果テーブル90の列92
にそれまで記憶されていた分解が、接頭語としてyp を
与えるように変更され;結果テーブル90の列98中の
対応したフラグは、該当のペアリングが形態素テーブル
70内で更新されたことを示すように設定され;接頭語
yp の発生が見いだされた回数のレコード(接頭語yp
に対応したレコード74a−n)が1だけインクレメン
トされて、先に評価された接頭語に対応したレコード7
4a−nが1だけデクレメントされる。例えば、単語
“UNDERTOW”が接頭語“UN-” と語幹“DERTOW”を有す
ると見なされていた場合、接頭語が “UNDER-”と見な
される単語が突き止められると、単語“UNDERTOW”が再
評価され、今度は接頭語“UNDER-”と語幹“TOW”を有
すると見なされる。
【0050】単語y3'の語幹の後に何等かの文字が生じ
ていたら、それらは接尾語を表すものと見なされ、ys
で表される。接尾語ys について、接尾語リスト75の
サーチを行う。ys と同等な接尾語がそのリスト中に見
つかれば、その接尾語の発生が見いだされた回数のレコ
ードが、接尾語ys に対応したレコード78a−nを1
だけインクレメントすることによって修正される。ys
と同等な接尾語が接尾語リスト75中に見つからなかっ
たら、接尾語ys が接尾語リスト75に付け加えられ;
その接尾語の発生が見いだされた回数のレコード(接尾
語ys に対応したレコード78a−n)が1に設定さ
れ;さらに接尾語ys の最後の文字からなる接尾語につ
いて、接尾語リスト75のサーチを行う。そのようない
ずれかの接尾語が生じていたと見いだされれば、そうし
た各接尾語が生じている単語が順次取り出され、それら
の統計的に有意な数が接尾語ys の文字で終わっていれ
ば、その接尾語のそれまでの評価は誤っていたと見なさ
れ;その接尾語がys と見なされ;従って、それらの各
単語毎に結果テーブル90の列92にそれまで記憶され
ていた分解が、接尾語としてys を与えるように変更さ
れ;結果テーブル90の列98中の対応したフラグは、
該当のペアリングが形態素テーブル70内で更新された
ことを示すように設定され;接尾語ys の発生が見いだ
された回数のレコード(接尾語ys に対応したレコード
78a−n)が1だけインクレメントされて、先に評価
された接尾語に対応したレコード78a−nが1だけデ
クレメントされる。結果テーブル90も、新たに突き止
められた合致を考慮し、データ行をそのテーブルへ付け
加えることによって更新され、各行は次の列を含む: −両単語x* とy3'の現時時点のペアリングに割り当て
られたシリアル番号(列91に記憶される); −単語x* (列92に記憶される); −単語y3'(列93に記憶される); −単語y3'に当てはまると現在時点で見なされる分解
(すなわち接頭語、語幹及び接尾語への分割)(列94
に記憶される)(前述したように、単語は接頭語yp 、
接尾語ys 及び語幹に分割されるものと見なされる); −単語x* の発生が単語y3'と合致すると見いだされた
起点原稿中のセグメントのリスト(列95に記憶され
る); −単語y3'の発生が単語x* と合致すると見いだされた
目標原稿中のセグメントのリスト(列96に記憶され
る); −単語x* と単語y3'の合致対の総数(列97に記憶さ
れる);及び −現在行の列94に記憶された分解が更新されたかどう
かを示すフラグレコード、現在時点では更新されなかっ
たと示すように設定されている(列98に記憶され
る)。
ていたら、それらは接尾語を表すものと見なされ、ys
で表される。接尾語ys について、接尾語リスト75の
サーチを行う。ys と同等な接尾語がそのリスト中に見
つかれば、その接尾語の発生が見いだされた回数のレコ
ードが、接尾語ys に対応したレコード78a−nを1
だけインクレメントすることによって修正される。ys
と同等な接尾語が接尾語リスト75中に見つからなかっ
たら、接尾語ys が接尾語リスト75に付け加えられ;
その接尾語の発生が見いだされた回数のレコード(接尾
語ys に対応したレコード78a−n)が1に設定さ
れ;さらに接尾語ys の最後の文字からなる接尾語につ
いて、接尾語リスト75のサーチを行う。そのようない
ずれかの接尾語が生じていたと見いだされれば、そうし
た各接尾語が生じている単語が順次取り出され、それら
の統計的に有意な数が接尾語ys の文字で終わっていれ
ば、その接尾語のそれまでの評価は誤っていたと見なさ
れ;その接尾語がys と見なされ;従って、それらの各
単語毎に結果テーブル90の列92にそれまで記憶され
ていた分解が、接尾語としてys を与えるように変更さ
れ;結果テーブル90の列98中の対応したフラグは、
該当のペアリングが形態素テーブル70内で更新された
ことを示すように設定され;接尾語ys の発生が見いだ
された回数のレコード(接尾語ys に対応したレコード
78a−n)が1だけインクレメントされて、先に評価
された接尾語に対応したレコード78a−nが1だけデ
クレメントされる。結果テーブル90も、新たに突き止
められた合致を考慮し、データ行をそのテーブルへ付け
加えることによって更新され、各行は次の列を含む: −両単語x* とy3'の現時時点のペアリングに割り当て
られたシリアル番号(列91に記憶される); −単語x* (列92に記憶される); −単語y3'(列93に記憶される); −単語y3'に当てはまると現在時点で見なされる分解
(すなわち接頭語、語幹及び接尾語への分割)(列94
に記憶される)(前述したように、単語は接頭語yp 、
接尾語ys 及び語幹に分割されるものと見なされる); −単語x* の発生が単語y3'と合致すると見いだされた
起点原稿中のセグメントのリスト(列95に記憶され
る); −単語y3'の発生が単語x* と合致すると見いだされた
目標原稿中のセグメントのリスト(列96に記憶され
る); −単語x* と単語y3'の合致対の総数(列97に記憶さ
れる);及び −現在行の列94に記憶された分解が更新されたかどう
かを示すフラグレコード、現在時点では更新されなかっ
たと示すように設定されている(列98に記憶され
る)。
【0051】その後、単語x* と合致するさらに他の単
語を突き止めるため、要素4の処理が繰り返される。
語を突き止めるため、要素4の処理が繰り返される。
【0052】◆要素 5
要素2、3及び4の処理を反復後、尚合致しないで原点
単語リスト63または目標単語リスト83中に残ってい
る単語は、誤って翻訳されたものと仮に見なされる。原
稿の翻訳中の誤りを訂正できる言語学者によって評価で
きるようにするため、それらの単語は出力装置5に送ら
れ表示される。この際分かりやすいように、起点原稿中
で残りの単語の回りに位置する単語も一緒に送って表示
してもよい。これらの表示で、言語学者は残りの各単語
の文脈をより正確に判断できるようになるからである。
単語リスト63または目標単語リスト83中に残ってい
る単語は、誤って翻訳されたものと仮に見なされる。原
稿の翻訳中の誤りを訂正できる言語学者によって評価で
きるようにするため、それらの単語は出力装置5に送ら
れ表示される。この際分かりやすいように、起点原稿中
で残りの単語の回りに位置する単語も一緒に送って表示
してもよい。これらの表示で、言語学者は残りの各単語
の文脈をより正確に判断できるようになるからである。
【0053】二か国語辞書のベースを与えたり、あるい
は本方法がうまく実施されたかどうかをチェックしたい
ときは、合致すると見いだされた各単語対のリストを出
力装置5に送って表示してもよい。
は本方法がうまく実施されたかどうかをチェックしたい
ときは、合致すると見いだされた各単語対のリストを出
力装置5に送って表示してもよい。
【0054】本方法の処理のどの部分においても、“意
味領域”を突き止めるため、合致した単語を評価し得
る。この評価は、合致した目標単語のセットを起点原稿
として、また合致した起点単語のセットを目標原稿とし
て用い、本方法を実施することによって行える。例え
ば、英語で書かれた起点原稿中、単語“BIG” と“LARG
E” が生じることがある。これらの単語は、フランス語
の目標原稿だと単語“GRAND”と“GROS”を含む意味領
域に入る。本方法の処理中、“BIG” は“GRAND”及び
“GROS”の一部の発生と合致し、また“LARGE” は“GR
AND” 及び“GROS”の別の発生と合致すると見いだされ
る。合致したセットを前述のように置き換えると、“GR
AND” が“BIG” 及び“LARGE” の一部の発生と合致
し、また “GROS”が“BIG” 及び“LARGE” の別の発
生と合致することが見いだされる。これら合致単語のパ
ターンを比較することで、上記4つの単語が意味領域を
形成しているのが分かる。
味領域”を突き止めるため、合致した単語を評価し得
る。この評価は、合致した目標単語のセットを起点原稿
として、また合致した起点単語のセットを目標原稿とし
て用い、本方法を実施することによって行える。例え
ば、英語で書かれた起点原稿中、単語“BIG” と“LARG
E” が生じることがある。これらの単語は、フランス語
の目標原稿だと単語“GRAND”と“GROS”を含む意味領
域に入る。本方法の処理中、“BIG” は“GRAND”及び
“GROS”の一部の発生と合致し、また“LARGE” は“GR
AND” 及び“GROS”の別の発生と合致すると見いだされ
る。合致したセットを前述のように置き換えると、“GR
AND” が“BIG” 及び“LARGE” の一部の発生と合致
し、また “GROS”が“BIG” 及び“LARGE” の別の発
生と合致することが見いだされる。これら合致単語のパ
ターンを比較することで、上記4つの単語が意味領域を
形成しているのが分かる。
【0055】本方法の結果を検証したいときは、最初の
原稿を置き換えて、本方法を繰り返せばよい:すなわ
ち、最初の起点原稿と最初の目標原稿の各コピーをそれ
ぞれ目標原稿80及び起点原稿60として記憶し、前述
した方法全体をもう一度実行すればよい。本方法の1回
目と2回目の実行結果を比較し、その精度を判断するこ
とができる。
原稿を置き換えて、本方法を繰り返せばよい:すなわ
ち、最初の起点原稿と最初の目標原稿の各コピーをそれ
ぞれ目標原稿80及び起点原稿60として記憶し、前述
した方法全体をもう一度実行すればよい。本方法の1回
目と2回目の実行結果を比較し、その精度を判断するこ
とができる。
【0056】起点及び目標両原稿の初期サイズをもっと
大きくすれば、より正確な結果を得られることが理解さ
れよう。従って本法は、例えば聖書のテキストなど、長
い原稿へ適用するのに特に適する。
大きくすれば、より正確な結果を得られることが理解さ
れよう。従って本法は、例えば聖書のテキストなど、長
い原稿へ適用するのに特に適する。
【0057】
【発明の効果】以上述べたように本発明によれば、2つ
の言語間の単語の対応を示す辞書のベースを、両方の言
語で書かれた1つ以上の原稿の解析から編集すること
で、2つの書かれた言語間の翻訳を、どちらの言語につ
いても特別の知識を必要とせず比較できる。
の言語間の単語の対応を示す辞書のベースを、両方の言
語で書かれた1つ以上の原稿の解析から編集すること
で、2つの書かれた言語間の翻訳を、どちらの言語につ
いても特別の知識を必要とせず比較できる。
【図1】本発明を適用可能なシステムのブロック図。
【図2】図1に示したメモリブロックの第1部分の構成
の一例を示す。
の一例を示す。
【図3】図1に示したメモリブロックの第2部分である
結果テーブルの構成の一例を示す。
結果テーブルの構成の一例を示す。
【図4】本発明による方法の一例を示すフロー図。
【図5】本発明による方法の一例を示すフロー図。
【図6】本発明による方法の一例を示すフロー図。
【図7】本発明による方法の一例を示すフロー図。
【図8】本発明による方法の一例を示すフロー図。
【図9】本発明による方法の一例を示すフロー図。
【図10】本発明による方法の一例を示すフロー図。
【図11】本方法の一例の動作中に使われる各式を示
す。
す。
【図12】本方法の一例の動作中に使われる各式を示
す。
す。
【図13】本方法の一例の動作中に使われる各式を示
す。
す。
【図14】本方法の一例の動作中に使われる各式を示
す。
す。
1 …プロセッサ
2 …メモリ
4 …入力装置
5 …出力装置
60、80 …2つの原稿(60;起点原稿、80;目
標原稿) 61a−n、81a−n …セグメント 62m−z、82a−n …単語
標原稿) 61a−n、81a−n …セグメント 62m−z、82a−n …単語
Claims (5)
- 【請求項1】第1のテキスト原稿と第2のテキスト原稿
を処理する方法で、各々の原稿がセグメントに分割され
てテキスト処理システムのメモリ手段内に記憶され、各
セグメントがさらに単語に分割されている方法におい
て: a)第1のテキスト原稿中の単語と第2のテキスト原稿
中の単語を選び出し、第1のテキスト原稿と第2のテキ
スト原稿の各セグメント内における単語の分布の比較結
果を考慮しながら、2つの単語が実質上同一の意味を持
つ確率の表示を求めるステップ;及び b)2つの単語が実質上同一の意味を持つ確率の表示が
しきい値より大きい2つの単語を実質上同一の意味を持
つ単語と見なすステップ;を含むテキスト原稿解析法。 - 【請求項2】以下の場合に、第1のテキスト原稿中の単
語が第2のテキスト原稿中の単語と実質上同一の意味を
持つ単語と見なされる請求項1記載のテキスト原稿解析
法: a)第1のテキスト原稿中の前記単語と実質上同一の意
味を持つ確率の表示が、第2のテキスト原稿中の前記単
語についての方が、第2のテキスト原稿中の他の単語に
ついてよりも大きい場合; b)第2のテキスト原稿中の単語と実質上同一の意味を
持つ確率の最大表示と次に大きい表示との比が、第1の
テキスト原稿中の前記単語についての方が、第1のテキ
スト原稿中の他の単語についてよりも大きい場合;及び c)前記比が1より大きい場合。 - 【請求項3】第1のテキスト原稿中の各セグメントが第
2のテキスト原稿中の1つのセグメントと対応してお
り、第1のテキスト原稿中の選ばれた単語と第2のテキ
スト原稿中の選ばれた単語が実質上同一の意味を持つ確
率の表示は、第1のテキスト原稿中で選ばれた単語と同
等な単語及び第2のテキスト原稿中の選ばれた単語と同
一形態の単語が第1及び第2のテキスト原稿中の対応す
るセグメントでそれぞれ生じる回数を判定する処理によ
って求められる請求項1または2記載のテキスト原稿解
析法。 - 【請求項4】前記同一形態であるために、2つの単語が
同等でなければならない請求項3記載のテキスト原稿解
析法。 - 【請求項5】前記同一形態であるために、2つの単語が
1つ以上の連続する文字のグループを共通に有していな
ければならず、前記処理が前記文字グループの長さを求
めることも含む請求項3記載のテキスト原稿解析法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| GB9103080.9 | 1991-02-14 | ||
| GB919103080A GB9103080D0 (en) | 1991-02-14 | 1991-02-14 | Analysing textual documents |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH0528183A true JPH0528183A (ja) | 1993-02-05 |
Family
ID=10689995
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP4027626A Pending JPH0528183A (ja) | 1991-02-14 | 1992-02-14 | テキスト原稿解析法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US5323310A (ja) |
| EP (1) | EP0499366A3 (ja) |
| JP (1) | JPH0528183A (ja) |
| GB (1) | GB9103080D0 (ja) |
Families Citing this family (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5608622A (en) * | 1992-09-11 | 1997-03-04 | Lucent Technologies Inc. | System for analyzing translations |
| GB2272091B (en) * | 1992-10-30 | 1996-10-23 | Canon Europa Nv | Apparatus for use in aligning bilingual corpora |
| GB2279164A (en) * | 1993-06-18 | 1994-12-21 | Canon Res Ct Europe Ltd | Processing a bilingual database. |
| JP3408291B2 (ja) * | 1993-09-20 | 2003-05-19 | 株式会社東芝 | 辞書作成支援装置 |
| US6064959A (en) * | 1997-03-28 | 2000-05-16 | Dragon Systems, Inc. | Error correction in speech recognition |
| US6308149B1 (en) * | 1998-12-16 | 2001-10-23 | Xerox Corporation | Grouping words with equivalent substrings by automatic clustering based on suffix relationships |
| WO2000051032A1 (en) * | 1999-02-26 | 2000-08-31 | Garfinkle Limited Partnership Ii | System, method, and computer program product for generating a user selectable self-destructing e-mail |
| US6446036B1 (en) | 1999-04-20 | 2002-09-03 | Alis Technologies, Inc. | System and method for enhancing document translatability |
| US6338033B1 (en) * | 1999-04-20 | 2002-01-08 | Alis Technologies, Inc. | System and method for network-based teletranslation from one natural language to another |
| JP4310023B2 (ja) * | 1999-06-17 | 2009-08-05 | キヤノン株式会社 | 縮小画像作成方法及び装置、記憶媒体 |
| JP3855551B2 (ja) * | 1999-08-25 | 2006-12-13 | 株式会社日立製作所 | 検索方法及び検索システム |
| AUPQ539700A0 (en) * | 2000-02-02 | 2000-02-24 | Worldlingo.Com Pty Ltd | Translation ordering system |
| US6885985B2 (en) * | 2000-12-18 | 2005-04-26 | Xerox Corporation | Terminology translation for unaligned comparable corpora using category based translation probabilities |
| US7644057B2 (en) * | 2001-01-03 | 2010-01-05 | International Business Machines Corporation | System and method for electronic communication management |
| FR2833375B1 (fr) * | 2001-12-07 | 2004-06-04 | Amadeus | Procede, dispositif d'adaptation de fichiers numeriques |
| US8271495B1 (en) | 2003-12-17 | 2012-09-18 | Topix Llc | System and method for automating categorization and aggregation of content from network sites |
| US7814089B1 (en) | 2003-12-17 | 2010-10-12 | Topix Llc | System and method for presenting categorized content on a site using programmatic and manual selection of content items |
| US7930647B2 (en) * | 2005-12-11 | 2011-04-19 | Topix Llc | System and method for selecting pictures for presentation with text content |
| US8239762B2 (en) * | 2006-03-20 | 2012-08-07 | Educational Testing Service | Method and system for automatic generation of adapted content to facilitate reading skill development for language learners |
| US8852851B2 (en) | 2006-07-10 | 2014-10-07 | Micron Technology, Inc. | Pitch reduction technology using alternating spacer depositions during the formation of a semiconductor device and systems including same |
| US9405732B1 (en) | 2006-12-06 | 2016-08-02 | Topix Llc | System and method for displaying quotations |
| JP5105513B2 (ja) | 2007-07-20 | 2012-12-26 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 処理対象として適切なテキストを選択する技術 |
Family Cites Families (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR21956E (fr) * | 1919-11-20 | 1921-04-21 | Charles Guillemin | Poignée pour freins de cycles |
| JPS5853787B2 (ja) * | 1979-08-30 | 1983-12-01 | シャープ株式会社 | 電子辞典 |
| US4381551A (en) * | 1979-09-13 | 1983-04-26 | Sharp Kabushiki Kaisha | Electronic translator |
| JPS58101365A (ja) * | 1981-12-14 | 1983-06-16 | Hitachi Ltd | 機械翻訳システム |
| JPS58117039A (ja) * | 1981-12-30 | 1983-07-12 | Fujitsu Ltd | 仮名漢字変換方式 |
| JPS60163161A (ja) * | 1984-02-06 | 1985-08-26 | Hitachi Ltd | 辞書保守方式 |
| JPH0664585B2 (ja) * | 1984-12-25 | 1994-08-22 | 株式会社東芝 | 翻訳編集装置 |
| US4672539A (en) * | 1985-04-17 | 1987-06-09 | International Business Machines Corp. | File compressor |
| US4800522A (en) * | 1985-05-14 | 1989-01-24 | Sharp Kabushiki Kaisha | Bilingual translation system capable of memorizing learned words |
| JPS61272866A (ja) * | 1985-05-29 | 1986-12-03 | Nec Corp | 英文単語チエツク機能付ワ−ドプロセツサ |
| JPS6244874A (ja) * | 1985-08-22 | 1987-02-26 | Toshiba Corp | 機械翻訳装置 |
| JPH0638263B2 (ja) * | 1985-10-01 | 1994-05-18 | 株式会社リコー | 頁対応付け処理方式 |
| US4829580A (en) * | 1986-03-26 | 1989-05-09 | Telephone And Telegraph Company, At&T Bell Laboratories | Text analysis system with letter sequence recognition and speech stress assignment arrangement |
| JPH0743719B2 (ja) * | 1986-05-20 | 1995-05-15 | シャープ株式会社 | 機械翻訳装置 |
| JPH0682374B2 (ja) * | 1986-06-05 | 1994-10-19 | 株式会社リコー | 関係学習システム |
| JPH0656614B2 (ja) * | 1986-08-09 | 1994-07-27 | 富士通株式会社 | 生成文法自動生成装置 |
| JPS63153669A (ja) * | 1986-08-25 | 1988-06-27 | Nec Corp | 日本語文から中国語文への翻訳方式 |
| GB2199680A (en) * | 1986-11-28 | 1988-07-13 | Sharp Kk | Translating apparatus |
| US4864502A (en) * | 1987-10-07 | 1989-09-05 | Houghton Mifflin Company | Sentence analyzer |
| US4868750A (en) * | 1987-10-07 | 1989-09-19 | Houghton Mifflin Company | Collocational grammar system |
| US4852173A (en) * | 1987-10-29 | 1989-07-25 | International Business Machines Corporation | Design and construction of a binary-tree system for language modelling |
| JP2664915B2 (ja) * | 1988-01-12 | 1997-10-22 | 株式会社日立製作所 | 情報検索システム |
| JP2831647B2 (ja) * | 1988-03-31 | 1998-12-02 | 株式会社東芝 | 機械翻訳システム |
| US4849898A (en) * | 1988-05-18 | 1989-07-18 | Management Information Technologies, Inc. | Method and apparatus to identify the relation of meaning between words in text expressions |
| JPH0268662A (ja) * | 1988-09-02 | 1990-03-08 | Sharp Corp | 機械翻訳装置 |
| US5140522A (en) * | 1988-10-28 | 1992-08-18 | Kabushiki Kaisha Toshiba | Method and apparatus for machine translation utilizing previously translated documents |
| JP2983024B2 (ja) * | 1988-11-18 | 1999-11-29 | ブラザー工業株式会社 | 自然言語処理装置 |
| JPH02140868A (ja) * | 1988-11-22 | 1990-05-30 | Toshiba Corp | 機械翻訳システム |
| JPH03129469A (ja) * | 1989-10-14 | 1991-06-03 | Canon Inc | 自然言語処理装置 |
-
1991
- 1991-02-14 GB GB919103080A patent/GB9103080D0/en active Pending
-
1992
- 1992-01-23 EP EP19920300597 patent/EP0499366A3/en not_active Withdrawn
- 1992-01-31 US US07/830,027 patent/US5323310A/en not_active Expired - Fee Related
- 1992-02-14 JP JP4027626A patent/JPH0528183A/ja active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| EP0499366A3 (en) | 1993-10-20 |
| EP0499366A2 (en) | 1992-08-19 |
| GB9103080D0 (en) | 1991-04-03 |
| US5323310A (en) | 1994-06-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH0528183A (ja) | テキスト原稿解析法 | |
| US11113234B2 (en) | Semantic extraction method and apparatus for natural language, and computer storage medium | |
| Martins et al. | Spelling correction for search engine queries | |
| US7290209B2 (en) | Spell checker with arbitrary length string-to-string transformations to improve noisy channel spelling correction | |
| EP0415000B1 (en) | Method and apparatus for spelling error detection and correction | |
| US20190087403A1 (en) | Online spelling correction/phrase completion system | |
| CN111753531A (zh) | 一种基于人工智能的文本纠错方法、装置、计算机设备及存储介质 | |
| JP2010505208A (ja) | タイピング効率向上のためのタイピング候補の生成方法 | |
| Ganfure et al. | Design and implementation of morphology based spell checker | |
| Uthayamoorthy et al. | Ddspell-a data driven spell checker and suggestion generator for the tamil language | |
| JPH0211934B2 (ja) | ||
| Kaur et al. | Spell checker for Punjabi language using deep neural network | |
| WO2014189400A1 (en) | A method for diacritisation of texts written in latin- or cyrillic-derived alphabets | |
| JP6303508B2 (ja) | 文書分析装置、文書分析システム、文書分析方法およびプログラム | |
| JP3398729B2 (ja) | キーワード自動抽出装置およびキーワード自動抽出方法 | |
| JP7098463B2 (ja) | 単語列修正装置、単語列修正方法及びプログラム | |
| Debnath et al. | A hybrid approach to design automatic spelling corrector and converter for transliterated Bangla words | |
| AU659639B2 (en) | Analysing textual documents | |
| CN113901795B (zh) | 基于行为数据统计的中文拼写纠错方法 | |
| JPH11328316A (ja) | 文字認識装置、方法及び記憶媒体 | |
| NZ242711A (en) | Testing accuracy of language translated texts: computer algorithm | |
| CA2068622A1 (en) | Analysing textual documents | |
| JP2827066B2 (ja) | 数字列混在文書の文字認識の後処理方法 | |
| Bernard et al. | Sautex: A Language-Specific Phonetic Matching Algorithm for Resolving Spelling Variations in Hausa Personal Names | |
| JP3241854B2 (ja) | 単語スペル自動補正装置 |