JPH06325076A - 入力テキストをワードで区切る方法 - Google Patents
入力テキストをワードで区切る方法Info
- Publication number
- JPH06325076A JPH06325076A JP6006143A JP614394A JPH06325076A JP H06325076 A JPH06325076 A JP H06325076A JP 6006143 A JP6006143 A JP 6006143A JP 614394 A JP614394 A JP 614394A JP H06325076 A JPH06325076 A JP H06325076A
- Authority
- JP
- Japan
- Prior art keywords
- words
- word
- input text
- characters
- storage area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/253—Grammatical analysis; Style critique
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/53—Processing of non-Latin text
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Document Processing Apparatus (AREA)
- Machine Translation (AREA)
Abstract
(57)【要約】 （修正有）
【目的】 テキストを機械的に分析して構成するワード
を区切る。 【構成】 辞書及び文法規則にテキストのストリング内
の全てのワードを識別し互いにオーバーラップするワー
ドを厳格なフィルタ処理により互いに隣接する一組のワ
ードに分解して非論理的な区切りをなくする方法を併用
して曖昧さを解消する。
を区切る。 【構成】 辞書及び文法規則にテキストのストリング内
の全てのワードを識別し互いにオーバーラップするワー
ドを厳格なフィルタ処理により互いに隣接する一組のワ
ードに分解して非論理的な区切りをなくする方法を併用
して曖昧さを解消する。
Description
【０００１】
【産業上の利用分野】本発明はデータ処理システムにお
ける、入力テキストをワードに区切る方法に関する。更
に具体的に言うならば、本発明は、連続した中国テキス
トから中国ワードを仕切る言語的方法に関する。
ける、入力テキストをワードに区切る方法に関する。更
に具体的に言うならば、本発明は、連続した中国テキス
トから中国ワードを仕切る言語的方法に関する。
【０００２】
【従来の技術】中国語は、一つの音節及び通常は概念若
しくは意味のある単位を表すロゴグラフをして書かれ
る。伝統的に、中国語はこれらのロゴグラフ相互間にス
ペースを設けることなく書かれる。中国語のワードは、
これら一つ以上のロゴグラフから成り、そして中国語を
良く理解する人は、中国語のテキストを理解するために
これらのワードの境界を識別しなければならない。
しくは意味のある単位を表すロゴグラフをして書かれ
る。伝統的に、中国語はこれらのロゴグラフ相互間にス
ペースを設けることなく書かれる。中国語のワードは、
これら一つ以上のロゴグラフから成り、そして中国語を
良く理解する人は、中国語のテキストを理解するために
これらのワードの境界を識別しなければならない。
【０００３】電子的な形の中国語のドキュメントも又ス
ペースなしで書かれ、従って情報記憶及び検索（IS/R,
Information Storage and Retrieval）のようなコンピ
ュータ・アプリケーションにとって、この機械化された
インデックスに使用する項目を識別することは困難であ
る。勿論、ＩＳ／Ｒに対する問題点は、文字のそれぞれ
の組み合わせを観察するためにテキストの各文字毎にイ
ンデックス（索引作業）する強力的な方法により解決さ
れることが出来るが、これを行うとあまりに多くのイン
デックス空間を使用しそして多くの余り意味のない結果
を検索することになるので、正確性が低下しそして非常
に非効率的である。
ペースなしで書かれ、従って情報記憶及び検索（IS/R,
Information Storage and Retrieval）のようなコンピ
ュータ・アプリケーションにとって、この機械化された
インデックスに使用する項目を識別することは困難であ
る。勿論、ＩＳ／Ｒに対する問題点は、文字のそれぞれ
の組み合わせを観察するためにテキストの各文字毎にイ
ンデックス（索引作業）する強力的な方法により解決さ
れることが出来るが、これを行うとあまりに多くのイン
デックス空間を使用しそして多くの余り意味のない結果
を検索することになるので、正確性が低下しそして非常
に非効率的である。
【０００４】
【発明が解決しようとする課題】ＩＳ／Ｒ技法は中国語
のテキストのワードを識別することなく解消されうる
が、例えばコンピュータ支援翻訳のような他のアプリケ
ーションがあり、そしてこれは正確に翻訳を行うために
ワード相互間を正確に仕切る又は区切ることを必要とす
る。
のテキストのワードを識別することなく解消されうる
が、例えばコンピュータ支援翻訳のような他のアプリケ
ーションがあり、そしてこれは正確に翻訳を行うために
ワード相互間を正確に仕切る又は区切ることを必要とす
る。
【０００５】
【課題を解決するための手段】本発明の目的は、連続し
た中国語のテキストから中国語のワードを区切る方法を
提供することである。本発明の目的は、中国語のテキス
ト内のすべてのワードを識別し、互いにオーバーラップ
するワードを、フィルタ処理により一組の互いに隣接す
るワードに分解して非論理的な区切りをなくし、そして
使用頻度の基準の使用及び文法的な制限により曖昧さを
解消するプロセスを提供することである。連続した中国
語のテキストを機械的に分析してそしてテキストを構成
するワードを区切るプロセスが説明される。このプロセ
スは、辞書と、句読点に関する簡単な規則と、中国語の
テキストのストリング内の全てのワードを識別し、そし
て互いにオーバーラップするワードを厳格なフィルタ処
理により互いに隣接する一組のワードに分解して非論理
的な区切りをなくする方法と、曖昧さを解消する方法と
を使用する。
た中国語のテキストから中国語のワードを区切る方法を
提供することである。本発明の目的は、中国語のテキス
ト内のすべてのワードを識別し、互いにオーバーラップ
するワードを、フィルタ処理により一組の互いに隣接す
るワードに分解して非論理的な区切りをなくし、そして
使用頻度の基準の使用及び文法的な制限により曖昧さを
解消するプロセスを提供することである。連続した中国
語のテキストを機械的に分析してそしてテキストを構成
するワードを区切るプロセスが説明される。このプロセ
スは、辞書と、句読点に関する簡単な規則と、中国語の
テキストのストリング内の全てのワードを識別し、そし
て互いにオーバーラップするワードを厳格なフィルタ処
理により互いに隣接する一組のワードに分解して非論理
的な区切りをなくする方法と、曖昧さを解消する方法と
を使用する。
【０００６】
【実施例】テキスト・ストリングからワードを区切るプ
ロセスは、記憶装置の記憶領域にデータ構造を形成し、
そしてこのデータ構造は、隣接する複数個の文字から成
るテキストのサブ・ストリングを識別する。これらのサ
ブ・ストリングは、互いにオーバーラップし若しくは互
いに隣接する中国語のワードを表しうる。更に、データ
構造は各ワードに関連するデータ例えばスピーチの部分
若しくは頻度を保持することが出来る。
ロセスは、記憶装置の記憶領域にデータ構造を形成し、
そしてこのデータ構造は、隣接する複数個の文字から成
るテキストのサブ・ストリングを識別する。これらのサ
ブ・ストリングは、互いにオーバーラップし若しくは互
いに隣接する中国語のワードを表しうる。更に、データ
構造は各ワードに関連するデータ例えばスピーチの部分
若しくは頻度を保持することが出来る。
【０００７】本発明の実施例で示されるように、データ
構造は、少なくとも３つのフィールド即ち位置、長さ及
びフラグのアレイにより表される。位置は、一つのスト
リング（この場合はワード）の第１番目の文字の位置を
示し、そして長さはこのストリングの長さを示す。フラ
グは、消去されるべきワードを表すために使用されそし
て更に一旦消去されたワードを回復するために使用され
る。これの他に、頻度の情報若しくはスピーチの部分を
保持する追加のフィールドが、曖昧さを解消するために
データ構造に加えられ得る。表１は、一つのストリン
グ”ｓｏｆｔｗａｒｅｄｅｖｅｌｏｐｍｅｎｔ”を、辞
書ルック・アップを使用して全てのワードを識別した後
の、このストリングに対するデータ構造を示す。
構造は、少なくとも３つのフィールド即ち位置、長さ及
びフラグのアレイにより表される。位置は、一つのスト
リング（この場合はワード）の第１番目の文字の位置を
示し、そして長さはこのストリングの長さを示す。フラ
グは、消去されるべきワードを表すために使用されそし
て更に一旦消去されたワードを回復するために使用され
る。これの他に、頻度の情報若しくはスピーチの部分を
保持する追加のフィールドが、曖昧さを解消するために
データ構造に加えられ得る。表１は、一つのストリン
グ”ｓｏｆｔｗａｒｅｄｅｖｅｌｏｐｍｅｎｔ”を、辞
書ルック・アップを使用して全てのワードを識別した後
の、このストリングに対するデータ構造を示す。
【０００８】
【表１】
【０００９】この例は英語であるが、この英語のテキス
トに対する処理が中国語のテキスト・ストリングに使用
される。このデータ構造内のワードを調べてみると、人
間は認識しないが、このテキストの全てのサブ・ストリ
ングを辞書のワードに対比させるコンピュータにより忠
実に見いだされたワードを含んでいることが判る。フラ
グ値零は、これがついているワードが消去されないこと
を示す。文字の位置は１から始まらず０から開始する。
トに対する処理が中国語のテキスト・ストリングに使用
される。このデータ構造内のワードを調べてみると、人
間は認識しないが、このテキストの全てのサブ・ストリ
ングを辞書のワードに対比させるコンピュータにより忠
実に見いだされたワードを含んでいることが判る。フラ
グ値零は、これがついているワードが消去されないこと
を示す。文字の位置は１から始まらず０から開始する。
【００１０】辞書ルック・アップ・プロセスは、テキス
ト内の全てのサブ・ストリングを識別してそしてこれら
を逐一辞書のワードに対比させる。しかしながら効率を
良くするためにそして辞書のワード不足を補償するため
に、次のような基準が使用される。（１）句読点文字を
含むサブ・ストリングは発生されない。そして（２）テ
キストの或る１つの文字が、辞書のワードにより囲まれ
ない場合、この文字がデータ構造にエントリィとしてリ
ストされる。表１では、フラグは全て零にセットされ
る。図１の右側は、上記ストリング”ｓｏｆｔｗａｒｅ
ｄｅｖｅｌｏｐｍｅｎｔ”と、辞書のワードとの対比に
より抽出された各ワードの位置的関係を示す。例えば、
ワード即ちサブ・ストリング”ｓｏ”は、位置０から始
まりそして長さは２文字分あり、サブ・ストリング”ｓ
ｏｆｔ”は、位置０から始まりそして長さは４文字分で
ある。同様にサブ・ストリング”ｏｆｔ”は、位置１か
ら始まりそして長さは３文字分である。
ト内の全てのサブ・ストリングを識別してそしてこれら
を逐一辞書のワードに対比させる。しかしながら効率を
良くするためにそして辞書のワード不足を補償するため
に、次のような基準が使用される。（１）句読点文字を
含むサブ・ストリングは発生されない。そして（２）テ
キストの或る１つの文字が、辞書のワードにより囲まれ
ない場合、この文字がデータ構造にエントリィとしてリ
ストされる。表１では、フラグは全て零にセットされ
る。図１の右側は、上記ストリング”ｓｏｆｔｗａｒｅ
ｄｅｖｅｌｏｐｍｅｎｔ”と、辞書のワードとの対比に
より抽出された各ワードの位置的関係を示す。例えば、
ワード即ちサブ・ストリング”ｓｏ”は、位置０から始
まりそして長さは２文字分あり、サブ・ストリング”ｓ
ｏｆｔ”は、位置０から始まりそして長さは４文字分で
ある。同様にサブ・ストリング”ｏｆｔ”は、位置１か
ら始まりそして長さは３文字分である。
【００１１】第１の隣接条件による処理：この第１の隣
接条件による処理は、表１に取り出された一つのワード
が、他のワードに隣接しないならば又はこのストリング
即ち、入力テキスト”ｓｏｆｔｗａｒｅｄｅｖｅｌｏｐ
ｍｅｎｔ”の開始点若しくは終了点にないならば、この
ワードに付けられたフラグ値を、このワードを消去する
ことを表す零でないフラグ値にセットする。表２はこの
第１の隣接条件による処理によりフラグ値が変更された
ことを示す。
接条件による処理は、表１に取り出された一つのワード
が、他のワードに隣接しないならば又はこのストリング
即ち、入力テキスト”ｓｏｆｔｗａｒｅｄｅｖｅｌｏｐ
ｍｅｎｔ”の開始点若しくは終了点にないならば、この
ワードに付けられたフラグ値を、このワードを消去する
ことを表す零でないフラグ値にセットする。表２はこの
第１の隣接条件による処理によりフラグ値が変更された
ことを示す。
【００１２】
【表２】
【００１３】表２に於けるフラグ値１は、他のワードの
開始即ちこの他のワードの第１文字に隣接して終了しな
いワードを表し、そしてフラグ値２は、先行するワード
に隣接して開始しないワードを表す。かくしてワード”
ｓｏ”は、これの後に、”ｆｔ・・・”で開始するワー
ドが存在しないので消去されるワードとしてマークされ
る。そして、ワード”ｏｆｔ”は、これに先行するワー
ド”ｓ”が有効なワードとしてデータ構造に存在しない
ので消去されるワードとしてマークされる。表２から明
らかなように、この第１の隣接条件による処理は、デー
タ構造内の１９のワードのうち８つのワードを排除即ち
消去する。
開始即ちこの他のワードの第１文字に隣接して終了しな
いワードを表し、そしてフラグ値２は、先行するワード
に隣接して開始しないワードを表す。かくしてワード”
ｓｏ”は、これの後に、”ｆｔ・・・”で開始するワー
ドが存在しないので消去されるワードとしてマークされ
る。そして、ワード”ｏｆｔ”は、これに先行するワー
ド”ｓ”が有効なワードとしてデータ構造に存在しない
ので消去されるワードとしてマークされる。表２から明
らかなように、この第１の隣接条件による処理は、デー
タ構造内の１９のワードのうち８つのワードを排除即ち
消去する。
【００１４】この第１の隣接条件による処理を図１を参
照して更に詳細に説明する。図を簡単にするために、図
１には表１の位置データ及び長さデータは示されていな
い。データ構造内のワードは、次の条件１を満足する時
に消去されない。 条件１： 入力テキストの開始点にあるか若しくは他の
ワードの直後にあり且つ入力テキストの終了点にあるか
若しくは他のワードの直前にある。即ち、ワードの第１
文字がこのストリング（即ち入力テキスト）の開始点に
あるか若しくはこのデータ構造内の他の先行ワードに隣
接しており、しかも最終文字がこのストリングの終了点
にあるか若しくはこのデータ構造内の他の後続ワードに
隣接しているワードは消去せず、そしてこれ以外のワー
ドを消去する。
照して更に詳細に説明する。図を簡単にするために、図
１には表１の位置データ及び長さデータは示されていな
い。データ構造内のワードは、次の条件１を満足する時
に消去されない。 条件１： 入力テキストの開始点にあるか若しくは他の
ワードの直後にあり且つ入力テキストの終了点にあるか
若しくは他のワードの直前にある。即ち、ワードの第１
文字がこのストリング（即ち入力テキスト）の開始点に
あるか若しくはこのデータ構造内の他の先行ワードに隣
接しており、しかも最終文字がこのストリングの終了点
にあるか若しくはこのデータ構造内の他の後続ワードに
隣接しているワードは消去せず、そしてこれ以外のワー
ドを消去する。
【００１５】ワード”ｓｏ”について説明すると、この
ワードの第１文字はこのストリング即ち入力テキスト
（即ち、ｓｏｆｔｗａｒｅｄｅｖｅｌｏｐｍｅｎｔ）の
開始点にあるが、このワードの最終文字がこのストリン
グの終了点になく若しくは後続ワードに隣接していない
ので、条件１を満足しない。従って、このワードのフラ
グは変更され、そしてこのワードは消去される。次に、
ワード”ｓｏｆｔ”について説明すると、このワードの
第１文字はこのストリングの開始点にあり、しかもこの
ワードの最終文字は他のワード”ｗａｒ”及び”ｗａｒ
ｅ”に隣接しているので条件１を満足し、従ってこのワ
ードは消去されずそしてフラグは変更されない。
ワードの第１文字はこのストリング即ち入力テキスト
（即ち、ｓｏｆｔｗａｒｅｄｅｖｅｌｏｐｍｅｎｔ）の
開始点にあるが、このワードの最終文字がこのストリン
グの終了点になく若しくは後続ワードに隣接していない
ので、条件１を満足しない。従って、このワードのフラ
グは変更され、そしてこのワードは消去される。次に、
ワード”ｓｏｆｔ”について説明すると、このワードの
第１文字はこのストリングの開始点にあり、しかもこの
ワードの最終文字は他のワード”ｗａｒ”及び”ｗａｒ
ｅ”に隣接しているので条件１を満足し、従ってこのワ
ードは消去されずそしてフラグは変更されない。
【００１６】次に、ワード”ｓｏｆｔｗａｒｅ”につい
て説明すると、このワードの第１文字はこのストリング
の開始点にあり、しかもこのワードの最終文字は他のワ
ード”ｄｅｖｅｌｏｐ”及び”ｄｅｖｅｌｏｐｍｅｎ
ｔ”に隣接しているので条件１を満足し、従ってこのワ
ードは消去されずそしてフラグは変更されない。ワー
ド”ｏｆ”について説明すると、このワードの第１文字
はこのストリングの開始点になく若しくはこのデータ構
造内の他の先行ワードに隣接しておらず、しかも最終文
字はこのストリングの終了点になく若しくは他の後続ワ
ードに隣接していないのでこのワードは第１条件を満足
しない。従ってこのワードは消去され、そしてフラグが
変更される。
て説明すると、このワードの第１文字はこのストリング
の開始点にあり、しかもこのワードの最終文字は他のワ
ード”ｄｅｖｅｌｏｐ”及び”ｄｅｖｅｌｏｐｍｅｎ
ｔ”に隣接しているので条件１を満足し、従ってこのワ
ードは消去されずそしてフラグは変更されない。ワー
ド”ｏｆ”について説明すると、このワードの第１文字
はこのストリングの開始点になく若しくはこのデータ構
造内の他の先行ワードに隣接しておらず、しかも最終文
字はこのストリングの終了点になく若しくは他の後続ワ
ードに隣接していないのでこのワードは第１条件を満足
しない。従ってこのワードは消去され、そしてフラグが
変更される。
【００１７】以下同様に、各ワードが条件１を満足する
かが調べられ、これを満足しないとフラグが変更され
る。この結果８つのワードのフラグが零から変更され
る。
かが調べられ、これを満足しないとフラグが変更され
る。この結果８つのワードのフラグが零から変更され
る。
【００１８】オーバーラップするストリング及び第１の
隣接条件による処理に伴う問題点：第１の隣接条件によ
る処理は多数のワードを減少するが、減少しすぎてスト
リング内にギャップ即ち空白部を生じることがある。こ
れは回復処理により矯正される。例えばこの様なギャッ
プが生じる例として、ストリング”ｔｈｅｘｒｅｓｕｌ
ｔ”を挙げることが出来る。図２に示すように、このス
トリング中のワード”ｔｈｅ”、”ｈｅｘ”、”ｒｅ”
及び”ｒｅｓｕｌｔ”を識別した後に、上記第１の隣接
条件による処理が行われる。これを詳細に説明すると、
ワード”ｔｈｅ”の第１文字はこのストリングの開始点
にあるが、このワードの最終文字は、このデータ構造内
の他のワードに隣接しておらず、そしてこのストリング
の終了点にないので、このワードは第１条件を満足せ
ず、従って、このワードは消去されそしてフラグが零か
ら変更される。次に、ワード”ｈｅｘ”について説明す
ると、このワードの最終文字は、他の後続ワード”ｒ
ｅ”に隣接しているが、第１文字はこのストリングの開
始点になく若しくは他の先行ワードに隣接していないの
で、従ってこのワードは条件１を満足しない。従ってこ
のワードは消去され、そしてフラグが変更される。次に
ワード”ｒｅ”について説明すると、このワードの第１
文字は他のワード”ｈｅｘ”に隣接しているが、最終文
字はこのストリングの終了点になく若しくは他のワード
に隣接していないので、このワードは条件１を満足せ
ず、従ってこのワードは消去されそしてフラグが変更さ
れる。次にワード”ｒｅｓｕｌｔ”について説明する
と、このワードの最終文字はこのストリングの終了点に
あり、そしてこのワードの第１文字は他のワード”ｈｅ
ｘ”に隣接しているので、このワードは条件１を満足す
る。従って、このワードのフラグは変更されず、消去さ
れないで残る。
隣接条件による処理に伴う問題点：第１の隣接条件によ
る処理は多数のワードを減少するが、減少しすぎてスト
リング内にギャップ即ち空白部を生じることがある。こ
れは回復処理により矯正される。例えばこの様なギャッ
プが生じる例として、ストリング”ｔｈｅｘｒｅｓｕｌ
ｔ”を挙げることが出来る。図２に示すように、このス
トリング中のワード”ｔｈｅ”、”ｈｅｘ”、”ｒｅ”
及び”ｒｅｓｕｌｔ”を識別した後に、上記第１の隣接
条件による処理が行われる。これを詳細に説明すると、
ワード”ｔｈｅ”の第１文字はこのストリングの開始点
にあるが、このワードの最終文字は、このデータ構造内
の他のワードに隣接しておらず、そしてこのストリング
の終了点にないので、このワードは第１条件を満足せ
ず、従って、このワードは消去されそしてフラグが零か
ら変更される。次に、ワード”ｈｅｘ”について説明す
ると、このワードの最終文字は、他の後続ワード”ｒ
ｅ”に隣接しているが、第１文字はこのストリングの開
始点になく若しくは他の先行ワードに隣接していないの
で、従ってこのワードは条件１を満足しない。従ってこ
のワードは消去され、そしてフラグが変更される。次に
ワード”ｒｅ”について説明すると、このワードの第１
文字は他のワード”ｈｅｘ”に隣接しているが、最終文
字はこのストリングの終了点になく若しくは他のワード
に隣接していないので、このワードは条件１を満足せ
ず、従ってこのワードは消去されそしてフラグが変更さ
れる。次にワード”ｒｅｓｕｌｔ”について説明する
と、このワードの最終文字はこのストリングの終了点に
あり、そしてこのワードの第１文字は他のワード”ｈｅ
ｘ”に隣接しているので、このワードは条件１を満足す
る。従って、このワードのフラグは変更されず、消去さ
れないで残る。
【００１９】上記の処理の結果データ構造が表すテキス
ト・ストリングにギャップが生じる。即ち、ワード”ｔ
ｈｅｘ”に対する２つのワード”ｔｈｅ”及び”ｈｅ
ｘ”は、第１の隣接条件による処理により消去されてし
まうからである。即ち、上記第１の隣接条件による処理
の条件１を満足しないストリング”ｔｈｅ”及び”ｈｅ
ｘ”がオーバーラップして（重なり合って）構成するワ
ード”ｔｈｅｘ”は、データ構造から消去されてしまっ
ている。
ト・ストリングにギャップが生じる。即ち、ワード”ｔ
ｈｅｘ”に対する２つのワード”ｔｈｅ”及び”ｈｅ
ｘ”は、第１の隣接条件による処理により消去されてし
まうからである。即ち、上記第１の隣接条件による処理
の条件１を満足しないストリング”ｔｈｅ”及び”ｈｅ
ｘ”がオーバーラップして（重なり合って）構成するワ
ード”ｔｈｅｘ”は、データ構造から消去されてしまっ
ている。
【００２０】オーバーラップしたストリングから隣接す
るストリングを生成即ち回復する処理：回復プロセスは
最初、データ構造内の消去されていないワードによりカ
バーされていないテキスト・ストリングの部分を識別す
る。この識別は、元のテキスト・ストリングをコピー
し、そしてデータ構造内の消去されていないワードに属
する文字をこのコピーから消去することにより行われ
る。このコピー内に残存する文字は、前述の第１隣接条
件による処理により消去されたワードが互いにオーバー
ラップして形成する文字である。このコピー内に残存す
る文字を”ｔｈｅｘ”とすると、互いにオーバーラップ
ししかも既に消去されているワードは図２から明らかな
ように”ｔｈｅ”及び”ｈｅｘ”である。次いで回復プ
ロセスは、第１の隣接条件による処理において単独文字
としてエントリィされなかった文字を選択し、そしてこ
の文字を最初の文字として含む最長の意味のあるワード
を回復し、そしてこれのフラグを零に戻す。例えばこの
ワードは”ｔｈｅ”である。もしも単独文字としてエン
トリィされなかった文字が消去済みのワードの第１文字
として生じないならば、この単独文字に対する新たなエ
ントリィがデータ構造内に作成される。上記の回復され
たワードの文字及び単独文字はコピーから消去され、そ
してコピー内の全ての文字が参照されて処理されるまで
このプロセスが繰り返される。
るストリングを生成即ち回復する処理：回復プロセスは
最初、データ構造内の消去されていないワードによりカ
バーされていないテキスト・ストリングの部分を識別す
る。この識別は、元のテキスト・ストリングをコピー
し、そしてデータ構造内の消去されていないワードに属
する文字をこのコピーから消去することにより行われ
る。このコピー内に残存する文字は、前述の第１隣接条
件による処理により消去されたワードが互いにオーバー
ラップして形成する文字である。このコピー内に残存す
る文字を”ｔｈｅｘ”とすると、互いにオーバーラップ
ししかも既に消去されているワードは図２から明らかな
ように”ｔｈｅ”及び”ｈｅｘ”である。次いで回復プ
ロセスは、第１の隣接条件による処理において単独文字
としてエントリィされなかった文字を選択し、そしてこ
の文字を最初の文字として含む最長の意味のあるワード
を回復し、そしてこれのフラグを零に戻す。例えばこの
ワードは”ｔｈｅ”である。もしも単独文字としてエン
トリィされなかった文字が消去済みのワードの第１文字
として生じないならば、この単独文字に対する新たなエ
ントリィがデータ構造内に作成される。上記の回復され
たワードの文字及び単独文字はコピーから消去され、そ
してコピー内の全ての文字が参照されて処理されるまで
このプロセスが繰り返される。
【００２１】この回復処理が終了すると、データ構造
は、テキスト・ストリング全体をカバーする一組の互い
にオーバーラップしないエントリィを含むようになる。
かくして、ストリング”ｔｈｅｘｒｅｓｕｌｔ”は、”
ｔｈｅ”、”ｘ”及び”ｒｅｓｕｌｔ”に回復される。
これの代わりにこのプロセスは、最終結果”ｔ”，”ｈ
ｅｘ”及び”ｒｅｓｕｌｔ”を生じることもできる。
は、テキスト・ストリング全体をカバーする一組の互い
にオーバーラップしないエントリィを含むようになる。
かくして、ストリング”ｔｈｅｘｒｅｓｕｌｔ”は、”
ｔｈｅ”、”ｘ”及び”ｒｅｓｕｌｔ”に回復される。
これの代わりにこのプロセスは、最終結果”ｔ”，”ｈ
ｅｘ”及び”ｒｅｓｕｌｔ”を生じることもできる。
【００２２】第２の隣接条件による処理：上記第１の隣
接条件による処理及び回復処理に続いて、以下に述べる
第２の隣接条件による処理により、データ構造から追加
のエントリィを削除することが出来る。この第２の隣接
条件による処理は、消去されていない他のワード（即ち
残存しているワード）に隣接しない若しくはストリング
の開始点及び終了点にないワードを消去する。表３は、
この第２の隣接条件による処理後の結果を示す。
接条件による処理及び回復処理に続いて、以下に述べる
第２の隣接条件による処理により、データ構造から追加
のエントリィを削除することが出来る。この第２の隣接
条件による処理は、消去されていない他のワード（即ち
残存しているワード）に隣接しない若しくはストリング
の開始点及び終了点にないワードを消去する。表３は、
この第２の隣接条件による処理後の結果を示す。
【００２３】
【００２４】
【表３】
【００２５】この表３においてフラグ３は、他の消去さ
れていないワードの開始点に隣接しないワードを表し、
そしてフラグ４は、先行する消去されていないワードに
隣接して開始しないワードを表す。第１の隣接条件によ
る処理はワードの境界を設定し、そして第２の隣接条件
による処理は、論理的な正しさを強調する。図３は、上
記表３に示す第２の隣接条件による処理を説明する。図
を簡略にするために、図３には、表３の位置データ及び
長さデータは示されていない。第１の隣接条件による処
理により、図３のデータエントリィのうち、ワード”ｓ
ｏ”、”ｏｆ”、”ｏｆｔ”、”ｗａｒ”、”ａ”、”
ａｒｅ”、”ｍｅ”及び”ｍｅｎ”は既に消去されてい
る。この第２の隣接条件による処理は、これらの既に消
去されているワード以外のワード即ち残存ワードが次の
条件２を満足するか否かを調べ、もしも満足すれば残存
させ、そしてもしも満足しなければフラグを零から変更
して消去する。
れていないワードの開始点に隣接しないワードを表し、
そしてフラグ４は、先行する消去されていないワードに
隣接して開始しないワードを表す。第１の隣接条件によ
る処理はワードの境界を設定し、そして第２の隣接条件
による処理は、論理的な正しさを強調する。図３は、上
記表３に示す第２の隣接条件による処理を説明する。図
を簡略にするために、図３には、表３の位置データ及び
長さデータは示されていない。第１の隣接条件による処
理により、図３のデータエントリィのうち、ワード”ｓ
ｏ”、”ｏｆ”、”ｏｆｔ”、”ｗａｒ”、”ａ”、”
ａｒｅ”、”ｍｅ”及び”ｍｅｎ”は既に消去されてい
る。この第２の隣接条件による処理は、これらの既に消
去されているワード以外のワード即ち残存ワードが次の
条件２を満足するか否かを調べ、もしも満足すれば残存
させ、そしてもしも満足しなければフラグを零から変更
して消去する。
【００２６】条件２：データ構造に残存しているワード
のうち、入力テキストの開始点にあるか若しくは他の残
存ワードの直後にあり且つ入力テキストの終了点にある
か若しくは他の残存ワードの直前にある。即ち、残存ワ
ードの第１文字がこのストリング（入力テキスト）の開
始点にあるか若しくは他の先行残存ワードに隣接してお
り、しかも最終文字がこのストリングの終了点にあるか
若しくは他の後続ワードに隣接しているワードを残し、
そしてこれに該当しないワードは消去する。
のうち、入力テキストの開始点にあるか若しくは他の残
存ワードの直後にあり且つ入力テキストの終了点にある
か若しくは他の残存ワードの直前にある。即ち、残存ワ
ードの第１文字がこのストリング（入力テキスト）の開
始点にあるか若しくは他の先行残存ワードに隣接してお
り、しかも最終文字がこのストリングの終了点にあるか
若しくは他の後続ワードに隣接しているワードを残し、
そしてこれに該当しないワードは消去する。
【００２７】最初の残存ワード”ｓｏｆｔ”について説
明すると、これの第１文字はストリングの開始点にあり
そして最終文字は他の残存ワード”ｗａｒｅ”に隣接し
ているので、このワードは条件２を満足し、従ってフラ
グ値は０に維持され、そしてこのワードは消去されな
い。次の残存ワード”ｓｏｆｔｗａｒｅ”について説明
すると、これの第１文字はこのストリングの開始点にあ
り、そして最終文字は他の残存ワード”ｄｅｖｅｌｏ
ｐ”に隣接しているので、このワードは条件２を満足
し、従って、フラグ値は０に維持され、そしてこのワー
ドは消去されない。
明すると、これの第１文字はストリングの開始点にあり
そして最終文字は他の残存ワード”ｗａｒｅ”に隣接し
ているので、このワードは条件２を満足し、従ってフラ
グ値は０に維持され、そしてこのワードは消去されな
い。次の残存ワード”ｓｏｆｔｗａｒｅ”について説明
すると、これの第１文字はこのストリングの開始点にあ
り、そして最終文字は他の残存ワード”ｄｅｖｅｌｏ
ｐ”に隣接しているので、このワードは条件２を満足
し、従って、フラグ値は０に維持され、そしてこのワー
ドは消去されない。
【００２８】次の残存ワード”ｗａｒｅ”について説明
すると、これの第１文字及び最終文字の両方とも他の残
存ワード”ｓｏｆｔ”及び”ｄｅｖｅｌｏｐ”にそれぞ
れ隣接しているので、条件２を満足し、従ってこれのフ
ラグ値は０に維持されそしてこのワードは消去されな
い。次の残存ワード”ｒｅ”について説明すると、これ
の第１文字はこのストリングの開始点になく又他の先行
残存ワードに隣接していないので条件２を満足しない。
従ってこれのフラグ値は０から変更され、そしてこのワ
ードは消去される。
すると、これの第１文字及び最終文字の両方とも他の残
存ワード”ｓｏｆｔ”及び”ｄｅｖｅｌｏｐ”にそれぞ
れ隣接しているので、条件２を満足し、従ってこれのフ
ラグ値は０に維持されそしてこのワードは消去されな
い。次の残存ワード”ｒｅ”について説明すると、これ
の第１文字はこのストリングの開始点になく又他の先行
残存ワードに隣接していないので条件２を満足しない。
従ってこれのフラグ値は０から変更され、そしてこのワ
ードは消去される。
【００２９】次の残存ワード”ｒｅｄ”について説明す
ると、これの第１文字はこのストリングの開始点になく
そして他の先行残存ワードに隣接していないので、条件
２を満足せず、従ってこれのフラグ値は０から変更さ
れ、そしてこのワードは消去される。
ると、これの第１文字はこのストリングの開始点になく
そして他の先行残存ワードに隣接していないので、条件
２を満足せず、従ってこれのフラグ値は０から変更さ
れ、そしてこのワードは消去される。
【００３０】次の残存ワード”ｒｅｄｅｖｅｌｏｐ”に
ついて説明すると、これの第１文字はこのストリングの
開始点になくそして他の先行残存文字に隣接していない
ので、条件２を満足しない。従ってこれのフラグ値は０
から変更され、そしてこのワードは消去される。次の残
存ワード”ｒｅｄｅｖｅｌｏｐｍｅｎｔ”について説明
すると、これの第１文字はこのストリングの開始点にな
くそして他の先行残存ワードに隣接していないので、条
件２を満足しない。従ってこれのフラグ値は０から変更
されそしてこのワードは消去される。
ついて説明すると、これの第１文字はこのストリングの
開始点になくそして他の先行残存文字に隣接していない
ので、条件２を満足しない。従ってこれのフラグ値は０
から変更され、そしてこのワードは消去される。次の残
存ワード”ｒｅｄｅｖｅｌｏｐｍｅｎｔ”について説明
すると、これの第１文字はこのストリングの開始点にな
くそして他の先行残存ワードに隣接していないので、条
件２を満足しない。従ってこれのフラグ値は０から変更
されそしてこのワードは消去される。
【００３１】次の残存ワード”ｄｅｖｅｌｏｐ”につい
て説明すると、これの第１文字は他の先行残存ワード”
ｗａｒｅ”に隣接しているが、最終文字はこのストリン
グの終了点になくそして他の後続残存ワードに隣接して
いないので、条件２を満足しない。従ってこれのフラグ
値は０から変更され、そしてこのワードは消去される。
て説明すると、これの第１文字は他の先行残存ワード”
ｗａｒｅ”に隣接しているが、最終文字はこのストリン
グの終了点になくそして他の後続残存ワードに隣接して
いないので、条件２を満足しない。従ってこれのフラグ
値は０から変更され、そしてこのワードは消去される。
【００３２】次の残存ワード”ｄｅｖｅｌｏｐｍｅｎ
ｔ”について説明すると、これの最終文字はこのストリ
ングの終了点にあり、そして第１文字が他の先行残存ワ
ード”ｗａｒｅ”に隣接しているので、条件２を満足
し、従ってこれのフラグ値０は変更されず、そしてこの
ワードは消去されない。次の残存ワード”ｅｖｅ”につ
いて説明すると、これの第１文字がこのストリングの開
始点になく又他の先行残存ワードに隣接していないの
で、条件２を満足しない。これの第１文字はワード”ｒ
ｅｄ”に隣接しているが、このワード”ｒｅｄ”は既に
消去されてしまっていることに注目されたい。従ってこ
のワードのフラグ値は０から変更されそしてこのワード
は消去される。
ｔ”について説明すると、これの最終文字はこのストリ
ングの終了点にあり、そして第１文字が他の先行残存ワ
ード”ｗａｒｅ”に隣接しているので、条件２を満足
し、従ってこれのフラグ値０は変更されず、そしてこの
ワードは消去されない。次の残存ワード”ｅｖｅ”につ
いて説明すると、これの第１文字がこのストリングの開
始点になく又他の先行残存ワードに隣接していないの
で、条件２を満足しない。これの第１文字はワード”ｒ
ｅｄ”に隣接しているが、このワード”ｒｅｄ”は既に
消去されてしまっていることに注目されたい。従ってこ
のワードのフラグ値は０から変更されそしてこのワード
は消去される。
【００３３】次に最後の残存ワード”ｌｏｐ”について
説明すると、これの第１文字はこのストリングの開始点
になくそして他の先行残存ワードに隣接していないの
で、条件２を満足しない。従ってこれのフラグ値は０か
ら変更されそしてこのワードは消去される。この第２の
隣接条件による処理により、更に７つのワードが消去さ
れる。この結果を次の表４に示す。
説明すると、これの第１文字はこのストリングの開始点
になくそして他の先行残存ワードに隣接していないの
で、条件２を満足しない。従ってこれのフラグ値は０か
ら変更されそしてこのワードは消去される。この第２の
隣接条件による処理により、更に７つのワードが消去さ
れる。この結果を次の表４に示す。
【００３４】
【表４】
【００３５】数字ストリングの処理：中国語のテキスト
は種々な数字のストリングを含み、そしてこれは一つの
単位として取り扱われねばならず、そして数字の組み合
わせの数は無制限であるので辞書内に見いだすことが出
来ない。この数字ストリングの処理は数字ロゴグラフだ
けから成る全てのストリングを識別し、そして隣接して
数字ストリングを取り囲む単一のデータエントリィをデ
ータ構造内に生成する。
は種々な数字のストリングを含み、そしてこれは一つの
単位として取り扱われねばならず、そして数字の組み合
わせの数は無制限であるので辞書内に見いだすことが出
来ない。この数字ストリングの処理は数字ロゴグラフだ
けから成る全てのストリングを識別し、そして隣接して
数字ストリングを取り囲む単一のデータエントリィをデ
ータ構造内に生成する。
【００３６】曖昧さの分析：表４に示されるように、第
２の隣接条件による処理の後には、幾らかの曖昧さが残
っている。”ｓｏｆｔ”及び”ｗａｒｅ”、が正しいの
か又は”ｓｏｆｔｗａｒｅ”が正しいのか曖昧である。
これを解消するために、他の追加の辞書データを使用す
ることができる。頻度の情報が、２つのワード対１つの
ワードのどちらが可能性が高いかを判断するのに使用さ
れうる。例えば、ＩＲ／Ｓのような幾つかのアプリケー
ションにおいては、３つのワード全てをインデックスす
ることが望ましことがある。このデータ構造は、曖昧さ
を維持し若しくは解消させることが出来る。次に述べる
のは、図４に示すフロー・チャートで実行されるステッ
プであり、これらは本発明を行うための動作ステップの
シーケンスである。
２の隣接条件による処理の後には、幾らかの曖昧さが残
っている。”ｓｏｆｔ”及び”ｗａｒｅ”、が正しいの
か又は”ｓｏｆｔｗａｒｅ”が正しいのか曖昧である。
これを解消するために、他の追加の辞書データを使用す
ることができる。頻度の情報が、２つのワード対１つの
ワードのどちらが可能性が高いかを判断するのに使用さ
れうる。例えば、ＩＲ／Ｓのような幾つかのアプリケー
ションにおいては、３つのワード全てをインデックスす
ることが望ましことがある。このデータ構造は、曖昧さ
を維持し若しくは解消させることが出来る。次に述べる
のは、図４に示すフロー・チャートで実行されるステッ
プであり、これらは本発明を行うための動作ステップの
シーケンスである。
【００３７】ステップ１：文字ストリングが入力装置か
ら入力されそしてコンピュータの内部メモリに記憶され
る。
ら入力されそしてコンピュータの内部メモリに記憶され
る。
【００３８】ステップ２：内部メモリに記憶されている
ストリングが文字毎に走査される。辞書と対比され辞書
内に見いだされたサブ・ストリング毎の位置及び長さを
含むデータ構造が生成される。データ構造内のこの様な
エントリィのそれぞれはワードと呼ばれ、そしてステー
タス・インジケータ即ちフラグが付けられる。このフラ
グは、ワードを消去若しくは消去したワードを回復する
ために使用される。
ストリングが文字毎に走査される。辞書と対比され辞書
内に見いだされたサブ・ストリング毎の位置及び長さを
含むデータ構造が生成される。データ構造内のこの様な
エントリィのそれぞれはワードと呼ばれ、そしてステー
タス・インジケータ即ちフラグが付けられる。このフラ
グは、ワードを消去若しくは消去したワードを回復する
ために使用される。
【００３９】ステップ３：第１の隣接条件による処理プ
ロセスが上記条件を満足しないワードを消去する。即
ち、ストリングの開始点になく若しくは他の消去されな
い先行ワードに隣接せず、そしてストリングの終了点に
なく若しくは他の消去されないワードが後続していない
ワードは消去としてマークされる。この処理は反復的に
行われる。この処理はワードがこれ以上消去されなくな
るまで反復される。
ロセスが上記条件を満足しないワードを消去する。即
ち、ストリングの開始点になく若しくは他の消去されな
い先行ワードに隣接せず、そしてストリングの終了点に
なく若しくは他の消去されないワードが後続していない
ワードは消去としてマークされる。この処理は反復的に
行われる。この処理はワードがこれ以上消去されなくな
るまで反復される。
【００４０】ステップ４：回復処理プロセスは、データ
構造内の消去されていないワードにより満たされていな
い即ちカバーされていない入力ストリングの部分を識別
する。識別は、入力ストリングのコピーを生成し、そし
てデータ構造内の消去されていないワードに属する文字
をコピーから除去する。次いで回復プロセスは、ストリ
ングのコピー内の残存文字に対する消去ワード（前のプ
ロセスで消去されたワード）を回復する。ストリングの
コピー内の或る文字が、消去ワードを回復する動作で使
用されないと（カバーされないと）、この単一文字に対
する新たなエントリィがデータ構造に作られる。各ワー
ドが回復され若しくは新たなデータ構造エントリィがな
されると、ストリング内の対応する文字は除去される。
ストリング内のコピー内の全ての文字が除去されるまで
このプロセスが繰り返される。この時点で、入力ストリ
ングの全ての文字が、少なくとも一つのデータ構造エン
トリィによりカバーされる。
構造内の消去されていないワードにより満たされていな
い即ちカバーされていない入力ストリングの部分を識別
する。識別は、入力ストリングのコピーを生成し、そし
てデータ構造内の消去されていないワードに属する文字
をコピーから除去する。次いで回復プロセスは、ストリ
ングのコピー内の残存文字に対する消去ワード（前のプ
ロセスで消去されたワード）を回復する。ストリングの
コピー内の或る文字が、消去ワードを回復する動作で使
用されないと（カバーされないと）、この単一文字に対
する新たなエントリィがデータ構造に作られる。各ワー
ドが回復され若しくは新たなデータ構造エントリィがな
されると、ストリング内の対応する文字は除去される。
ストリング内のコピー内の全ての文字が除去されるまで
このプロセスが繰り返される。この時点で、入力ストリ
ングの全ての文字が、少なくとも一つのデータ構造エン
トリィによりカバーされる。
【００４１】ステップ５：数字ストリングの処理プロセ
スは、隣接する数字を単一のデータ構造エントリィにま
とめる。データ構造は、数字文字のみから成るデータ構
造エントリィを見いだすために走査される。この様な幾
つかの隣接するエントリィが見いだされると、これらの
全ては消去され、そして最初のエントリィのみが回復さ
れるが、但しこれの長さ情報は、上記の全ての隣接する
数字文字を表すようにされる。
スは、隣接する数字を単一のデータ構造エントリィにま
とめる。データ構造は、数字文字のみから成るデータ構
造エントリィを見いだすために走査される。この様な幾
つかの隣接するエントリィが見いだされると、これらの
全ては消去され、そして最初のエントリィのみが回復さ
れるが、但しこれの長さ情報は、上記の全ての隣接する
数字文字を表すようにされる。
【００４２】ステップ６：このステップはすでに説明し
たように、ステップ３と似ている。前後にワードを伴わ
ないワードが消去される。
たように、ステップ３と似ている。前後にワードを伴わ
ないワードが消去される。
【００４３】ステップ７：出力プロセスは、印刷装置
へ、インデックス・プロセスへ、若しくはデータ・ベー
ス・プロセスへ出力するためにデータ構造のエントリィ
を選択する。この出力プロセスは、データ構造のエント
リィを選択するために統計的データを使用することが出
来る。例えば、２文字の中国語ワードは、１文字のワー
ド若しくは３文字以上のワードよりも頻繁に生じるの
で、この出力プロセスは、データ構造内にこれを選択で
きる基準がある場合には、２文字のワードの優先順位を
与えることが出来る。この様な選択は情報を印刷する場
合に有効である。しかしながら、データ・ベース内の情
報を検索する場合には、検索効率を最大にするためにデ
ータ構造内の全てのワードをインデックスすることが有
利である。
へ、インデックス・プロセスへ、若しくはデータ・ベー
ス・プロセスへ出力するためにデータ構造のエントリィ
を選択する。この出力プロセスは、データ構造のエント
リィを選択するために統計的データを使用することが出
来る。例えば、２文字の中国語ワードは、１文字のワー
ド若しくは３文字以上のワードよりも頻繁に生じるの
で、この出力プロセスは、データ構造内にこれを選択で
きる基準がある場合には、２文字のワードの優先順位を
与えることが出来る。この様な選択は情報を印刷する場
合に有効である。しかしながら、データ・ベース内の情
報を検索する場合には、検索効率を最大にするためにデ
ータ構造内の全てのワードをインデックスすることが有
利である。
【００４４】又、表４に示すように、１つのサブ・スト
リング”ｓｏｆｔｗａｒｅ”に対して、最終的に複数個
のワード即ち、”ｓｏｆｔ”，”ｗａｒｅ”及び”ｓｏ
ｆｔｗａｒｅ”がデータ構造内に作成された場合、”ｓ
ｏｆｔ”，”ｗａｒｅ”，”ｓｏｆｔｗａｒｅ”及び”
ｄｅｖｅｌｏｐｍｅｎｔ”のそれぞれの位置データ及び
長さデータを調べ、これら４つのワードのうち互いに隣
接するワードを連結して出力データを作成する。この様
にして作成された一つの出力データは、３つのワード即
ち、”ｓｏｆｔ”，”ｗａｒｅ”，”ｄｅｖｅｌｏｐｍ
ｅｎｔ”から成る出力データであり、そして他の出力デ
ータは、２つのワード即ち、”ｓｏｆｔｗａｒｅ”，”
ｄｅｖｅｌｏｐｍｅｎｔ”から成る出力データである。
この様に、含まれるワードの数が異なるが長さが等しい
複数種類の出力データを作成することが出来る。
リング”ｓｏｆｔｗａｒｅ”に対して、最終的に複数個
のワード即ち、”ｓｏｆｔ”，”ｗａｒｅ”及び”ｓｏ
ｆｔｗａｒｅ”がデータ構造内に作成された場合、”ｓ
ｏｆｔ”，”ｗａｒｅ”，”ｓｏｆｔｗａｒｅ”及び”
ｄｅｖｅｌｏｐｍｅｎｔ”のそれぞれの位置データ及び
長さデータを調べ、これら４つのワードのうち互いに隣
接するワードを連結して出力データを作成する。この様
にして作成された一つの出力データは、３つのワード即
ち、”ｓｏｆｔ”，”ｗａｒｅ”，”ｄｅｖｅｌｏｐｍ
ｅｎｔ”から成る出力データであり、そして他の出力デ
ータは、２つのワード即ち、”ｓｏｆｔｗａｒｅ”，”
ｄｅｖｅｌｏｐｍｅｎｔ”から成る出力データである。
この様に、含まれるワードの数が異なるが長さが等しい
複数種類の出力データを作成することが出来る。
【００４５】表５は処理された２つの中国語のストリン
グの例を示す。表６は、中国語のストリングの更に他の
２つの例を示す。表７は、更に他の２つの例を示す。表
５、６及び７は、上述の本発明の処理動作を実際に中国
語のストリングに適用した場合の結果を示し、そして充
分な結果が得られたことを示す。
グの例を示す。表６は、中国語のストリングの更に他の
２つの例を示す。表７は、更に他の２つの例を示す。表
５、６及び７は、上述の本発明の処理動作を実際に中国
語のストリングに適用した場合の結果を示し、そして充
分な結果が得られたことを示す。
【００４６】
【表５】
【００４７】
【表６】
【００４８】
【表７】
【００４９】
【発明の効果】本発明により、連続した中国語のテキス
トを中国語のワードに効率的に且つ正確に区切ることが
出来る。
トを中国語のワードに効率的に且つ正確に区切ることが
出来る。
【図１】本発明に従う第１の隣接処理による処理結果を
示す図である。
示す図である。
【図２】互いにオーバーラップするワードに起因して消
去されてしまう例を示す図である。
去されてしまう例を示す図である。
【図３】本発明に従う第２の隣接処理による処理結果を
示す図である。
示す図である。
【図４】本発明に従う処理ステップを示す図である。
Claims (4)
- 【請求項１】連続して並べられた文字から成る入力テキ
ストをワードで区切る方法において、 上記入力テキストを読み込み、 上記入力テキストの文字を順次に辞書のワードと比較
し、一致したワードを順次に記憶領域に記憶し、 上記記憶領域のワードのうち、上記入力テキストの開始
点にあるか若しくは他のワードの直後にあり且つ上記入
力テキストの終了点にあるか若しくは他のワードの直前
にあるワード以外のワードを上記記憶領域から消去し、 上記記憶領域に残存しているワードのうち、上記入力テ
キストの開始点にあるか若しくは他の残存ワードの直後
にあり且つ上記入力テキストの終了点にあるか若しくは
他の残存ワードの直前にあるワード以外のワードを消去
することを含む入力テキストをワードで区切る方法。 - 【請求項２】連続して並べられた文字から成る入力テキ
ストをワードで区切る方法において、 上記入力テキストを読み込み、 上記入力テキストの文字を順次に辞書のワードと比較
し、一致したワードを順次に記憶領域に記憶し、 上記記憶領域のワードのうち、上記入力テキストの開始
点にあるか若しくは他のワードの直後にあり且つ上記入
力テキストの終了点にあるか若しくは他のワードの直前
にあるワード以外のワードを上記記憶領域から消去し、 上記記憶領域に残存するワードに含まれる文字を上記入
力テキストの文字と比較し、上記入力テキストの文字の
うち上記残存するワードに含まれない文字を複数個の互
いに隣接するワード若しくは互いに隣接するワード及び
文字に区切って上記記憶領域にそれぞれ記憶し、 上記記憶領域に残存しているワードのうち、上記入力テ
キストの開始点にあるか若しくは他の残存ワードの直後
にあり且つ上記入力テキストの終了点にあるか若しくは
他の残存ワードの直前にあるワード以外のワードを消去
することを含む入力テキストをワードで区切る方法。 - 【請求項３】連続して並べられた文字から成る入力テキ
ストをワードで区切る方法において、 上記入力テキストを読み込み、 上記入力テキストの文字を順次に辞書のワードと比較
し、一致したワードを順次に記憶領域の各エントリィに
記憶し、 上記記憶領域のワードのうち、上記入力テキストの開始
点にあるか若しくは他のワードの直後にあり且つ上記入
力テキストの終了点にあるか若しくは他のワードの直前
にあるワード以外のワードを上記記憶領域のエントリィ
から消去し、 上記記憶領域のエントリィに残存するワードに含まれる
文字を上記入力テキストの文字と比較し、上記入力テキ
ストの文字のうち上記残存するワードに含まれない文字
を複数個の互いに隣接するワード若しくは互いに隣接す
るワード及び文字に区切って上記記憶領域の新たなエン
トリィにそれぞれ記憶し、 上記記憶領域内のエントリィのうち数字だけから成るエ
ントリィを見いだし、該エントリィのうち互いに隣接し
ているエントリィを連結して単一のエントリィとし、 上記記憶領域のエントリィに残存しているワードのう
ち、上記入力テキストの開始点にあるか若しくは他の残
存ワードの直後にあり且つ上記入力テキストの終了点に
あるか若しくは他の残存ワードの直前にあるワードでな
いワードを消去することを含む入力テキストをワードで
区切る方法。 - 【請求項４】上記記憶領域のワードのうち、互いに隣接
するワードを連結して出力データを作成することを特徴
とする請求項３の入力テキストをワードで区切る方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US08/025,464 US5448474A (en) | 1993-03-03 | 1993-03-03 | Method for isolation of Chinese words from connected Chinese text |
| US25464 | 2001-12-26 | ||
| US025464 | 2001-12-26 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH06325076A true JPH06325076A (ja) | 1994-11-25 |
| JP2741835B2 JP2741835B2 (ja) | 1998-04-22 |
Family
ID=21826213
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP6006143A Expired - Fee Related JP2741835B2 (ja) | 1993-03-03 | 1994-01-25 | 入力テキスト・ストリングをワードで区切る方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US5448474A (ja) |
| JP (1) | JP2741835B2 (ja) |
| KR (1) | KR0122518B1 (ja) |
| CN (2) | CN1168029C (ja) |
| TW (1) | TW261677B (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010157260A (ja) * | 1998-02-13 | 2010-07-15 | Microsoft Corp | 漢字文における単語区分方法 |
Families Citing this family (34)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1997040452A1 (en) * | 1996-04-23 | 1997-10-30 | Language Engineering Corporation | Automated natural language translation |
| US6760695B1 (en) | 1992-08-31 | 2004-07-06 | Logovista Corporation | Automated natural language processing |
| US6278967B1 (en) | 1992-08-31 | 2001-08-21 | Logovista Corporation | Automated system for generating natural language translations that are domain-specific, grammar rule-based, and/or based on part-of-speech analysis |
| JPH07182465A (ja) * | 1993-12-22 | 1995-07-21 | Hitachi Ltd | 文字認識方法 |
| US5806021A (en) * | 1995-10-30 | 1998-09-08 | International Business Machines Corporation | Automatic segmentation of continuous text using statistical approaches |
| US6470306B1 (en) | 1996-04-23 | 2002-10-22 | Logovista Corporation | Automated translation of annotated text based on the determination of locations for inserting annotation tokens and linked ending, end-of-sentence or language tokens |
| US6640006B2 (en) * | 1998-02-13 | 2003-10-28 | Microsoft Corporation | Word segmentation in chinese text |
| US6175834B1 (en) * | 1998-06-24 | 2001-01-16 | Microsoft Corporation | Consistency checker for documents containing japanese text |
| US6694055B2 (en) | 1998-07-15 | 2004-02-17 | Microsoft Corporation | Proper name identification in chinese |
| JP2000132560A (ja) | 1998-10-23 | 2000-05-12 | Matsushita Electric Ind Co Ltd | 中国語テレテキスト処理方法及び装置 |
| JP4302326B2 (ja) | 1998-11-30 | 2009-07-22 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | テキストの自動区分 |
| US6496844B1 (en) | 1998-12-15 | 2002-12-17 | International Business Machines Corporation | Method, system and computer program product for providing a user interface with alternative display language choices |
| US6389386B1 (en) | 1998-12-15 | 2002-05-14 | International Business Machines Corporation | Method, system and computer program product for sorting text strings |
| US6460015B1 (en) | 1998-12-15 | 2002-10-01 | International Business Machines Corporation | Method, system and computer program product for automatic character transliteration in a text string object |
| US7099876B1 (en) | 1998-12-15 | 2006-08-29 | International Business Machines Corporation | Method, system and computer program product for storing transliteration and/or phonetic spelling information in a text string class |
| US6185524B1 (en) | 1998-12-31 | 2001-02-06 | Lernout & Hauspie Speech Products N.V. | Method and apparatus for automatic identification of word boundaries in continuous text and computation of word boundary scores |
| US6968308B1 (en) | 1999-11-17 | 2005-11-22 | Microsoft Corporation | Method for segmenting non-segmented text using syntactic parse |
| US6731802B1 (en) | 2000-01-14 | 2004-05-04 | Microsoft Corporation | Lattice and method for identifying and normalizing orthographic variations in Japanese text |
| US6678409B1 (en) * | 2000-01-14 | 2004-01-13 | Microsoft Corporation | Parameterized word segmentation of unsegmented text |
| US6513003B1 (en) | 2000-02-03 | 2003-01-28 | Fair Disclosure Financial Network, Inc. | System and method for integrated delivery of media and synchronized transcription |
| WO2002101578A1 (fr) * | 2001-06-11 | 2002-12-19 | Hiroshi Ishikura | Systeme destine a assister la saisie de texte par production automatique d'espaces |
| US20050060150A1 (en) * | 2003-09-15 | 2005-03-17 | Microsoft Corporation | Unsupervised training for overlapping ambiguity resolution in word segmentation |
| US20070214189A1 (en) * | 2006-03-10 | 2007-09-13 | Motorola, Inc. | System and method for consistency checking in documents |
| US8539349B1 (en) | 2006-10-31 | 2013-09-17 | Hewlett-Packard Development Company, L.P. | Methods and systems for splitting a chinese character sequence into word segments |
| US8428932B2 (en) * | 2006-12-13 | 2013-04-23 | Nathan S. Ross | Connected text data stream comprising coordinate logic to identify and validate segmented words in the connected text |
| KR101638442B1 (ko) * | 2009-11-24 | 2016-07-12 | 한국전자통신연구원 | 중국어 구문 분절 방법 및 장치 |
| US9767095B2 (en) | 2010-05-21 | 2017-09-19 | Western Standard Publishing Company, Inc. | Apparatus, system, and method for computer aided translation |
| JP5372110B2 (ja) * | 2011-10-28 | 2013-12-18 | シャープ株式会社 | 情報出力装置、情報出力方法、及びコンピュータプログラム |
| IL224482B (en) | 2013-01-29 | 2018-08-30 | Verint Systems Ltd | System and method for keyword spotting using representative dictionary |
| CN103679165B (zh) * | 2013-12-31 | 2017-02-08 | 北京百度网讯科技有限公司 | Ocr字符识别方法及系统 |
| JP6476618B2 (ja) * | 2014-07-07 | 2019-03-06 | 富士通株式会社 | 伸長方法、伸長プログラムおよび伸長装置 |
| IL242218B (en) | 2015-10-22 | 2020-11-30 | Verint Systems Ltd | A system and method for maintaining a dynamic dictionary |
| IL242219B (en) | 2015-10-22 | 2020-11-30 | Verint Systems Ltd | System and method for keyword searching using both static and dynamic dictionaries |
| CN107168952B (zh) * | 2017-05-15 | 2021-06-04 | 北京百度网讯科技有限公司 | 基于人工智能的信息生成方法和装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS63284676A (ja) * | 1987-05-16 | 1988-11-21 | Ricoh Co Ltd | 文字列処理装置 |
| JPH04299767A (ja) * | 1991-03-28 | 1992-10-22 | Ricoh Co Ltd | 形態素解析装置 |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4327421A (en) * | 1976-05-13 | 1982-04-27 | Transtech International Corporation | Chinese printing system |
| US4679951A (en) * | 1979-11-06 | 1987-07-14 | Cornell Research Foundation, Inc. | Electronic keyboard system and method for reproducing selected symbolic language characters |
| US4365235A (en) * | 1980-12-31 | 1982-12-21 | International Business Machines Corporation | Chinese/Kanji on-line recognition system |
| US4484305A (en) * | 1981-12-14 | 1984-11-20 | Paul Ho | Phonetic multilingual word processor |
| JPH0724055B2 (ja) * | 1984-07-31 | 1995-03-15 | 株式会社日立製作所 | 単語分割処理方法 |
| JPS61105671A (ja) * | 1984-10-29 | 1986-05-23 | Hitachi Ltd | 自然言語処理装置 |
| US4742516A (en) * | 1985-01-14 | 1988-05-03 | Sumitomo Electric Industries, Ltd. | Method for transmitting voice information |
| KR880001588Y1 (ko) * | 1985-02-18 | 1988-05-04 | 최영수 | 단어 암기 용구 |
| JPS61255468A (ja) * | 1985-05-08 | 1986-11-13 | Toshiba Corp | 機械翻訳処理装置 |
| JPS6231467A (ja) * | 1985-08-01 | 1987-02-10 | Toshiba Corp | 文章作成装置 |
| US4669901A (en) * | 1985-09-03 | 1987-06-02 | Feng I Ming | Keyboard device for inputting oriental characters by touch |
| GB8629908D0 (en) * | 1986-12-15 | 1987-01-28 | Kemano Ltd | Words & characters computer input device |
| US5079702A (en) * | 1990-03-15 | 1992-01-07 | Paul Ho | Phonetic multi-lingual word processor |
| US5161245A (en) * | 1991-05-01 | 1992-11-03 | Apple Computer, Inc. | Pattern recognition system having inter-pattern spacing correction |
-
1993
- 1993-03-03 US US08/025,464 patent/US5448474A/en not_active Expired - Fee Related
-
1994
- 1994-01-25 JP JP6006143A patent/JP2741835B2/ja not_active Expired - Fee Related
- 1994-02-18 CN CNB991231104A patent/CN1168029C/zh not_active Expired - Fee Related
- 1994-02-18 CN CN94101382A patent/CN1095576C/zh not_active Expired - Fee Related
- 1994-02-19 KR KR1019940003001A patent/KR0122518B1/ko not_active Expired - Fee Related
- 1994-03-03 TW TW083101864A patent/TW261677B/zh active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS63284676A (ja) * | 1987-05-16 | 1988-11-21 | Ricoh Co Ltd | 文字列処理装置 |
| JPH04299767A (ja) * | 1991-03-28 | 1992-10-22 | Ricoh Co Ltd | 形態素解析装置 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010157260A (ja) * | 1998-02-13 | 2010-07-15 | Microsoft Corp | 漢字文における単語区分方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US5448474A (en) | 1995-09-05 |
| CN1168029C (zh) | 2004-09-22 |
| KR940022314A (ko) | 1994-10-20 |
| KR0122518B1 (ko) | 1997-11-20 |
| CN1095576C (zh) | 2002-12-04 |
| JP2741835B2 (ja) | 1998-04-22 |
| CN1100542A (zh) | 1995-03-22 |
| CN1254891A (zh) | 2000-05-31 |
| TW261677B (ja) | 1995-11-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH06325076A (ja) | 入力テキストをワードで区切る方法 | |
| JP2726568B2 (ja) | 文字認識方法及び装置 | |
| JP4162711B2 (ja) | Ｎグラム・ワード分解を用いた携帯型文書索引付け用のシステム及び方法 | |
| JP3356536B2 (ja) | 機械翻訳装置 | |
| US5890103A (en) | Method and apparatus for improved tokenization of natural language text | |
| JP3784060B2 (ja) | データベース検索システム、その検索方法及びプログラム | |
| JP2000132560A (ja) | 中国語テレテキスト処理方法及び装置 | |
| JP3727995B2 (ja) | 文書処理方法及び装置 | |
| JP2828692B2 (ja) | 情報検索装置 | |
| JP3398729B2 (ja) | キーワード自動抽出装置およびキーワード自動抽出方法 | |
| JP7651962B2 (ja) | 情報処理装置、情報処理システム、情報処理方法、及びプログラム | |
| JPH1011431A (ja) | 漢字検索装置および方法 | |
| JP3666066B2 (ja) | 多言語文書登録検索装置 | |
| JPH0750486B2 (ja) | キ−ワ−ド抽出装置 | |
| JP2560656B2 (ja) | 文書ファイリングシステム | |
| JP2001142876A (ja) | 漢字検索システム | |
| JPH09330331A (ja) | 成句検出方法 | |
| JP2729342B2 (ja) | 仮名漢字変換方法および装置 | |
| JPH08221443A (ja) | 漢字を含むテキストの検索方法及び装置 | |
| JPH09138809A (ja) | 全文検索方法 | |
| JPH0721212A (ja) | 文書処理装置 | |
| JPH10307823A (ja) | 翻訳方法、翻訳装置及び翻訳プログラムを格納した 記録媒体 | |
| JPH11191107A (ja) | 文書処理方法とその装置 | |
| JP2006134051A (ja) | 翻訳装置、翻訳方法およびプログラム | |
| JPS6175467A (ja) | 仮名漢字変換方式 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |