JPH02299068A - 入力文字列からワードを分離する方法 - Google Patents
入力文字列からワードを分離する方法Info
- Publication number
- JPH02299068A JPH02299068A JP2108980A JP10898090A JPH02299068A JP H02299068 A JPH02299068 A JP H02299068A JP 2108980 A JP2108980 A JP 2108980A JP 10898090 A JP10898090 A JP 10898090A JP H02299068 A JPH02299068 A JP H02299068A
- Authority
- JP
- Japan
- Prior art keywords
- character
- input signal
- delimiter
- token
- current
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/284—Lexical analysis, e.g. tokenisation or collocates
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Machine Translation (AREA)
- Document Processing Apparatus (AREA)
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【発明の詳細な説明】
Ａ、産業上の利用分野
本発明は概してデータ処理方法に関し、より具体的には
、言語に依存しない（言語から独立した）テキストのト
ークン化のための改善されたコンピュータ方式に関する
。
、言語に依存しない（言語から独立した）テキストのト
ークン化のための改善されたコンピュータ方式に関する
。
Ｂ、従来の技術
ワード及びそれらの区切り記号の識別は、どのような自
然言語処理タスクにとっても必要なステップである。ワ
ードの分離は、その処理がワード及び句読点のトークン
を発生するので、「トークン化」とも呼ばれる。多くの
言語上のタスクは辞書またはデータベースの探索に依存
するので、辞書または探索データベースに対して矛盾な
く一致する方法で、ワードを分離できることが不可欠で
ある。
然言語処理タスクにとっても必要なステップである。ワ
ードの分離は、その処理がワード及び句読点のトークン
を発生するので、「トークン化」とも呼ばれる。多くの
言語上のタスクは辞書またはデータベースの探索に依存
するので、辞書または探索データベースに対して矛盾な
く一致する方法で、ワードを分離できることが不可欠で
ある。
ワードを分離するための技法は、辞書またはデータベー
ス、及びそれを使用するアプリケーションの内容に影響
を及ぼす。辞書は”ｃａｎ’ｔ”などの短縮または’ｍ
ｏｔｈｅｒ−ｉｎ−１ａｗ” などのハイフンでつなが
れたワードを含むべきか。大文字で始まるワードが許さ
れる場合は、“Ｖ １ｃｔｏｒ”と°’ｖｉｃｔｏｒ”
、”Ｂ１１１”と’ｂｉｌｌ″の間に区別はあるか。辞
書は”ｈｏｔ ｄｏｇ″などの複合語の見出し語または
ｅｔｃ、”などの略語を含むか。”４２ｎｄ” または
”Ｂ−５２″などの数字を伴う単語は許容されるか。ハ
イフン付きの電話番号及び括弧内の市外局番はどのよう
にトークン化すべきか。
ス、及びそれを使用するアプリケーションの内容に影響
を及ぼす。辞書は”ｃａｎ’ｔ”などの短縮または’ｍ
ｏｔｈｅｒ−ｉｎ−１ａｗ” などのハイフンでつなが
れたワードを含むべきか。大文字で始まるワードが許さ
れる場合は、“Ｖ １ｃｔｏｒ”と°’ｖｉｃｔｏｒ”
、”Ｂ１１１”と’ｂｉｌｌ″の間に区別はあるか。辞
書は”ｈｏｔ ｄｏｇ″などの複合語の見出し語または
ｅｔｃ、”などの略語を含むか。”４２ｎｄ” または
”Ｂ−５２″などの数字を伴う単語は許容されるか。ハ
イフン付きの電話番号及び括弧内の市外局番はどのよう
にトークン化すべきか。
辞書が英語以外の言語用に設計されている場合は、ワー
ドの分離は言語特をの規則を考慮する必要がある。フラ
ンス語では、短縮された接頭辞、例えば’ｌ’ｅｎｙｅ
ｌｏｐｐｅ” （ｔｈｅ ｅｎｖｅｌｏｐｅ） が、多
くのワードで見られ、これらの接頭辞は一般的には辞書
の見出しワードの一部としては含まれない。
ドの分離は言語特をの規則を考慮する必要がある。フラ
ンス語では、短縮された接頭辞、例えば’ｌ’ｅｎｙｅ
ｌｏｐｐｅ” （ｔｈｅ ｅｎｖｅｌｏｐｅ） が、多
くのワードで見られ、これらの接頭辞は一般的には辞書
の見出しワードの一部としては含まれない。
同様に、”ｐｅｒｍｅｔｔｅｚ−ｍａｉｌｌ（ｐｅｒｍ
ｉｔ ｍｅ）などのハイフンでつながれたいくつかのフ
ランス語モ、ハイフンでつながれていても、別々のワー
ドとして認識される必要がある。
ｉｔ ｍｅ）などのハイフンでつながれたいくつかのフ
ランス語モ、ハイフンでつながれていても、別々のワー
ドとして認識される必要がある。
本発明の目的は、文字順別表の使用による複数のコンピ
ュータ・ハードウェア及び自然言語のための首尾一貫し
た方法で、自然言語テキストの文字列からワードを分離
するための手段を提供することである。類別表は従来技
術と比べてトークンの定義を簡単にし、特定のコンピュ
ータ、または特定の言語アプリケ−シロンまたはデータ
ベース・アプリケーション用の処理をカストマイズする
ことを可能にする。
ュータ・ハードウェア及び自然言語のための首尾一貫し
た方法で、自然言語テキストの文字列からワードを分離
するための手段を提供することである。類別表は従来技
術と比べてトークンの定義を簡単にし、特定のコンピュ
ータ、または特定の言語アプリケ−シロンまたはデータ
ベース・アプリケーション用の処理をカストマイズする
ことを可能にする。
ある従来技術の方法では、ワードは、ブランクで区切ら
れた文字列を分離し、次に始めと終りの句読文字を取り
除くことにより識別される。第２の従来技術の方法は、
はめ込まれたハイフンやアポストロフィを含む英数字列
のみを分離する。これらの手法はテキストの大部分につ
いてワードを分離することには成功するが、多くの例外
的な場合に適切なトークン化をしない。
れた文字列を分離し、次に始めと終りの句読文字を取り
除くことにより識別される。第２の従来技術の方法は、
はめ込まれたハイフンやアポストロフィを含む英数字列
のみを分離する。これらの手法はテキストの大部分につ
いてワードを分離することには成功するが、多くの例外
的な場合に適切なトークン化をしない。
第３の従来技術の方法は、文法的記述を書くことが必要
な語常解析機構を使用する。Ｍ、Ｅ、レスク（Ｌｅｓｋ
）、及びＥ、シュミット（Ｓｃｈｍｉｄｔ）、ｒＬＥＸ
−語柔解析発生機構（ＬＥＸ −Ａ Ｉ、ｅｘｉｃａｌ
Ａｎａｌｙｚｅｒ ＧｅｎｅｒａｔｏｒＪ Ｎ Ｃｏｗ
ｕｔ、 Ｓｃｉ、 Ｔｅｃｈ、 Ｒｅ 。
な語常解析機構を使用する。Ｍ、Ｅ、レスク（Ｌｅｓｋ
）、及びＥ、シュミット（Ｓｃｈｍｉｄｔ）、ｒＬＥＸ
−語柔解析発生機構（ＬＥＸ −Ａ Ｉ、ｅｘｉｃａｌ
Ａｎａｌｙｚｅｒ ＧｅｎｅｒａｔｏｒＪ Ｎ Ｃｏｗ
ｕｔ、 Ｓｃｉ、 Ｔｅｃｈ、 Ｒｅ 。
３９ Ｂｅ１ｌ Ｌａｂｏｒａｔｏｒｉｅｓ）Ｈｕ
ｒｒａｙ ｌ１ｉｌｌｔ Ｎ、Ｊ、１１９７５年１
０月）。この著作は、パターンが一致したとき特定のア
クションを実行するＣプログラム言語のステートメント
にパターンが関連付けられる、パターン突合せプログラ
ムについて記述している。ＬＥＸはワードを分離するた
め使用することができるが、非常に緊密にＣ言語と結合
しているので、その複雑さは自然言語よりもむしろコン
ピュータ言語の解析に一層適している。
ｒｒａｙ ｌ１ｉｌｌｔ Ｎ、Ｊ、１１９７５年１
０月）。この著作は、パターンが一致したとき特定のア
クションを実行するＣプログラム言語のステートメント
にパターンが関連付けられる、パターン突合せプログラ
ムについて記述している。ＬＥＸはワードを分離するた
め使用することができるが、非常に緊密にＣ言語と結合
しているので、その複雑さは自然言語よりもむしろコン
ピュータ言語の解析に一層適している。
関連特許出願
関連特許出願は、Ａ、ザモラ（Ｚａｍｏｒａ）、Ｍ、ガ
ンサー（Ｇｕｎｔｈｅｒ ）及びＥ、ザモラ（Ｚａｎ＋
ｏｒａ ）により１９８６年１０月２９日に出願され、
ＩＢＭ社に譲渡された、「自然言語テキストのための解
析法（Ａ Ｐａｒｓｅｒ ｆｏｒ ）ｌａｔｕｒａｌ
Ｌａｎｇｕａｇｅ Ｔｅｘｔ） Ｊと題された米国特許
出願第９２４６７０号であり、この特許出願は、接頭辞
／接尾辞及びその他の自然言語解析技術の説明を提供す
るため引用により本書に組み込まれている。
ンサー（Ｇｕｎｔｈｅｒ ）及びＥ、ザモラ（Ｚａｎ＋
ｏｒａ ）により１９８６年１０月２９日に出願され、
ＩＢＭ社に譲渡された、「自然言語テキストのための解
析法（Ａ Ｐａｒｓｅｒ ｆｏｒ ）ｌａｔｕｒａｌ
Ｌａｎｇｕａｇｅ Ｔｅｘｔ） Ｊと題された米国特許
出願第９２４６７０号であり、この特許出願は、接頭辞
／接尾辞及びその他の自然言語解析技術の説明を提供す
るため引用により本書に組み込まれている。
Ｃ３発明が解決しようとする課題
したがって、本発明の目的は、言語から独立したトーク
ン化のための改善された方法を提供することである。
ン化のための改善された方法を提供することである。
本発明のもう１つの目的は、自然言語テキストのストリ
ームからワードを分離するための改善された方法を提供
することである。
ームからワードを分離するための改善された方法を提供
することである。
本発明のさらにもう１つの目的は、複数のコンピュータ
・タイプについて、自然言語テキストのストリームから
ワードを分離するための改善された方法を提供すること
である。
・タイプについて、自然言語テキストのストリームから
ワードを分離するための改善された方法を提供すること
である。
本発明のさらにもう１つの目的は、種々の自然言語につ
いて、自然言語テキストのストリームがらワードを分離
するための改善された方法を提供することである。
いて、自然言語テキストのストリームがらワードを分離
するための改善された方法を提供することである。
００課題を解決するための手段
本発明は、自然言語テキストの入力ストリームを、ワー
ドに密接に対応する単純トークンに分割する。単純トー
クンは、区切り記号で分離された文字列である。区切り
記号は一般にブランク及び句読文字を含む。
ドに密接に対応する単純トークンに分割する。単純トー
クンは、区切り記号で分離された文字列である。区切り
記号は一般にブランク及び句読文字を含む。
単純トークンは区切り記号で分離されるので、単純トー
クンの性質は区切り記号の定義に依存する。ブランクは
、後で示す文字分類サンプル表における基本的な区切り
記号と考えられる。句読記号、すなわち、英字、数字及
び基本区切り記号以外の文字も区切り記号であるが、特
定の条件下でのみ区切り記号として扱われるものがある
。
クンの性質は区切り記号の定義に依存する。ブランクは
、後で示す文字分類サンプル表における基本的な区切り
記号と考えられる。句読記号、すなわち、英字、数字及
び基本区切り記号以外の文字も区切り記号であるが、特
定の条件下でのみ区切り記号として扱われるものがある
。
例えば、多くの文脈では、”、″は区切り記号である。
しかし、数字で囲まれたときは、トークン区切り記号で
はない（例えば、３．１４１８）。
はない（例えば、３．１４１８）。
そこで、現在（の）文字に先行する文字（以下では前の
文字とも言う）と後続文字（以下では次の文字とも言う
）を解析することになる。
文字とも言う）と後続文字（以下では次の文字とも言う
）を解析することになる。
Ｅ、実施例
トークン化 字の 類
トークンはトークン化アルゴリズムにより定義され、ト
ークン化アルゴリズムは入力の各文字について、それが
現トークンに属するか否かを判定する。このアルゴリズ
ムは、文字分類表で各文字が割り当てられている項類（
カテゴリー）に基づいてその判定を行なう。項類は３つ
の大きなグループに分類される。
ークン化アルゴリズムは入力の各文字について、それが
現トークンに属するか否かを判定する。このアルゴリズ
ムは、文字分類表で各文字が割り当てられている項類（
カテゴリー）に基づいてその判定を行なう。項類は３つ
の大きなグループに分類される。
グループ１は、全ての文脈（コンチクスト）で区切り記
号になる項類Ａ及びＤから成る。グループ２は、決して
区切り記号にならない項類り、 Ｕ及びＮを定義する。
号になる項類Ａ及びＤから成る。グループ２は、決して
区切り記号にならない項類り、 Ｕ及びＮを定義する。
グループ３は、使用される文脈により条件付きで区切り
記号になり得る文字から成る（項類ＥないしＫ）。
記号になり得る文字から成る（項類ＥないしＫ）。
項類Ｈの文字、例えば、”、！？”は特別の状況を有す
る。この項類から同一文字が１つのシーケンスで共に発
生したときは、それぞれの文字は区切り記号とし、て働
かない。その代わり、文字シーケンス全体が単純トーク
ンを形成する。しかし、共に受は取られた文字のシーケ
ンスが区切り記号として働く。それは、シーケンスが、
前後の文字から分離したトークンを形成するからである
。例えば、テキスト・文字列 ａｂｃ、 、 、ｄｅｆ
″は３つのトークン”ａｂｃ”、”９１．′及び”ｄｅ
ｆ”に分割される。同様に、”Ｕｎｂｅ Ｉ １ｅｖａ
ｂ ｌｅ ！ ！ ！ ！ ”は５つではなく２つのト
ークンを生じ（”Ｕｎｂｅｌｉｅｖａｂｌｅ ”及び”
ｊｊｉｊ”）、さらに、”Ａｓｔｏｕｎｄｉ１ｇ！ＨＨ
７？７”は７つではなく３つのトークンを生じる（Δｓ
ｔｏｕｎｄｉｎｇ”、” ｊ ｊ ｌ ”及び“’？？
？’“）。
る。この項類から同一文字が１つのシーケンスで共に発
生したときは、それぞれの文字は区切り記号とし、て働
かない。その代わり、文字シーケンス全体が単純トーク
ンを形成する。しかし、共に受は取られた文字のシーケ
ンスが区切り記号として働く。それは、シーケンスが、
前後の文字から分離したトークンを形成するからである
。例えば、テキスト・文字列 ａｂｃ、 、 、ｄｅｆ
″は３つのトークン”ａｂｃ”、”９１．′及び”ｄｅ
ｆ”に分割される。同様に、”Ｕｎｂｅ Ｉ １ｅｖａ
ｂ ｌｅ ！ ！ ！ ！ ”は５つではなく２つのト
ークンを生じ（”Ｕｎｂｅｌｉｅｖａｂｌｅ ”及び”
ｊｊｉｊ”）、さらに、”Ａｓｔｏｕｎｄｉ１ｇ！ＨＨ
７？７”は７つではなく３つのトークンを生じる（Δｓ
ｔｏｕｎｄｉｎｇ”、” ｊ ｊ ｌ ”及び“’？？
？’“）。
−乙上記１」」引１■
項類Ａ
基本区切り記号（この項類はブランク文字などの１文字
を含むことができるだけである。）項類り 括弧、中括弧及びアンバーサンドなどの基本区切り記号
以外の区切り記号。
を含むことができるだけである。）項類り 括弧、中括弧及びアンバーサンドなどの基本区切り記号
以外の区切り記号。
グループ２の 類
項類し
小文字の英字、例えば、”ａ ”、ｂ″、Ｃ″。
項類Ｕ
大文字の英字、例えば、“°Ａ“ｎ Ｂ ｔ＋１″Ｃ“
°。
°。
項類Ｎ
肩文字または添字を含まない数字、例えば、″ ０ °
゛、 “ｌｒｌ、ｌ“ ２ °゛。
゛、 “ｌｒｌ、ｌ“ ２ °゛。
ｌ」二ニア”３ノソＬ狙
グループ３の項類を定義するため使用される表記の定義
。
。
ｐ ＝［ｙ Ｉ ｐ］ Ｐにおける任意の文字ａ
＝［ｙ ｌ ＬｏｒＵ］ ＬまたはＵにおける任意の
文字Ｈ＝［ｙ Ｉ Ｎ］ Ｈにおける任意の文字
句読点は、英字でも数字でもない任意の文字であり、次
の表記により定義される。
＝［ｙ ｌ ＬｏｒＵ］ ＬまたはＵにおける任意の
文字Ｈ＝［ｙ Ｉ Ｎ］ Ｈにおける任意の文字
句読点は、英字でも数字でもない任意の文字であり、次
の表記により定義される。
Ｐ ＝ ［ｙ ｌ ｎｏｔ（Ｌ ｏｒ Ｕ ｏｒ Ｎ
）］記号°く１は°ｐｒｅｃｅｄｅｓ ’ （先行する
）を意味するため使用される。したがって、”ａ ＜
ｂ” は、°゛ａ”が“′ｂ“°に先行することを意味
する。
）］記号°く１は°ｐｒｅｃｅｄｅｓ ’ （先行する
）を意味するため使用される。したがって、”ａ ＜
ｂ” は、°゛ａ”が“′ｂ“°に先行することを意味
する。
項類Ｅ
Ｅ ： ［ｅ Ｉ ａ ＜ ｅ
＜ ａ］英字により囲まれたときは区切り記
号として扱われな−い句読文字セット。例えば、アポス
トロフィ。
＜ ａ］英字により囲まれたときは区切り記
号として扱われな−い句読文字セット。例えば、アポス
トロフィ。
項類Ｆ
Ｆ＝’［ｆ ｌ ｎ＜ｆ ＜ｎ］数字によ
り囲まれたときは区切り記号として扱われない句読文字
セット。
り囲まれたときは区切り記号として扱われない句読文字
セット。
例えば、、：／−
項類Ｇ
Ｇ ＝ ［ｇ Ｉ ｐ ＜ ｇ ＜ ｎ
］前に句読点があり、後に数字があるときは区切り記号
として扱われない句読文字セット。
］前に句読点があり、後に数字があるときは区切り記号
として扱われない句読文字セット。
例えば０、＄
項類Ｈ
Ｈ： ［ｈ ｌ（ｐ ＜ ｈ） ａｎｄ （
ｈ ＝ ｐ）］同じ文字が直前にあるときは区切り記
号として扱われない句読文字セット。
ｈ ＝ ｐ）］同じ文字が直前にあるときは区切り記
号として扱われない句読文字セット。
例えば１．、 ：／−＊＝＃％
項類Ｉ
Ｉ ＝［ｉ ｌ Ｆ ａｎｄ Ｈ］
゛ ｉはＦ及びＨの要素である。
例えば、ｌ １ ：／−
項類Ｊ
Ｊ ＝ ［ｊ Ｉ Ｅ ａｎｄ Ｆ ａｎｄ ）Ｉ］ｊ
はＥ及びＦ及びＨの要素である。
はＥ及びＦ及びＨの要素である。
項類Ｋ
Ｋ ：［Ｋ Ｉ Ｆ ａｎｄ Ｇ ａｎｄ ＨｌｋはＦ
及びＧ及びＨの要素である。
及びＧ及びＨの要素である。
例えば１．。
又ヱ豆星糞
分類表は各文字に対する項類を示す配列である。
各文字には厳密に１つの項類を割り当てなければならな
い。前記セットの定義に従って、ある文字が複数の項類
の構成要素である場合は、この文字は最高レベルの項類
（すなわち、アルファベット順で最も後の文字名を有す
る項類）に割り当てる必要がある。
い。前記セットの定義に従って、ある文字が複数の項類
の構成要素である場合は、この文字は最高レベルの項類
（すなわち、アルファベット順で最も後の文字名を有す
る項類）に割り当てる必要がある。
アプリケージ１ン・プログラムは、使用されるハードウ
ェア及び処理される自然言語に応じて、それ自体の分類
表を定義することができる。第１表は、英語テキストを
処理する本体コンピュータの場合の、第２表に示すコー
ド・ページ５００（ＥＢＣＤＩＣ）に類似した）につい
ての分類表の一例である。ＡＳＣＩＩ文字セットなどの
代替文字コードを使用するパーソナル・コンピュータの
ために、同等の分類表を符号化することができる。
ェア及び処理される自然言語に応じて、それ自体の分類
表を定義することができる。第１表は、英語テキストを
処理する本体コンピュータの場合の、第２表に示すコー
ド・ページ５００（ＥＢＣＤＩＣ）に類似した）につい
ての分類表の一例である。ＡＳＣＩＩ文字セットなどの
代替文字コードを使用するパーソナル・コンピュータの
ために、同等の分類表を符号化することができる。
第１表は、第２表に示すＩＢＭ／３７０コンピュータに
ついてコード・ページ５００と共に使用するための文字
分類表の見本である。第１表は、８ビット文字を使って
定義することができる２５６種類の可能な文字の各々の
分類を示す。列及び行における番号は特定の文字を索引
するために使用される。したがって、第１表では、ブラ
ンク文字（１６進４０）の分類“°Ａ″は、４″と記さ
れた行の列″０″の下で見つけられ、ピリオド”、″文
字（１８進４Ｂ）の分類“Ｋ”は行“４“の列″Ｂ”の
下で見つけられる。
ついてコード・ページ５００と共に使用するための文字
分類表の見本である。第１表は、８ビット文字を使って
定義することができる２５６種類の可能な文字の各々の
分類を示す。列及び行における番号は特定の文字を索引
するために使用される。したがって、第１表では、ブラ
ンク文字（１６進４０）の分類“°Ａ″は、４″と記さ
れた行の列″０″の下で見つけられ、ピリオド”、″文
字（１８進４Ｂ）の分類“Ｋ”は行“４“の列″Ｂ”の
下で見つけられる。
第１表
１ｓｔ／２ｎｄ Ｏ１２３４５６７８９Ａ Ｂ ＣＤ
Ｅ ＦＯ−ＤＤＤＤＤＤＤＤＤＤＤＤＤＤＤＤｌ−Ｄ
ＤＤＤＤＤＤＤＤＤＤＤＤＤＤＤ２− ＤＤ
ＤＤＤＤＤＤＤＤＤＤＤＤＤＤ３− ＤＤＤ
ＤＤＤＤＤＤＤＤＤＤＤＤＤ４− Ａ Ｄ
Ｌ Ｌ Ｌ Ｌ Ｌ Ｌ Ｌ Ｌ Ｄ Ｋ
Ｄ Ｄ Ｄ ＩＩ５− ＤＬＬＬＬＬ
ＬＬＬＬＤＧＨＤＤＤ６− ｒＩＵＵＵＵＵＵ
ＵＵＤＫＨＤＤＨ？−Ｌ ＩＪ Ｕ Ｕ Ｕ
Ｕ Ｕ Ｕ Ｕ Ｄ Ｉ ＩＩ Ｄ
Ｅ ＩＩ Ｄ８− １１ＬＬＬＬＬＬＬＬＬ
ＤＤＬＬＬＤ９− ＤＬＬＬＬＬＬＬＬＬＤＤ
ＬＤＵＤＡ−ＤＤＬＬＬＬＬＬＬＬＤＤ［ＪＵＵＤＢ−
ＤＧＧＥＤＤＤＤＤＤＤＤＤＤＥＤＣ−ＤＵＵＵＵＵＵ
ｔｌＵＵＤＬＬＬＬＬＤ−ＤＵｔｌＵ υ ロ ＵＵ
ロ ロ ＤＬＬＬＬＬＥ−ＤＤＵＵＵＵＵＵＵ
Ｕ ＤＵＵＵＵＵＦ−ＩＮＮ）ＩＮＮＮＮＮＮＤＵＵＵ
ＵＤ次のトークン化の例は、文字分類表（第１表）が本
発明の好ましい実施例で使用されるときに作られたもの
である。この例では、各トークンは最古列のブランクに
よって区切られる。
Ｅ ＦＯ−ＤＤＤＤＤＤＤＤＤＤＤＤＤＤＤＤｌ−Ｄ
ＤＤＤＤＤＤＤＤＤＤＤＤＤＤＤ２− ＤＤ
ＤＤＤＤＤＤＤＤＤＤＤＤＤＤ３− ＤＤＤ
ＤＤＤＤＤＤＤＤＤＤＤＤＤ４− Ａ Ｄ
Ｌ Ｌ Ｌ Ｌ Ｌ Ｌ Ｌ Ｌ Ｄ Ｋ
Ｄ Ｄ Ｄ ＩＩ５− ＤＬＬＬＬＬ
ＬＬＬＬＤＧＨＤＤＤ６− ｒＩＵＵＵＵＵＵ
ＵＵＤＫＨＤＤＨ？−Ｌ ＩＪ Ｕ Ｕ Ｕ
Ｕ Ｕ Ｕ Ｕ Ｄ Ｉ ＩＩ Ｄ
Ｅ ＩＩ Ｄ８− １１ＬＬＬＬＬＬＬＬＬ
ＤＤＬＬＬＤ９− ＤＬＬＬＬＬＬＬＬＬＤＤ
ＬＤＵＤＡ−ＤＤＬＬＬＬＬＬＬＬＤＤ［ＪＵＵＤＢ−
ＤＧＧＥＤＤＤＤＤＤＤＤＤＤＥＤＣ−ＤＵＵＵＵＵＵ
ｔｌＵＵＤＬＬＬＬＬＤ−ＤＵｔｌＵ υ ロ ＵＵ
ロ ロ ＤＬＬＬＬＬＥ−ＤＤＵＵＵＵＵＵＵ
Ｕ ＤＵＵＵＵＵＦ−ＩＮＮ）ＩＮＮＮＮＮＮＤＵＵＵ
ＵＤ次のトークン化の例は、文字分類表（第１表）が本
発明の好ましい実施例で使用されるときに作られたもの
である。この例では、各トークンは最古列のブランクに
よって区切られる。
内 容 テキスト トークン単純語
ｂｏｏｋ ｂｏｏｋＢｅｔｈｅｓ
ｄａ Ｂｅｔｂｅｓｄａ４９ｅｒｓ
４９ｅｒｓ 短縮 ｗｅ’ｌｌ ｗｅ’ｌｌ’
４９ｅｒｓ ’ ４９ｅｒｓｇｏｉｎ″
ｇｏｉｎ ’ ゛７７ ７７ １９８０’ｓ １９８０ ’ ｓ接頭辞付き
形態 ｊ ’ａｃｃｕｓｅ ｊ ’ａｃｃｕｓ
ｅａｌｌ’０．ｄ、Ｇ ａｌｌ’ｏ 、 ｄ
。
ｂｏｏｋ ｂｏｏｋＢｅｔｈｅｓ
ｄａ Ｂｅｔｂｅｓｄａ４９ｅｒｓ
４９ｅｒｓ 短縮 ｗｅ’ｌｌ ｗｅ’ｌｌ’
４９ｅｒｓ ’ ４９ｅｒｓｇｏｉｎ″
ｇｏｉｎ ’ ゛７７ ７７ １９８０’ｓ １９８０ ’ ｓ接頭辞付き
形態 ｊ ’ａｃｃｕｓｅ ｊ ’ａｃｃｕｓ
ｅａｌｌ’０．ｄ、Ｇ ａｌｌ’ｏ 、 ｄ
。
前節的形態 ｄａＩＩｌｅ ｄａｍｅ
複合語 ｓｃｈｗａｒｚｂｌａｕ ｓｃｈ
ｗａｒｚｂｌａｕ日付け １１／１２／８７
１１／１２／８７１２．１１．８７
１２．１１．８７１２、Ｘｌ、８７ １２
、ＸＩ 、８７時間 １０：４５：０７
１０：４５：０７０９：１５：２０．１３
０９：１５：２０．Ｌ３金額 ＄１０．
１５ ＄１０．１５数
１０．１１５．０？１ １０，１１５．０？１
１０．１１５，０７１ １０．１１５，０７１．
０２５ ．０２５ 電話番号 ７９４−８９５１ ７９４−８
９５１ハイフン付き ｍｏｔｈｅｒ−ｉｎ−１ａｗ
ｍｏｔｈｅｒ−ｉｎ−１ａｗ形態 ｆｏ
ｌｌｏｗｉｎｇｓ−ｆｏｌｌｏｗｉｎｇｓ −Ｆ−１０
４Ｆ −１０４ 斜線付き形態 ｃｌｏ ｃ ／ 。
複合語 ｓｃｈｗａｒｚｂｌａｕ ｓｃｈ
ｗａｒｚｂｌａｕ日付け １１／１２／８７
１１／１２／８７１２．１１．８７
１２．１１．８７１２、Ｘｌ、８７ １２
、ＸＩ 、８７時間 １０：４５：０７
１０：４５：０７０９：１５：２０．１３
０９：１５：２０．Ｌ３金額 ＄１０．
１５ ＄１０．１５数
１０．１１５．０？１ １０，１１５．０？１
１０．１１５，０７１ １０．１１５，０７１．
０２５ ．０２５ 電話番号 ７９４−８９５１ ７９４−８
９５１ハイフン付き ｍｏｔｈｅｒ−ｉｎ−１ａｗ
ｍｏｔｈｅｒ−ｉｎ−１ａｗ形態 ｆｏ
ｌｌｏｗｉｎｇｓ−ｆｏｌｌｏｗｉｎｇｓ −Ｆ−１０
４Ｆ −１０４ 斜線付き形態 ｃｌｏ ｃ ／ 。
ａｎｄｌｏｒ ａｎｄ ／ ｏｒＳｙｓｔｅ
＋＋／３７０ Ｓｙｓｔｅｍ ／ ３７アウトラ
イン・ラベル ３．１
３．１３、Ｂ ３
、 ａＩＩｌ、ｂ Ｉ
ＩＩ 、 ｂ括弧付き形態 （ｕｎ）ｐａｒｓａ
ｂｌｅ （ｕｎ ）ｐａｒｓａｂｌｅ ｂｏｏｋ（ｓ） ｂｏｏｋ （
ｓ ）ａｒｃｔａｎ（ｎ） ａｒｃ
ｔａｎ （ｎ ）ｆｌａｖｏ（ｕ）ｒ
ｆｌａｖｏ （ｕ ）「 数式 Ｃ１：Ｒ１／Ｒ２Ｃ１： Ｒ１／Ｒ２
８：５／３ ８ ：５／３略
語 Ｐｈ、Ｄ、 Ｐｈ 、 Ｄ
。
＋＋／３７０ Ｓｙｓｔｅｍ ／ ３７アウトラ
イン・ラベル ３．１
３．１３、Ｂ ３
、 ａＩＩｌ、ｂ Ｉ
ＩＩ 、 ｂ括弧付き形態 （ｕｎ）ｐａｒｓａ
ｂｌｅ （ｕｎ ）ｐａｒｓａｂｌｅ ｂｏｏｋ（ｓ） ｂｏｏｋ （
ｓ ）ａｒｃｔａｎ（ｎ） ａｒｃ
ｔａｎ （ｎ ）ｆｌａｖｏ（ｕ）ｒ
ｆｌａｖｏ （ｕ ）「 数式 Ｃ１：Ｒ１／Ｒ２Ｃ１： Ｒ１／Ｒ２
８：５／３ ８ ：５／３略
語 Ｐｈ、Ｄ、 Ｐｈ 、 Ｄ
。
１４ｒ、 Ｍｒ 。
Ｕ、Ｓ、Ａ、 Ｕ 、 Ｓ
、 Δ 。
、 Δ 。
ＵＳＡ ＵＳＡＳｉｇ、ｒｉ
Ｓｉｇ 、ｒｉ本発明のための擬似
コード・プログラムは以下のステップを実施する。
Ｓｉｇ 、ｒｉ本発明のための擬似
コード・プログラムは以下のステップを実施する。
入力が正しいか否か検査する
文字分類表に基づいて初期設定する
入力要素を取る
要素−がテキスト要素でない場合
後の基本区切り記号の数を計算する
非テキスト・トークンを作成してそれを出カドークン・
リストに加える ｅｔｕｒｎ 要素がテキスト要素である場合 見つかったトークンを偽にセットする トークンが見つかるまで文字単位でテキスト文字列を走
査する テキスト文字がクラスＡにある場合 後の基本区切り記号の数を計算する 先行トークンがない場合 テキスト・トークンを作成し、基本区切り記号を記憶す
る ＥＴＵＲＮ 前のトークンが存在する場合 前のトークンの後の区切り記号の数を後の基本区切り記
号の数にセットする 見つかったトークンを真にセットする テキスト文字がクラスＤにある場合 現在のトークンが作成される必要がある場合 トークンを作成する 前のトークンが存在する場合 前のトークンと現在のトークンを結合する 見つかったトークンを真にセットする テキスト文字がグループ２にある場合 現在のトークン長を増分する 要素の終りである場合 現在のトークンを作成する 存在する場合は前のトークンを結合する次の要素を取る 現在のデータ位置を進める テキスト文字がグループ３にある場合 文脈を検査して区切り記号であるか否か判定する 区切り記号である場合 クラスＤのための処理を実行する 区切り記号ではない グループ２のための処理を実行する トークンの分類に続いて、これらは特定の接頭辞及び接
尾辞について突合せすることによりさらに処理される。
リストに加える ｅｔｕｒｎ 要素がテキスト要素である場合 見つかったトークンを偽にセットする トークンが見つかるまで文字単位でテキスト文字列を走
査する テキスト文字がクラスＡにある場合 後の基本区切り記号の数を計算する 先行トークンがない場合 テキスト・トークンを作成し、基本区切り記号を記憶す
る ＥＴＵＲＮ 前のトークンが存在する場合 前のトークンの後の区切り記号の数を後の基本区切り記
号の数にセットする 見つかったトークンを真にセットする テキスト文字がクラスＤにある場合 現在のトークンが作成される必要がある場合 トークンを作成する 前のトークンが存在する場合 前のトークンと現在のトークンを結合する 見つかったトークンを真にセットする テキスト文字がグループ２にある場合 現在のトークン長を増分する 要素の終りである場合 現在のトークンを作成する 存在する場合は前のトークンを結合する次の要素を取る 現在のデータ位置を進める テキスト文字がグループ３にある場合 文脈を検査して区切り記号であるか否か判定する 区切り記号である場合 クラスＤのための処理を実行する 区切り記号ではない グループ２のための処理を実行する トークンの分類に続いて、これらは特定の接頭辞及び接
尾辞について突合せすることによりさらに処理される。
うまく一致したトークンはさらに基本的なトークンに分
割することができる。
割することができる。
第１図は、プログラム命令４０として実現可能なテキス
トのトークン化のための方法の流れ図を表す第１Ａ図〜
第１Ｈ図の関係を示す。第２図は、第１図に示すトーク
ン化プログラム命令４０を実行してテキストのトークン
化を実行するための、パーソナル・コンピュータまたは
主システム３７０型コンピユータなどのデータ処理シス
テムを示す。第２図のデータ処理システム２０は、バス
２６により中央処理装置（ＣＰＵ）２４に接続されたメ
モリ２２を備える。キーボード２８、表示装置３０、デ
ィスク３２、印刷装置３４、光学文字認識機械（ＯＣＲ
） ３ｓ及び通信アダプタ３６は、スヘて第２図のデー
タ処理システム２０内のバス２６に接続することができ
る。
トのトークン化のための方法の流れ図を表す第１Ａ図〜
第１Ｈ図の関係を示す。第２図は、第１図に示すトーク
ン化プログラム命令４０を実行してテキストのトークン
化を実行するための、パーソナル・コンピュータまたは
主システム３７０型コンピユータなどのデータ処理シス
テムを示す。第２図のデータ処理システム２０は、バス
２６により中央処理装置（ＣＰＵ）２４に接続されたメ
モリ２２を備える。キーボード２８、表示装置３０、デ
ィスク３２、印刷装置３４、光学文字認識機械（ＯＣＲ
） ３ｓ及び通信アダプタ３６は、スヘて第２図のデー
タ処理システム２０内のバス２６に接続することができ
る。
メモリ２２は、ＣＰＵ２４により実行されるとき本発明
の方法を実行することになるテキスト・トークン化プロ
グラムを記憶するため、分割されている。オペレーティ
ング・システム・プログラム命令４２は、システム２０
の動作のための支援ルーチンを提供する。メモリのその
他の区画は、トークン（文字列）記憶域４４、ポインタ
記憶域４６、累積レジスタ域４８、カウンタ・レジスタ
５２、カウンタ・レジスタ５４、メモリ・オフセット・
レジスタ５６及び３段シフト・レジスタ５８を含むこと
ができ、それらの機能は後で説明する。
の方法を実行することになるテキスト・トークン化プロ
グラムを記憶するため、分割されている。オペレーティ
ング・システム・プログラム命令４２は、システム２０
の動作のための支援ルーチンを提供する。メモリのその
他の区画は、トークン（文字列）記憶域４４、ポインタ
記憶域４６、累積レジスタ域４８、カウンタ・レジスタ
５２、カウンタ・レジスタ５４、メモリ・オフセット・
レジスタ５６及び３段シフト・レジスタ５８を含むこと
ができ、それらの機能は後で説明する。
文字分類表５０のため、少なくとも１つのメモリ区画が
取って置かれる。第２図に示すデータ処理システム２０
の実施例では、文字分類表５０は、ＥＢＣＤＥＣコード
を使用するコンピュータで英語テキストを処理するため
の分類表を記憶する。
取って置かれる。第２図に示すデータ処理システム２０
の実施例では、文字分類表５０は、ＥＢＣＤＥＣコード
を使用するコンピュータで英語テキストを処理するため
の分類表を記憶する。
さらに、第１の代替文字分類表５ＯＡも記憶することが
でき、これを使用して、ＡＳＣＩＩコードを使って符号
化された文字を宵する英語テキストを処理することがで
きる。文字がＥＢＣＤＥＣコードで符号化されフランス
語テキストを処理するために、第２の代替文字分類表５
０Ｂを含めることができる。それ自体の特殊コードを使
ってキリル文字のロシア語テキストを処理するために、
第３の代替文字分類表５０Ｃを使用することができる。
でき、これを使用して、ＡＳＣＩＩコードを使って符号
化された文字を宵する英語テキストを処理することがで
きる。文字がＥＢＣＤＥＣコードで符号化されフランス
語テキストを処理するために、第２の代替文字分類表５
０Ｂを含めることができる。それ自体の特殊コードを使
ってキリル文字のロシア語テキストを処理するために、
第３の代替文字分類表５０Ｃを使用することができる。
辞書アプリケージジン・プログラム６０、データベース
・アプリケーション・プログラム６１、言語翻訳アプリ
ケーション・プログラム６２、及び編集またはワード処
理アプリケーション・プログラム６３のため、メモリ２
２中にさらに区画を取って置くことができる。これらの
アプリケーション・プログラム６０〜６３の各々は、本
発明によるテキスト・トークン化を使用することができ
る。
・アプリケーション・プログラム６１、言語翻訳アプリ
ケーション・プログラム６２、及び編集またはワード処
理アプリケーション・プログラム６３のため、メモリ２
２中にさらに区画を取って置くことができる。これらの
アプリケーション・プログラム６０〜６３の各々は、本
発明によるテキスト・トークン化を使用することができ
る。
第３図は、テキストのトークン化の発明のための代替ハ
ードウェア実施例の機能ブロック図を示す。第３図は、
本発明によるテキストのトークン化の全体的動作を説明
するのに役立つ。自然言語テキスト文字入カストリーム
２５は、発信側によりブランク及び句読点により区切ら
れたワードとして意図された文字のシーケンスを含むこ
とができる。キーボード２８、ディスク３２、通信リン
クに接続した通信アダプタ３６、または文書を走査する
光学文字認識機械３５から、入力ストリーム２５を入力
することができる。第３図の入力ストリーム２５は、３
段シフト・レジスタ５８′の入力側に送られる。文字が
３段シフト・レジスタ５８′を通るとき、前の文字が段
２７に置かれ、現在の文字が段２９に置かれ、次の文字
が段３１に置かれる。これらの３つの文字はテキスト・
トークン化プロセッサ４０″に送られ、プロセッサ４０
“は、第１図に流れ図が示された、テキストのトークン
化のための方法を処理する。入力ストリーム２６におけ
る各文字はカウンタ５２′でカウントされる。メモリ・
オフセット・レジスタ５６’は、トークン・メモリ４４
゛への記憶のため第３図の実施例により識別される最初
のトークンのための開始位置である開始アドレスを、ト
ークン（文字列）・メモリ４４°に記憶する。加算機構
６０はカウンタ５２１の値をメモリ・オフセット・レジ
スタ５６“の内容に加え、この和をトークン・メモリ４
４′に送るべきアドレスとして使用し、テキスト・トー
クン化プロセッサ４０′により識別された各々のトーク
ンを記憶するためのロケーションを識別する。各トーク
ンがテキスト・トークン化プロセッサ４０′により発見
されると、「トークン発見」信号がゲート６４とゲート
６２に、さらにカウンタ５４′に出力される。入力文字
列２５中の文字が第３図のハードウェア実施例に送られ
ると、これらの文字は、トークンがテキスト・トークン
化プロセッサ４０゛により識別されるまで、累積文字列
レジスタ４８′に累積される。「トークン発見」信号が
ゲート６４に出力されると、累積文字列レジスタ４８゛
内の累積文字は文字列データとしてトークン・メモリ４
４°のデータ入力に出力され、同時に加算機構６０によ
り出力されるアドレス値がゲート６２を介してトークン
・メモリ４４’のアドレス入力に渡される。
ードウェア実施例の機能ブロック図を示す。第３図は、
本発明によるテキストのトークン化の全体的動作を説明
するのに役立つ。自然言語テキスト文字入カストリーム
２５は、発信側によりブランク及び句読点により区切ら
れたワードとして意図された文字のシーケンスを含むこ
とができる。キーボード２８、ディスク３２、通信リン
クに接続した通信アダプタ３６、または文書を走査する
光学文字認識機械３５から、入力ストリーム２５を入力
することができる。第３図の入力ストリーム２５は、３
段シフト・レジスタ５８′の入力側に送られる。文字が
３段シフト・レジスタ５８′を通るとき、前の文字が段
２７に置かれ、現在の文字が段２９に置かれ、次の文字
が段３１に置かれる。これらの３つの文字はテキスト・
トークン化プロセッサ４０″に送られ、プロセッサ４０
“は、第１図に流れ図が示された、テキストのトークン
化のための方法を処理する。入力ストリーム２６におけ
る各文字はカウンタ５２′でカウントされる。メモリ・
オフセット・レジスタ５６’は、トークン・メモリ４４
゛への記憶のため第３図の実施例により識別される最初
のトークンのための開始位置である開始アドレスを、ト
ークン（文字列）・メモリ４４°に記憶する。加算機構
６０はカウンタ５２１の値をメモリ・オフセット・レジ
スタ５６“の内容に加え、この和をトークン・メモリ４
４′に送るべきアドレスとして使用し、テキスト・トー
クン化プロセッサ４０′により識別された各々のトーク
ンを記憶するためのロケーションを識別する。各トーク
ンがテキスト・トークン化プロセッサ４０′により発見
されると、「トークン発見」信号がゲート６４とゲート
６２に、さらにカウンタ５４′に出力される。入力文字
列２５中の文字が第３図のハードウェア実施例に送られ
ると、これらの文字は、トークンがテキスト・トークン
化プロセッサ４０゛により識別されるまで、累積文字列
レジスタ４８′に累積される。「トークン発見」信号が
ゲート６４に出力されると、累積文字列レジスタ４８゛
内の累積文字は文字列データとしてトークン・メモリ４
４°のデータ入力に出力され、同時に加算機構６０によ
り出力されるアドレス値がゲート６２を介してトークン
・メモリ４４’のアドレス入力に渡される。
同時に、加算機構６０のアドレス出力はゲート６２を介
してポインタ・データとしてポインタ４６′に送られる
。カウンタ５４°は各「トークン発見」信号を事象とし
てカウントシ、カウンタ５４゛内のカウントされた事象
と、ポインタ・メモリ４６′に入れられるアドレス値と
して使用される。このように、各トークンがテキスト・
トークン化プロセッサ４０’により識別されると、トー
クンは、アドレスがポインタ・メモリ４６′により指示
されるトークン（文字列）・メモリ４４′内の１０ケー
ジ日ンに記憶される。
してポインタ・データとしてポインタ４６′に送られる
。カウンタ５４°は各「トークン発見」信号を事象とし
てカウントシ、カウンタ５４゛内のカウントされた事象
と、ポインタ・メモリ４６′に入れられるアドレス値と
して使用される。このように、各トークンがテキスト・
トークン化プロセッサ４０’により識別されると、トー
クンは、アドレスがポインタ・メモリ４６′により指示
されるトークン（文字列）・メモリ４４′内の１０ケー
ジ日ンに記憶される。
第２図に示す本発明のデータ処理システムの実施例は、
第３図に示すハードウェア実施例について説明したのと
同じ一般的動作モードを有する。
第３図に示すハードウェア実施例について説明したのと
同じ一般的動作モードを有する。
メモリ２２内の対応する区画部分は、第３図のハードウ
ェア実施例における”′°′記号付き参照番号に対応す
る、°゛°°°°記号参照番号を有する。
ェア実施例における”′°′記号付き参照番号に対応す
る、°゛°°°°記号参照番号を有する。
例えば、第２図のデータ処理システム２０のメモリ２２
内のメモリ項類として示された文字分類表５０は、第３
図の分類表５０’に対応し、そのハードウェア実施例は
、次のトークン化プロセッサ４０“に接続された出力を
有する。第２図のメモリ２２の区画におけるテキスト・
トークン化プログラム命令４０は、第３図のハードウェ
ア実施例のテキスト・トークン化プロセッサ４０′に対
応する。第３図のハードウェア実施例は、第２図のデー
タ処理システム実施例２０の動作を理解するのに役立つ
。
内のメモリ項類として示された文字分類表５０は、第３
図の分類表５０’に対応し、そのハードウェア実施例は
、次のトークン化プロセッサ４０“に接続された出力を
有する。第２図のメモリ２２の区画におけるテキスト・
トークン化プログラム命令４０は、第３図のハードウェ
ア実施例のテキスト・トークン化プロセッサ４０′に対
応する。第３図のハードウェア実施例は、第２図のデー
タ処理システム実施例２０の動作を理解するのに役立つ
。
テキスト・トークン化の方法に関する第１図の流れ図は
、第２図のデータ処理システム内のテキスト・トークン
化プログラム命令４０と、第３図のハードウェア実施例
におけるテキスト・トークン化プロセッサ４０′の両方
に適用可能である。
、第２図のデータ処理システム内のテキスト・トークン
化プログラム命令４０と、第３図のハードウェア実施例
におけるテキスト・トークン化プロセッサ４０′の両方
に適用可能である。
第１Ａ図で、図示の流れ図の部分は、文字分類表５０を
メモリ２２のメモリ区画５０に入力すると、ステップ６
６で開始する。あるいは、文字分類表を、第３図のハー
ドウェア実施例の分類表記憶装置５０’に入力できる。
メモリ２２のメモリ区画５０に入力すると、ステップ６
６で開始する。あるいは、文字分類表を、第３図のハー
ドウェア実施例の分類表記憶装置５０’に入力できる。
第１Ａ図の流れ図で、次にステップ６８で自然言語テキ
スト文字列２５を入力する。次にステップ７０で、ルー
プ開始点は現在の文字の状態を前の文字に、次の文字を
現在の文字に変更し、入力文字列から新しい次の文字を
取る。これは、第３図の３段シフト・レジスタ５８“の
動作、及び第２図のデータ処理システムのメモリ２２に
おける３段シフト・レジスタ区画５８に該当する。
スト文字列２５を入力する。次にステップ７０で、ルー
プ開始点は現在の文字の状態を前の文字に、次の文字を
現在の文字に変更し、入力文字列から新しい次の文字を
取る。これは、第３図の３段シフト・レジスタ５８“の
動作、及び第２図のデータ処理システムのメモリ２２に
おける３段シフト・レジスタ区画５８に該当する。
第１図の流れ図における次のステップ７２は、現在の文
字を分類表５０と比較して、現在の文字の項類を判定す
る。例えば、”、１？′の文字シーケンスを有する例１
を示す第４図を参照することができる。ブランクは前の
文字、”、′は現在の文字、１″は次の文字である。第
２表の文字コーディング表は、文字”、“が１６進４Ｂ
の文字コードを有することを示す。第１表の文字分類表
を参照すると、”、′１はＫの項類を有する。これは、
第１Ａ図のステップ７２で実行される動作である。
字を分類表５０と比較して、現在の文字の項類を判定す
る。例えば、”、１？′の文字シーケンスを有する例１
を示す第４図を参照することができる。ブランクは前の
文字、”、′は現在の文字、１″は次の文字である。第
２表の文字コーディング表は、文字”、“が１６進４Ｂ
の文字コードを有することを示す。第１表の文字分類表
を参照すると、”、′１はＫの項類を有する。これは、
第１Ａ図のステップ７２で実行される動作である。
第１Ａ図における流れ図のステップ７２に続く残りのス
テップ、及び流れ図の第１Ｂ図〜第１Ｈ図に示すステッ
プのすべては、ステップ７２で判定された現在の文字の
項類に基づいて、テキスト・トークン化処理を実施する
。第１Ａ図で、ステップ７４は、現在の文字がグループ
１の区切り記号か否かを判定する。そうである場合は、
「トークン発見」信号を出力するステップ７６で、トー
クン出力ルーチン７５が開始する。次に、第３図の累積
文字列レジスタ４８°または第２図の累積文字列レジス
タ領域区画４８で見つけられたばかりのトークンについ
て、文字を累積した累積文字列は、出力されたその内容
を有する。その内容は、第２図のデータ処理システムの
トークン文字列記憶域４４、または第３の図トークン（
文字列）メモリ４４１に記憶される。次に、ステップ７
８は、ユーザがセットした初期条件フラッグを検査する
。
テップ、及び流れ図の第１Ｂ図〜第１Ｈ図に示すステッ
プのすべては、ステップ７２で判定された現在の文字の
項類に基づいて、テキスト・トークン化処理を実施する
。第１Ａ図で、ステップ７４は、現在の文字がグループ
１の区切り記号か否かを判定する。そうである場合は、
「トークン発見」信号を出力するステップ７６で、トー
クン出力ルーチン７５が開始する。次に、第３図の累積
文字列レジスタ４８°または第２図の累積文字列レジス
タ領域区画４８で見つけられたばかりのトークンについ
て、文字を累積した累積文字列は、出力されたその内容
を有する。その内容は、第２図のデータ処理システムの
トークン文字列記憶域４４、または第３の図トークン（
文字列）メモリ４４１に記憶される。次に、ステップ７
８は、ユーザがセットした初期条件フラッグを検査する
。
このフラッグは、区切り記号をトークン、またはトーク
ンでないと見なす選択を提供する。さらに、ブランクを
トークンでないとして、またはその他の選択されたグル
ープ１の区切り記号をトークンでないとして単に無視す
るように、改善することができる。ユーザの選択に基づ
いて、ステップ７８で区切り記号がトークンでないと見
なされた場合は、別の「トークン発見」信号が出力され
、区切り記号である現在の文字が、トークン記憶域４４
または４４１への記憶のためのトークンとして出力され
る。次にトークン出力ルーチン７５はループ開始点７０
に戻り、そこで別の文字が入力文字列２５から入力され
、処理が続行する。
ンでないと見なす選択を提供する。さらに、ブランクを
トークンでないとして、またはその他の選択されたグル
ープ１の区切り記号をトークンでないとして単に無視す
るように、改善することができる。ユーザの選択に基づ
いて、ステップ７８で区切り記号がトークンでないと見
なされた場合は、別の「トークン発見」信号が出力され
、区切り記号である現在の文字が、トークン記憶域４４
または４４１への記憶のためのトークンとして出力され
る。次にトークン出力ルーチン７５はループ開始点７０
に戻り、そこで別の文字が入力文字列２５から入力され
、処理が続行する。
ステップ７４が、現在の文字はグループ１の区切り記号
でないと判定した場合は、プログラムはステップ８０に
進み、ステップ８０は、現在の文字がグループ２の英字
（大文字か小文字）であるか数字であるかを判定する。
でないと判定した場合は、プログラムはステップ８０に
進み、ステップ８０は、現在の文字がグループ２の英字
（大文字か小文字）であるか数字であるかを判定する。
そのいずれかである場合は、その文字は、現在の文字を
累積文字列に加える文字付加ルーチン８０により、累積
文字列レジスタ４８“または４８に累積する文字列に加
えられる。次に文字付加ルーチン８０はループ開始点７
０に戻る。
累積文字列に加える文字付加ルーチン８０により、累積
文字列レジスタ４８“または４８に累積する文字列に加
えられる。次に文字付加ルーチン８０はループ開始点７
０に戻る。
第１Ａ図で、現在の文字がグループ１の区切り記号でも
グループ２の英字でもない場合は、プログラムはステッ
プ８２に進み、そこで現在の文字はグループ３の条件付
き区切り記号と見なされ、プログラムは第１Ｂ図の流れ
図のステップ８４に進む。
グループ２の英字でもない場合は、プログラムはステッ
プ８２に進み、そこで現在の文字はグループ３の条件付
き区切り記号と見なされ、プログラムは第１Ｂ図の流れ
図のステップ８４に進む。
第１Ｂ図の流れ図では、ステップ８４で、現在の文字が
項類Ｅにあるか否かが判定される。そうである場合、ス
テップ８５で、前の文字が英字であるか否か、次の文字
が英字であるか否かが判定される。そうである場合は、
現在の文字は区切り記号ではなく、ルーチンは文字付加
ルーチン８０に進み、そこで現在の文字がレジスタ４８
または４８゛の累積文字列に加えられる、ステップ８５
の結果が否定の出力である場合は、現在の文字はこの文
脈での区切り記号と見なされ、プログラムはトークン出
力ルーチン７５に進み、そこで「トークン発見」信号が
出力され、累積文字列に累積された文字も出力される。
項類Ｅにあるか否かが判定される。そうである場合、ス
テップ８５で、前の文字が英字であるか否か、次の文字
が英字であるか否かが判定される。そうである場合は、
現在の文字は区切り記号ではなく、ルーチンは文字付加
ルーチン８０に進み、そこで現在の文字がレジスタ４８
または４８゛の累積文字列に加えられる、ステップ８５
の結果が否定の出力である場合は、現在の文字はこの文
脈での区切り記号と見なされ、プログラムはトークン出
力ルーチン７５に進み、そこで「トークン発見」信号が
出力され、累積文字列に累積された文字も出力される。
第１Ｂ図のステップ８４が、現在の文字が項類Ｅの文字
ではないと判定した場合は、プログラムは第１Ｃ図のス
テップ８６に進む。
ではないと判定した場合は、プログラムは第１Ｃ図のス
テップ８６に進む。
第１Ｃ図で、ステップ８６は現在の文字が項類Ｆである
か否かを判定する。そうである場合は、ステップ８７で
、前の文字が数字であるか否か、及び次の文字が数字で
あるか否かを判定する。そうである場合は、現在の文字
は区切り記号でないと見なされ、プログラムは文字付加
ルーチン８０に進む。逆に、ステップ８７が否定の出力
を判定した場合は、現在の文字はこの文脈で区切り記号
と見なされ、プログラムはトークン出力ルーチン７５に
進む。ステップ８８で現在の文字が項類Ｆではないと判
定された場合は、プログラムは第１Ｄ図のステップ８８
に進む。
か否かを判定する。そうである場合は、ステップ８７で
、前の文字が数字であるか否か、及び次の文字が数字で
あるか否かを判定する。そうである場合は、現在の文字
は区切り記号でないと見なされ、プログラムは文字付加
ルーチン８０に進む。逆に、ステップ８７が否定の出力
を判定した場合は、現在の文字はこの文脈で区切り記号
と見なされ、プログラムはトークン出力ルーチン７５に
進む。ステップ８８で現在の文字が項類Ｆではないと判
定された場合は、プログラムは第１Ｄ図のステップ８８
に進む。
第１Ｄ図で、ステップ８８は現在の文字が項類Ｇにある
か否か判定する。そうである場合は、ステップ８９で、
現在の文字が英字でないがどうか、数字でないかどうか
、さらに次の文字が数字であるか否かを判定する。これ
が真である場合は、現在の文字は区切り記号でないと見
なされ、プログラムは文字付加ルーチン８０に進む。逆
に、ステップ８９が否定を判定した場合は、現在の文字
はこの文脈で区切り記号と見なされ、プログラムはトー
クン出力ルーチン７５に進む。ステップ８８で現在の文
字が項類Ｇにないと判定された場合は、プログラムは第
１Ｄ図のステップ９０に進む。
か否か判定する。そうである場合は、ステップ８９で、
現在の文字が英字でないがどうか、数字でないかどうか
、さらに次の文字が数字であるか否かを判定する。これ
が真である場合は、現在の文字は区切り記号でないと見
なされ、プログラムは文字付加ルーチン８０に進む。逆
に、ステップ８９が否定を判定した場合は、現在の文字
はこの文脈で区切り記号と見なされ、プログラムはトー
クン出力ルーチン７５に進む。ステップ８８で現在の文
字が項類Ｇにないと判定された場合は、プログラムは第
１Ｄ図のステップ９０に進む。
第１Ｅ図で、ステップ９０は現在の文字が項類Ｈにある
か否か判定する。そうである場合は、ステップ９１で、
前の文字が英字でないかどうか、数字でないかどうか、
さらに現在の文字が前の文字に等しいか否かを判定する
。そうである場合は、現在の文字は区切り記号でないと
見なされ、プログラムは文字付加ルーチン８０に進む。
か否か判定する。そうである場合は、ステップ９１で、
前の文字が英字でないかどうか、数字でないかどうか、
さらに現在の文字が前の文字に等しいか否かを判定する
。そうである場合は、現在の文字は区切り記号でないと
見なされ、プログラムは文字付加ルーチン８０に進む。
逆に、ステップ９１が否定を判定した場合は、現在の文
字はこの文脈で区切り記号と見なされ、プログラムはト
ークン出力ルーチン７５に進む。ステップ９０が、現在
の文字が項類Ｈにないと判定した場合は、プログラムは
第１Ｆ図のステップ９２に進む。
字はこの文脈で区切り記号と見なされ、プログラムはト
ークン出力ルーチン７５に進む。ステップ９０が、現在
の文字が項類Ｈにないと判定した場合は、プログラムは
第１Ｆ図のステップ９２に進む。
第１Ｆ図で、ステップ９２は、現在の文字が項類Ｉにあ
るか否か判定する。そうである場合は、ステップ８７“
は、前の文字が数字であるか否か、また次の文字が数字
であるか否か判定する。そうである場合は、現在の文字
は区切り記号でないと見なされ、プログラムは文字付加
ルーチン８０に進む。しかし、ステップ８７°が否定を
判定した場合は、プログラムはステップ９１゛に進み、
そこで前の文字が英字でないかどうか、数字でないかど
うか、また現在の文字が前の文字に等しいか否かを判定
する。そうである場合は、現在の文字は区切り記号でな
いと見なされ、プログラムは文字付加ルーチン８０に進
む。逆に、ステップ９１′が否定を判定した場合は、現
在の文字はこの文脈で区切り記号と見なされ、プログラ
ムはトークン出力ルーチン７５に進む。ステップ９２が
、現在の文字が項類Ｉにないと判定した場合は、プログ
ラムは第１Ｇ図のステップ９３に進む。
るか否か判定する。そうである場合は、ステップ８７“
は、前の文字が数字であるか否か、また次の文字が数字
であるか否か判定する。そうである場合は、現在の文字
は区切り記号でないと見なされ、プログラムは文字付加
ルーチン８０に進む。しかし、ステップ８７°が否定を
判定した場合は、プログラムはステップ９１゛に進み、
そこで前の文字が英字でないかどうか、数字でないかど
うか、また現在の文字が前の文字に等しいか否かを判定
する。そうである場合は、現在の文字は区切り記号でな
いと見なされ、プログラムは文字付加ルーチン８０に進
む。逆に、ステップ９１′が否定を判定した場合は、現
在の文字はこの文脈で区切り記号と見なされ、プログラ
ムはトークン出力ルーチン７５に進む。ステップ９２が
、現在の文字が項類Ｉにないと判定した場合は、プログ
ラムは第１Ｇ図のステップ９３に進む。
第１Ｇ図のステップ９３は、現在の文字が項類Ｊである
か否か判定する。そうである場合は、プログラムはステ
ップ８５°に進み、ステップ８５゜は、前の文字が英字
であるか否か、また次の文字が英字であるか否かを判定
する。そうである場合は、現在の文字が区切り記号でな
いと見なされ、プログラムは文字付加ルーチン８０に進
む。逆に、ステップ８５′が否定を判定した場合は、プ
ログラムはステップ８７′に進み、ステップ８７°は、
前の文字が数字であるか否か、また次の文字が数字であ
るか否かを判定する。そうである場合は、現在の文字は
区切り記号でないと見なされ、プログラムは文字付加ル
ーチン８０に進む。逆に、ステップ８７°が否定を判定
した場合は、ステップ９１″は、前の文字が英字でない
かどうか、数字でないかどうか、さらに現在の文字が前
の文字に等しいか否かを判定する。そうである場合は、
現在の文字は、区切り記号でないと見なされ、プログラ
ムは文字付加ルーチン８０に進む。逆に、ステップ９１
”が否定を判定した場合は、現在の文字はこの文脈で区
切り記号と見なされ、プログラムはトークン出力ルーチ
ン７５に進む。ステップ９３が、現在の文字が項類Ｊに
ないと判定した場合は、プログラムは第１Ｈ図のステッ
プ９４に進む。
か否か判定する。そうである場合は、プログラムはステ
ップ８５°に進み、ステップ８５゜は、前の文字が英字
であるか否か、また次の文字が英字であるか否かを判定
する。そうである場合は、現在の文字が区切り記号でな
いと見なされ、プログラムは文字付加ルーチン８０に進
む。逆に、ステップ８５′が否定を判定した場合は、プ
ログラムはステップ８７′に進み、ステップ８７°は、
前の文字が数字であるか否か、また次の文字が数字であ
るか否かを判定する。そうである場合は、現在の文字は
区切り記号でないと見なされ、プログラムは文字付加ル
ーチン８０に進む。逆に、ステップ８７°が否定を判定
した場合は、ステップ９１″は、前の文字が英字でない
かどうか、数字でないかどうか、さらに現在の文字が前
の文字に等しいか否かを判定する。そうである場合は、
現在の文字は、区切り記号でないと見なされ、プログラ
ムは文字付加ルーチン８０に進む。逆に、ステップ９１
”が否定を判定した場合は、現在の文字はこの文脈で区
切り記号と見なされ、プログラムはトークン出力ルーチ
ン７５に進む。ステップ９３が、現在の文字が項類Ｊに
ないと判定した場合は、プログラムは第１Ｈ図のステッ
プ９４に進む。
第１Ｈ図のステップ９４は、現在の文字が項類Ｋにある
か否かを判定する。これは第４図の例１及び第５図の例
２に該当し、現在の文字は文字”、′である。第１Ｈ図
のステップ８７″では、前の文字が数字であるか否か、
また次の文字が数字であるか否かを判定する。そうであ
る場合は、現在の文字は区切り記号ではな（、プログラ
ムはステップ８０の文字付加ルーチンに進む。ステップ
８７″が否定を判定した場合は、プログラムはステップ
８９′に進み、前の文字が英字であるか、または数字で
あるか、さらに次の文字が数字であるか否かを判定する
。そうである場合は、現在の文字は区切り記号ではなく
、プログラムは文字付加ルーチン８０に進む。ステップ
８９“が否定を判定した場合は、プログラムはステップ
９１”’に進み、前の文字が英字または数字でないかど
うか、また現在の文字が前の文字に等しいか否かを判定
する。そうである場合は、現在の文字は区切り記号でな
いと見なされ、プログラムは文字付加ルーチン８０に進
む。ステップ９１°゛°が否定を判定した場合は、現在
の文字はこの文脈で区切り記号とみなされ、プログラム
はトークン出力ルーチン７５に進む。前の文字がブラン
ク、現在の文字が”、″、次の文字がｆｆ Ｉ １１で
ある第４図の例１に関連して、第１Ｈ図のステップ８９
°は、前の文字が英字または数字ではなく、次の文字が
数字であると判定する。このことは例１では真であるた
め、現在の文字は区切り記号でないと見なされ、したが
って、プログラムは文字付加ルーチン８ｏに進み、文字
”、″が累積文字列に加えられる。第５図の例２では、
前の文字はａ°′、現在の文字は”、”、次の文字はｎ
Ｉ Ｉ＋である。この場合は、第１Ｈ図のステップ９
１°°°は否定を判定し、したがって、現在の文字は区
切り記号と見なされ、プログラムはトークン出力ルーチ
ン７５に進むので、既存の累積文字列はトークンとして
出力される。
か否かを判定する。これは第４図の例１及び第５図の例
２に該当し、現在の文字は文字”、′である。第１Ｈ図
のステップ８７″では、前の文字が数字であるか否か、
また次の文字が数字であるか否かを判定する。そうであ
る場合は、現在の文字は区切り記号ではな（、プログラ
ムはステップ８０の文字付加ルーチンに進む。ステップ
８７″が否定を判定した場合は、プログラムはステップ
８９′に進み、前の文字が英字であるか、または数字で
あるか、さらに次の文字が数字であるか否かを判定する
。そうである場合は、現在の文字は区切り記号ではなく
、プログラムは文字付加ルーチン８０に進む。ステップ
８９“が否定を判定した場合は、プログラムはステップ
９１”’に進み、前の文字が英字または数字でないかど
うか、また現在の文字が前の文字に等しいか否かを判定
する。そうである場合は、現在の文字は区切り記号でな
いと見なされ、プログラムは文字付加ルーチン８０に進
む。ステップ９１°゛°が否定を判定した場合は、現在
の文字はこの文脈で区切り記号とみなされ、プログラム
はトークン出力ルーチン７５に進む。前の文字がブラン
ク、現在の文字が”、″、次の文字がｆｆ Ｉ １１で
ある第４図の例１に関連して、第１Ｈ図のステップ８９
°は、前の文字が英字または数字ではなく、次の文字が
数字であると判定する。このことは例１では真であるた
め、現在の文字は区切り記号でないと見なされ、したが
って、プログラムは文字付加ルーチン８ｏに進み、文字
”、″が累積文字列に加えられる。第５図の例２では、
前の文字はａ°′、現在の文字は”、”、次の文字はｎ
Ｉ Ｉ＋である。この場合は、第１Ｈ図のステップ９
１°°°は否定を判定し、したがって、現在の文字は区
切り記号と見なされ、プログラムはトークン出力ルーチ
ン７５に進むので、既存の累積文字列はトークンとして
出力される。
この時点で、先に引用した関連米国特許出願第９２４６
７０号に記載されたのと同様な方法で、接頭辞及び接尾
辞分離ルーチン４７を使って、ワード及びワード区切り
記号のその他のロケーシジンを示すため、−組の接頭辞
及び接尾辞に対してさらに突合せを行なうことができる
。
７０号に記載されたのと同様な方法で、接頭辞及び接尾
辞分離ルーチン４７を使って、ワード及びワード区切り
記号のその他のロケーシジンを示すため、−組の接頭辞
及び接尾辞に対してさらに突合せを行なうことができる
。
表２
共通名１１１０９４１１１１９９１０１９９１１０１０
１０１６００３１０１６．１０国際ｔＩ５コード、、、
、、、、、、、、、、、、、、、、、、、、、、、、、
、、、、、、、、 ＥＢＣＤＩＣＦ９発明の効果 本発明によれば、言語に依存しないトークン化のための
改善された方法が提供される。
１０１６００３１０１６．１０国際ｔＩ５コード、、、
、、、、、、、、、、、、、、、、、、、、、、、、、
、、、、、、、、 ＥＢＣＤＩＣＦ９発明の効果 本発明によれば、言語に依存しないトークン化のための
改善された方法が提供される。
第１図は、テキスト・トークン化のための方法の流れ図
を示した第１Ａ図〜第１Ｈ図の関係を示す説明図である
。 第１Ａ図は、現在の文字がグループ１の区切り記号か、
またはグループ２の英字かを判定する部分の流れ図であ
る。 第１Ｂ図は、項類Ｅの現在の文字を処理する部分の流れ
図である。 第１Ｃ図は、項類Ｆの現在の文字を処理する部分の流れ
図である。 第１Ｄ図は、項類Ｇの現在の文字を処理する部分の流れ
図である。 第１Ｅ図は、項類Ｈの現在の文字を処理する部分の流れ
図である。 第１Ｆ図は、項類工の現在の文字を処理する部分の流れ
図である。 第１Ｇ図は、項類Ｊの現在の文字を処理する部分の流れ
図である。 第１Ｈ図は、項類にの現在の文字を処理する部分の流れ
図である。 第２図は、テキスト・トークン化を実施するための、デ
ータ処理システムの機能ブロック図である。 第３図は、テキストのトークン化を実施するための、本
発明のもう１つのハードウェア実施例の機能ブロック図
である。 第４図は、例１の説明図である。 第５図は、例２の説明図である。 出願人 インターナショナル・ビジネスマシーンズ・
コーポレーシヨン 代理人 弁理士 頓 宮 孝 −（外１名） ７゜４２８／ テキスト・トークシ化を実行するためのデータ処理シス
テムＭ２図 第３ｔｉ！！ｌ
を示した第１Ａ図〜第１Ｈ図の関係を示す説明図である
。 第１Ａ図は、現在の文字がグループ１の区切り記号か、
またはグループ２の英字かを判定する部分の流れ図であ
る。 第１Ｂ図は、項類Ｅの現在の文字を処理する部分の流れ
図である。 第１Ｃ図は、項類Ｆの現在の文字を処理する部分の流れ
図である。 第１Ｄ図は、項類Ｇの現在の文字を処理する部分の流れ
図である。 第１Ｅ図は、項類Ｈの現在の文字を処理する部分の流れ
図である。 第１Ｆ図は、項類工の現在の文字を処理する部分の流れ
図である。 第１Ｇ図は、項類Ｊの現在の文字を処理する部分の流れ
図である。 第１Ｈ図は、項類にの現在の文字を処理する部分の流れ
図である。 第２図は、テキスト・トークン化を実施するための、デ
ータ処理システムの機能ブロック図である。 第３図は、テキストのトークン化を実施するための、本
発明のもう１つのハードウェア実施例の機能ブロック図
である。 第４図は、例１の説明図である。 第５図は、例２の説明図である。 出願人 インターナショナル・ビジネスマシーンズ・
コーポレーシヨン 代理人 弁理士 頓 宮 孝 −（外１名） ７゜４２８／ テキスト・トークシ化を実行するためのデータ処理シス
テムＭ２図 第３ｔｉ！！ｌ
Claims (3)
- （１）ディジタル・データ・プロセッサにおいてワード
を分離するための方法であって、 ワード及び区切り記号を形成する文字から成る言語表現
を表わす第１入力信号を入力する段階と、前記第１入力
信号における可能な各入力文字の項類を表わす第２入力
信号を入力する段階と、前記第１入力信号を第２の入力
信号の対応する項類に対して文字毎に比較して、前記第
１入力信号でのトークン境界を探し出す段階と、 前記トークン境界の位置決めに応答して、前記第１入力
信号における各ワード及び各区切り記号の位置を表示さ
せる段階 を含む方法。 - （２）ワードの分離を必要とする言語表現を処理するた
めの装置であって、 ワード及び区切り記号を形成する文字から成る言語表現
を表わす第１入力信号を入力するための手段と、 前記第１入力信号における各々の可能な入力文字の項類
を表わす第２入力信号を入力するための手段と、 前記第１入力信号におけるトークン境界を探し出すため
、前記第１入力信号を前記第２入力信号の対応する項類
に対して文字毎に比較するための手段と、 前記トークン境界の位置特定に応答して、前記第１入力
信号における各ワード及び各区切り記号の位置を表示さ
せるための手段 を含む装置。 - （３）自然言語テキストを形成する入力文字列からワー
ドを分離するための方法であって、 区切り記号、英数字、または前記入力文字列における所
定の文字文脈に現われるとき区切り記号の機能を果たす
条件付き区切り記号のいずれかであるとして、文字コー
ドで表わされた各文字を記述する文字分類表を入力する
段階と、 前記入力文字列からワードを形成するため英数字の文字
列を組み立てる段階と、 前記入力文字列から３つの連続した文字を、先行文字、
現在文字及び後続文字として入力する段階と、 前記の現在の文字が区切り記号、英数字または条件付き
区切り記号であるか否かを判定するため、前記文字分類
表にアクセスする段階と、 前記文字分類表により前記現在文字が英数字として識別
されたとき、前記現在の文字を前記文字列に付加する段
階と、 前記文字分類表により前記現在文字が区切り記号として
識別されたとき、前記文字列が完成していることを信号
で示す段階と、 前記文字分類表により前記現在文字が条件付き区切り記
号として識別されたとき、前記現在文字が区切り記号の
機能を果たすか否かを判定するため、前記先行文字、前
記現在文字及び前記の後続文字を解析する段階 を含む方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US344341 | 1989-04-26 | ||
| US07/344,341 US4991094A (en) | 1989-04-26 | 1989-04-26 | Method for language-independent text tokenization using a character categorization |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH02299068A true JPH02299068A (ja) | 1990-12-11 |
Family
ID=23350137
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2108980A Pending JPH02299068A (ja) | 1989-04-26 | 1990-04-26 | 入力文字列からワードを分離する方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US4991094A (ja) |
| EP (1) | EP0394633A3 (ja) |
| JP (1) | JPH02299068A (ja) |
Families Citing this family (45)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5477451A (en) * | 1991-07-25 | 1995-12-19 | International Business Machines Corp. | Method and system for natural language translation |
| US5390259A (en) * | 1991-11-19 | 1995-02-14 | Xerox Corporation | Methods and apparatus for selecting semantically significant images in a document image without decoding image content |
| US5317509A (en) * | 1992-01-21 | 1994-05-31 | Hewlett-Packard Company | Regular expression factoring for scanning multibyte character sets with a single byte automata machine |
| JP2939050B2 (ja) * | 1992-05-26 | 1999-08-25 | シャープ株式会社 | デ−タ通信装置 |
| US5485373A (en) * | 1993-03-25 | 1996-01-16 | Taligent, Inc. | Language-sensitive text searching system with modified Boyer-Moore process |
| US5410475A (en) * | 1993-04-19 | 1995-04-25 | Mead Data Central, Inc. | Short case name generating method and apparatus |
| US5692176A (en) * | 1993-11-22 | 1997-11-25 | Reed Elsevier Inc. | Associative text search and retrieval system |
| US5465309A (en) * | 1993-12-10 | 1995-11-07 | International Business Machines Corporation | Method of and apparatus for character recognition through related spelling heuristics |
| US5794177A (en) * | 1995-07-19 | 1998-08-11 | Inso Corporation | Method and apparatus for morphological analysis and generation of natural language text |
| US5680628A (en) * | 1995-07-19 | 1997-10-21 | Inso Corporation | Method and apparatus for automated search and retrieval process |
| US5842218A (en) * | 1996-12-06 | 1998-11-24 | Media Plan, Inc. | Method, computer program product, and system for a reorienting categorization table |
| US5960080A (en) * | 1997-11-07 | 1999-09-28 | Justsystem Pittsburgh Research Center | Method for transforming message containing sensitive information |
| WO2000011576A1 (en) | 1998-08-24 | 2000-03-02 | Virtual Research Associates, Inc. | Natural language sentence parser |
| US6556841B2 (en) * | 1999-05-03 | 2003-04-29 | Openwave Systems Inc. | Spelling correction for two-way mobile communication devices |
| US7475343B1 (en) | 1999-05-11 | 2009-01-06 | Mielenhausen Thomas C | Data processing apparatus and method for converting words to abbreviations, converting abbreviations to words, and selecting abbreviations for insertion into text |
| US6327561B1 (en) * | 1999-07-07 | 2001-12-04 | International Business Machines Corp. | Customized tokenization of domain specific text via rules corresponding to a speech recognition vocabulary |
| US6742164B1 (en) | 1999-09-01 | 2004-05-25 | International Business Machines Corporation | Method, system, and program for generating a deterministic table to determine boundaries between characters |
| US6626960B1 (en) | 1999-09-01 | 2003-09-30 | International Business Machines Corporation | Method, system, and program for generating a table to determine boundaries between characters |
| US7392185B2 (en) * | 1999-11-12 | 2008-06-24 | Phoenix Solutions, Inc. | Speech based learning/training system using semantic decoding |
| US6665640B1 (en) | 1999-11-12 | 2003-12-16 | Phoenix Solutions, Inc. | Interactive speech based learning/training system formulating search queries based on natural language parsing of recognized user queries |
| US7725307B2 (en) * | 1999-11-12 | 2010-05-25 | Phoenix Solutions, Inc. | Query engine for processing voice based queries including semantic decoding |
| US6633846B1 (en) | 1999-11-12 | 2003-10-14 | Phoenix Solutions, Inc. | Distributed realtime speech recognition system |
| US7050977B1 (en) * | 1999-11-12 | 2006-05-23 | Phoenix Solutions, Inc. | Speech-enabled server for internet website and method |
| US9076448B2 (en) | 1999-11-12 | 2015-07-07 | Nuance Communications, Inc. | Distributed real time speech recognition system |
| US6615172B1 (en) | 1999-11-12 | 2003-09-02 | Phoenix Solutions, Inc. | Intelligent query engine for processing voice based queries |
| US7213069B2 (en) * | 2001-02-28 | 2007-05-01 | Microsoft Corporation | Category name service able to override the category name based on requestor privilege information |
| US20020144246A1 (en) * | 2001-03-29 | 2002-10-03 | Ibm Corporation | Method and apparatus for lexical analysis |
| US6826576B2 (en) * | 2001-05-07 | 2004-11-30 | Microsoft Corporation | Very-large-scale automatic categorizer for web content |
| US6978266B2 (en) * | 2001-05-07 | 2005-12-20 | Microsoft Corporation | Determining a rating for a collection of documents |
| US20030084041A1 (en) * | 2001-10-18 | 2003-05-01 | International Business Machines Corporation | Programmer's dynamic spellchecker |
| US20030225763A1 (en) * | 2002-04-15 | 2003-12-04 | Microsoft Corporation | Self-improving system and method for classifying pages on the world wide web |
| US7546288B2 (en) * | 2003-09-04 | 2009-06-09 | Microsoft Corporation | Matching media file metadata to standardized metadata |
| US7370034B2 (en) * | 2003-10-15 | 2008-05-06 | Xerox Corporation | System and method for performing electronic information retrieval using keywords |
| US7451398B1 (en) * | 2003-11-18 | 2008-11-11 | Google, Inc. | Providing capitalization correction for unstructured excerpts |
| US7444403B1 (en) | 2003-11-25 | 2008-10-28 | Microsoft Corporation | Detecting sexually predatory content in an electronic communication |
| US20050177599A1 (en) * | 2004-02-09 | 2005-08-11 | Microsoft Corporation | System and method for complying with anti-spam rules, laws, and regulations |
| US7428530B2 (en) * | 2004-07-01 | 2008-09-23 | Microsoft Corporation | Dispersing search engine results by using page category information |
| US7409334B1 (en) * | 2004-07-22 | 2008-08-05 | The United States Of America As Represented By The Director, National Security Agency | Method of text processing |
| US20060122834A1 (en) * | 2004-12-03 | 2006-06-08 | Bennett Ian M | Emotion detection device & method for use in distributed systems |
| US7599828B2 (en) * | 2005-03-01 | 2009-10-06 | Microsoft Corporation | Grammatically correct contraction spelling suggestions for french |
| EP2511833B1 (en) * | 2006-02-17 | 2020-02-05 | Google LLC | Encoding and adaptive, scalable accessing of distributed translation models |
| US20090089381A1 (en) * | 2007-09-28 | 2009-04-02 | Microsoft Corporation | Pending and exclusive electronic mail inbox |
| JP5508953B2 (ja) * | 2010-06-28 | 2014-06-04 | 株式会社日立ソリューションズ | 文書処理装置及びプログラム |
| US9063931B2 (en) * | 2011-02-16 | 2015-06-23 | Ming-Yuan Wu | Multiple language translation system |
| US9208134B2 (en) * | 2012-01-10 | 2015-12-08 | King Abdulaziz City For Science And Technology | Methods and systems for tokenizing multilingual textual documents |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS61281367A (ja) * | 1985-06-06 | 1986-12-11 | Fujitsu Ltd | 英語解析における名詞句決定方式 |
| JPS61282965A (ja) * | 1985-06-07 | 1986-12-13 | Nec Corp | 文字列分割方法 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4057849A (en) * | 1974-09-23 | 1977-11-08 | Atex, Incorporated | Text editing and display system |
| GB1561975A (en) * | 1975-07-29 | 1980-03-05 | Xerox Corp | Word processing apparatus |
| US4152762A (en) * | 1976-03-03 | 1979-05-01 | Operating Systems, Inc. | Associative crosspoint processor system |
| US4623985A (en) * | 1980-04-15 | 1986-11-18 | Sharp Kabushiki Kaisha | Language translator with circuitry for detecting and holding words not stored in dictionary ROM |
| US4456969A (en) * | 1981-10-09 | 1984-06-26 | International Business Machines Corporation | System for automatically hyphenating and verifying the spelling of words in a multi-lingual document |
| US4747053A (en) * | 1985-05-20 | 1988-05-24 | Brother Kogyo Kabushiki Kaisha | Electronic dictionary |
| US4773009A (en) * | 1986-06-06 | 1988-09-20 | Houghton Mifflin Company | Method and apparatus for text analysis |
| US4887212A (en) * | 1986-10-29 | 1989-12-12 | International Business Machines Corporation | Parser for natural language text |
-
1989
- 1989-04-26 US US07/344,341 patent/US4991094A/en not_active Expired - Fee Related
-
1990
- 1990-02-21 EP EP19900103323 patent/EP0394633A3/en not_active Ceased
- 1990-04-26 JP JP2108980A patent/JPH02299068A/ja active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS61281367A (ja) * | 1985-06-06 | 1986-12-11 | Fujitsu Ltd | 英語解析における名詞句決定方式 |
| JPS61282965A (ja) * | 1985-06-07 | 1986-12-13 | Nec Corp | 文字列分割方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP0394633A2 (en) | 1990-10-31 |
| US4991094A (en) | 1991-02-05 |
| EP0394633A3 (en) | 1992-12-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH02299068A (ja) | 入力文字列からワードを分離する方法 | |
| JP2726568B2 (ja) | 文字認識方法及び装置 | |
| CA1300272C (en) | Word annotation system | |
| US4868750A (en) | Collocational grammar system | |
| US5303150A (en) | Wild-card word replacement system using a word dictionary | |
| JPH0418346B2 (ja) | ||
| EP0241717A2 (en) | Linguistic analysis method and apparatus | |
| JPH0211934B2 (ja) | ||
| JPH08180066A (ja) | インデックス作成方法、文書検索方法及び文書検索装置 | |
| JPH07105217A (ja) | 入力文字自動補正装置 | |
| JPH0612451A (ja) | 例文検索システム | |
| JPS61190653A (ja) | 文書処理装置 | |
| JPH08115330A (ja) | 類似文書検索方法および装置 | |
| JPH07230468A (ja) | キーワード自動抽出装置およびキーワード自動抽出方法 | |
| JP3924899B2 (ja) | テキスト検索装置およびテキスト検索方法 | |
| JPS62249269A (ja) | 文書処理装置 | |
| JP2570784B2 (ja) | 文書リーダ後処理装置 | |
| JP2827066B2 (ja) | 数字列混在文書の文字認識の後処理方法 | |
| JPH0612453A (ja) | 未知語抽出登録装置 | |
| JP3241854B2 (ja) | 単語スペル自動補正装置 | |
| JP2897191B2 (ja) | 日本語形態素解析システム及び形態素解析方式 | |
| CA1257705A (en) | Textual database system using skeletonization and phonetic replacement to retrieve words matching or similar to query words | |
| JPH08329085A (ja) | 英語形態素解析装置および英語形態素解析方法 | |
| JPH09138840A (ja) | 文字認識装置 | |
| JPH07192018A (ja) | 外国人名検索装置 |