JPH02155073A - 未知語認定装置 - Google Patents
未知語認定装置Info
- Publication number
- JPH02155073A JPH02155073A JP63309441A JP30944188A JPH02155073A JP H02155073 A JPH02155073 A JP H02155073A JP 63309441 A JP63309441 A JP 63309441A JP 30944188 A JP30944188 A JP 30944188A JP H02155073 A JPH02155073 A JP H02155073A
- Authority
- JP
- Japan
- Prior art keywords
- word
- string
- range
- unknown
- character string
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Character Discrimination (AREA)
- Machine Translation (AREA)
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【発明の詳細な説明】
産業上の利用分野
本発明は、日本語用の光学的文字認識装置（ＯＣＲ＞や
音声認識装置の言語処理部、或は日英機械翻訳システム
等に用いられる未知語を認定する未知語認定装置に関す
るものである。
音声認識装置の言語処理部、或は日英機械翻訳システム
等に用いられる未知語を認定する未知語認定装置に関す
るものである。
従来の技術
光学的文字認識装置や音声認識装置の言語処理部への入
力は一般に正しく認識された日本語文字列とは限らない
。又、日英機械翻訳システムの日本語解析部に於いても
入力された日本語文字列が誤り（入力誤り）を含んでい
ないとは限らない。
力は一般に正しく認識された日本語文字列とは限らない
。又、日英機械翻訳システムの日本語解析部に於いても
入力された日本語文字列が誤り（入力誤り）を含んでい
ないとは限らない。
さらに、これらの言語処理では日本語の電子化辞書を用
いるが、入力の日本語文字列中にこの辞書に登録されて
いない半語が含まれている場合も多い。従って、このよ
うな場合には、言語処理部にとって「未知」なる単語を
処理する必要が生じ、この時、基本的に要求される機能
が、未知語に相当する文字列を認定することである。
いるが、入力の日本語文字列中にこの辞書に登録されて
いない半語が含まれている場合も多い。従って、このよ
うな場合には、言語処理部にとって「未知」なる単語を
処理する必要が生じ、この時、基本的に要求される機能
が、未知語に相当する文字列を認定することである。
このような未知語の認定のために従来取られてきた方法
としては、特開昭６３−９５５７２号公報等がある。こ
れによれば、入力の漢字かな混じりの日本語文字列の先
頭から末尾に向かって単語列の認定を行い、はじめて認
定に失敗した位置Ｐを未知語の先頭とする。Ｐから末尾
に向かって走査し、ひらがな以外の字種が検出できたら
、その検出文字から１単語の認定を行い、候補が１つで
もあれば、Ｐからその検出文字の直前までを未知語とす
る。
としては、特開昭６３−９５５７２号公報等がある。こ
れによれば、入力の漢字かな混じりの日本語文字列の先
頭から末尾に向かって単語列の認定を行い、はじめて認
定に失敗した位置Ｐを未知語の先頭とする。Ｐから末尾
に向かって走査し、ひらがな以外の字種が検出できたら
、その検出文字から１単語の認定を行い、候補が１つで
もあれば、Ｐからその検出文字の直前までを未知語とす
る。
ひらがな以外の字種が検出できなかったら、Ｑ＝Ｐ＋１
の位置から１つの自立語の認定を行い、候補が１つでも
あれば、その自立語の直後から更に一単語の認定を行い
、候補が１つでもあれば、ＰからＱの直前までを未知語
とする。上記２つのいずれかの認定に失敗した場合は、
Ｑをさらに１つづつ末尾の方にずらし、同じことを繰り
返す。
の位置から１つの自立語の認定を行い、候補が１つでも
あれば、その自立語の直後から更に一単語の認定を行い
、候補が１つでもあれば、ＰからＱの直前までを未知語
とする。上記２つのいずれかの認定に失敗した場合は、
Ｑをさらに１つづつ末尾の方にずらし、同じことを繰り
返す。
発明が解決しようとする課題
しかし、以上のような方法では、未知語の後にひらがな
で書かれた単語がいくつか続いた後、さらにひらがな以
外の字種の単語がくる場合や、漢字複合語が未知語であ
る場合に正しく認定できないことが多いという問題があ
った。
で書かれた単語がいくつか続いた後、さらにひらがな以
外の字種の単語がくる場合や、漢字複合語が未知語であ
る場合に正しく認定できないことが多いという問題があ
った。
例えば、前者の例としては、１フローチヤートによって
表現する”という入力に対し、１フローチヤート”のど
の部分文字列も単語として認定できない場合は６フロー
チヤートによって”が１つの未知語とされてしまう。後
者の例としては、”画龍点晴”という入力に対して、”
画”と”晴”がそれぞれ１漢字からなる単語として認定
されず。
表現する”という入力に対し、１フローチヤート”のど
の部分文字列も単語として認定できない場合は６フロー
チヤートによって”が１つの未知語とされてしまう。後
者の例としては、”画龍点晴”という入力に対して、”
画”と”晴”がそれぞれ１漢字からなる単語として認定
されず。
”龍”と”点”がそれぞれｌ漢字からなる単語として認
定されず、′１１”と“点”がそれぞれｌ漢字からなる
単語として認定されると、この４漢字複合語は、両端に
１漢字よりなる未知語を含む単語列とされて１−まう。
定されず、′１１”と“点”がそれぞれｌ漢字からなる
単語として認定されると、この４漢字複合語は、両端に
１漢字よりなる未知語を含む単語列とされて１−まう。
本発明は、このような従来技術の課題を解決することを
目的とするものである。
目的とするものである。
課題を解決するだめの手段
本発明は、入力された日本語文字列の全部又は一部分に
対して、日本語の搭集情報や文事・意味情報を用いて、
単語列の認定処理を行い、認定に成功した文字列範囲を
出力する単語列認定装置と、入力文字列に対して、前記
単語列調定装置が処理の対象とすべき文字列の範囲を指
定する範囲指定装置と、前記単語列認定装置と前記範囲
指定装置を繰り返し連動させることにより、未知語に相
当する文字列部分の範囲を認定し、外部装置に対して出
力する未知語文字列範囲認定装置とを具備することを特
徴とする未知語認定装置である。
対して、日本語の搭集情報や文事・意味情報を用いて、
単語列の認定処理を行い、認定に成功した文字列範囲を
出力する単語列認定装置と、入力文字列に対して、前記
単語列調定装置が処理の対象とすべき文字列の範囲を指
定する範囲指定装置と、前記単語列認定装置と前記範囲
指定装置を繰り返し連動させることにより、未知語に相
当する文字列部分の範囲を認定し、外部装置に対して出
力する未知語文字列範囲認定装置とを具備することを特
徴とする未知語認定装置である。
作 用
本発明は、単語列認定装置によって、日本語文字列に対
し、日本語の語粟情報や文法・意味情報を用いて、単語
列の認定を行い、範囲指定装置によって、単語列認定装
置が処理の対象とすべき文字列の範囲を指定する。
し、日本語の語粟情報や文法・意味情報を用いて、単語
列の認定を行い、範囲指定装置によって、単語列認定装
置が処理の対象とすべき文字列の範囲を指定する。
実施例
以下、まず本発明の概略を第１図を用いて説明する。
日本語文字列が入力されると単語列認定装置１が自分の
持っている日本語の搭集情報や、文法・意味規則を参照
して、範囲指定装置２が指定する入力文字列の部分に対
して単語列の認定を開始する。範囲指定装置２は、最初
は入力文字列全体と指定する。単語列認定装置１が文字
位置Ｐから始まる部分の認定に失敗すると認定作用は一
旦停止する。範囲指定装置２は指定範囲をＱ＝Ｐ＋ｉか
ら末尾までと変更し、単語列認定装置１が再び新たに指
定された範囲の認定を開始する。認定が末尾まで到達す
るか或は途中で失敗すると、認定の作用は再び停止する
。すると未知語文字列範囲認定装置３が、とのＱ以降の
認定の状況から、位置ＰからＱ−１までを未知語の部分
としてよいかどうかを判断し、よい場合は、この文字列
範囲を出力し、先程位置Ｑからの単語列の認定が途中で
失敗している場合は、同様にして新たな未知語の認定を
開始する。ＰからＱ−１までを未知語と判定できない場
合は、Ｑをさらに１つ増して同じことを行うということ
を繰り返す。
持っている日本語の搭集情報や、文法・意味規則を参照
して、範囲指定装置２が指定する入力文字列の部分に対
して単語列の認定を開始する。範囲指定装置２は、最初
は入力文字列全体と指定する。単語列認定装置１が文字
位置Ｐから始まる部分の認定に失敗すると認定作用は一
旦停止する。範囲指定装置２は指定範囲をＱ＝Ｐ＋ｉか
ら末尾までと変更し、単語列認定装置１が再び新たに指
定された範囲の認定を開始する。認定が末尾まで到達す
るか或は途中で失敗すると、認定の作用は再び停止する
。すると未知語文字列範囲認定装置３が、とのＱ以降の
認定の状況から、位置ＰからＱ−１までを未知語の部分
としてよいかどうかを判断し、よい場合は、この文字列
範囲を出力し、先程位置Ｑからの単語列の認定が途中で
失敗している場合は、同様にして新たな未知語の認定を
開始する。ＰからＱ−１までを未知語と判定できない場
合は、Ｑをさらに１つ増して同じことを行うということ
を繰り返す。
次に、本発明のさらに詳しい実施例を第２図を参照しな
がら説明する。
がら説明する。
第２図は本発明の一実施例における未知語認定装置のフ
ロック図である。４は日本語文字列の表現する単語列を
認定する単語列認定装置であり、日本語辞書や文法・意
味規則、形態素解析・構文・意味解析などの要素システ
ムより構成される。
ロック図である。４は日本語文字列の表現する単語列を
認定する単語列認定装置であり、日本語辞書や文法・意
味規則、形態素解析・構文・意味解析などの要素システ
ムより構成される。
５は、単語列認定装置４が処理の対象こすべき入刃文字
列の部分範囲を指定する範囲指定装置である。６は、単
語列認定装置４が認定に失敗した場合に、失敗位置から
どこまでを未知語に相当する部分とするかを判断する未
知語文字列範囲認定装置であり、本実施例においては、
失敗位置の後方から再び単語列認定を行い２単語以上よ
りなる単語列盆認建した場合に、失敗位置からの間の部
分を未知語部分と判断するものでりる。
列の部分範囲を指定する範囲指定装置である。６は、単
語列認定装置４が認定に失敗した場合に、失敗位置から
どこまでを未知語に相当する部分とするかを判断する未
知語文字列範囲認定装置であり、本実施例においては、
失敗位置の後方から再び単語列認定を行い２単語以上よ
りなる単語列盆認建した場合に、失敗位置からの間の部
分を未知語部分と判断するものでりる。
次に、動作を詳しく説明する。
入力文字列を″′フローチャートによって表現する”と
し、単語列認定装置４の日本語辞書には文字列“フロー
チャート”のどの部分文字列からなる表記を持つ単語も
登録されていないとする。その他の、辞書の自答の一部
を第３図に示す。又、第４図には、文法・意味規則の一
部を抜粋して示す。入力文字列６フローチヤートによっ
て表現する”の全文字ダＪ範囲を対象として、単語列認
定装置４が単語列の認定をはじめるが“フローチャート
”のこの部分文字列よりなる単語も辞書に登録されてい
ないという仮定から、やがて、範囲指定装置５は、“に
よって表現する”を指定する。この部分は、辞書や文法
・意味規則の内容から、形態素解析。構文・意味解析に
成功し、第５図に示すような父の部分構造が抽出され、
単語の認定に成功する。この場合、５単語の列を認定す
るので、未知語文字列範囲認定装置６は１フローチヤー
ト”を未知語と認定し、結果として出力する。
し、単語列認定装置４の日本語辞書には文字列“フロー
チャート”のどの部分文字列からなる表記を持つ単語も
登録されていないとする。その他の、辞書の自答の一部
を第３図に示す。又、第４図には、文法・意味規則の一
部を抜粋して示す。入力文字列６フローチヤートによっ
て表現する”の全文字ダＪ範囲を対象として、単語列認
定装置４が単語列の認定をはじめるが“フローチャート
”のこの部分文字列よりなる単語も辞書に登録されてい
ないという仮定から、やがて、範囲指定装置５は、“に
よって表現する”を指定する。この部分は、辞書や文法
・意味規則の内容から、形態素解析。構文・意味解析に
成功し、第５図に示すような父の部分構造が抽出され、
単語の認定に成功する。この場合、５単語の列を認定す
るので、未知語文字列範囲認定装置６は１フローチヤー
ト”を未知語と認定し、結果として出力する。
発明の効果
以上のように本発明によれば、従来のように、ひらがな
以外の字種は単語のはじまりを表わす文字である確率が
高いといった工うな表向的な知識に頼るのではなく、文
法的・意味的情報を用いて、文字列の中の文の部分構造
ケできる限り抽出するようにし、抽出できなかった部分
を未知語部分と判断することにより、高精度の未知語の
限定を実現できる。
以外の字種は単語のはじまりを表わす文字である確率が
高いといった工うな表向的な知識に頼るのではなく、文
法的・意味的情報を用いて、文字列の中の文の部分構造
ケできる限り抽出するようにし、抽出できなかった部分
を未知語部分と判断することにより、高精度の未知語の
限定を実現できる。
第１図は本発明の未知語認定装置の一実施例の構成を示
すブロック図、第２因は、同実施例をさらに詳しく示す
ブロック図、第３図は同実施例の１１図 １・・・単語列認定装置、２・・・範囲指定装置、３・
・・未知語文字列範囲認定装置。 代理人の氏名 弁理士 粟 野 重 孝 ほか１名第 図 第 図
すブロック図、第２因は、同実施例をさらに詳しく示す
ブロック図、第３図は同実施例の１１図 １・・・単語列認定装置、２・・・範囲指定装置、３・
・・未知語文字列範囲認定装置。 代理人の氏名 弁理士 粟 野 重 孝 ほか１名第 図 第 図
Claims (1)
- 入力された日本語文字列の全部又は一部分に対して、日
本語の語彙情報や文法・意味情報を用いて、単語列の認
定処理を行い、認定に成功した文字列範囲を出力する単
語列認定装置と、入力文字列に対して、前記単語列認定
装置が処理の対象とすべき文字列の範囲を指定する範囲
指定装置と、前記単語列認定装置と前記範囲指定装置を
繰り返し連動させることにより、未知語に相当する文字
列部分の範囲を認定し、外部装置に対して出力する未知
語文字列範囲認定装置とを具備することを特徴とする未
知語認定装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP63309441A JPH02155073A (ja) | 1988-12-07 | 1988-12-07 | 未知語認定装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP63309441A JPH02155073A (ja) | 1988-12-07 | 1988-12-07 | 未知語認定装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH02155073A true JPH02155073A (ja) | 1990-06-14 |
Family
ID=17993034
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP63309441A Pending JPH02155073A (ja) | 1988-12-07 | 1988-12-07 | 未知語認定装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH02155073A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010044180A1 (ja) * | 2008-10-15 | 2010-04-22 | 日本電気株式会社 | 情報処理装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6172361A (ja) * | 1984-09-17 | 1986-04-14 | Seiko Epson Corp | かな漢字変換装置 |
| JPS6366672A (ja) * | 1986-09-08 | 1988-03-25 | Ricoh Co Ltd | 漢字かな混じりの形態素解析における未知語処理方式 |
| JPS6395573A (ja) * | 1986-10-13 | 1988-04-26 | Ricoh Co Ltd | 日本語文形態素解析における未知語処理方法 |
-
1988
- 1988-12-07 JP JP63309441A patent/JPH02155073A/ja active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6172361A (ja) * | 1984-09-17 | 1986-04-14 | Seiko Epson Corp | かな漢字変換装置 |
| JPS6366672A (ja) * | 1986-09-08 | 1988-03-25 | Ricoh Co Ltd | 漢字かな混じりの形態素解析における未知語処理方式 |
| JPS6395573A (ja) * | 1986-10-13 | 1988-04-26 | Ricoh Co Ltd | 日本語文形態素解析における未知語処理方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010044180A1 (ja) * | 2008-10-15 | 2010-04-22 | 日本電気株式会社 | 情報処理装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5890103A (en) | Method and apparatus for improved tokenization of natural language text | |
| US20050060160A1 (en) | Hybrid automatic translation apparatus and method employing combination of rule-based method and translation pattern method, and computer-readable medium thereof | |
| WO1997004405A9 (en) | Method and apparatus for automated search and retrieval processing | |
| US20030204396A1 (en) | Sentence recognition device, sentence recognition method, program, and medium | |
| Vilar et al. | Text and speech translation by means of subsequential transducers | |
| JP2611904B2 (ja) | 文字認識装置 | |
| JPS6118072A (ja) | 辞書デ−タの自動登録方式 | |
| KR100420474B1 (ko) | 부분문틀을 이용한 장문 번역 장치 및 그 방법 | |
| JPS6229796B2 (ja) | ||
| JPS6368972A (ja) | 未登録語処理方式 | |
| JP2546486B2 (ja) | 文書解析方法および装置 | |
| JPS6172361A (ja) | かな漢字変換装置 | |
| JPH0262659A (ja) | 日本文訂正候補文字抽出装置 | |
| JPS62180462A (ja) | 音声入力かな漢字変換装置 | |
| JP2595043B2 (ja) | 日本文誤り自動検定装置 | |
| JPS63136269A (ja) | 自動翻訳装置 | |
| JPS60207983A (ja) | 文字認識用辞書作成方式 | |
| JPH0350669A (ja) | 情報処理装置 | |
| JPH06208659A (ja) | 手書き文章認識装置 | |
| JPH0614375B2 (ja) | 文字入力装置 | |
| KR20020054246A (ko) | 기계 번역을 위한 장문 분할 방법 | |
| JPH01287771A (ja) | 形態素解析装置 | |
| JPS62203276A (ja) | 形態素解析装置 | |
| JPH07282046A (ja) | かな漢字変換方法 | |
| JPH06180695A (ja) | かな漢字変換方式 |