JPH11238068A - テキスト検索装置 - Google Patents
テキスト検索装置Info
- Publication number
- JPH11238068A JPH11238068A JP10038743A JP3874398A JPH11238068A JP H11238068 A JPH11238068 A JP H11238068A JP 10038743 A JP10038743 A JP 10038743A JP 3874398 A JP3874398 A JP 3874398A JP H11238068 A JPH11238068 A JP H11238068A
- Authority
- JP
- Japan
- Prior art keywords
- character string
- search
- character
- candidate
- text
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 9
- 238000006467 substitution reaction Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 20
- 230000000873 masking effect Effects 0.000 description 5
- 238000012015 optical character recognition Methods 0.000 description 5
- 230000007423 decrease Effects 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 235000016496 Panda oleosa Nutrition 0.000 description 1
- 240000000220 Panda oleosa Species 0.000 description 1
- 241000383558 Thalia <angiosperm> Species 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
Landscapes
- Machine Translation (AREA)
- Document Processing Apparatus (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
索もれを防ぐ。 【解決手段】 検索文字列展開部10は、検索文字列の
一部を誤認識許容文字「#」で置き換えた置換文字列を
生成する。誤認識許容文字の数は、入力部4にて指定さ
れる一致度に応じて定められる。マッチング部12は
「#」を任意の1文字とみなすことで、誤り文字を含ん
だ候補文字列を検出することができる。また「#」を任
意の2文字とみなす、また「##」を任意の1文字とみ
なすとすることで、検索対象テキストを生成する文字認
識において誤分割、誤結合を生じた候補文字列を検出す
ることができる。
Description
あり得るテキストを対象とするテキスト検索装置であっ
て、特にその検索漏れの低減と検索結果における重み付
けに関する。
文字列に含まれる当該検索文字列を探索するテキスト検
索装置があった。ワードプロセッサに搭載されている文
字列検索機能は、そのようなものの一例である。
的には誤りがないことが前提とされる。そしてその検索
においては、検索対象テキスト中に含まれる文字列が検
索文字列と完全に一致した場合のみ、関心のある文字列
が検索対象テキスト中に存在すると判断されていた。
読取り装置(OCR)で読み取られたテキストデータで
ある場合には、その読み取りにおける認識誤りにより、
不正確な文字列を含んだ不完全なテキストとなる確率が
高い。日本語OCRは精度が低いため、特にそのおそれ
が高い。この不完全テキストに対し、上述のような検索
文字列との完全一致による検索を行うと検索漏れが発生
するおそれがある。つまり、検索対象テキストが正しく
読み取られたものであるならばヒットしたはずである文
字列部分が、認識誤りによりヒットしないことが起こり
うる。
索対象の曖昧さをある程度許容して検索を行う技術(以
下、曖昧検索という。)が存在する。特開昭62−44
878号公報に開示される第一の曖昧検索の従来技術
は、認識の結果、複数の候補が得られた場合、検索対象
テキスト中に候補文字を埋め込み、検索するものである
(例.文[字学]認[識織]による[本木]
文...)。特開平8−7033号公報に開示される第
二の曖昧検索の従来技術は、文字認識を行った各文字に
ついて複数の候補が得られた場合にはインデックスにそ
れらを残すものである。この場合、認識結果を各文字ご
とに格納したインデックスにおいて、認識対象の1文字
に対して複数の認識結果の文字候補が格納されうる。こ
の2つの技術は認識結果、すなわち検索対象テキストに
曖昧さを持たせるものである。一方、特開平6−195
387号公報、特開平7−152774号公報、特開平
8−63487号公報に開示される第三の曖昧検索の従
来技術は、検索文字列の側に曖昧さを持たせるものであ
る。この方法は、検索文字列中の誤って認識されやすい
部分を、誤認識の可能性のある文字パターン(誤認識パ
ターン)で置き換えた不完全検索文字列を作成し、正し
い検索文字列だけでなく、不完全検索文字列によっても
探索を行うものである。誤認識パターンのタイプとして
は、文字誤り、誤分割、誤結合といったものがある。例
えば、「字」は「学」と認識されやすいが、このような
タイプが文字誤りである。また、「化」は「イヒ」と認
識されやすいが、このようなタイプが誤分割であり、一
方、「51」は「引」と認識されやすいが、このような
タイプが誤結合である。
少を図ることができるメリットがある一方、逆に本来、
検索文字列とは異なる文字列が検索文字列と一致すると
される検索誤りが含まれる可能性もある。
の従来技術は、認識結果である検索対象テキストの容量
が増加する、認識結果に残らないと検索されないといっ
た問題があった。また、誤認識パターンのうち誤分割、
誤結合に対応できないという問題もあった。
識結果であるインデックスの容量が増加する、認識結果
に残らないと検索されないという問題があった。
とは別に誤認識パターンを用意する必要があり、その容
量が増加するという問題があった。また例えば誤結合
は、連続する文字の組み合わせに依存して生じ、そのた
め多くのパターンが存在しうる。このように起こりうる
誤認識パターンを全て予め用意することは困難である。
そして予め用意されていない誤認識パターンが発生する
と、検索漏れとなるという問題があった。検索に用いら
れる検索対象テキスト、インデックス、誤認識パターン
などの容量が増加することは、単に記憶装置に大きな容
量を要するという問題だけでなく、検索処理に時間がか
かるという問題も引き起こしていた。
ンデックスに複数候補を登録したり誤認識パターンを充
実させると、その一方で、検索文字列とは元来関係のな
い文字列まで、検索にてヒットするおそれがある。つま
り、検索結果に「ゴミ」(検索誤り)が多く含まれるこ
とになって、検索結果の信頼性が低くなるという問題も
あった。
れたもので、曖昧検索に用いるためのデータを少なくす
る一方で、検索漏れを低減するとともに、検索誤りの影
響を軽減するテキスト検索装置を提供することを目的と
する。
スト検索装置は、検索文字列とその部分列との間の指定
された一致度に応じて前記検索文字列の部分列を発生す
る部分列発生手段と、発生された前記部分列と一致する
文字列パターンを含んだ候補文字列を検索対象テキスト
中に探索する候補探索手段とを有するものである。
検索文字列に対する一致度であり、例えば検索文字列と
部分列とのそれぞれの文字数の比によって定義すること
ができる。指定される一致度は、数値の範囲指定であっ
てもよいし、閾値を示すものであってもよい。「部分
列」は、検索文字列の一部の文字をマスキングしたもの
であり、それを構成する文字は元の検索文字列における
位置の情報を保持している。例えば、検索文字列「キー
ワード」の部分列「キー##ド」「キ##ード」(#は
マスキングされた文字を表す。)は互いに同一の文字の
組で構成されるが、マスキング位置が異なり、異なる部
分列として扱われる。また、この例に示されるように、
ある部分列を構成する文字は互いに連続する場合だけで
なく、構成する文字の間にマスキング位置が配される場
合もある。候補探索手段は、部分列を構成する各文字の
位置に同一の文字が配置される文字列を候補文字列とし
て、検索対象テキストから抽出する。つまり、候補文字
列の抽出において、検索文字列のうちマスキングされた
位置に来る文字の一致/不一致は問われない。
検索対象テキストの生成で生じうる誤り文字列パターン
を登録した誤り文字列登録部と、検索文字列に基づいて
候補文字列を探索する候補探索手段と、前記候補文字列
中の前記検索文字列と異なる部分に、前記誤り文字列登
録部に登録された登録誤り文字列パターンを検出する誤
り文字列検出手段と、前記候補文字列に対し前記検索文
字列との一致可能性に応じた優先度を定める優先度付与
手段とを有し、前記優先度付与手段は、前記候補文字列
中における前記登録誤り文字列パターンの検出に応じて
当該候補文字列の前記優先度を定めることを特徴とする
ものである。
ストは、誤った文字列を含みうるが、その誤り文字列パ
ターンはランダムではなく、元の正しい文字、又は文字
列に対して発生しやすいパターンが存在し得る。誤り文
字列登録部には、主としてそのような発生しやすい誤り
文字列パターンが格納される。本発明は、候補文字列の
うち検索文字列と異なる部分に、誤り文字列登録部に格
納された誤りパターンを検知する。そして例えば、検知
された誤りパターンが当該検索文字列中の対応部分の文
字列に対するものである場合、誤りパターンの部分は検
索対象テキスト生成前においては正しい文字列であった
可能性が高いと判断して、一致可能性に応じた優先度を
高く定めることができる。
その部分列との間の指定された一致度に応じて前記検索
文字列の部分列を発生する部分列発生手段を有し、前記
候補文字列は、発生された前記部分列と一致する文字列
パターンを含んだ文字列であるものである。
上記発明において前記候補探索手段が、前記検索文字列
と前記部分列との差分を構成する曖昧文字を、前記検索
対象テキスト中の任意の1文字とみなす手段を有して前
記探索を行うことや、前記検索対象テキスト中の任意の
2文字とみなす手段を有して前記探索を行うことや、ま
た、前記検索文字列と前記部分列との差分を構成する曖
昧文字のうち連続する2つを、前記検索対象テキスト中
の任意の1文字とみなす手段を有して前記探索を行うこ
とのいずれか、またはいくつかを備えたことを特徴とす
るものである。
合、誤分割を誤りパターンとする候補文字列を検索する
ことができる。
前記優先度付与手段が、前記登録誤り文字列パターンの
検出頻度に応じて前記優先度を定めることを特徴とする
ものである。本発明によれば、例えば、検出頻度が高い
登録誤り文字列パターンに対する元の文字列はそのよう
な誤りを生じやすいと判断され、高い優先度を与えるこ
とができる。
録部が、前記登録誤り文字列パターンに加えてさらにそ
の検出頻度を格納するものである。
前記優先度に応じて前記候補文字列を表示する候補文字
列表示手段を有するものである。本発明によれば、ユー
ザは、優先度に基づいて、複数の候補文字列における検
索文字列に一致する可能性を把握することができ、例え
ば、検索処理の結果をチェックする際に便利である。
図面を参照して説明する。
であるテキスト検索装置の概略のブロック構成図であ
る。本装置は、OCRによって文字認識されたテキスト
を検索の対象とし、インデックス記憶部2、入力部4、
検索部6、対象文字位置情報記憶部8、検索文字列展開
部10、マッチング部12、出力部14を含んで構成さ
れる。
られた検索対象テキストをインデックスの形式で、検索
に先立って格納している。インデックスは、検索対象テ
キストに出現する文字をキーとして、それに当該文字の
出現位置を対応付けたものである。
検索条件をユーザから受け付ける。
て、それに含まれる各文字にてインデックス記憶部2に
記憶されたインデックスを検索して、検索文字列の各文
字の出現位置を対象文字位置情報記憶部8へ出力し、対
象文字位置情報記憶部8はこれを格納する。
分列を発生する部分列発生手段であり、入力部4から検
索文字列と一致度を得て、その一致度に応じて、検索文
字列からその部分列を含んだ置換文字列を展開・生成す
る。置換文字列は、検索文字列の一部の文字を例えば記
号「#」で置換して、元の文字をマスキングすることに
より生成される。置換文字列のうち「#」で置換された
部分以外は、検索文字列の元の文字で構成された部分列
である。
0から出力される置換文字列を用いて、対象文字位置情
報記憶部8に格納された対象文字位置情報とのマッチン
グを行う。そのマッチング結果は出力部14へ出力さ
れ、CRT等の表示装置に検索結果として画面表示され
る。
作を説明する。図2は、検索対象テキストのイメージを
示す模式図である。ここで例に用いる検索対象テキスト
は文書A、文書B、文書Cの3つである。文書Aにはそ
の先頭から10文字目から文字列「ペルシャ」が存在す
る。同様に文書Bにはその先頭から5文字目から文字列
「ベルシャ」が存在し、文書Cにはその先頭から21文
字目から文字列「ペノレシャ」が存在する。
て生成され、インデックス記憶部2に格納されているイ
ンデックスのイメージを示す模式図である。インデック
スは、検索対象テキストに出現する文字の種類(図中、
左端に示す。)をキーとして、当該文字種が現れる文書
中の位置をキーごとに分類したものである。その文字の
出現位置は、図中、文書A〜Cを区別する番号Ndoc
(文書Aは“1”、文書Bは“2”、文書Cは“3”)
と、各文書の先頭からの文字数Ncharとの組(Ndoc,
Nchar)の形式で表されている。
ルシャ」、一致度70%を、入力部4に対し入力する。
ここでは、一致度ηは、検索文字列に対する部分列の文
字数の比で定義される。つまり検索文字列の文字数を
M、置換文字列のうち置換されずに残っている文字数を
mとすると、一致度η=m/M×100[%]となる。
入力部4に入力される一致度は、ηの閾値ηthであり、
本装置は検索対象テキスト中にηthを超える一致度を有
する文字列を探索する。なお、一致度の閾値ηthが低い
と検索結果に含まれる「ゴミ」が増えるため、閾値ηth
の好適な値は、一般に70%程度若しくはそれを上回る
値である。一方、閾値ηthが必要以上に高いと検索漏れ
を生じる可能性が高くなる。その点も考慮して、ここで
はηth=70%に設定した。
索部6へ通知する。検索部6はこの検索文字列を得る
と、それを構成する各文字「ペ」、「ル」、「シ」、
「ャ」をキーとしてインデックス記憶部2を検索し、そ
の結果を対象文字位置情報記憶部8に格納する。具体的
には、この例では文字「ペ」に対する出現位置(1,1
0)、(3,21)、文字「ル」に対する出現位置(1,1
1)、(2,6)、文字「シ」に対する出現位置(1,12)、
(2,7)、(3,24)、文字「ャ」に対する出現位置(1,1
3)、(2,8)、(3,25)が対象文字位置情報記憶部8に
格納される。図4は、対象文字位置情報記憶部8に格納
される対象文字位置情報のイメージを示す模式図であ
る。
索文字列と一致度の閾値ηthを受け取って、検索文字列
のうち、一致度に応じた数の文字を誤認識許容文字で置
換した置換文字列を生成する。誤認識許容文字(曖昧文
字)を、ここでは記号「#」にて表わす。誤認識許容文
字が置かれた部分の検索文字列の文字はマスキングされ
る。マスキングとは、後述する置換文字列と検索対象テ
キストとのマッチングにおいて、両者の異同を問わない
ことを意味する。
ので、一致度の閾値ηth=70%を満たす部分列の文字
数mは3または4である。よって、検索文字列展開部1
0は、誤認識許容文字を全く含まない置換文字列(これ
は検索文字列に等しい。)と誤認識許容文字を1つだけ
含む置換文字列を生成する。具体的には、この例では置
換文字列として、「ペルシャ」、「#ルシャ」、「ペ#
シャ」、「ペル#ャ」、「ペルシ#」の5つが生成され
る。
索対象テキストとのマッチングを行い、検索文字列に一
致する可能性を有する候補文字列を探索する候補探索手
段である。マッチングは、置換文字列中での相対的な文
字位置と、対象文字位置情報記憶部8に格納された出現
位置を照合することにより行われる。以下、α、βを置
換文字列に現れる通常の文字とする。
分「αβ」のマッチングは以下のように行われる。まず
マッチング部12はα、βをキーとして対象文字位置情
報記憶部8を検索する。ここでα、βに対応する出現位
置をそれぞれ(Ndoc(α),Nchar(α))、(Ndoc
(β),Nchar(β))とする。マッチング部12は、文書
番号に関してNdoc(α)=Ndoc(β)であり、かつ文字位
置に関してNchar(β)=Nchar(α)+1なる出現位置が
見出すことにより、連続する2文字「αβ」の存在を検
知する。
列部分「α#β」、「α##β」、「α###β」、
「α###…β」等に対するマッチング処理は以下のよ
うに行われる。誤認識許容文字「#」に関する基本的な
マッチング規則は以下の3通りである。
される、(ii) 「#」は任意の2文字と同一とみなされ
る、(iii)「##」は任意の1文字と同一とみなされ
る。
た(ii)、(iii)はそれぞれ誤分割、誤結合に対応した規
則である。
har(β)=Nchar(α)+2なる出現位置の探索として実
現される。規則(ii)は、Ndoc(α)=Ndoc(β)かつNch
ar(β)=Nchar(α)+3なる出現位置の探索として実現
される。また規則(iii)は、Ndoc(α)=Ndoc(β)かつ
Nchar(β)=Nchar(α)+2なる出現位置の探索により
実現される。これらの探索により、マッチング部12は
「α#β」等の文字列パターンの存在を検知する。
について上述のマッチング処理を行って、検索対象テキ
スト中における置換文字列の存在を検知する。例えば、
置換文字列「ペルシャ」に対しては「ペ(1,10)」、
「ル(1,11)」、「シ(1,12)」、「ャ(1,13)」が上
述の基本的なマッチング規則に適合し、マッチング部1
2はマッチング結果として、当該置換文字列とその先頭
文字の出現位置との組「ペルシャ(1,10)」を出力す
る。そして1度マッチしたものは別の置換文字列でマッ
チしないように対象から除いていく。また、置換文字列
「#ルシャ」に対しては基本規則と規則(i)に基づいて
「ル(2,6)」に先行する任意の1文字と「ル(2,
6)」、「シ(2,7)」、「ャ(2,8)」が検知され、マ
ッチング部12はマッチング結果として「#ルシャ(2,
5)」を出力する。また、置換文字列「ペ#シャ」に対
しては基本規則と規則(ii)に基づいて「ペ(3,21)」、
これに続く任意の2文字、この任意の2文字に後続する
「シ(3,24)」、「ャ(3,25)」が上述のマッチング規
則に適合し、マッチング部12はマッチング結果とし
て、「ペ#シャ(3,21)」を出力する。なお、置換文字
列「ペル#ャ」、「ペルシ#」に対しても探索は行われ
るが、この例ではそれらにヒットする文字列(候補文字
列)は存在しない。
たマッチング結果に基づいて、画面上に検索結果を表示
する。上述のマッチング部12は、マッチング結果とし
て候補文字列の位置を出力するものであり、出力部14
はそれを例えば、「文書A:(1,10) 文書B:(2,
5) 文書C:(3,21)」と表示することができる。そ
の他、誤認識許容文字数によって、完全一致、1文字曖
昧、2文字曖昧というようにランキングを行い、それら
のグループごとに区分して表示してもよい。
ら得た文書番号と文字位置を基に、検索対象テキストに
アクセスして、候補文字列を得てそれを表示してもよ
い。また、マッチング部12自体が、候補文字列の位置
情報に基づいてインデックス記憶部2にアクセスし、候
補文字列をその位置情報と併せて出力部14へ出力する
ように構成することもできる。このような構成により、
出力部14は、候補文字列を含んだ内容、例えば「文書
A:ペルシャ(1,10) 文書B:ベルシャ(2,5) 文
書C:ペノレシャ(3,21)」を表示することができる。
いて構成することができ、特に検索部6、検索文字列展
開部10、マッチング部12の機能は、中央演算処理部
(CPU:Central Processing Unit)により実行され
うる。
例えば文字認識において誤って認識されることにより、
ある文字又は文字列がどのような誤った文字又は文字列
に変換されて検索対象テキストが生成されるかという情
報を用いないのにも拘わらず、文字誤り、誤分割、誤結
合に対応することができ、検索文字列に一致する可能性
のある候補文字列をもれなく検索することができる。
施形態であるテキスト検索装置の概略のブロック構成図
である。本装置の構成要素のうち上記実施形態と同様の
ものについては同一の符号を付し説明を簡単にする。本
装置は、上記装置の構成に加えて、テキスト記憶部2
0、誤り文字列登録部24、ランキング部26とをさら
に備えた点が主たる相違点である。
を格納しており、各文書は文書番号を付され互いに区別
されうる。
と同様の処理を行って、候補文字列の位置情報を得る。
本装置のマッチング部22は、さらにその位置情報に基
づいて、テキスト記憶部20にアクセスし、候補文字列
を取得し出力する。このとき、位置情報も併せて出力す
ることができる。
て誤認識されやすい文字又は文字列である誤り文字列パ
ターンを格納している。
ら候補文字列を得ると、当該候補文字列中に誤り文字列
登録部24に登録された誤り文字列パターンを探索す
る。そして、ランキング部26はその結果に応じて候補
文字列と検索文字列との一致可能性に応じた優先度を定
める(優先度付与手段)。ランキング部26は、候補文
字列とその優先度とを出力部14へ出力する。
の特徴を説明する。図6は、検索対象テキストのイメー
ジを示す模式図である。ここで例に用いる検索対象テキ
ストは文書A、文書B、文書Cの3つである。文書Aに
はその先頭から10文字目から文字列「スキャナ」が存
在する。同様に文書Bにはその先頭から5文字目から文
字列「スキャン」が存在し、文書Cにはその先頭から2
1文字目から文字列「スキヤナ」が存在する。
て生成され、インデックス記憶部2に格納されているイ
ンデックスのイメージを示す模式図である。
キャナ」、一致度70%を、入力部4に対し入力する。
索部6へ通知する。検索部6はこの検索文字列を得る
と、上記実施形態と同様、それを構成する各文字をキー
としてインデックス記憶部2を検索し、その結果を対象
文字位置情報記憶部8に格納する。
索文字列と一致度の閾値ηthを受け取って、それに応じ
た置換文字列を生成する。
一致度の閾値ηth=70%に基づいて、検索文字列展開
部10は、誤認識許容文字を全く含まない置換文字列と
誤認識許容文字を1つだけ含む置換文字列を生成する。
具体的には、この例では置換文字列として、「スキャ
ナ」、「#キャナ」、「ス#ャナ」、「スキ#ナ」、
「スキャ#」の5つが生成される。
索対象テキストとのマッチングを行い、検索対象テキス
ト中における置換文字列の存在を検知する。例えば、置
換文字列「スキャナ」に対しては「ス(1,10)」、「キ
(1,11)」、「ャ(1,12)」、「ナ(1,13)」がマッチ
する。マッチング部22は、この位置情報に基づいて、
テキスト記憶部20に格納された検索対象テキストから
候補文字列「スキャナ」を取得し、これとその先頭文字
の出現位置との組「スキャナ(1,10)」を、ランキング
部26へ出力する。また、置換文字列「スキャ#」に対
しては上記実施形態で述べた基本規則と規則(i)に基づ
いて「ス(2,5)」、「キ(2,6)」、「ャ(2,7)」及
びこれに後続する任意の1文字がマッチする。マッチン
グ部22は、この位置情報を基にテキスト記憶部20に
アクセスして候補文字列「スキャン」を取得し、マッチ
ング結果として「スキャン(2,5)」を出力する。ま
た、置換文字列「スキ#ナ」に対しては基本規則と規則
(i)に基づいて「ス(3,21)」、「キ(3,22)」、これ
に続く任意の1文字、この任意の1文字に後続する「ナ
(3,24)」がマッチする。マッチング部22はこの位置
情報を基にテキスト記憶部20にアクセスして候補文字
列「スキヤナ」を取得し、マッチング結果として「スキ
ヤナ(3,21)」を出力する。
らマッチング結果を得ると、候補文字列のランキングを
行う。ここでランキングは、候補文字列が検索文字列に
一致する可能性に応じた優先度を定める処理であり、候
補文字列が検索文字列と異なる部分(誤り文字列)の文
字数と誤り文字列登録部24に誤り文字列パターンとし
て登録されているかどうかに基づいて定められる。
た誤り文字列パターンの一例を示す模式図である。図
は、検索対象テキストを生成する際の文字認識におい
て、「→」の左側の文字又は文字列が、右側の文字又は
文字列と誤って認識されやすいことを示している。例え
ば、「ス」は「イ」に、「ャ」は「ヤ」や「ゃ」に、
「ナ」は「メ」に、「ル」は「ノレ」に誤って認識され
やすいことを示している。
が検索文字列と完全一致の場合には、優先度を表す数値
としてポイント「100」を付与し、1文字不一致の場
合にはポイント「10」を付与する。その上でランキン
グ部26は、候補文字列と検索文字列との差分である誤
り文字列が、誤り文字列登録部24に誤り文字列パター
ンとして登録されているかどうかを調べ、もし登録され
ている場合は、既に獲得しているポイントに、例えば
「40」ポイントを加える。
は完全一致であるので、ポイント「100」を獲得し、
候補文字列「スキヤナ」は1文字不一致で、さらに誤り
文字列登録部24に「ャ→ヤ」が登録されているので、
それぞれのポイント「10」、「40」を加算したポイ
ント「50」を得る。一方、候補文字列「スキャン」は
1文字不一致であるが、誤り文字列登録部24にその誤
り文字列が登録されていないので、ポイント「10」の
みを得る。そして、ランキング部26は、例えば、ラン
キング結果として、候補文字列とその位置情報とポイン
トの組、例えば「スキャナ(1,10,100)」、「スキヤナ
(2,5,50)」、「スキャン(3,21,10)」を出力部14
へ出力する。
ンキング結果を得ると、それに含まれるポイントを用い
た表示を行うことができる。例えば、ポイントが高い、
すなわち検索文字列と一致する可能性が高い順に、候補
文字列を画面表示するといったことができる。また、出
力部14は、ある値以上のポイントを得た候補文字列の
みを表示してもよいし、ポイントが指定された範囲内に
あるものをグループ化して表示してもよい。
録部24に登録された誤り文字列パターンに対して一定
のポイントを付与したが、必ずしも付与されるポイント
は一律でなくてもよい。例えば、誤り文字列登録部24
に各誤り文字列パターンの検出頻度などで表される誤り
やすさの度合いを格納し、これをランキングに反映させ
ることにより、より詳細なランキングを行うことができ
る。例えば、誤りやすさを0〜1の調整係数で設定し、
ポイントは、誤り文字列パターン共通のポイントに誤り
やすさの調整係数を乗じるといった方法がある。このよ
うな方法では、例えば、上述の例において候補文字列
「スキヤナ」の調整係数を0.8とすれば、そのポイン
トは10+40×0.8=42となるわけである。ま
た、ユーザが検索結果に基づいて、誤り文字列パターン
の検出頻度を増減するように構成することができる。
第一の実施形態で説明した発明と同様、検索処理のうち
マッチング自体は、誤り文字列登録部24に登録された
誤り文字列パターンを必要とせずに、文字誤り、誤分
割、誤結合に対応することができ、検索文字列に一致す
る可能性のある候補文字列をもれなく検索することがで
きる。このもれなく検索することにより、検索文字列と
の一致可能性が低いものも候補文字列として検出され、
マッチング結果に含まれる「ゴミ」(検索誤り)の割合
が増加することは否めない。本発明は、もれなく検索す
るとともに、その検索結果をより確からしい順番にて表
示することを可能にし、これによりユーザが検索結果を
利用する際に各候補文字列の重要度(優先度)を把握す
ることが可能となり、検索誤りが生じても実際の利用に
おけるその影響を軽減することができる。従来の検索文
字列を誤り文字列パターンを用いて展開して検索を行う
方法では、誤り文字列パターンを登録した辞書がある程
度充実していないと検索もれが多くなり、信頼性が低く
なる。これに対し本発明では、誤り文字列登録部24の
データが無い場合でも、もれなく検索でき、誤り文字列
登録部24のデータを充実させていくことによりランキ
ングの精度を向上させていくことができる。
は、他の検索文字列を用いた他の検索処理例に係るもの
であり、本実施形態に係るテキスト検索装置の構成は、
上記第二の実施形態の装置と同様である。
す模式図である。ここで例に用いる検索対象テキストは
文書A、文書B、文書Cの3つである。文書Aにはその
先頭から10文字目から文字列「アルタリア」が存在す
る。同様に文書Bにはその先頭から5文字目から文字列
「アル列ア」が存在し、文書Cにはその先頭から21文
字目から文字列「アル夕リア」(“夕”は漢字)が存在
する。
して生成され、インデックス記憶部2に格納されている
インデックスのイメージを示す模式図である。
ルタリア」及び、一致度60%を入力部4に対し入力す
る。
検索部6へ通知する。検索部6はこの検索文字列を得る
と、上記実施形態と同様、それを構成する各文字をキー
としてインデックス記憶部2を検索し、その結果を対象
文字位置情報記憶部8に格納する。
索文字列と一致度の閾値ηthを受け取って、それに応じ
た置換文字列を生成する。
一致度の閾値ηth=60%から誤認識許容文字は2文字
許される。検索文字列展開部10は具体的には、この例
では置換文字列として、「アルタリア」、「##タリ
ア」、「#ル#リア」、「#ルタ#ア」、「#ルタリ
#」、「ア##リア」、「ア#タ#ア」、「ア#タリ
#」、「アル##ア」、「アル#リ#」、「アルタ#
#」を生成しマッチング部22へ出力する。
索対象テキストとのマッチングを行い、検索対象テキス
ト中における置換文字列の存在を検知する。例えば、置
換文字列「アルタリア」に対しては「ア(1,10)」、
「ル(1,11)」、「タ(1,12)」、「リ(1,13)」、
「ア(1,14)」がマッチする。マッチング部22は、こ
の位置情報に基づいて、テキスト記憶部20に格納され
た検索対象テキストから候補文字列「アルタリア」を取
得し、これとその先頭文字の出現位置との組「アルタリ
ア(1,10)」を、ランキング部26へ出力する。また、
置換文字列「#ル#リア」に対しては任意の1文字、こ
れに続く「ル(3,22)」、これに続く任意の1文字、
「リ(3,24)」、「ア(3,25)」がマッチする。マッチ
ング部22は、この位置情報を基にテキスト記憶部20
にアクセスして候補文字列「アル夕リア」(“夕”は漢
字)を取得し、マッチング結果として「アル夕リア(3,
21)」を出力する。また、置換文字列「アル##ア」に
対しては上記第一の実施形態で述べた規則(iii)から
「ア(2,5)」、「ル(2,6)」、これに続く1文字、及
び「ア(2,8)」がマッチする。マッチング部22はこ
の位置情報を基にテキスト記憶部20にアクセスして候
補文字列「アル列ア」を取得し、マッチング結果として
「アル列ア(2,5)」を出力する。
らマッチング結果を得ると、候補文字列のランキングを
行う。本装置では、ランキング部26が付与するポイン
トは、誤認識許容文字が2つの場合に拡張され、その場
合に生じ得るそれぞれのケースについて定められてい
る。例えば、以下のように定めることができる。
0」、 (b)1文字不一致の場合 :ポイント 「5
0」、 (b-1)不一致の1文字が誤り文字列パターンと一致する
場合:ポイント「30」を加算、 (c)2文字不一致の場合 :ポイント 「1
0」、 (c-1)不一致の1文字が誤り文字列パターンと一致する
場合:ポイント「30」を加算、 (c-2)不一致の2文字が誤り文字列パターンと一致する
場合:ポイント「60」を加算。
誤り文字列パターンには、「タリ→列」、「タ(カタカ
ナ)→夕(漢字)」 が含まれているものとする。
リア」に対しては完全一致の場合のポイント「100」
を付与し、「アル列ア」は2文字不一致かつ誤り文字列
「タリ→列」が誤り文字列登録部24に登録されている
ので、10+60=70ポイントを付与される。また、
候補文字列「アル夕リア」(“夕”は漢字)は1文字不
一致かつ誤り文字列「タ→夕」が誤り文字列登録部24
に登録されているので、50+30=80ポイントを付
与される。そして、ランキング部26は、例えば、ラン
キング結果として、候補文字列とその位置情報とポイン
トの組、例えば「アルタリア(1,10,100)」、「アル列
ア(2,5,70)」、「アル夕リア(3,21,80)」を出力部
14へ出力する。
ンキング結果を得ると、例えば、ポイントが高い順に、
候補文字列を画面表示する。また、出力部14は、ある
値以上のポイントを得た候補文字列のみを表示してもよ
いし、ポイントが指定された範囲内にあるものをグルー
プ化して表示してもよい。
キングではなく、簡単に、完全一致、1文字曖昧、2文
字曖昧というランキングを行うことも可能である。
装置の概略のブロック構成図である。
メージを示す模式図である。
ンデックスのイメージを示す模式図である。
字位置情報のイメージを示す模式図である。
装置の概略のブロック構成図である。
メージを示す模式図である。
ンデックスのイメージを示す模式図である。
ターンの一例を示す模式図である。
メージを示す模式図である。
デックス記憶部に格納されているインデックスのイメー
ジを示す模式図である。
対象文字位置情報記憶部、10 検索文字列展開部、
12,22 マッチング部、14 出力部、20 テキ
スト記憶部、24 誤り文字列登録部、26 ランキン
グ部。
Claims (9)
- 【請求項1】 検索対象テキストに対し、検索文字列に
基づいて検索処理を行うテキスト検索装置において、 前記検索文字列とその部分列との間の指定された一致度
に応じて前記検索文字列の部分列を発生する部分列発生
手段と、 発生された前記部分列と一致する文字列パターンを含ん
だ候補文字列を前記検索対象テキスト中に探索する候補
探索手段と、 を有することを特徴とするテキスト検索装置。 - 【請求項2】 検索対象テキストから、検索文字列に一
致する可能性を有する候補文字列を検索するテキスト検
索装置において、 前記検索対象テキストの生成で生じうる誤り文字列パタ
ーンを登録した誤り文字列登録部と、 前記検索文字列に基づいて前記候補文字列を探索する候
補探索手段と、 前記候補文字列中の前記検索文字列と異なる部分に、前
記誤り文字列登録部に登録された登録誤り文字列パター
ンを検出する誤り文字列検出手段と、 前記候補文字列に対し前記検索文字列との一致可能性に
応じた優先度を定める優先度付与手段と、 を有し、 前記優先度付与手段は、前記候補文字列中における前記
登録誤り文字列パターンの検出に応じて当該候補文字列
の前記優先度を定めること、 を特徴とするテキスト検索装置。 - 【請求項3】 前記検索文字列とその部分列との間の指
定された一致度に応じて前記検索文字列の部分列を発生
する部分列発生手段を有し、 前記候補文字列は、発生された前記部分列と一致する文
字列パターンを含んだ文字列であること、 を特徴とする請求項2記載のテキスト検索装置。 - 【請求項4】 前記候補探索手段は、前記検索文字列と
前記部分列との差分を構成する曖昧文字を、前記検索対
象テキスト中の任意の1文字とみなす手段を有して前記
探索を行うことを特徴とする請求項1又は請求項3記載
のテキスト検索装置。 - 【請求項5】 前記候補探索手段は、前記検索文字列と
前記部分列との差分を構成する曖昧文字を、前記検索対
象テキスト中の任意の2文字とみなす手段を有して前記
探索を行うことを特徴とする請求項1又は請求項3記載
のテキスト検索装置。 - 【請求項6】 前記候補探索手段は、前記検索文字列と
前記部分列との差分を構成する曖昧文字のうち連続する
2つを、前記検索対象テキスト中の任意の1文字とみな
す手段を有して前記探索を行うことを特徴とする請求項
1又は請求項3記載のテキスト検索装置。 - 【請求項7】 前記優先度付与手段は、前記登録誤り文
字列パターンの検出頻度に応じて前記優先度を定めるこ
とを特徴とする請求項2又は請求項3記載のテキスト検
索装置。 - 【請求項8】 前記誤り文字列登録部は、さらに前記登
録誤り文字列パターンの検出頻度を格納することを特徴
とする請求項7記載のテキスト検索装置。 - 【請求項9】 前記優先度に応じて前記候補文字列を表
示する候補文字列表示手段を有することを特徴とする請
求項2又は請求項3記載のテキスト検索装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP03874398A JP3924899B2 (ja) | 1998-02-20 | 1998-02-20 | テキスト検索装置およびテキスト検索方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP03874398A JP3924899B2 (ja) | 1998-02-20 | 1998-02-20 | テキスト検索装置およびテキスト検索方法 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JPH11238068A true JPH11238068A (ja) | 1999-08-31 |
| JPH11238068A5 JPH11238068A5 (ja) | 2004-08-19 |
| JP3924899B2 JP3924899B2 (ja) | 2007-06-06 |
Family
ID=12533806
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP03874398A Expired - Lifetime JP3924899B2 (ja) | 1998-02-20 | 1998-02-20 | テキスト検索装置およびテキスト検索方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3924899B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007193641A (ja) * | 2006-01-20 | 2007-08-02 | Sharp Corp | 情報検索装置、情報検索方法、情報検索プログラム、および情報検索プログラムを記録したコンピュータ読取り可能な記録媒体 |
| WO2008119297A1 (en) * | 2007-04-02 | 2008-10-09 | Guangyao Ding | Method for matching character string based on characteristic parameters |
-
1998
- 1998-02-20 JP JP03874398A patent/JP3924899B2/ja not_active Expired - Lifetime
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007193641A (ja) * | 2006-01-20 | 2007-08-02 | Sharp Corp | 情報検索装置、情報検索方法、情報検索プログラム、および情報検索プログラムを記録したコンピュータ読取り可能な記録媒体 |
| WO2008119297A1 (en) * | 2007-04-02 | 2008-10-09 | Guangyao Ding | Method for matching character string based on characteristic parameters |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3924899B2 (ja) | 2007-06-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5832480A (en) | Using canonical forms to develop a dictionary of names in a text | |
| JP2693780B2 (ja) | テキストプロセシングシステム、及び単位又は化学式が正確且つ一貫して使用されているかどうかをテキストプロセシングシステムでチェックするための方法 | |
| JP4421134B2 (ja) | 文書画像検索装置 | |
| JPH02299068A (ja) | 入力文字列からワードを分離する方法 | |
| Zhang et al. | Automatic detecting/correcting errors in Chinese text by an approximate word-matching algorithm | |
| Uthayamoorthy et al. | Ddspell-a data driven spell checker and suggestion generator for the tamil language | |
| JP3589007B2 (ja) | 文書ファイリングシステムおよび文書ファイリング方法 | |
| Chaudhuri et al. | OCR error detection and correction of an inflectional indian language script | |
| JP3924899B2 (ja) | テキスト検索装置およびテキスト検索方法 | |
| JP4278011B2 (ja) | 文書校正装置およびプログラム記憶媒体 | |
| JP4283898B2 (ja) | 文章校正装置 | |
| JP3396734B2 (ja) | コーパス誤りの検出・修正処理装置,コーパス誤りの検出・修正処理方法およびそのプログラム記録媒体 | |
| JPH0713666A (ja) | データ処理装置 | |
| JP3241854B2 (ja) | 単語スペル自動補正装置 | |
| JP4047895B2 (ja) | 文書校正装置およびプログラム記憶媒体 | |
| JP4318223B2 (ja) | 文書校正装置およびプログラム記憶媒体 | |
| JP2827066B2 (ja) | 数字列混在文書の文字認識の後処理方法 | |
| JP4047894B2 (ja) | 文書校正装置およびプログラム記憶媒体 | |
| JP3109187B2 (ja) | 形態素解析方式 | |
| JPH0736926A (ja) | 不完全文字列と文字列の照合方法および装置 | |
| JP2503259B2 (ja) | 全角,半角文字の決定方法 | |
| JPH03156589A (ja) | 誤読文字の検出,修正方法 | |
| JP3725206B2 (ja) | 文字認識装置 | |
| JP2951486B2 (ja) | 漢字変換装置 | |
| JPH0757059A (ja) | 文字認識装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060418 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060523 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060720 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060815 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061013 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061205 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070112 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070206 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070219 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110309 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120309 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130309 Year of fee payment: 6 |