JPH11195087A

JPH11195087A - パターン認識方法、パターン認識辞書作成方法及びパターン認識装置

Info

Publication number: JPH11195087A
Application number: JP10001662A
Authority: JP
Inventors: Hiroyuki Mizutani; 博之水谷
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1998-01-07
Filing date: 1998-01-07
Publication date: 1999-07-21
Anticipated expiration: 2018-01-07
Also published as: JP4160140B2

Abstract

(57)【要約】【課題】認識対象に対して最適な認識処理を行うこと
のできるパターン認識方法及びパターン認識装置を提供
すること。【解決手段】入力パターンを特徴付ける複数の状態変
数と、各状態変数に対する評価関数と、異なる２つの状
態変数の組に対する評価関数とをもとにして、前記入力
パターンについての認識結果に対する評価関数を定め、
前記認識結果に対する評価関数を最適化する方向に前記
状態変数を更新することを、所定の条件が成立するまで
繰り返し行うことを特徴とする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、入力パターンに対
して認識を行うパターン認識方法、この認識にもちる辞
書を作成するためのパターン認識辞書作成方法及びパタ
ーン認識装置に関する。

【０００２】

【従来の技術】従来の画像イメージから特定のパターン
認識する手法としては、例えば印刷された文書の文書イ
メージから文字パターンを認識する文字認識装置では、
文字や罫線あるいは写真といった様々な属性を画像イメ
ージに対して付与し、認識対象となる文字画像のみを抽
出し、文字の並びや隣接関係から文字行を抽出し、さら
に文字行の隣接関係からパラグラフを文字行のまとまり
として表現し文字構造を理解した上で、先に検出された
文字行から１文字毎の文字画像を抽出し、文字認識を行
い、認識結果を出力するという処理が専ら行われてい
た。

【０００３】しかしながら、印刷文書と比較してメモ書
きや手書き文書のように文字行のベースラインの凹凸が
顕著だったり、縦書き横書き斜め書きが混在したり、続
け字が存在する自由手書き文書に対して、従来の枠組で
文字行を抽出し、高精度に文字認識を行うことは困難で
あった。

【０００４】この問題に対して、文献「文字列認識にお
ける図形と記号の情報融合」（石寺永記ら、１９９６年
電子情報通信学会総合大会、Ｄ−４７１）では、従来処
理で抽出された複数の文字列候補に対して、言語知識、
文字認識およびレイアウト解析の各処理で得られたコス
ト値をもとに文字列らしさを評価する評価関数を設け、
この評価関数に対して重回帰分析を施した結果を基に認
識候補を選択し文字列評価を行う手法が紹介されてい
る。

【０００５】しかし、この手法では従来処理において正
しい行抽出が行えなければ選択する文字列候補に正しい
文字行は含まれないため、正しくない文字イメージを対
象に文字認識処理を行うことになるとともに、文字行が
複数ある場合、ある行の行抽出が失敗するとこのエラー
が別な行の行抽出結果に影響を及ぼすことになり、単純
に評価関数値に応じて文字行候補を選択するという処理
だけでは、自由手書き文書を高精度に認識することは難
しいと考えられる。

【０００６】一方、文献「ＣｏｎｓｔｒａｉｎｔＳａ
ｔｉｓｆａｃｔｉｏｎＡｐｐｒｏａｃｈｔｏＥｘ
ｔｒａｃｔｉｏｎｏｆＪａｐａｎｅｓｅＣｈａｒ
ａｃｔｅｒＲｅｇｉｏｎｓｆｒｏｍＵｎｆｏｒｍ
ａｔｔｅｄＤｏｃｕｍｅｎｔＩｍａｇｅ」（Ｋ．Ｇ
ｙｏｈｔｅｎｅｔ．ａｌ，ＩＥＩＣＥＴｒａｎ
ｓ．Ｉｎｆ．＆Ｓｙｓｔ．，Ｖｏｌ．Ｅ７８
−Ｄ，Ｎｏ．１，ｐｐ．４６６−４７５，１９９
５）では、日本語文字列の抽出を制約充足問題として定
式化し、特定の文書フォーマットに依存しないように文
字列に対する制約条件を局所的な評価関数を用いて構成
し、評価関数最適化に基づいて文字列を抽出するという
研究が行われている。

【０００７】しかしながら、本手法では文書フォーマッ
トに依存しないように評価関数を汎用的に構成している
副作用として、文字のベースラインが局線上に存在する
ようなあまり見かけられない文書に対しては文字列抽出
が成功するが、ベースラインが直線的である通常の印刷
文書では抽出が失敗するといった実験例が報告されてい
る。また、文字と各文字を構成する文字候補成分の各々
の状態を表す状態変数と、文字間および文字候補成分間
に対する状態変数間の関係を重みとして表現し、評価関
数を構成しているが、一般的に扱うべき状態変数が増大
すれば異なる状態変数間の関係を記述することが直感的
には難しくなるため、評価関数を設計することが非常に
難しくなるという問題がある。また、新たな状態変数を
導入して評価関数を再設計する場合でも、新たな状態変
数と旧状態におけるどの評価変数と関係を持たせるべき
かが理論的には不明であることが多く、一度設計した評
価関数を変更することは極めて難しかった。また、高性
能なパターン認識システムを構成する上で重要なポイン
トとしては、認識対象となるパターン種に応じて評価関
数に含まれる一般に複数の自由パラメータを調整するこ
とがあげられる。従来、これらのパラメータ値の決定は
少量のサンプルを用いて試行錯誤的に定めるか、あるい
は大量サンプルに対して多変量解析手法を適用した結果
をもとに手動でパラメータ調整を行っていた。これら人
手に頼る手法は時間もかかるため、高性能なパターン認
識装置を短期間で提供する上での一つの障害となってい
た。

【０００８】

【発明が解決しようとする課題】以上のように従来のパ
ターン認識では、例えば認識対象とする紙面上の文字列
の配置状況によっては高精度に認識ができないなど、認
識対象に制約があり、認識対象の状態にらず高精度に認
識することができなかった。また、認識に用いる辞書の
作成や辞書の修正に困難性を伴うという問題があった。

【０００９】本発明は、上記事情を考慮してなされたも
ので、認識対象に対して最適な認識処理を行うことので
きるパターン認識方法及びパターン認識装置を提供する
ことを目的とする。

【００１０】また、本発明は、パターン認識に用いる辞
書の作成や辞書の修正を容易に行うことのできるパター
ン認識方法、パターン認識辞書作成方法及びパターン認
識装置を提供することを目的とする。

【００１１】

【課題を解決するための手段】本発明（請求項１）に係
るパターン認識方法は、入力パターン（例えば、画像イ
メージ）を特徴付ける複数の状態変数（例えば、文字群
の状態変数、文字列群の状態変数、文字ブロック群の状
態変数）と、各状態変数に対する評価関数と、異なる２
つの状態変数の組（例えば、画像イメージと文字群の状
態変数、文字群の状態変数と文字列群の状態変数、文字
列群の状態変数と文字ブロック群の状態変数）に対する
評価関数とをもとにして、前記入力パターンについての
認識結果に対する評価関数を定め、前記認識結果に対す
る評価関数を最適化する方向に前記状態変数を更新する
ことを、所定の条件（例えば、更新前後の各状態変数の
差分が規定値以下になったという条件、規定の繰り返し
数に達したという条件、規定の処理時間に達したという
条件、これらを組み合わせた条件など）が成立するまで
繰り返し行うことを特徴とする。

【００１２】例えば、画像イメージを特徴付ける複数の
状態変数を予め決定し、これら状態変数を確率変数とみ
なし、画像イメージが与えられた下で、各状態変数が出
現する事後確率を最大にするように状態変数の更新を行
う。

【００１３】なお、この評価関数の自由パラメータは複
数の学習サンプルから自動的に決定することが可能であ
る。本発明（請求項２）は、請求項１に記載のパターン
認識方法において、前記入力パターンは画像イメージで
あり、前記入力パターンを出力とする前処理を行う際
に、この前処理における入力画像イメージから、幾何情
報、認識情報および属性情報のうちの少なくとも１つを
求め、これを前記状態変数の少なくとも一部として用い
ることを特徴とする。

【００１４】本発明（請求項３）は、請求項１に記載の
パターン認識方法において、前記入力パターンは画像イ
メージであり、前記状態変数を更新する際に、前記入力
パターンから、幾何情報、認識情報および属性情報のう
ちの少なくとも１つを求め、これを更新後の前記状態変
数の少なくとも一部として用いることを特徴とする。

【００１５】本発明（請求項４）は、請求項２または３
に記載のパターン認識方法において、前記入力パターン
から前記認識情報を求める際に、所定の認識単位に対す
る認識結果として得られるカテゴリ情報、認識尺度値お
よび認識尺度値を構成する局所的な認識尺度値群のうち
の少なくとも１つを前記認識情報の少なくとも一部とす
ることを特徴とする。

【００１６】本発明（請求項５）は、入力パターン（例
えば、画像イメージ）を特徴付ける複数の状態変数（例
えば、文字群の状態変数、文字列群の状態変数、文字ブ
ロック群の状態変数）と、各状態変数に対する評価関数
と、異なる２つの状態変数の組（例えば、画像イメージ
と文字群の状態変数、文字群の状態変数と文字列群の状
態変数、文字列群の状態変数と文字ブロック群の状態変
数）に対する評価関数とをもとにして、前記入力パター
ンについての認識結果に対する評価関数を定め、該認識
結果に対する評価関数を最適化する方向に前記状態変数
を更新することにより行うパターン認識のために該認識
結果に対する評価関数を作成するためのパターン認識辞
書作成方法であって、前記認識結果に対する評価関数に
おけるパラメータを複数の学習サンプルを用いた所定の
学習アルゴリズムにより定め、このパラメータを用いて
前記認識結果に対する評価関数を構成することを特徴と
する。

【００１７】本発明（請求項６）に係るパターン認識装
置は、請求項１ないし４のいずれか１項に記載のパター
ン認識方法によりパターン認識を行う手段を備えたこと
を特徴とする。

【００１８】本発明（請求項７）に係るパターン認識装
置は、請求項５に記載のパターン認識辞書作成方法によ
り作成されたパターン認識辞書を用いてパターン認識を
行う手段を備えたことを特徴とする。

【００１９】本発明（請求項８）は、コンピュータに、
入力パターンを特徴付ける複数の状態変数と、各状態変
数に対する評価関数と、異なる２つの状態変数の組に対
する評価関数とをもとにして、前記入力パターンについ
ての認識結果に対する評価関数を定めさせ、前記認識結
果に対する評価関数を最適化する方向に前記状態変数を
更新することを、所定の条件が成立するまで繰り返し行
わせるためのプログラムを記録したコンピュータ読取り
可能な記録媒体を要旨とする。

【００２０】本発明（請求項９）は、入力パターンを特
徴付ける複数の状態変数と、各状態変数に対する評価関
数と、異なる２つの状態変数の組に対する評価関数とを
もとにして、前記入力パターンについての認識結果に対
する評価関数を定め、該認識結果に対する評価関数を最
適化する方向に前記状態変数を更新することにより行う
パターン認識のために該認識結果に対する評価関数をコ
ンピュータに作成させるためのプログラムであって、コ
ンピュータに、前記認識結果に対する評価関数における
パラメータを複数の学習サンプルを用いた所定の学習ア
ルゴリズムにより定めさせ、このパラメータを用いて前
記認識結果に対する評価関数を構成させるためのプログ
ラムを記録したコンピュータ読取り可能な記録媒体を要
旨とする。

【００２１】なお、以上の装置に係る発明は方法に係る
発明としても成立し、方法に係る発明は装置に係る発明
としても成立する。また、装置または方法に係る本発明
は、コンピュータに当該発明に相当する手順を実行させ
るための（あるいはコンピュータを当該発明に相当する
手段として機能させるための、あるいはコンピュータに
当該発明に相当する機能を実現させるための）プログラ
ムを記録したコンピュータ読取り可能な記録媒体として
も成立する。

【００２２】本発明では、例えば、任意のパターンを抽
出するパターン検出切出処理と、そのパターンを認識す
るパターン認識処理が互いの処理結果を相互にやり取り
し、互いの処理を反復することで各処理の状態変数を変
更し、全体として予め定められた評価関数を最適化する
方向で順次パターン抽出とパターン認識を行うことによ
り、高精度なパターン認識を実現することができる。

【００２３】また、評価関数は統計的パラメータ手法で
ある最大事後確率推定（ＭＡＰ推定）の枠組みから導く
ことができるため、最適化の理論的根拠が明白であるこ
とも本発明がもたらす利点である。また、状態変数に対
する評価関数は、各状態変数自身により記述される評価
関数と、異なる２つの状態変数間のみの関係を記述する
評価関数により構成することにより、評価関数の設計を
容易にするとともに、新たな状態変数を付加した際にも
一部の評価関数を見直すだけで再設計が可能となる。

【００２４】

【発明の実施の形態】以下、図面を参照しながら発明の
実施の形態を説明する。本発明は、印刷文字や手書き文
字に対する文字認識、印刷や手書きされた文書に対する
文書構造に関する認識、筆者の認識、単語音声の認識、
連続音声の認識、話者の認識など、種々のパターン認識
に適用可能であるが、以下では本発明を文字認識や文書
構造認識に適用する場合について説明する。

【００２５】図１に本発明の一実施形態に係るパターン
認識装置の全体構成を示す。図１に示されるように、本
実施形態に係るパターン認識装置は、入力部２、前処理
部４、最適化処理部６、辞書記憶部８、後処理部１０、
出力部１２を備えている。また、本実施形態に係るパタ
ーン認識装置はソフトウェアによっても実現可能であ
る。

【００２６】入力部２は、スキャナーやデジタルカメラ
等により画像イメージを入力するためのものである。前
処理部４は、入力された画像イメージに対して、いわゆ
る前処理、例えば、２値化、エッジ検出、ノイズ除去、
ラベル画像生成等のような画像処理を行うためのもので
ある。

【００２７】辞書記憶部８は、パターン認識辞書、評価
関数辞書を記憶するためのものである。最適化処理部６
は、文字認識結果や画像解析結果から得られる各種情報
に基づいて定められる評価関数の最適化を行い、画像イ
メージを特徴付ける状態変数を更新したり、学習サンプ
ルからパラメータ学習を行うためのものである。

【００２８】後処理部１０は、認識結果の編集や訂正を
行うためのものである。出力部１２は、出力媒体に応じ
た認識結果のフォーマット変換やデータ変換を行うため
のものである。

【００２９】図２に最適化処理部６における処理手順の
一例を表すフローチャートを示す。まず、予め用意され
たパターン認識辞書と評価関数辞書を読み出す（ステッ
プＳ１）。

【００３０】次に、予め定められた画像イメージを特徴
付ける状態変数の初期値を設定し、評価関数値を計算す
る（ステップＳ２）。この評価関数値の値に応じて最適
化処理が必要か否かを判断し（ステップＳ３）、必要な
らば評価関数の最適化を行い状態変数の更新を行う（ス
テップＳ４）。

【００３１】この最適化の要不要の判断と、評価関数の
最適化を行って状態変数の更新を行うことを、繰り返
し、ステップＳ４で求められた新たな評価関数値に応じ
てステップＳ３で最適化処理が不要と判断された場合
に、処理を終了する。

【００３２】上記の最適化の要不要の判断については、
例えば、更新前後の状態変数の差分が規定値以下になっ
た場合に最適化の不要と判断する。なお、予め処理時間
の上限、または繰り返し数、または処理時間の上限と繰
り返し数の上限の両方を設定しておき、ステップＳ３で
最適化処理が必要と判断されても、この時点で上記の処
理時間の上限、または繰り返し数、または処理時間の上
限および繰り返し数の上限のいずれか一方（もしくは両
方）を超過したならば、処理を終了するようにしてもよ
い。また、この場合において、最適化処理が必要と判断
されたが他の制約で処理を終了した旨のメッセージを出
力するようにしてもよい。さらにまた、このメッセージ
に処理終了時における評価関数値の値を示す情報（また
はこの情報および設定されている最適化を不要と判断さ
せるために評価関数値がとるべき値を示す情報）を付加
するようにしてもよい。

【００３３】図３に学習サンプルを用いたパラメータ学
習手順の一例を表すフローチャートを示す。まず、学習
サンプルをセットする（ステップＳ１１）。

【００３４】次に、この学習サンプルに対して、評価関
数から導出される特徴ベクトルを計算し、特徴ベクトル
群から共分散行列や平均ベクトルを推定する（ステップ
Ｓ１２）。

【００３５】次に、評価関数の最適化を実行し、自由パ
ラメータを決定し（ステップＳ１３）、辞書に登録する
（ステップＳ１４）。以下では、文字認識を具体例とし
て本実施形態に係るパターン認識方法および辞書作成方
法について詳しく説明する。

【００３６】まず、パターン認識方法について説明す
る。ここでは、画像イメージをＩ、文字群の状態変数を
Ｃ、文字列群の状態変数をＬ、文字列をまとめた文字ブ
ロック群の状態変数をＢで表し、これらＩ，Ｃ，Ｌ，Ｂ
は確率過程とみなす。

【００３７】このとき、ある画像イメージＩが与えられ
た下で、ある状態変数Ｃ，Ｌ，Ｂが発生する条件付き確
率密度ｐ（Ｃ，Ｌ，Ｂ｜Ｉ）はベイズの定理を用いると
次式のように記述することができる。

【００３８】

【数１】

【００３９】ある画像イメージＩが与えられたときに、
状態変数Ｃ，Ｌ，Ｂの最も確からしい状態が求める認識
結果であるという立場に立つと、認識問題は画像イメー
ジＩが与えられたときに、式（１）の左辺を最大にする
状態変数Ｃ，Ｌ，Ｂを求めることに帰着する。

【００４０】さて、式（１）の左辺の代わりに右辺の最
大化問題を考える。これは最大事後確率推定（ＭＡＰ）
と呼ばれる推定問題である。今、Ｉ（画像イメージ）は
Ｃ（文字群の状態変数）の状態から生成され、ＣはＬ
（文字列群の状態変数）の状態からから生成され、Ｌは
Ｂ（文字ブロック群の状態変数）の状態からから生成さ
れると仮定する。この場合、式（１）は次式のように記
述することができる。

【００４１】

【数２】

【００４２】そして、確率密度としてＧｉｂｂｓ分布を
仮定し、あるポテンシャル関数を用いて確率密度をｅ^-U
と表現すれば、式（２）の右辺の最大化問題は各確率密
度を構成するポテンシャル関数Ｕ，Ｖの線形和からなる
次式の評価関数Ｊの最小化問題に変換できる。

【００４３】

【数３】式（３）の右辺の各ポテンシャル関数の例を以下に示
す。

【００４４】

【数４】

【００４５】ここで、Ｒ₁ 、Ｒ₂ 、Ｒ₃ は作用素あるい
はアルゴリズムを意味し、Ｒ₁ は文字画像から文字群の
状態を生成するもの、Ｒ₂ は文字群の状態から文字列群
の状態を生成するもの、Ｒ₃ は文字列群の状態から文字
ブロック群の状態を生成するものである。

【００４６】また、Ｒ₁ ^#、Ｒ₂ ^#、Ｒ₃ ^#は、それぞ
れ、Ｒ₁ 、Ｒ₂ 、Ｒ₃ の逆作用素あるいは逆アルゴリズ
ムを表すが、逆作用素あるいは逆アルゴリズムが存在し
ない場合は、近似逆作用素あるいは近似逆アルゴリズム
を表す。

【００４７】また、σ₁ 、σ₂ 、σ₃ は実数パラメータ
である。Ｒ₁ の具体例としては、ノイズや画像のボケ等
を排除するために画像復元を行い、一般に多値表現され
た画像イメージを画像の強度や輪郭情報に基づいて２値
画像やエッジ画像を抽出し、これらの画像からラベル画
像を生成し、各ラベル領域の外接多角形の頂点座標やこ
の外接多角形の重心座標をＣの「位置情報」とするアル
ゴリズムが挙げられる。また、「位置座標」だけではな
く、各ラベル領域の画像を解析することで、縦横のクリ
ップ数や画素の濃度とヒストグラムおよび位置情報等に
基づいて、文字、図、写真、罫線、背景テクスチャーと
いった「属性情報」を付加したり、および／または文字
認識を行い認識尺度もしくは認識尺度値を構成する局所
的な認識尺度値群や認識カテゴリを「認識情報」として
Ｃの状態変数に登録しても構わない。また、注目するラ
ベル画像の輪郭情報や背景情報およびこれと近接するラ
ベル領域の位置情報に基づいて注目ラベル領域の分割を
行ってもよい。

【００４８】Ｒ₂ としては、例えばＣの位置情報から近
接する文字候補成分のラベル領域の統合を行いＬの各状
態を生成するアルゴリズムが挙げられる。また、Ｒ₃ と
しては、例えばＬの位置情報や属性情報や認識情報から
近接する文字列候補成分の領域を統合したり分割を行う
アルゴリズムが挙げられる。

【００４９】これらのＲ₁ 、Ｒ₂ 、Ｒ₃ に対応したＲ₁
^#、Ｒ₂ ^#、Ｒ₃ ^#の例として、Ｒ₁ ^#は、Ｃの位置情報と
認識情報に基づいてラベル領域の分割あるいは統合を行
い文字画像を生成し、この文字画像を劣化させる処理を
行えばよい。また、Ｒ₂ ^#は、Ｌに登録された文字数や
位置情報に基づいて文字列候補成分の分割を行いＣを生
成すればよい。また、Ｒ₃ ^#は、Ｂに登録された文字列
数や位置情報に基づいて文字ブロック候補成分の分割を
行うものが考えられる。

【００５０】一方、Ｖ（Ｃ）は、文字が発生する状態に
対応した評価関数であり、文字列候補成分の文字らしさ
を計る尺度であり、ＭＡＰ推定の立場から見れば文字の
生成を表すモデルを表す。具体的には、例えば文字認識
の結果得られる類似度あるいは相違度あるいは尤度とい
った認識尺度から認識結果に対する信頼度を設け、信頼
度が高ければ関数値が小さく、信頼度が低い場合は関数
値が大きくなるように評価関数を選択したり、また、典
型的な文字を表す特徴量に基づいて文字モデルを予め定
め、この文字モデルと文字候補成分とのマッチングの結
果、文字モデルに近ければ関数値が小さく、文字モデル
から離れていれば関数値が大きくなるような評価関数を
設定すればよい。特に部分空間法や複合類似度法を用い
て未知パターンの類別を行う際には、文字パターンの特
徴ベクトルとカテゴリ毎に定められた部分空間を張る基
底ベクトルから計算される類似度を基にして、特徴ベク
トルの各成分に対応した局所的な類似度を定義すること
で、局所的な類似度が小さい成分に対応した文字パター
ンの局所領域を特定することができる。このようにして
検出された局所領域は文字候補成分以外のノイズあるい
は他の文字候補成分の一部である可能性が高いので、こ
の局所領域を除外して再び文字検出切出し処理を行い、
認識処理を行えば、高精度な文字認識処理が可能であ
る。このような処理は全てＶ（Ｃ）を最小化するように
行われる。

【００５１】また、Ｖ（Ｌ）は、文字列らしさを計る尺
度であり、Ｖ（Ｃ）の場合と同様に予め定められた文字
列モデルに相当する。したがって、モデルマッチングの
結果を用いてＶ（Ｌ）を最小にするように状態Ｌを変更
すればよい。

【００５２】また、Ｕ（Ｂ）は、文字ブロックらしさを
計る尺度であり、Ｖ（Ｃ）の場合と同様に予め定められ
た文字ブロックモデルに相当する。したがって、モデル
マッチングの結果を用いてＵ（Ｂ）を最小にするように
状態Ｂを変更すればよい。

【００５３】Ｖ（Ｃ）、Ｖ（Ｌ）およびＵ（Ｂ）の具体
例を以下に示す。今、画像イメージをＮ_B 個の部分領域
に分割し、ｉ番目の部分領域には１個の文字ブロックを
割り当てこれをＢ_i ブロックと呼び、このＢ_i ブロック
を表す状態変数をＢ_i で表す。また、このＢ_i ブロック
に属するＮ_Li個の文字列のうちｊ番目の文字列をＬ_ijと
呼び、各Ｌ_ij文字列の状態変数をＬ_ijとする。同様にし
て、Ｌ_ij文字列に属するＮ_Cij 個の文字候補成分のうち
ｋ番目の文字候補成分をＣ_ijk と表すことにする。そし
て、以下の諸量を定義する。

【００５４】

【数５】

【００５５】

【数６】

【００５６】なお、式（５）のｄ^C _ijklmnは、例えば、
Ｃ_ijk の領域の黒画素とＣ_lmn の領域の黒画素の間の最
短距離、あるいはＣ_ijk の領域における黒画素の重心と
Ｃ_lmn の領域における黒画素の重心の間の距離である。

【００５７】式（６）のｗ^C _ijk は、例えば、Ｌ_ij文字
列で文字が並ぶ方向におけるＣ_ijkの領域の幅あるいは
高さである。式（７）のｈ^C _ijk は、例えば、Ｌ_ij文字
列で文字が並ぶ方向に対して垂直の方向におけるＣ_ijk
の領域の幅あるいは高さである。

【００５８】式（１０）のｍ^C _ijk は、式（５）におい
て（ｉ，ｊ，ｋ）を固定し、（ｌ，ｍ，ｎ）を全てのも
のについてみたときに２番目に小さいｄ^C _ijklmnである
（（ｉ，ｊ，ｋ）＝（ｌ，ｍ，ｎ）の場合にｄ^C _ijklmn
は最小（＝０）となる）。

【００５９】式（１１）は、全ての（ｉ，ｊ，ｋ，ｌ，
ｍ，ｎ）についてみたときの式（５の最大値である。式
（１２）〜式（１５）は、それぞれ、全ての（ｉ，ｊ，
ｋ）についてみたときの式（６）〜式（９）の最大値で
ある。

【００６０】式（１６）は、全ての（ｉ，ｊ，ｋ）につ
いてみたときの式（１０）の最小値である。式（１７）
は、式（１０）を式（１１）の値で正規化したものであ
る。

【００６１】式（１８）〜式（２１）は、それぞれ式
（６）〜式（９）を式（１２）〜式（１５）の値で正規
化したものである。式（２２）のｄ^L _ijlmは、例えば、
Ｌ_ijの領域の黒画素とＬ_lmの領域の黒画素の間の最短距
離、あるいはＬ_ijの領域における黒画素の重心とＬ_lmの
領域における黒画素の重心の間の距離である。

【００６２】式（２３）のｗ^L _ijは、例えば、Ｌ_ij文字
列で文字が並ぶ方向における当該Ｌ_ij文字列の領域の幅
あるいは高さである。式（２４）は、例えば、Ｃ_lmn を
Ｌ_ij文字列で文字が並ぶ方向に対して垂直の方向に射影
した場合における、該Ｌ_ij文字列に属するＣ_ijk の領域
とＣ_lmn の領域とが該Ｌ_ij文字列で文字が並ぶ方向に重
複する部分の長さである。

【００６３】式（２５）は、例えば、Ｌ_ij文字列で文字
が並ぶ方向に対して垂直の方向におけるＬ_lm文字列の領
域の幅あるいは高さである。式（２６）は、例えば、Ｂ
_i 文字ブロックに属する文字列で文字が並ぶ方向におけ
る当該Ｂ_i 文字ブロックの幅である。

【００６４】式（２７）は、例えば、Ｌ_lmをＢ_i 文字ブ
ロック水平方向（例えば、Ｂ_i 文字ブロックに属する文
字列で文字が並ぶ方向）に対して垂直の方向に射影した
場合における、該Ｂ_i 文字ブロックに属するＬ_ijの領域
とＬ_lmの領域とがＢ_i 文字ブロック水平方向に重複する
部分の長さである。

【００６５】式（２８）は、例えば、Ｂ_i 文字ブロック
に属する文字列が並ぶ方向に対して垂直の方向における
当該Ｂ_i 文字ブロックの長さである。式（２９）のＥ
（ｘ_ijk ，ｉｋ）は、ｘ_ijk のｉとｋに関する平均であ
り、同様に、Ｅ（ｘ_ijkijm，ｋｍ）は、ｘ_ijkijmのｋと
ｍに関する平均であり、Ｅ（ｘ_ijk ，ｋ）は、ｘ_ijk の
ｋに関する平均であり、Ｅ（ｘ_ijim，ｊｍ）は、ｘ_ijim
のｊｍに関する平均であり、Ｅ（ｘ_ij，ｊ）は、ｘ_ijの
ｊに関する平均である。これらを用いて、例えば以下の
ように各評価関数を設定する。

【００６６】

【数７】

【００６７】

【数８】

【００６８】

【数９】

【００６９】なお、式（３４）〜式（３８）は、それぞ
れ、式（３１）におけるｘをＤ^C _ijk −θ_d1、Ｗ^C _ijk
−θ_d2、Ｈ^C _ijk −θ_h1、Ｒ^C _ijk −θ_r1、Ｐ^C _ijk −
θ_p1とし、θをθ_d2、θ_w2、θ_h2、θ_r2、θ_p2として、
ｉ（ｉ＝１〜Ｎ_B ）とｊ（ｊ＝１〜Ｎ_Li）とｋ（ｋ＝１
〜Ｎ_Cij ）で総和を取ったものである。

【００７０】式（３９）〜式（４１）は、それぞれ、式
（３１）におけるｘを（ｄ^C _ijklmn−ｍ^C _ijk ）／ｍ^C
_min −θ_d3、Ｒ^C _ijk Ｒ^C _lmn −θ_r3、Ｐ^C _ijk Ｐ^C
_lmn −θ_p3とし、θをθ_d4、θ_r4、θ_p4として、ｉ（ｉ
＝１〜Ｎ_B ）とｊ（ｊ＝１〜Ｎ_Li）とｋ（ｋ＝１〜Ｎ
_Cij ）とｌ（ｌ＝１〜Ｎ_B ）とｍ（ｍ＝１〜Ｎ_Ll）とｎ
（ｎ＝１〜Ｎ_Clm ）で総和を取ったものである。

【００７１】式（４４）は、ｌ＝ｉ、ｍ＝ｊ、ｎ＝ｍと
した式（５）のｋとｍに関する平均を式（２３）で割っ
たものについて、ｉ（ｉ＝１〜Ｎ_B ）とｊ（ｊ＝１〜Ｎ
_Li）で総和を取ったものである。

【００７２】式（４５）は、式（６）のｋに関する平均
で式（２３）を割ったものについて、ｉ（ｉ＝１〜Ｎ
_B ）とｊ（ｊ＝１〜Ｎ_Li）で総和を取ったものである。
式（４６）は、式（２５）を式（２３）で割ったものに
ついて、ｉ（ｉ＝１〜Ｎ_B ）とｊ（ｊ＝１〜Ｎ_Li）とｌ
（ｌ＝１〜Ｎ_B ）とｍ（ｍ＝１〜Ｎ_Ll）で総和を取った
ものである。

【００７３】式（４７）は、式（６）を式（２３）で割
ったものについて、ｉ（ｉ＝１〜Ｎ_B ）とｊ（ｊ＝１〜
Ｎ_Li）とｋ（ｋ＝１〜Ｎ_Cij ）で総和を取ったものであ
る。式（４８）は、ｌ＝ｉ、ｍ＝ｊとした式（２４）を
式（２３）で割ったものについて、ｉ（ｉ＝１〜Ｎ_B ）
とｊ（ｊ＝１〜Ｎ_Li）とｋ（ｋ＝１〜Ｎ_Cij ）とｎ（ｎ
＝１〜Ｎ_Cij ）で総和を取ったものである。

【００７４】式（５１）は、ｌ＝ｉとした式（２２）の
ｊとｍに関する平均を式（２６）で割ったものについ
て、ｉ（ｉ＝１〜Ｎ_B ）で総和を取ったものである。式
（５２）は、式（２３）のｊに関する平均で式（２６）
を割ったものについて、ｉ（ｉ＝１〜Ｎ_B ）で総和を取
ったものである。

【００７５】式（５３）は、式（２８）を式（２６）で
割ったものについて、ｉ（ｉ＝１〜Ｎ_B ）とｌ（ｌ＝１
〜Ｎ_B ）で総和を取ったものである。式（５４）は、式
（２３）を式（２６）で割ったものについて、ｉ（ｉ＝
１〜Ｎ_B ）とｊ（ｊ＝１〜Ｎ_Li）で総和を取ったもので
ある。

【００７６】式（５５）は、ｌ＝ｉとした式（２７）を
式（２６）で割ったものについて、ｉ（ｉ＝１〜Ｎ_B ）
とｊ（ｊ＝１〜Ｎ_Li）とｍ（ｍ＝１〜Ｎ_Li）で総和を取
ったものである。

【００７７】ただし、Σ_C 、Σ_L およびΣ_B はそれぞれ
Ｖ_C 、Ｖ_L およびＶ_B の共分散行列である。また、添字
付きθは変数パラメータである。これらのパラメータの
値は例えば後に示す手法等によりサンプルから学習する
ことができる。

【００７８】さて、式（３）を最小化する具体的なアル
ゴリズムとしては、例えば最急降下法やニュートン法を
用いたり、あるいは評価関数のパラメータに関する微分
が計算できないような場合は離散最適化法やジェネティ
ックアルゴリズムを用いればよい。

【００７９】ここでは文献「視覚大脳皮質の計算理論」
（電子情報通信学会論文誌Ｄ−ＩＩＶｏｌ．Ｊ７２−Ｄ
−ＩＩ，Ｎｏ．８，ｐｐ．１１１１−１１２１，１９９
０）で示された最適化手法に基づいて次式の微分方程式
を例として示す。

【００８０】

【数１０】

【００８１】式（５６）では、最初の３式のＣ（０）、
Ｌ（０）、Ｂ（０）はそれぞれ文字群の状態変数Ｃ、文
字列群の状態変数Ｌ、文字ブロック群の状態変数Ｂの初
期値（初期状態）であり、残りの３式のｄＣ／ｄｔ、ｄ
Ｌ／ｄｔ、ｄＢ／ｄｔはそれぞれ更新前後のＣ、Ｌ、Ｂ
の変化分である（式（５６）を離散的に解く場合にはｔ
を離散的に考える）。

【００８２】例えば、ｄＣ／ｄｔ、ｄＬ／ｄｔ、ｄＢ／
ｄｔがそれぞれ規定値以下になった場合に処理を終了
し、そのときのＣ、Ｌ、Ｂによって認識結果が与えられ
る。次に、辞書作成方法すなわちパラメータ学習の手法
について説明する。

【００８３】今、式（３２）、式（４２）および式（４
９）の各評価関数で表される文字モデル、文字列モデ
ル、文字ブロックモデルおよび式（４）のパラメータ全
体をΛとする。このとき、式（３）の評価関数の学習サ
ンプルに関するアンサンブル平均を用いて次式の新たな
評価関数を定義する。

【００８４】

【数１１】 Λの各値は次式を満足する連立方程式を解くか、あるい
は勾配法やニュートン法等の数値計算手法を用いて解を
求めればよい。

【００８５】

【数１２】ここでは、勾配法を用いた微分方程式によるパラメータ
更新の例を示す。

【００８６】

【数１３】

【００８７】ここで、ｔは時間を表す変数で、εは任意
の正実数である。上記の手法により求められたパラメー
タを評価関数とともに辞書に登録する。以上説明したよ
うに、本実施形態によれば、予め設定した評価関数の最
適化に基づいて、文字候補成分、文字列候補成分、およ
び文字ブロック候補成分の抽出を行うので、常に最適な
認識処理が可能になり、高精度にパターン認識を行うこ
とができる。また、文字候補成分に対しては文字認識を
行い、局所的な認識尺度を用いて動的に文字検出切出し
を行うことを可能にする。

【００８８】また、事前に用意した複数の学習サンプル
を用いてパラメータ学習を行うことで、サンプル毎の固
有のくせや変動を吸収した柔軟なシステムチューニング
が可能となる。

【００８９】なお、本実施形態において、文字の認識自
体を行わない場合（例えば、書面のフォーマットなどの
構造だけ抽出する場合など）には、標準文字パターンの
辞書やこれを用いた認識処理は不要になる。

【００９０】また、上記した実施形態に係るパターン認
識装置は、パターン認識機能およびパターン認識辞書学
習機能もしくはパターン認識辞書作成機能を兼ね備えた
ものであったが、本発明に係るパターン認識機能、辞書
学習機能、辞書作成機能は独立実施可能であり、パター
ン認識機能を備えた（辞書学習機能、辞書作成機能は備
えない）パターン認識装置、パターン認識辞書学習機能
を備えた（認識機能は備えない）パターン認識辞書学習
装置、パターン認識辞書作成機能を兼ね（認識機能は備
えない）備えたパターン認識辞書作成装置としても実施
可能である。パターン認識機能を備えた（辞書学習機
能、辞書作成機能は備えない）パターン認識装置は例え
ば図１の最適化処理部６から認識機能に不要の部分を省
いたものであり、パターン認識辞書学習機能を備えた
（認識機能は備えない）パターン認識辞書学習装置やパ
ターン認識辞書作成機能を兼ね（認識機能は備えない）
備えたパターン認識辞書作成装置は例えば最適化処理部
６から辞書学習機能や辞書作成機能に不要の部分と後処
理部１０と出力部１２を省いたものである。

【００９１】なお、以上の各手順、手段、機能は、ソフ
トウェアとしても実現可能である。また、コンピュータ
に上記各手順を実行させるための（あるいはコンピュー
タを上記各手段として機能させるための、あるいはコン
ピュータに上記各機能を実現させるための）プログラム
を記録したコンピュータ読取り可能な記録媒体として実
施することもできる。本発明は、上述した実施の形態に
限定されるものではなく、その技術的範囲において種々
変形して実施することができる。

【００９２】

【発明の効果】本発明によれば、これまで経験的に構築
されたパターン検出切出し処理や認識処理を評価関数の
最適化という理論的に明白な手法に基づいて再構築する
ことにより、常に最適な処理が可能になる。また、従来
は経験的な調整によるところが多かったパラメータ調整
を学習サンプルから自動的に決定することが可能とな
る。この結果、高精度なパターン認識装置を実現するこ
とが可能となる。

【図面の簡単な説明】

【図１】本発明の一実施形態に係るパターン認識装置の
構成を示す図

【図２】同実施形態に係るパターン認識処理の手順の一
例を示すフローチャート

【図３】同実施形態に係るパラメータ学習処理の手順の
一例を示すフローチャート

【符号の説明】

２…入力部４…前処理部６…最適化処理部８…辞書記憶部１０…後処理部１２…出力部

Claims

【特許請求の範囲】

【請求項１】入力パターンを特徴付ける複数の状態変数
と、各状態変数に対する評価関数と、異なる２つの状態
変数の組に対する評価関数とをもとにして、前記入力パ
ターンについての認識結果に対する評価関数を定め、前記認識結果に対する評価関数を最適化する方向に前記
状態変数を更新することを、所定の条件が成立するまで
繰り返し行うことを特徴とするパターン認識方法。
【請求項２】前記入力パターンは画像イメージであり、前記入力パターンを出力とする前処理を行う際に、この
前処理における入力画像イメージから、幾何情報、認識
情報および属性情報のうちの少なくとも１つを求め、こ
れを前記状態変数の少なくとも一部として用いることを
特徴とする請求項１に記載のパターン認識方法。
【請求項３】前記入力パターンは画像イメージであり、前記状態変数を更新する際に、前記入力パターンから、
幾何情報、認識情報および属性情報のうちの少なくとも
１つを求め、これを更新後の前記状態変数の少なくとも
一部として用いることを特徴とする請求項１に記載のパ
ターン認識方法。
【請求項４】前記入力パターンから前記認識情報を求め
る際に、所定の認識単位に対する認識結果として得られ
るカテゴリ情報、認識尺度値および認識尺度値を構成す
る局所的な認識尺度値群のうちの少なくとも１つを前記
認識情報の少なくとも一部とすることを特徴とする請求
項２または３に記載のパターン認識方法。
【請求項５】入力パターンを特徴付ける複数の状態変数
と、各状態変数に対する評価関数と、異なる２つの状態
変数の組に対する評価関数とをもとにして、前記入力パ
ターンについての認識結果に対する評価関数を定め、該
認識結果に対する評価関数を最適化する方向に前記状態
変数を更新することにより行うパターン認識のために該
認識結果に対する評価関数を作成するためのパターン認
識辞書作成方法であって、前記認識結果に対する評価関数におけるパラメータを複
数の学習サンプルを用いた所定の学習アルゴリズムによ
り定め、このパラメータを用いて前記認識結果に対する評価関数
を構成することを特徴とするパターン認識辞書作成方
法。
【請求項６】請求項１ないし４のいずれか１項に記載の
パターン認識方法によりパターン認識を行う手段を備え
たことを特徴とするパターン認識装置。
【請求項７】請求項５に記載のパターン認識辞書作成方
法により作成されたパターン認識辞書を用いてパターン
認識を行う手段を備えたことを特徴とするパターン認識
装置。
【請求項８】コンピュータに、入力パターンを特徴付け
る複数の状態変数と、各状態変数に対する評価関数と、
異なる２つの状態変数の組に対する評価関数とをもとに
して、前記入力パターンについての認識結果に対する評
価関数を定めさせ、前記認識結果に対する評価関数を最
適化する方向に前記状態変数を更新することを、所定の
条件が成立するまで繰り返し行わせるためのプログラム
を記録したコンピュータ読取り可能な記録媒体。
【請求項９】入力パターンを特徴付ける複数の状態変数
と、各状態変数に対する評価関数と、異なる２つの状態
変数の組に対する評価関数とをもとにして、前記入力パ
ターンについての認識結果に対する評価関数を定め、該
認識結果に対する評価関数を最適化する方向に前記状態
変数を更新することにより行うパターン認識のために該
認識結果に対する評価関数をコンピュータに作成させる
ためのプログラムであって、コンピュータに、前記認識結果に対する評価関数におけ
るパラメータを複数の学習サンプルを用いた所定の学習
アルゴリズムにより定めさせ、このパラメータを用いて
前記認識結果に対する評価関数を構成させるためのプロ
グラムを記録したコンピュータ読取り可能な記録媒体。