JPH02238588A - 文字認識装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〈産業上の利用分野〉 この発明は、ニューラル・ネットワークを用いて、入力
データが属するカテゴリを認識する認識装置に関する。

〈従来の技術〉 従来、ニコーラル・ネットワークを用いた認識装置にお
いては、一つのニコーラル・ネットワークによって、カ
テゴリの大分類を行わずに識別対象となる総てのカテゴ
リの中から一度に入力データが属するカテゴリを認識し
、その認識結果を出力するようにしている。あるいは、
予め識別対象全カテゴリを大分類して求めた大カテゴリ
を用意しておき、まず標準パターンとの距離計算等によ
って大分類処理を実行して人ノノデータが属する大カテ
ゴリを識別した後、一つのニコーラル・ネットワークに
よって」二記大カテゴリに含まれるカテゴリの中から、
入力データが属するカテゴリを認識し、その認識結果を
出力するようにしている。

〈発明が解決しようとする課題〉 このように、上記認識装置においては、総ての識別対象
カテゴリの中から一度に入力データが属するカテゴリを
認識する場合、あるいは、犬カテゴリの中から入力デー
タが属するカテゴリを認識する場合のいずれの場合も一
つのニューラル・ネットワークによって認識動作を実行
している。

」二記ニューラル・ネッ１・ワークは、与えられた学習
データに従って内部の結合係数（ウェイト）を修正する
操作（学習）を繰り返すことによって、自動的に内部の
ウェイトが」二記学習データを識別するのに適切な値に
収束していく学習アルゴリズムを脊している。したかっ
て、これを認識装置に応用する場合には、学習データを
与えたときにその学習データが属するカテゴリを呈示し
て、総ての識別対象カテゴリの中から学習データが属す
るカテゴリを識別する学習を実行する。そうすると、学
習済みのニューラル・ネットワークは、設定されたウェ
イトの値に従って入力データが属ずるカテゴリを出力ず
るようになるのである。

上記のような学習のアルゴリズムとして、例えばパック
プロパゲーションや学習ベク１・ル量子化２（１、ＶＱ
２）等多くのアルゴリズムがある。上記学習のアルゴリ
ズムは夫々長所と短所を有している。そこで、認識動作
を実行する際に、識別しようとずるカテゴリの内容特性
に合致した学習アルゴリズムあるいは識別アルゴリズム
を有するニューラル・ネットワークが用いられない場合
には、学習動作あるいは認識動作の効率が非常に悪いと
いう問題や、認識性能が悪くなるという問題がある。

そこで、この発明の目的は、識別対象カテゴリの特性に
合致したニコーラル・ネソｌ・ワークを用いることによ
って認識性能が高く、かつ、学習効率および認識効率の
良い認識装置を提供することにある。

〈課題を解決するための手段〉 上記目的を達成するため、この発明は、入力された特徴
パターンが属するカテゴリをニューラル・ネットワーク
を用いて認識する認識装置において、予めカテゴリ識別
の際に用いるニコーラル・ネットワークの識別特性に応
じたカテゴリの内容特性に基づいて、識別されるべきカ
テゴリが大カテゴリに分類されており、上記大カテゴリ
の中から入力特徴パターンが属ずる犬カテゴリを選出ず
ると共に、選出された犬カテゴリに対応付けられている
大カテゴリの内容特性に合致した識別特性を有するニュ
ーラル・ネットワークを選択するネットワーク選択部と
、」二記犬カテゴリ毎の学習の結果得られた学Ｈ済みニ
コーラル・ネッ）・ワークの形状、学習によって設定さ
れたウェイト、および」二記形状のニューラル・ネット
ワークによるカテゴリ識別の際に用いる識別アルゴリズ
ムを格納するネットワーク・メモリ部と、上記ネットワ
ーク選択部によって選択されたニコーラル・ネットワー
クに基づいて、上記選出された大カテゴリの内容特性に
合致した識別特性を有するニューラル・ネットワークの
形状．ウェイトおよび識別アルゴリズムを上記ネットワ
ーク・メモリ部から読み出してセットするニューラル・
ネットワーク構造セット部と、上記ニューラル・ネット
ワーク構造セット部によってセットされたニューラル・
ネットワーク構造に従って詳細識別動作を実行して、入
力特徴パターンが属するカテゴリを認識ずる詳細識別部
を備えたことを特徴としている。

く作用〉 入力特徴パターンがネットワーク選択部に入力されると
、上記入力特徴パターンが属する大カテゴリが選出され
ると共に、この選出された大カテゴリの内容特性に合致
した識別特性を有するニューラル・ネットワークが選択
される。そうすると、この選択されたニューラル・ネッ
トワークに基づいて、上記選出された大カテゴリの内容
特性に合致した識別特性を有する学習済みのニューラル
・ネットワークの形状、学習によって設定されたウェイ
ト、および上記形状のニューラル・ネットワークによる
カテゴリ識別の際に用いる識別アルゴリズムが、ニュー
ラル・ネットワーク構造セット部によってネットワーク
・メモリ部から読み出されてセットされる。そして、こ
のニューラル・ネットワーク構造セット部によってセッ
トされたニューラル・ネットワーク構造に従って詳細識
別動作が実行され、入力特徴パターンが属するカテゴリ
が認識される。したがって、大カテゴリに含まれるカテ
ゴリの中から上記入力特徴パターンが属するカテゴリを
識別する際に、上記大カテゴリに含まれるカテゴリの内
容特性に合致した識別特性をたニューラル・ネットワー
クを選択する。ここで、上記大カテゴリは総ての識別対
象カテゴリをその内容特性に基づいて分類して求められ
る。そして、この人カテゴリにはその人カテゴリに含ま
れるカテゴリの内容特性に合致した識別特性を有するニ
コーラル・ネットワークが対応付けられている。したが
って、大カテゴリを選択すると、おのずと大カテゴリに
含まれるカテゴリの特性に合致する識別特性を有するニ
ューラル・ネットワークが選出されることになる。

そうすると、ウェイト・セット部５は、ネットワーク選
択部４によって選択されたニューラル・ネットワークに
従って、ウェイト・メモリ部６に大カテゴリ別に格納さ
れている学習済みニューラル・ネットワークの形状，認
識アルゴリズムおよびウェイトを選出してセットする。

こうして、大カテゴリに含まれる複数のカテゴリの中か
ら入力特徴パターンが属するカテゴリを識別する（すな
わち、詳細識別を行う）のに最適な構造のニューラル・
ネットワークが設定されるのである。このニュ有するニ
ューラル・ネットワークを用いて識別することができる
のである。

〈実施例〉 以下、この発明を図示の実施例により詳細に説明する。

第１図はこの発明の認識装置の一実施例としての文字認
識装置のブロック図である。この文字認識装置は、図示
しない特徴抽出部等によって抽出された入力特徴パター
ンが入力呈示部ｌから呈示されると、この呈示された入
力特徴パターンと標準パターンメモリ部３に識別対象カ
テゴリ別に格納されている標準パターンとの類似度計算
が類似度計算部２によって行われる。ここで、上記特徴
パターンおよび標準パターンとして、例えば文字を８×
８の格子に区切り、その中の画像の濃度を特徴量とする
メッシュ特徴パターン等がある。

ネットワーク選択部４は、類似度計算部２による類似度
計算結果に基づいて、入力特徴パターンが属する大カテ
ゴリを選択する（すなわち、大分類を行う）と共に、選
択した大カテゴリに対応しーラル・ネットワークは、上
記大カテゴリに含まれる各カテゴリ識別の学習が既に成
されておりその際に設定されたウェイトと用いられた識
別アルゴリズがセットされているのである。

そうすると、詳細識別部７は入力呈示郎Ｉから入力特徴
パターンを取り込んで、ウェイト・セット部５によって
セットされたネットワーク形状ウェイトおよび識別アル
ゴリズムによって詳細識別動作を実行する。そして、得
られた識別結果は図示しないＩ／Ｏ部を介して外部装置
に送出される。ＣＰＵ（中央処理装置）８は入力呈示部
ｌ，類似度計算部２，標準パターンメモリ郎３　ネット
ワーク選択部４，ウェイト・セット部５　ウェイト・メ
モリ部６および詳細識別部７を制御して文字認識動作を
実行する。

ここで、上記ウェイト・セット部５，ウェイト・メモリ
郎６および詳細識別部７は、詳細識別動作を実行するニ
ューラル・ネットワーク９の一部を成している。このニ
ューラル・ネットワーク９は予め特定の構造を有するも
のではなく、上述のように、ウェイト・セット部５によ
って、ウェイト・メモリ部６に格納されたニューラル・
ネットワークの形状，識別アルゴリズムおよびウェイト
が選択されてセットされることによってその構造が決定
されるのである。

次に、上記ＣＰＵ８によって行イつれる１文字認識動作
について詳細に述べる。第２図は１文字認識動作のフロ
ーチャートである。

ステップＳ１で、入力呈示部Ｉに呈示された入力特徴パ
ターン七特徴メモリ郎３に格納された標準パターンとの
類似度計算が実行され、その計算結果に基づいて入力特
徴パターンが属する大カテゴリを選択ずる大分類ルーチ
ンが実行される。

ステップＳ２で、大カテゴリ番号ｉ（１≦１≦１）に、
上記ステップＳ１において選択された大カテゴリに付加
された番号がセットされる。

ステップＳ３で、上記ステップＳ２においてセットされ
た大カテゴリ番号ｉが何番であるかが判別される。その
結果”１”であればステップＳ４に進み、“２”であれ
ばステップＳ７に進み、以下同様ラル・ネットワーク２
によって詳細識別動作が実行されて入力特徴パターンが
属するカテゴリが認識され、１文字認識動作を終了する
。

ステップＳ１０．ステップＳｌｌおよびステップＳ１２
で、上記ステップＳ２においてセットされた大カテゴリ
番号“ビに従って、ニューラル・ネットワークＩの構造
が設定される。そして、詳細識別動作が実行されて入力
特徴パターンが属するカテゴリが認識され、１文字認識
動作を終了する。

第３図は第２図の■文字認識動作のフローヂャートにお
けるステップＳ１で実行される大分類ルーヂンのフロー
ヂャートの一例である。以下、第３図に従って大分類動
作の一例について詳細に説明する。

ステップＳ２１で、入力呈示部１によって呈示された入
力特徴パターンと、標準パターンメモリ部３に格納され
ている全識別対象カテゴリの標準パターンとのユークリ
ッド距離が計算される。

ステップＳ２２で、上記ステップＳ２１において算出さ
れたユークリッド距離が犬カテゴリ毎に合計にして“′
Ｉ”であればステップＳＩＯに進む。

ステップＳ４で、上記ステップＳ２においてセットされ
た大カテゴリ番号“１”に従って、ニューラル・ネット
ワーク１が選択される。

ステップＳ５で、上記ステップＳ４において選択された
ニューラル・ネットワーク１に対応したネソトワーク形
状，ウェイトおよび識別アルゴリズムがセットされ、詳
細識別動作を実行する際のニューラル・ネットワークＩ
の構造が設定される。

ステップＳ６で、」二記ステップＳ５において設定され
たニューラル・ネットワーク１の構造に基づいて、詳細
識別動作が実行されて入力特徴パターンが属するカテゴ
リが認識され、１文字認識動作を終了する。

ステップＳ７．ステップＳ８およびステップＳ９で、上
記ステップＳ２においてセットされた犬カテゴリ番号“
２”に従って、ニューラル・ネソトワーク２に対応した
ネットワーク形状，ウェイトおよび識別アルゴリズムが
セットされ、ニューラル・ネットワーク２の構造が設定
される。そして、ニューされる。

ステップ８２３で、上記ステップＳ２２において算出さ
れた合計距離に基づいて犬カテゴリ毎の平均距離が算出
される。

ステップＳ２４で、上記ステップＳ２３において算出さ
れた犬カテゴリ毎の平均距離に基づいて、最小平均距離
が選出される。

ステップＳ２５で、上記ステップＳ２４において選出さ
れた最小平均距離に対応ずる大カテゴリの番号ｉが出力
され、大分類ルーヂンを終了する。

次に、具体的な例を上げて文字認識動作をさらに詳細に
説明する。第４図は平仮名文字「あ」および「ば」にお
ける認識過程を示す図であり、第４図（ａ）は入力文字
、第４図（ｂ）は入力文字が属する犬カテゴリ、第４図
（ｃ）は大カテゴリに対応する学習アルゴリズム、第４
図（ｄ）は詳細識別動作に用いられるニューラル・ネッ
トワーク、第４図（ｅ）は認識結果を示す。以下、第４
図．第２図および第３図に従って、文字認識動作をより
具体的に説明する。

この場合における全識別カテゴリは「あ」，「お」，「
ち」．「は」．「ば」および「ぱ」である。上述のよう
に、ニューラル・ネットワークの学習アルゴリズムとし
て、バックプロパゲーションとＬＶＱ２がある。

そして、パックプロパゲーションによる学習は時間が掛
かるという欠点がある。しかしながら、パックプロパゲ
ーションによって学習されたニューラル・ネットワーク
は特徴パターンの細部の違いを拡大して識別できるとい
う長所がある。また、ＬＶＱ２によって学習されたニュ
ーラル・ネットワークは特徴パターンの細部の違いを識
別できないという欠点がある。しかしながら、ＬＶＱ２
は学習に要する時間は短いという長所がある。そこで、
この実施例における全識別対象カテゴリの大カテゴリへ
の分類は、予め平仮名の形状特性（形状の細部の違いの
有り無し）によって行う。すなわち、大カテゴリ番号“
１”の大カテゴリは大局的な形状差を有するカテゴリ「
あ」汗お」および「ち」から成る。また、大カテゴリ番
号“２”の大カテゴリは、細部の形状差を有するカテゴ
リ「は」，「ば」および「ぱ」から成る。

「あ」の特徴パターンが入力呈示部ｌに呈示されると、
第２図のステップＳ１で次のようにして大分類が行われ
る。すなわち、第３図のステップ８２１〜ステップＳ２
５において、まず「あ」の特徴パターンと「あ」，「お
」１「ち」，「は」，「ば」および「ば」の標準パター
ンとのユークリッド距離が計算され、次に「あ」，「お
」および「ち」に対する距離の平均値と、「は」，「ば
」および「ぱ」に対する距離の平均値が算出される。そ
して、両平均値が比較されて最小平均距離（この場合は
、カテゴリ「あ」，「お」および「ち」から成る大カテ
ゴリ番号“１”の大カテゴリの平均距離）が選択され、
大カテゴリ番号“ビヵ咄力される。

そうすると、第２図のステップ８２〜ステップＳ４にお
いて、出力された大カテゴリ番号“Ｉ”に基づいてニュ
ーラル・ネットワークｌが選択される。そして、ステッ
プＳ５においてニューラル・ネットワーク１のネットワ
ーク形状，ウェイトおよびアルゴリズムがセットされる
。

ｌ５ ここで、既に述べたように、パックプロパゲーションに
よって学習されたニューラル・ネットワークは特徴パタ
ーンの細部の違いを拡大して識別できる。また、ＬＶＱ
２によって学習されたニューラル・ネットワークは特徴
パターンの大局的な違いを識別できる。そこで、大局的
な形状差を有する大カテゴリ番号“１″の大カテゴリに
対応して選択されるニューラル・ネットワーク１として
、ＬＶＱ２によって学習されたニューラル・ネットワー
クを割り当てる。そして、予め大カテゴリ番号“ビの大
カテゴリに含まれるカテゴリ「あ」．「お」および「ち
」を分類する学習をＬＶＱ２によって行い、この学習に
よって設定されたウェイトと、その学習に用いられたネ
ットワーク形状（すなわち、コホーネン型ニューラル・
ネットワークの形状）をウェイト・メモリ郎６に大カテ
ゴリ番号“１”に対応付けて格納しておくのである。そ
の結果、第２図のステップＳ５において、ＬｖＱ２によ
ってカテゴリ「あ」，「お」および「ち」を分類する学
習が行われた際のネットワーク形状と、その学習で設定
ｌ６ されたウェイトがセットされるのである。

そうした後、第２図のステップＳ６において、セットさ
れたコホーネン型ニューラル・ネットワークの入カノー
ドに「あ」の特徴パターンが入力され、セットされたウ
ェイトを用いてコホーネン型ニューラル・ネットワーク
の識別アルゴリズムによって詳細識別動作が実行され、
認識結果「あ」が出力される。その際に、コホーネン型
ニューラル・ネットワークの学習動作および詳細識別動
作は短時間に行うことができるので、「あ」認識の準備
や実行を効率良く行うことができるのである。また、大
カテゴリ番号“ビの大カテゴリに含まれるカテゴリは細
部の形状差を有しないので、ＬＶＱ２で学習されたニュ
ーラル・ネットワークＩ（すなわち、コホーネン型ニュ
ーラル・ネットワーク）でも「あ」が正しく認識される
のである。

一方、「ば」の特徴パターンが呈示されると、上述のよ
うにして大分類が行われる。すなわち、「あ」「お」お
よび「ち」に対する距離の平均値と、「は」，「ば」お
よび「ぱ」に対する距離の平均値が算出され、最小平均
距離（この場合は、カテゴリ「は」．「ば」および「ぱ
」からなる犬カテゴリの平均距離）が選択され、大カテ
ゴリ番号″２”が出力される。そして、ニコーラル・ネ
ットワーク２が選択される。この場合には、細部の形状
差を有する大カデゴリ番号“２′゛の大カテゴリに対応
してパックプロパゲーンヨンによって学習されたニュー
ラル・ネットワークが選択される。その結果、予めパッ
クプロパゲーノヨンによってカテゴリ「は」，「ば」お
よび「ぱ」を分類する学習において設定されたウェイト
と、その学習の場合に用いられたネッ１・ワーク形状（
すなわち、パーセプトロン型ニコーラル・ネットワーク
の形状）がセットされるのである。

そうした後、このセットされたパーセプトロン型二，−
ラル・ネントワークの入力ユニットに「ば」の特徴パタ
ーンが入力され、セットされたウェイトを用いてパーセ
プトロン型ニコーラル・ネットワークの識別アルゴリズ
ムによって詳細識別動作が実行される。そうして、「ば
」の特徴パターンの細部の違いが拡大されて正しく識別
され、認識結Ｉ９ しかも、精度良く認識することができるのである。

上記実施例においては、大カテゴリを選択ずる際の大分
類ルーヂンは従来から用いられている類｛Ｕ度計算によ
って実行している。しかしながら、この発明はこれに限
定されるものではなく、大分類ルーヂンもニコーラル・
ネソトワークを用いて実施してもよい。

〈発明の効果〉 以」二より明らかなように、この発明の認識装置は、ネ
ットワーク選択部，ネットワーク・メモリ部ニコーラル
・ネットワーク構造セット部および詳細識別部を有して
、入力特徴パターンが入力されると、」一記ネットワー
ク選択部で上記入力特徴パターンが属ずる大カテゴリを
選出ずると共に、この選出された犬カテゴリの内容特性
に合致した二，ーラル・ネッ｝・ワークを選択し、−」
二記ニューラル・ネットワーク構造セット部で、上記選
出された犬カテゴリの内容特性に合致した学習済みのニ
コーラル・ネソトワークの形状，ウェイトおよび識別ア
ルゴリズムを」一記ネットワーク・メモリ部がら読果「
ば」が出力される。すなわち、入力特徴パターンが属す
るカテゴリが、その入力特徴パターンと識別しにくい特
徴パターンが属するカテゴリと正しく区別して識別され
るのである。

このように、この発明の認識装置は、予め識別対象とな
る全カテゴリを、ニューラル・ネットワークの識別アル
ゴリズム特性に合致したカテゴリの内容特性によって大
カテゴリに分類しておき、まず入力特徴パターンが属す
る大カテゴリを選択ずる。次に、選択された大カテゴリ
のカテゴリの内容特性に合致した識別アルゴリズム特性
を有する学習済みニューラル・ネットワークを用いて、
上記選択された大カテゴリに含まれるカテゴリの中から
入力特徴パターンが属するカテゴリを認識するので、大
カテゴリに含まれるカテゴリの中から入力特徴パターン
が属するカテゴリを認識する際に、その人カテゴリに含
まれるカテゴリを識別するのに最もふさわしいニューラ
ル・ネットワークを用いて認識することができる。した
がって、入力特徴パターンが属するカテゴリを効率良く
、み出してセットし、このセットされたニューラル・ネ
ットワーク構造に従って、」二記詳細識別部で識別動作
を実行するので、大カテゴリに含まれるカテゴリの中か
ら入力特徴パターンか属ずるカテゴリを識別する詳細識
別動作を、」二記大カテゴリに含まれるカテゴリの内容
特性に合致した識別特性を有するニューラル・ネットワ
ークによって実行することができる。

したがって、例えば大局的差によって分類された犬カテ
ゴリにおげる詳細識別動作には、認識動作の速いコホー
ネン型ネットワーク・ネソトワークを使用して迅速に識
別し、細部の違いによって分類された大カテゴリにおけ
る詳細識別動作には、細部の違いを正確に認識できるパ
ーセプ１・ロン型ニューラル・ネットワークを使用して
正確に認識することができ、入力特徴パターンが属する
カテゴリを効率良く、しかも、精度よく認識することが
できる。

【図面の簡単な説明】

第１図はこの発明の認識装置の一実施例におｌ−１るブ
ロック図、第２図は１文字認識動作のフローヂャ−１・
、第３図は第２図における大分類ルーヂンのフローヂャ
ー１・、第４図は平仮名認識過程の一例を示す図である
。 １・・・入力呈示部、　　　　２　・類似度計算部、３
　・標準パターンメモリ部、 ４　・ネットワーク選択部、 ５　ウェイト・セット部、 ６・・ウェイト・メモリ部、 ７・・詳細識別部、　　　　　８・・・ＣＰＵｏ特許出
願人　　シャープ株式会社 代理人　　弁理士　　青　山　　葆　はかＩ名第３図 第４図 Ｓ２＋ Ｓ２２ 入力文中 大分頬で遺状 さ散た大ｈプ−Ｊ”ｌノ 「あ」 ｒ　ｔｔ’＋ フホーネ〉室 ニューラル｝−／Ｌワーク パーセプトロン型 ニューラル・ネットワーク 「あ」 ［ば］ ８０９一

Claims (1)

【特許請求の範囲】
1. （１）入力された特徴パターンが属するカテゴリをニュ
   ーラル・ネットワークを用いて認識する認識装置におい
   て、 予めカテゴリ識別の際に用いるニューラル・ネットワー
   クの識別特性に応じたカテゴリの内容特性に基づいて、
   識別されるべきカテゴリが大カテゴリに分類されており
   、上記大カテゴリの中から入力特徴パターンが属する大
   カテゴリを選出すると共に、選出された大カテゴリに対
   応付けられている大カテゴリの内容特性に合致した識別
   特性を有するニューラル・ネットワークを選択するネッ
   トワーク選択部と、 上記大カテゴリ毎の学習の結果得られた学習済みニュー
   ラル・ネットワークの形状、学習によって設定されたウ
   ェイト、および上記形状のニューラル・ネットワークに
   よるカテゴリ識別の際に用いる識別アルゴリズムを格納
   するネットワーク・メモリ部と、 上記ネットワーク選択部によって選択されたニューラル
   ・ネットワークに基づいて、上記選出された大カテゴリ
   の内容特性に合致した識別特性を有するニューラル・ネ
   ットワークの形状、ウェイトおよび識別アルゴリズムを
   上記ネットワーク・メモリ部から読み出してセットする
   ニューラル・ネットワーク構造セット部と、 上記ニューラル・ネットワーク構造セット部によってセ
   ットされたニューラル・ネットワーク構造に従って詳細
   識別動作を実行して、入力特徴パターンが属するカテゴ
   リを認識する詳細識別部を備えたことを特徴とする認識
   装置。