JPH0650539B2 - 文字認識用計算ネットワーク - Google Patents

文字認識用計算ネットワーク

Info

Publication number
JPH0650539B2
JPH0650539B2 JP2135546A JP13554690A JPH0650539B2 JP H0650539 B2 JPH0650539 B2 JP H0650539B2 JP 2135546 A JP2135546 A JP 2135546A JP 13554690 A JP13554690 A JP 13554690A JP H0650539 B2 JPH0650539 B2 JP H0650539B2
Authority
JP
Japan
Prior art keywords
feature
map
units
network
constraint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2135546A
Other languages
English (en)
Other versions
JPH0334082A (ja
Inventor
エス．デンカー ジョン
イー．ハワード リチャード
ディ．ラッケル ローレンス
レカン ヤン
Original Assignee
アメリカン テレフォン アンド テレグラフ カムパニー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アメリカン テレフォン アンド テレグラフ カムパニー filed Critical アメリカン テレフォン アンド テレグラフ カムパニー
Publication of JPH0334082A publication Critical patent/JPH0334082A/ja
Publication of JPH0650539B2 publication Critical patent/JPH0650539B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/18—Extraction of features or characteristics of the image
    • G06V30/1801—Detecting partial patterns, e.g. edges or contours, or configurations, e.g. loops, corners, strokes or intersections
    • G06V30/18019—Detecting partial patterns, e.g. edges or contours, or configurations, e.g. loops, corners, strokes or intersections by matching or filtering
    • G06V30/18038—Biologically-inspired filters, e.g. difference of Gaussians [DoG], Gabor filters
    • G06V30/18048—Biologically-inspired filters, e.g. difference of Gaussians [DoG], Gabor filters with interaction between the responses of different filters, e.g. cortical complex cells
    • G06V30/18057—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Character Discrimination (AREA)
  • Image Analysis (AREA)

Description

【発明の詳細な説明】 ［産業上の利用分野］ 本発明はパターン認識の分野に関し、特に光学文字認識
用の大量並列的制約ネットワークに関する。
［従来技術］ きめ細い並列アーキテクチャーを持つ適応学習をベース
にした計算システムが、コンピュータベースの情報収
集、処理、操作、蓄積、伝送などの進歩により、近年登
場するようになった。これらのシステムに採用される概
念は、個々のイメージ中の文字パターンの自動的認識、
解析、及び分類等の問題を解決する高効率アプローチを
表している。そのようなシステムにおける技術的価値
は、従来方式と比べた効率と精度で決められる。
Connectionism in Perspective 143-155頁（Else vier
Science Publishers：Ｎorth-Holland 1989）のY.LeCun
の“一般化とネットワーク設計戦略”と題する論文中
で、光デジット認識問題へ適用される５階層ネットワー
クアーキテクチャーについて述べられている。ネットワ
ークの夫々における学習は、D.Rumelhart他のParallel
Distributed Processing,VOL.1,318-362頁（Bradford B
ooks：Cambridge,Mass.1986）で述べられているバック
プロパゲーション技術から得られた固有の分類知能を介
して、手書き数字のピクセルイメージについて試みられ
た。ネットワークの複雑性は、２つのレベルの制約特徴
マップを持つ階層ネットワークへ最終的には拡大してし
まうことを示した。階層ネットワークの性能は、余り複
雑でないネットワークのそれ以上である。更にそれは、
多レベルの制約特徴マップはシフト不変量の追加制御が
必要であった。
上記の階層ネットワークは、文字認識や分類の問題を解
決する技術を進歩させるが、信頼性の高い自動文字認識
装置の実現を可能にするには、現システムは十分な精度
を欠いていることも明らかである。
［発明の概要］ 高い精度と信頼性ある光文字認識は、制約特徴検出の各
層が複数の制約特徴マップとそれに対応する複数の特徴
減少マップを含む制約特徴検出の数層をもつ階層化ネッ
トワークによって提供される。各特徴減少マップは、そ
の制約特徴マップをアンダーサンプリングするために、
同一層のただ１つの制約特徴マップと接続される。第１
の制約特徴検出層の各制約特徴マップ中のユニットは、
対応する核の関数として、及びユニットに関連する受入
れ領域の中に捕らえられた文字のピクセルイメージの異
なる部分の関数として応答する。第２の制約特徴検出層
の各特徴マップ中のユニットは、対応する核の関数とし
て、及び個々の特徴減少マップの異なる部分、又はユニ
ットの受入れ領域の中に捕らえられた第１制約特徴検出
層中の数個の特徴減少マップの組合わせの関数として応
答する。第２の制約特徴検出層の特徴減少マップは、最
後の分類層の各ユニットと完全に接続される。核はネッ
トワークの始動又は訓練の間、制約バックプロパゲーシ
ョンにより自動的に学習される。
このネットワークのアーキテクチャーから実現された利
点は、シフト不変量の増加、エントロピの大幅減少、バ
プニック−チェルボネンキス（Ｖａｐｎｉｋ−ｃｈｅｒ
ｖｏｎｅｎｋｉｓ）の次元化、及び自由パラメータの数
である。この改良の結果として、ネットワークは一般化
性能の与えられたレベルに達するために必要な訓練デー
タ量、即ち訓練時間を比例的に減少させる。
［実施例の説明］ 第１図に示す計算素子は、本発明により実現された階層
制約ネットワークのための基礎的な機能及び相互接続ブ
ロックを形成する。一般に、計算素子はｎ＋１個の入力
の入力値加重和を作り、単一値に達するために非線形性
回路を介して結果を伝える。計算素子の入力値と出力値
は、多レベル、グレイスケール、あるいは現存の二進の
ようなアナログ、準アナログである。計算素子に用いら
れる非線形性回路は、例えば、ハード・リミッター、し
きい論理素子、及びＳ字状非線形性を含む。
動作については、第１図に示す計算素子は、イメージ又
は特徴マップからのｎ個の近傍の入力ピクセル、ピクセ
ル値、及びユニット値を走査し、このピクセル値とユニ
ット値は、ａ1、ａ2、…、ａnと表された値を持ってい
る。入力バイアスは計算素子のｎ＋１番目の入力に供給
される。簡単化のためバイアスは通常１のような一定値
にセットされる。入力値とバイアスは、掛算器１−１か
ら１−（ｎ＋１）まで供給される。掛算器は重みｗ1か
らｗn+1をもつカーネルからの入力を受け入れる。すべ
ての掛算器からの出力は、入力値の加重和をつくる加算
器２へ供給される。加算器２の出力は、重みのカーネル
を表すベクトルと入力値（バイアス値を含む）のベクト
ルとのドット積である。加算器２からの出力値は、単一
ユニット出力値ｘiを作る非線形性回路３中の非線形関
数を通過する。以下に詳述するように、ユニット出力値
ｘiは、特徴マップ中のｉ番目のユニットの値に関する
ものである。
実施例では、非線形性回路３用の典型的Ｓ字状関数は、
スケーリングされたハイパボリック・タンジェント関
数、ｆ（α）＝ＡｔａｎｈＳαとして選ばれている。こ
こでαは非線形性回路３への加重和入力、Ａは関数の振
幅、Ｓは原点における関数の傾斜を決める。上述のごと
く、非線形性関数は＋Ａと−Ａにおける水平漸近線をも
つ奇関数である。奇関数対称性を有する非線形関数は、
カーネルの重みｗ1からｗn+1までより早い転換を提供で
きる。
階層制約ネットワーク中の夫々のカーネルの重みは、バ
ックプロパゲーションとして知られている試行錯誤学習
技術を用いて得られたものである。これは前記Rumelhar
t他の論文や、R.P.Lippmannの“神経網をもつ計算の導
入”と題するIEEE ASSP Magazine第４巻、第２号、4-22
頁（1987）に述べられている。訓練前は、カーネルの中
の重みの夫々は、例えば、区間［−２．４／Ｆi，２．
４／Ｆi］の一様分布乱数に初期化される。ここでＦ
iは、その接続が属するユニットの入力（ファン・イ
ン）の数である。第１図の例では、ファン・インＦiは
ｎ＋１に等しい。この初期化技術を使って、Ｓ字状非線
形関数の定義域内に値を維持することが可能である。訓
練中はイメージパターンは一定順序で与えられる。重み
は、認識のための単一イメージパターンの各表示後に、
統計的傾斜すなわち“オンライン”の手順で更新され
る。実際の傾斜手順は、重みが更新される前に、平均化
が全訓練セットについて行われるように、更新のために
使われる。統計的傾斜は、特別大きい冗長度の大きいイ
メージデータベース用の実際の傾斜よりも、重みを速く
収束させることが知られている。
通常の技術が、手書き文字を、供給された文字イメージ
を形成するピクセル・アレーへ転換するために用いられ
る。文字イメージは、遠隔地からの電子伝送により、ま
たは走査カメラやその他の走査デバイスで局部的に得ら
れる。そのソースに関係なく、従来方式により、文字イ
メージはピクセルの順序づけられた集合によって表示さ
れる。順序づけられた集合の代表はアレーである。一旦
表示されると、文字イメージは捕獲されて、光メモリ・
デバイス又はフレーム・バッファのような電子メモリ・
デバイスに蓄えられる。
各ピクセルは可視文字イメージの小域から放射される光
の強さや色に対応した関連値を有している。ピクセルの
値はその後メモリ・デバイスに蓄えられる。個々のマッ
プに言及すると、“ピクセル”と“ユニット値”の語は
同じ意味で使われ、それはピクセル、ピクセル値、及び
マップ・アレーを形成するための各計算素子の組合わせ
からのピクセル値出力を含むと解される。それは、ネッ
トワークの演算の理解を視覚化したり開発したりするた
めに、ピクセル値又はユニット値よりも、むしろピクセ
ルの平面的、即ち２次元的アレー（マップ）の観点から
考える方が便利である。元のイメージとそれに続く特徴
マップのために、ピクセルの強さレベルを使ったピクセ
ル値とユニット値のそのような視覚化は第１２図から第
１５図に示される。
ピクセル強さレベルをもつピクセルとユニット値の視覚
化に加えて、この方法でカーネルの中の重みのアレーを
視覚化することも有益である。第７図から第９図まで
は、第２図のネットワーク実施例の実験中に習得された
カーネルのアレーを表している。アレーとしてのカーネ
ルを視覚化することにより、いかにして又どのカーネル
が，計算が行われているピクセル・アレーに影響するか
を容易に理解することが可能となる。
文字認識用ピクセル・アレーとしての文字イメージの準
備に使われる各種の他の予備処理は、スケーリング、サ
イズ・ノーマリゼーシュン、デスキューイング、センタ
リング、トランスレーション、及びシフティング等の各
種線形変換を含んでおり、これらのすべては当業者に良
く知られている。更に、手書き文字からグレイ・スケー
ルのピクセル・アレーへの変換は、さもなければ予備処
理中の回復不能の損失となる情報を保護するために望ま
しいことである。この変換は当業者に良く知られてい
る。
文字認識用にイメージを準備するための上記操作に加え
て、元のイメージの周りに実質的一定レベルの均一な境
界を設けることが望ましい。そのような境界は第３図の
アレー１０２に示され、そこでイメージ１０中のアレー
１０１の外部のアレー素子は均一な境界を構成してい
る。
計算素子と全ネットワークの実現化は、ハードウェア又
はソフトウェア、或いはハードウェアとソフトウェアの
便利な組合わせにかかっている。ここで提供されたネッ
トワークの多くは、加算、減算、乗算及び比較の基本的
数学演算を行う単純なプログラムをもつＳＵＮワークス
テーションを用いて実行された。バイプライン・デバイ
ス、マイクロプロセッサ及び特殊目的ディジタル信号プ
ロセッサは、本発明のネットワークを実現するための便
利なアーキテクチャーを提供する。ＭＯＳ ＶＬＳＩ技
術は、第２図に示される型の個々に重みづけされた相互
接続ネットワークを実行するために用いられた。ローカ
ル・メモリは、ピクセルやユニット値及び他の一時的計
算結果を蓄えるのに適している。
第２図は、本発明による階層制約自動学習ネットワーク
のための典型的実施例の簡単化したブロックダイヤグラ
ムを示している。そのネットワークは、供給されたイメ
ージから大量の並列計算を経て文字認識を行う。レベル
２０から６０までに示される各アレー（ボックス）は、
アレー・ユニットごとに複数の計算素子を含む。
第２図のネットワークは、第１、第２特徴検出層と文字
分類層を含んでいる。各層は特徴マップ又は異なる寸法
のアレーを含んでいる。従来の大部分の応用では、マッ
プは正方形である。しかし、矩形や、対称、非対称、或
いは不規則なパターンも考えられている。アレーは、ピ
クセル（ユニット値）が蓄えられ、１つ下のレベルのマ
ップからの特徴検出が、そのマップのアレーの適切な場
所に置かれるようなメモリ・デバイスに構成されるの
で、検出された特徴の配列は、マップとに参照される。
この様にして、特徴の存在又は実質的な存在（グレイ・
スケール・レベルを使用した）とその担持位置が記録さ
れる。
マップ中で検出された特徴の型は、使われているカーネ
ルによって決められる。制約特徴マップ中では、同じカ
ーネルが同じマップの各ユニットに使われる。即ち、制
約特徴マップは、１つの特定のカーネルに定義された特
定な特徴の発生によりピクセル・アレーを走査する。こ
の様に、用語“制約”は、特別なマップを含む計算素子
がカーネルの重みの同じセットを共有するように強制さ
れる条件を意味に使われている。これにより、入力イメ
ージの中の異なる場所で検出されても同じ特徴となる。
この技術は、重みシェアリングとして知られている。
カーネルは、カーネルにより定義された特徴の発生を検
出するようにイメージピクセル又はマップ・ユニットの
面上に、受容領域（５ピクセル×５ピクセル又は２ピク
セル×２ピクセル）を決める。ピクセル・アレー上にカ
ーネルを置くことによって、どのピクセルが特徴マップ
中の計算素子へ入力されつつあるか、及び特徴マップ上
のどのユニットが活性化されつつあるかを示すことが可
能となる。活性化されつつあるユニットは、通常、検出
下にあるマップ中の特徴発生の大体の場所と一致してい
る。
第１特徴検出層は、複数の制約特徴マップ２０とそれに
対応する複数の特徴減少マップ３０を含んでいる。図示
のようなネットワークの特定の実施例は、第１層に４つ
の制約特徴マップ及び対応する複数の特徴減少マップを
夫々含んでいる。第２特徴検出層は、複数の制約特徴マ
ップ４０とそれに対応する複数の特徴減少マップ５０を
含んでいる。図示のようなネットワーク特定の実施例
は、第２層に１２の制約特徴マップ及び対応する複数の
特徴減少マップをそれぞれ含んでいる。
ネットワークの最後の層は、第２特徴検出層のすべての
特徴減少マップと完全に接続する文字分類層６０を含ん
でいる。文字分類層は、与えられた元のイメージ化ネッ
トワークによって認識された文字の指示を作る。“完全
に接続”という語は、文字分類層６０中のピクセルと関
連した計算素子が、前の層のマップ、即ち層５０に含ま
れるすべてのピクセル又はユニットからの入力を受け入
れるという意味である。
ネットワークの層から層への相互接続線は、前の層のど
のマップが、夫々のすべての計算素子への入力を提供す
るか、どのユニットが関係の層の中にマップを形成する
かを示すために描かれている。例えば、制約特徴マップ
２０１から２０４までは、制約特徴マップを作る過程
で、イメージ１０から異なる特徴を検出する。次のマッ
プのレベルへ進むと、特徴減少マップ３０１は制約特徴
マップ２０１中のユニットから単独でその入力を得るこ
とが示されている。同様に特徴減少マップ３０２から３
０４までは、夫々の制約特徴マップ２０２から２０４ま
でのユニットから単独でそれの入力を得る。第２図に示
されるネットワークの実施例では、第１特徴検出層から
第２特徴検出層への接続はやや複雑である。制約特徴マ
ップ４０１、４０４、４０７、４１０は、それらの入力
を特徴減少マップ３０１から３０４までの夫々から単独
に得る。制約特徴マップ４０２、４０３、４０５、４０
６は、その入力を特徴減少マップ３０１と３０２の組合
せから得る。制約特徴マップ４０８、４０９、４１１、
４１２は、その入力を特徴減少マップ３０３と３０４の
組合せから得る。最後に、個々の特徴減少マップ５０１
から５１２までは、その入力を対応する制約特徴マップ
４０１から４１２までの夫々から単独で得る。
文字分類層６０は、ネットワークにより分解される個々
の文字認識に対して十分な数の素子を含んでいる。即
ち、大文字又は小文字のラテンアルファベット文字の双
方の認識のために、層６０の典型的実施例は、ＡからＺ
まで、またはａからｚまでを表す２６ユニットを含んで
いる。一方、数字の認識のためには、層６０の一実施例
は、数字０から９までの僅か１０ユニットを含むだけで
ある。
理解を容易にするために、第１図に示された計算素子へ
のバイアス入力とそれに関連するカーネル中の重みは、
第３図から第６図まで、及びその説明からは省略されて
いる。実験的実施においては、バイアスは１にセットさ
れ、対応するカーネル中の重みはバックプロパゲーショ
ンを通して学習される。
第３図は、サンプル接続とイメージ１０から制約特徴マ
ップ２０１への特徴検出とその相互接続を示す。マップ
２０１中のユニット２１０は、入力イメージ面上の５×
５の近傍を観測し、ユニット２１０の値を計算するため
に典型的なカーネル６１０からの重みを使用する。グレ
イスケール・ユニット値は、その近傍の入力イメージの
中のその特徴の存在、実質的存在、実質的不在又は不在
を示す。制約特徴マップ中の計算素子によって行われた
機能は、イメージピクセルの５×５の受入れ領域即ち５
×５のカーネルをもつユニットの非線形たたみ込みと解
釈される。マップ２０１中の離れた１つのユニットであ
るユニット（計算素子）に対して、入力層中のそれらの
受入れ領域は、離れた１つのピクセルである。制約特徴
マップ２０１中の他のユニットは、ユニット２１０で使
われた同じカーネルを使う。層２０中の他のマップは、
第３図に示すものとは別のカーネルを使って、マップ２
０１へと同じ方法で、イメージを操作するユニットを含
んでいる。第７図から第９図までは層２０に対する異な
るカーネルを示している。
第３図に示すように、イメージ１０は２８×２８のイメ
ージアレー１０２中に作られる１２ピクセルの広さの一
定値の境界で囲まれた元の文字のイメージを含んだ１６
×１６のアレー１０１を含んでいる。制約特徴マップ２
０１は２４×２４のアレーとして示されている。
第４図は、制約特徴マップ２０１から、マップ２０１中
のユニットのアンダーサンプリングする特徴減少マップ
３０１への接続を示す。例えば、特徴減少マップ３０１
は１２×１２のアレーとして示される。ユニット（計算
素子）３１０は、マップ２０１の入力面上の２×２の受
入れ領域から入力を受け取る。ユニットに関連した計算
素子によって行われた機能は、マップ２０１中の２×２
の受入れ領域からの単純平均化プロセスを含んでいる。
マップ３０１中の隣接するユニットは、マップ２０１中
に離れた２ユニットを有する。特徴減少マップ３０１中
の他のユニットは、ユニット２１０で用いられた同じカ
ーネルを用いる。層３０中の他のマップは、マップ３０
１に対するものと実質的同一のカーネルを使ってマップ
３０１へ同一の方法でイメージを操作するユニットを含
んでいる。
第５図は、特徴減少マップ３０１から、第２特徴検出層
の制約特徴マップ４０１中のユニット４２０への接続を
示している。この接続は、第３図に示したものと同じで
ある。機能的には、この接続は、マップ４０１，４０
４、４０７、４１０への接続のための５×５のカーネル
の非線形たたみ込みである。第１、第２特徴検出層間の
他のすべての接続は、２つの異なる特徴減少マップ上の
同じ（例えば５×５）受入れ領域から、ユニットの合成
アレー上へ合成カーネル即ち２つの別々のカーネル（２
つの５×５のカーネルのような）を用いた非線形たたみ
込みとなる。第５図に示すように、マップ３０１は１２
×１２のアレー、マップ４０１は８×８のアレーであ
る。制約特徴マップ４０１中の他のユニットは、ユニッ
ト４２０で使われたと同じカーネルを用いる。層４０中
の他のマップは、第５図に示されたものとは異なるカー
ネルを用いて、同一の方法でマップ４０１へイメージを
操作するユニットを含んでいる。第７図から第９図まで
は層４０に対する異なるカーネルを示している。
第６図は、制約特徴マップ４０１から、特徴減少マップ
５０１中のユニット５２０への接続を示している。この
例ではマップ４０１は８×８のアレー、マップ５０１は
４×４のアレーである。特徴減少マップ中のユニット５
２０は、制約特徴マップの入力面上の２×２の受入れ領
域４２１を用いる。計算素子の中で行われた機能は、受
入れ領域中での入力単純平均化プロセスを含んでいる。
マップ５０１中の隣接ユニットは、マップ４０１中で２
ユニット離れた受入れ領域を有する。特徴減少マップ５
０１中の他のユニットは、ユニット５２０で使われた同
じカーネルを用いる。層５０中の他のマップは、マップ
５０１のためのものと実質的に同一なカーネルを用い
て、同一の方法でマップ５０１へイメージを操作するユ
ニットを含んでいる。
第７図から第９図までは、第２図に示したネットワーク
で学習されたカーネルの典型的なセットを示している。
カーネルは第１、第２特徴検出層中の制約特徴マップの
ための計算素子によって用いられる。個々の四角の輝度
の増したレベルは、カーネル中の重みに対する。より陽
性なアナログ（グレイレベル）値をしめす。個々の四角
の暗度を増した（交差ハッチング）レベルはカーネル中
の重みに対する、より負性なアナログ（グレイレベル）
値をしめす。カーネル６１０から６１３までは、制約特
徴マップ２０１から２０３で用いられる。カーネル６２
０から６２４までは、制約特徴マップ４０１，４０２、
４０３、４０５、４０６の中のユニットを計算するため
に特徴減少マップ３０１で用いられる。カーネル６２５
から６２９までは制約特徴マップ４０２から４０６の中
でユニットを計算するために制約特徴マップ３０２で用
いられる。カーネル６３０から６３４までは制約特徴マ
ップ４０７、４０８、４０９、４１１、４１２の中のユ
ニットを計算するために特徴減少マップ３０３で用いら
れる。カーネル６３５から６３９までは制約特徴マップ
４０８から４１２までのユニットを計算するために制約
特徴マップ３０４で用いられる。
第１２図から第１５図までは、手書きの大文字“Ｋ”が
ネットワークにより認識される実験中の変化する輝度
（暗度）における各マップ中のユニットを示している。
マップの場所は、第２図のそれらの場所にほぼ対応して
いる。即ち、元のイメージは第１２図の左上部に現れ
る。第１２図から第１５図の第１柱は、レベル２０のマ
ップに対応している。第１２図から第１５図の第２柱
は、レベル３０のマップに対応している。第１２図から
第１５図の第３柱は、レベル４０のマップに対応してい
る。第１２図から第１５図の第４柱は、レベル５０のマ
ップに対応している。第１２図から第１５図の第５柱
は、分類層６０の出力に対応している。
第２図から第１５図までに示された典型的なネットワー
クの実施例には、約９０，０００の接続と、僅か約２６
００の自由パラメータがあると推定されている。例えば
層３０から層４０への接続は、３２，０００の入力接続
と７６８の出力ユニットを含んでいる。これらの数字は
バイアス接続を除いているので近似値である。
当業者にとって、受入れ領域とアレーの大きさは、本発
明の精神から離れることなしに、変更し得ることは明ら
かである。更に、アルファベットと英数字の他のセット
もネットワークアーキテクチァーの僅かな調整のみで認
識し得ることは、当業者には明らかなことである。
【図面の簡単な説明】
第１図は、ネットワークの個々の計算素子に対する簡単
化したブロックダイヤグラム、 第２図は、本発明の原理に従った、典型的な階層制約自
動学習ネットワークの簡単化したブロックダイヤグラ
ム、 第３，４，５，６図は、１つのレベルのマップ中のユニ
ットと１段上のレベルのマップ中のユニット間の接続関
係を示す簡単化したダイヤグラム、 第７，８，９図は、第２図のネットワークに用いられた
典型的なカーネルの表示を集めた図、 第１０図は、第７，８，９図の組合せ表示図、 第１１図は、第１２図から第１５図の組合せ表示図、 第１２図から第１５図までは、アルファベット文字を認
識する間の、第２図のネツトワーク実施例で作られた典
型的な特徴マップ表示を集めた図である。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 ローレンス ディ．ラッケル アメリカ合衆国，07733 ニュージャージ ィ ホルムデル，ストーニー ブルック ロード 31 (72)発明者 ヤン レカン アメリカ合衆国，07748 ニュージャージ ィ ミドルタウン クレイブダン コート ５

Claims (5)

    【特許請求の範囲】
  1. 【請求項１】複数のイメージユニットを有する影像マッ
    プの文字認識のための大量並列計算ネットワークにおい
    て、 複数の制約特徴マップと、対応する複数の特徴減少マッ
    プとを含む第１、第２特徴検出層を有し、 各マップは、複数のユニットと前記マップ中の前記ユニ
    ットの値を作るための複数の対応する計算素子を含み、 前記各特徴減少マップは、前記各制約特徴マップより少
    ないユニットを有し、 前記計算素子は、関連重みづけ核を有し、所定の他のマ
    ップからの複数のほぼ近傍ユニットに応答して、前記関
    連重みづけ核と前記所定の近傍ユニットとのドット積を
    選択された非線形標準にマップ化し、 前記計算素子は、同一マップに関連する他の各計算素子
    とは異なる複数のほぼ近傍ユニットに応答し、 前記第２特徴検出層は、前記第１特徴検出層よりも少な
    いユニットを有し、 前記第１特徴検出層の制約特徴マップは、イメージユニ
    ットに応答し、 前記第１特徴検出層の各特徴減少マップは、それの対応
    する制約特徴マップからのユニットに応答し、 前記第２特徴検出層の前記制約特徴マップは、前記第１
    特徴検出層中の少なくとも１つの特徴減少マップからの
    ユニットに応答し、 前記第２特徴検出層の各特徴減少マップは、それの対応
    する制約特徴マップからのユニットに応答し、 更に、前記第２特徴検出層のすべての特徴減少マップに
    完全に接続され、ネットワークによって認識された文字
    を表す指示を生成する文字分類層を有することを特徴と
    する文字認識用計算ネットワーク。
  2. 【請求項２】選択された非線形標準はＳ字関数を含むこ
    とを特徴とする請求項１に記載の計算ネットワーク。
  3. 【請求項３】前記イメージマップは、元の文字イメージ
    を囲む実質的一定の所定の背景を含むことを特徴とする
    請求項２記載の計算ネットワーク。
  4. 【請求項４】イメージマップ中に含まれる文字の文字認
    識用大量並列計算ネットワークにおいて、 前記ネットワークは、前記イメージマップから制約特徴
    を抽出し、かつ抽出された制約特徴をアンダーサンプリ
    ングする第１特徴検出層手段、 前記第１特徴検出層手段からアンダーサンプリングされ
    た抽出制約特徴からの制約特徴を抽出し、この抽出した
    制約特徴をアンダーサンプリングする第２特徴検出層手
    段、 ネットワークによって認識された文字を表す指示を生成
    する前記第２特徴検出層手段に完全に接続された文字分
    類層手段を含むことを特徴とする文字認識用計算ネット
    ワーク。
  5. 【請求項５】前記イメージマップは元の文字映像を囲む
    実質的一定の所定の背景を含むことを特徴とする請求項
    ４記載の計算ネットワーク。
JP2135546A 1989-11-30 1990-05-28 文字認識用計算ネットワーク Expired - Fee Related JPH0650539B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US444455 1989-11-30
US07/444,455 US5067164A (en) 1989-11-30 1989-11-30 Hierarchical constrained automatic learning neural network for character recognition

Publications (2)

Publication Number Publication Date
JPH0334082A JPH0334082A (ja) 1991-02-14
JPH0650539B2 true JPH0650539B2 (ja) 1994-06-29

Family

ID=23764959

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2135546A Expired - Fee Related JPH0650539B2 (ja) 1989-11-30 1990-05-28 文字認識用計算ネットワーク

Country Status (3)

Country Link
US (1) US5067164A (ja)
JP (1) JPH0650539B2 (ja)
CA (1) CA2015740C (ja)

Families Citing this family (101)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5588091A (en) * 1989-05-17 1996-12-24 Environmental Research Institute Of Michigan Dynamically stable associative learning neural network system
US5361328A (en) * 1989-09-28 1994-11-01 Ezel, Inc. Data processing system using a neural network
JPH07104952B2 (ja) * 1989-12-28 1995-11-13 シャープ株式会社 パターンマッチング装置
US5271090A (en) * 1990-03-21 1993-12-14 At&T Bell Laboratories Operational speed improvement for neural network
JPH03288285A (ja) * 1990-04-04 1991-12-18 Takayama:Kk データ処理装置の学習方法
KR910020571A (ko) * 1990-05-21 1991-12-20 다카도리 수나오 데이터 처리장치
JP2760145B2 (ja) * 1990-09-26 1998-05-28 三菱電機株式会社 知識情報処理装置
US5263107A (en) * 1991-01-31 1993-11-16 Sharp Kabushiki Kaisha Receptive field neural network with shift-invariant pattern recognition
JPH04315272A (ja) * 1991-04-12 1992-11-06 Eastman Kodak Japan Kk 図形認識装置
DE69223447T2 (de) * 1991-05-24 1998-06-04 Koninkl Philips Electronics Nv Lernverfahren für neuronales Netzwerk und Klassifizieranlage zum Anwenden dieses Verfahrens
US5293456A (en) * 1991-06-28 1994-03-08 E. I. Du Pont De Nemours And Company Object recognition system employing a sparse comparison neural network
US5493688A (en) * 1991-07-05 1996-02-20 Booz, Allen & Hamilton, Inc. Pattern categoritzation system having self-organizing analog fields
US5179596A (en) * 1991-07-05 1993-01-12 Booz, Allen & Hamilton, Inc. Analog pattern categorization system having dual weighted connectivity between nodes
US6400996B1 (en) 1999-02-01 2002-06-04 Steven M. Hoffberg Adaptive pattern recognition based control system and method
US8352400B2 (en) 1991-12-23 2013-01-08 Hoffberg Steven M Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore
US6850252B1 (en) 1999-10-05 2005-02-01 Steven M. Hoffberg Intelligent electronic appliance system and method
US7242988B1 (en) 1991-12-23 2007-07-10 Linda Irene Hoffberg Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore
US5903454A (en) 1991-12-23 1999-05-11 Hoffberg; Linda Irene Human-factored interface corporating adaptive pattern recognition based controller apparatus
US6418424B1 (en) 1991-12-23 2002-07-09 Steven M. Hoffberg Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
US10361802B1 (en) 1999-02-01 2019-07-23 Blanding Hovenweep, Llc Adaptive pattern recognition based control system and method
JP2809954B2 (ja) * 1992-03-25 1998-10-15 三菱電機株式会社 画像感知および処理のための装置および方法
EP0566015A3 (en) * 1992-04-14 1994-07-06 Eastman Kodak Co Neural network optical character recognition system and method for classifying characters in amoving web
US5481621A (en) * 1992-05-28 1996-01-02 Matsushita Electric Industrial Co., Ltd. Device and method for recognizing an image based on a feature indicating a relative positional relationship between patterns
DE69329218T2 (de) * 1992-06-19 2001-04-05 United Parcel Service Of America, Inc. Verfahren und Vorrichtung zur Eingabeklassifizierung mit einem neuronalen Netzwerk
US5438629A (en) * 1992-06-19 1995-08-01 United Parcel Service Of America, Inc. Method and apparatus for input classification using non-spherical neurons
JP2723118B2 (ja) * 1992-08-31 1998-03-09 インターナショナル・ビジネス・マシーンズ・コーポレイション ２次元オブジェクトの認識に用いるためのニューラル・ネットワーク及び光学式文字認識装置
US5377302A (en) * 1992-09-01 1994-12-27 Monowave Corporation L.P. System for recognizing speech
US5742702A (en) * 1992-10-01 1998-04-21 Sony Corporation Neural network for character recognition and verification
US5319722A (en) * 1992-10-01 1994-06-07 Sony Electronics, Inc. Neural network for character recognition of rotated characters
US5647022A (en) * 1992-10-13 1997-07-08 Lucent Technologies Inc. Method and apparatus for symbol recognition using multidimensional preprocessing and symbol sorting
US5337372A (en) * 1992-10-13 1994-08-09 At&T Bell Laboratories Method and apparatus for symbol recognition using multidimensional preprocessing at multiple resolutions
US5625708A (en) * 1992-10-13 1997-04-29 Lucent Technologies, Inc. Method and apparatus for symbol recognition using multidimensional preprocessing
JPH06203005A (ja) * 1992-10-27 1994-07-22 Eastman Kodak Co 高速区分化ニューラルネットワーク及びその構築方法
EP0602717B1 (fr) * 1992-12-16 1997-10-01 Laboratoires D'electronique Philips S.A.S. Dispositif neuronal et procédé pour le construire
US5479574A (en) * 1993-04-01 1995-12-26 Nestor, Inc. Method and apparatus for adaptive classification
US5649068A (en) * 1993-07-27 1997-07-15 Lucent Technologies Inc. Pattern recognition system using support vectors
JPH0744514A (ja) * 1993-07-27 1995-02-14 Matsushita Electric Ind Co Ltd ニューラルネットの学習用データ縮約化方法
GB2282906B (en) * 1993-10-13 1996-11-06 Dataquill Ltd Data enty systems
US5473730A (en) * 1993-11-09 1995-12-05 At&T Ipm Corp. High efficiency learning network
US5774586A (en) * 1994-05-04 1998-06-30 Ncr Corporation Method and apparatus for standardization of inputs to word recognition systems
US5572628A (en) * 1994-09-16 1996-11-05 Lucent Technologies Inc. Training system for neural networks
US5802204A (en) * 1995-06-07 1998-09-01 Microchip Technology Incorporated Handwritten character translator using fuzzy logic
US7904187B2 (en) 1999-02-01 2011-03-08 Hoffberg Steven M Internet appliance system and method
US20060121938A1 (en) 1999-08-12 2006-06-08 Hawkins Jeffrey C Integrated handheld computing and telephony device
US8064886B2 (en) 1999-08-12 2011-11-22 Hewlett-Packard Development Company, L.P. Control mechanisms for mobile devices
US7503016B2 (en) 1999-08-12 2009-03-10 Palm, Inc. Configuration mechanism for organization of addressing elements
US7007239B1 (en) 2000-09-21 2006-02-28 Palm, Inc. Method and apparatus for accessing a contacts database and telephone services
US7216177B1 (en) 2000-06-16 2007-05-08 Palm, Inc. Apparatus and method for supplying electronic content to network appliances
US8332553B2 (en) 2000-09-21 2012-12-11 Hewlett-Packard Development Company, L.P. Method and apparatus for accessing a contacts database and telephone services
DE60130742T2 (de) * 2001-05-28 2008-07-17 Honda Research Institute Europe Gmbh Mustererkennung mit hierarchischen Netzen
US6950988B1 (en) 2001-06-11 2005-09-27 Handspring, Inc. Multi-context iterative directory filter
US6975304B1 (en) 2001-06-11 2005-12-13 Handspring, Inc. Interface for processing of an alternate symbol in a computer device
US7395089B1 (en) 2001-06-11 2008-07-01 Palm, Inc Integrated personal digital assistant device
US7356361B1 (en) 2001-06-11 2008-04-08 Palm, Inc. Hand-held device
US6957397B1 (en) 2001-06-11 2005-10-18 Palm, Inc. Navigating through a menu of a handheld computer using a keyboard
US6976226B1 (en) 2001-07-06 2005-12-13 Palm, Inc. Translating tabular data formatted for one display device to a format for display on other display devices
US7692667B2 (en) 2001-08-17 2010-04-06 Palm, Inc. Handheld computer having moveable segments that are interactive with an integrated display
US7231208B2 (en) 2001-10-17 2007-06-12 Palm, Inc. User interface-technique for managing an active call
US7192235B2 (en) 2001-11-01 2007-03-20 Palm, Inc. Temporary messaging address system and method
US7665043B2 (en) 2001-12-28 2010-02-16 Palm, Inc. Menu navigation and operation feature for a handheld computer
US7474298B2 (en) 2002-05-31 2009-01-06 Palm, Inc. Mobile device having an adjustable length to selectively expose a surface component
KR100560017B1 (ko) * 2002-11-09 2006-03-15 유경진 일회용 구강 세정기 및 그의 제조방법
US8374974B2 (en) * 2003-01-06 2013-02-12 Halliburton Energy Services, Inc. Neural network training data selection using memory reduced cluster analysis for field model development
US7164088B1 (en) 2003-03-16 2007-01-16 Palm, Inc. Method and apparatus to improve tactile feel for keyboards and button assemblies
US7835504B1 (en) 2003-03-16 2010-11-16 Palm, Inc. Telephone number parsing and linking
US7231229B1 (en) 2003-03-16 2007-06-12 Palm, Inc. Communication device interface
USD519502S1 (en) 2003-03-17 2006-04-25 Palm, Inc. Handheld device
USD518825S1 (en) 2003-03-17 2006-04-11 Palm, Inc. Keyboard for handheld device
JPWO2004084121A1 (ja) * 2003-03-17 2006-06-22 富士通株式会社 車両識別方法及び装置
US7295852B1 (en) 2003-05-01 2007-11-13 Palm, Inc. Automated telephone conferencing method and system
US7865180B2 (en) 2003-06-23 2011-01-04 Palm, Inc. Automated telephone conferencing method and system
US7287015B2 (en) * 2004-09-30 2007-10-23 International Business Machines Corporation Methods and apparatus for transmitting signals through network elements for classification
WO2007095107A2 (en) * 2006-02-10 2007-08-23 Numenta, Inc. Architecture of a hierarchical temporal memory based system
GB2462380B (en) * 2007-03-14 2012-02-15 Halliburton Energy Serv Inc Neural-network based surrogate model construction methods and applications thereof
US9031583B2 (en) 2007-04-11 2015-05-12 Qualcomm Incorporated Notification on mobile device based on location of other mobile device
US9140552B2 (en) 2008-07-02 2015-09-22 Qualcomm Incorporated User defined names for displaying monitored location
US20080254811A1 (en) * 2007-04-11 2008-10-16 Palm, Inc. System and method for monitoring locations of mobile devices
TW200907134A (en) * 2007-08-09 2009-02-16 Zheng Chuan Tian Ribbon roller set transmission device of ribbon loom
US8126519B2 (en) 2007-08-31 2012-02-28 Hewlett-Packard Development Company, L.P. Housing for mobile computing device having construction to slide and pivot into multiple positions
US8233948B2 (en) 2007-12-11 2012-07-31 Hewlett-Packard Development Company, L.P. Slider assembly for a housing of a mobile computing device
US8150482B2 (en) 2008-01-08 2012-04-03 Hewlett-Packard Development Company, L.P. Mobile computing device with moveable housing segments
US8611661B2 (en) * 2007-12-26 2013-12-17 Intel Corporation OCR multi-resolution method and apparatus
US8200298B2 (en) 2008-01-08 2012-06-12 Hewlett-Packard Development Company, L.P. Keypad housing configuration for a mobile computing device
WO2010017300A1 (en) * 2008-08-06 2010-02-11 Halliburton Energy Services, Inc. Systems and methods employing cooperative optimization-based dimensionality reduction
US9514388B2 (en) * 2008-08-12 2016-12-06 Halliburton Energy Services, Inc. Systems and methods employing cooperative optimization-based dimensionality reduction
US8218904B2 (en) * 2008-08-27 2012-07-10 Lockheed Martin Corporation Method and system for circular to horizontal transposition of an image
JP2011107648A (ja) * 2009-11-20 2011-06-02 Fujifilm Corp レンズユニット
SG11201501691VA (en) 2012-09-05 2015-04-29 Element Inc Biometric authentication in connection with camera-equipped devices
US9189067B2 (en) 2013-01-12 2015-11-17 Neal Joseph Edelstein Media distribution system
KR20170005847A (ko) 2014-05-13 2017-01-16 엘리먼트, 인크. 모바일 장치와 관련된 전자 키 지급 및 액세스 관리를 위한 시스템 및 방법
WO2015187882A1 (en) 2014-06-03 2015-12-10 Element, Inc. Attendance authentication and management in connection with mobile devices
US9501740B2 (en) 2014-06-03 2016-11-22 Saudi Arabian Oil Company Predicting well markers from artificial neural-network-predicted lithostratigraphic facies
US10192148B1 (en) * 2017-08-22 2019-01-29 Gyrfalcon Technology Inc. Machine learning of written Latin-alphabet based languages via super-character
TWI781226B (zh) 2017-09-18 2022-10-21 美商艾勒門公司 用於偵測行動認證中之欺騙之方法、系統及媒體
EP3938953A4 (en) 2019-03-12 2022-12-28 Element, Inc. FACIAL RECOGNITION SPOOFING DETECTION WITH MOBILE DEVICES
US11173510B2 (en) * 2019-03-22 2021-11-16 Twenty Twenty Therapeutics Llc Imaging device for identifying a liquid within a dispenser
US11281911B2 (en) 2019-04-27 2022-03-22 Gyrfalcon Technology Inc. 2-D graphical symbols for representing semantic meaning of a video clip
US10713830B1 (en) 2019-05-13 2020-07-14 Gyrfalcon Technology Inc. Artificial intelligence based image caption creation systems and methods thereof
US11526723B2 (en) 2019-07-09 2022-12-13 Gyrfalcon Technology Inc. Apparatus and methods of obtaining multi-scale feature vector using CNN based integrated circuits
US11507248B2 (en) 2019-12-16 2022-11-22 Element Inc. Methods, systems, and media for anti-spoofing using eye-tracking
US11774553B2 (en) * 2020-06-18 2023-10-03 Infineon Technologies Ag Parametric CNN for radar processing

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4774677A (en) * 1981-08-06 1988-09-27 Buckley Bruce S Self-organizing circuits
US4760604A (en) * 1985-02-15 1988-07-26 Nestor, Inc. Parallel, multi-unit, adaptive, nonlinear pattern class separator and identifier
US4897811A (en) * 1988-01-19 1990-01-30 Nestor, Inc. N-dimensional coulomb neural network which provides for cumulative learning of internal representations

Also Published As

Publication number Publication date
JPH0334082A (ja) 1991-02-14
CA2015740A1 (en) 1991-05-31
CA2015740C (en) 1996-01-16
US5067164A (en) 1991-11-19

Similar Documents

Publication Publication Date Title
JPH0650539B2 (ja) 文字認識用計算ネットワーク
US5058179A (en) Hierarchical constrained automatic learning network for character recognition
Lin et al. IENet: Interacting embranchment one stage anchor free detector for orientation aerial object detection
Yu et al. A cascade rotated anchor-aided detector for ship detection in remote sensing images
Le Cun et al. Handwritten digit recognition: applications of neural network chips and automatic learning
Annadurai Fundamentals of digital image processing
CN113627163B (zh) 一种注意力模型、特征提取方法及相关装置
US5793932A (en) Image recognition device and an image recognition method
EP0511668B1 (en) Pattern recognition device and method
CN115223033B (zh) 一种合成孔径声呐图像目标分类方法及系统
US5271090A (en) Operational speed improvement for neural network
CN112365451A (zh) 图像质量等级的确定方法、装置、设备及计算机可读介质
US10970201B2 (en) System, method and apparatus for data manipulation
Xiang et al. Recognition of characters on curved metal workpiece surfaces based on multi-exposure image fusion and deep neural networks
CN113420760A (zh) 一种基于分割和形变lstm的手写体蒙古文检测和识别方法
CN110738213A (zh) 一种包括周边环境的图像识别方法及装置
Verma et al. Enhanced character recognition using surf feature and neural network technique
Hua et al. Attention-based deep sequential network for polsar image classification
CN114821558A (zh) 基于文本特征对齐的多方向文本检测方法
JPH07113917B2 (ja) ニューラル・ネットワーク及びその制御方法及びニューラル・ネットワーク用演算装置
Cai et al. FPGA accelerator design for license plate recognition based on 1BIT convolutional neural network
CN114494731A (zh) 基于解缠胶囊路由的部分-目标关系显著目标检测方法
CN117315753B (zh) 基于注意力和相对距离对齐的低分辨率人脸表情识别方法
Bodani et al. OrthoSeg: a deep multimodal convolutional neural network for semantic segmentation of orthoimagery
JP7285479B2 (ja) 画像認識装置、及び画像認識プログラム

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees