JPH0887485A - パターンマッチング装置 - Google Patents
パターンマッチング装置Info
- Publication number
- JPH0887485A JPH0887485A JP6250074A JP25007494A JPH0887485A JP H0887485 A JPH0887485 A JP H0887485A JP 6250074 A JP6250074 A JP 6250074A JP 25007494 A JP25007494 A JP 25007494A JP H0887485 A JPH0887485 A JP H0887485A
- Authority
- JP
- Japan
- Prior art keywords
- input
- output
- unit
- pattern
- unit group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
Abstract
(57)【要約】 （修正有）
【目的】 ニューラルネットワークを用いたパターンマ
ッチング装置で、未学習パターンを適格に識別して出力
することができるようにすること。 【構成】 識別すべきパターンが入力されるユニット群
１６と、入力パターンに対応するパターンを出力するユ
ニット群２０と、入力ユニット群と出力ユニット群とを
複数の結合素子によって連結する中間ユニット群１８と
を備え、各ユニット２２は結合素子２４毎に割り当てら
れた重み係数を前段のユニットからの出力に乗じた後に
加算して入力し、これらの入力値と設定されたしきい値
との差を独立変数とする入出力関数により演算し、出力
用の結合素子を介して他のユニットへの入力をなし、前
記出力ユニット群からの出力を教師信号により関連する
ユニットの前記重み係数を補正することを繰り返した
後、パターンマッチングを行うようにしたパターンマッ
チング装置である。
ッチング装置で、未学習パターンを適格に識別して出力
することができるようにすること。 【構成】 識別すべきパターンが入力されるユニット群
１６と、入力パターンに対応するパターンを出力するユ
ニット群２０と、入力ユニット群と出力ユニット群とを
複数の結合素子によって連結する中間ユニット群１８と
を備え、各ユニット２２は結合素子２４毎に割り当てら
れた重み係数を前段のユニットからの出力に乗じた後に
加算して入力し、これらの入力値と設定されたしきい値
との差を独立変数とする入出力関数により演算し、出力
用の結合素子を介して他のユニットへの入力をなし、前
記出力ユニット群からの出力を教師信号により関連する
ユニットの前記重み係数を補正することを繰り返した
後、パターンマッチングを行うようにしたパターンマッ
チング装置である。
Description
【０００１】
【産業上の利用分野】本発明はパターンマッチング装置
に係り、ニューラルネットワークを利用することにより
手書き文字の認識や音声認識、あるいは情報信号等をパ
ターンとして捉らえ、検出されるパターンに対応する最
終出力を教示し、以後はマッチング処理を自動的に行わ
せるようにしたパターンマッチング装置に関する。
に係り、ニューラルネットワークを利用することにより
手書き文字の認識や音声認識、あるいは情報信号等をパ
ターンとして捉らえ、検出されるパターンに対応する最
終出力を教示し、以後はマッチング処理を自動的に行わ
せるようにしたパターンマッチング装置に関する。
【０００２】
【従来の技術】従来、手書き文字の認識や各種情報信号
に対応する制御出力を得るように識別すべきパターンを
入力し、対応する出力を教師パターンと対比することに
よって修正する学習作業を繰り返した後、以後は任意の
識別パターンを入力することで自動判別させるようにし
たパターンマッチング装置が知られている。このような
パターンマッチング装置は、一般に、多入力１出力型の
素子（ユニット）を結合素子を介して他のユニットと結
合することにより構成されたニューラルネットワークを
利用した構成とされている。
に対応する制御出力を得るように識別すべきパターンを
入力し、対応する出力を教師パターンと対比することに
よって修正する学習作業を繰り返した後、以後は任意の
識別パターンを入力することで自動判別させるようにし
たパターンマッチング装置が知られている。このような
パターンマッチング装置は、一般に、多入力１出力型の
素子（ユニット）を結合素子を介して他のユニットと結
合することにより構成されたニューラルネットワークを
利用した構成とされている。
【０００３】この種のパターンマッチング装置に用いら
れるニューラルネットワークは、生物の大脳の情報処理
機能を模倣する情報処理技術で、応用の容易なことや非
線形問題への適用が可能なことなど、有用な特性を有し
ている。また、従来のノイマン型の計算機と異なる方法
であるため、ノイマン型計算機で困難とされてきた問題
への適用に期待が寄せられている。
れるニューラルネットワークは、生物の大脳の情報処理
機能を模倣する情報処理技術で、応用の容易なことや非
線形問題への適用が可能なことなど、有用な特性を有し
ている。また、従来のノイマン型の計算機と異なる方法
であるため、ノイマン型計算機で困難とされてきた問題
への適用に期待が寄せられている。
【０００４】ニューラルネットワークの構成要素は図５
に示すように生物の神経細胞に相当するユニット１と、
このユニット１の入力部と出力部を結ぶ、神経繊維に相
当する結合素子２からなっている。通常、単一のユニッ
トを用いただけでは有効な情報処理を行わないため、複
数のユニットと結合素子を用いてこれらのユニットを適
当に結合してネットワークを構成する。
に示すように生物の神経細胞に相当するユニット１と、
このユニット１の入力部と出力部を結ぶ、神経繊維に相
当する結合素子２からなっている。通常、単一のユニッ
トを用いただけでは有効な情報処理を行わないため、複
数のユニットと結合素子を用いてこれらのユニットを適
当に結合してネットワークを構成する。
【０００５】ユニットは他の複数のユニットの結合素子
を介して結合され、下記数式１１に示すように、これら
のユニットの出力を結合素子毎に割り当てられた重み係
数を乗じた後、加えあわせて入力とし、これらの入力値
としきい値の差を独立変数とする入出力関数の値を出力
し、出力用の結合素子を介して他のユニットへの入力と
なる。
を介して結合され、下記数式１１に示すように、これら
のユニットの出力を結合素子毎に割り当てられた重み係
数を乗じた後、加えあわせて入力とし、これらの入力値
としきい値の差を独立変数とする入出力関数の値を出力
し、出力用の結合素子を介して他のユニットへの入力と
なる。
【０００６】
【数１１】 ただし、ｏi：第ｉ番目のユニットの出力値、 ｆ：入出力関数 ｗij：第ｊ番目のユニットから第ｉ番目のユニットへの
結合の強さ（結合係数）、 ｏj：第ｊ番目のユニットの出力値、 θi：第ｉ番目のユニットのしきい値、 である。また、定義によっては数式１１を、
結合の強さ（結合係数）、 ｏj：第ｊ番目のユニットの出力値、 θi：第ｉ番目のユニットのしきい値、 である。また、定義によっては数式１１を、
【数１２】 とする場合もある。
【０００７】このとき入出力関数ｆとしては図５（２）
に示すようなシグモイド関数と呼ばれる飽和型の関数が
よく用いられている。この関数は生物の神経細胞の機能
を模したもので、０から１の値をとる単調増加型の関数
で、入力値がしきい値に等しいとき（または入力値がし
きい値と絶対値が等しく異符号の時）に０．５となる。
に示すようなシグモイド関数と呼ばれる飽和型の関数が
よく用いられている。この関数は生物の神経細胞の機能
を模したもので、０から１の値をとる単調増加型の関数
で、入力値がしきい値に等しいとき（または入力値がし
きい値と絶対値が等しく異符号の時）に０．５となる。
【０００８】次に、以上のような機能を有するユニット
を用いてネットワークを構成することにより有用な情報
処理が可能となるが、代表的なネットワークとしては図
６に示すようなものが考えられている。図６（１）は階
層型のネットワークで１が入力層を構成するユニット、
２、３がそれぞれ第１、第２中間層を構成するユニッ
ト、４が出力層を構成するユニット、５、６、７、が結
合素子である。このような階層型のネットワークは階層
構造をなしており、異なる層間のユニット同士の結合は
あるが同一層のユニット同士は結合されておらず、また
情報が入力部から出力部へ一方向に伝達される。いわば
フィード・フォワード型のネットワークである。このモ
デルは小脳のモデルとして知られていると同時に、パタ
ーマッチングや制御など多くの分野で実用されている重
要なネットワークである。
を用いてネットワークを構成することにより有用な情報
処理が可能となるが、代表的なネットワークとしては図
６に示すようなものが考えられている。図６（１）は階
層型のネットワークで１が入力層を構成するユニット、
２、３がそれぞれ第１、第２中間層を構成するユニッ
ト、４が出力層を構成するユニット、５、６、７、が結
合素子である。このような階層型のネットワークは階層
構造をなしており、異なる層間のユニット同士の結合は
あるが同一層のユニット同士は結合されておらず、また
情報が入力部から出力部へ一方向に伝達される。いわば
フィード・フォワード型のネットワークである。このモ
デルは小脳のモデルとして知られていると同時に、パタ
ーマッチングや制御など多くの分野で実用されている重
要なネットワークである。
【００９】このモデルでは入力層に識別したいパターン
や時系列信号などが与えられる。例えば、手書き文字の
認識のようなパターマッチングへ応用する場合は、入力
層には手書き文字または手書き文字に何等かの特徴抽出
処理を行った後の特徴パターンを与える。一方、出力層
の各ユニットは学習すべきカテゴリに対する判定結果を
与えるように設定される。すなわち、ユニット１の出力
が例えば０．５以上であればニューラルネットワークは
与えられたパターンをカテゴリ１のパターンと識別した
と考えることができるように設定される。
や時系列信号などが与えられる。例えば、手書き文字の
認識のようなパターマッチングへ応用する場合は、入力
層には手書き文字または手書き文字に何等かの特徴抽出
処理を行った後の特徴パターンを与える。一方、出力層
の各ユニットは学習すべきカテゴリに対する判定結果を
与えるように設定される。すなわち、ユニット１の出力
が例えば０．５以上であればニューラルネットワークは
与えられたパターンをカテゴリ１のパターンと識別した
と考えることができるように設定される。
【００１０】図６（２）は相互結合型のネットワークで
１がユニット、２が結合素子である。このように相互結
合型のネットワークは全てのユニットが相互結合されて
いる。尚、ネットワークにはこれ以外にもフィードバッ
クを有するものや、同一層間で部分的に結合を有するも
のなども存在する。
１がユニット、２が結合素子である。このように相互結
合型のネットワークは全てのユニットが相互結合されて
いる。尚、ネットワークにはこれ以外にもフィードバッ
クを有するものや、同一層間で部分的に結合を有するも
のなども存在する。
【００１１】次に、以上のようなネットワークに有用な
機能を保有させるために、ネットワークに学習用のデー
タを与えることにより学習を実行する。学習方法やネッ
トワークの種類が多数あるため、学習方法も多数存在す
る。ここでは、現在最も典型的な方法である。図７に示
す３層の階層型ニューラルネットワークをバックプロパ
ゲーション・アルゴリズムを用いて学習する方法を例に
学習に関して示す。
機能を保有させるために、ネットワークに学習用のデー
タを与えることにより学習を実行する。学習方法やネッ
トワークの種類が多数あるため、学習方法も多数存在す
る。ここでは、現在最も典型的な方法である。図７に示
す３層の階層型ニューラルネットワークをバックプロパ
ゲーション・アルゴリズムを用いて学習する方法を例に
学習に関して示す。
【００１２】学習は、最初、結合係数やしきい値を小さ
な値に設定しておき、入力層に学習用パターンを与える
ときの出力を計算し、その結果と当該パターンに対する
妥当な出力を指定した教師パターンと比較し、与えた学
習パターンに対して出力層の出力が教師信号に近づくよ
うになるまで結合係数としきい値の値を変化させること
によって行う。学習の詳細なステップは以下のようであ
る。
な値に設定しておき、入力層に学習用パターンを与える
ときの出力を計算し、その結果と当該パターンに対する
妥当な出力を指定した教師パターンと比較し、与えた学
習パターンに対して出力層の出力が教師信号に近づくよ
うになるまで結合係数としきい値の値を変化させること
によって行う。学習の詳細なステップは以下のようであ
る。
【００１３】（ステップ１）ネットワークの状態を決め
る結合係数行列｛Ｗji｝、｛Ｖkj｝としきい値ベクトル
｛θj｝、｛γk｝をそれぞれ小さな値の乱数値で初期化
する。 （ステップ２）最初のパターンを学習パターンとする。 （ステップ３）学習パターンの値を入力層ユニットの出
力｛Ｉi｝に入れ、入力層から中間層への結合係数行列
｛Ｗji｝と中間層ユニットｊのしきい値θjとを用い
て、中間層ユニットｊへの入力Ｕjを求め、入力Ｕjと図
５（２）に示すシグモイド関数ｆにより中間層ユニット
ｊの出力Ｈjを求める。
る結合係数行列｛Ｗji｝、｛Ｖkj｝としきい値ベクトル
｛θj｝、｛γk｝をそれぞれ小さな値の乱数値で初期化
する。 （ステップ２）最初のパターンを学習パターンとする。 （ステップ３）学習パターンの値を入力層ユニットの出
力｛Ｉi｝に入れ、入力層から中間層への結合係数行列
｛Ｗji｝と中間層ユニットｊのしきい値θjとを用い
て、中間層ユニットｊへの入力Ｕjを求め、入力Ｕjと図
５（２）に示すシグモイド関数ｆにより中間層ユニット
ｊの出力Ｈjを求める。
【数１３】
【００１４】（ステップ４）中間層ユニットの出力｛Ｈ
j｝と、中間層から出力層への結合係数行列｛Ｖkj｝と
出力層ユニットｋのしきい値γkとを用いて、出力層ユ
ニットｋへの入力Ｓkを求め、入力Ｓkとシグモイド関数
ｆにより、出力層ユニットｋの出力Ｏkを求める。
j｝と、中間層から出力層への結合係数行列｛Ｖkj｝と
出力層ユニットｋのしきい値γkとを用いて、出力層ユ
ニットｋへの入力Ｓkを求め、入力Ｓkとシグモイド関数
ｆにより、出力層ユニットｋの出力Ｏkを求める。
【数１４】
【００１５】（ステップ５）学習パターンの教師信号Ｔ
Kと出力層の出力Ｏkの差から、出力層のユニットｋにつ
ながる結合係数と中間層ユニットｋのしきい値に対する
誤差δkを求める。
Kと出力層の出力Ｏkの差から、出力層のユニットｋにつ
ながる結合係数と中間層ユニットｋのしきい値に対する
誤差δkを求める。
【数１５】
【００１６】（ステップ６）誤差δkと中間層から出力
層への結合係数行列｛Ｖk｝と、中間層の出力Ｈjから、
中間層ユニットｊにつながる結合係数と中間ユニットの
しきい値に対する誤差δjを求める。
層への結合係数行列｛Ｖk｝と、中間層の出力Ｈjから、
中間層ユニットｊにつながる結合係数と中間ユニットの
しきい値に対する誤差δjを求める。
【００１７】（ステップ７）ステップ５で求めた出力層
ユニットｋでの誤差δkと中間層ユニットｊの出力Ｈjと
定数αとの積を加算することで、中間層ユニットｊから
出力層のユニットｋにつながる結合係数Ｖkjを修正す
る。また、誤差δkと定数βとの積を加算することで、
出力層ユニットｋのしきい値γkを修正する。
ユニットｋでの誤差δkと中間層ユニットｊの出力Ｈjと
定数αとの積を加算することで、中間層ユニットｊから
出力層のユニットｋにつながる結合係数Ｖkjを修正す
る。また、誤差δkと定数βとの積を加算することで、
出力層ユニットｋのしきい値γkを修正する。
【数１６】
【００１８】（ステップ８）中間層ユニットｊでの誤差
δjと、入力層ユニットｉの出力Ｉiと定数αとの積を加
算することで、入力層ユニットｉから中間層ユニットｊ
につながる結合係数Ｗjiを修正する。また誤差δjと定
数βの積を加算することで、中間層ユニットｊのしきい
値θjを修正する。
δjと、入力層ユニットｉの出力Ｉiと定数αとの積を加
算することで、入力層ユニットｉから中間層ユニットｊ
につながる結合係数Ｗjiを修正する。また誤差δjと定
数βの積を加算することで、中間層ユニットｊのしきい
値θjを修正する。
【数１７】
【００１９】（ステップ９）次ぎのパターンを学習パタ
ーンとする。 （ステップ１０）学習パターンが終了するまでステップ
３に戻る。 （ステップ１１）学習の繰り返し回数を更新する。 （ステップ１２）学習の繰り返し回数が制限回数以下で
あればステップ２に戻る。
ーンとする。 （ステップ１０）学習パターンが終了するまでステップ
３に戻る。 （ステップ１１）学習の繰り返し回数を更新する。 （ステップ１２）学習の繰り返し回数が制限回数以下で
あればステップ２に戻る。
【００２０】このような学習によってニューラルネット
ワークはパターンマッチング能力を獲得し、既に学習し
たパターンの識別や、学習したカテゴリに属する未学習
パターンの識別を行うことができるようになる。
ワークはパターンマッチング能力を獲得し、既に学習し
たパターンの識別や、学習したカテゴリに属する未学習
パターンの識別を行うことができるようになる。
【００２１】
【発明が解決しようとする課題】ところが、従来のニュ
ーラルネットワーク処理を用いたパターンマッチング装
置では、学習していないカテゴリに属するパターンを識
別させると、学習したカテゴリのどれかであると誤判定
出力する場合がしばしば存在する。この問題は未学習デ
ータに対する応答ということで一般に問題になっている
ものである。
ーラルネットワーク処理を用いたパターンマッチング装
置では、学習していないカテゴリに属するパターンを識
別させると、学習したカテゴリのどれかであると誤判定
出力する場合がしばしば存在する。この問題は未学習デ
ータに対する応答ということで一般に問題になっている
ものである。
【００２２】ちなみに、誤判定する理由は、従来の入出
力関数はしきい値より相当大きい値ないしは小さい値が
入力された場合には、その値の如何に関わらず１ないし
は０という値を出力する。いわゆる飽和型の関数を用い
ているため、単に学習したカテゴリ間に境界面を設定す
るだけの作用しかしないためと考えられる。
力関数はしきい値より相当大きい値ないしは小さい値が
入力された場合には、その値の如何に関わらず１ないし
は０という値を出力する。いわゆる飽和型の関数を用い
ているため、単に学習したカテゴリ間に境界面を設定す
るだけの作用しかしないためと考えられる。
【００２３】本発明は、上記従来の問題点に着目し、ニ
ューラルネットワーク処理を用いたパターンマッチング
装置で、未学習パターンを適格に識別して出力すること
ができるようにすることを目的とし、特に個々のユニッ
トにおける重み係数を乗じた入力信号加算値がしきい値
の近傍のみならずしきい値から大きく離れている場合で
あっても適正な出力信号を出力し、もってパターンマッ
チングの判定精度を向上させることができるパターンマ
ッチング装置を提供することを目的とする。
ューラルネットワーク処理を用いたパターンマッチング
装置で、未学習パターンを適格に識別して出力すること
ができるようにすることを目的とし、特に個々のユニッ
トにおける重み係数を乗じた入力信号加算値がしきい値
の近傍のみならずしきい値から大きく離れている場合で
あっても適正な出力信号を出力し、もってパターンマッ
チングの判定精度を向上させることができるパターンマ
ッチング装置を提供することを目的とする。
【００２４】
【課題を解決するための手段】上記目的を達成するため
に、第１の発明は、識別すべきパターンが入力されるユ
ニット群と、前記入力パターンに対応するパターンを出
力するユニット群と、前記入力ユニット群と出力ユニッ
ト群とを複数の結合素子によって連結する中間ユニット
群とを備え、前記各ユニットは結合素子毎に割り当てら
れた重み係数を前段のユニットからの出力に乗じた後に
加算して入力し、これらの入力値と設定されたしきい値
との差を独立変数とする入出力関数を有する演算部によ
り演算し、出力用の結合素子を介して他のユニットへの
入力をなし、前記出力ユニット群からの出力を教師信号
により関連するユニットの前記重み係数を補正すること
を繰り返した後、パターンマッチングを行うようにした
パターンマッチング装置において、前記ユニットにおけ
る演算部の入出力関数は、入力値がしきい値と等しいと
きに最大値出力をなし、しきい値と異なる入力値に対し
ては当該しきい値から離散するにしたがって前記最大値
を越えない出力値とする入出力特性としたものである。
この場合において、前記ユニットにおける入出力関数演
算部は、入力値がしきい値と絶対値が等しく異符号であ
るときに最大値出力をなすように設定することができ
る。
に、第１の発明は、識別すべきパターンが入力されるユ
ニット群と、前記入力パターンに対応するパターンを出
力するユニット群と、前記入力ユニット群と出力ユニッ
ト群とを複数の結合素子によって連結する中間ユニット
群とを備え、前記各ユニットは結合素子毎に割り当てら
れた重み係数を前段のユニットからの出力に乗じた後に
加算して入力し、これらの入力値と設定されたしきい値
との差を独立変数とする入出力関数を有する演算部によ
り演算し、出力用の結合素子を介して他のユニットへの
入力をなし、前記出力ユニット群からの出力を教師信号
により関連するユニットの前記重み係数を補正すること
を繰り返した後、パターンマッチングを行うようにした
パターンマッチング装置において、前記ユニットにおけ
る演算部の入出力関数は、入力値がしきい値と等しいと
きに最大値出力をなし、しきい値と異なる入力値に対し
ては当該しきい値から離散するにしたがって前記最大値
を越えない出力値とする入出力特性としたものである。
この場合において、前記ユニットにおける入出力関数演
算部は、入力値がしきい値と絶対値が等しく異符号であ
るときに最大値出力をなすように設定することができ
る。
【００２５】また、第２の発明は、特に、前記ユニット
における演算部の入出力関数は、入力値がしきい値と等
しいとき（入力値がしきい値と絶対値が等しく異符号で
ある場合を含む）に最大値出力をなし、しきい値と異な
る入力値に対しては前記最大値を越えない正の出力とす
る入出力特性としたものである。
における演算部の入出力関数は、入力値がしきい値と等
しいとき（入力値がしきい値と絶対値が等しく異符号で
ある場合を含む）に最大値出力をなし、しきい値と異な
る入力値に対しては前記最大値を越えない正の出力とす
る入出力特性としたものである。
【００２６】更に、第３の発明は、前記ユニットにおけ
る演算部の入出力関数が、ｃ1、ｃ2を係数とし、しきい
値をθとするときに、
る演算部の入出力関数が、ｃ1、ｃ2を係数とし、しきい
値をθとするときに、
【数１８】 又は
【数１９】 のｘに関する微分関数である
【数２０】 であるように構成したものである。
【００２７】また、第４の発明は、入出力関数演算部の
入出力関数が、ｃ1、ｃ2を係数とし、しきい値をθとす
るときに、
入出力関数が、ｃ1、ｃ2を係数とし、しきい値をθとす
るときに、
【数２１】 又は、
【数２２】 のｘに関する微分関数である
【数２３】 であるように構成した。
【００２８】第５の発明は、前記ユニットの演算部にお
ける入出力関数が、ｃを係数とし、しきい値をθとする
ときに、
ける入出力関数が、ｃを係数とし、しきい値をθとする
ときに、
【数２４】 又は
【数２５】 であるように構成した。
【００２９】更に、第６の発明は、特に、前記ユニット
の演算部における入出力関数が、ｃを係数とし、しきい
値をθとするときに
の演算部における入出力関数が、ｃを係数とし、しきい
値をθとするときに
【数２６】 又は、
【数２７】 であるように構成した。
【００３０】
【作用】上記構成によれば、ユニットの入出力関数が図
２（１）、（２）に示すように、しきい値に等しい入力
値に対して最大値をとり、しきい値と異なる値に対して
は対応する出力が最大値を越えないものとなる。ただ
し、しきい値の定義方法によっては、入力値がしきい値
と絶対値が等しく符号が異なる場合に最大値をとる。以
下の発明においてもこの点は同様である。
２（１）、（２）に示すように、しきい値に等しい入力
値に対して最大値をとり、しきい値と異なる値に対して
は対応する出力が最大値を越えないものとなる。ただ
し、しきい値の定義方法によっては、入力値がしきい値
と絶対値が等しく符号が異なる場合に最大値をとる。以
下の発明においてもこの点は同様である。
【００３１】第２の発明によればユニットの入出力関数
は、図２（３）、（４）に示すような関数が用いられ
る。すなわち、しきい値に等しい入力値に対して最大値
をとり、しきい値と異なる値に対しては対応する出力が
最大値を越えないもので、更に負の値をとらない関数と
なるのである。
は、図２（３）、（４）に示すような関数が用いられ
る。すなわち、しきい値に等しい入力値に対して最大値
をとり、しきい値と異なる値に対しては対応する出力が
最大値を越えないもので、更に負の値をとらない関数と
なるのである。
【００３２】第３の発明は第２の発明を具体化したもの
で、しきい値としきい値付近の入力に対して有効な出力
が得られる。第４の発明は第２の発明を具体化したもの
で、しきい値としきい値に比例した範囲（ｃ1とｃ2で決
定される）の入力に対して有効な出力が得られる。第５
の発明は第２の発明を具体化したもので、しきい値とし
きい値付近の入力に対して有効な出力が得られる。ｎを
大きくすることによってカテゴリの境界がより急峻にな
る。第６の発明は第２の発明を具体化したもので、しき
い値としきい値に比例した範囲（ｃによって決定され
る）の入力に対して有効な出力が得られる。ｎを大きく
することによってカテゴリの境界がより急峻になる。
で、しきい値としきい値付近の入力に対して有効な出力
が得られる。第４の発明は第２の発明を具体化したもの
で、しきい値としきい値に比例した範囲（ｃ1とｃ2で決
定される）の入力に対して有効な出力が得られる。第５
の発明は第２の発明を具体化したもので、しきい値とし
きい値付近の入力に対して有効な出力が得られる。ｎを
大きくすることによってカテゴリの境界がより急峻にな
る。第６の発明は第２の発明を具体化したもので、しき
い値としきい値に比例した範囲（ｃによって決定され
る）の入力に対して有効な出力が得られる。ｎを大きく
することによってカテゴリの境界がより急峻になる。
【００３３】尚、これらの関数で、係数ｃ、ｃ1、ｃ2や
しきい値θは、解決しようとする問題に応じて定数とす
ることも、学習によって決定することも可能である。ま
た、定数とする場合に、１という値を選択することも可
能である。
しきい値θは、解決しようとする問題に応じて定数とす
ることも、学習によって決定することも可能である。ま
た、定数とする場合に、１という値を選択することも可
能である。
【００３４】このように、本発明のいずれかの入出力関
数を用いても、しきい値に近い入力値がユニットに与え
られた場合にしかユニットから有効な出力が得られず、
しきい値から大きく離れた入力信号に対しては出力信号
としては小さい値が与えられる。これにより、未学習の
パターンに対する判定出力が良好になり、誤判定出力を
大幅に低減することができ、パターンマッチングの判定
精度が向上される。
数を用いても、しきい値に近い入力値がユニットに与え
られた場合にしかユニットから有効な出力が得られず、
しきい値から大きく離れた入力信号に対しては出力信号
としては小さい値が与えられる。これにより、未学習の
パターンに対する判定出力が良好になり、誤判定出力を
大幅に低減することができ、パターンマッチングの判定
精度が向上される。
【００３５】
【実施例】以下、本発明の実施例を図面に基づいて説明
する。図１は実施例に係るパターンマッチング装置の全
体構成を示すブロック図と、要部構成の説明図である。
図示のように、この装置は、パターンマッチングを行お
うとする文字や各種信号波形等の認識対象画像を取り込
む受像装置１０を有している。受像装置１０は認識対象
画像を直接表示できるものとなっており、この画像表示
信号をパターン入力部１２に出力させている。パターン
入力部１２は、受像装置１０の画像表示領域を二次元マ
トリックスに分割し、各分割領域に対応した個々の画像
信号を信号量の大きさ、例えば信号の強度や濃度等に応
じて後段の変換処理部１４に出力するものとしている。
これにより、入力された画像信号はパターン信号として
出力されることになる。
する。図１は実施例に係るパターンマッチング装置の全
体構成を示すブロック図と、要部構成の説明図である。
図示のように、この装置は、パターンマッチングを行お
うとする文字や各種信号波形等の認識対象画像を取り込
む受像装置１０を有している。受像装置１０は認識対象
画像を直接表示できるものとなっており、この画像表示
信号をパターン入力部１２に出力させている。パターン
入力部１２は、受像装置１０の画像表示領域を二次元マ
トリックスに分割し、各分割領域に対応した個々の画像
信号を信号量の大きさ、例えば信号の強度や濃度等に応
じて後段の変換処理部１４に出力するものとしている。
これにより、入力された画像信号はパターン信号として
出力されることになる。
【００３６】上記パターン入力部１２からの出力信号を
入力する変換処理部１４は、識別すべきパターンが入力
されるユニット群としての入力層１６と、前記入力パタ
ーンに対応するパターンを出力するユニット群としての
２０と、前記入力層１６と出力層２０とを複数の結合素
子によって連結する中間ユニット群としての中間層１８
とから構成されている。これらの入力層１６、中間層１
８、および出力層２０は、各層に複数の多入力１出力型
の素子（ユニット）２２を有し、各層のユニット２２を
結合素子２４を介して他の層のユニット２２と結合する
ことにより構成されたニューラルネットワークを利用し
た構成とされている。
入力する変換処理部１４は、識別すべきパターンが入力
されるユニット群としての入力層１６と、前記入力パタ
ーンに対応するパターンを出力するユニット群としての
２０と、前記入力層１６と出力層２０とを複数の結合素
子によって連結する中間ユニット群としての中間層１８
とから構成されている。これらの入力層１６、中間層１
８、および出力層２０は、各層に複数の多入力１出力型
の素子（ユニット）２２を有し、各層のユニット２２を
結合素子２４を介して他の層のユニット２２と結合する
ことにより構成されたニューラルネットワークを利用し
た構成とされている。
【００３７】各層１６、１８、２０の構成要素は、生物
の神経細胞に相当するユニット２２と、このユニット２
２の入力部と出力部を結ぶ、神経繊維に相当する結合素
子２４からなっており、複数のユニットと結合素子を用
いてこれらのユニットを適当に結合してネットワークを
構成する。実施例では階層型のニューラルネットワーク
を採用しており、異なる層間のユニット同士の結合はあ
るが同一層のユニット同士は結合されておらず、また情
報が入力部から出力部へ一方向に伝達される、いわばフ
ィード・フォワード型のネットワークとなっている。
の神経細胞に相当するユニット２２と、このユニット２
２の入力部と出力部を結ぶ、神経繊維に相当する結合素
子２４からなっており、複数のユニットと結合素子を用
いてこれらのユニットを適当に結合してネットワークを
構成する。実施例では階層型のニューラルネットワーク
を採用しており、異なる層間のユニット同士の結合はあ
るが同一層のユニット同士は結合されておらず、また情
報が入力部から出力部へ一方向に伝達される、いわばフ
ィード・フォワード型のネットワークとなっている。
【００３８】ユニット２２は下層の複数のユニット２２
の結合素子２４を介して結合され、実施例では下記数式
２８に示す入出力関数ｆに基づいて演算するように構成
されている。
の結合素子２４を介して結合され、実施例では下記数式
２８に示す入出力関数ｆに基づいて演算するように構成
されている。
【数２８】
【００３９】この入出力関数ｆは、入力値の絶対値がし
きい値と等しいときに最大値出力をなし、しきい値と異
なる入力値に対しては前記最大値を越えない正の出力と
する入出力特性としたもので、ｃは係数、θはしきい値
であり、定数または変数である。
きい値と等しいときに最大値出力をなし、しきい値と異
なる入力値に対しては前記最大値を越えない正の出力と
する入出力特性としたもので、ｃは係数、θはしきい値
であり、定数または変数である。
【００４０】まず、変換処理部１４の最初の入力部とな
っている入力層１６では、その出力計算回路により入力
パターンに基づいて入力層の各ユニットの出力を計算す
る。各ユニット２２はパターン入力部１２の各要素と１
対１に対応しており、本例では一般的に用いられている
ように入出力関数は線形関数とし、入力層の各ユニット
の出力値は入力パターンの値に等しくなるようにしてい
る。
っている入力層１６では、その出力計算回路により入力
パターンに基づいて入力層の各ユニットの出力を計算す
る。各ユニット２２はパターン入力部１２の各要素と１
対１に対応しており、本例では一般的に用いられている
ように入出力関数は線形関数とし、入力層の各ユニット
の出力値は入力パターンの値に等しくなるようにしてい
る。
【００４１】次に、中間層１８への入力部分における入
力計算回路で、まず、入力層１６の出力と、入力層１６
と中間層１８間の結合係数を用いて中間層１８の各ユニ
ットへ供給される入力を計算する。中間層１８の各ユニ
ット２２へは前段の入力層１６の複数のユニット２２か
らの複数出力信号が入力されて多入力信号となるが、こ
こでは前述した式１３と同様に、
力計算回路で、まず、入力層１６の出力と、入力層１６
と中間層１８間の結合係数を用いて中間層１８の各ユニ
ットへ供給される入力を計算する。中間層１８の各ユニ
ット２２へは前段の入力層１６の複数のユニット２２か
らの複数出力信号が入力されて多入力信号となるが、こ
こでは前述した式１３と同様に、
【数２９】 に基づいて演算する。ここで、ｗijは第ｊ番目のユニッ
トから第ｉ番目のユニットへの結合の強さ（結合係
数）、θiは第ｉ番目のユニットのしきい値、Ｕjは第ｊ
番目のユニットの出力値である。これによって、ユニッ
ト２２の出力Ｕを結合素子毎に割り当てられた重み係数
Ｗを乗じた後、加えあわせて入力とし、これらの入力値
としきい値の差を独立変数として、前記式２８に基づ
き、入出力関数ｆにより中間層１８への出力値を算出す
るものとしている。
トから第ｉ番目のユニットへの結合の強さ（結合係
数）、θiは第ｉ番目のユニットのしきい値、Ｕjは第ｊ
番目のユニットの出力値である。これによって、ユニッ
ト２２の出力Ｕを結合素子毎に割り当てられた重み係数
Ｗを乗じた後、加えあわせて入力とし、これらの入力値
としきい値の差を独立変数として、前記式２８に基づ
き、入出力関数ｆにより中間層１８への出力値を算出す
るものとしている。
【００４２】すなわち、中間層１８では、出力計算回路
により、上記２９式で計算された入力値を基に、上記式
２８に基づいて演算し、中間層１８における複数のユニ
ット２２から下位の層への出力値を算出する（出力信号
Ｕ）。これは、具体的には、
により、上記２９式で計算された入力値を基に、上記式
２８に基づいて演算し、中間層１８における複数のユニ
ット２２から下位の層への出力値を算出する（出力信号
Ｕ）。これは、具体的には、
【数３０】 として、演算される。 ただし、Ｈj：第ｊ番目のユニットの出力値、 Ｕj：第ｊ番目のユニットの出力値、 θi：第ｉ番目のユニットのしきい値、 である。
【００４３】更に、このようにして得られた中間層１８
からの出力Ｈiは結合素子２４を介して出力層２０に入
力されるが、この出力層２０への入力部分における入力
計算回路で、まず、中間層１８の出力Ｈiと、中間層１
８と出力層２０間の結合係数を用いて出力層２０の各ユ
ニット２２へ供給される入力を計算する。この演算処理
は、上記した式２９と同様に、
からの出力Ｈiは結合素子２４を介して出力層２０に入
力されるが、この出力層２０への入力部分における入力
計算回路で、まず、中間層１８の出力Ｈiと、中間層１
８と出力層２０間の結合係数を用いて出力層２０の各ユ
ニット２２へ供給される入力を計算する。この演算処理
は、上記した式２９と同様に、
【数３１】 ただし、Ｖkjは中間層から出力層への結合係数、γkは
出力層ユニットｋのしきい値γk、Ｓkが出力層ユニット
ｋへの入力値である。
出力層ユニットｋのしきい値γk、Ｓkが出力層ユニット
ｋへの入力値である。
【００４４】次いで、前記式２８に基づき、入出力関数
ｆにより出力層２０への出力値を算出するものとしてい
る。すなわち、出力層２０では、出力計算回路により、
上記３１式で計算された入力値を基に、上記式２８に基
づいて演算し、出力層２０における複数のユニット２２
から下位の層への出力値を算出する（出力信号Ｏ）。こ
れは、具体的には、
ｆにより出力層２０への出力値を算出するものとしてい
る。すなわち、出力層２０では、出力計算回路により、
上記３１式で計算された入力値を基に、上記式２８に基
づいて演算し、出力層２０における複数のユニット２２
から下位の層への出力値を算出する（出力信号Ｏ）。こ
れは、具体的には、
【数３２】 によって演算する。
【００４５】このようにして得られた出力信号Ｏは、出
力層２０の各ユニット２２毎に出力され、これは基本的
にはパターン出力部２６から出力され、出力信号にマッ
チングする出力パターンをメモリ２８から読込んで、対
応パターンとして出力し、内容を表示装置３０等によっ
て表示出力する。
力層２０の各ユニット２２毎に出力され、これは基本的
にはパターン出力部２６から出力され、出力信号にマッ
チングする出力パターンをメモリ２８から読込んで、対
応パターンとして出力し、内容を表示装置３０等によっ
て表示出力する。
【００４６】この実施例では、バックプロパゲーション
による学習機能を持たせており、このため、前記変換処
理部１４の出力層２０からの出力信号を入力する誤差検
出部３２が設けられ、ここで検出された誤差が解消する
ように変換処理部１４の各結合素子２４の結合係数やユ
ニット２２のしきい値の補正処理を行い、入力パターン
に対するパターンマッチング能力を取得させるようにし
ている。この学習は、最初、結合係数やしきい値を小さ
な値に設定しておき、入力層に学習用パターンを与える
ときの出力を計算し、その結果と当該パターンに対する
妥当な出力を指定した教師パターンと比較し、与えた学
習パターンに対して出力層の出力が教師信号に近づくよ
うになるまで結合係数としきい値の値を変化させること
によって行う。このため、教師装置３４が設けられ、出
力層２０からの出力パターンと教師信号の差から出力層
２０のユニット２２につながる結合係数と、中間層１８
のユニット２２のしきい値に対する誤差を求めることな
どの処理を前述した数式１５〜１７による修正処理を行
うようにしている。この学習処理を設定回数繰り返し、
学習能力を獲得させるようにする。この処理の後は、前
記誤差検出部３２をバイパスさせ、変換処理部１４の出
力を直接パターン出力部２６を介してパターンマッチン
グ結果を表示装置３０により表示させるものとなってい
る。
による学習機能を持たせており、このため、前記変換処
理部１４の出力層２０からの出力信号を入力する誤差検
出部３２が設けられ、ここで検出された誤差が解消する
ように変換処理部１４の各結合素子２４の結合係数やユ
ニット２２のしきい値の補正処理を行い、入力パターン
に対するパターンマッチング能力を取得させるようにし
ている。この学習は、最初、結合係数やしきい値を小さ
な値に設定しておき、入力層に学習用パターンを与える
ときの出力を計算し、その結果と当該パターンに対する
妥当な出力を指定した教師パターンと比較し、与えた学
習パターンに対して出力層の出力が教師信号に近づくよ
うになるまで結合係数としきい値の値を変化させること
によって行う。このため、教師装置３４が設けられ、出
力層２０からの出力パターンと教師信号の差から出力層
２０のユニット２２につながる結合係数と、中間層１８
のユニット２２のしきい値に対する誤差を求めることな
どの処理を前述した数式１５〜１７による修正処理を行
うようにしている。この学習処理を設定回数繰り返し、
学習能力を獲得させるようにする。この処理の後は、前
記誤差検出部３２をバイパスさせ、変換処理部１４の出
力を直接パターン出力部２６を介してパターンマッチン
グ結果を表示装置３０により表示させるものとなってい
る。
【００４７】このように構成されたパターンマッチング
装置を利用して２次元ベクトルで表されるパターンを識
別する作業を行った実施例を取り上げる。
装置を利用して２次元ベクトルで表されるパターンを識
別する作業を行った実施例を取り上げる。
【００４８】図３は前述した変換処理部１４の回路構成
を示しており、４０は入力層１６の出力計算回路で入力
パターンに基づいて入力層の各ユニット２２の出力を計
算する。本例では一般的に用いられているように入出力
関数は線形関数としているため、出力値は入力パターン
の値に等しい。４２は中間層１８の入力計算回路で、入
力層計算回路４０の出力と入力層１６と中間層１８の結
合係数を用いて中間層１８の各ユニット２２へ供給され
る入力を計算する。４４は中間層１８の出力計算回路
で、４２で計算された入力値を基に式２８の入出力関数
を用いて中間層１８の出力を計算する。４６は出力層２
０の入力計算回路で、中間層出力計算回路４４の出力
と、中間層１８と出力層２０の結合係数を用いて出力層
２０の各ユニット２２へ供給される入力を計算する。４
８は出力層２０の出力計算回路で、４出力層入力計算回
路４６で計算された入力値を基に式２８の入出力関数を
用いて出力層２０の出力を計算する。
を示しており、４０は入力層１６の出力計算回路で入力
パターンに基づいて入力層の各ユニット２２の出力を計
算する。本例では一般的に用いられているように入出力
関数は線形関数としているため、出力値は入力パターン
の値に等しい。４２は中間層１８の入力計算回路で、入
力層計算回路４０の出力と入力層１６と中間層１８の結
合係数を用いて中間層１８の各ユニット２２へ供給され
る入力を計算する。４４は中間層１８の出力計算回路
で、４２で計算された入力値を基に式２８の入出力関数
を用いて中間層１８の出力を計算する。４６は出力層２
０の入力計算回路で、中間層出力計算回路４４の出力
と、中間層１８と出力層２０の結合係数を用いて出力層
２０の各ユニット２２へ供給される入力を計算する。４
８は出力層２０の出力計算回路で、４出力層入力計算回
路４６で計算された入力値を基に式２８の入出力関数を
用いて出力層２０の出力を計算する。
【００４９】図４は学習に用いた２次元ベクトルであ
る。カテゴリ１は記号「＊」で示し、カテゴリ２は記号
「＋」で示した。このカテゴリ１、２に属するデータ
表、および検定用データを次表に示す。このデータにお
いて、データ番号１〜１８は学習用データ（奇数番号は
カテゴリ１に、偶数番号はカテゴリ２に属する）であ
り、データ番号１９〜２９は検定用データである。
る。カテゴリ１は記号「＊」で示し、カテゴリ２は記号
「＋」で示した。このカテゴリ１、２に属するデータ
表、および検定用データを次表に示す。このデータにお
いて、データ番号１〜１８は学習用データ（奇数番号は
カテゴリ１に、偶数番号はカテゴリ２に属する）であ
り、データ番号１９〜２９は検定用データである。
【００５０】
【表１】
【００５１】実施例による装置を用いて、図４の各カテ
ゴリ１、２に属する表１の学習用データ（データ番号１
〜１８）を入力して学習させた後に、未学習のデータ
（データ番号１９〜２９）を入力して未学習のデータが
どちらのカテゴリに属するかどうかを検定するととも
に、比較例として中間層１８と出力層２０の入出力関数
を、従来のようにシグモイド関数としたネットワークを
用いて、同様に図４に対応する学習パターンを対応する
データ１〜１８で学習させた後に、表１の未学習のデー
タ（データ番号１９〜２９）を入力して未学習のデータ
がどちらのカテゴリに属するかどうかを検定した結果を
表２に示す。
ゴリ１、２に属する表１の学習用データ（データ番号１
〜１８）を入力して学習させた後に、未学習のデータ
（データ番号１９〜２９）を入力して未学習のデータが
どちらのカテゴリに属するかどうかを検定するととも
に、比較例として中間層１８と出力層２０の入出力関数
を、従来のようにシグモイド関数としたネットワークを
用いて、同様に図４に対応する学習パターンを対応する
データ１〜１８で学習させた後に、表１の未学習のデー
タ（データ番号１９〜２９）を入力して未学習のデータ
がどちらのカテゴリに属するかどうかを検定した結果を
表２に示す。
【００５２】
【表２】
【００５３】これらの結果を比較すると学習パターン
（番号１〜１８）に対する識別結果には大差はないが、
学習したカテゴリに属さないパターン（番号１９〜２
９）に対する識別結果に差がみられる。すなわち、従来
法ではこれらのパターンに対する出力値が大きくなって
おり、例えば０．５以上の出力が得られた場合には設定
したカテゴリに属すると判定されたものとするとデータ
番号２０、２２、２４、２６、２８のパターンはカテゴ
リ１に属していると識別しており、データ番号２３、２
５、２７、２９のパターンはカテゴリ２に属していると
識別している。従って、学習したカテゴリに属さないデ
ータの正当率は９％である。これに対して本発明に係る
パターンマッチング装置を用いた場合は、データ番号２
８で誤判定を行っているが他のパターンに対しては、出
力値が０．５未満で学習したカテゴリに属さないと判定
している。従って、学習したカテゴリに属さないデータ
の正当率は９０％で従来法と比較して高い正当率が得ら
れている。
（番号１〜１８）に対する識別結果には大差はないが、
学習したカテゴリに属さないパターン（番号１９〜２
９）に対する識別結果に差がみられる。すなわち、従来
法ではこれらのパターンに対する出力値が大きくなって
おり、例えば０．５以上の出力が得られた場合には設定
したカテゴリに属すると判定されたものとするとデータ
番号２０、２２、２４、２６、２８のパターンはカテゴ
リ１に属していると識別しており、データ番号２３、２
５、２７、２９のパターンはカテゴリ２に属していると
識別している。従って、学習したカテゴリに属さないデ
ータの正当率は９％である。これに対して本発明に係る
パターンマッチング装置を用いた場合は、データ番号２
８で誤判定を行っているが他のパターンに対しては、出
力値が０．５未満で学習したカテゴリに属さないと判定
している。従って、学習したカテゴリに属さないデータ
の正当率は９０％で従来法と比較して高い正当率が得ら
れている。
【００５４】
【発明の効果】以上説明したように、本発明に係るパタ
ーンマッチング装置によれば、個々のユニットにおける
重み係数を乗じた入力信号加算値がしきい値の近傍のみ
ならずしきい値から大きく離れている場合であっても適
正な出力信号を出力し、もってパターンマッチングの判
定精度を向上させることができるという優れた効果が得
られ、従来のように学習したパターンに近いパターンに
対してしか応答せず、学習していないカテゴリに属する
パターンを学習したパターンのどれかに割り振るという
ような誤判定を行うという従来の欠点を著しく減少する
ことができる。
ーンマッチング装置によれば、個々のユニットにおける
重み係数を乗じた入力信号加算値がしきい値の近傍のみ
ならずしきい値から大きく離れている場合であっても適
正な出力信号を出力し、もってパターンマッチングの判
定精度を向上させることができるという優れた効果が得
られ、従来のように学習したパターンに近いパターンに
対してしか応答せず、学習していないカテゴリに属する
パターンを学習したパターンのどれかに割り振るという
ような誤判定を行うという従来の欠点を著しく減少する
ことができる。
【図１】本発明に係るパターンマッチング装置の実施例
の構成ブロック図である。
の構成ブロック図である。
【図２】本発明の入出力関数の例である。
【図３】本発明の実施例の変換処理部の回路構成例であ
る。
る。
【図４】学習に用いた２次元パターンをｘ−ｙ座標にプ
ロットしたものである。
ロットしたものである。
【図５】ニューラルネットワーク素子（ユニット）の模
式図、並びにこのユニットに用いられる入出力関数の一
種であるシグモイド関数を示す。
式図、並びにこのユニットに用いられる入出力関数の一
種であるシグモイド関数を示す。
【図６】ネットワークの構成例で、（１）は階層型ネッ
トワーク、（２）は相互結合型ネットワークの模式図で
ある。
トワーク、（２）は相互結合型ネットワークの模式図で
ある。
【図７】３層階層型ネットワークの模式像である。
【符号の説明】 １０ 受像装置 １２ パターン入力部 １４ 変換処理部 １６ 入力層 １８ 中間層 ２０ 出力層 ２２ ユニット ２４ 結合素子 ２６ パターン出力部 ２８ メモリ ３０ 表示装置 ３２ 誤差検出部 ３４ 教師装置 ４０ 入力層出力計算回路 ４２ 中間層入力計算回路 ４４ 中間層出力計算回路 ４６ 出力層入力計算回路 ４８ 出力層出力計算回路
Claims (7)
- 【請求項１】 識別すべきパターンが入力されるユニッ
ト群と、前記入力パターンに対応するパターンを出力す
るユニット群と、前記入力ユニット群と出力ユニット群
とを複数の結合素子によって連結する中間ユニット群と
を備え、前記各ユニットは結合素子毎に割り当てられた
重み係数を前段のユニットからの出力に乗じた後に加算
して入力し、これらの入力値と設定されたしきい値との
差を独立変数とする入出力関数を有する演算部により演
算し、出力用の結合素子を介して他のユニットへの入力
をなし、前記出力ユニット群からの出力を教師信号によ
り関連するユニットの前記重み係数を補正することを繰
り返した後、パターンマッチングを行うようにしたパタ
ーンマッチング装置において、 前記ユニットにおける入出力関数演算部は、入力値がし
きい値と等しいときに最大値出力をなし、しきい値と異
なる入力値に対しては当該しきい値から離散するにした
がって前記最大値を越えない出力値とする入出力特性と
したことを特徴とするパターンマッチング装置。 - 【請求項２】 識別すべきパターンが入力されるユニッ
ト群と、前記入力パターンに対応するパターンを出力す
るユニット群と、前記入力ユニット群と出力ユニット群
とを複数の結合素子によって連結する中間ユニット群と
を備え、前記各ユニットは結合素子毎に割り当てられた
重み係数を前段のユニットからの出力に乗じた後に加算
して入力し、これらの入力値と設定されたしきい値との
差を独立変数とする入出力関数を有する演算部により演
算し、出力用の結合素子を介して他のユニットへの入力
をなし、前記出力ユニット群からの出力を教師信号によ
り関連するユニットの前記重み係数を補正することを繰
り返した後、パターンマッチングを行うようにしたパタ
ーンマッチング装置において、 前記ユニットにおける演算部の入出力関数演算部は、入
力値がしきい値と等しいときに最大値出力をなし、しき
い値と異なる入力値に対しては前記最大値を越えない正
の出力とする入出力特性としたことを特徴とするパター
ンマッチング装置。 - 【請求項３】 請求項１または２に記載のパターンマッ
チング装置において、前記ユニットにおける入出力関数
演算部は、入力値がしきい値と絶対値が等しく異符号で
あるときに最大値出力をなし、しきい値と異なる入力値
に対しては当該しきい値から離散するにしたがって前記
最大値より低下する出力値とする入出力特性としたこと
を特徴とするパターンマッチング装置。 - 【請求項４】 識別すべきパターンが入力されるユニッ
ト群と、前記入力パターンに対応するパターンを出力す
るユニット群と、前記入力ユニット群と出力ユニット群
とを複数の結合素子によって連結する中間ユニット群と
を備え、前記各ユニットは結合素子毎に割り当てられた
重み係数を前段のユニットからの出力に乗じた後に加算
して入力し、これらの入力値と設定されたしきい値との
差を独立変数とする入出力関数を有する演算部により演
算し、出力用の結合素子を介して他のユニットへの入力
をなし、前記出力ユニット群からの出力を教師信号によ
り関連するユニットの前記重み係数を補正することを繰
り返した後、パターンマッチングを行うようにしたパタ
ーンマッチング装置において、 前記ユニットにおける演算部の入出力関数が、ｃ1、ｃ2
を係数とし、しきい値をθとするときに、 【数１】 又は 【数２】 のｘに関する微分関数である 【数３】 であることを特徴とするパターンマッチング装置。 - 【請求項５】 識別すべきパターンが入力されるユニッ
ト群と、前記入力パターンに対応するパターンを出力す
るユニット群と、前記入力ユニット群と出力ユニット群
とを複数の結合素子によって連結する中間ユニット群と
を備え、前記各ユニットは結合素子毎に割り当てられた
重み係数を前段のユニットからの出力に乗じた後に加算
して入力し、これらの入力値と設定されたしきい値との
差を独立変数とする入出力関数を有する演算部により演
算し、出力用の結合素子を介して他のユニットへの入力
をなし、前記出力ユニット群からの出力を教師信号によ
り関連するユニットの前記重み係数を補正することを繰
り返した後、パターンマッチングを行うようにしたパタ
ーンマッチング装置において、 前記ユニットにおける演算部の入出力関数が、ｃ1、ｃ2
を係数とし、しきい値をθとするときに、 【数４】 又は、 【数５】 のｘに関する微分関数である 【数６】 であることを特徴とするパターンマッチング装置。 - 【請求項６】 識別すべきパターンが入力されるユニッ
ト群と、前記入力パターンに対応するパターンを出力す
るユニット群と、前記入力ユニット群と出力ユニット群
とを複数の結合素子によって連結する中間ユニット群と
を備え、前記各ユニットは結合素子毎に割り当てられた
重み係数を前段のユニットからの出力に乗じた後に加算
して入力し、これらの入力値と設定されたしきい値との
差を独立変数とする入出力関数を有する演算部により演
算し、出力用の結合素子を介して他のユニットへの入力
をなし、前記出力ユニット群からの出力を教師信号によ
り関連するユニットの前記重み係数を補正することを繰
り返した後、パターンマッチングを行うようにしたパタ
ーンマッチング装置において、 前記ユニットの演算部における入出力関数が、ｃを係数
とし、しきい値をθとするときに、 【数７】 又は 【数８】 であることを特徴とするパターンマッチング装置。 - 【請求項７】 識別すべきパターンが入力されるユニッ
ト群と、前記入力パターンに対応するパターンを出力す
るユニット群と、前記入力ユニット群と出力ユニット群
とを複数の結合素子によって連結する中間ユニット群と
を備え、前記各ユニットは結合素子毎に割り当てられた
重み係数を前段のユニットからの出力に乗じた後に加算
して入力し、これらの入力値と設定されたしきい値との
差を独立変数とする入出力関数を有する演算部により演
算し、出力用の結合素子を介して他のユニットへの入力
をなし、前記出力ユニット群からの出力を教師信号によ
り関連するユニットの前記重み係数を補正することを繰
り返した後、パターンマッチングを行うようにしたパタ
ーンマッチング装置において、 前記ユニットにおける演算部の入出力関数が、ｃを係数
とし、しきい値をθとするときに 【数９】 又は、 【数１０】 であることを特徴とするパターンマッチング装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25007494A JP3247811B2 (ja) | 1994-09-19 | 1994-09-19 | パターンマッチング装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25007494A JP3247811B2 (ja) | 1994-09-19 | 1994-09-19 | パターンマッチング装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0887485A true JPH0887485A (ja) | 1996-04-02 |
| JP3247811B2 JP3247811B2 (ja) | 2002-01-21 |
Family
ID=17202427
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP25007494A Expired - Lifetime JP3247811B2 (ja) | 1994-09-19 | 1994-09-19 | パターンマッチング装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3247811B2 (ja) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04311254A (ja) * | 1991-03-20 | 1992-11-04 | American Teleph & Telegr Co <Att> | ニューラル・ネットワーク及びその制御方法及びニューラル・ネットワーク用演算装置 |
| JPH05197701A (ja) * | 1992-01-21 | 1993-08-06 | Fujitsu Ltd | ニューラルネットワークを用いた情報処理装置 |
| JPH07210533A (ja) * | 1994-01-19 | 1995-08-11 | Nippon Telegr & Teleph Corp <Ntt> | ニューラルネットワーク回路及びこれを用いた演算方法 |
-
1994
- 1994-09-19 JP JP25007494A patent/JP3247811B2/ja not_active Expired - Lifetime
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04311254A (ja) * | 1991-03-20 | 1992-11-04 | American Teleph & Telegr Co <Att> | ニューラル・ネットワーク及びその制御方法及びニューラル・ネットワーク用演算装置 |
| JPH05197701A (ja) * | 1992-01-21 | 1993-08-06 | Fujitsu Ltd | ニューラルネットワークを用いた情報処理装置 |
| JPH07210533A (ja) * | 1994-01-19 | 1995-08-11 | Nippon Telegr & Teleph Corp <Ntt> | ニューラルネットワーク回路及びこれを用いた演算方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3247811B2 (ja) | 2002-01-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110929697B (zh) | 一种基于残差结构的神经网络目标识别方法及系统 | |
| US5293456A (en) | Object recognition system employing a sparse comparison neural network | |
| US5107454A (en) | Pattern associative memory system | |
| TWI415011B (zh) | 人臉辨識方法及應用此方法之系統 | |
| CN112507947A (zh) | 基于多模态融合的手势识别方法、装置、设备及介质 | |
| CN112036260A (zh) | 一种自然环境下多尺度子块聚合的表情识别方法及系统 | |
| JPH08227408A (ja) | ニューラルネットワーク | |
| JP2760145B2 (ja) | 知識情報処理装置 | |
| CN111652021B (zh) | 一种基于bp神经网络的人脸识别方法及系统 | |
| JP3303253B2 (ja) | パターンマッチング方法および装置 | |
| CN119296177B (zh) | 一种基于多分支融合图卷积网络的健身动作识别方法 | |
| JP3247811B2 (ja) | パターンマッチング装置 | |
| Fincher et al. | Multi-sensor data fusion using neural networks | |
| JP3171897B2 (ja) | 知識情報処理装置 | |
| CN114842536A (zh) | 一种基于金字塔辅助学习特征的人脸表情识别方法 | |
| Fukushima et al. | Training neocognitron to recognize handwritten digits in the real world | |
| JP2699447B2 (ja) | 信号処理装置 | |
| JPH0233687A (ja) | マルチフォント文字認識用ニューラルネットワーク学習方法 | |
| JPH02165285A (ja) | パターン認識装置 | |
| JPH05307535A (ja) | 学習型波形認識処理装置 | |
| JPH1063632A (ja) | 大規模ニューラルネットワーク構築方法及び大規模ニューラルネットワーク構築装置及びニューラルネットワーク装置 | |
| Sano et al. | A method of analyzing information represented in neural networks | |
| Ali | CONDITIONAL GANS AS A SOLUTION TO IMAGE-TO-IMAGE RENDERING PROBLEMS | |
| JPH0460867A (ja) | 神経回路網学習装置 | |
| JPH0460865A (ja) | 神経回路網学習法及び装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20011015 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081102 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091102 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091102 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101102 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101102 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111102 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131102 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141102 Year of fee payment: 13 |
|
| EXPY | Cancellation because of completion of term |