JPH08329033A - 画像情報処理方法及びその装置、並びにその制御方法 - Google Patents

Abstract

(57)【要約】 【課題】 必要な画像情報を高速に獲得する。 【解決手段】 広角レンズを含むレンズ系１から入力さ
れた２次元画像を、アレイセンサ２によるサンプリング
で離散化し、２次元フィルタ３により多重解像度空間に
写像し、写像された画像を、特徴点検出部４で検出され
た入力画像の特徴点に関する局所パターンに変換符号化
部５で変換し、特徴点の位置座標と局所パターンの符号
語の組に量子化部６で変換して、確率オートマトン７の
各セルに入力し、異なるセル間の相互情報量と、特徴点
の位置座標と、特徴点と光軸との距離に基づいて視覚情
報量を算出し、視覚情報量が最大となるように入力パラ
メータ制御部８がレンズ系１の光軸を制御する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、視覚情報を適切に
処理し、例えば、入力装置、画像符号化復号装置、画像
認識装置、画像復元装置、監視装置、自律走行車、ある
いは自律作業ロボットへの応用が考えられる画像情報処
理方法及びその装置、並びのその制御方法に関するもの
である。

【０００２】

【従来の技術】生物は、自分を取り巻く環境を、有限個
の処理装置で必要なだけ正確に認識し、それに対処する
機能を持っている。環境を認識するために必要とされる
信号のダイナミックレンジは、あらゆる状況を想定する
と非常に広い。例として視覚情報を考えてみると、生物
が有する視覚センサは勿論有限個であるが、環境は全方
位に広がる。従って、移動手段を持たない生物が自分を
取り巻く環境を認識するためには、全方位について必要
なだけの解像度で信号を入力しなければならない。しか
し、生物が移動手段、即ちセンサにおける観測パラメー
タを変更するための手段を有するなら、生物の視覚認識
系への負荷は遥かに軽くなる。何故なら、認識するため
に重要と思われる場所だけを認識に十分な解像度で入力
し、そうでない場合は入力しなくてもいいからである。

【０００３】従来の画像入力装置は、ＣＣＤカメラやス
キャナ等に見られるように、対象とする画像を均一にサ
ンプリングするものであった。このような画像入力装置
から得られるのは、ある解像度で得られた有限な領域の
画像データである。画像を環境の視覚情報の一部と考え
ると、このようにして得られた２次元の画像から３次元
の視覚情報を推定するというのが、視覚情報処理の本質
的問題である。このような問題に対して、以下の２種類
のアプローチが取られている。

【０００４】まず、１９８０年代に盛んに行われた生物
の視覚系に対する研究のうち、数理モデルによる研究の
殆どは、Marrのアイデア(D. Marr: "Vision" W.H.Freem
an and Co.NY(1982)) に端を発するといっても過言では
ない。これらの研究は視覚の計算論と呼ばれ、正則化理
論からMarkov確率場、ライン過程、そして繰り込み変換
群の応用と、統計物理学のアイデアにより研究を発展さ
せてきている。しかし、これらの議論では、視覚情報は
有限個の画像データとして既に与えられるものだけを対
象とし、それら２次元の画像集合から３次元の構造を推
定することを取り扱う。これは、例えば写真や絵を見
て、その３次元世界を推定することに対応する。手持ち
の情報だけで３次元の構造を推定しようとすると、一般
に、問題は解が不定となるという意味で不良設定となっ
てしまうので、彼らは知識を利用することで対処してい
る。

【０００５】一方、視覚入力系そのものを制御すること
によって認識に十分な情報を用意し、そのうえで環境を
認識しようという方法論が、同時期に提案された。Ball
ardによるAnimate Visionである(D.H. Ballard: "Behav
ioural constraints on animate vision",image and vi
sion computing, Vol.7, No.1, pp.3-9 (1989))。この
方法論は、最初に入力された視覚情報に存在する不良設
定性を、別の観測パラメータによる入力データで解消し
ようというものである。観測パラメータとしては、光学
系の光軸方向やズーミング等があるが、この技術で最も
重要なことは、“次に何を探すのか”“次にどこを観測
するのか”を決定すること、即ち観測パラメータの制御
方法である。

【０００６】１．Ballard らによる方法(D.H. Ballard
and C.M. Brown: "Principles of Animate Vision",CVG
IP: IMAGE UNDERSTANDING,Vol.156, No.1, pp.3-21 (Au
g.1992)) Ballard らが構築した視覚環境認識システムでは、画像
入力装置は、高解像度で光軸付近の狭い領域をサンプリ
ングする中心窩観察(foveal vision) と、低解像度で光
軸から離れた広い領域をサンプリングする周辺観察(per
ipheral vision) との、２種類の画像入力形態を備えて
いる。物体は、foeval vision で捕えられれば必ず認識
できるとしている。知識データを、IS-A木やpart-of 木
等の木構造で表現し、オブジェクト間の関係に確率構造
を導入した。この木構造と確率構造とに基づいて、ある
動作を遂行したときに得られる情報量とそれに費やされ
るエネルギーとで動作の有効関数(utility function)を
定義し、このutility functionを用いて、次の動作を決
定するという戦略を採用している。このような戦略によ
って、ある環境をより短時間で認識することができる。

【０００７】２．上記Ballard らのシステムでは、次に
探したい物体を直接探索するという方式を採っていた。
Wixsonらは、目的とする物体を探索するための観測点制
御法として、間接探索法を提案している(L.E. Wixon an
d DH. Ballard: "Using intermediate objects to impr
ove the efficiency of visual search",Int'l. J. Com
puter Vision, 12:2/3 ,pp.209-230(1994)) 。間接探索
法では、観測によって同定した物体と目的とする物体と
の間の空間的位置関係によって探索を行なう。例えば、
目的とする物体がコーヒーカップで、同定した物体が
机，椅子，黒板だとすると、コーヒーカップと最も空間
的位置関係が強い机が存在する位置を、更に高解像度で
観測するように入力系が制御される。

【０００８】また、Brooks等のシステム(R.A. Brooks:
"New Approaches to Robotics",Science,Vol.25,pp.12
27-1232(1991)) は、センサ入力とアクチュエータ出力
とを結ぶいくつもの基本的処理プログラムを備えてい
る。谷等は、時系列信号ベクトルとしてのセンサ入力に
存在する規則を学習によって獲得し、その規則を行動計
画に利用するシステムを提案している（特開平６−２７
４２２４号）。この方法によれば、未知の環境に適応す
るシステムを構築することができる。また、複数の可能
な行動が存在する場合でも、その中からひとつを選択す
るようなメカニズムを提供している。

【０００９】以上、従来の代表的な理論を紹介したが、
その他にも以下のような提案がある。

【００１０】R. Rimey and C.M. Brown: "Task-Oriente
d Vision with Multiple Bayes Nets", in "Active Vis
ion", A. Blake and A. Yuille(Eds.) MIT press(1992) S. Geman and D. Geman: "Stochastic Relaxation, Gib
bs Distributions, and the Bayesian Restoration of
Image", IEEE Trans. on Pattern Anal. Machine Intel
l., Vol.6, No.6,pp721-741(Nov.1984) B. Gidas: "A Renormalization Group Approach to Ima
ge Processing Problems", IEEE Trans. on Pattern An
al. Machine Intell., Vol.11, No.2, pp.164-180(Feb.
1989) Kawato and Inui: "Computational Theory of the Visu
al Cortical Areas",IEICE Trans., Vol.J73-D-II, No.
8,pp.1111-1121(Aug.1990) D.V. Lindley: "On a measure of the infomation prov
idedby an experiment", Ann. Math. Stat.,vol.27,pp.
986-1005(1956) K.J. Bradshaw, P.F. McLauchlan, I.D. Reid and D.W.
Murray: "Saccade and pursuit on an active head/ey
e platform", Image and Vision Computing,Vol.12, n
o.3, pp.155-163 (Apr.1994) J.G. Lee and H. Chung: "Global path planning for m
obile robot with grid-type world model", Robotics
and Computer-Integrated Manufacturing, Vol.11,no.
1,pp.13-21(1994)

【００１１】

【発明が解決しようとしている課題】しかしながら、上
記のような計算理論の多くは、与えられた画像（の組）
だけから得られる情報を議論しているため、得られる結
果はあくまで推定値である。また観測者中心座標系を用
いて世界を記述しているので、移動物体等の扱いが複雑
である。

【００１２】一方、Animate Visionでは、物体中心座標
系を用いて世界を記述しているので、移動物体等の扱い
は比較的簡単になるが、その際に最も重要となる観測点
制御には、以下のいくつかの問題点が存在する。

【００１３】１．知識を構成する物体の最小単位の認識
方法を議論していない。即ち、これら最小単位の認識は
容易であることを前提として議論を展開している。

【００１４】２．知識は知識エンジニアによって記述さ
れるとしている。即ち、人間が知らない環境に対する知
識は与えられない。

【００１５】又、特開平６−２７４２２４号等のシステ
ムでは、知識は学習によって獲得されるが、入出力デー
タやニューラルネットの構造が一般的であるので、知識
の階層構造が得られるという保証はないし、知識の 階
層構造を獲得する能力がニューラルネットにあったとし
ても、膨大な時間を要することが予想される。

【００１６】そこで、本発明は、高速に必要な画像情報
を獲得できる画像情報処理方法と装置を提供することを
目的とする。

【００１７】また、本発明は、画像情報処理方法及びそ
の装置を有効に適用した各種システムを提供することを
目的とする。

【００１８】

【課題を解決するための手段】本発明によれば、画像情
報処理装置の制御方法において、画像情報処理装置の画
像入力部より画像を光学的に入力し、入力された画像よ
り特徴点を検出し、検出された特徴点の位置に基づいて
視覚情報量を算出し、前記視覚情報量が増大するよう
に、前記画像入力部を制御する。

【００１９】また、本発明の他の態様によれば、画像情
報処理方法において、入力画像を監視し、入力画像内の
各特徴点の評価値を算出し、算出された評価値が所定値
を越える特徴点を検出し、光軸の方向を検出された特徴
点に向けて移動し、該検出された特徴点近傍の画像デー
タを獲得し、該獲得された画像データに識別子を割り当
てて、検出された特徴点の位置と、特徴点近傍の画像デ
ータと、検出された時刻と、割り当てられた識別子とを
組として記憶する。

【００２０】また、本発明の他の態様によれば、画像情
報処理装置に、画像を光学的に入力する画像入力手段
と、前記画像入力手段から入力された画像より特徴点を
検出する検出手段と、前記検出手段により検出された特
徴点の位置に基づいて視覚情報量を算出する算出手段
と、前記算出手段により算出された視覚情報量が増大す
るように、前記画像入力手段を制御する制御手段とを備
える。

【００２１】また、本発明の他の態様によれば、画像情
報処理装置に、入力画像を監視する監視手段と、前記監
視手段により監視されている入力画像内の各特徴点の評
価値を算出する算出手段と、算出された評価値が所定値
を越える特徴点を検出する検出手段と、光軸の方向を検
出された特徴点に向けて移動する移動手段と、前記検出
手段により検出された特徴点近傍の画像データを獲得す
る獲得手段と、該獲得された画像データに識別子を割り
当てて、検出された特徴点の位置と、特徴点近傍の画像
データと、検出された時刻と、割り当てられた識別子と
を組として記憶する記憶手段とを備える。

【００２２】また、本発明の他の態様によれば、画像情
報処理装置に、入力パラメータにより制御され、画像を
入力する画像入力手段と、入力された画像を離散化し、
多重解像度空間に写像する写像手段と、入力された画像
から特徴点を検出する特徴点検出手段と、写像された画
像を、検出された特徴点に関する局所パターンに変換す
る変換符号化手段と、変換された局所パターンを量子化
する量子化手段と、前記量子化手段により量子化された
データから、これらデータ間の時間的空間的相関関係を
求める知識獲得手段と、前記量子化データ及び前記相関
関係に基づいて前記入力パラメータを修正する入力パラ
メータ制御手段とを備える。

【００２３】

【発明の実施の形態】以下、添付図面を参照しながら、
本発明に係る好適な１実施形態を詳細に説明する。

【００２４】〔実施形態１〕図１は、本実施形態の視覚
情報処理装置の構成例を表すブロック図である。以下、
順に構成要素の動作を説明する。

【００２５】＜レンズ系(lens system) １＞ここで、レ
ンズ系１は、広角レンズ(wide view lens)（魚眼レンズ
(fish eyelens) を含む）を備え、画像を光学的に入力
するためのレンズ系であり、更に通常レンズを設けても
よい。

【００２６】図２に、レンズ系１の広角レンズによる座
標変換例を示す。図中、ｘが入力系の正面に位置する画
像面上での極座標系の動径、ｔが広角レンズで変換され
た後の極座標系の動径である。本光学系は、この極座標
系の角度（紙面に垂直な面上での極座標系の角度θ）を
保存するので、図２及び以下の説明は全て動径方向に限
って行う。

【００２７】ｘ，ｔは、光軸に対する入射角度φ，焦点
距離ξを用いて、 ｔ＝２ξ tan（φ／２） （１） ｘ＝ξ tan（φ） （２） と書ける。これらより、ｘはｔの関数として次式で表わ
せる： ｘ＝ｔ／｛１−（ｔ／２ξ)²｝ （３） これが広角レンズにおける座標変換である。

【００２８】画像平面全域に広がる動径方向周波数ｆ
（０）のパターンをレンズ系１によってアレイセンサ２
の平面上に投射したとき、アレイセンサ２の平面上で光
軸１０から距離ｔの位置での局所的な動径方向周波数
は、式（４）で表せる。

【００２９】 f(t)＝f(0)・{(１−（ｔ／２ξ)²)²／｛１＋（ｔ／２ξ )²} （４） 実際には、極座標系（ｔ，θ）を用いて、２次元画像ｆ
（ｔ，θ）が出力される。もちろん、３次元の実空間に
存在する任意の物体を対象とする場合には、入射角度φ
とｔとの関係のみを知ればいいから、 ｔ＝２ξ tan（φ／２） （５） が座標変換となる。

【００３０】なお、広角レンズには、上記以外の座標変
換規則に従うものがいくつかあり、上記広角レンズに代
えて、それらの広角レンズをレンズ系１に使用してもよ
い。

【００３１】＜アレイセンサ(array sensor)２＞アレイ
センサ２は、レンズ系１によって座標変換を受けた２次
元画像ｆ（ｔ，θ）を、２次元アレイ状に並べられたセ
ンサでサンプリングし、離散２次元画像を得る。アレイ
センサ２の左上のセンサ番号を（１，１）とし、横方向
にｍ番目、縦方向にｎ番目のセンサ番号を（ｍ，ｎ）と
記述する。センサ番号（ｍ，ｎ）のセンサの出力ｇ_m,n
は、積分核をψ_m,n (x) として、

【００３２】

【外１】 となる。これにより、｛ｇ_m,n ｝_m,n が離散２次元画像
を構成する。

【００３３】＜２次元フィルタ(2D filter) ３＞２次元
フィルタ３は、アレイセンサ２の出力信号、即ち離散２
次元画像｛ｇ_m,n ｝_m,n を入力として受取り、以下のよ
うなマスク処理を施して、多重解像度展開する。

【００３４】

【外２】 このマスクは例えば、▽²Ｇの作用素：

【００３５】

【外３】 を用いる。

【００３６】また、以下のような作用素集合も有効であ
る。

【００３７】（ａ）空間定数の異なる複数の▽² Ｇ作用
素：等方性バンドパスフィルタの集合を構成することが
できる。

【００３８】（ｂ）空間定数と方向の異なる複数のGabo
r 作用素：方向に依存するバンドパスフィルタの集合を
構成することができる。

【００３９】図３は、レンズ系１，アレイセンサ２，２
次元フィルタ３を組み合わせたシステム（以下、広角レ
ンズ入力装置と呼ぶ）で検出される動径方向周波数帯域
と光軸１０からの距離との関係を図式的に表している。
同図は、２次元フィルタ３におけるマスク作用素が▽²
Ｇで、場所に拠らず一定の場合である。光軸から離れる
に従って高周波成分検出に寄与する積分核を削除してい
くように構成された画像フィルタと近似的に等しい。図
３より、光軸の方向を変えることによって、周波数空間
の全領域を覆うことができることがわかる。

【００４０】上記考察は、図４に示すシミュレーション
結果によって検証される。同図から、広角レンズ入力装
置が検出する中心周波数は、光軸からの変位とともに、
単調に減少すること、装置が検出できる最大周波数以下
の成分を全て検出することが確認できる。

【００４１】＜特徴点検出部(feature extractor) ４＞
特徴点検出部４では、２次元フィルタ３の出力画像から
極大点を抽出して特徴点とし、それらの座標を出力す
る。これら特徴点の座標は、入力パラメータ制御部８に
送られ、入力パラメータ制御量の決定のために用いられ
る。

【００４２】２次元フィルタ３、および特徴点検出部４
は、偏角の原理を応用して次のように構成することもで
きる。２次元フィルタでは、まず画像｛ｇ_m,n ｝_m,n に
グラジエント(gradient)▽を作用させてベクトル場｛ω
_m,n ｝_m,n を生成する： ω_m,n ＝▽ｇ_m,n ＝{(ｇ_m,n-ｇ_m-1,n)／△ｘ｝e1＋{(ｇ_m,n-ｇ_m,n-1)／△ｙ} e2 (9) ただし、ｅ１、ｅ２は基底ベクトル、△ｘ、△ｙは横方
向、および縦方向のグリッド間隔である。次に各点
（ｍ，ｎ）におけるベクトルの方向を求める： arg(ω_m,n)＝arctan〔{(g_m,n-g_m,n-1) ／△y}/{(g_m,n-g_m,n-1) ／△x}〕 (10) ベクトル場を複素関数で表現すれば、上記方向は複素数
の偏角である。これに、偏角の原理を応用して、零点や
極が検出できる。

【００４３】偏角の原理とは、関数ｆ（ｚ）は単連結領
域Ｄで有理形、ＣはＤ内の正の向きの単純閉曲線で、Ｃ
の上にはｆ（ｚ）の零点も極も存在しないものとする。
Ｃの内部において、ｆ（ｚ）はａ_j （ｊ＝１，２，…，
ｍ）にそれぞれ位数λ_j の零点、ｂ_k （ｋ＝１，２，
…，ｎ）にそれぞれ位数μ_k の極をもつとする。このと
き、Ｃ上の１点ｚ₀ から出発してＣを一周してｚ₀ へ戻
ったときのｆ（ｚ）の偏角の増加量△_c arg ｆ（ｚ）
は、Ｃ内部にある零点及び極の個数（位数も考慮した）
を

【００４４】

【外４】 と書けば、次式で与えられる： △_c arg ｆ（ｚ）＝２π（Ｎ_z(ｆ）−Ｎ_p(ｆ）） （１１） 上記偏角の原理を用いてベクトル場｛ω_m,n ｝_m,n の特
徴点を検出する方法を以下で説明する。

【００４５】Ｓｔｅｐ１ ｎ＝１とする。

【００４６】Ｓｔｅｐ２ ｍ＝１とする。

【００４７】Ｓｔｅｐ３ （ｍ，ｎ）を中心に適当な近
傍を考える。例えば８近傍： {(m-1,n-1),(m,n-1),(m+1,n-1),(m-1,n),(m+1,n),(m-1,n+1),(m,n+1), (m+1,n+1)} （１２） を選ぶ。

【００４８】Ｓｔｅｐ５ 偏角の原理により、上記近傍
に囲まれる領域内に存在する零点及び極の、位数を考慮
した個数が次のように与えられる： Ｎ_z （ω）−Ｎ_p （ω）＝（△_c arg ω_m,n ）／２π （１３） △_cargω _m,nは以下のように計算する： △_cargω _m,n ≒Υ（ω_m+1,n+1 ，ω_m+1,n)＋Υ（ω_m,n+1 ，ω_m+1,n+1) ＋Υ（ω_m-1,n+1 ，ω_m,n+1)＋Υ（ω_m-1,n ，ω_m-1,n+1) ＋Υ（ω_m-1,n-1 ，ω_m-1,n)＋Υ（ω_m,n-1 ，ω_m-1,n-1) ＋Υ（ω_m+1,n-1 ，ω_m,n-1)＋Υ（ω_m+1,n ，ω_m+1,n-1) (14) ここで、Υ（ｘ，ｙ）＝argx−argy if argx−argy≦π argy−argx otherwise (15)

【００４９】Ｓｔｅｐ６ ｍ＝ｍ＋１とする。

【００５０】Ｓｔｅｐ７ ｍが画像の範囲を越えたかど
うかを判断し、越えたらＳｔｅｐ８に進み、そうでなけ
れば、Ｓｔｅｐ２からの処理を繰り返す。

【００５１】Ｓｔｅｐ８ ｎ＝ｎ＋１とする。

【００５２】Ｓｔｅｐ９ ｎが画像の範囲を越えたかど
うかを判断し、越えたら処理を終了し、そうでなけれ
ば、Ｓｔｅｐ３からの処理を繰り返す。

【００５３】特徴検出装置では、上記偏角の原理より得
られた個数Ｎ_z(ω）−Ｎ_p(ω）が負になる点を検出す
る。これにより、零点より極の方が多い領域が検出さ
れ、十分小さな領域では極が存在する点を検出すること
になる。

【００５４】＜変換符号化部(transform encoder) ５＞
変換符号化部５は、２次元フィルタ３によって多重解像
度空間上に写像された画像データを、局所パターン空間
へ変換して出力する機能を有する。

【００５５】まず、多重解像度空間での座標｛ｓ_f(＝２
^k)，ｂ_f}に対する深さｄまでの近傍の集合Ｎ_d(ｓ_f,ｂ_f)
というものを、 ｓ＝２^p ；ｐ＝｛k, k-1, …，Max(0, k-d) ｝ (16) ｂ＝ｂ_f ±{(m-1/2)2^p△x, (n-1/2)2^p△y)} ;m,n ＝{1, …,2^k-p} (17) と定義する。ただし、ｓ_f ，ｂ_f は特徴点検出部４で検
出された特徴点のスケール（空間周波数の逆数と考えて
よい）と座標であり、△ｘ，△ｙはアレイセンサ２のｘ
方向，ｙ方向のセンサ間の距離である。

【００５６】図５にはＮ₂(ｓ_f ，ｂ_f ）５１が示されて
いる。Ｎ₂(ｓ_f ，ｂ_f ）５１は、多重解像度空間に於け
る位置（ｓ_f ，ｂ_f ）が異なれば、５２や５３で示すよ
うに、局所パターンが覆う領域、即ち実空間領域（ｂの
幅）及びスケール領域（ｓの幅で周波数領域に相当）が
異なることがわかる。すなわち、Ｎ₂(ｓ₅₃，ｂ₅₃）が覆
う領域は、実空間領域５５とスケール領域５７となり、
Ｎ₂(ｓ₅₂，ｂ₅₂）が覆う領域は、実空間領域５４とスケ
ール領域５６となる。特に、深さ“０”の近傍は特徴点
位置の画素そのものを表す。

【００５７】このようにＮ_d(ｓ_f ，ｂ_f ）は多重解像度
空間での座標（ｓ_f ，ｂ_f ）をルートとする４分木（図
では２分木）に等しい。多重解像度空間の座標（ｓ_f ，
ｂ_f）における深さｄの局所パターンＰ_d(ｓ_f ，ｂ_f ）
とは、Ｎ_d(ｓ_f ，ｂ_f ）の各ノードに強度を対応させた
ものをいい、深さｄの局所パターン空間とは、上記４分
木の集合に有限次元ベクトルに対する内積を定義するこ
とによって張られる関数空間をいう。多重解像度空間に
おける局所パターンを考えることによって、３次元物体
のある種の運動に対する不変量が得られる。ただし、そ
の深さ（例えばどのくらいのスケールの範囲に亙ってい
るか）は物体によって異なる。

【００５８】変換符号化部５から出力されるデータ形式
は、例えば深さ２の局所パターンのみを採用した場合
の、ｓ＝{s₀,s₁,s₂}，ｂ＝{b₀,b₁… , b_j,…, b_J }の離
散多重解像度空間に対しては、 {(b₀,(P₂(s₀,b₀), P₂(s₁,b₀), P₂(s₂,b₀))), (b₁,(P₂(s₀,b₁), P₂(s₁,b₁), P₂(s₂,b₁))), … (b_J,(P₂(s₀,b_J), P₂(s₁,b_J), P₂(s₂,b_J)))} (18) となる。

【００５９】＜量子化部(quantizer)6＞図６に量子化部
６の詳細な構成図を示す。量子化部６は、変換符号化部
５から例えば以下の形式のデータを受ける。

【００６０】 {(b₀,(P₂(s₀,b₀), P₂(s₁,b₀), P₂(s₂,b₀))), (b₁,(P₂(s₀,b₁), P2(s₁,b₁), P₂(s₂,b₁))), … (b_J,(P₂(s₀,b_J), P₂(s₁,b_J), P₂(s₂,b_J)))} (19) 量子化部６は、上記データの例えば局所パターンを量子
化して、符号語Ｓ₂(ｓ_f ，ｂ_f ）∈Ｚに変換する： {(b₀,(S₂(s₀,b₀), S₂(s₁,b₀), S₂(s₂,b₀))), (b₁,(S₂(s₀,b₁), S₂(s₁,b₁), S₂(s₂,b₁))), … (b_J,(S₂(s₀,b_J), S₂(s₁,b_J), S₂(s₂,b_J)))} (20) 以下、量子化部６における処理手順を簡単に説明する。

【００６１】（ａ）ｊ＝０とする。

【００６２】（ｂ）量子化部６に特徴点ｂｊ に関する
データ、最初の場合、 (b₀,(P₂(s₀,b₀), P₂(s₁,b₀), P₂(s₂,b₀))) (21) が入力される。

【００６３】（ｃ）P₂(s₀,b₀), P₂(s₁,b₀), P₂(s₂,b₀)
のそれぞれが量子化器６１，６２，６３に入力され、対
応する符号語S₂(s₀,b₀), S₂(s₁,b₀), S₂(s₂,b₀) が出力
される。このとき、量子化器６１，６２，６３ともコー
ドブック６４を用いる。

【００６４】（ｄ）(b₀,(S₂(s₀,b₀), S₂(s₁,b₀), S
₂(s₂,b₀)))を出力する。

【００６５】（ｅ）ｊ←ｊ＋１として（ｂ）に戻る。

【００６６】量子化部６には、代表ベクトルを獲得する
ための学習モードと、入力信号を符号化するための実行
モードがあるが、これらは通常のベクトル量子化技術で
実現できる。

【００６７】ここで、コードブック６４は、各ノード位
置における成分強度の組として表現された上記局所パタ
ーンに番号（符号語）付けを行うものであり、例えば、
以下の実施例２で説明するような学習ベクトル量子化で
作成されてもよい。又、出現する全ての局所パターンに
順番に番号を割り付けてもよい。

【００６８】すなわち、与えられた画像は、特徴点の位
置座標と局所パターンの符号語との組として符号化され
る。しかし、このような符号化は、空間的に隣接する局
所パターン間に強い相関が存在するという意味でかなり
冗長性を含んでいる。量子化部６の代表ベクトルには、
このような冗長性が含まれていていないことが望まし
い。これら冗長性は、それぞれの代表ベクトル間の同時
出現確率を用いて削減することができる。

【００６９】＜確率オートマトン(stochastic automato
n)7>上記量子化部６から出力された特徴点の位置座標と
局所パターンの符号語との組が、確率オートマトン７の
各セルに入力される。

【００７０】図７に確率オートマトン７の構成例を示
す。図中、７１は、画像入力データの幾何学的特徴及び
時間的相関に基づいて構築されるパターンオートマトン
であり、７２は、上記パターンネットの結果と他の入力
信号、例えば人間によるキーボードからの知識データや
他のセンサ信号等とによって構築されるシンボルオート
マトンである。７３はセルであり、有限個の状態を取る
ことができる。状態値の集合上に確率構造が定義されて
いる。確率オートマトン７は形式的に階層構造をしてい
るが、一般的にはブロック化されているという。ｑ層に
属するｒ番目のセルの状態の集合をΩ_r ^(q)、その上の確
率分布を｛ｐ（ω_u)｝；ω_u ∈Ω_r ^(q)、（ｑ＋１）層に
属するｖ番目のセルの状態の集合をΩ_v ^(q+1)、その上の
確率分布を｛ｐ（ω_z)｝；ω_z ∈Ω_v ^(q+1)と書く。この
とき、これら確率分布は、以下のように条件付き確率に
よって関係付けられているとする。

【００７１】

【外５】 ここで、ｐ（ω_u ）はｑ層に属するｒ番目のセルがω_u
である確率を表現し、p(ω_z|ω_u)は、ｑ層に属するｒ番
目のあるセルがω_u であった時に、（ｑ＋１）層に属す
るｖ番目のセルがω_z である確率（条件付き確率）を表
している。

【００７２】パターンオートマトン７１に属するセル
は、多重解像度空間を分割したときの各々の部分領域に
対して１対１に割当てている。従って、セルの状態値
は、多重解像度空間の部分領域における符号語に当た
る。条件付き確率を要素とする状態遷移行列は、量子化
器６のコードブック６４を学習するときに、同時に計算
する。

【００７３】一方、シンボルオートマトン７２に属する
セルは、物体或いは事象と１対１に対応する。これらの
間の条件付き確率は、知識エンジニアによって与えられ
てもいいし、画像入力データの時間的空間的相関によっ
て計算してもよい。

【００７４】例えば、変換符号化部５による多重解像度
表現をしない場合の３レベルの階層表現の例を、図８に
示す。それぞれのレベルにおける配位空間は、１つ下の
レベルの配位空間の（３×３）の空間的配置により構成
される。つまり、Ω⁽⁰⁾ は実数値を取る画素を（３×
３）に並べてできるパターンの全体、Ω⁽¹⁾ はΩ⁽⁰⁾ の
パターンに付けられた番号の全体を整数としたときに、
この整数を（３×３）に並べてできるパターンの全体、
…という具合である。従って、各層間の条件付き確率が
モデルとして存在し、Ω⁽⁰⁾ に属する１８個のパターン
に対する事前確率が与えられれば、Ω⁽¹⁾ ，Ω⁽²⁾ に属
するパターンの確率分布が計算できる。

【００７５】尚、実施例１の確率オートマトン７及び実
施例２の相互結合型ニューラルネット２０７等を、まと
めて知識獲得部とも総称する。

【００７６】＜入力パラメータ制御部(input parameter
controller)８＞上記特徴点検出部４からの特徴点の座
標及び確率オートマトン７からのパターンの確率分布に
基づいて、レンズの光軸方向やズーミング等の入力パラ
メータ制御信号を上記広角レンズ入力装置に出力する構
成要素であり、例えば光軸方向に関しては、以下のよう
な処理を行う。

【００７７】光軸制御法は、特徴点検出部４で検出され
た特徴点の集合のうちのどの特徴点を選択するかで決ま
る。例えば、この選択の評価基準を次式で定義する。

【００７８】 Ｌ_br＝Ｌ（ｗ_br，Ｔ（ｂ_r,Ω_v ^(q+1)），ρ（ｂ_r)） (23) ここで、ｗ_brは特徴点ｂ_r における正規化された２次元
フィルタ３の出力値、右辺第２項はΩ_v ^(q+1)に対する特
徴点ｂ_r の相互情報量、ρ（ｂ_r)は現在の光軸からｂ_r
までの距離である。Ｌ_brの最も簡単な例としては、それ
ぞれの変数の線形結合が考えられる。

【００７９】 Ｌ_br＝α₀ ｗ_br＋α₁ Ｔ（ｂ_r,Ω_v ^(q+1)）＋α₂ ρ（ｂ_r) (24) 先ずΩ_v ^(q+1)に対するΩ_r ^(q)の相互情報量Ｔ（Ω_r ^(q)，
Ω_v ^(q+1)）を次式(25)で定義し、これを用いて、Ｔ（ｂ
_r,Ω_v ^(q+1)）＝Ｔ（Ω_r ⁽⁰⁾，Ω_v ^(q+1)）を計算する。

【００８０】

【外６】

【００８１】上式（２３）あるいは（２４）を最大にす
る空間座標に光軸を一致させるように、光軸の修正量を
決定する。パターンオートマトン７１の各セルは、実空
間座標とスケール座標との両方をもっている。従って、
相互情報量が最大の（観測）位置に光軸を一致させると
いうことは、相互情報量が最大のセルを見つけることと
同じである。各セルは符号語とそれに対する出現確率を
記憶しており、さらに各セル間の関係は条件付き確率で
結び付いているので、これらを用いて、ある特性のセル
の状態を決定する（これはその特定のセルの符号語の出
現確率に対するエントロピを下げることと同じ）ため
に、最も有効なセル、即ち相互情報量が最大となるセル
を決定することができる。これを、式（２３）から式
（２５）を使って計算する。

【００８２】尚、上記式（２３）から式（２５）は、多
重解像度空間あるいはその局所パターンに適用すれば、
ズーム制御の評価値ともなる。本発明の評価値の計算及
び評価は式（２３）から式（２５）に限定されない。

【００８３】＜本実施例の具体例＞以下では、上記本理
論を簡単な例に適用することによって、その有効性を示
す。尚、本具体例では説明を簡単にするために、（３×
３）のアレイセンサを使用し、広角レンズや変換符号化
部の作用による多重解像度表現をしない例で説明する。
本例で式（２４）の第１項は画素データの変化量（黒／
白）と考えられる。

【００８４】入力装置は一度に（３×３）画素の範囲が
見えるものとし、図８のようなモデルを知識として持っ
ているものとする。ここでは、パターンオートマトンの
みを利用して、２次元パターンを認識する例を示す。図
よりレベル（０）パターンの台は３×３画素、レベル
（１）パターンの台は９×９画素、レベル（２）パター
ンの台は２７×２７画素であることがわかる。従って、
システムは一度の観測でレベル（０）のパターンを認識
することができる。また、レベル（１）及びレベル
（２）のパターン中に現れる数字は、それぞれレベル
（０）及びレベル（１）パターンの符号語である。ま
た、それぞれのレベルのパターンに対する出現確率は等
しいとする。以下、レベル（１）パターンを認識する操
作を、レベル（１）観測と書くことにする。

【００８５】視覚環境として図９に示すパターンが与え
られたとして、レベル（２）パターンを認識する問題を
考える。ただし、図中、左上を原点（０，０）、右にｉ
番目、下にｊ番目の画素の座標を（ｉ，ｊ）と記す。シ
ステムは２つのレベル（２）パターンしか知らないの
で、与えられた画像中のパターンがこのどちらかを特定
すればいい。

【００８６】図９は本装置に入力される入力画像で、こ
の画像が、変換符号化部５及び量子化部６を経て、式
（１３）の形式になる（ただし冗長な部分は削除され
る）。

【００８７】図７のパターンオートマトン７１の一番上
のそのセルには、図８のΩ⁽⁰⁾ に含まれる１８個の符号
語に対する出現確率を記憶するバッファがあり、パター
ンオートマトン７１の上から１層目の各セルは、自分が
受け持つ空間領域にある部分画像（入力画像の部分画
像）（本例では３×３の部分画像）と図８のΩ⁽⁰⁾ に含
まれる１８個の局所パターンとのマッチングを取り、そ
れに対応する符号語とそれぞれの出現確率を記憶する。
１層目のあるセルに対応する部分画像が得られていない
時には、１層目のセルは、全ての符号語に対して同じ出
現確率“１／１８”を割り当てる。また、部分画像が局
所パターンの“１”か“２”であることがわかったとき
は、符号語１と符号語２の出現確率として“１／２”
を、その他の符号語の出現確率として“０”を記憶す
る。

【００８８】パターンオートマトン７１の各セルは、図
８のΩ⁽¹⁾ に含まれる４つのパターンに対する符号語と
その出現確率を記憶する。ここでいうパターンとは、１
層目のセルの符号語の空間的配置を言う。即ち、１層目
のセルの符号語の局所的配置を、“１”から“４”まで
の数字で代表させる。２層目のセルの受け持つ部分空間
で１層目の符号語が“１”から“４”までのどの配置を
しているかは、式（２２）を用いて計算される。式（２
２）の乗算は、本例では３×３個のパターンについて行
う。３層目のセルについても同様に、２つの符号語に対
する出現確率を式（２２）を用いて計算する。

【００８９】さて、初期のレベル（０）観測が座標（１
０，１０）の位置で行われたとし、引き続く処理を順を
追って説明する。座標（１０，１０）は特徴点検出部に
より検出されたものとしてもよい。

【００９０】（ステップＳ１）座標（１０，１０）のレ
ベル（０）観測によって得られた情報は、レベル（０）
パターンが“１８”であるということであり、この情報
が“０”であることは容易にわかる。システムは現在自
分が観測している位置とレベル（２）パターンの相対的
位置との対応を付けるために、先ず現在の観測点付近で
のレベル（１）パターンを特定する必要がある。

【００９１】レベル（２）の観測を終了させるために
は、Ω⁽²⁾ でのエントロピーを最小にしなければならな
い。即ち、Ｔ（Ω_(i,j) ⁽¹⁾，Ω_(10,10) ⁽²⁾）を最大にす
るような観測点（ｉ，ｊ）を選択する。観測点の候補と
しては、｛（１６，１０），（１３，１３），（１０，
１６），（１６，１６）｝の４点が選ばれる。それぞれ
の点を観測したときの情報量の期待値は、 Ｔ（Ω_(16,10) ⁽¹⁾，Ω_(10,10) ⁽²⁾）＝0. 219， Ｔ（Ω_(13,13) ⁽¹⁾，Ω_(10,10) ⁽²⁾）＝0. 354， Ｔ（Ω_(10,16) ⁽¹⁾，Ω_(10,10) ⁽²⁾）＝0. 219， Ｔ（Ω_(16,16) ⁽¹⁾，Ω_(10,10) ⁽²⁾）＝0. 354． (26) となる。これより、距離の近い観測点を選ぶものとすれ
ば、次の観測点として（１３，１３）を選択する。距離
に関する条件はこれに限定はされない。

【００９２】（ステップＳ２）座標（１３，１３）での
レベル（０）観測を行う。その結果レベル（０）パター
ン“１４”を得る。これではまだ座標（１３，１３）を
中心とするレベル（１）パターンは特定されない。そこ
で、ステップＳ１と同様にして、座標（１６，１６）で
のレベル（０） 観測を行う。その結果レベル（０）パ
ターン“１０”を得、これより、座標（１３，１３）を
中心とするレベル（１）パターンは“１”に特定され
る。再びレベル（２）のそれぞれの観測点における情報
量を計算する。観測点の候補はレベル（１）の座標（２
２，２２）の１点である。即ち座標（２２，２２）での
レベル（２）パターンが“２”か“３”かを特定する。
そのための、レベル（０）の観測点候補の点を観測した
ときの情報量の期待値は、 Ｔ（Ω_(19,19) ⁽¹⁾，Ω_(16,16) ⁽²⁾）＝0. 171， Ｔ（Ω_(25,19) ⁽¹⁾，Ω_(16,16) ⁽²⁾）＝0. 171， Ｔ（Ω_(22,22) ⁽¹⁾，Ω_(16,16) ⁽²⁾）＝0. 585， Ｔ（Ω_(19,25) ⁽¹⁾，Ω_(16,16) ⁽²⁾）＝0. 171， Ｔ（Ω_(25,25) ⁽¹⁾，Ω_(16,16) ⁽²⁾）＝0. 585， これより次の観測点として距離の近い（２２，２２）を
選択する。

【００９３】（ステップＳ３）座標（２２，２２）の観
測によって、レベル（０）パターン“１７”が得られ
る。これより、この位置でのレベル（１）パターンが
“３”か“４”かであることがわかり、結局、与えられ
た入力信号は、レベル（２）パターンの“２”であるこ
とが認識できる。

【００９４】尚、上記具体例では、簡略化のために多重
解像度空間やその局所パターンを考慮していないが、多
重解像度空間やその局所パターンを考慮に入れても、処
理が複雑になるのみで同様の処理が可能である。多重解
像度空間やその局所パターンを考慮に入れることによ
り、光軸の制御に他にズーム制御等も可能となる。

【００９５】〔実施形態２〕実施形態２では、実施形態
１の確率オートマトン７を相互結合型ニューラルネット
（Hopfield-type ＮＮ）で実現した例を示す。これによ
って、入力パラメータ制御部２０８における処理も変わ
る。

【００９６】図１０は、本実施形態の視覚情報処理装置
の構成例を表すブロック図であり、レンズ系２０１，ア
レイセンサ２０２，２次元フィルタ２０３，特徴点検出
部２０４，変換符号化部２０５は、それぞれ、実施形態
１のレンズ系１，アレイセンサ２，２次元フィルタ３，
特徴点検出部４，変換符号化部５と同様である。

【００９７】＜量子化部２０６＞図１１に量子化部２０
６の構成を示す。量子化部２０６には、代表ベクトルを
獲得するための学習モードと、入力信号を符号化するた
めの実行モードとがある。学習モードでの代表ベクトル
の獲得には、相関行列を用いる方法と、Kohonenによっ
て提案されている学習ベクトル量子化器を用いる方法が
ある。以下では、Kohonen の学習ベクトル量子化器によ
って、深さｍの量子化器を構成する方法を説明する。

【００９８】（ａ）代表ベクトルの個数分のウェイトベ
クトルＷ_n ^mを用意し、それぞれを小さい乱数によって初
期化する。

【００９９】（ｂ）局所パターンＸ^m とＷ_n ^mとの内積を
出力する、ウェイトベクトルＷ_n ^mと同数の演算素子（pr
ocessing element）ＰＥ_n ^mを用意する。各ＰＥ間には２
次元距離が導入されており、ＰＥの近傍半径Ｒを適当に
設定する。

【０１００】（ｃ）入力される局所パターンＸ^m に対し
て、最大値を出力するＰＥ_n ^m _MAX を見つけ出し、ＰＥ_n ^m
_MAX との距離がＲより小さいＰＥに対するウェイトベク
トルＷ_n ^mを次式で修正する。

【０１０１】Ｗ_n ^m←Ｗ_n ^m＋η_W ( Ｘ^m −Ｗ_n ^m _MAX ） ここでη_W は定数である。ウェイトベクトルの修正とと
もにＰＥ近傍半径Ｒを徐々に小さくしていく。

【０１０２】このようにして、出現確率の高い局所パタ
ーンは、ウェイトベクトルとして学習ベクトル量子化器
に記憶される。局所パターンの符号化は、最大値を出力
するＰＥのインデックスとして与えられる。

【０１０３】量子化部２０６の実行モードでは、各特徴
点近傍の特徴ベクトルを、上記学習ベクトル量子化器に
入力し、そのときの｛ＰＥ_n ^m｝_n のうち、出力が最大と
なる演算素子のインデックスを符号語とする。この処理
によって、全ての特徴点に適当な符号語の組が対応づけ
られる。

【０１０４】このようにして、与えられた画像は、特徴
点の位置座標と局所パターンの符号語との組として符号
化される。しかし、このような符号化は、空間的に隣接
する局所パターン間に強い相関が存在するという意味で
かなりの冗長性を含んでいる。量子化部２０６の代表ベ
クトルには、このような冗長性が含まれていないことが
望ましい。これら冗長性は、それぞれの代表ベクトル間
の同時出現確率を用いて削減することができる。

【０１０５】＜相互結合型ニューラルネット（Hopfield
-type neural network）２０７＞図１２に相互結合型ニ
ューラルネット２０７の構成を示す。図１２中、パター
ンネット１２１は、画像入力データの幾何学的特徴及び
時間的相関に基づいて構築されるネットワークであり、
概念ネット１２２は、上記パターンネットの結果と他の
入力信号、例えば人間によるキーボードからの知識デー
タや他のセンサ信号等によって構築されるネットワーク
である。

【０１０６】ニューロン１２３は、多入力１出力の演算
素子であり、入力ベクトルｘと出力値ｙとは、ウェイト
ベクトルｗを用いて、 ｙ＝ｓｇｍ（ｗ^T ｘ） （２８） という関係で結び付けられる。ただし、ｓｇｍ（・）は
シグモイド関数である。ニューロンの出力値は、ニュー
ロンに対応するパターン或いは概念の出現確率を表して
いる。

【０１０７】１２４は互いに競合するニューロンの集合
としてのニューロン群であり、１２５はニューロンｊと
ニューロンｋとを結ぶウエイトＷ_j,k である。ニューロ
ン群は形式的に階層構造をしており、更に各階層で複数
のブロックを形成している。（ｑ）層ｒブロックのニュ
ーロン群をΩ^(q):r 、（ｑ＋１）層ｖブロックのニュー
ロン群をΩ^(q+1):v と書く。パターンネット１２１に属
するニューロン群は、多重解像度空間の対応する座標に
於ける局所パターン空間を表現している。パターンネッ
ト１２１には、初期状態として量子化部２０６からのデ
ータが設定される。

【０１０８】上記構成のニューラルネット２０７の運動
は、次式で定義されるエネルギ関数に支配される。即
ち、各ブロックに属するニューロンの出力値をＶ_m ∈Ω
^(q):r，Ｖ_n ∈Ω^(q+1):v と書けば、以下のように定義
できる：

【０１０９】

【外７】

【０１１０】パターンネット１２１のウエイトは、学習
ベクトル量子化器に於けるウエイトと対応するので、学
習ベクトル量子化によるウエイトの値を利用することが
できるが、以下の方法でも獲得できる。

【０１１１】パターンネット１２１及び概念ネット１２
２のウエイトは以下のように獲得することができる。即
ち、式（２９）を学習ポテンシャル関数と見做すことに
よって、ウエイトの修正量は、

【０１１２】

【外８】 となる。

【０１１３】＜入力パラメータ制御部２０８＞実施形態
１で説明した相互情報量は、相互結合型ニューラルネッ
トに対応させて、以下のように算出する。

【０１１４】（ａ）相互結合型ニューラルネットの
（ｑ）層ｒブロックのニューロンの集合Ｖ_m ∈Ω^(q):r
と（ｑ＋１）層ｖブロックのニューロンの集合Ｖ_n ∈Ω
^(q+1):vとを結ぶコネクションの集合Ｗ_m ⁿに関するエン
トロピーε_(q):r ^(q+1):vを、

【０１１５】

【外９】 により計算する。ここで、

【０１１６】

【外１０】 は、学習モードで計算される値なので、入力パラメータ
算出過程では既知として扱ってよい。

【０１１７】（ｂ）相互結合型ニューラルネットの、
（ｑ）層ｒブロックのニューロンの集合Ｖ_m ∈Ω^(q):r
に対して、エントロピーε_(q):r を、

【０１１８】

【外１０】 により計算する。

【０１１９】（ｃ）ε_(q):r ^(q+1):vとε_(q):r より、以
下のように式（２５）と同様の値を得る。

【０１２０】 Ｔ（ε^(q),T+1,p(ω；Ａ_T ^(q+1)))＝−ε_(q):r ^(q+1):v＋ε_(q):r （３３）

【０１２１】〔実施形態３〕実施形態３では、本実施形
態の視覚情報処理装置の監視装置への応用例を示す。

【０１２２】図１３は、本実施形態の監視装置の構成例
を表すブロック図であり、レンズ系３０１，アレイセン
サ３０２，２次元フィルタ３０３は、実施形態１のレン
ズ系１，アレイセンサ２，２次元フィルタ３と同様であ
る。

【０１２３】＜特徴点検出部３０４＞特徴点検出部３０
４では、２次元フィルタ３０３による空間的配置に関す
る特徴点のみならず、画像データの時間的変化の極値も
特徴点として検出する。監視装置は、店内やオフィス内
等のように、通常動くものが殆ど存在しない場所に設置
される。異変が無ければ画像データは変化しないので、
変化する場所だけを詳しく観測すればよい。これによっ
て、監視情報の録画時間が大幅に長くできる。

【０１２４】このような意味から、画像データの時間変
化は重要な特徴である。運動する物体を捕捉するために
は、フィードバック制御の時間遅れをできるだけ小さく
したい。特徴点検出部３０４には、検出した特徴点位置
に光軸を向ける光軸制御量を計算し、入力パラメータ制
御部３０８に送る機能も有する。このような機能によっ
て、運動物体のセンサ上での像は静止画像として処理で
きる。

【０１２５】＜変換符号化部３０５＞捕捉した運動物体
に関する画像データを符号化する。この符号化データ
は、通信回線或いはバスライン等を通じて、外部記憶装
置３０９に記憶される。

【０１２６】＜量子化部３０６＞捕捉した物体の符号化
データは、即座に適当な符号語に割り当てられる。従っ
て、以後これらの物体が画像上に現れたときには、それ
らは位置と、対応する符号語とで表現される。

【０１２７】＜確率オートマトン３０７＞捕捉した物体
の符号化データは、即座に確率オートマトン３０７の状
態遷移確率行列に反映される。ある限定された周波数領
域の強度を知ることによって、その周波数強度関数を含
む物体を推定することができる。これによって、一度捕
捉した物体の位置は、光軸を合わせた高解像度のデータ
は必要なく広角レンズの任意の部分で観測すればよい。
即ち光軸を制御する必要がない。監視領域に複数の物体
が現れた場合でも、それらを１度だけ順々に観測すれば
良い。

【０１２８】＜入力パラメータ制御部３０８＞特徴点選
択の評価基準としては、特徴点における２次元フィルタ
出力値と、時間変化量、そして、相互情報量の線型結合
を採用する。

【０１２９】運動する物体に対しては、それが現れた時
刻に光軸中心で観測することとし、あとはその物体を光
軸中心で捕捉することはしないという基準を設ければ、
より効率的な監視装置が可能になる。

【０１３０】＜外部記憶部３０９＞各種データを記憶す
る。監視装置は、最初に正常な状態の画像データを記憶
する。以後は、時間的に変化した部分だけを記憶する。
記憶されるデータは、捕捉した物体の符号化データと捕
捉した時刻、それらの位置の時間変化（軌跡）である。
このような記憶形態によって、記憶するデータ量を大幅
に減少させられるため、長時間の録画が可能となる。

【０１３１】＜監視装置の動作例＞上記のように構成さ
れる監視装置の実際の動きを、図１４のフローチャート
に従って説明する。

【０１３２】まず、ステップＳ１１で、設置された場所
の初期画像を記憶部３０９に記憶する。

【０１３３】次に、ステップＳ１２で、式（２４）によ
って特徴点の評価を行う。式（２４）から明らかなよう
に、評価値が大きくなる特徴点とは、その近傍の画素値
の時間変化量が大きいか、得られる情報が大きいかであ
る。上記２つの項目の評価値が等しい特徴点が複数存在
した場合でも、それらのうち、光軸に最も近いものが選
ばれるように、式（２４）は定義されている。

【０１３４】ステップＳ１３では、特徴点のうち、評価
値があるしきい値αより大きいものが存在する場合は、
ステップＳ１６へ行く。

【０１３５】ステップＳ１４で、全ての特徴点の時間変
化量があるしきい値βより小さい場合には、ステップＳ
１２へ戻る。

【０１３６】ステップＳ１５では、特徴点のうち、時間
変化量があるしきい値βを越えるものは、その特徴点に
対応する符号語ベクトル（不完全でよい）をもとに、後
述の物体に関する完全な記述を用いてそこに存在する物
体を同定し、現在の時刻と特徴点の座標と物体に対応す
る符号語とを組にして、記憶部３０９に記憶し、ステッ
プＳ１２へ戻る。

【０１３７】ステップＳ１６では、選択された特徴点に
光軸を一致させる。

【０１３８】ステップＳ１７において、特徴点近傍に存
在する物体の完全な記述（符号語の組）を獲得し、適当
な番号を割当てる。物体に割り立てられた番号と、符号
語の組と、時刻と、特徴点座標とを組にして記憶部３０
９に記憶する。ステップＳ１２に戻る。

【０１３９】前記ステップＳ１５への移行は、特徴点付
近の測定データをもとに、それが高い信頼性をもって以
前に観測し詳細なデータを記憶したデータであると推定
できる場合に相当する。従って、本実施形態の監視装置
は、誰かが店内に入ってきた時だけ詳細な観測を行ない
（Ｓ１６，Ｓ１７）、それ以降はその人の位置情報のみ
を記憶するという処理を行う（Ｓ１５）。

【０１４０】このような監視装置を用いれば、動画像を
そのまま記憶するよりはるかに少ない容量の記憶装置
で、長時間の監視が可能となる。例えば１枚の画像が２
６０Ｋバイト（５１２×５１２画素で１画素が１バイ
ト）のとき、１０８，０００枚の画像列（３０枚／秒で
１時間）を記憶するためには、２８Ｇバイトが必要にな
る。本実施形態によれば、例えば運動物体（店内であれ
ば客）が常時１００個あったとして、それぞれの物体の
完全な記述に１画面分（２６０Ｋバイト）を要したとし
ても、１時間の記憶に必要な容量は、初期画像の記憶に
０． ２６Ｍバイト、物体の記述に２６Ｍバイト、物体
の軌跡に１． ７２８Ｍバイト（ただし特徴点の位置を
倍精度の２次元座標で記述して）の和、即ち２８Ｍバイ
トで済む。実際には、店内に常時１００人もいるような
状況は考えにくいし、物体の記述で使う容量も画像全体
を記憶する容量よりは小さい。例えば店内にいる物体が
１０個に減っただけでも、１時間の記憶に要する容量は
３Ｍバイトまで激減する。

【０１４１】〔実施形態４〕実施形態４では、実施形態
１の量子化部６を学習局所ベクトル量子化器で、確率オ
ートマトン７を対称結合型ニューラルネット群で、それ
ぞれ実現するとともに、外部から信号を入力する信号入
力部と、外部へ信号を出力する信号出力部とを設けた例
を示す。これによって、入力パラメータ制御部における
処理も変わる。

【０１４２】図１５は、本実施形態の視覚情報処理装置
の構成例を表すブロック図であり、画像入力部４０１
は、実施形態１のレンズ系１及びアレイセンサ２と同様
のレンズ系及びアレイセンサを備えている。２次元フィ
ルタ４０３，特徴点検出部４０４，変換符号化部４０５
は、それぞれ、実施形態１の２次元フィルタ３，特徴点
検出部４，変換符号化部５と同様である。

【０１４３】＜量子化部４０６＞図１６に、量子化部４
０６となる学習局所ベクトル量子化器（ＬＬＶＱ）の構
成を示す。ＬＬＶＱには、代表ベクトルを獲得するため
の学習モードと、入力信号を符号化するための実行モー
ドとがある。学習モードでの代表ベクトルの獲得には、
相関行列を用いる方法と、Kohonen によって提案されて
いる学習ベクトル量子化器を用いる方法がある。以下で
は、Kohonen の学習ベクトル量子化器によって、深さｍ
の量子化器を構成する方法を説明する。

【０１４４】（ａ）ウェイト記憶部１６２は予め定めら
れた個数だけ用意されており、あるカテゴリｎに属する
代表ベクトルＷ_n を記憶する。図１６は、代表ベクトル
が２個の場合を示している。

【０１４５】（ｂ）ウェイト更新部１６３は、ウェイト
記憶部１６２毎に設けられており、２値化部１６４から
送信される信号が１の時に限り、ウェイト記憶部１６２
に記憶されたウェイトの値を次式(34)に従って更新す
る。

【０１４６】 Ｗ_n ^m←Ｗ_n ^m＋η_W(Ｗ_n ^m−Ｘ^m) （３４）

【０１４７】（ｃ）内積計算部１６１は、入力信号Ｘと
Ｗ_ｎ との内積を計算して２値化部１６４に送信する。

【０１４８】（ｄ）２値化部１６４は、複数の内積計算
部１６１の出力信号を受け取り、それらの内で最大値を
取る出力値を１に、他を０に変換する。変換された信号
（２値信号）は、それぞれ対応するウェイト記憶更新部
１６３に送信される。また、これらの２値信号の組が対
称結合型ニューラルネット群４０６に送信される。

【０１４９】このようにして、与えられた画像は、特徴
点の位置座標と局所パターンの符号語との組として符号
化される。しかし、このような符号化は、空間的に隣接
する局所パターン間に強い相関が存在するという意味で
かなりの冗長性を含んでいる。量子化部４０５の代表ベ
クトルには、このような冗長性が含まれていないことが
望ましい。これら冗長性は、それぞれの代表ベクトル間
の同時出現確率を用いて削減することができる。

【０１５０】＜対称結合型ニューラルネット群４０６＞
図１７に対称結合型ニューラルネット群４０６の構成を
示す。対称結合型ニューラルネット群４０６は、互いに
信号を送信し合う複数の対称結合型ニューラルネットに
より構成され、各対称結合型ニューラルネットは、他の
対称結合型ニューラルネット、量子化部４０５、あるい
は信号入力部４０８から信号を受け取り、他の対称結合
型ニューラルネット、入力パラメータ制御部４０７、あ
るいは信号出力部４０９へ入力信号の処理結果を出力す
る。

【０１５１】図１８に１つの対称結合型ニューラルネッ
トの構成を示す。図１８中、対象結合型ニューラルネッ
ト状態更新部１７１は、多入力１出力で非線形入出力関
数としてシグモイド関数を持つニューロンが、ウェイト
を介して互いに対象に結合している。ニューロンは少な
くとも２つのブロックを形成しており、そのうちの１つ
は出力ブロック、残りはすべて入力ブロックである。出
力ブロックのニューロンの出力値の組は出力信号（ベク
トル）となり、入力ブロックに属するニューロンは、他
の対称結合型ニューラルネット、量子化部４０５、ある
いは信号入力部４０８から信号を受け取る。

【０１５２】上記構成のニューラルネット２０７の運動
は、次式で定義されるエネルギ関数に支配される。即
ち、各出力ブロックに属するニューロンの出力値をＶ
_n 、任意の１つの入力ブロックに属するニューロンの出
力値をＶ_m 、入力値をＩ_m 、これらのニューロン間のウ
ェイトをＷ_m,n と書けば、これらに対するエネルギー関
数Ｈを次式(35)のように定義できる：

【０１５３】

【外１２】

【０１５４】ウエイト更新部１７２は、例えば、次式(3
0)のウエイト更新規則に基づいて、ニューラルネットの
ウェイトを更新する。

【０１５５】

【外１３】 ウェイト記憶部１７３は、ウエイト更新部１７２で更新
されたウェイトを記憶する。

【０１５６】第１情報量計算部１７４は、出力ブロック
に属するニューロンの出力値Ｖ_n に基づく第１情報量ε
₁ を以下のように計算する。

【０１５７】

【外１４】 第２情報量計算部１７５は、出力ブロックに属するニュ
ーロンの出力値Ｖ_n 、入力ブロックに属するニューロン
の出力値Ｖ_m 、これらのニューロン間のウェイトをＷ
_m,n に基づく第２情報量ε₂ を以下のように計算する。

【０１５８】

【外１５】 ここで、

【０１５９】

【外１６】 は学習モードで計算される値なので、入力パラメータ算
出過程では、既知の値として扱ってよい。

【０１６０】第３情報量計算部１７６は、第１情報量ε
₁ 及び第２情報量ε₂ から第３情報量Ｔを以下のように
計算する。

【０１６１】 Ｔ＝−ε₂ ＋ε₁ (39)

【０１６２】＜入力パラメータ制御部４０７＞入力パラ
メータ制御部４０７は、特徴点検出部４０３からの特徴
点の座標及び対称結合型ニューラルネット群４０６の状
態値に基づいて、画像入力部４０１に対して、レンズの
光軸方向やズーミング等のための入力パラメータ制御信
号を出力する。

【０１６３】例えば、光軸方向の制御は、特徴点検出部
４０３で検出された特徴点の集合のうちのどの特徴点を
選択するかで決まる。この選択基準を、例えば次式(40)
で定義する。

【０１６４】 Ｌ_j ＝Ｌ（ω_j,Ｔ_j,ρ_j) (40) ここで、ω_j はｊ番目の特徴点近傍における正規化され
た２次元フィルタの出力値、Ｔ_j はｊ番目の特徴点近傍
の第３情報量、ρ_j は現在の光軸からｊ番目の特徴点ま
での距離である。

【０１６５】また、信号入力部４０８は、他の装置など
からの入力信号、例えば人間によるキーボードからの知
識データや他のセンサ信号等を入力する。信号出力部４
０９は、対称結合型ニューラルネット群４０６の出力信
号を、視覚情報処理装置の入力パラメータ制御部４０７
以外の他のユニット、あるいは他の装置に出力する。

【０１６６】このように、更に他の装置と組み合わせる
ことによって、上記本実施形態の視覚情報処理装置は、
種々の特徴ある使用が可能である。

【０１６７】例えば、無線信号装置や有線信号装置と組
み合わせて、人間の顔を観測しているときに、有線信号
あるいは無線信号によってその人の名前を入力すれば、
顔の画像データと名前とを関連付けて記憶することがで
きる。これは、画像にタグをつけるという意味では、人
間の顔に限らない。さらに、音声信号入力装置と組み合
わせて、音声信号と関連づけることによって、画像の認
識精度が向上する。

【０１６８】音声信号入力装置や音声信号処理装置は、
特に人間の音声に限るものではなく超音波であっても構
わない。この場合には、超音波センサによって周囲の物
体までの距離情報が得られるので、視覚情報と距離情報
とを用いて自律走行ロボットを構成することができる。

【０１６９】無線信号装置や無線信号処理装置は、複数
の自律走行ロボット、あるいは複数の監視装置間の通信
に利用することができる。例えば、建物の内部が１台の
監視装置では監視できないような場合を考える。監視装
置ｊが移動物体を検出し、その詳細な観測を行ったとす
る。この移動物体が、監視装置ｊの観測可能領域を出て
今まさに監視装置ｋの観測可能領域に進入しようとして
いる時、監視装置ｊが監視装置ｋに、“今、監視装置ｊ
の観測可能領域から監視装置ｋの観測可能領域に進入し
た移動物体の詳細なデータは、監視装置ｊが獲得してい
る”という情報を監視装置ｋに送信すれば、監視装置ｋ
では、この移動物体の詳細な観測を行わなくて済む。こ
れは、記憶データ量及び監視装置の仕事量の軽減に有効
である。

【０１７０】更に、例えば工場内で部品などを運搬する
走行ロボットと組み合わせれば、環境に柔軟に対応する
走行ロボットが実現できる。又、音声信号出力装置との
組み合わせもできる。

【０１７１】以上説明した実施形態によれば、高速に最
適な視覚情報を獲得できる画像情報処理方法及びその装
置、並びにその制御方法を提供でき、その装置を有効に
適用した各種装置をも提供できる。

【０１７２】更に詳細には、 １．何らかの原因で、引き続く画像入力が困難になった
場合でも、もっとも出現確率の高い結果を得ることがで
きる。更にこれらを並列処理で行なうことができるた
め、処理時間が大幅に短縮できる。更に、相互結合型ニ
ューラルネットワークによって実現しているため、状態
遷移規則が単純になり、処理時間の更なる向上が見込め
る。

【０１７３】２．画像の特徴点集合は有限個の点の集合
であることが望ましい。しかし、従来の技術で特徴量と
して広く用いられているエッジは連続的であり、これを
もとに有限個の点集合を得るためには、何らかの後処
理、例えばエッジの強度に対する２値化処理が必要とな
る。本発明によれば、孤立点として特異点を得ることが
できる。また、変換符号化部と量子化部と知識獲得部と
によって、センサ入力と知識データとを統一的に取り扱
うことができ、これによって、複雑な視覚パターンで構
成される環境の認識に応用することができる。

【０１７４】３．２次元フィルタとしてＬａｐｌａｃｉ
ａｎ−Ｇｕｓｓｉａｎ フィルタを用いることによっ
て、環境の視覚情報を、多重解像度空間の部分領域上の
変換が近似的に実現できる。光軸の方向を適当に制御す
れば、画像、或いは環境の部分領域に対する多重解像度
空間での記述を近似的に得ることができる。２次元フィ
ルタとして単なる平均化処理を用いれば、画像或いは環
境の部分領域に対する多重解像度近似での記述を得るこ
とができる。このように、２次元フィルタの核として多
重解像度空間で用いられるものを利用すれば、それに対
応した多重解像空間が得られる。これは、環境の視覚情
報が多重解像度空間の部分領域を覆うような場合に、有
効なセンシング方法である。

【０１７５】４．フィードフォワード型ニューラルネッ
トによって、相互結合型ニューラルネットより高速なフ
ィードフォワード制御が可能となる。

【０１７６】５．特徴量空間として多重解像度空間を採
用し、そこでの局所パターンに着目することによって、
環境内に存在する物体の特定の運動に対する不変量を得
ることができる。例えば、光軸に沿う運動は、物体の特
徴量をスケール軸に沿って平行移動させるだけである。

【０１７７】６．音声信号入力装置と音声信号処理装置
と組み合せることによって、音声による人間からのコマ
ンドの送信、或いは音による障害物の同定等が可能にな
り、無線信号通信装置と無線信号処理装置、或いは有線
信号通信装置と有線信号処理装置と組み合せることによ
って、他のコンピュータとのコマンドの送受信、或いは
他の視覚情報処理装置との情報の送受信が可能となり、
知識獲得部によって、該音声信号，該無線信号及び該有
線信号をもとに入力パラメータ制御を行うことができ、
単一の信号だけでは認識できなかった物体が認識できる
ようになる。また、他の視覚情報処理装置の知識データ
を受信することによって、学習モードに要する時間を短
縮することができる。

【０１７８】７．作業用工具と該作業用工具制御装置と
組み合せることによって、外界の状態に適応した作業を
行うことができ、作業の遂行の仕方が環境に大きく依存
するような場合に有効に動作する自律作業ロボットによ
る共同作業が可能となる。

【０１７９】８．音声信号出力装置と組み合せることに
よって、周囲の人間に自分の状態を知らせることがで
き、人間との共同作業にも対応するような自律作業ロボ
ットを構成できる。

【０１８０】以上説明した本発明は、複数の機器から構
成されるシステムに適用しても、システム内の特定の機
器に適用しても良い。また、本発明は、この機器がプロ
グラムを実行することによって達成される場合に適用で
き、このプログラムは外部の記憶媒体から供給してもよ
く、このプログラムを記憶する記憶媒体も、本発明の範
囲にある。

【０１８１】

【発明の効果】以上説明したように、本発明によれば、
高速に最適な視覚情報を獲得できる画像情報処理方法及
びその装置、並びにその制御方法を提供できる。

【図面の簡単な説明】

【図１】実施形態１の視覚情報処理装置のブロック構成
を示す図である。

【図２】広角レンズによる座標変換を説明するための図
である。

【図３】広角レンズの周波数特性を説明するための図で
ある。

【図４】センサの検出する空間周波数を説明するための
図である。

【図５】多重解像度空間上の局所パターンの例を説明す
るための図である。

【図６】実施形態１で使用される量子化部の構成例を説
明する図である。

【図７】実施形態１の確率オートマトンの例を説明する
図である。

【図８】具体例で使用される階層表現の例を示す図であ
る。

【図９】具体例で使用される視覚環境の例を示す図であ
る。

【図１０】実施形態２の視覚情報処理装置の構成例を示
すブロック図である。

【図１１】実施形態２の量子化部の構成例を説明する図
である。

【図１２】相互結合型ニューラルネットワークの例を説
明する図である。

【図１３】実施形態３の監視装置の構成例を示すブロッ
ク図である。

【図１４】実施形態３の監視装置の動作例を示すフロー
チャートである。

【図１５】実施形態４の視覚情報処理装置の構成例を示
すブロック図である。

【図１６】実施形態４の量子化部の構成例を説明する図
である。

【図１７】対称結合型ニューラルネットワーク群の構成
例を示す図である。

【図１８】対称結合型ニューラルネットワークの構成例
を示す図である。

【符号の説明】

１、２０１、３０１ レンズ系 ２、２０２、３０２ アレイセンサ ３、２０３、３０３、４０２ ２次元フィルタ ４、２０４、３０４、４０３ 特徴点検出部 ５、２０５、３０５、４０４ 変換符号化部 ６、２０６、３０６ 量子化部 ７、３０７ 確率オートマトン ８、２０８、３０８、４０７ 入力パラメータ制御部 １０ 光軸 ６１、６２、６３ 量子化器 ６４ コードブック ７１ パターンオートマトン ７２ シンボルオートマトン ７３ セル １２１ パターンネットワーク １２２ 概念ネット １２３ ニューロン １２４ ニューロン群 １２５ ウェイト １６１ 内積計算部 １６２、１７３ ウェイト記憶部 １６３、１７２ ウェイト更新部 １６４ ２値化部 １７１ 対称結合型ニューラルネット更新部 １７４ 第１情報量計算部 １７５ 第２情報量計算部 １７６ 第３情報量計算部 ２０７ 相互結合型ニューラルネット ３０９ 記憶部 ４０１ 画像入力部 ４０６ 対称結合型ニューラルネット群 ４０８ 信号入力部

Claims (50)

【特許請求の範囲】
1. 【請求項１】 画像情報処理装置の画像入力部より画像
   を光学的に入力し、 入力された画像より特徴点を検出し、 検出された特徴点の位置に基づいて視覚情報量を算出
   し、 前記視覚情報量が増大するように、前記画像入力部を制
   御することを特徴とする画像情報処理装置の制御方法。
2. 【請求項２】 前記特徴点近傍の画像情報を抽出し、前
   記視覚情報量を、前記特徴点の位置と抽出された前記特
   徴点近傍の画像情報とに基づいて算出することを特徴と
   する請求項１に記載の制御方法。
3. 【請求項３】 前記画像入力部を制御するために、画像
   入力部の光軸を移動する特徴とする請求項１に記載の制
   御方法。
4. 【請求項４】 前記特徴点の位置と、前記特徴点近傍の
   画像情報と、前記特徴点と光軸との距離とに基づいて視
   覚情報量を算出する特徴とする請求項３に記載の制御方
   法。
5. 【請求項５】 前記画像入力部を制御するために、画像
   入力部のズームを行なう特徴とする請求項１に記載の制
   御方法。
6. 【請求項６】 前記視覚情報量は、複数のセルを含む確
   率オートマンにおいて、異なるセル間の相互情報量に基
   づいて算出される特徴とする請求項１に記載の制御方
   法。
7. 【請求項７】 前記視覚情報量は、相互結合型ニューラ
   ルネットワークにおいて、エントロピーに基づいて算出
   される特徴とする請求項１に記載の制御方法。
8. 【請求項８】 前記特徴点近傍の画像情報として、多重
   解像度空間における特徴点に対する所定深さまでの近傍
   の画像情報を抽出する特徴とする請求項２に記載の制御
   方法。
9. 【請求項９】 前記所定深さまでの近傍の画像情報を抽
   出するステップは、入力された画像を離散化するステッ
   プと、離散化された２次元画像にマスクを施すステップ
   とを含む特徴とする請求項８に記載の制御方法。
10. 【請求項１０】 前記画像を入力するステップは、広角
    レンズを用いて、入力された画像を該広角レンズと垂直
    な方向について座標変換するステップを含む特徴とする
    請求項１に記載の制御方法。
11. 【請求項１１】 前記特徴点を検出するステップは、入
    力画像を表す関数からベクトル場を生成するステップ
    と、該ベクトル場を複素関数で表現し、偏角の原理を用
    いて、特異点として特徴点を検出するステップを備える
    特徴とする請求項１に記載の制御方法。
12. 【請求項１２】 前記視覚情報量を、互いに信号を送受
    信する複数の対称結合型ニューラルネットワークにより
    算出する特徴とする請求項１に記載の制御方法。
13. 【請求項１３】 前記対称結合型ニューラルネットワー
    クは、１つの出力用ニューロンブロックと、少なくとも
    １つの入力用ニューロンブロックとを含み、前記視覚情
    報量を算出するステップは、 出力用ニューロンブロックの出力値に基づいて第１の情
    報量を算出するステップと、 入力用ニューロンブロックの出力値と、入力用ニューロ
    ンブロックと出力用ニューロンブロックとの結合のウェ
    イトとに基づいて第２の情報量を算出するステップと、 前記第１の情報量と第２の情報量とに基づいて前記視覚
    情報量を算出するステップとを含む特徴とする請求項１
    ２に記載の制御方法。
14. 【請求項１４】 入力画像を監視し、 入力画像内の各特徴点の評価値を算出し、 算出された評価値が所定値を越える特徴点を検出し、 光軸の方向を検出された特徴点に向けて移動し、 該検出された特徴点近傍の画像データを獲得し、 該獲得された画像データに識別子を割り当てて、検出さ
    れた特徴点の位置と、特徴点近傍の画像データと、検出
    された時刻と、割り当てられた識別子とを組として記憶
    する特徴とする画像情報処理方法。
15. 【請求項１５】 算出された評価値が第２の所定値を越
    える特徴点を検出し、 該検出された特徴点の位置から、該特徴点近傍の画像デ
    ータに割り当てられた識別子を同定し、 検出された特徴点の位置と、検出された時刻と、同定さ
    れた識別子とを組として記憶することを特徴とする請求
    項１４に記載の画像情報処理方法。
16. 【請求項１６】 前記評価値を、特徴点の位置と特徴点
    近傍の画像データとに基づいて算出することを特徴とす
    る請求項１４に記載の画像情報処理方法。
17. 【請求項１７】 前記特徴点を検出するステップにおい
    て検出された特徴点が複数ある場合には、前記光軸の方
    向を移動するステップにおいては、現在の光軸に最も近
    い特徴点に向けて光軸を移動することを特徴とする請求
    項１４に記載の画像情報処理方法。
18. 【請求項１８】 前記評価値を算出するステップにおい
    て、前記評価値を、特徴点の位置と、特徴点近傍の画像
    情報と、特徴点の位置と光軸との距離とに基づいて算出
    することを特徴とする請求項１４に記載の画像情報処理
    方法。
19. 【請求項１９】 画像を光学的に入力する画像入力手段
    と、 前記画像入力手段から入力された画像より特徴点を検出
    する検出手段と、 前記検出手段により検出された特徴点の位置に基づいて
    視覚情報量を算出する算出手段と、 前記算出手段により算出された視覚情報量が増大するよ
    うに、前記画像入力手段を制御する制御手段とを具えた
    ことを特徴とする画像情報処理装置。
20. 【請求項２０】 前記特徴点近傍の画像情報を抽出する
    抽出手段を備え、前記算出手段は、前記特徴点の位置と
    前記特徴点近傍の画像情報とに基づいて視覚情報量を算
    出することを特徴とする請求項１９に記載の画像情報処
    理装置。
21. 【請求項２１】 前記制御手段は、前記画像入力手段の
    光軸を移動することを特徴とする請求項１９に記載の画
    像情報処理装置。
22. 【請求項２２】 前記算出手段は、前記特徴点の位置
    と、前記特徴点近傍の画像情報と、前記特徴点と光軸と
    の距離とに基づいて視覚情報量を算出することを特徴と
    する請求項２１に記載の画像情報処理装置。
23. 【請求項２３】 前記制御手段は、前記画像入力手段の
    ズームを行なうことを特徴とする請求項１９に記載の画
    像情報処理装置。
24. 【請求項２４】 前記算出手段は、複数のセルを含む確
    率オートマンを備え、異なるセル間の相互情報量に基づ
    いて前記視覚情報量を算出することを特徴とする請求項
    １９に記載の画像情報処理装置。
25. 【請求項２５】 前記算出手段は、相互結合型ニューラ
    ルネットワークを備え、ネットワークのエントロピーに
    基づいて、前記視覚情報量を算出することを特徴とする
    請求項１９に記載の画像情報処理装置。
26. 【請求項２６】 前記抽出手段は、特徴点近傍の画像デ
    ータとして、多重解像度空間における特徴点に対する所
    定深さまでの近傍の画像データを抽出することを特徴と
    する請求項１９に記載の画像情報処理装置。
27. 【請求項２７】 前記抽出手段は、入力された画像を離
    散化する離散化手段と、離散化された２次元画像にマス
    クを施すフィルタとを含むことを特徴とする請求項２６
    に記載の画像情報処理装置。
28. 【請求項２８】 前記入力手段は、広角レンズを有し、
    入力された画像を該広角レンズと垂直な方向について座
    標変換することを特徴とする請求項１９に記載の画像情
    報処理装置。
29. 【請求項２９】 前記検出手段は、入力画像を表す関数
    からベクトル場を生成する生成手段と、該ベクトル場を
    複素関数で表現し、偏角の原理を用いて、特異点として
    特徴点を検出する特異点検出手段とを備えることを特徴
    とする請求項１９に記載の画像情報処理装置。
30. 【請求項３０】 前記算出手段は、互いに信号を送受信
    する複数の対称結合型ニューラルネットワークを備える
    ことを特徴とする請求項１９に記載の画像情報処理装
    置。
31. 【請求項３１】 前記対称結合型ニューラルネットワー
    クは、１つの出力用ニューロンブロックと、少なくとも
    １つの入力用ニューロンブロックとを含み、前記算出手
    段は、 出力用ニューロンブロックの出力値に基づいて第１の情
    報量を算出する第１算出手段と、 入力用ニューロンブロックの出力値と、入力用ニューロ
    ンブロックと出力用ニューロンブロックとの結合のウェ
    イトとに基づいて第２の情報量を算出する第２算出手段
    と、 前記第１の情報量と第２の情報量とに基づいて前記視覚
    情報量を算出する第３算出手段とを含むことを特徴とす
    る請求項３１に記載の画像情報処理装置。
32. 【請求項３２】 入力画像を監視する監視手段と、 前記監視手段により監視されている入力画像内の各特徴
    点の評価値を算出する算出手段と、 算出された評価値が所定値を越える特徴点を検出する検
    出手段と、 光軸の方向を検出された特徴点に向けて移動する移動手
    段と、 前記検出手段により検出された特徴点近傍の画像データ
    を獲得する獲得手段と、 該獲得された画像データに識別子を割り当てて、検出さ
    れた特徴点の位置と、特徴点近傍の画像データと、検出
    された時刻と、割り当てられた識別子とを組として記憶
    する記憶手段ことを特徴とする画像情報処理装置。
33. 【請求項３３】 前記算出手段により算出された評価値
    が第２の所定値を越える特徴点を検出する第２検出手段
    と、 該第２検出手段により検出された特徴点の位置から、該
    特徴点近傍の画像データに割り当てられた識別子を同定
    する同定手段と、 検出された特徴点の位置と、検出された時刻と、同定さ
    れた識別子とを組として記憶する第２記憶手段ことを特
    徴とする請求項３２に記載の画像情報処理装置。
34. 【請求項３４】 前記算出手段は、前記評価値を、特徴
    点の位置と特徴点近傍の画像データとに基づいて算出す
    ることを特徴とする請求項３２に記載の画像情報処理装
    置。
35. 【請求項３５】 前記検出手段により検出された特徴点
    が複数ある場合には、前記移動する手段は、現在の光軸
    に最も近い特徴点に向けて光軸を移動することを特徴と
    する請求項３２に記載の画像情報処理装置。
36. 【請求項３６】 前記算出手段は、前記評価値を、特徴
    点の位置と、特徴点近傍の画像データと、特徴点の位置
    と光軸との距離とに基づいて算出することを特徴とする
    請求項３２に記載の画像情報処理装置。
37. 【請求項３７】 入力パラメータにより制御され、画像
    を入力する画像入力手段と、 入力された画像を離散化し、多重解像度空間に写像する
    写像手段と、 入力された画像から特徴点を検出する特徴点検出手段
    と、 写像された画像を、検出された特徴点に関する局所パタ
    ーンに変換する変換符号化手段と、 変換された局所パターンを量子化する量子化手段と、 前記量子化手段により量子化されたデータから、これら
    データ間の時間的空間的相関関係を求める知識獲得手段
    と、 前記量子化データ及び前記相関関係に基づいて前記入力
    パラメータを修正する入力パラメータ制御手段ことを特
    徴とする画像情報処理装置。
38. 【請求項３８】 前記知識獲得手段は、更に、外部から
    の知識データを用いることを特徴とする請求項３７に記
    載の画像情報処理装置。
39. 【請求項３９】 前記知識獲得手段は、前記量子化手段
    により量子化されたデータが入力されるセルを有する確
    率オートマトンを備え、前記相関関係を前記確率オート
    マトンのセルの状態値として記憶することを特徴とする
    請求項３７に記載の画像情報処理装置。
40. 【請求項４０】 前記入力パラメータ制御手段は、特徴
    点の画像データと、特徴点に関するセルの状態値と、特
    徴点と光軸との距離とに基づいて、前記入力パラメータ
    の修正量を算出することを特徴とする請求項３９に記載
    の画像情報処理装置。
41. 【請求項４１】 前記確率オートマトンを、相互結合型
    ニューラルネットワークを用いて構成したことを特徴と
    する請求項３９に記載の画像情報処理装置。
42. 【請求項４２】 前記特徴点検出手段が、入力信号のベ
    クトル場を生成するベクトル場生成手段と、該ベクトル
    場から偏角の原理を用いて特異点を検出する特異点検出
    手段とを備えることを特徴とする請求項３９に記載の画
    像情報処理装置。
43. 【請求項４３】 前記画像入力手段は、広角レンズ或い
    は魚眼レンズと、該レンズを通した像を離散２次元画像
    とするアレイセンサと該離散２次元画像にマスクを施す
    ２次元フィルタとを備えることを特徴とする請求項３７
    に記載の画像情報処理装置。
44. 【請求項４４】 前記変換符号化手段は、検出された特
    徴点近傍の異なるスケールの局所パターンを抽出する局
    所パターン抽出手段を備え、 前記量子化手段は、各スケールの局所パターンに対して
    それぞれベクトル量子化を行って、各スケールの代表局
    所パターンベクトルによって構成される各スケールのコ
    ードブックを作成するコードブック作成手段と、該コー
    ドブック群に基づいて、入力信号を特徴点位置とそれに
    対応する代表局所パターンベクトル番号とで符号化する
    符号化手段とを備えることを特徴とする請求項３７に記
    載の画像情報処理装置。
45. 【請求項４５】 前記ニューラルネットワークは、量子
    化データを入力信号とし、入力パラメータの修正量を出
    力とすることを特徴とする請求項４１に記載の画像情報
    処理装置。
46. 【請求項４６】 前記知識獲得手段は、音声信号入力手
    段と、外部からの知識データとして入力された音声信号
    の時間的相関関係を計算する手段とを備えることを特徴
    とする請求項３８に記載の画像情報処理装置。
47. 【請求項４７】 前記知識獲得手段は、無線信号受信手
    段と、外部からの知識データとして受信された無線信号
    の時間的相関関係を計算する手段とを備えることを特徴
    とする請求項３８に記載の画像情報処理装置。
48. 【請求項４８】 前記知識獲得手段は、有線信号受信手
    段と、外部からの知識データとして受信された有線信号
    の時間的相関関係を計算する手段とを備えることを特徴
    とする請求項３８に記載の画像情報処理装置。
49. 【請求項４９】 作業を実行する工具手段と、 前記量子化データ及び前記相関関係に基づいて前記工具
    手段を制御する工具制御手段ことを特徴とする請求項３
    ７に記載の画像情報処理装置。
50. 【請求項５０】 音声信号を出力する音声出力手段と、 前記量子化データ及び前記相関関係に基づいて前記音声
    出力手段を制御する音声出力制御手段ことを特徴とする
    請求項３７に記載の画像情報処理装置。