JPH0877358A - 画像情報処理装置 - Google Patents

Abstract

(57)【要約】 【目的】 本発明は画像の局所的特徴量に従って視点位
置をあらゆる方向に自由に動かすことで、効率的な動物
体の検出、追跡や探索を実現する。 【構成】 画像中の視点位置を中心として画像を放射状
の部分領域に分割し、部分領域ごとに画像処理を行い、
最終的に各々の部分領域で数種類の画像特徴を表す数値
を求め、全ての部分領域から得られる数値を同じ種類の
数値ごとに比較することにより、視点位置の移動方向と
移動量を画像に合わせて適応的かつ最適に導出する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は画像中の視点位置を局所
的画像特徴量を用いて動かすことにより、画像中の物体
検出や追跡を行なう画像情報処理装置に関する。

【０００２】

【従来の技術】従来、部分領域に分けて画像情報処理を
行う方法としては、画像の帯域圧縮の国際標準化方式で
あるJPEGやMPEGに代表されるDCT(Discrete Cosine Tran
sform)方式による画像帯域圧縮方式が有名である。DCT
方式では画像をブロックに分割し、ブロックごとにDCT
係数を求め符号化することで、高い圧縮率を実現する方
法である。しかし、この画像処理方式は単純に画像を正
方形または長方形のブロックに分割するだけであり、視
点と言う概念が本来的に乏しく、動物体の検出、追跡や
画像の中から何かを効率的に探索する処理に向く様には
作られていない。また、空間周波数領域を零周波数を中
心にして放射状の部分領域に分割することにより、画像
信号の中から特定方向の信号成分を取り出す方向依存特
性フィルタ処理もある。このフィルタ処理方式では、部
分領域に分割された空間周波数領域のエネルギー成分が
実際の画像空間では画像全体に広がってしまう為に、DC
T 方式と同様に視点位置を明確に考慮した画像処理方式
にはなり得ない。従って、この方式も動物体の検出、追
跡や画像の中から何かを効率的に探索する処理には向か
ない。

【０００３】一方、画像中のエッジや欠陥部や目標物の
探索に関する従来の方法は、画像を上から下へ順々に走
査することにより探索する手法が一般的である。別の見
方をすると、この方法は視点位置を上から下へ順々に移
動させる探索法と言える。例えば、エッジを検出しよう
とする場合、画像上部から１走査線ごとに走査、即ち視
点を決まった手順で移動させながら空間的微分係数が大
きくなる位置を検出することになる。走査に基づく探索
法は非常に簡単であるが、上下左右を斜め方向に自由に
かつ発見的（heuristic)に動かせる眼球運動を利用した
人間の探索法と比較すると探索効率は非常に悪い。

【０００４】

【発明が解決しようとする課題】以上述べた様に従来の
画像処理方式では、視点位置の概念が不明確であるた
め、画像中の物体の検出や追跡を効率良く行なえないと
いう欠点が有った。そこで本発明の目的は、画像上で視
点位置を明確化して自在に動かすことで物体の検出や追
跡を効率良く行なえる画像情報処理装置を提供すること
にある。

【０００５】

【課題を解決するための手段】第１の発明は、画像上に
視点位置を設定する視点位置設定手段と、この視点位置
設定手段より設定された視点を中心として前記画像を放
射状の部分領域に分割し、この部分領域毎に画像処理を
行なって特徴量を算出する画像処理手段と、この画像処
理手段より算出された部分領域毎の特徴量を比較するこ
とにより前記画像中での前記視点位置の移動方向及び移
動量を計算する計算手段とを備えたことを特徴とするも
のである。

【０００６】第２の発明は、画像上に視点位置を設定す
る視点位置設定手段と、この視点位置設定手段より設定
された視点を中心として前記画像を放射状の偶数個の部
分領域に分割し、前記視点位置に対して点対称の位置に
ある２個の部分領域を１対として、この部分領域対毎に
画像処理を行なって特徴量を算出する画像処理手段と、
この画像処理手段より算出された部分領域対毎の特徴量
を比較することにより前記画像中での前記視点位置の移
動方向及び移動量を計算する計算手段とを備えたことを
特徴とするものである。

【０００７】

【作用】本発明では、画像に対し視点位置を中心とする
放射状の部分領域に分割して画像処理を行い、最終的に
求める数種類の数値は、視点位置からこの部分領域の画
像を見た場合の画像特徴あるいは画像から受ける印象の
強さを表現する数値になっているので、全ての部分領域
から得られた数値を同じ種類の数値ごとに比較すれば、
視点位置の動く方向と移動量が画像の性質に依存して最
適に決定することができる。従ってこの操作を繰り返せ
ば、動物体の検出、追跡や画像全体を効率的に探索する
ことが可能になる。

【０００８】

【実施例】図１は第１の発明の基本的なブロック図であ
り、画像中に視点位置を設定する視点位置設定部11と部
分領域ごとの画像処理を行う画像処理部12と各々の部分
領域ごとに出力される数値の大小関係を比較処理する比
較処理部13と比較結果に基づいて視点位置の移動方向と
移動量を計算する計算部14から成り、計算された視点の
移動方向と移動量に基づいて新しい視点位置を設定し直
す処理に戻り、以後この手続きを繰り返しながら視点位
置を発見的（heuristic)に移動させて行くことになる。
図２は部分領域に分割する方法を示した図であり、例と
して設定された視点位置を中心にして８つの放射状部分
領域に分割することを説明している。一般的には任意の
数で分割して良いが、部分領域の大きさ（視点位置から
測った角度）は同じにするほうが良い。この放射状部分
領域ごとに画像処理を行うわけであるが、視点位置から
各々の部分領域を見た時に、各々の部分領域の画像の特
徴あるいは印象の強さなどを最終的に数種類の数値で表
現できる様な画像処理である必要がある。例えば、各々
の部分領域方向に於ける画像信号電力やエッジポイント
の数などいろいろの数値が考えられるが、以下では視覚
系の画像処理過程を真似た処理である視覚モデルの評価
関数値を数値として用いる方法について説明する。視覚
モデルに関しては特開平 02-018680や論文「視覚系のモ
デル化と画像観測状態の推定」（松井利一：電子情報通
信学会論文誌，Vol.J71-D,No.12,pp.2669-2676,1988.）
に詳しく述べられている。しかし、この視覚モデルには
部分領域に分割する概念が入っておらず、このまま利用
することはできないので、部分領域対ごとに計算する形
に改良しなければならない。以下述べる視覚モデルは従
来の視覚モデルを部分領域対ごとに計算できる様に改良
した新しい視覚モデルである。

【０００９】視覚モデルを用いる場合は、図１に於いて
部分領域ごとの画像処理を行う画像処理部12を視覚モデ
ルでそのまま置き換えれば良い。但し、視覚モデルを用
いる場合は、視点位置を中心として点対称の位置にある
２つの部分領域を１つの部分領域対として、この部分領
域対ごとに画像処理を行う方が良いので、2N個の部分領
域に分割した場合にはＮ個の部分領域対に分割されるこ
とになる。図３は図１に於ける部分領域ごとの画像処理
部12を視覚モデルを用いて構成した場合の第２の発明の
ブロック図であり、入力画像をボカすボケフィルタ処理
及び視点位置を中心に視野の範囲を抑制する処理を行う
処理部31と各々の部分領域対ごとに画像処理を行う画像
処理部 321〜32N と部分領域対の切り替えを行う切替え
部33と部分領域対から出力される評価関数値が極大かど
うかを判定する極大判定部34から構成され、最終的には
評価関数値が極大になる様にボケフィルタのボケの程度
と視野の大きさをボケと視野の関係式（従来の視覚モデ
ルと同じ関係式であり、特開平 02-018680に記載されて
いる）に基づいて変化させ、最適なボケと視野の大きさ
を決定するフィードバックループ構成になっている。部
分領域の切り替え部33はＮ個の部分領域対の中から１つ
の部分領域対を選択して最適なボケと視野の値を決定す
る為の切り替え部（スイッチ）であるが、複数の部分領
域対からの評価関数値の和を極大にする場合にはその様
な切り替えを行う必要がある。また、全ての部分領域対
の評価関数値の和を取ることにすれば切り替え部は不必
要である。図４は図３に於ける部分領域対ごとの画像処
理部 321〜32N の１つを詳しく説明した図であり、基本
的には従来の視覚モデルと同じ手順で計算するが、ただ
計算を実行する時の積分領域が部分領域対に限定されて
いるところが異なる。即ち、ボケ処理と視野の抑制を行
った後の画像の各々の部分領域対に於いて正準化操作に
よる直流成分と交流成分の分離を行う分離部41と交流成
分の特性を変換する方向依存性フィルタ処理部42と特性
変換された交流成分と直流成分とから評価関数値を計算
する計算部43で構成される。正準化操作の伝達関数は零
周波数以外のゲインは一定となるので、特定の空間周波
数領域のゲインを大きくする様な処理を行うための特性
変換フィルタとして方向依存性フィルタを用いる。方向
依存性フィルタの空間周波数特性は各々の部分領域対の
方向に対応する空間周波数領域を中心領域とする帯域通
過フィルタである。例えば、36個の部分領域対に分割し
た場合の第10番目の部分領域対（図５に示すように水平
方向の部分領域対を第１番目の部分領域対として数える
と、第10番目の部分領域対の中心軸は水平軸に対して45
°傾く方向）を考えると、図６がこの斜線部分の部分領
域対の方向に対応する空間周波数領域を中心とする帯域
通過フィルタの等高線（等ゲイン曲線）、図７が３次元
的に表示した帯域通過フィルタ特性である。この方向依
存性フィルタ特性は従来の視覚モデルには無く、部分領
域対に分割して計算するこの特許に於いて新しく導入さ
れたフィルタ特性である。以上説明した視覚モデルを利
用して視点位置を発見的（heuristic)に移動させる方法
について説明する。視覚モデルから得られる評価関数値
は視点位置から各々の部分領域を見た場合の印象の強さ
を表現している。従って、１つの部分領域対での画像処
理を行い、最終的に評価関数値を計算するとき、１つの
部分領域対で１つの数値を計算する代わりに部分領域対
を構成している２つの部分領域ごとに別けて２つの評価
関数値を計算すれば、この２つの部分領域方向の印象の
強さが分かる。つまり、この２つの評価関数値の大小関
係を比較すれば、この部分領域対に於ける視点位置の動
く方向とその移動量が計算できることになる（評価関数
値の大きい方の部分領域の方向へ、また両者の大きさの
違いに対応した量だけ視点を移動する）。そして、全て
の部分領域対で同じ計算を行い、各々の部分領域対での
視点位置の移動方向と移動量を統合すれば、最終的に視
点位置が移動する方向と移動量が得られることになる。
統合方法は、例えば部分領域対ごとに得られる評価関数
値の違いが最大になる方向を採用する、あるいは評価関
数値の違いの極大値方向のベクトルの和を取る、あるい
は全ての方向のベクトル和を取るなどが容易に考えられ
る。画像の性質によっては、視点位置が安定点に落ち込
む場合が発生する。この場合には、ランダムな方向に視
点位置を移動させて安定位置から脱出するなどの手段を
用意しておくと便利である。

【００１０】次に、図８は図１の部分領域ごとの画像処
理部12を時空間視覚モデルを用いて実現した場合のブロ
ック図である。時空間視覚モデルは従来の視覚モデルを
拡張して動画像に対する人間の視知覚特性が計算できる
ようにした視覚モデルであり、形を知覚する役目を担う
Ｘチャネルと動きを知覚する役目を担うＹチャネルから
構成される（参考文献｜松井利一、平原修造：「フリッ
カー画像に対する時空間視覚モデルの定式化」，電子情
報通信学会技術研究報告IE91-103,pp.25-32,1992.)。図
８においては、図３の部分領域対の切替え部33と評価関
数値の極大判定部34の間にＸ，Ｙチャネル切替え部か81
が入っていることを除けば、図３とほとんど同じであ
り、最適なボケと視野の値（最適観測状態という）を計
算する方法も同じである。つまり、最適観測状態を計算
する場合、全体の中から１つの部分領域対を選択するの
か、あるいは複数の部分領域対からの評価関数値の和を
計算するのか、あるいは全部分領域対からの評価関数値
の和を計算するのかという部分領域対の選択の問題とは
別に、形に注目するのかあるいは動きに注目するのかと
いうＸ，Ｙチャネルの切替えが必要である。もちろん応
用する場合には、ＸとＹチャネルを両方とも並列に計算
しておくと、形の情報と動きの情報が両方得られて大変
便利であるが、計算時間やハードウェアの制約がある場
合には切り替えた方が良い。図９は図８に於ける部分領
域対ごとの画像処理部の１つを詳しく説明した図であ
り、基本的に従来の時空間視覚モデルと同じ手順で計算
するが、ただ計算を実行する時の積分領域が部分領域対
に限定されているところが異なる。即ち、ボケ処理と視
野の抑制を行った後の画像の各々の部分領域対に於いて
正準化操作による直流成分と交流成分の分離を行う分離
部91と、Ｘチャネルに於いては交流成分の空間周波数特
性を変換する方向依存性フィルタ処理部92（図６、７と
同じ様な帯域通過フィルタ）と時間周波数特性を変換す
るLPF(ローパスフィルタ）部93と時空間的に特性変換さ
れた交流成分と直流成分とから評価関数値を計算する計
算部94と、Ｙチャネルに於いては交流成分の空間周波数
特性を変換する方向依存性フィルタ処理部95（図６、７
と同じ様な帯域通過フィルタであるが、Ｘチャネルの場
合よりも少し低域空間周波数で最大ゲインを持つ帯域通
過フィルタかまたは低域通過フィルタが良い）と時間周
波数特性を変換するBPF(バンドパスフィルタ）部96と時
空間的に特性変換された交流成分と直流成分とから評価
関数値を計算する計算部97で構成される。以上説明した
時空間視覚モデルを利用して視点位置を発見的（heuris
tic)に移動させる方法について説明する。視覚モデルを
用いた場合と同様に、１つの部分領域対でのＸ，Ｙチャ
ネルの画像処理を行い、最終的に評価関数値を計算する
とき、１つの部分領域対で２つの数値（Ｘ，Ｙチャネル
で１つずつ計算）を計算する代わりに部分領域対を構成
している２つの部分領域ごとに分けて合計４つの評価関
数値（Ｘチャネルから２つ、Ｙチャネルから２つ）を計
算すれば、Ｘ，Ｙチャネルそれぞれに於いてこの２つの
部分領域方向の印象の強さが分かる。つまり、Ｘ，Ｙチ
ャネルから得られるそれぞれ２つの評価関数値の大小関
係を比較すれば、この部分領域対に於いて、形に注目し
た場合（Ｘチャネル）の視点位置の動く方向とその移動
量と動きに注目した場合（Ｙチャネル）の視点位置の動
く方向とその移動量が計算できることになる（評価関数
値の大きい方の部分領域の方向へ、また両者の大きさの
違いに対応した量だけ視点を移動する）。そして、全て
の部分領域対で同じ計算を行い、各々の部分領域対での
視点位置の移動方向と移動量を統合すれば、最終的に、
形に注目した場合（Ｘチャネル）の視点位置の動く方向
とその移動量と、動きに注目した場合（Ｙチャネル）の
視点位置の動く方向とその移動量が得られることにな
る。統合方法に関しては、視覚モデルを用いた場合と同
じ方法で良い。以上の様に、次空間視覚モデルを用いる
と、人間が静止画像や動画像の形に注目した時の視点移
動の様子、および動画像の動きに注目した時の視点移動
の様子を工学的に再現できるので、効率的な動物体検
出、追跡や探索が実現できる。なお、静止画像に対する
時空間視覚モデルのＸチャネルの応答特性は単なる視覚
モデルの応答出力と同じ結果が得られるので、時空間視
覚モデルは視覚モデルを包含する。

【００１１】（具体的実施例１）具体的実施例として、
エッジを探索する場合を説明する。今、図10の様に物体
または閉領域Ｏのエッジを初期視点位置ＡとＢから探索
して行くことを考える。初期視点位置がＡの場合、視点
位置Ａを中心としてこの画像を観測した場合の視覚モデ
ル（静止画像なので時空間視覚モデルのＸチャネルを使
っても良い）の最適観測状態を計算し、この時の評価関
数値の比較から視点位置の移動方向と移動量を求める
と、この場合は物体Ｏ以外は何も無いので、物体Ｏを含
む部分領域対に於ける２つの部分領域の評価関数値の差
が全部の部分領域対の評価関数値差の中で最大となり、
最終的には矢印の方向に視点が移動することになる。こ
の計算を繰り返して行くと、視点位置は物体Ｏを自動的
に検出し、物体のエッジに到達する。視点がエッジ上に
ある場合は、各々の部分領域対の評価関数値の差はほと
んど無くなる、即ち視点にとっては安定点を意味するの
で視点がエッジに到達したかどうかは直ぐ分かる。ま
た、エッシ上では部分領域対で計算される評価関数値が
極大となるので、この情報からも視点がエッジに到達し
たかどうかが判断できる。一旦エッジ位置が探索できれ
ば、後は単純に画像の濃度勾配を計算したり、視覚モデ
ルの各々の部分領域対の評価関数値の中で極小の評価関
数値が得られる方向（エッジの繋がりの方向は評価関数
値が極小になる方向とほぼ一致する）を調べたりするこ
とでエッジの繋がりを検出して行くことができ、最終的
に物体Ｏのエッジが検出できる。一方、初期視点位置が
Ｂの場合にも同様にして、視点位置Ｂを中心としてこの
画像を観測した場合の視覚モデル（時空間視覚モデルで
も良い）の最適観測状態を計算し、この時の評価関数値
の比較から視点位置の移動方向と移動量を計算する。こ
の場合には初期視点の位置に依存して、物体Ｏにエッジ
方向に移動する場合と物体Ｏの中心部分に移動する場合
の２つの視点移動形態が生じる。この性質は視覚モデル
の特徴であり、探索戦略に依存してエッジも探索できる
が物体の中心部も探索できる。つまり、初期視点位置が
物体Ｏのエッジに比較的近い位置であればエッジの方に
移動し、物体Ｏの中心部に比較的近い位置であれば物体
Ｏの中心部の方向へ移動することなる。視点位置がエッ
ジ方向に移動する場合は初期視点がＡの位置にあった場
合と同様の手続きでエッジの探索が可能であるが、視点
位置が物体Ｏの中心部に移動する場合には、視点移動方
向の部分領域対の評価関数値が減少しないことを制約条
件として加えて計算することが重要である。もし評価関
数値が減少する様なら逆方向に視点を移動させる力を発
生させるとか、ランダム雑音を加えて視点位置をランダ
ムな方向へ一時的に移動させるなどの手段が必要であ
る。またもしも物体の中心部に視点が移動してしまった
場合には、この位置は視点位置としては安定点なので、
意図的にランダム雑音を加えるなどして視点位置を安定
点から脱出させることが必要である。

【００１２】以上の説明は、物体位置の検出やエッジ探
索のみに限らず、物体の中心位置の探索にもそのまま利
用できる（但し、評価関数値の利用方法が逆になる。）
また、複数の物体が存在する場合も同様であり、上記手
順で１つの物体のエッジや中心部の検出を行った後、別
の物体に視点を移動させて行けば良い。

【００１３】（具体的実施例２）別の具体的実施例とし
て、動物体の検出、追跡を行う場合を説明する。今、図
11の様に動物体Ｏ（右上の方に動いている）を初期視点
位置から検出、追跡することを考える。具体的実施例１
と同様に、この視点位置で画像を観測した場合の時空間
視覚モデル（特に動き検出に適したＹチャネルを使うと
便利である）の最適観測状態を計算し、この時の評価関
数値の比較から視点位置の移動方向と移動量を求める
と、動物体Ｏを含む部分領域対に於ける２つの部分領域
の評価関数値の差が全部の部分領域対の評価関数値差の
中で最大となり、最終的には動物体Ｏの方向に点が移動
して行き、動物体Ｏを自動的に検出することになる。し
かし、動物体Ｏも移動しているから、視点位置は結果的
に動物体Ｏを追跡することになる。完璧な追跡ができれ
ば、視点位置の移動速度と移動方向から動物体Ｏの移動
速度と移動方向が求められる。この実施例を応用する
と、監視装置が実現できる。即ち、時空間視覚モデルの
観測可能（視覚モデルの機能を搭載した装置またはＴＶ
カメラが実際に動ける範囲で決まる）な視野の中に動物
体が入ってくると、視点位置は動物体の方向に自動的に
移動し、動物体を捕らえて追跡を始め、動物体の移動速
度や移動方向を算出できる。この機能は、主に時空間視
覚モデルのＹチャネルで実現できるが、さらに動物体の
正体を明らかにするには時空間視覚モデルのＸチャネル
を用いて実現できる。Ｘチャネルは物体の形の検出に適
しているので、Ｘチャネル出力を用いたパターン認識機
能を用意しておけば動物体の正体も認識できるようにな
る。特に、Ｙチャネルを用いた動物体の追跡が行われて
いる最中であり、Ｘチャネルから見た動物体は静止して
いる物体として観測できるので、静止物体のパターン認
識法がそのまま利用でき都合が良い。

【００１４】

【発明の効果】本発明によれば、画像上の視点位置を局
所的特徴量に従って自由に移動させることにより、画像
中の物体の検出や追跡を効率良く行なうことが可能とな
る。

【図面の簡単な説明】

【図１】 本発明を実現するための基本的ブロック図

【図２】 部分領域に分割する方法を示した図

【図３】 部分領域ごとの画像処理部を視覚モデルを用
いて実現した場合の構成ブロック図

【図４】 視覚モデルを用いた場合の領域対の画像処理
部の内部構成を説明したブロック図

【図５】 部分領域に分割する具体例を示した図

【図６】 方向依存性帯域通過フィルタの空間周波数特
性の等高線を表示した図

【図７】 方向依存性帯域通過フィルタの空間周波数特
性を３次元表示した図

【図８】 部分領域ごとの画像処理部を時空間視覚モデ
ルを用いて実現した場合の構成ブロック図

【図９】 時空間視覚モデルを用いた場合の領域対の画
像処理部の内部構成を説明したブロック図

【図１０】 エッジ探索の実施例に対する説明図

【図１１】 動物体の検出及び追跡の実施例に対する説
明図

【符号の説明】

11…視点位置設定部 12…部分領域ごとの画像処理部 13…比較処理部 14…視点位置の移動方向と移動量の
計算部 15…ボケフィルタと視野の抑制処理部 321〜32N …部分領域対での画像処理部 33…部分領
域対の切替え部 34…評価関数値の極大判定部 41…直流成分と交流成
分の分離部 42…方向依存性フィルタ処理部 43…評価関数値計算
部

Claims (4)

【特許請求の範囲】
1. 【請求項１】 画像上に視点位置を設定する視点位置設
   定手段と、この視点位置設定手段より設定された視点を
   中心として前記画像を放射状の部分領域に分割し、この
   部分領域毎に画像処理を行なって特徴量を算出する画像
   処理手段と、この画像処理手段より算出された部分領域
   毎の特徴量を比較することにより前記画像中での前記視
   点位置の移動方向及び移動量を計算する計算手段とを備
   えたことを特徴とする画像情報処理装置。
2. 【請求項２】 前記計算手段は、部分領域毎に得られた
   同種類の特徴量を比較することにより前記視点位置の移
   動の対象となる部分領域を検出し、この検出結果より計
   算された移動方向及び移動量に応じて前記視点位置を前
   記画像上で移動させるものである請求項１記載の画像情
   報処理装置。
3. 【請求項３】 画像上に視点位置を設定する視点位置設
   定手段と、この視点位置設定手段より設定された視点を
   中心として前記画像を放射状の偶数個の部分領域に分割
   し、前記視点位置に対して点対称の位置にある２個の部
   分領域を１対として、この部分領域対毎に画像処理を行
   なって特徴量を算出する画像処理手段と、この画像処理
   手段より算出された部分領域対毎の特徴量を比較するこ
   とにより前記画像中での前記視点位置の移動方向及び移
   動量を計算する計算手段とを備えたことを特徴とする画
   像情報処理装置。
4. 【請求項４】 前記計算手段は、部分領域対を構成する
   ２個の部分領域について同種類の特徴量を比較して該部
   分領域対での前記視点位置の移動方向及び移動量を計算
   し、全ての部分領域対毎に計算された前記移動方向及び
   移動量を統合して１組の移動方向及び移動量を決定し、
   これに従って前記視点位置を前記画像上で移動させるも
   のである請求項３記載の画像情報処理装置。