JPH0411471A - 動き検出装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明はカメラで撮像中の画像の手ぶれや振動等による
動きを補償する防振装置、移動する被写体を追尾する自
動追尾装置等に用いて好適な動き検出装置に関する。

（従来の技術） 近年、ビデオカメラ、電子カメラ等を始めとする映像機
器の発展は目覚ましく、より確実で快適な撮影動作を可
能とするため、手ぶれ、振等による画像の動きを補正し
て揺れのない品位の高い撮影を可能とする動き補正装置
が取り入れられている。

動き補正装置の動き補正の方式としては、カメラ本体の
回転に対して　レンズ、イメージセンサの軸を一定に保
つ慣性を利用した機械的補正法、可変頂角プリズム等の
光学部材を用いる光学式補正法、画像処理によって画面
を移動させることによって補正を行う画像処理補正法等
がある。

そして機械的補正法によればレンズ、撮像系を支持する
ための特別な機械構造を必要とし、光学式補正法によれ
ば上述したような可変頂角プリズムのような特別な光学
部材を必要とするのに対して、画像処理補正法は特別な
機械構造、光学部材が不要となり、電気回路による信号
処理のみで動き補正が可能であるという大きな特長を有
しており、今後広（普及して行くことが予想される。

（発明の解決しようとする問題点） しかしながら、上記従来の画像処理方式による動き補正
装置によれば、機械式、光学式の装置に比べて以下のよ
うな欠点を有している。

すなわち、画像処理方式の動き補正を行う場合には、イ
メージセンサ、撮像管で撮像する段階では画像は動きを
持っており、後処理で画像の移動分に応じた画像シフト
を行い、画面内における画像の動きを止めるにように構
成されているものであった。

このため、撮像の段階で得られる画像は動きのためにぼ
けを生じており、後段の処理で画像の動きを補正しても
最終的な画像の解像力は低（、品位の悪いものしか得る
ことができなかった。

（間順点を解決するための手段） 本発明は上述した問題点を解決することを目的としてな
されたもので、その特徴とするところは、画像の動きを
検出して該画像の動きを補償する動き検出装置であって
、画像の動きを検出する動き検出手段と、該検出手段の
出力に基づいて画像の動きを補正する補正手段と、前記
画像の動きによる解像力の劣化を補償するフィルタリン
グ処理を行なうフィルタ手段とを備えた動き検出装置に
ある。

（作用） これによって、画像の動きによる解像力の劣化をフィル
タリングによって補償することができ、解像度が高く、
動き補正された揺れやぶれのない画像を得ることが可能
となる。

特に動き補正のために用いる動き量検出装置から求めら
れる画像の動きベクトルを用いて適応的にフィルタリン
グを行うことにより高品質の動き補正画像を得ることが
できる。

（実施例） 以下本発明における動き補正装置を各図を参照しながら
、その実施例について詳細に説明する。

第１図は、本発明における動き補正装置の第１の実施例
を示すブロック図である。

同図において、１は被写体、２は撮像レンズ、３は撮影
レンズ２によって撮像面に結像された被写体像を光電変
換して撮像信号を出力するたとえばＣＣＤ等の撮像素子
あるいは撮像管である。４は撮像素子３より出力された
撮像信号を所定のレベルに増幅するアンプ、５は入力さ
れたアナログの撮像信号をデジタル信号に変換するＡＤ
変換器、６はＡＤ変換器５によってデジタル信号に変換
された画像信号を記憶するためのフレームメモリ、７は
ＡＤ変換された画像信号より動きベクトルを求める動き
量検出回路である。動きベクトル算出の方法としては所
謂代表点マツチング法、勾配法などの方式を用いること
ができる。８はフレームメモリ６から画像信号を読み出
すために読出アドレスを生成し読み出しを実行するため
のメモリ読み出し回路である。

９は画像劣化防止のためのフィルタリングのパラメータ
を設定するパラメータ設定回路、ＩＯはフィルタである
。

１１はフィルタ１０を通過したデジタル画像信号をアナ
ログ画像信号に変換するＤＡ変換器、１２は画像信号に
同期信号を付加する同期信号付加回路、１３は出力ビデ
オ信号である。

撮影レンズ２は被写体１の像を撮像素子３の撮像面上に
結像する。撮像素子３上の像はレンズ２）撮像素子３、
あるいは被写体２の動きのために移動を伴っている。撮
像素子３から出力される画像信号はアンプ４で増幅され
、ＡＤ変換器５によってデジタル信号に変換された後、
フレームメモリ６にいったん記憶される。

ＡＤ変換器５の出力であるデジタル画像信号は動き量検
出回路７にも送られる。動き量検出回路７によって求め
られた動きベクトルのデータはメモリ読み出し回路８及
びパラメータ設定回路９に送られる。

動き検出回路７においては動き量算出のために現在の画
面の１フレームないし１フイールド前の画面のデータが
必要であり、フレームメモリを持つ必要がある。このフ
レームメモリはフレームメモリ６と共通にする構成とし
てもよいし、別個に設けてもよい。

メモリ読み出し回路８は動きベクトルのデータに基づき
フレームメモリ６の読み出しのためのアドレスにオフセ
ットをかけたものを生成する。これによりフレームメモ
リ６から読み出されるデータは画像の動きに対してほぼ
逆に動かすようにして、読み出されるために画像の動き
が補正される。すなわちメモリ上で画像の振れ補正が行
なわれる。

パラメータ設定回路９では動き量検出回路７より得られ
た動きベクトルからフィルタリングのためのフィルタの
係数等のパラメータを決めてフィルタ１０へ送る。フィ
ルタｌＯではフレームメモリ６より読み出された動きを
補正された画像信号に対してフィルタリングを実行して
撮像素子３上の画像の動きによって生じたぼけすなわぢ
解像力の劣化を軽減させる。

またフィルタ１０は後述のようにバイパスフィルタ、バ
ンドパスフィルタの特性を持つ。

フィルタ１０より出力された画像信号はＤＡ変換器１１
によってアナログ信号に変換され、同期信号付加回路１
２によって同期信号と合成されてビデオ信号１３として
出力される。

以下にフィルタリングによる解像力向上を説明する。

第２図は画像の動きを示す平面図である。

２１は出力画面である。出力画面２１は固定された座標
を持ち、基準となるものであり、防振等の処理はこれに
対して実行される。たとえばモニターデイスプレィの画
面を想定すればよい。

２２は前画像、２３は現画像である。２４は前画像２２
が現画像２３へと動いたときの動きベクトルである。

出力画面２Ｉにおいて、第１図のビデオ信号１３か表示
される。たとえば手ぶれなどによって表示される画像は
被写体２が静止物体の場合である時刻から他の時刻に移
ったとき前画像２２から現画像２３のように動きを生じ
る。

画像処理による動き補正法では、動き量検出回路７にお
いて動きベクトル２４を算出し、フレームメモリ６から
現画像２３のデータを読み出すときに、動きベクトル２
４の分だけデータを出力画面２１上でシフトさせ現画像
２３が前画像２２とほぼ重なるように読み出しのアドレ
スにオフセットを加えることによって動き補正を行う。

ここで現画像２３は動きを伴っているので各画素の値は
動きベクトル２４の方向に積分されたものとなっている
。したがって第２図に示した現画像２３は実際は各図形
の辺のほぼ重心位置を示しているものに過ぎない。

第３図は光学系の移動を示す正面図である。

同図において、３１は撮像素子がＣＣＤ等の固体撮像素
子である場合の１セルを示すものである。いま説明の便
宜上、画像の動いた方向と撮像素子３のセルの１つの配
列方向が一致しているとする。撮像素子３はある定めら
れた露光時間の間撮像素子３上の光学像のパターンを光
電変換する。３２は露光開始時の光学像であり、３３は
露光終了時の光学像である。露光開始時の光学像３２は
第２図の場合と同様、露光中面像の動きがあるために露
光終了時には移動しており、露光終了時の光学像３３と
なっている。

第３図に示す動きベクトル２４は露光開始時の光学像３
２と露光終了時の光学像３３との間の動きを示すもので
ある。これは第２図に示すものとほぼ同じであるが、厳
密にいうと若干具なる。すなわち第２図においては、２
枚の画像の露光時間のそれぞれのほぼ中間の時刻の間で
の画像の動きベクトルである。これに対して第３図にお
いては、いま対象としている画像の露光開始から露光終
了の間での画像の動きベクトルである。したがって画像
の動き量が急激に変わっているときなどは、両者の動き
ベクトルは値が異なることが有り得る。−船釣には両者
はほぼ同じであるとして差し支えないが、動き量検出回
路７より求められるのは、第２図に示した動きベクトル
２４であるからパラメータ設定回路９で必要とする第３
図に示した動きベクトル２４はいくらか補正してから用
いてもよい。

第４図は、フィルタリングのフィルタの特性を示すグラ
フである。

同図において４１は画像の動きによ点像分布関数である
。空間座標である横軸Ｘは動き方向に沿ってとられてい
る。動きベクトル２４の長さはａとする。このとき被写
体１の１点の作る像は露光時間の間に移動し概略点線分
布関数４１のようになる。

これをｈ　（ｘ）とすると、 ｈ　（ｘ）＝Ｒｅｃｔ（ｘ／ａ）　　−−−−−−（１
）である。

４２は動きによる画像の劣化を示す周波数特性である。

ｆを周波数とし、周波数特性４２をＨ（ｆ）で表すと、
Ｈ（ｆ）は、点像分布関数ｈ　（ｘ）のフーリエ変換で
あるから、 Ｈ（ｘ）　＝　（ｓｉｎ　ｕａｆ）　／ｘｆ　−−−（
２）である。

４３はフィルタの周波数特性であり、Ｐ（ｆ）で表すと
、 Ｐ　（ｆ）＝１／Ｈ（ｆ） ＝πｆ　／　（ｓｉｎ　ｘａｆ）　−−−（３）である
。このようなフィルタはインバースフィルタと呼ばれて
いる。

すなわちＨ（ｆ）　　・Ｐ　（Ｆ）＝１であり、Ｐ（ｆ
）でフィルタリングすることにっよってＨ（ｆ）になる
画像の劣化が補償されるからである。第１図のフィルタ
１０においてこのフィルタを用いてフィルタリングする
ことにより、出力ビデオ信号１３の解像度は高（なり、
良好な画質が得られる。ただし、インバースフィルタは
Ｈ（ｆ）がＯとなる周波数では無限大となるため、近似
的にしか実現できない。また周波数範囲は画像信号の周
波数スペクトルの存在する範囲で良い。

第４図及び（２）、（３）式から明らかなように劣化の
特性Ｈ（ｆ）、補償フィルタの特性Ｐ　（ｆ）にはパラ
メータとして動きベクトル２４の大きさａが入っている
。またＸ軸、ｆ軸はそれぞれ動きベクトル２４の方向に
沿ってのものであり、Ｐ　（ｆ）が動きベクトル２４の
大きさ、方向に依存していることがわかる。

従ってフィルタ１０では動きベクトル２４に応じて適応
的にフィルタを変更することが望ましい。

フィルタ１０においてフィルタリング処理を実現するに
は、２つの方法がある。１つは周波数軸でのフィルタリ
ングであり、フレームメモリ６から読み出した画像信号
をＦＦＴ　（高速フーリエ変換法）によりフーリエ変換
し、インバースフィルタＰ　（ｆ）を乗じて逆フーリエ
変換し、フィルタリングされた画像信号を得るというも
のである。

もう１つの方法は、時間軸でのフィルタリングであり、
インバースフィルタＰ　（ｆ）を逆フーリエ変換してイ
ンパルス応答を求めておきフレームメモリ６からの画像
信号にコンポルージョンしフィルタリング出力を得ると
いう方法である。

インバースフィルタを時間軸のコンポルージョンで実現
する場合には、次式のフィルタのインパルス応答Ｓ　（
ｘ）から出発してもよい。

５（Ｘ）＝にδ゛（Ｘ） ・・・・・・・・・　（４） ここで、Ｋは比例定数、δ（ｘ）はデルタ関数、δ゛（
Ｘ）はデルタ関数の導関数である。

また＊はコンポルージョンを表す記号であり、ｓｇｎ　
　（ｘ）は、 である。

なお（４）式は（３）式をデルタ関数を用いてフーリエ
変換したものである。

第５図はインバースフィルタのインパルス応答を示すグ
ラフである。

５１はインバースフィルタのインパルス応答であり、（
４）式を表したものである。

（４）式はＸ軸方向に無限に続くために途中で打ち切る
必要がある。このためハミング窓等の窓関数を乗じてか
らフィルタリング処理に用いるのが望ましい。

インバー　スフィルタにおいては画像の劣化によって画
像情報がほとんど失われた周波数領域、すなわち周波数
特性４２の値がＯとなる周波数付近、及びもともと画像
情報の少ない高周波領域で大きなゲインを持たせる特性
となり、しばしばＳＮ比の悪い出力画像となる。このた
め、フィルタ１０においては、ウィナ−フィルタ等を用
いてもよい。

ウィナ−フィルタＲ（ｆ）の周波数特性は次式のように
表すことができる。

Ｉ４■（ｆ） ・・・・・・・・・・・・　（５） ここでΦＩ、（ｆ）、Φ、　（ｆｌはそれぞれノイズ、
画像信号のパワースペクトルを示し、［有］は複素共役
を示すものである。

ここでΦ、（ｆ）、Φ、　（ｆ）は正確に得ることは難
しいので、Φ、（ｆ）は白色雑音を仮定して一定とし、
Φ、　（ｆ）はガウス型とする。あるいはΦ。（ｆ）／
゛Φ、　（ｆ）　　を全周波数で一定とする等の仮定を
置き、あらかじめ定めて置く。

ウィナ−フィルタにおいては、信号成分がノイズ成分に
比して十分大きな周波数ではほぼインバースフィルタと
同じになり、逆にノイズ成分が信号成分より大きなとこ
ろでは値はＯに近付く。

第６図はウィナ−フィルタの周波数特性を示すグラフで
ある。６１はウィナ−フィルタの周波数特性である。イ
ンバースフィルタの周波数特性４３と比較するとＳＮ比
の悪い周波数領域でゲインが小さ（なっていることが明
らかである。そして、ウィナ−フィルタにおいても動き
ベクトル２４に応じてその特性を適応的に変化させるの
が望ましいのはインバースフィルタの場合と同様である
。

フィルタ１０においてはこの他種々のフィルタｌＯのフ
ィルタ特性は一般にバイパスフィルタないしは、バンド
パスフィルタの特性を持つ。

第７図は、本発明における第２の実施例を示すブロック
図である。

第２の実施例においては、画像の中で動き領域と静止領
域があるとき、更に動き領域が複数に別れそれぞれ異な
る動きベクトルを持つ場合に有効な装置を示す。

７１は動き量検出回路７の出力で画面内の小ブロツク毎
、あるいは画素毎の動きベクトルである。７２は領域判
別回路、７３はその出力でアドレスオセット信号、７４
．７５は領域判別回路７２の他の出力であり、それぞれ
、領域信号、領域内の動きベクトルである。

７６はスイッチであり、入力信号を２つの出力ラインの
どちらかに送出する。７７は領域毎の処理の行われた出
力ビデオ信号である。

人力画像信号をＡＤ変換し、フレームメモリ６に記憶さ
せる一方、動き量検出回路７へ送る段階までは第１の実
施例と同じである。

動き量検出回路７は動きベクトル７１を領域判別回路７
２に送る。

領域判別回路７２はそれをもとに画面を静止領域及び動
きベクトルを持つ複数の動き領域に分割する。領域判別
回路７２は分割した領域の中から所望の１つの領域を選
び、その領域の動きベクトルをアドレスオフセット信号
７３としてメモリ読み出し回路８に送る。メモリ読み出
し回路８はそれに基づきフレームメモリ６から画像信号
を読み出す際にアドレスオフセットを行なって読み出す
。これによって画面全体がシフトする。

領域判別回路７３はパラメータ設定回路９に領域信号７
４と領域内の動きベクトル７５を送り、パラエータ設定
回路９は領域毎に異なる特性のフィルタをフィルタ１０
に設定する。領域信号７４はスイッチ７６にも送られス
イッチ７６はフレームメモリ６からの画像信号を静止領
域の場合にはＤＡ変換器１１に、動き領域の場合にはフ
ィルタ１０へ送る。フィルタ１０の出力は次にＤＡ変換
器１１に送られる。すなわち動き領域の場合にのみフィ
ルタリング処理が行なわれる。

なおスイッチ７６はフィルタ１０において静止領域の場
合を特別な場合として全周波数帯域を透過させるフィル
タをかけることにしてフィルタ１０と一緒にすることも
可能である。

ＤＡ変換器１１のアナログ出力信号は、同期信号付加回
路１２にて同期信号を付加されて領域毎の処理の行なわ
れた出力ビデオ信号７７として送出される。

第８図は複数の動きを含む画像を示す平面図である。

同図において、８１は出力画面であり、モニタデイスプ
レィの画面に相当するものである。

８２８３はそれぞれ前画面の第１の画像。

第２の両像である。８４．８５はそれぞれ現画面の第１
の画像、第２の画像である。また８６は背景画像であり
、第８図においては小正方形の並んだ画像である。

前画面から現画面に移行する際に出力画面８１に対して
前画面の第１および第２の画像８２８３は動いており、
それぞれ現画面の第１および第２の画像８４．８５とな
る。ただし２つの画像の動いた方向、大きは異なってい
る。また背景画像８６はここでは動いておらず、前画面
と現画面とで一致している。

第９図は領域判別結果を示す平面図である。

９１．９２はそれぞれ第１．第２の動き領域である。９
３．９４はそれぞれ第１．第２の動き領域９１．９２の
領域内の動きベクトルである。９５は静止領域である。

第７図における領域判別回路７２では第９図に示すよう
な領域分割と領域内勤きベクトルの計算か行なわれる。

すなわち第１．第２の動き領域９１．９２と静止領域９
５が分割され、第１、第２の動き領域９１．９２につい
ては領域内の動きベクトル９３．９４が求められる。

第７図に示した装置が追尾装置である場合、特定の画像
の追跡が行われる。いま現画面において第２の画像８３
が追尾されているとすると、領域判別回路７２は第２の
動き領域９２の領域内の動きベクトル９４をメモリ読出
し回路にアドレスオフセット信号７３として送る。この
ときにはフレームメモリ６からの画像信号の読出しにオ
フセットがかかり画像がシフトする結果、出力画面８１
上で現画面の第２の画像８４は前画面の第１の画像８３
と同じ位置に表示される。他の領域の画像はシフトが生
じる。

スイッチ７６では、第１．第２の動き領域９１．９２の
画像信号のみがフィルタ１０に送られ静止領域９５の画
像信号は直接ＤＡ変換器１１に送られる。

フィルタ１０では、第１．第２の動き領域９１．９２の
画像に対してそれぞれ領域内の動きベクトル９３．９４
に応じて異なる特性のフィルタがパラメータ設定回路９
によって設定され、フィルタリング処理が行われる。フ
ィルタ１０において用いられるフィルタやパラメータの
設定については第１の実施例と同様である。

（発明の効果） 以上述べたように、本発明における動き検出装置によれ
ば、画像の動きによって生じる画質の劣化をフィルタリ
ング処理を行うことにより補償し、動き補正装置の出力
画像の解像度を高め、高品質の画像とする効果がある。

さらにフィルタリング処理に用いるフィルタの特性は、
特に動き補正のためにもともと求める動きベクトルに基
づいて適応的に変化させることにより画質は最適に近い
良好なものとなり、しかもコストアップにはならないと
いう効果がある。

【図面の簡単な説明】

第１図は本発明における動き検出装置の第１の実施例を
示すブロック図、 第２図は画像の動きを示す図、 第３図は光学像の移動を示す図、 第４図はフィルタリングのフィルタの特性を示す特性図
、 第５図はインバースフィルタの特性を示す特性図、 第６図はウィナ−フィルタの特性を示す特性図、 第７図は本発明の第２の実施例を示すブロック図、 第８図は複数の動きを含む画像を示す図、第９図は領域
判別結果を示す図である。 第２ 関

Claims (2)

【特許請求の範囲】
1. （１）画像の動きを検出して該画像の動きを補償する動
   き検出装置であつて、 画像の動きを検出する動き検出手段と、 該検出手段の出力に基づいて画像の動きを補正する補正
   手段と、 前記画像の動きによる解像力の劣化を補償するフィルタ
   リング処理を行なうフィルタ手段とを備えたことを特徴
   とする動き検出装置。
2. （２）特許請求の範囲第（１）項において、前記フィル
   タ部の特性は前記画像の動きに応じて適応的に決定され
   るように構成されていることを特徴とする動き検出装置
   。