JP2007019743A - 像ブレ検出装置及び電子カメラ - Google Patents

Abstract

【課題】撮像時に電子カメラが高速に移動したり、ズーム倍率が高速に変化したりして被写体像の大きさが変化する場合でも正確な動きベクトルの算出を行うことができる像ブレ検出装置、及びこのような像ブレ検出装置を搭載した電子カメラを提供すること。
【解決手段】先行フレームの画像データの所定領域を、後続フレームの画像データ中において先行フレームの所定領域に対応する領域の画像サイズに合わせるように変倍し、変倍した先行フレームの画像データと後続フレームの画像データとを出力するリサイズ回路１０７と、リサイズ回路１０７から出力された先行フレームに係る画像データと後続フレームの画像データとに基づき、所定領域に係る動きベクトルを算出する動きベクトル算出回路１０８とを備える。
【選択図】図１

Description

本発明は、撮像されて得られた画像における像ブレを検出する像ブレ検出装置及びこのような像ブレ検出装置を搭載した電子カメラに関する。

近年、電子カメラは高機能化が進んでおり、スチル画像の撮影機能だけでなく動画像の撮影機能も必須となってきている。ここで、小型化及び軽量化が進められた電子カメラにおいては、手持ちで撮影を行う場合に手ブレなどによる像ブレが発生しやすい。

また、車載カメラや内視鏡などにも電子カメラのような電子撮像技術が応用されており、これらの分野においても像ブレの補正機能は必須となっている。

ここで、従来の像ブレ補正を行う際の動き検出の手法としては、代表点マッチング法などの公知の手法がある。また、被写体の状態に影響を受けずに、かつ良好な動き検出を行うことができるように、例えば特許文献１などで様々な動き検出の手法が提案されている。この特許文献１の手法では、映像信号における２フィールドを相対比較して動きベクトルを求める動きベクトル検出装置と、代表点入力指令に基づいて、動きベクトルを得るための代表点を制御する代表点制御回路と、代表点制御回路の制御に基づいて、代表点を動きベクトル検出装置に設定する代表点設定回路とを備えるようにしている。このような構成において、代表点入力指令は撮影者によって選択された代表点のパターンに基づいてパターン発生回路から指令されるようになっており、また代表点制御回路は撮影者によって選択された代表点のパターンに基づいて動きベクトル検出のために有効な代表点の位置を決定している。
特許第２８９２６８５号公報

特許文献１の手法のような動き検出では、被写体の大きさが連続する２フレーム間で変化した場合に正確な動きベクトルの検出を行うことができない。この場合、正確に像ブレを補正することができない。例えば、高速に移動する乗り物に搭載されたカメラの映像や、内視鏡を挿入する際に得られる映像などは、被写体像の大きさが激しく変化する場合がある。この場合、適切な像ブレ補正を行えずに、見難い映像となってしまうおそれがある。

本発明は、上記の事情に鑑みてなされたもので、撮像時に電子カメラが高速に移動したり、ズーム倍率が高速に変化したりして被写体像の大きさが変化する場合でも正確な動きベクトルの算出を行うことができる像ブレ検出装置、及びこのような像ブレ検出装置を搭載した電子カメラを提供することを目的とする。

上記の目的を達成するために、本発明の第１の態様による像ブレ検出装置は、先行フレームの画像データの所定領域を、後続フレームの画像データ中における前記所定領域に対応する領域の画像サイズに合わせるように変倍するリサイズ回路と、前記リサイズ回路から出力された前記変倍した先行フレームの画像データと、前記後続フレームの画像データとに基づき、前記所定領域に係る動きベクトルを算出する動きベクトル算出回路とを具備することを特徴とする。

この第１の態様によれば、先行するフレームの画像データの所定領域の画像サイズが後続のフレームの画像データの画像サイズに合うように変倍され、これら画像サイズが合わされた画像データに基づいて動きベクトルが算出される。
これにより、連続する２フレーム間で被写体の大きさの変化があった場合でも、正確な動きベクトル算出を行うことができる。

また、上記の目的を達成するために、本発明の第２の態様による電子カメラは、受光面を有し、光学系により前記受光面に結像される被写体像を電気信号に変換する撮像素子と、前記撮像素子からの画像データを記憶する画像メモリと、前記画像メモリに記憶された画像データを前記先行フレームに係る画像データとして前記動きベクトルを算出する第１の態様に記載の像ブレ検出装置と、前記像ブレ検出装置において算出された動きベクトルに基づいて像ブレを補正する像ブレ補正回路とを具備することを特徴とする。

この第２の態様によれば、第１の態様の像ブレ検出装置によって正確に算出された動きベクトルに基づいて的確に像ブレを補正することができる。したがって、被写体像の状態や撮影状況に影響を受けず、的確に像ブレを補正し、良好な画像を撮影することができる。

本発明によれば、撮像時に電子カメラが高速に移動したり、ズーム倍率が高速に変化したりして被写体像の大きさが変化する場合でも正確な動きベクトルの算出を行うことができる像ブレ検出装置、及びこのような像ブレ検出装置を搭載した電子カメラを提供することができる。

以下、図面を参照して本発明の実施形態を説明する。
［第１の実施形態］
図１は、本発明の第１の実施形態に係る電子カメラの構成を示すブロック図である。なお、図１の電子カメラは自動車などの移動体に搭載されるものを例としている。

図１において、光学系１０１は、被写体像をその後方に配置された固体撮像素子１０２の受光面上に結像させる。なお、図１の光学系１０１は変倍可能なズームレンズを含む例を示しているが、第１の実施形態の光学系１０１はズームレンズを含んでいなくとも良い。固体撮像素子１０２は、光学系１０１を介して受光面上に結像された被写体像を光電変換によって電気信号に変換する。撮像素子駆動回路１０３は、所定の撮像タイミング毎に固体撮像素子１０２からアナログの電気信号を出力させる。信号処理回路１１３は、固体撮像素子１０２から出力された電気信号をデジタルの画像データに変換する。画像メモリ１０４は、信号処理回路１１３から出力された画像データを記憶する。

移動速度検出部としての速度センサ１０５は被写体と固体撮像素子１０２との間の相対的な移動速度を検出する。なお、この速度センサ１０５は固体撮像素子１０２の撮像タイミングに同期して撮像素子駆動回路１０３から出力される駆動信号を受けて移動速度を検出する。変倍率演算回路１０６は速度センサ１０５で検出された被写体と固体撮像素子１０２との間の相対速度から、後述するリサイズ回路１０７における先行フレームの画像データのリサイズの際の変倍率を演算する。リサイズ回路１０７は画像メモリ１０４に記憶された先行フレームの画像データの所定領域を、変倍率演算回路１０６で演算された変倍率に従ってリサイズする。このリサイズについては後で詳しく説明する。動きベクトル算出回路１０８はリサイズ回路１０７においてリサイズされた先行フレームの所定領域の画像データと、信号処理回路１１３から出力される、時間的に後続するフレームの画像データ（後続フレームの画像データ）とから動きベクトルを算出する。なお、動きベクトル算出回路１０８は、リサイズされた先行フレームの画像データと後続フレームの画像データとの間の遅延を補償するための図示しない補償回路を備えている。この補償回路としては例えばメモリなどが考えられる。

像ブレ補正回路としての画像データ読出し制御回路１０９は、動きベクトル算出回路１０８で算出された動きベクトルに基づいて画像メモリ１０４からのデータの読出し開始位置を制御する所謂電子ブレ補正や、記録のための圧縮処理などの種々の画像処理を行う。表示装置１１０は、画像データ読出し制御回路１０９において処理された画像データを映像として表示する。メモリカード１１１は、画像データ読出し制御回路１０９において処理された画像データを記録する。

次に、第１の実施形態の作用について説明する。
固体撮像素子１０２は、光学系１０１を介して受光面上に結像された被写体像を、電気信号に変換する。撮像素子駆動回路１０３は、固体撮像素子１０２に垂直同期信号及び水平同期信号を入力して固体撮像素子１０２から電気信号を出力させる。また、この垂直及び水平同期信号は、固体撮像素子１０２における出力動作との同期をとるために、信号処理回路１１３及び速度センサ１０５にも入力される。固体撮像素子１０２から出力された電気信号は信号処理回路１１３においてデジタルの画像データに変換される。画像メモリ１０４は、信号処理回路１１３から入力された画像データを一時記憶する。また、固体撮像素子１０２における出力動作に同期して速度センサ１０５は、被写体と移動体の相対的な移動速度を検出する。変倍率演算回路１０６は、連続する２フレームのうち、後続フレームの画像データの撮像時における移動速度から変倍率を演算する。ここで、変倍率は、例えば移動速度が０若しくはそれほど速くない場合を１として、移動速度が被写体に近づく方向で速くなるほど大きくする。また、移動速度が被写体から遠ざかる方向で速くなるほど小さくする。

画像メモリ１０４に記憶された先行フレームの画像データはリサイズ回路１０７に入力され、信号処理回路１１３からの後続フレームの画像データは動きベクトル算出回路１０８に入力される。

ここで、リサイズ回路１０７におけるリサイズ処理と動きベクトル算出回路１０８における動きベクトルの算出について説明する。
図２は、図１の電子カメラによって動きベクトルを検出する際の画像比較の様子を示す図である。図２において、参照符号２０１は先行フレームの画像、参照符号２０２は後続フレームの画像とする。図１の電子カメラは移動しているので、先行フレームの画像２０１の撮影時と後続フレームの画像２０２の撮影時とでは、被写体の大きさが変化する。この場合にこれら２フレーム分の画像から動きベクトルを検出するようにしても正確に検出することはできない。そこで、第１の実施形態では、後続フレームの画像に対応する所定領域を先行フレームの画像から切り出して、この切り出した所定領域における画像のサイズを後続フレームの画像のサイズに一致させるようなリサイズ処理をリサイズ回路１０７において行う。

このために、まず変倍率演算回路１０６により求められた変倍率に基づいて、後続フレームの画像２０２と同じサイズの画像を作成するために必要な所定領域の画像２０３を先行フレームの画像２０１から切り出す。例えば、変倍率が１よりも大きい場合には、所定領域の画像２０３のサイズが先行フレームの画像２０１のサイズよりも小さいため、先行フレームの画像２０１の中心から所定領域の画像２０３を切り出すことができる。リサイズ回路１０７は、この切り出した画像を変倍率演算回路１０６により求められた変倍率に応じて変倍（拡大）して変倍画像２０４を作成する。

また、変倍率が１の場合には、所定領域の画像２０３は先行フレームの画像２０１とほぼ同じサイズとなり、画像の切り出し及び画像の変倍は必要ない。

さらに、変倍率が１よりも小さい場合には、所定領域の画像２０３のサイズが先行フレームの画像２０１のサイズよりも大きい。この場合には、リサイズ回路１０７は、先行フレームの画像２０１の全体を使用して変倍画像２０４を作成する。しかしながら、この場合には周辺の画像データが欠落する。この場合は、被写体を含む中心付近の画像データを使用して動きベクトルの検出を行えば良い。

リサイズ回路１０７におけるリサイズ処理の後、動きベクトル算出回路１０８は、画像メモリ１０４に記憶されている後続フレームの画像２０２とリサイズ回路１０７において生成された変倍画像２０４とを比較して動きベクトルを算出する。なお、動きベクトルは、代表点マッチングなどの手法を用いて算出しても良いし、相関関数を用いて算出しても良い。

画像データ読出し制御回路１０９は、動きベクトル算出回路１０８において算出された動きベクトルに基づいて、画像メモリ１０４からの画像データの読出し位置を制御する。つまり、画像データ読出し制御回路１０９は、動きベクトル算出回路１０８で算出された動きベクトルに応じた画像のブレを打ち消す方向に、画像データの読出し開始位置を移動させることにより、画像における像ブレを見かけ上補正する。

このような手法によって、高速に移動する移動体などに電子カメラが搭載されていたとしても動きベクトルを正しく算出することができ、また適切な像ブレ補正を行うことができる。

像ブレ補正を行った後、画像データ読出し制御回路１０９は、画像の表示又は記録のための種々の画像処理を行う。表示装置１１０は画像データ読出し制御回路１０９において処理された画像データを映像として表示する。また、メモリカード１１１は画像データ読出し制御回路１０９において処理された画像データを記録する。

以上説明したように第１の実施形態によれば、電子カメラが移動体に搭載され、移動体の移動によって連続する２フレームの間で被写体の大きさが異なってしまうような場合でも、正しく動きベクトルを検出することができ、適切な像ブレ補正を行うことができる。

なお、第１の実施形態では速度センサ１０５を用いて変倍率を演算しているが、加速度センサなどを用いて変倍率を求めるようにしても良い
また、画像メモリ１０４の容量を少なくとも２フレーム分として、先行及び後続フレームの画像データを両方格納するようにし、後続フレームの画像データを画像メモリ１０４から出力させることにより、上述の補償回路の代わりとしても良い。

［第２の実施形態］
本発明の第２の実施形態について図３を参照して説明する。図３は、本発明の第２の実施形態に係る電子カメラの構成を示すブロック図である。

図３において図１と異なる点は、速度センサ１０５に代わりに、ズームパラメータ検出部としてのカウンタ回路１１２が設けられている点と、光学系１０１が変倍可能なズームレンズを含む点である。

光学系１０１は、ユーザによってズーム率の変更操作がなされた場合にはレンズ駆動が行われる。この際、光学系１０１は、ズームに係るパラメータを示すパルス信号をカウンタ回路１１２に出力する。カウンタ回路１１２は、光学系１０１から入力されたパルスをカウントし、このカウント値を固体撮像素子１０２の撮像タイミング（つまり、撮像素子駆動回路１０３から電気信号読出し指示信号が出力されるタイミング）に同期して変倍率演算回路１０６に出力する。

変倍率演算回路１０６は、先行フレームの画像の撮像時におけるカウンタ回路１１２からの入力値と後続フレームの画像の撮像時におけるカウンタ回路１１２からの入力値とを比較してリサイズ回路１０７におけるリサイズ処理の際の変倍率を演算する。変倍率は、例えば先行フレームの画像の撮像時におけるカウンタ回路１１２からの入力値に対する後続フレームの画像の撮像時におけるカウンタ回路１１２からの入力値から求めることができる。ここで、変倍率が１を超える場合にはテレ側方向にレンズ駆動が行われた場合であり、変倍率が１より小さい場合にはワイド側方向にレンズ駆動が行われた場合である。

なお、変倍率が演算された後のリサイズ処理、像ブレ補正などの処理は第１の実施形態と同様である。

以上説明したように、第２の実施形態によれば、光学系１０１のズーム率が高速に変化した場合などでも、正しく動きベクトルを検出することができ、適切な像ブレ補正を行うことができる。

以上実施形態に基づいて本発明を説明したが、本発明は上記した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。例えば、上記した実施形態において表示装置１１０は省略しても良い。また、メモリカード１１１は、ハードディスクなどの他の記録メディアでも良い。
さらに、変倍率演算回路１０６、リサイズ回路１０７、動きベクトル算出回路１０８、カウンタ回路１１２はハードウェアで構成しても良いし、ソフトウェアとして構成しても良い。
また、上記第１の実施形態と第２の実施形態を組み合わせて使用するようにしても良い。

さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。

本発明の第１の実施形態に係る電子カメラの構成を示すブロック図である。 図１の電子カメラによって動きベクトルを検出する際の画像比較の様子を示す図である。 本発明の第２の実施形態に係る電子カメラの構成を示すブロック図である。

符号の説明

１０１…光学系、１０２…固体撮像素子、１０３…撮像素子駆動回路、１０４…画像メモリ、１０５…速度センサ、１０６…変倍率演算回路、１０７…リサイズ回路、１０８…動きベクトル算出回路、１０９…画像データ読出し制御回路、１１０…表示装置、１１１…メモリカード、１１２…カウンタ回路、１１３…信号処理回路

Claims (5)

1. 先行フレームの画像データの所定領域を、後続フレームの画像データ中における前記所定領域に対応する領域の画像サイズに合わせるように変倍するリサイズ回路と、
   前記リサイズ回路から出力された前記先行フレームに係る画像データと、前記後続フレームの画像データとに基づき、前記所定領域に係る動きベクトルを算出する動きベクトル算出回路と、
   を具備することを特徴とする像ブレ検出装置。
2. 前記先行フレームの画像データの所定領域と前記後続フレームの画像データの所定領域との間の変倍率を算出する変倍率演算回路を含むことを特徴とする請求項１に記載の像ブレ検出装置。
3. 受光面を有し、光学系により前記受光面に結像される被写体像を電気信号に変換する撮像素子と、
   前記撮像素子からの画像データを記憶する画像メモリと、
   前記画像メモリに記憶された画像データを前記先行フレームに係る画像データとして前記動きベクトルを算出する請求項１に記載の像ブレ検出装置と、
   前記像ブレ検出装置において算出された動きベクトルに基づいて像ブレを補正する像ブレ補正回路と、
   を具備することを特徴とする電子カメラ。
4. 前記像ブレ検出装置は、被写体と前記撮像素子との間の移動速度を検出する移動速度検出部を含み、
   前記変倍率演算回路は、前記後続フレームの画像データの取得時における移動速度検出部の検出結果より前記変倍率を算出することを特徴とする請求項３に記載の電子カメラ。
5. 前記像ブレ検出装置は、画像データにおける前記光学系のズームに係るパラメータを検出するズームパラメータ検出部を含み、
   前記変倍率演算回路は、前記先行フレームの画像データにおける前記ズームに係るパラメータと前記後続フレームの画像データにおける前記ズームに係るパラメータとから前記変倍率を算出することを特徴とする請求項３に記載の電子カメラ。

Images