JPH0846856A - 手振れ補正装置 - Google Patents

Abstract

(57)【要約】 【目的】撮影した画像の移動ベクトルを検出し、この移
動ベクトルに基づいて前記撮影した画像を移動させて画
像メモリに記録し、画像メモリに記憶されていた画像デ
ータと合成することによって、撮像素子の有効画素数を
低下させること無く画像の手振れ補正を行うことができ
る手振れ補正装置を提供する。 【構成】カメラの撮像部から順次出力されるアナログの
映像信号をＡ／Ｄ変換器１６によってデジタルの画像デ
ータに変換し、この画像データを１画面分の画像データ
を記録することができる画像メモリ１８に記憶する。こ
のとき、角度センサ２６、２７とズーム（倍率）によっ
て画像が手振れによって移動した量を検出し、この移動
量に基づいて画像メモリ１８のアドレスを移動させて前
記画像データを記録する。これによって、手振れによる
画像の移動ベクトル分だけ画像データは移動して画像メ
モリ１８に記憶される。そして、この画像メモリ１８に
記憶されている画像データをＤ／Ａ変換器２０によって
アナログの映像信号に変換する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は手振れ補正装置に係り、
特にカメラから得られた画像を補正することによって手
振れ補正画像を形成する手振れ補正装置に関する。

【０００２】

【従来の技術】従来、電子的に手振れ補正を行う手振れ
補正装置は、撮像素子の撮像面から画面の切り出す大き
さを、撮像面全体の入力画面より小さくし、手振れによ
って動いた方向と量に合わせて画面の切り出す位置を変
えて画像信号を読み出し、その後電子的にズーミングを
行って入力画面から読み出した画像信号と等価な画像信
号を作成するようにしている。

【０００３】

【発明が解決しようとする課題】しかしながら、この方
法では手振れ防止装置を作動させている間、撮像素子の
撮像面全体を使えないため、撮像素子の有効画素数を低
下させている。また、手振れを防止する装置を通常のカ
メラシステムに組み込むことは、大幅な改造を伴いほと
んど不可能である。

【０００４】本発明はこのような事情に鑑みてなされた
もので、撮像素子の有効画素数を低下させることなく、
電子的に手振れ補正を行うことのできる手振れ補正装置
を提供することを目的とする。

【０００５】

【課題を解決するための手段】本発明は前記目的を達成
するために、カメラの撮像部から順次出力されるアナロ
グの映像信号をデジタルの画像データに変換するＡ／Ｄ
変換器と、前記Ａ／Ｄ変換器から出力される１画面分の
画像データを記憶する画像メモリと、前記画像メモリか
ら読み出される画像データをアナログの映像信号に変換
するＤ／Ａ変換器と、任意の基準となる基準画像に対す
る後続の画像の移動ベクトルを検出する検出手段と、前
記Ａ／Ｄ変換器から順次出力される画像データによって
前記画像メモリの記憶内容を更新する際に、前記検出手
段によって検出された移動ベクトルに基づいて、前記Ａ
／Ｄ変換器から出力される画像データの格納すべきアド
レス又は前記画像メモリに設定されるアドレスをシフト
させ、前記画像データを前記画像メモリに記憶させる制
御手段と、を備えたことを特徴としている。

【０００６】

【作用】本発明によれば、カメラから順次出力されるア
ナログの映像信号をデジタルの画像データに変換し、こ
の画像データを１画面分の画像データを記録することが
できる画像メモリに記憶するとともに、前記画像メモリ
に記録されていた古い画像データを順次アナログの映像
信号に変換する。

【０００７】そして、検出手段によって基準画像に対す
る後続の画像の移動ベクトルを検出し、前記画像メモリ
に画像データを記憶する際には、前記検出した移動ベク
トルに基づいて画像データの格納すべきアドレス及び画
像メモリに設定されるアドレスをシフトさせ、画像デー
タの格納すべきアドレスに対する画像メモリに設定され
るアドレスの相対的なシフト量を前記検出した移動量と
等しくする。

【０００８】

【実施例】以下添付図面に従って本発明に係る手振れ補
正装置の好ましい実施例を詳述する。図１は手振れ補正
画像の形成の原理を示した説明図である。時間的に前後
する２枚のフレーム画像をそれぞれＬ₀ 、Ｌ₁ と表し、
Ｌ₀ はＬ ₀ 以後に撮影される画像に対して基準となる基
準画像であり、またＬ₁ はＬ₀ に後続する画像である。

【０００９】同図（Ａ）において、実線で示す枠内の基
準画像Ｌ₀ に対して後続の画像Ｌ₁は、手振れによって
同図（Ａ）の点線で示される枠内の画像に移動してい
る。このとき、画像Ｌ₁ をそのまま画面に表示すると、
同図（Ｂ）の実線で示す枠内の画像のように表示され
る。尚、同図（Ａ）、（Ｂ）、（Ｃ）、（Ｄ）において
実線で示す枠内の画像が画面に表示されるものとする。

【００１０】ここで、基準画像Ｌ₀ に対する後続の画像
Ｌ₁ の手振れによる水平方向の移動量をｄｍ、垂直方向
の移動量をｄｎとする（以後、（ｄｍ，ｄｎ）と表記
し、これを移動ベクトルという）。このとき、画像Ｌ₁
を上記移動ベクトル（ｄｍ，ｄｎ）だけ移動させ、同図
（Ｃ）の実線枠内の画像Ｌ₁ ’を画面に出力するように
する。しかし、このまま画像Ｌ₁ ’を画面に出力する
と、同図（Ｃ）の実線斜線で示す範囲は空白となる。そ
こで、この空白部分は基準画像Ｌ₀ の対応する画像部分
で補うようにする。即ち、同図（Ａ）の基準画像Ｌ₀ と
後続の画像Ｌ₁ とが重複する部分のみ画像Ｌ₁ から抽出
し、基準画像Ｌ₀ のうち前記重複する部分の画像のみを
上書きするようにする。

【００１１】このようにして合成された画像は同図
（Ｄ）の実線枠で示す画像Ｌ₁ ”のようになる。この画
像Ｌ₁ ”は基準画像Ｌ₀ と等しい画像になっており、手
振れによる画像の移動が補正されていることがわかる。
尚、上記説明において画像Ｌ₁ ”を形成する際、画像Ｌ
₁ ’の空白部分を基準画像Ｌ₀ によって補っていたが、
実際には手振れが起こっている間に被写体自体が変化し
ている場合があり、画像Ｌ₁ ’の空白部分を基準画像Ｌ
₀ の画像で補うと不自然な合成画像になってしまう場合
が生じる。従って、画像Ｌ₁ ’の空白部分は、画像
Ｌ₁ ’の一回前に補正された画像によって補うようにす
る（画像Ｌ₁が基準画像Ｌ₀ の次に撮影された画像の場
合は基準画像Ｌ₀ によって補正する）。

【００１２】図２は本発明に係る手振れ補正装置の内部
構成を示すブロック図である。同図において、被写体は
撮影光学系１０によって固体撮像素子（ＣＣＤ）１２面
上に結像され、ＣＣＤ１２によって電気信号に変換され
る。ＣＣＤ１２から出力された電気信号は撮像回路１４
によって映像信号に変換される。撮像回路１４から出力
される映像信号は、手振れ補正を行う否かによって異な
ったプロセスを経由する。即ち、撮影されている画像を
そのまま出力するときには、選択スイッチ２２において
端子３２側を端子３６に接続し、撮像回路１４からの映
像信号を直接出力端子３０に出力している。尚、手振れ
補正を行う手振れ補正モードと撮影画像をそのまま出力
する通常モードの選択がスイッチ２８の操作によって行
われるようになっており、もし、スイッチ２８がオフの
状態（通常モード）に操作された場合は、撮影画像の手
振れ補正は行わず選択スイッチ２２は常に端子３２に接
続されている。

【００１３】一方、手振れ補正を行う場合には、選択ス
イッチ２２において端子３４側を端子３６に接続し、撮
像回路１４からの映像信号をＡ／Ｄ変換器１６側に出力
するようにしている。スイッチ２８がオンの状態に操作
され手振れ補正モードが選択された場合に、上記手振れ
補正を行うか否かの判断は画像の変動状態から判断して
いる。この画像の変動状態は、角速度センサ２６、２７
から出力される角速度に比例した電圧信号と撮影光学系
１０のズームレンズ１０Ａの位置（倍率）を示す信号と
に基づいて基準画像に対して撮像回路１４から出力され
る映像信号の示す画像が水平方向及び垂直方向に移動し
た量（移動量）を算出することによって検知される（今
後、画像が移動した方向と量を総称して移動ベクトルと
いうことにする）。もし、上記移動ベクトルの絶対値が
一定以上で、所定の周期を持って変動していれば、手振
れが生じていると判断し手振れ補正を行う。

【００１４】尚、上記角速度センサ２６、２７は、それ
ぞれ水平方向と垂直方向の角速度を検出するように設置
され、カメラの水平方向及び垂直方向の角速度に比例し
た電圧信号をＣＰＵ２０に出力している。また、上記基
準画像は撮影開始とともに設定され、手振れが生じ手振
れ補正を行うと判断した場合には、この判断の直前の撮
影方向で撮影された画像を基準として、後続する画像の
移動ベクトルを算出する。

【００１５】次に、手振れ補正を行う場合の映像信号処
理のプロセスについて説明する。撮像回路１４から出力
された映像信号はＡ／Ｄ変換器１６によってデジタルの
画像データに変換される。そして、この画像データは画
像メモリ１８の所定のアドレスに格納される。ただし、
画像メモリ１８に設定されるアドレスは上記画像の移動
ベクトルに基づいて変化し、Ａ／Ｄ変換器１６から出力
される画像データは手振れによる移動方向と同方向に上
記移動量分だけ移動した状態で画像メモリ１８に上書き
される。

【００１６】画像メモリ１８は、画像の画素数と同じサ
イズのメモリを有し１フレーム分の画像データを記憶し
ており、上記画像メモリ１８のアドレスを上記画像の移
動方向に上記移動量だけ移動させて、Ａ／Ｄ変換器１６
から出力される画像データを記録している。これによっ
て画像メモリ１８に設定されたアドレスの範囲から外れ
た前記画像データは除去され、新しい画像データが記録
されなかった範囲のアドレスには元々記録されていた画
像データがそのまま残ることになる。

【００１７】例えば、図１を用いて画像メモリのアドレ
スの設定方法を説明すると、まず、画像メモリ１８上に
図１（Ａ）の実線枠で示す画像Ｌ₀ が記録されていたと
する。このとき図１（Ａ）の左上隅ａ点に対応する画像
メモリ１８のアドレスを例えば０とすると、後続する画
像Ｌ₁ を記録するときには図１（Ａ）の左上ｂ点（点線
枠の左上隅）に対応する画像メモリ１８のアドレスを０
として記録する。これによって、画像メモリ１８には画
像Ｌ₁ ’が上書きされ、Ｌ₁ ”画像が形成される。

【００１８】このようにして画像メモリ１８上に形成し
た手振れ補正画像は順次Ｄ／Ａ変換器２０に出力され、
アナログの映像信号に変換された後、選択スイッチ２２
を介して出力端子３０から出力される。図３は、本発明
に係る手振れ補正装置におけるＣＰＵの処理手順を示し
たフローチャートである。

【００１９】まず、ステップＳ１０において初期設定を
行う。ここでは、現時点においてテレビカメラが撮影し
ている撮影方向を基準方向とし、このとき撮影している
画像を基準画像として設定する。ステップＳ１２におい
て角速度センサ２２から順次出力される角速度を積分
し、上記基準方向からの水平方向及び垂直方向の振れ量
を計算する（Ｓ１２）。また、撮像光学系１０のズーム
レンズ１０Ａの位置から画角を求める（Ｓ１４）。そし
て、上記テレビカメラの振れ量と画角から基準画像に対
して画像が水平方向及び垂直方向に移動した量（移動ベ
クトル）（ｄｍ，ｄｎ）を求める（Ｓ１６）。

【００２０】ステップＳ１８では、上記移動ベクトルが
一定値以上の振幅をもって周期的に変動しているか否か
を判断する。即ち、上記移動ベクトルが手振れによるも
のか、或いはパンニング、チルティング動作によるもの
かを判断する。もし、上記ステップＳ１８によって上記
移動ベクトルが手振れによるものではないと判断する
と、選択スイッチ２２のスイッチを端子３２側に接続
し、映像信号をそのまま出力端子３０に出力する（Ｓ２
０）。

【００２１】一方、上記ステップＳ１８によって上記移
動ベクトルが手振れによるものであると判断すると、選
択スイッチ２２のスイッチを端子３４側に接続し、映像
信号を画像メモリ１８側に出力する（Ｓ２４）。そし
て、割り込み処理を行う（Ｓ２６）。尚、上記移動ベク
トルが手振れによるものであると判断したときには、移
動ベクトル（ｄｍ，ｄｎ）はこの判断の直前に撮影され
た画像を基準画像として算出する。

【００２２】次に、図４のフローチャートを示す上記割
り込み処理の説明を行う。まず、上記移動ベクトル（ｄ
ｍ，ｄｎ）に基づいて画像メモリ１８のアドレスを設定
する（Ｓ４０）。そして、ステップＳ４２において、Ａ
／Ｄ変換器１６から出力される画像データを画像メモリ
１８に記録している。即ち、移動ベクトル（ｄｍ，ｄ
ｎ）に対応した分だけ画像メモリに設定するアドレスを
平行移動させることによって、Ａ／Ｄ変換器１６から出
力される画像データを見かけ上（ｄｍ，ｄｎ）移動させ
て、前回出力したフレーム画像に上書きするようにして
いる。そして、この画像メモリ１８に記録された補正画
像はＤ／Ａ変換器２０に出力される（Ｓ４４）。

【００２３】以上、説明した処理を逐次行うことによっ
て、手振れによる画像のブレを停止させることができ
る。次に、上記実施例とは異なる別の実施例の説明を行
う。上記実施例においては画像の移動ベクトルを機械式
センサである角速度センサを用いて検出していた。しか
しながらこれに限らず画像センサによって検出してもよ
い。

【００２４】画像センサは先行する画像と後続する画像
の相関を計算しこの相関に基づいて画像の移動ベクトル
を検出する。相関は先行する画像と後続する画像が完全
に一致するときに最大値をとるため、後続する画像を移
動させて相関が最大となるときの移動ベクトルを求めれ
ば手振れの補正を行うことができる。但し、画像センサ
によって手振れ補正を行う場合は、カメラの手振れによ
る画像の変化とパンニング動作、チルティング動作及び
被写体の変動による画像の変化を区別する必要がある。
このため、画面の中に複数の区画を設け、それぞれの区
画内に於いて相関計算を行い、それぞれの区画における
画像の移動ベクトルを計算する。そして、これらの画像
の移動ベクトルの内、移動量の小さいものを選出し（移
動量がある区画に関してのみ大きい場合はパンニング動
作、チルティング動作又は被写体の変動によるものと考
えられるため、このような区画の移動量は省く）、この
移動ベクトルを加算する（ベクトル演算）。これによっ
て、手振れによる画像の移動ベクトルを決定することが
できる。

【００２５】尚、上記実施例において、手振れの方向を
限定して画像の補正を行うとより更に効果的な手振れ補
正ができる。例えば、パンニング動作を行っているとき
には垂直方向のみの手振れ補正を行い、チルティング動
作を行っているときには水平方向のみの手振れ補正を行
うようにする。

【００２６】

【発明の効果】以上説明したように本発明に係る手振れ
補正装置によれば、画像の手振れによって移動した移動
ベクトルを検出し、この移動ベクトルに基づいて画像を
移動させ、この移動によって生じた画面の空白部分を先
行する画像で補うようにしたため、撮像素子の有効画素
数を低下させることなく手振れ補正を行うことが出来
る。

【図面の簡単な説明】

【図１】図１は手振れ補正の原理を示した説明図であ
る。

【図２】図２は本発明に係る手振れ補正装置の内部構成
を示すブロック図である。

【図３】図２に示す手振れ補正装置の処理手順を示した
フローチャートである。

【図４】図４は図３の割り込み処理を示したフローチャ
ートである。

【符号の説明】

１０…撮影光学系 １２…ＣＣＤ １６…Ａ／Ｄ変換器 １８…画像メモリ ２０…Ｄ／Ａ変換器 ２２…選択スイッチ ２４…ＣＰＵ ２６、２７…角速度センサ

Claims (3)

【特許請求の範囲】
1. 【請求項１】 カメラの撮像部から順次出力されるアナ
   ログの映像信号をデジタルの画像データに変換するＡ／
   Ｄ変換器と、 前記Ａ／Ｄ変換器から出力される１画面分の画像データ
   を記憶する画像メモリと、 前記画像メモリから読み出される画像データをアナログ
   の映像信号に変換するＤ／Ａ変換器と、 任意の基準となる基準画像に対する後続の画像の移動ベ
   クトルを検出する検出手段と、 前記Ａ／Ｄ変換器から順次出力される画像データによっ
   て前記画像メモリの記憶内容を更新する際に、前記検出
   手段によって検出された移動ベクトルに基づいて、前記
   Ａ／Ｄ変換器から出力される画像データの格納すべきア
   ドレス又は前記画像メモリに設定されるアドレスをシフ
   トさせ、前記画像データを前記画像メモリに記憶させる
   制御手段と、 を備えたことを特徴とする手振れ補正装置。
2. 【請求項２】 前記カメラの撮像部からの映像信号と前
   記Ｄ／Ａ変換器からの映像信号のいずれか一方を選択し
   て出力する選択スイッチを設けたことを特徴とする請求
   項１の手振れ補正装置。
3. 【請求項３】 前記検出手段によって検出される移動ベ
   クトルの絶対値が一定値以上で、所定の周期を持ってい
   るときに手振れとして認識する認識手段を設け、該認識
   手段によって手振れが認識されているときのみ前記Ｄ／
   Ａ変換器からの映像信号を前記選択スイッチによって選
   択して出力することを特徴とする請求項２の手振れ補正
   装置。