JPH05276438A - 画像処理装置 - Google Patents

Abstract

(57)【要約】 【目的】本発明は、例えば複数枚の画像を合成して画面
全体としてフオーカスの合つた画像を合成する場合に、
簡易に画像間のずれ量を検出する。 【構成】本発明は、原画像を分割して位置ずれを検出
し、このとき順次原画像の分割領域を細かくし、順次段
階的に位置ずれを向上する。

Description

【発明の詳細な説明】

【０００１】

【目次】以下の順序で本発明を説明する。 産業上の利用分野 従来の技術 発明が解決しようとする課題 課題を解決するための手段（図１及び図３） 作用（図１及び図３） 実施例 （１）全体構成（図１及び図２） （２）処理手順（図３〜図５） （３）実施例の効果 （４）他の実施例 発明の効果

【０００２】

【産業上の利用分野】本発明は画像処理装置に関し、例
えば複数枚の画像を合成して画面全体としてフオーカス
の合つた画像を合成する場合に適用し得る。

【０００３】

【従来の技術】従来、カメラ等の撮像装置においては、
照明及び絞りを調整して、所望の焦点深度を得るように
なされている。すなわち絞りを絞ることにより、被写界
深度を大きくし得、これによりシャープな画像を撮像し
得る。

【０００４】

【発明が解決しようとする課題】ところで、画面全体に
フオーカスを合わせることができれば、１枚の画像から
より多くの画像情報を得ることができ、便利であると考
えられる。

【０００５】この場合、順次焦点距離を切り換えて撮像
した複数枚の撮像画像からフオーカスの合つた部分を切
り出して合成する方法が考えられる。このとき焦点距離
の切り換え作業、手振れ等により被写体が上下左右にぶ
れて撮像された場合、このぶれを補正する必要がある。

【０００６】すなわち複数枚の撮像画像から基準となる
１枚の撮像画像を選定した後、この基準の画像に対する
各撮像画像のずれ量を検出し、これによりこの検出結果
に基づいて各撮像画像のずれを補正する必要がある。

【０００７】ところが画像全体としてずれ量を検出する
場合、演算処理に時間を要する問題がある。すなわちず
れ量を検出する場合、演算処理に要する時間がほぼ画素
数の２乗に比例して増大することにより、各撮像画像に
ついて画像全体でずれ量を検出する場合、その演算処理
時間が極めて大きくなる問題があつた。

【０００８】本発明は以上の点を考慮してなされたもの
で、簡易に画像間のずれ量を検出することができる画像
処理装置を提案しようとするものである。

【０００９】

【課題を解決するための手段】かかる課題を解決するた
め本発明においては、基準原画像及び補正用原画像に基
づいて合成画像を生成する画像処理装置１において、基
準原画像及び補正用原画像を所定の分割数で分割し、各
分割した領域を基準にして基準原画像に対する補正用原
画像の大まかな位置ずれ量を検出した後、基準原画像及
び補正用原画像を分割数よりさらに細分割し、大まかな
位置ずれ量検出結果に基づいて、細分割した領域を基準
にして基準原画像に対する補正用原画像の細かな位置ず
れ量を検出し、細かな位置ずれ量で補正用原画像の位置
ずれを補正する。

【００１０】

【作用】基準原画像及び補正用原画像を所定の分割数で
分割して大まかな位置ずれ量を検出した後、さらに細分
割して細かな位置ずれ量を検出すれば、演算処理作業を
簡略化して細かな位置ずれ量を検出することができる。

【００１１】

【実施例】以下図面について、本発明の一実施例を詳述
する。

【００１２】（１）全体構成 図１において、１は全体として画像処理装置を示し、撮
像装置２で撮像した複数枚の撮像画像を合成して画面全
体としてフオーカスの合つた画像を生成する。

【００１３】すなわち画像処理装置１は、電子スチルカ
メラでなる撮像装置２で、順次焦点距離を切り換えて被
写体を撮像し、画像取り込み器４を介してその撮像画像
を取り込む。さらに画像処理装置１は、取り込んだ画像
を一旦外部記憶装置６に蓄積し、必要に応じて表示装置
８に表示する。

【００１４】さらに画像処理装置１は、キーボード１
０、マウス１２の操作に応じた所定の処理プログラムを
実行し、これにより取り込んだ画像を合成して画面全体
としてフオーカスの合つた画像を生成する。さらに画像
処理装置１は、必要に応じて合成した画像を表示装置８
で表示すると共に、外部記憶装置６に格納する。

【００１５】図２に示すように画像処理装置１は、バス
ＢＳを介して、入出力インターフエース１６と中央処理
ユニツト（ＣＰＵ）１８とが接続されるようになされ、
これにより入出力インターフエース１６を介して撮像画
像の画像データＤＶ１を入力すると共に、コンソール２
０の操作等に応じて合成画像の画像データＤＶ２を出力
し得るようになされている。

【００１６】中央処理ユニツト１８は、取り込んだ画像
データＤＶ１を入力画像メモリ２２に格納すると共に、
リードオンリメモリ２４に格納した処理プログラムに従
つてこの画像データＤＶ１を処理し、これにより撮像画
像を合成して合成画像を生成する。さらに中央処理ユニ
ツト１８は、合成画像の画像データＤＶ２を出力画像メ
モリ２６に蓄積し、これにより入出力インターフエース
１６を介して必要に応じて合成画像の画像データＤＶ２
を出力し得るようになされている。

【００１７】（２）処理手順 ここで中央処理ユニツト１８は、所定の処理手順を実行
して複数の撮像画像間の位置ずれ量を検出する。これに
より中央処理ユニツト１８は、この位置ずれ量検出結果
に基づいて撮像画像間の位置ずれを補正した後、この撮
像画像からフオーカスの合つた部分を切り出して合成画
像を生成する。

【００１８】このとき図３に示すように中央処理ユニツ
ト１８は、始めに撮像画像Ｍを大まかに分割し、この分
割した領域ＡＲ１１〜ＡＲ２２を単位として位置ずれを
検出する。続いて中央処理ユニツト１８は、図４に示す
ように撮像画像を細分割し、細分割した領域ＡＲ１１〜
ＡＲ８８を単位として位置ずれ検出を繰り返す。このと
き中央処理ユニツト１８は、始めの大まかな位置ずれ検
出結果から、所定の位置ずれ量検出領域を設定し、この
検出領域で細かな位置ずれを検出する。

【００１９】この細かな位置ずれが検出されると、中央
処理ユニツト１８は、さらに撮像画像を細分割して位置
ずれ検出処理を繰り返し、このとき各位置ずれ検出結果
に基づいて所定の位置ずれ検出領域の範囲で位置ずれ検
出処理を繰り返す。これにより中央処理ユニツト１８に
おいては、最終的に画素単位で位置ずれ量を検出し、こ
の検出結果に基づいて位置ずれを補正する。

【００２０】このとき中央処理ユニツト１８において
は、順次大まかな位置ずれ検出結果から位置ずれ検出領
域を設定し、この限られた領域で位置ずれ検出処理を繰
り返すことにより、当初から画素単位で位置ずれを検出
する場合に比して、演算処理作業を簡略化することがで
きる。

【００２１】この位置ずれ検出原理に従つて、中央処理
ユニツト１８は、図５に示す処理手順を実行して位置ず
れを検出する。このとき中央処理ユニツト１８は、複数
枚の撮像画像の中から一枚の撮像画像を基準画像に選定
し、この基準画像を基準にして各撮像画像毎に位置ずれ
を検出する。

【００２２】すなわち中央処理ユニツト１８は、ステツ
プＳＰ１からステツプＳＰ２に移り、ここで対比する２
つの撮像画像を大まかに分割する。中央処理ユニツト１
８は、このとき次式

【数１】 を満足する範囲で最少となる画素数Ｎを検出し、この画
素数を単位として水平及び垂直方向に撮像画像を分割す
る。ここでＷ及びＨは、撮像画像の水平及び垂直方向の
画素数を表す。

【００２３】さらに中央処理ユニツト１８は、分割した
各領域毎に、画像データの平均値を得、この実施例にお
いてはこの平均値を基準にして位置ずれ量を検出する。
すなわち中央処理ユニツト１８においては、撮像画像の
分割が完了すると、ステツプＳＰ３に移り、基準画像に
対して水平及び垂直方向に順次分割した領域を単位とし
て対比する撮像画像を移動させ、このとき重なり合う２
つの領域間で平均値の差を検出する。

【００２４】さらに中央処理ユニツト１８は、この平均
値間の差について、各移動位置毎に絶対値和を検出し、
この絶対値和の最も小さい位置を位置ずれ位置に選定す
る。これにより中央処理ユニツト１８は、元の位置を基
準にしてこの位置ずれ位置を検出し、大まかに位置ずれ
量を検出するようになされている。

【００２５】かくして分割した領域毎に画像データの平
均値を得、この平均値を基準にして大まかに位置ずれ量
を検出することにより、簡易な演算処理で位置ずれ量を
検出することができる。この大まかな位置ずれが検出さ
れると、中央処理ユニツト１８は、ステツプＳＰ４に移
り、細分割値を設定する。

【００２６】この設定作業は、ステツプＳＰ２において
分割した分割値をさらに１／５に設定することにより実
行され、この細分割値が設定されると、中央処理ユニツ
ト１８はステツプＳＰ５に移る。ここで中央処理ユニツ
ト１８は、ステツプＳＰ４において設定した分割値で、
撮像画像を細分割し、細分割した各領域毎に画像データ
の平均値を検出する。

【００２７】続いて中央処理ユニツト１８は、ステツプ
ＳＰ６に移り、ここで細分割した領域を単位として位置
ずれ量を検出する。この検出処理の際、中央処理ユニツ
ト１８は、ステツプＳＰ３において検出した位置ずれ位
置を中心にして上下左右３つの細分割領域の範囲で位置
ずれを検出し、これにより大まかな位置ずれ検出結果に
基づいて位置ずれ検出領域を設定し、この限られた位置
ずれ検出領域内で位置ずれを検出する。

【００２８】かくして大まかな位置ずれ検出結果に基づ
いて限られた位置ずれ検出領域内で位置ずれを検出する
ことにより、効率良く位置ずれを検出し得、その分簡易
な演算処理で位置ずれを検出することができる。この細
分割した領域を単位として位置ずれが検出されると、中
央処理ユニツト１８は、この位置ずれ検出結果で大まか
な位置ずれ検出結果を補正し、これにより一段と精度の
高い位置ずれ量を検出する。

【００２９】この位置ずれ検出処理が完了すると、中央
処理ユニツト１８は、ステツプＳＰ７に移り、続いて各
領域を１／５に細分割したとき、細分割した領域が１画
素以上の範囲に留まるか否か判断し、この場合肯定結果
が得られることにより、ステツプＳＰ５に戻る。これに
より中央処理ユニツト１８は、ステツプＳＰ５−ＳＰ６
−ＳＰ７−ＳＰ５の処理ループＬＯＯＰ１を繰り返し、
各領域を順次細かく分割して位置ずれ検出結果の精度を
向上する。

【００３０】これに対して分割処理を繰り返した結果、
続いて各領域を１／５に細分割したとき、細分割した領
域が１画素未満になる場合、ステツプＳＰ７において否
定結果が得られ、中央処理ユニツト１８はステツプＳＰ
８に移る。

【００３１】ここで中央処理ユニツト１８は、分割した
領域が１画素の単位か否か判断し、ここで否定結果が得
られると、ステツプＳＰ９に移る。この場合撮像画像に
おいては、細分割を繰り返して各分割領域が２〜４画素
の範囲にあることを意味し、ここで中央処理ユニツト１
８は、細分割値を１画素に設定してステツプＳＰ５に移
る。

【００３２】これにより中央処理ユニツト１８は、順次
段階的に位置ずれ量を検出し、最終的に１画素単位の位
置ずれ検出結果が得られると、ステツプＳＰ８において
肯定結果が得られることにより、ステツプＳＰ１０に移
つて処理手順を終了する。

【００３３】中央処理ユニツト１８は、このようにして
１画素単位で位置ずれ量が検出されると、この検出結果
に基づいて基準画像に対して撮像画像の位置ずれを補正
する。さらに中央処理ユニツト１８は、補正後の画像か
らフオーカスの合つた部分を切り出した後、この切り出
した部分を合成して合成画像を生成し、これにより撮像
画像全体としてフオーカスの合つた画像を生成する。

【００３４】（３）実施例の効果 以上の構成によれば、順次撮像画像の分割領域を細かく
し、順次段階的に細かな位置ずれを検出することによ
り、簡易な演算処理で対比する２つの撮像画像間で位置
ずれを検出することができる。

【００３５】（４）他の実施例 なお上述の実施例においては、（１）式を満足するよう
に初期分割数を選定すると共に、順次分割領域を１／５
に設定する場合について述べたが、本発明はこれに限ら
ず、必要に応じて種々の値に選定することができる。

【００３６】さらに上述の実施例においては、フオーカ
スの合つた部分を切り出して画像を合成する場合につい
て述べたが、本発明はこれに限らず、複数の画像を使用
して画像合成する場合等に広く適用することができる。

【００３７】

【発明の効果】上述のように本発明によれば、原画像を
分割して位置ずれを検出し、このとき順次原画像の分割
領域を細かくし、段階的に細かな位置ずれを検出するこ
とにより、簡易な演算処理で対比する２つの撮像画像間
で精度の高い位置ずれを検出することができる画像処理
装置を得ることができる。

【図面の簡単な説明】

【図１】本発明の一実施例による画像処理装置を示すブ
ロツク図である。

【図２】その詳細構成を示すブロツク図である。

【図３】その原理の説明に供する略線図である。

【図４】細分割した撮像画面を示す略線図である。

【図５】その処理手順を示すフローチヤートである。

【符号の説明】

１……画像処理装置、２……撮像装置、１８……中央処
理ユニツト、２２……入力画像メモリ、２６……出力画
像メモリ。

Claims (1)

【特許請求の範囲】
1. 【請求項１】基準原画像及び補正用原画像に基づいて合
   成画像を生成する画像処理装置において、 上記基準原画像及び補正用原画像を所定の分割数で分割
   し、各分割した領域を基準にして上記基準原画像に対す
   る上記補正用原画像の大まかな位置ずれ量を検出した
   後、 上記基準原画像及び補正用原画像を上記分割数よりさら
   に細分割し、上記大まかな位置ずれ量検出結果に基づい
   て、上記細分割した領域を基準にして上記基準原画像に
   対する上記補正用原画像の細かな位置ずれ量を検出し、 上記細かな位置ずれ量で上記補正用原画像の位置ずれを
   補正することを特徴とする画像処理装置。