WO2017199758A1 - 画像処理装置、画像処理方法、撮像装置、プログラム - Google Patents

Abstract

本技術は、動き補正をより適切に行えるようにする画像処理装置、画像処理方法、撮像装置、プログラムに関する。 異なるタイミングで撮像された複数の画像を合成する合成部と、動きに関する画像への影響を低減する補正を行う動き補正部とを備え、動き補正部は、所定の間隔で供給される動き量に関する動き量情報を参照する区間の基準を、複数の画像を合成するときの合成比率に基づき設定し、設定された基準を元に、動き量情報を参照し、補正を行う。複数の画像は、長時間露光期間で撮像された長時間露光画像と、短時間露光期間で撮像された短時間露光画像であり、合成部は、長時間露光画像と短時間露光画像を合成比率で合成することで、ダイナミックレンジの広い画像を生成する。本技術は、撮像装置に適用できる。

Description

画像処理装置、画像処理方法、撮像装置、プログラム

　本技術は画像処理装置、画像処理方法、撮像装置、プログラムに関し、例えば、動きによる画質への影響をより適切に低減できるようにした画像処理装置、画像処理方法、撮像装置、プログラムに関する。

　従来、撮像装置のダイナミックレンジ拡大技術が存在する。例えば、異なる感度で時分割に撮像し、時分割に撮像した複数の画像を合成する時分割方式が知られている。（例えば、特許文献１参照）

特開２００１－３４６０９６号公報

　例えば手振れといった動きによるずれの影響を低減するための補正（以下、動き補正と記述する）が行われる場合、記録フレーム基準で行われる。上記したように、異なる感度で時分割に撮像した画像を合成するような場合、合成後の画像を基準として動き補正が行われる。しかしながら、異なる感度で撮像された画像をどのような割合で合成したかを考慮せずに動き補正が行われることで、補正精度が低下してしまう可能性があった。

　本技術は、このような状況に鑑みてなされたものであり、動きによる影響を低減するための補正をより適切にできるようにするものである。

　本技術の一側面の画像処理装置は、異なるタイミングで撮像された複数の画像を合成する合成部と、動きに関する前記画像への影響を低減する補正を行う動き補正部とを備え、前記動き補正部は、所定の間隔で供給される動き量に関する動き量情報を参照する区間の基準を、前記複数の画像を合成するときの合成比率に基づき設定し、前記設定された基準を元に、前記動き量情報を参照し、前記補正を行う。

　本技術の一側面の画像処理方法は、異なるタイミングで撮像された複数の画像を合成し、動きに関する前記画像への影響を低減する動き補正を行うステップを含み、前記動き補正を、所定の間隔で供給される動き量に関する動き量情報を参照する区間の基準を、前記複数の画像を合成するときの合成比率に基づき設定し、前記設定された基準を元に、前記動き量情報を参照して行う処理を含む。

　本技術の一側面の撮像装置は、異なるタイミングで撮像された複数の画像を合成する合成部と、動きに関する前記画像への影響を低減する補正を行う動き補正部とを備え、前記動き補正部は、所定の間隔で供給される動き量に関する動き量情報を参照する区間の基準を、前記複数の画像を合成するときの合成比率に基づき設定し、前記設定された基準を元に、前記動き量情報を参照し、前記補正を行う画像処理装置を備える。

　本技術の一側面のプログラムは、コンピュータに、異なるタイミングで撮像された複数の画像を合成し、動きに関する前記画像への影響を低減する動き補正を行うステップを含み、前記動き補正を、所定の間隔で供給される動き量に関する動き量情報を参照する区間の基準を、前記複数の画像を合成するときの合成比率に基づき設定し、前記設定された基準を元に、前記動き量情報を参照して行う処理を実行させる。

　本技術の一側面の画像処理装置、画像処理方法、並びにプログラムにおいては、異なるタイミングで撮像された複数の画像が合成され、動きに関する画像への影響を低減する動き補正が行われる。その動き補正は、所定の間隔で供給される動き量に関する動き量情報を参照する区間の基準が、複数の画像を合成するときの合成比率に基づき設定され、設定された基準を元に、動き量情報が参照されて行われる。

　本技術の一側面の撮像装置においては、前記画像処理装置が備えられている。

　なお、画像処理装置および撮像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。

　また、プログラムは、伝送媒体を介して伝送することにより、または、記録媒体に記録して、提供することができる。

　本技術の一側面によれば、動きによる影響を低減するための補正をより適切にできる。

　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

広ダイナミックレンジ画像の生成処理について説明するための図である。 本技術を適用した撮像装置の構成について説明するための図である。 画像処理部の構成について説明するための図である。 フレーム毎に参照時刻重心を求める場合について説明するための図である。 合成について説明するための図である。 参照時刻重心のずれについて説明するための図である。 補正の効果について説明するための図である。 ライン毎に参照時刻重心を求める場合について説明するための図である。 画像処理部の他の構成について説明するための図である。 記録媒体について説明するための図である。

　以下に、本技術を実施するための形態（以下、実施の形態という）について説明する。以下に説明する本技術は、動きによるずれ（ブレ）の影響を低減するための補正（以下、動き補正と記述する）を行う装置に適用できる。また、広ダイナミックレンジの画像を撮像し、そのような広ダイナミックレンジの画像に対して動き補正を行い、画質を向上させる装置に対して適用できる。

　また、露光時間の等しい複数回の撮像（露光時間は等しいが異なるタイミングでの撮像）を行い、位置合わせと合成処理を行うことによりノイズを低減させる処理を行い、画質を向上させる装置に対しても適用できる。

　ここでは、広ダイナミックレンジの画像を撮像し、そのような広ダイナミックレンジの画像に対して動き補正を行う場合を例に挙げて説明する。

　＜広ダイナミックレンジ画像の生成処理の概要について＞
　まず、広ダイナミックレンジ画像の生成処理の概要について説明する。長時間露光画像と、短時間露光画像を合成することにより広ダイナミックレンジ画像を生成することができる。図１を参照して広ダイナミックレンジ画像の生成処理について説明する。

　図１は、短時間露光画像５１と、長時間露光画像５２の合成（ブレンド）を行って広ダイナミックレンジ（HDR：High Dynamic Range）画像５５を生成する処理例を示している。本開示の処理における合成（ブレンド）処理とは、ブレンド係数βに応じた短時間露光画像５１と、長時間露光画像５２の対応画素値のブレンド処理であり、このブレンド処理によって、出力画像（合成画像）の各画素値を設定する。

　まず、短時間露光画像５１と、長時間露光画像５２に対して、ステップＳ１１、ステップＳ１２において、露光比に応じた定数を乗算して露出補正が行われる。例えば１０ｂｉｔのセンサ、露光比１６の場合、露出補正の段階で短時間露光画像は１６倍し、長時間露光画像は１倍して、その後、ステップＳ１３で対応画素の画素値を合成（ブレンド）して出力画像であるHDR画像５５の画素値が決定される。

　なお、露出補正後の短時間露光画像を露出補正短時間露光画像と称し、露出補正後の長時間露光画像を露出補正長時間露光画像と称す。

　出力画像であるHDR画像５５の画素値決定処理の具体的シーケンスについて説明する。
　例えば、
　ＤＳ：露出補正短時間露光画像の画素値
　ＤＬ：露出補正長時間露光画像の画素値
　ＤＨ：出力する広ダイナミックレンジ画像の画素値
としたとき、HDR画像５５の画素値は、ステップＳ１３のブレンド処理において、以下に示す式に従って算出される。

　ＤＨ＝（１．０－β）×ＤＳ＋β×ＤＬ
　なお、上記式に従った画素値のブレンドは、露出補正短時間露光画像と、露出補正長時間露光画像の対応画素位置毎に行われる。すなわち同一被写体の撮像画素位置毎にブレンド処理が行われ、出力画像（ＨＤＲ画像）の各画素値が決定される。

　このような処理により、例えば露出補正短時間露光画素の飽和画素値は１０２３×１６＝１６３６８（１４ｂｉｔ）となるため、出力する画素値も１４ｂｉｔとなりダイナミックレンジの拡張が実現される。

　ただし、ステップＳ１１，Ｓ１２において露光比に応じた定数を乗算して露出補正を行って得られる露出補正短時間露光画像５３と露出補正長時間露光画像５４は、画素値として正確な値を保持していない可能性がある。すなわち、短時間露光画像５３の暗部はノイズでつぶれ、長時間露光画像５４の明部は白飛びしている可能性がある。そこで、ステップＳ１３におけるブレンド処理に際しては、これらのエラー画素の画素値については利用しないブレンド処理が行われる。このような処理によって明部から暗部までＳＮ比（ＳＮＲ）の良いHDR画像５５が得られる。

　＜撮像装置の構成＞
　図２は、本技術を適用した撮像装置の一実施の形態の構成を示す図である。また、図２に示した撮像装置１００は、図１を参照して説明した処理を行うことで、HDR画像５５を生成する装置である。

　図２に示した撮像装置１００は、光学レンズ１０１を介して入射される光は撮像部、例えばＣＭＯＳイメージセンサなどによって構成される撮像素子１０２に入射し、光電変換による画像データを出力する。出力画像データは画像処理部１０３に入力される。

　撮像素子１０２の出力画像は、各画素にＲＧＢのいずれかの画素値が設定されたいわゆるモザイク画像である。画像処理部１０３は、各画素にＲＧＢの全画素値を設定するデモザイク処理、上述した長時間露光画像と短時間露光画像との合成処理に基づく広ダイナミックレンジ（HDR：High Dynamic Range）画像の生成処理、後述する動き補正処理などを行う。

　動き補正処理には、加速度センサやジャイロセンサといったセンサから、周期的に出される動き量情報が用いられる。このようなセンサ（不図示）は、画像処理部１０３内に備えられている構成とすることも可能であるし、画像処理部１０３外に備えられている構成とすることも可能である。

　画像処理部１０３からの出力は、信号処理部１０４に入力される。信号処理部１０４は、例えばホワイトバランス（ＷＢ）調整、ガンマ補正等、一般的なカメラにおける信号処理を実行して出力画像１２０を生成する。出力画像１２０は図示しない記憶部に格納される。あるいは表示部（不図示）に出力される。

　制御部１０５は、例えば図示しないメモリに格納されたプログラムに従って各部に制御信号を出力し、各種の処理の制御を行う。

　＜画像処理部の構成、動作＞
　次に、画像処理部１０３の構成と動作について説明する。図３に画像処理部１０３の構成を示す。画像処理部１０３は、上記したように、広ダイナミックレンジ画像の生成処理や、動き補正処理などを行う。画像処理部１０３には、撮像素子１０２からの補正前画像１５１が入力される。補正前画像１５１は、HDR処理部１３１に供給される。

　HDR処理部１３１は、供給された補正前画像１５１から、HDR画像５５を生成し、動き補正部１３２に供給する。補正前画像１５１は、長時間露光画像と短時間露光画像であり、HDR処理部１３１は、供給された長時間露光画像と短時間露光画像から、HDR画像５５を生成し、動き補正部１３２に供給する。

　HDR処理部１３１は、HDR画像５５を生成する（合成画像を生成する）ときに、合成統計量１５２も生成し、動き補正部１３２に供給する。合計統計量１５２は、図４を参照して後述するように、HDR画像５５を生成するときに、長時間露光画像と短時間露光画像をそれぞれ参照した時間に係わる統計量である。

　また合計統計量１５２は、後述する例では、ヒストグラムの結果や、そのヒストグラムから求められる参照時刻重心とすることができる。合成統計量１５２として、ヒストグラムの結果が、動き補正部１３２に供給され、動き補正部１３２でヒストグラムから参照時刻重心が求められるようにしても良いし、合成統計量１５２として、参照時刻重心が、動き補正部１３２に供給されるようにしても良い。

　動き補正部１３２は、供給されたHDR画像５５に対して、合成統計量１５２に基づき参照する動き量情報を設定し、参照した動き量情報を基に、動きによる影響を抑制するための補正量を算出し、補正を行う。動き補正部１３２は、動き補正を行った補正後画像１５３を、信号処理部１０４（図２）に出力する。

　＜第1の実施の形態：フレーム間での動き補正量の取得＞
　HDR処理部１３１と動き補正部１３２の処理について、さらに説明を加える。図４は、撮像フレーム、記録フレーム、合成画参照時刻ヒストグラム、動き量情報、および参照範囲の関係を示した図である。

　撮像フレームとしては、長時間露光画像と短時間露光画像がそれぞれあり、その長時間露光画像と短時間露光画像を合成することで、１枚の記録フレームが生成される。例えば、時刻ｔ１から時刻ｔ３が長時間露光期間とされ、この長時間露光期間内に撮像素子１０２で撮像された画像が、長時間露光画像１Ｌとして、画像処理部１０３（内のHDR処理部１３１）に供給される。

　また、時刻ｔ２から時刻ｔ４が短時間露光期間とされ、この短時間露光期間内に撮像素子１０２で撮像された画像が、短時間露光画像１Ｓとして、画像処理部１０３（内のHDR処理部１３１）に供給される。そして時刻ｔ１から時刻ｔ４までに得られた長時間露光画像１Ｌと短時間露光画像１Ｓから、記録フレーム１Ｆ（HDR画像５５）が生成される。

　同様に、時刻ｔ４から時刻ｔ７までに得られた長時間露光画像２Ｌと短時間露光画像２Ｓから、記録フレーム２Ｆ（HDR画像５５）が生成され、時刻ｔ７から時刻ｔ１０までに得られた長時間露光画像３Ｌと短時間露光画像３Ｓから、記録フレーム３Ｆ（HDR画像５５）が生成され、時刻ｔ１０から時刻ｔ１３までに得られた長時間露光画像４Ｌと短時間露光画像４Ｓから、記録フレーム４Ｆ（HDR画像５５）が生成される。

　例えば、時刻ｔ１から時刻ｔ４までに得られた長時間露光画像１Ｌと短時間露光画像１Ｓから、記録フレーム１Ｆ（HDR画像５５）が生成されるとき、図１を参照して説明したように、長時間露光画像１Ｌと短時間露光画像１Ｓは、ブレンド係数βにより所定の比率で合成される。ブレンド係数βは、例えば、次式により算出される。

　β＝（ＶＳ）／（ＶＳ＋ＶＬ）
　ただし、
　ＶＬ：露出補正後の長時間露光画像の注目画素のノイズの分散値
　ＶＳ：露出補正後の短時間露光画像の注目画素のノイズの分散値
　ただし、長時間露光画素が飽和する条件では、β＝０となるように補正が行われる。

　ブレンド係数βは、画素毎（フレーム毎、フレーム内のライン毎など設定による）に異なる可能性がある。長時間露光画像と短時間露光画像の合成比率は、画素毎に異なる可能性があり、一定ではない。

　図５は、仮に、長時間露光期間に取得されたデータと短時間露光時間に取得されたデータを、それぞれフレームメモリ内に展開し、その展開された長時間露光画像１Ｌと短時間露光画像１Ｓから、記録フレーム１Ｆを生成した場合の長時間露光画像１Ｌ、短時間露光画像１Ｓ、記録フレーム１Ｆの一部(画素配置)を示した図である。

　例えば、長時間露光画像１Ｌの画素ＰＬ１と短時間露光画像１Ｓの画素ＰＳ１から、記録フレーム１Ｆの画素ＰＦ１が生成される。長時間露光画像１Ｌの画素ＰＬ１、短時間露光画像１Ｓの画素ＰＳ１、および記録フレーム１Ｆの画素ＰＦ１は、それぞれの画像内で同一の位置にある画素である。同様に、長時間露光画像２Ｌの画素ＰＬ２と短時間露光画像２Ｓの画素ＰＳ２から、記録フレーム２Ｆの画素ＰＦ２が生成される。

　例えば、長時間露光画像１Ｌの画素ＰＬ１と短時間露光画像１Ｓの画素ＰＳ１から、記録フレーム１Ｆの画素ＰＦ１が生成されたとき、画素ＰＬ１と画素ＰＳ１のブレンド比は、上記したブレンド係数βにより設定される。画素ＰＬ１と画素ＰＳ１のブレンド比は、例えば２:１であったとする。

　また例えば、長時間露光画像２Ｌの画素ＰＬ２と短時間露光画像２Ｓの画素ＰＳ２から、記録フレーム２Ｆの画素ＰＦ２が生成されたとき、画素ＰＬ２と画素ＰＳ２のブレンド比は、例えば３:１であったとする。

　このように、画素毎にブレンド係数βが異なり、ブレンド比が異なる可能性がある。HDR処理部１３１は、ブレンド係数βを設定し、そのブレンド係数βに基づき、長時間露光画像Ｌの画素ＰＬと短時間露光画像Ｓの画素ＰＳを合成することで、HDR画像５５（記録フレームＦ）の画素ＰＦを生成する。またHDR処理部１３１は、このようにしてHDR画像５５を生成するとともに、合成画参照時刻ヒストグラム（図４）も生成する。

　合成画参照時刻ヒストグラム（図４）は、横軸を時刻とし、縦軸が頻度である。頻度は、例えば、ブレンド比（ブレンド係数β）とすることできる。例えば、長時間露光画像１Ｌの画素ＰＬ１と画素ＰＬ２が同時刻（時刻ｔＬとする）に取得された画素値であり、短時間露光画像１Ｓの画素ＰＳ１と画素ＰＳ２が同時刻（時刻ｔＳとする）に取得された画素値であるとする。また、上記したように、画素ＰＬ１と画素ＰＳ１のブレンド比は、２:１であり、画素ＰＬ２と画素ＰＳ２のブレンド比は、３:１であったとする。

　このような場合、時刻ｔＬにおける合成画参照時刻ヒストグラムの値は、５（＝２＋３）となる。また時刻ｔＳにおける合成画参照時刻ヒストグラムの値は、２（＝１＋１）となる。このようにして、時刻毎の値（ブレンド比）が算出され、合成画参照時刻ヒストグラムが生成される。なおここでは、ブレンド比（ブレンド係数βから求められる値）を例に挙げて説明したが、他の値を用いてヒストグラムを作成したりすることも可能である。

　このようにして、フレーム毎の合成画参照時刻ヒストグラムが生成される。そして、生成された合成画参照時刻ヒストグラムにおける重心が求められ、その重心の位置が、参照時刻重心とされる。この参照時刻重心の求め方については、後述する。

　この参照時刻重心から、次の参照時刻重心までの間の時間（区間）に取得される動き量情報が用いられて、動き補正量が算出される。例えば、記録フレーム１Ｆが処理されたときの合成画参照時刻ヒストグラムから時刻Ｔ１が、参照時刻重心に設定され、記録フレーム２Ｆが処理されたときの合成画参照時刻ヒストグラムから時刻Ｔ２が、参照時刻重心に設定された場合、時刻Ｔ１から時刻Ｔ２の区間で得られる動き量情報が、記録フレーム２Ｆで参照する動き量情報とされ、動き補正量が算出される。

　動き量情報は、例えば、加速度センサやジャイロセンサなどのセンサから、所定の間隔（周期）毎に出力されている。よってこの場合、区間が長くなれば、参照される動き量情報が多くなり、区間が短くなれば、参照される動き量情報は少なくなる。また、参照時刻重心が、長時間露光期間側寄りにある場合には、長時間露光期間内に得られる動き量情報が支配的になり、短時間露光期間側寄りにある場合には、短時間露光期間内に得られる動き量情報が支配的になる。

　図４を参照した説明に戻る。合成画参照時刻ヒストグラムを参照するに、記録フレーム１Ｆから求められた合成画参照時刻ヒストグラムから、記録フレーム４Ｆから求められた合成画参照時刻ヒストグラムは、徐々に、長時間露光画像Ｌから求められるヒストグラムは小さくなり、短時間露光画像Ｓから求められるヒストグラムは大きくなっている。このような変化にともない、参照時刻重心も、短時間露光画像Ｓから求められるヒストグラム側に移動している。

　このように、異なるタイミング、例えば、異なる露光時間で撮像された複数の画像を合成するとき、その合成比率に基づき、動きなどによるブレ量を補正するために参照される情報の区間が設定される。よって、より適切な補正を行うことができる。

　ここで、より適切な補正が行えることについてさらに説明を加える。図６は、図４と同じく撮像フレームと記録フレームを表し、上記したようにして参照時刻重心を算出した場合と、従来の方法で参照時刻重心を算出した場合を比較するための図である。

　図６中、Ｃ１は、長時間露光期間を表し、Ｃ２は、短時間露光期間を表す。また、Ｂ２は、長時間露光期間と短時間露光期間の露光間隔を表す。また、図６中、Ｔ１’などとダッシュを付した時刻は、従来の方法で算出された参照時刻重心を表し、ダッシュを付していない時刻は、本技術を適用して算出された参照時刻重心を表す。

　図６に示した例では、記録フレームレートを３０（ftp）とし、長時間露光期間Ｃ１を３１（msec）とし、短時間露光期間Ｃ２を０．１（msec）とし、露光間隔Ｂ２を１（msec）とする。また、ここでは、ブレンド比は、短時間露光画像を全て利用し、長時間露光画像をブレンドしないと設定された場合であるとする。

　このような状況の場合、上記した本実施の形態によれば、短時間露光画像側に参照時刻重心が設定される。図６に、時刻Ｔ１、時刻Ｔ２、時刻Ｔ３、時刻Ｔ４として示したように、短時間露光画像側、具体的には、短時間露光期間の中央時刻に参照時刻重心が設定される。

　一方で、このような状況の場合、従来の参照時刻重心の設定によれば、例えば、１記録フレームの中心の時刻、換言すれば、長時間露光期間Ｃ１、短時間露光期間Ｃ２、および露光間隔Ｂ２を加算した中央の時刻が、参照時刻重心に設定される。図６に、時刻Ｔ１’、時刻Ｔ２’、時刻Ｔ３’、時刻Ｔ４’として示したように、長時間露光期間の略中央の時刻に参照時刻重心が設定される。

　このような状況の場合、本実施の形態により求められる参照時刻重心と、従来の方式により求められる参照時刻重心とは、大きく異なる場合がある。図６に示した状況では、本実施の形態により求められる参照時刻重心（例えば、時刻Ｔ１）と、従来の方式により求められる参照時刻重心（例えば、時刻Ｔ１’）との差分は、以下の値になる。
　差分＝（Ｃ１＋Ｂ２＋Ｃ２／２）―（Ｃ１＋Ｂ２＋Ｃ２）／２
　　　＝（Ｃ１＋Ｂ２）／２
　　　＝（３１＋１）／２
　　　＝１６（msec）

　この場合、記録フレームは、短時間露光画像から生成されているため、短時間露光画像が撮像されたときに得られる動き量情報が支配的になるようにし、動き補正がなされるようにすることで、適切な動き補正が行えると考えられる。本実施の形態により求められる参照時刻重心によれば、短時間露光画像が撮像されたときに動き量情報が支配的になるため、適切な動き補正が行える。

　しかしながら、従来の方式により求められる参照時刻重心は、ブレンド比に係わらず、記録フレームの中央の時刻が設定されるため、図６に示したような状況でも、長時間露光画像が撮像されたときの動き量情報が支配的になり、適切な動き補正が行えない可能性がある。

　図７に、参照時刻重心のずれと、動き補正の効果をシミュレーションした結果を示す。図７に示したグラフにおいて、横軸は、動き周波数（Ｈｚ）を表し、縦軸は補正残り量を表す。また図７には、参照時刻重心のずれとして、２，４，８，１２，１６，２０，２４，２８，３２（msec）毎のグラフを示した。

　図中、補正のこり量が１００％のラインは、補正の効果がない（０％）であり、１００％以上である場合、逆方向に補正してしまう（誤った補正をしてしまう）ことを示している。参照時刻重心のずれが大きくなると、また、動き周波数が大きくなると、補正効果０％のラインを超えやすくなることが読み取れる。

　また、参照時刻重心にずれがあると、手振れ周波数が小さくても、補正残り量が発生し、補正が仕切れていない状況になることが読み取れる。

　このことから、適切な参照時刻重心とのずれがあると、補正のこりが発生し、適切な参照時刻重心とのずれが大きくなると、動き補正の効果が得られづらくなり、さらには、誤補正になってしまう可能性もあることが読み取れる。

　本技術によれば、上記したように、適切な参照時刻重心を設定することができるため（参照時刻重心のずれをほぼ０にすることができるため）、適切な補正を行うことが可能となる。

　＜第２の実施の形態：フレーム内での動き補正量の取得＞
　第１の実施の形態においては、フレーム間で動き補正量を算出し、動き補正を行う例を挙げて説明した。換言すれば、１フレームにおいて、１個の動き補正量を算出し、そのフレームに対して動き補正を行う実施の形態について説明した。

　第２の実施の形態として、フレーム内で複数の動き補正量を算出し、その算出された動き補正量により、動き補正がなされる例を挙げて説明する。ここでは、フレーム内のライン毎に動き補正量が算出され、ライン毎に動き補正がなされる場合を例に挙げて説明する。

　図８は、図４と同じく、撮像フレーム、記録フレーム、合成画参照時刻ヒストグラム、動き量情報、および参照範囲の関係を示した図である。例えば、撮像フレーム（記録フレーム）の横方向（ｙ軸方向）に線を示したラインｙにおいて合成画参照時刻ヒストグラムが生成される。

　第２の実施の形態においては、ライン毎にヒストグラムが生成され、そのヒストグラムに基づいて、ライン毎に参照時刻重心が求められ、動き量情報の参照範囲が設定され、動き補正量が算出され、動き補正が行われる。

　例えば、ラインｙは、長時間露光時間内の時刻ｔ１’から時刻ｔ２’の間に露光されていたラインであり、短時間露光時間内の時刻ｔ３’から時刻ｔ４’の間に露光されていたラインである。この場合、長時間露光画像内のラインｙに係わるヒストグラムは、時刻ｔ１’から時刻ｔ２’の間に設定されたブレンド比が参照されて作成される。また、短時間露光画像内のラインｙに係わるヒストグラムは、時刻ｔ３’から時刻ｔ４’の間に設定されたブレンド比が参照されて作成される。

　このようにして作成されたヒストグラムが用いられ、記録フレーム内のラインｙにおける参照時刻重心が設定される。

　このような処理がライン毎に行われる点以外は、フレーム毎に行う第１の実施の形態と同じように処理することが可能なため、その詳細な説明は省略する。

　＜参照時刻重心の求め方＞
　上記したように、本技術においては、長時間露光画像と短時間露光画像のブレンド比を考慮して、参照時刻重心が求められる。ここで、参照時刻重心の求め方について説明を加える。以下の説明においては、図４における時刻ｔ１乃至ｔ４（長時間露光時間）が１６(msec)である場合を例に挙げて説明する。

　参照時刻行列を以下のように定義する。
　Ｔ＝{1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16}　　・・・（１）
ここでは、１６（msec）の場合を例示したが、要素数はＮ個とすることができる。

　式（１）において、各要素は、Ｖｓｙｎｃからの経過時間を示す。例えば、１つ目の要素は、Ｖｓｙｎｃからの経過時間が０～１msecの区間に対応する。ここでは、ヒストグラムの計算の精度を１msecとしているが、この精度に限定されない。

　次に、画素［ｙ］［ｘ］の参照時刻識別行列を以下のように定義する。
　Ａ［ｙ］［ｘ］＝画素［ｙ］［ｘ］の参照時刻識別行列　　・・・（２）

　参照時刻識別行列Ａ［ｙ］［ｘ］の一例を以下に示す。例えば、CMOSセンサで一般的なＡＤ変換器の構成であるカラムＡＤを例とすると、ｘ方向の画素については、同一時刻で撮像が行われる。この場合、式（２）の一例は、以下のように示すことができる。
　Ａ［ｙ］［ｘ］
　＝Ａ［ｙ］［０］
　＝{{0,0,1,1,1,1,1,1,1,1,1,1,0,0,0,0},{0,0,0,0,0,0,0,0,0,0,0,0,0,1,1,1}}

　ここで、１つ目の要素は、画素［ｙ］［ｘ］における長時間露光画像の参照時刻識別行列、２つ目の要素は、画素［ｙ］［ｘ］における短時間露光画像の参照時刻識別行列である。また、上記、参照時刻識別行列内の数値は、参照している場合に１、参照していない場合に０となる識別情報である。

　次に、合成率行例を以下のように定義する。
　Ｂ［ｙ］［ｘ］＝画素［ｙ］［ｘ］の合成率行列　　・・・（３）

　合成率行列Ｂ［ｙ］［ｘ］の一例を以下に示す。
　Ｂ［ｙ］［ｘ］＝｛０．８，０．２｝
この例の場合、所定の画素において、長時間露光画像を０．８、短時間露光画像を０．２の割合で合成することを意味する。

　同一ライン（ｙ座標）の合成画像参照時刻ヒストグラムhist［ｙ］を以下のように定義する。

　式（４）において、ｎは、ｎ＝０，１，・・・Ｎ－１をとる値であり、Ｎは、式（１）におけるＴの要素数を表す。また、ｍは、参照撮像フレーム番号を表し、長時間露光画像と短時間露光画像の２フレームを参照する場合、ｍ＝０，１となる。

　合成画像参照時刻ヒストグラムhist［ｙ］の一例を示す。以下の例においては、Ｂ［ｙ］［ｘ］は、ｘによらず｛０．８，０．２｝であり、同一行で同一合成率である場合を例示している。

　また以下の例は、上記した式（１）の一例、式（２）の一例、式（３）の一例を用いた場合を示している。
　hist［ｙ］=｛0,0,0.8,0.8,0.8,0.8,0.8,0.8,0.8,0.8,0.8,0.8,0,0.2,0.2,0.2｝

　ここまでの処理で、ライン毎にヒストグラムが生成される。第２の実施の形態のように、ライン毎にヒストグラムが生成され、ライン毎に参照時刻重心が算出される場合、式（４）において、ライン毎のヒストグラムが生成され、次式（５）により、ライン毎の参照時刻重心が算出される。

　合成画像参照時刻ヒストグラムの時刻重心center(hist[y])、すなわち参照時刻重心は、次式により求められる。

　合成画像参照時刻ヒストグラムの時刻重心center(hist[y])の一例を示す。上記したhist［ｙ］の一例と同じく、上記した式（１）の一例、式（２）の一例、式（３）の一例を用いた場合であり、式（４）の一例を用いた場合を示している。
　center(hist[y])=(0・1,0・2,0.8・3,0.8・4,0.8・5,0.8・6,0.8・7,0.8・8,0.8・9,0.8・10, 0.8・11,0.8・12,0・13,0.2・14, 0.2・15,0.2・16)/16=4.3125　(msec)

　このようにして、ライン毎に、参照時刻重心が算出される。

　第１の実施の形態のように、フレーム毎にヒストグラムを作成し、フレーム毎に参照時刻重心を算出する場合、以下の式でヒストグラムが作成される。

　式（６）において、hist［ｙ］は、式（４）で算出されるヒストグラムである。式（６）は、式（４）に示したライン毎とのヒストグラム（横方向のヒストグラム）を、縦方向に積算することでフレームのヒストグラムを生成する式である。

　式（６）に基づき算出される１フレームの合成画像参照時刻ヒストグラムから、合成画像参照時刻ヒストグラムの時刻重心center(hist)、すなわち参照時刻重心は、次式により求められる。

　式（７）により、フレーム全体の合成画像参照時刻ヒストグラムの時刻重心、すなわち１フレームにおける参照時刻重心が求められる。

　なお、ここでは、例えば、図４または図８を参照し、ヒストグラムを作成してから、参照時刻重心が求められるとして説明をしたが、ヒストグラムを作成するステップを省略し、直接参照時刻重心が求められるようにしても良い。

　例えば、上記した式（４）（または式（６））において、合成画像参照時刻ヒストグラムを求めるステップを省略し、式（５）（または式（７））で合成画像参照時刻ヒストグラムの時刻重心を算出するようにしても良い。

　＜第３の実施の形態：画像処理部の他の構成＞
　次に、画像処理部１０３の他の構成について説明する。図９は、画像処理部１０３の他の構成を示す図である。図９に示した画像処理部１０３は、図３に示した画像処理部１０３と同じく、広ダイナミックレンジ画像の生成処理や、動き補正処理などを行う。

　図３に示した画像処理部１０３には、撮像素子１０２からの補正前画像２３１が入力される。補正前画像２３１は、動き補正部２０１に供給される。動き補正部２０１は、供給された補正前画像２３１に対して動き補正を行う。動き補正部２０１には、HDR処理部２０２から出力された合成統計量２３４が、フィードバック部２０３を介して供給され、動き補正部２０１は、供給された合成統計量２３４に基づき、補正前画像２３１に対して動き補正を行う。

　補正前画像２３１は、上記した例においては、長時間露光画像と短時間露光画像であり、動き補正部２０１は、長時間露光画像と短時間露光画像に対してそれぞれ動き補正を行う。

　動き補正部２０１により動き補正が施された補正後画像２３２は、HDR処理部２０２に供給される。HDR処理部２０２は、供給された補正後画像２３２（例えば、動き補正が施された長時間露光画像と短時間露光画像）から、HDR画像２３３を生成し、信号処理部１０４（図２）に供給する。

　HDR処理部２０２は、HDR画像２３３を生成する（合成画像を生成する）ときに、合成統計量２３４も生成し、動き補正部２０１にフィードバック部２０３を介して供給する。合計統計量２３４は、図４などを参照して上述したように、HDR画像２３３を生成するときに、長時間露光画像と短時間露光画像をそれぞれ参照した時間に係わる統計量（ヒストグラム、またはヒストグラムから求められる参照時刻重心）である。

　図３に示した画像処理部１０３は、HDR画像を生成した後、動き補正を行う処理フローであるが、図９に示した画像処理部１０３は動き補正を行った後、HDR画像を生成する処理フローである点が図３に示した画像処理部１０３と異なる。

　HDR画像を生成するときに、合成統計量が生成され、その合成統計量が用いられて、動き補正が行われる点は、図３および図９にそれぞれ示した画像処理部１０３において同様であるため、第１の実施の形態および第２の実施の形態として説明した実施の形態を、図９に示した画像処理部１０３に対しても適用できる。よってここでは、図９に示した画像処理部１０３の処理についての詳細な説明は省略する。

　図９に示した画像処理部１０３においては、動き補正を行った後、HDR画像を生成する処理フローであるため、換言すれば、フィードバック部２０３により合成統計量２３４がフィードバックされる処理フローであるため、さらに換言すれば、ｎ番目のフレームをHDR画像に変換したときの合成統計量２３４が用いられて、ｎ＋１番目のフレームが生成されるため、１Ｖ遅延した合成統計量２３４で、動き補正が行われることになる。

　しかしながら、合成統計量２３４は、フレーム毎に大きく変化するような情報ではないため、このように遅延が生じても精度が大きく低下するようなことはない。

　本技術によれば、合成画像が撮像された時刻を基準とした動き補正が可能となり、合成結果によって、動き補正の補正精度が低下するようなことを防ぐことができ、動き補正の効果を１００％に近い状態で発揮できる。

　なお、ここでは、長時間露光画像と短時間露光画像を撮像し、HDR画像を生成するときの動き補正を例に挙げて説明したが、本技術は、このような撮像、補正にのみ適用範囲が限定されるものではない。

　本技術は、異なる撮影タイミングで撮影した複数の画を合成する場合に適用できる。複数の画とは、上記した例では、長時間露光画像と短時間露光画像の２枚の画像であるが、２以上の画像が合成されるような場合にも、本技術を適用することはできる。

　例えば、異なる撮影タイミングで撮影した複数の画を合成することで、ノイズ低減の処理を行う場合にも本技術は適用できる。すなわち、本技術は、動き補正の他に、ノイズ低減処理にも適用できる。

　また、上述した実施の形態においては、長時間露光画像が撮像された後、短時間露光画像が撮像される例を挙げて説明した。すなわち、時分割で長時間露光画像と短時間露光画像が撮像される場合を例に挙げて説明した。しかしながら、本技術は、時分割以外、例えば、空間分割で長時間露光画像と短時間露光画像が撮像されるような場合にも適用できる。

　例えば、長時間露光画像を撮影する画素と短時間露光画像を撮像する画素が、画素アレイ部（不図示）に配置され、長時間露光画像が撮影されている間（長時間露光期間中）に、短時間露光画像が撮影される（短時間露光期間がある）場合にも、本技術は適用できる。空間分割で長時間露光画像と短時間露光画像が撮像される場合も、長時間露光画像と短時間露光画像と異なるタイミングで撮像された画像であり、そのような異なるタイミングで撮像された画像を合成するような場合に、本技術は適用できる。

　また、本技術によれば、異なるタイミングで撮像された画像を合成するときの合成比率（ブレンド比）に応じて参照時刻重心が設定され、動き量情報を参照する区間が設定されるため、適切な区間を設定することができる。そのような適切な区間が設定されることで参照される動き量情報を用いた処理としては、上述した動き補正以外の補正（処理）であっても良く、動き補正以外の処理を行うような場合であっても、その処理の精度を向上させることができる。

　また、上述した実施の形態においては、長時間露光画像と短時間露光画像が撮像される場合を例に挙げて説明したが、例えば、ＩＲ（赤外線）が投光されることで撮影された画像と、ＩＲが投光されていないときに撮影された画像（環境光で撮影された画像）を合成するような場合にも、本技術を適用することはできる。

　＜記録媒体について＞
　上述した一連の処理は，ハードウエアにより実行することもできるし，ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

　図１０は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。コンピュータにおいて、ＣＰＵ（Central Processing Unit）５０１、ＲＯＭ（Read Only Memory）５０２、ＲＡＭ（Random Access Memory）５０３は、バス５０４により相互に接続されている。バス５０４には、さらに、入出力インタフェース５０５が接続されている。入出力インタフェース５０５には、入力部５０６、出力部５０７、記憶部５０８、通信部５０９、およびドライブ５１０が接続されている。

　入力部５０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記憶部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインタフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア５１１を駆動する。

　以上のように構成されるコンピュータでは、ＣＰＵ５０１が、例えば、記憶部５０８に記憶されているプログラムを、入出力インタフェース５０５およびバス５０４を介して、ＲＡＭ５０３にロードして実行することにより、上述した一連の処理が行われる。

　コンピュータ（ＣＰＵ５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

　コンピュータでは、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インタフェース５０５を介して、記憶部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記憶部５０８にインストールすることができる。その他、プログラムは、ＲＯＭ５０２や記憶部５０８に、あらかじめインストールしておくことができる。

　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

　また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。

　なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

　なお，本技術は以下のような構成も取ることができる。
（１）
　異なるタイミングで撮像された複数の画像を合成する合成部と、
　動きに関する前記画像への影響を低減する補正を行う動き補正部と
　を備え、
　前記動き補正部は、
　所定の間隔で供給される動き量に関する動き量情報を参照する区間の基準を、前記複数の画像を合成するときの合成比率に基づき設定し、
　前記設定された基準を元に、前記動き量情報を参照し、前記補正を行う
　画像処理装置。
（２）
　前記複数の画像は、長時間露光期間で撮像された長時間露光画像と、短時間露光期間で撮像された短時間露光画像であり、
　前記合成部は、前記長時間露光画像と前記短時間露光画像を前記合成比率で合成することで、ダイナミックレンジの広い画像を生成する
　前記（１）に記載の画像処理装置。
（３）
　前記複数の画像は、同一露光時間で撮像され、異なるタイミングで撮像された複数の画像であり、
　前記合成部は、前記複数の画像を合成することで、ノイズが低減された画像を生成する
　前記（１）に記載の画像処理装置。
（４）
　前記動き補正部は、
　前記合成部により複数の画像が合成されることで生成された合成画像が、前記複数の画像を参照する時刻に関するヒストグラムを統計量とし、
　前記統計量をもとに、前記基準を設定する
　前記（１）乃至（３）のいずれかに記載の画像処理装置。
（５）
　前記基準は、前記合成画像毎に設定される
　前記（４）に記載の画像処理装置。
（６）
　前記基準は、前記合成画像のライン毎に設定される
　前記（４）に記載の画像処理装置。
（７）
　前記合成部により複数の画像が合成されることで生成された合成画像に対して、前記動き補正部による補正が行われる
　前記（１）乃至（６）のいずれかに記載の画像処理装置。
（８）
　前記動き補正部による補正が施された前記複数の画像を、前記合成部は合成する
　前記（１）乃至（６）のいずれかに記載の画像処理装置。
（９）
　異なるタイミングで撮像された複数の画像を合成し、
　動きに関する前記画像への影響を低減する動き補正を行う
　ステップを含み、
　前記動き補正を、
　所定の間隔で供給される動き量に関する動き量情報を参照する区間の基準を、前記複数の画像を合成するときの合成比率に基づき設定し、
　前記設定された基準を元に、前記動き量情報を参照して行う
　処理を含む画像処理方法。
（１０）
　異なるタイミングで撮像された複数の画像を合成する合成部と、
　動きに関する前記画像への影響を低減する補正を行う動き補正部と
　を備え、
　前記動き補正部は、
　所定の間隔で供給される動き量に関する動き量情報を参照する区間の基準を、前記複数の画像を合成するときの合成比率に基づき設定し、
　前記設定された基準を元に、前記動き量情報を参照し、前記補正を行う
　画像処理装置を備える
　撮像装置。
（１１）
　コンピュータに、
　異なるタイミングで撮像された複数の画像を合成し、
　動きに関する前記画像への影響を低減する動き補正を行う
　ステップを含み、
　前記動き補正を、
　所定の間隔で供給される動き量に関する動き量情報を参照する区間の基準を、前記複数の画像を合成するときの合成比率に基づき設定し、
　前記設定された基準を元に、前記動き量情報を参照して行う
　処理を実行させるためのプログラム。

　１００　撮像装置，　１０１　光学レンズ，　１０２　撮像素子，　１０３　画像処理部，　１０４　信号処理部，　１０５　制御部，　１３１　HDR処理部，　１３２　動き補正部，　２０１　動き補正部，　２０２　HDR処理部，　２０３　フィードバック部

Claims (11)

1. 　異なるタイミングで撮像された複数の画像を合成する合成部と、
   　動きに関する前記画像への影響を低減する補正を行う動き補正部と
   　を備え、
   　前記動き補正部は、
   　所定の間隔で供給される動き量に関する動き量情報を参照する区間の基準を、前記複数の画像を合成するときの合成比率に基づき設定し、
   　前記設定された基準を元に、前記動き量情報を参照し、前記補正を行う
   　画像処理装置。
2. 　前記複数の画像は、長時間露光期間で撮像された長時間露光画像と、短時間露光期間で撮像された短時間露光画像であり、
   　前記合成部は、前記長時間露光画像と前記短時間露光画像を前記合成比率で合成することで、ダイナミックレンジの広い画像を生成する
   　請求項１に記載の画像処理装置。
3. 　前記複数の画像は、同一露光時間で撮像され、異なるタイミングで撮像された複数の画像であり、
   　前記合成部は、前記複数の画像を合成することで、ノイズが低減された画像を生成する
   　請求項１に記載の画像処理装置。
4. 　前記動き補正部は、
   　前記合成部により複数の画像が合成されることで生成された合成画像が、前記複数の画像を参照する時刻に関するヒストグラムを統計量とし、
   　前記統計量をもとに、前記基準を設定する
   　請求項１に記載の画像処理装置。
5. 　前記基準は、前記合成画像毎に設定される
   　請求項４に記載の画像処理装置。
6. 　前記基準は、前記合成画像のライン毎に設定される
   　請求項４に記載の画像処理装置。
7. 　前記合成部により複数の画像が合成されることで生成された合成画像に対して、前記動き補正部による補正が行われる
   　請求項１に記載の画像処理装置。
8. 　前記動き補正部による補正が施された前記複数の画像を、前記合成部は合成する
   　請求項１に記載の画像処理装置。
9. 　異なるタイミングで撮像された複数の画像を合成し、
   　動きに関する前記画像への影響を低減する動き補正を行う
   　ステップを含み、
   　前記動き補正を、
   　所定の間隔で供給される動き量に関する動き量情報を参照する区間の基準を、前記複数の画像を合成するときの合成比率に基づき設定し、
   　前記設定された基準を元に、前記動き量情報を参照して行う
   　処理を含む画像処理方法。
10. 　異なるタイミングで撮像された複数の画像を合成する合成部と、
    　動きに関する前記画像への影響を低減する補正を行う動き補正部と
    　を備え、
    　前記動き補正部は、
    　所定の間隔で供給される動き量に関する動き量情報を参照する区間の基準を、前記複数の画像を合成するときの合成比率に基づき設定し、
    　前記設定された基準を元に、前記動き量情報を参照し、前記補正を行う
    　画像処理装置を備える
    　撮像装置。
11. 　コンピュータに、
    　異なるタイミングで撮像された複数の画像を合成し、
    　動きに関する前記画像への影響を低減する動き補正を行う
    　ステップを含み、
    　前記動き補正を、
    　所定の間隔で供給される動き量に関する動き量情報を参照する区間の基準を、前記複数の画像を合成するときの合成比率に基づき設定し、
    　前記設定された基準を元に、前記動き量情報を参照して行う
    　処理を実行させるためのプログラム。

Images