JP2017005541A - 撮像装置及びその制御方法 - Google Patents

Abstract

【課題】映像に白飛びが発生している場合に、表示される映像の変化を極力抑制しつつ、白飛びが発生している部分の信号の最大値を検出できるようにする。
【解決手段】撮像部と、撮像部が入力される光に対して飽和している場合に、撮像部の露出を低くすることにより撮像部のダイナミックレンジを拡大する拡大部と、撮像部が入力される光に対して飽和している場合に、拡大部によりダイナミックレンジを所定の量だけ拡大させて、撮像部の画面内の飽和していた部分の信号の最大値を検出する検出部と、所定量以上の被写体の変化を検出する変化検出部と、ユーザによる指示、画像の変化を伴う撮像装置の設定の変化、変化検出部による被写体の変化の検出、前回の露出の変更から所定の時間の経過、のうちのいずれかが発生した場合に、撮像部の露出を変化させてダイナミックレンジを拡大させ、最大値を検出させた後に、撮像部の露出を元に戻す制御部とを備える。
【選択図】図３

Description

本発明は、撮像装置及びその制御方法に関し、特には露出制御技術に関する。

適正露出より低い露出（露出アンダー）で撮影した映像に対して、ガンマ補正（階調補正）によって輝度を持ち上げることで、白飛びや黒つぶれを抑制し、ダイナミックレンジを拡大する方法が知られている。ガンマ補正特性は、入射光のレベルと出力信号のレベルとの関係が予め用意された関係となるように、設定されたダイナミックレンジに応じて変更される。

ダイナミックレンジを拡大するとともにガンマ補正特性を変更する手法がいくつか提案されている。特許文献１では、被写体の入射光量の最大反射率に応じて、ダイナミックレンジをシフトさせるとともにガンマ補正を最大反射率に応じた特性に変更させつつ、基準入射光量に対する出力は維持する手法が提案されている。この手法では、最大反射率が高い場合にはガンマ値を１に近づけ、最大反射率が低い場合にはガンマ値を０に近づけている。このようにすることで、最大反射率が高ければコントラストを下げ、最大反射率が低ければコントラストを高めている。

また、特許文献２では、所定の間隔で露出をアンダーにすることでダイナミックレンジを拡大するとともに輝度のヒストグラムを取得し、その際の出力画像は適正露出のタイミングの画像信号とする手法が提案されている。このようにすることで所定の間隔でフリーズ画となるものの、通常露出では飽和する領域のヒストグラムも取得することができる。

特開２００６−８１０３７号公報 特開２００９−２３９６３７号公報

ところで、ダイナミックレンジを拡大する場合には、露出アンダーで撮影しつつガンマ特性を変更することにより、入射光のレベルと出力信号のレベルとの関係を維持している。これは信号の増幅とほぼ同様であり、Ｓ／Ｎ比が低下する原因となる。そのため、Ｓ／Ｎ比の観点からは、必要以上のダイナミックレンジ拡張を行わない方がよい。そのため、ある撮影条件で画像に白飛びが生じている場合、ユーザは、白とびを解消できる最小限のダイナミックレンジ拡大を希望するであろう。しかしながら、白飛びしている部分は測光値も飽和しているため、白飛び部分の入射光のレベルを特定することはできない。そのため、ユーザは白飛びを回避するために必要なダイナミックレンジの拡大量を知ることができないという問題がある。

特許文献１では、目標のダイナミックレンジを算出するためにはより広いダイナミックレンジに変更する必要があり、Ｓ／Ｎ比が悪化する。また、露出をアンダーにするため、露出制御方法によっては被写界深度や動解像度が変化する。しかし、撮影現場によってはダイナミックレンジの確認を行う際でも、表示画像にこれらの変化が表れることは問題となる場合がある。

また、特許文献２では、目標のダイナミックレンジを算出する際に、本撮影時の露出で撮影した画像を出力するため、Ｓ／Ｎ比の変化や被写界深度の変化が表示画像に表れることはない。しかし、所定の間隔が短い場合、例えば１フレームごとに露出を切り替えて目標のダイナミックレンジを算出する場合には、フレームレートが半分になったのと同等の映像が出力される。また、所定の間隔が長い場合、画角や被写体の変化に対しての応答が遅くなるという問題がある。

本発明は上述した課題に鑑みてなされたものであり、その目的は、撮像装置において、映像に白飛びが発生している場合に、表示される映像の変化を極力抑制しつつ、白飛びが発生している部分の信号の最大値を検出できるようにすることである。

本発明に係わる撮像装置は、被写体像を撮像して画像データを出力する撮像手段と、前記撮像手段が入力される光に対して飽和している場合に、前記撮像手段の露出を低くすることにより前記撮像手段のダイナミックレンジを拡大する拡大手段と、前記撮像手段が入力される光に対して飽和している場合に、前記拡大手段により前記ダイナミックレンジを所定の量だけ拡大させて、前記撮像手段の画面内の飽和していた部分の信号の最大値を検出する検出手段と、所定量以上の被写体の変化を検出する変化検出手段と、ユーザによる指示、画像の変化を伴う撮像装置の設定の変化、前記変化検出手段による被写体の変化の検出、前回の露出の変更から所定の時間の経過、のうちのいずれかが発生した場合に、前記拡大手段により前記撮像手段の露出を変化させて前記ダイナミックレンジを拡大させ、前記検出手段により前記最大値を検出させた後に、前記撮像手段の露出を元に戻す制御手段と、を備えることを特徴とする。

本発明によれば、撮像装置において、映像に白飛びが発生している場合に、表示される映像の変化を極力抑制しつつ、白飛びが発生している部分の信号の最大値を検出することが可能となる。

第１〜第４の実施形態におけるデジタルビデオカメラの外観図。 第１〜第４の実施形態におけるデジタルビデオカメラの構成を示すブロック図。 第１の実施形態におけるＤレンジアシストの有効、無効の決定処理、Ｄレンジアシストでの露出変更処理および差分値を算出する処理を示すフローチャート。 第１の実施形態における画像に対する測光枠と表示の例を示す図。 第２の実施形態における露出とガンマ補正特性の決定処理の動作を示すフローチャート。 第２の実施形態におけるＤレンジアシスト前後のガンマ補正特性の一例を示す図。 第３の実施形態における処理を示すフローチャート。 第４の実施形態における処理を示すフローチャート。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。

まず、本発明の実施形態の概要について説明する。ビデオカメラで動画を撮影する場合、高輝度の被写体に対して白飛びを抑制するための手法として、露出をアンダーにするとともに感度を上げてダイナミックレンジを拡大する方法がある。しかし、現状の露出で白飛びが発生している場合、どの程度ダイナミックレンジを拡大すれば白飛びを回避できるか、言い換えれば、どの程度露出をアンダーにすれば白飛びが回避できるかはユーザには分からない。それは、白飛びしている部分は信号が飽和しているので、その部分の信号レベルの最大値はカメラ側でも検出できないためである。

そこで、本実施形態では、撮影中に一旦ダイナミックレンジを広い値に設定する。これにより、今まで画面内で白飛びしていた部分が飽和しなくなり、その部分の信号の最大値を検出することができる。つまり、今まで設定されていたダイナミックレンジで表現できる信号の最大値と、白飛びしていた部分の信号の本来の最大値の差を求めることができる。そして、この差の分だけダイナミックレンジを拡大すれば白飛びを回避できることが分かり、それをユーザに通知することができる。しかし、上記のように撮影中にダイナミックレンジを拡大しようとして露出をアンダーにすると、画像にその露出の変化の様子が反映されてしまい、ユーザは不自然に変化する画像を見ることになってしまう。

そのため、本実施形態では、ダイナミックレンジを拡大する条件を設定し、ダイナミックレンジの拡大に伴う露出の変化の様子が映像を見ても分かりにくいようにする。また、それと同時に撮影中にダイナミックレンジを拡大する動作に伴って、画像の階調特性を変更することにより、ダイナミックレンジを拡大した後も、ダイナミックレンジを拡大する前と概ね同じように見える白飛びした映像（表示画像）を表示する。あるいは、ダイナミックレンジを拡大する前の映像を保存しておき、それを表示する。これにより、白飛びした部分の信号の最大値を知ることが可能でありながら、表示される映像が不自然になることを回避できる。以上が本発明の実施形態の概要である。

（第１の実施形態）
図１は、本発明の撮像装置の第１の実施形態であるデジタルビデオカメラ１００を示す外観図である。図１において、表示部２８は、画像や各種情報を表示する表示部である。録画スイッチ６１は、撮影指示を行うための操作部である。モード切替スイッチ６０は、各種モードを切り替えるための操作部である。コネクタ１１２は、デジタルビデオカメラ１００に接続ケーブルを接続させるためのコネクタである。操作部７０は、ユーザからの各種操作を受け付ける各種ボタン、十字キー等の操作部材を備える操作部である。電源スイッチ７２は、電源オン、電源オフを切り替える。記録媒体２００は、メモリカードやハードディスク等の記録媒体である。記録媒体スロット２０１は記録媒体２００を格納するためのスロットである。記録媒体２００は、記録媒体スロット２０１に格納されることにより、デジタルビデオカメラ１００との通信が可能となる。

図２は、第１の実施形態のデジタルビデオカメラ１００の内部構成を示すブロック図である。図２において、撮影レンズ１０３はズームレンズ、フォーカスレンズを含むレンズ群であり、被写体像を結像させる。絞り１０１は光量調整に使用する絞りである。ＮＤフィルター（Neutral Density Filter）１０４は減光用に使用するフィルターである。撮像部２２は光学像を電気信号に変換するＣＣＤやＣＭＯＳセンサ等で構成される撮像素子を有する。また、撮像部２２は電子シャッターによる蓄積の制御や、アナログゲインの変更、読み出し速度の変更などの機能も備える。Ａ／Ｄ変換器２３は、アナログ信号をデジタル信号に変換する。Ａ／Ｄ変換器２３は、撮像部２２から出力されるアナログ信号をデジタル信号に変換するために用いられる。バリア１０２は、デジタルビデオカメラ１００の、撮影レンズ１０３を含む撮像系を覆うことにより、撮影レンズ１０３、絞り１０１、撮像部２２を含む撮像系の汚れや破損を防止する。

画像処理部２４は、Ａ／Ｄ変換器２３からのデータ、又は、メモリ制御部１５からのデータに対し所定の画素補間処理、縮小処理といったリサイズ処理や、色変換処理、ガンマ補正処理、デジタルゲインの付加処理等の処理を行う。また、撮像した画像データを用いて所定の演算処理を行い、演算結果をシステム制御部５０に送信する。送信された演算結果に基づいて、システム制御部５０が露出制御、測距制御、ホワイトバランス制御等を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理等が行われる。また、ジャイロ４０で検出した手振れなどによるデジタルビデオカメラ１００の動きや姿勢変化に対して、システム制御部５０が、撮像レンズ１０３のシフトレンズを動作させるか、あるいは画像処理部２４で画像をずらすことにより像振れ補正を行う。

Ａ／Ｄ変換器２３からの出力データは、画像処理部２４及びメモリ制御部１５を介して、或いは、メモリ制御部１５を介してメモリ３２に直接書き込まれる。メモリ３２は、撮像部２２によって撮像されＡ／Ｄ変換器２３によりデジタルデータに変換された画像データや、表示部２８に表示するための画像データを格納する。メモリ３２は、所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。

また、メモリ３２は画像表示用のメモリ（ビデオメモリ）を兼ねている。Ｄ／Ａ変換器１３は、メモリ３２に格納されている画像表示用のデータをアナログ信号に変換して表示部２８に供給する。こうして、メモリ３２に書き込まれた表示用の画像データはＤ／Ａ変換器１３を介して表示部２８により表示される。表示部２８は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換器１３からのアナログ信号に応じた表示を行う。Ａ／Ｄ変換器２３によって一度Ａ／Ｄ変換されメモリ３２に蓄積されたデジタル信号をＤ／Ａ変換器１３においてアナログ変換し、表示部２８に逐次転送して表示することで、電子ビューファインダが実現され、スルー画像表示を行うことができる。

不揮発性メモリ５６は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭが用いられる。不揮発性メモリ５６には、システム制御部５０の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、後述する各種フローチャートを実行するためのプログラムのことである。

システム制御部５０は、デジタルビデオカメラ１００全体を制御する。前述した不揮発性メモリ５６に記録されたプログラムを実行することにより、後述する本実施形態の各処理を実行する。システムメモリ５２には、ＲＡＭが用いられる。システムメモリ５２には、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等を展開する。また、システム制御部５０はメモリ３２、Ｄ／Ａ変換器１３、表示部２８等を制御することにより表示制御も行う。

システムタイマー５３は各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。モード切替スイッチ６０、録画スイッチ６１、操作部７０はシステム制御部５０に各種の動作指示を入力するための操作手段である。

モード切替スイッチ６０は、システム制御部５０の動作モードを、動画記録モード、静止画記録モード、再生モード等のいずれかに切り替える。動画記録モードや静止画記録モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、撮影シーン別の撮影設定となる各種シーンモード、プログラムＡＥモード、カスタムモード等がある。モード切替スイッチ６０を操作することにより、動画撮影モードに含まれるこれらのモードのいずれかに直接切り替えることができる。あるいは、モード切替スイッチ６０で動画撮影モードに一旦切り換えた後に、動画撮影モードに含まれるこれらのモードのいずれかに、他の操作部材を用いて切り替えるようにしてもよい。録画スイッチ６１は撮影待機状態と撮影状態を切り替える。システム制御部５０は、録画スイッチ６１がＯＮされると、撮像部２２からの信号読み出しから記録媒体２００への動画データの書き込みまでの一連の動作を開始する。

操作部７０の各操作部材は、表示部２８に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして動作する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部２８に表示される。利用者は、表示部２８に表示されたメニュー画面と、上下左右４方向の十字キーやＳＥＴボタンを用いて直感的に各種設定を行うことができる。

電源制御部８０は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部８０は、その検出結果及びシステム制御部５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００を含む各部へ供給する。

電源部３０は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉイオン電池等の二次電池、ＡＣアダプター等からなる。記録媒体Ｉ／Ｆ１８は、メモリカードやハードディスク等の記録媒体２００とのインターフェースである。記録媒体２００は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。

次に本実施形態のデジタルビデオカメラの動作について説明する。本実施形態では、デジタルビデオカメラ１００は、現在撮影している映像の一部が白飛びしている場合に、この白飛びしている部分における信号値の本来の最大値と、現在設定されているダイナミックレンジで表現できる信号の最大値の差分を表示可能である。ユーザは、この表示された差分だけダイナミックレンジを拡大すれば（露出をアンダーにすれば）画像の白飛びを回避できることを知ることができる。この機能をＤレンジアシストと呼ぶことにする。

本実施形態では、白飛びしている部分の信号値の本来の最大値を検出するために、ダイナミックレンジ（以下、Ｄレンジと呼ぶ）を、一旦デジタルビデオカメラ１００で設定可能な最大値に拡大する。これにより、白飛びしている部分の信号の飽和が無くなり、白飛び部分の信号値の本来の最大値を検出できるようになる。このとき、Ｄレンジを拡大するために露出をアンダーにすることになるが、この露出の変化が表示している画像に表れると、ユーザは不自然に変化する画像を見ることになる。これを避けるために、本実施形態では以下の様な処理を実行する。なお、本実施形態における各処理はシステム制御部５０が不揮発性メモリ５６に格納されたプログラムをシステムメモリ５２に展開して実行することにより実現される。

まず、上記のＤレンジアシストを有効にするか無効にするかを決定するための処理、およびＤレンジアシストにおける処理について説明する。図３は、本実施形態におけるＤレンジアシストの有効、無効の決定処理、Ｄレンジアシストでの露出変更処理および差分値を算出する処理を示すフローチャートである。

まず、Ｓ３０１において、Ｄレンジアシストを実行可能とするＤレンジアシストモードか否かを判断する。Ｄレンジアシストモードへの遷移は、ユーザが操作部７０を用いて設定する。Ｄレンジアシストモードでなければ、以下の処理を行わずにこのフローを終了する。Ｄレンジアシストモードであれば、Ｓ３０２において、Ｄレンジアシストモードに遷移してからの経過時間をカウントするカウンターをインクリメントし、Ｄレンジアシストを実行するか否かの判定へ移る。

第１の判定として、Ｓ３０３において、ユーザが操作部７０を介してＤレンジアシストを有効にする指示を行ったか否かを判定する。これにより、ユーザは任意のタイミングでＤレンジアシストを実行させることが可能となる。

第２の判定として、Ｓ３０４において、ビデオカメラの制御のうち、画像が変化する制御が実行されたか否かを判定する。画像が変化する制御としては、撮像レンズ１０３によるフォーカス制御、ズーム制御、絞り１０１、ＮＤフィルタ１０４、撮像部２２における電子シャッター、アナログゲイン等による露出制御、画像処理部２４によるホワイトバランス制御、カラーバランス制御、輪郭強調制御、ノイズ抑圧制御等が該当する。測光値に影響するビデオカメラの制御であればよく、特に限定されるものではない。なお、これらの変化に対し所定の閾値を設け、閾値以上の変更のみを判定してもよい。また、制御の変更はユーザの操作によるものでもよいし、ビデオカメラが自動で行うものでもよい。

第３の判定として、Ｓ３０５において、被写体が変化したか否かを判定する（変化検出）。被写体の変化としては、ビデオカメラの移動やパン・チルト操作による画角の変化、被写体を照らしている光源の変化、被写体の動き等が該当する。画角の変化の検出は、ジャイロ４０によりデジタルビデオカメラ１００の動きを検出することによって行うことができる。光源の変化や被写体の動きの検出は、撮像部２２を通して得られた画像の時間方向の変化を解析することで検出してもよいし、撮像部２２とは別のセンサにより検出してもよい。また、これらに対し所定の閾値を設け、閾値以上（所定量以上）の変化のみを判定してもよい。

本実施形態におけるＤレンジアシストの実行判定は、第１の判定、第２の判定、第３の判定の順で処理しているが、これらの順番を入れ替えてもよいし、同時に行ってもよい。これらの判定のうちの全ての判定においてＮｏとなった場合、Ｓ３０６においてカウンターのカウント値（前回露出を変更してからの経過時間）が所定値以上か否かを判定する。この判定でもＮｏの場合は、Ｄレンジアシストを実行せずに終了する。一方、Ｓ３０３〜Ｓ３０６の判定においてＹｅｓとなった場合、Ｓ３０７でカウンターをリセットした上で、Ｄレンジアシストを実行する（Ｓ３０８〜Ｓ３１４）。

次に、Ｄレンジアシストの処理について説明する。Ｄレンジアシストの処理として、まず、Ｓ３０８において、Ｄレンジを変更しようとする量（以下、Ｄレンジ変更量と呼ぶ）を算出する。本実施形態では、Ｄレンジをデジタルビデオカメラ１００で設定できる最大のＤレンジであるＤｍａｘに変更するものとする。Ｄレンジの変更量の段数であるＤｃｈａｎｇｅは、現在のＤレンジをＤｎｏｗ、変更後のＤレンジをＤｍａｘとすると、式（１）で表わされる。

Ｄｃｈａｎｇｅ＝ｌｏｇ₂（Ｄｍａｘ／Ｄｎｏｗ） …（１）
例えば、設定可能な最大のＤレンジが８００％で、現在のＤレンジが４００％であるとすると、Ｄレンジ変更量は１段となる。現在のＤレンジが３００％であるとすると、Ｄレンジ変更量は約１．５２段となる。

次に、Ｓ３０９において、Ｓ３０８で算出したＤレンジ変更量に応じて、露出を変更する。露出は、絞り１０１、ＮＤフィルター１０２、撮像部２２における電子シャッター、あるいはアナログゲイン等を用いて変更する。例えば電子シャッター速度を変更する場合、Ｄレンジ変更前の電子シャッター速度が１／６０秒であり、Ｄレンジ変更量が１段であれば、電子シャッター速度を１／１２０秒に変更する。露出変更の方法は、撮像素子から信号が出力される前に変更できる方法であれば任意であり、特に電子シャッターに限定されるものではない。

その後、Ｓ３１０において、Ｄレンジ（露出）が変更された状態での測光値を取得する。画像処理部２４ではガンマ補正回路を通過する前の画像データから測光値が算出される。測光値は画像データを複数の特定のサイズに区切り、区切られた枠の中の画像データの輝度信号の平均値を算出した値とする。本実施形態では８×８の枠に区切る（分割する）ものとする。図４は、画像に対する測光枠の配置と表示の例を示した図である。図４（ａ）は測光される画像を示し、図４（ｂ）は画像と測光枠を示している。システム制御部５０は、６４個の各測光枠のそれぞれについて輝度を平均し、６４個の輝度平均値を取得する。本実施形態では、測光値を輝度信号の平均値としたが、枠毎の明るさが分かればよく、積分値で表してもよいし、ＥＶ値等の明るさの指標となる値で表わしてもよい。

次に、Ｓ３１１において、最大測光値を判定する。上記の６４個の測光値の中で最も大きな値を抽出し、枠の位置とともに記憶しておく。次に、Ｓ３１２において、現在のＤレンジで表現できる信号の最大値と最大測光値の差分を算出する。差分値は以下の式（２）により算出される。

差分値＝ｌｏｇ₂（最大測光値／（最大値×現在Ｄレンジ／最大Ｄレンジ））
…（２）
例えば、現在のＤレンジが４００％、最大Ｄレンジが８００％、輝度信号として許容される最大値が４０９５、最大測光値が３５００とすると、差分値は約０．７７段となる。つまりＤレンジを０．７７段変更して約６８０％のＤレンジにすると、最大測光値がＤレンジで表現できる最大値の範囲内に収まる。また、同時に０．７７段分の露出補正が必要となるとともに、その分だけＳ／Ｎ比が低下する可能性がある。

差分値が算出されたら、Ｓ３１３において、Ｓ３０９で変更した露出を元の露出に戻し、Ｓ３１４において、差分値を表示する。システム制御部５０は、最大測光値を示す測光枠の位置と差分値を画像処理部２４に送信する。画像処理部２４では枠の位置に応じて枠の画像を描くとともに、その枠の中に差分値を描いた画像を作成し、画像データに重ねた画像を生成する。画像データはメモリ制御部１５とＤ／Ａ変換器１３を経て表示部２８に表示される。図４（ｃ）は、差分値の表示例を示している。図４（ｂ）に示す枠Ａの測光値が最大測光値である場合の例である。この差分値の表示により、枠Ａの被写体をＤレンジの範囲内に収めるには０．７７段のＤレンジの変更が必要であることがわかる。なお、本実施形態では、枠の中に差分値を表示する例を示したが、枠の表示方法や、数値の表示場所は任意であり、特に図４（ｃ）の例に限定されるものではない。

以上のような方法で測光値を検出すれば、測光値がデジタルビデオカメラ１００で設定できる最大のＤレンジの範囲内であれば、現在のＤレンジを超えた測光値であっても、現在のＤレンジの最大値と最大測光値の関係を知ることができる。また、映像を極力変化させることなく、また画角や被写体が変化した際の応答性を確保しつつ、現在のＤレンジと最大測光値の関係を知ることができる。そのため、ユーザがＤレンジを変更する際の目安とすることができる。

（第２の実施形態）
第１の実施形態ではＤレンジアシストが実行されると、現在のＤレンジの最大値と最大測光値の差分値の算出を行う間、露出がアンダーになり、表示画像の明るさが急激に変化してしまう。つまり、ユーザは不自然に変化する映像を見ることになる。そこで本実施形態では、露出を変更させた分をガンマ補正の特性を変更することで補正し、表示画像の見た目の明るさを変化させずに差分値を算出する処理について説明する。

撮像装置の外観及び構成、Ｄレンジアシストを実行するか否かの判定は、第１の実施形態で説明した図１、図２、図３のＳ３０１〜Ｓ３０７と同様であるため、その説明は省略する。図５は、本実施形態における露出とガンマ補正特性の決定処理の動作を示すフローチャートである。

まず、Ｓ５０１、Ｓ５０４〜Ｓ５０６、Ｓ５０９の処理に関しては、第１の実施形態の図３のＳ３０８、Ｓ３１０〜Ｓ３１２、Ｓ３１４の処理と同様であるため、説明を省略する。

Ｓ５０１でＤレンジの変更量を算出した後、第１の実施形態ではＳ３０９において露出の変更のみを実施した。これに対し、本実施形態では、Ｓ５０２において同様に露出の変更を行った（Ｄレンジを変更した）上で、Ｓ５０３において、画像処理部２４の中のガンマ補正回路に設定するガンマ補正特性を変更する。Ｄレンジを拡大した後で、且つガンマ補正特性を変更する前の入力（光の強度）Ｘに対する出力（撮像素子の出力信号）をＹとすると、Ｘ×Ｄｎｏｗ／Ｄｍａｘの出力がＹとなるようなガンマ補正特性とする。また、ガンマ補正特性を変更する前の入力の最大値をＸｍａｘ、出力の最大値をＹｍａｘとすると、ガンマ補正特性の変更後は、入力がＸｍａｘ×Ｄｎｏｗ／Ｄｍａｘの時にＹｍａｘとなるようにし、それ以降の入力に対する出力はＹｍａｘとなるようにする。

図６は、Ｄレンジの拡大の前後における、ガンマ補正特性の入力と出力の関係の一例を示す図である。図６は、Ｄｎｏｗが４００％、Ｄｍａｘが８００％である場合の例である。横軸はガンマ補正回路の入力ビット（光の強度）、縦軸は出力ビットである。Ｄレンジの拡大前は、Ｄレンジの最大値、すなわち４００％の信号がＸｍａｘとなる。また、Ｄレンジ拡大後はＤレンジの最大値、すなわち８００％の信号がＸｍａｘとなり、４００％の信号はＸｍａｘ／２となる。

通常のガンマ補正特性のままＤレンジを拡大すると、露出がアンダーとなり画像が暗くなるとともに白飛びが無くなる。すなわち、表示している映像が変化する。これをユーザーに見せないようにするために、ガンマ補正特性を変更する。具体的には、Ｄｎｏｗ／Ｄｍａｘが１／２（＝４００％／８００％）なので、図６に一点鎖線で示すように、ガンマ補正特性変更前の入力Ｘに対する出力とガンマ補正特性変更後の入力Ｘ／２に対する出力が同じになるようなガンマ補正特性とする。また、ガンマ補正特性変更後は、Ｘｍａｘ／２の時にＹｍａｘとなり、それ以降はＹｍａｘを維持する特性としている。このガンマ補正特性に基づいた設定値が画像処理部２４に送信され、ガンマ補正回路に設定される。

その後、Ｓ５０４〜Ｓ５０６において、第１の実施形態のＳ３１０〜Ｓ３１２と同様の処理の流れで、Ｄレンジを変更する前のＤレンジで表現できる信号の最大値と最大測光値の差分を算出する。差分値が算出されたら、Ｓ５０７において、Ｓ５０２で変更した露出を元に戻し、Ｓ５０８において、Ｓ５０３で変更したガンマ補正特性も元に戻す。

以上のような方法で露出とガンマ補正特性を制御することで、Ｄレンジアシストの実行中でも表示映像の変化を極力抑えることができる。

（第３の実施形態）
第１の実施形態ではＤレンジアシストが実行されると、現在のＤレンジの最大値と最大測光値の差分値の算出を行う間、露出がアンダーになり、表示画像の明るさが急激に変化してしまう。また、第２の実施形態では、Ｄレンジアシストが実行されると、見た目の明るさの変化は無いが、露出がアンダーになった分をガンマ補正特性の変更により持ち上げるため、Ｓ／Ｎ比が低下する。そこで本実施形態では、Ｄレンジアシストを実施したフレームの画像を、Ｄレンジアシストを実施していないフレームの画像で置き換えて出力することにより、見た目の画質を変化させずに差分値を算出する処理について説明する。

撮像装置の外観及び構成、Ｄレンジアシストを実行するか否かの判定は、第１の実施形態で説明した図１、図２、図３のＳ３０１〜Ｓ３０７と同様であるため、その説明は省略する。図７は、本実施形態における処理を示すフローチャートである。

まず、Ｓ７０１において、Ｄレンジアシストが実施されているか否かを判定する。Ｄレンジアシストが実施されていない場合、Ｓ７０２において、画像をメモリ制御部１５を介してメモリ３２に書き込む。ここで、既にメモリ３２に画像が書き込まれている場合、画像の上書きを行い、常に最新の画像が保持されるようにする。

一方、Ｓ７０１においてＤレンジアシストが実施されていると判定された場合、Ｓ７０３〜Ｓ７０９の処理を行う。この処理は第１の実施形態の図３のＳ３０８〜Ｓ３１４の処理と同様であるため説明は省略する。その後、Ｓ７１０において、メモリ３２に保存されている画像をＤ／Ａ変換器１３を介して表示部２８に表示する。

以上のような方法で、Ｄレンジアシストの実行中にＤレンジアシストを実行していない時の画像を出力することにより、Ｄレンジアシスト実行中に画像のＳ／Ｎ比が急激に変化することを抑制することができる。

（第４の実施形態）
第２の実施形態では、Ｄレンジアシストが実行されると、見た目の明るさの変化は無いが、露出がアンダーになった分をガンマ補正特性の変更により持ち上げるため、Ｓ／Ｎ比が低下する。また、第３の実施形態では、Ｄレンジアシストが実行されると、画像が一時的に更新されなくなるため、動いている被写体を撮影している場合に動きが不自然となってしまうことがある。そこで、本実施形態では、被写体の状況によって第２の実施形態で説明した処理と第３の実施形態で説明した処理を使い分ける。これにより、Ｄレンジアシストの実行中に出力される画像がユーザに違和感を与えることを抑制する。

撮像装置の外観及び構成は、第１の実施形態で説明した図１、図２と同様であるため、その説明は省略する。図８は、本実施形態における処理を示すフローチャートである。

まず、Ｓ８０１およびＳ８０２の処理は、第１の実施形態の図３のＳ３０１およびＳ３０２と同様であるため、説明を省略する。

次に、Ｓ８０３において、ビデオカメラの制御のうち、画像が変化する制御が実行されたか否かを判定する。画像が変化する制御が実行されていない場合は、Ｓ８０４において、さらに被写体が変化したか否かを判定する。これは、第１の実施形態の図３のＳ３０４およびＳ３０５と同様である。Ｓ８０３もしくはＳ８０４のいずれかで判定がＹｅｓの場合、Ｓ８０６において、Ｄレンジアシストモード中の経過時間をカウントするカウンターをリセットし、Ｓ８０７において、Ｄレンジアシストを実行する。このとき、第２の実施形態で説明したように、露出がアンダーになった分をガンマ補正特性の変更により持ち上げる。

一方、Ｓ８０３およびＳ８０４の判定において共にＮｏである場合、Ｓ８０５において、カウンターのカウント値が所定値以上か否かを判定する。この判定でもＮｏの場合は、Ｄレンジアシストを実行せずに終了する。Ｓ８０５の判定でＹｅｓの場合は、Ｓ８０８においてカウンターをリセットし、Ｓ８０９において、Ｄレンジアシストが実行される。このとき、第３の実施形態で説明したように、Ｄレンジアシスト実行中の画像をＤレンジアシストを実行していない時の画像で置き換える。

以上のような方法でＤレンジアシストの実行時の処理を切り替えることで、ユーザに違和感を与えずにＤレンジアシストを実施することが可能となる。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１３：Ｄ／Ａ変換器、１５：メモリ制御部、１８：記録媒体Ｉ／Ｆ、２２：撮像部、２３：Ａ／Ｄ変換器、２４：画像処理部、２８：表示部、３２：メモリ、４０：ジャイロ、５０：システム制御部、５２：システムメモリ、５６：不揮発性メモリ、６０：モード切替スイッチ、６１：録画スイッチ、７０：操作部、１００：デジタルビデオカメラ、１０１：絞り、１０３：撮像レンズ、２００：記録媒体

Claims (14)

1. 被写体像を撮像して画像データを出力する撮像手段と、
   前記撮像手段が入力される光に対して飽和している場合に、前記撮像手段の露出を低くすることにより前記撮像手段のダイナミックレンジを拡大する拡大手段と、
   前記撮像手段が入力される光に対して飽和している場合に、前記拡大手段により前記ダイナミックレンジを所定の量だけ拡大させて、前記撮像手段の画面内の飽和していた部分の信号の最大値を検出する検出手段と、
   所定量以上の被写体の変化を検出する変化検出手段と、
   ユーザによる指示、画像の変化を伴う撮像装置の設定の変化、前記変化検出手段による被写体の変化の検出、前回の露出の変更から所定の時間の経過、のうちのいずれかが発生した場合に、前記拡大手段により前記撮像手段の露出を変化させて前記ダイナミックレンジを拡大させ、前記検出手段により前記最大値を検出させた後に、前記撮像手段の露出を元に戻す制御手段と、
   を備えることを特徴とする撮像装置。
2. 前記画像データに階調補正を行う階調補正手段と、該階調補正手段により前記画像データを階調補正して得られた表示画像を表示する表示手段とをさらに備え、前記制御手段は、前記ダイナミックレンジを拡大させた場合に、該ダイナミックレンジの拡大により引き起こされる前記表示画像の変化を抑制するように前記階調補正の特性を変更し、前記撮像手段の露出を元に戻す動作に伴って、前記階調補正の特性を元に戻すことを特徴とする請求項１に記載の撮像装置。
3. 前記画像データを一時的に保持する記憶手段をさらに備え、前記制御手段は、前記ダイナミックレンジを拡大させた場合に、前記記憶手段に保持されていた前記ダイナミックレンジを拡大する前の画像を前記表示手段に表示させることを特徴とする請求項２に記載の撮像装置。
4. 前記画像の変化を伴う撮像装置の設定の変化とは、ユーザによる操作、撮像装置が自動で行うフォーカス制御、ズーム制御、露出制御、ホワイトバランス制御、カラーバランス制御のうちの少なくとも１つの制御であることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記変化検出手段により検出する被写体の変化とは、光源の変化、画角の変化、被写体の動きのうちの少なくとも１つの変化であることを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記画像の変化を伴う撮像装置の設定の変化もしくは前記変化検出手段による被写体の変化の検出が発生した際には、前記ダイナミックレンジを拡大させた場合に、該ダイナミックレンジの拡大により引き起こされる前記表示画像の変化を抑制するように前記階調補正の特性を変更し、前回の露出の変更からの所定の時間の経過が発生した際には、前記ダイナミックレンジを拡大させた場合に、前記記憶手段に保持されていた前記ダイナミックレンジを拡大する前の画像を前記表示手段に表示させることを特徴とする請求項３に記載の撮像装置。
7. 前記拡大手段は、前記ダイナミックレンジを前記撮像装置で設定可能な最大のダイナミックレンジまで拡大することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 前記検出手段は、前記画面内を複数の領域に分割し、該複数の領域のそれぞれの信号の中から前記最大値を検出することを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 前記検出手段により検出された前記最大値と、前記拡大手段により拡大される前のダイナミックレンジで表現できる信号の最大値との差分を算出する算出手段をさらに備えることを特徴とする請求項８に記載の撮像装置。
10. 前記制御手段は、前記差分を前記表示手段に表示させることを特徴とする請求項９に記載の撮像装置。
11. 前記制御手段は、前記複数の領域のうちの前記検出手段により検出された前記最大値をとる領域を示す枠と、前記差分とを前記表示手段に表示させることを特徴とする請求項１０に記載の撮像装置。
12. 被写体像を撮像して画像データを出力する撮像手段を備える撮像装置を制御する方法であって、
    拡大手段が、前記撮像手段が入力される光に対して飽和している場合に、前記撮像手段の露出を低くすることにより前記撮像手段のダイナミックレンジを拡大する拡大工程と、
    検出手段が、前記撮像手段が入力される光に対して飽和している場合に、前記拡大手段により前記ダイナミックレンジを所定の量だけ拡大させて、前記撮像手段の画面内の飽和していた部分の信号の最大値を検出する検出工程と、
    変化検出手段が、所定量以上の被写体の変化を検出する変化検出工程と、
    制御手段が、ユーザによる指示、画像の変化を伴う撮像装置の設定の変化、前記変化検出手段による被写体の変化の検出、前回の露出の変更から所定の時間の経過、のうちのいずれかが発生した場合に、前記拡大手段により前記撮像手段の露出を変化させて前記ダイナミックレンジを拡大させ、前記検出手段により前記最大値を検出させた後に、前記撮像手段の露出を元に戻す制御工程と、
    を有することを特徴とする撮像装置の制御方法。
13. 請求項１２に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
14. 請求項１２に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images