JP4131280B2 - 撮像装置と映像信号処理方法 - Google Patents

Description

この発明は、撮像装置と映像信号処理方法に関する。詳しくは、被写体を撮像して得られた映像信号のダイナミックレンジ圧縮処理を行い、ダイナミックレンジ圧縮処理が行われた映像信号に基づいて第１の出力信号を生成し、また、被写体を撮像して得られたディジタルの映像信号に対して、どのようなダイナミックレンジ圧縮処理が行われたかを示す処理情報を付加した信号を生成して、この生成された信号に基づいて第２の出力信号を生成することで、ポストプロダクション処理後の映像の画質劣化を少なくするものである。また、撮影した映像の確認等も容易に行うことができるようにするものである。

従来の撮像装置１００は、図１２に示すように、撮像部２０の撮像素子２０１は、駆動部２０２によって駆動されて、被写体像に基づいたアナログの映像信号ＳＶaを生成してアナログ信号処理部２０３に供給する。アナログ信号処理部２０３は、映像信号ＳＶaのノイズ除去等を行い、処理後の映像信号ＳＶbをＡ／Ｄ変換部２０４に供給する。Ａ／Ｄ変換部２０４は、映像信号ＳＶbをディジタルの映像信号ＤＶaに変換する。信号処理部３０の色調整処理部３０１は、色再現の補正等を行う。非線形処理部３０２は、色調整処理後の映像信号ＤＶbに対して、ダイナミックレンジ圧縮処理やガンマ補正を行う。さらに、ディテール処理部３０３は、非線形処理後の映像信号ＤＶcに対して、輪郭補償等を行う。出力部３１は、信号処理部３０から供給された映像信号ＤＶdを、映像表示装置や映像記録装置に対応する伝送フォーマットの信号に変換して出力信号ＤＶoutを生成する。

図１３は、撮像素子２０１に入射される光の入力強度と撮像素子２０１から出力される映像信号ＳＶaの関係を示している。撮像部２０で使用されている撮像素子２０１は、ダイナミックレンジが６００％以上のものが実用化されており、例えば入力強度が０％のとき映像信号ＳＶaの信号レベルはＬＥ(0%)、入力強度が６００％のとき映像信号ＳＶaの信号レベルはＬＥ(600%)となる。このため、Ａ／Ｄ変換部２０４も撮像素子に対応させて、６００％以上のダイナミックレンジを確保できるように設計されている。その後、映像信号の信号レベルを例えば放送規格に対応した信号レベルとするため、ダイナミックレンジ圧縮処理が行われている。

図１４は、ニー補正によって、入力強度が８０％〜６００％の映像部分を８０％〜１０９％（ホワイトクリップレベル）の出力レベルに圧縮する処理を示している。また、撮像装置１００では、映像表示装置（図示せず）で用いられている表示デバイスの入出力特性に対応したガンマ補正が行われている。例えば表示デバイスとして陰極線管が用いられる場合、８０％以下の領域に対して、入出力特性が上に凸の曲線となるように非線形処理が行われる。さらに、暗い映像部分例えば入力強度が０％〜２０％の領域ＧＡに対しては、暗い映像部分の色合い等を豊かに表現するものとしたり、暗い映像部分の階調を良好に表示することができるように補正するブラックガンマ補正が行われる。このようなニー補正やガンマ補正は主観的画質に大きな影響を与える処理であり、撮像者の意図に合わせ調整される。

なお、ニー補正やガンマ補正等の非線形処理は、特許文献１〜特許文献３等によって主観的に良好な画質が得られるものとなっている。

特許第２８８４３８４号明細書 特許第２０６７６５０号明細書 特願平３−１１２２２６号公報

ところで、撮影後の作業であるポストプロダクション処理（後処理）では、コンピュータ装置等の性能の向上に伴い、種々の処理を簡単かつ速やかに行うことができるようになってきている。ここで、映像制作の作業手順を図１５に例示する。ステップＳＴ１では、撮像装置を用いて撮像動作を行い、被写体を撮像して得られた映像信号を記録媒体に記録する。ステップＳＴ２では、映像信号の取り込みを行う。この映像信号の取り込みでは、記録媒体の再生を行い、記録されている映像信号を読み出してポストプロダクション処理装置（図示せず）のメモリやハード・ディスク装置等に書き込む。その後、ステップＳＴ３〜ステップＳＴ６に示すカット編集、露出階調補正、色調整処理、特殊効果等の処理を必要に応じて行う。処理が完了すると、ステップＳＴ７では映像信号の記録処理を行い、編集処理が完了した映像信号をサーバ等に蓄積させたり記録メディアに記録する。

このような編集処理では、編集者の意図により、例えば大きな露出補正やガンマカーブ変更等を求められる場合が多くなってきている。しかし、従来の撮像装置から出力される信号は、ダイナミックレンジ圧縮処理によって情報量が少なくなっている。このため、従来の撮像装置から出力される信号を用いてポストプロダクション処理を行うものとすると大きな露出補正やガンマカーブ変更等を行ったとき、ポストプロダクション処理後の画質が劣化してしまう場合がある。例えばニー補正が行われた領域の映像に対して、階調を高めるようにポストプロダクション処理を行っても、ニー補正が行われた領域の情報量は少なくなっていることから、ポストプロダクション処理後の映像は階調の荒れた映像となってしまう。

また、映画制作等の現場で用いるフィルムカメラでは、適正露出量であるときの映像が６００％程度のダイナミックレンジを有した映像と同等となり、撮像素子を用いた撮像装置でも同等の特性が求められている。このため、ニー補正やガンマ補正等を行わない撮像装置を使用した撮影動作も行われている。この場合、ニー補正やガンマ補正等が行われていないので、フィルムカメラを用いた場合と同等の特性でポストプロダクション処理を行っても、良好な画質の映像を得ることができる。しかし、ニー補正やガンマ補正等が行われていない信号を用いて映像表示を行うと、映像表示装置に表示される映像はニー補正やガンマ補正等を行った場合のように明るさや階調等を表現することができない。したがって、ニー補正やガンマ補正等が行われている撮像装置を使用した場合のように、撮影中の映像の明るさや階調等を映像表示装置でリアルタイムに確認することが困難となってしまう。

そこで、この発明では、撮影した映像の確認等も容易に行うことができるとともに、ポストプロダクション処理後の映像の画質劣化を少なくできる撮像装置と映像信号処理方法およびプログラムを提供するものである。

この発明の概念は、被写体を撮像して第１の映像信号を生成する撮像部と、前記第１の映像信号のダイナミックレンジ圧縮処理としてニー補正した第２の映像信号を供給する信号処理部と、前記信号処理部から供給された第２の映像信号に基づいて第１の出力信号を生成する第１の出力部と、前記第１の映像信号に対して前記信号処理部でどのようなニー補正処理が行われたかを示す処理情報を、前記第１の映像信号に付加した信号を生成する信号生成部と、前記信号生成部で生成された信号に基づいて第２の出力信号を生成する第２の出力部とを有し、前記信号生成部は、前記ニー補正が行われる領域の信号が含まれるように前記第１の映像信号の抽出を行い、該抽出した当該第１の映像信号に前記処理情報を付加する撮像装置にある。

また、被写体を撮像して第１の映像信号を生成する撮像ステップと、前記第１の映像信号のダイナミックレンジ圧縮処理としてニー補正した第２の映像信号を供給する信号処理ステップと、前記信号処理ステップで供給された第２の映像信号に基づいて第１の出力信号を生成する第１の出力ステップと、前記第１の映像信号に対して、前記信号処理ステップでどのようなニー補正処理が行われたかを示す処理情報を前記第１の映像信号に付加して信号を生成する信号生成ステップと、前記信号生成ステップで生成された信号に基づいて第２の出力信号を生成する第２の出力ステップとを有し、前記信号生成ステップでは、前記ニー補正が行われる領域の信号が含まれるように前記第１の映像信号の抽出を行い、該抽出した当該第１の映像信号に前記処理情報を付加する映像信号処理方法にある。
また、被写体を撮像して第１の映像信号を生成する撮像部と、前記第１の映像信号における暗い映像部分に対してガンマ補正した第２の映像信号を供給する信号処理部と、前記信号処理部から供給された第２の映像信号に基づいて第１の出力信号を生成する第１の出力部と、前記第１の映像信号に対して前記信号処理部でどのようなガンマ補正処理が行われたかを示す処理情報を、前記第１の映像信号に付加した信号を生成する信号生成部と、前記信号生成部で生成された信号に基づいて第２の出力信号を生成する第２の出力部とを有し、前記信号生成部は、前記暗い映像部分に対するガンマ補正が行われる領域の信号が含まれるように映像信号の抽出を行い、該ガンマ補正でどのような処理が行われたかを示す処理情報を、前記抽出した第１の映像信号に付加する撮像装置にある。
また、被写体を撮像して第１の映像信号を生成する撮像ステップと、前記第１の映像信号における暗い映像部分に対してガンマ補正した第２の映像信号を供給する信号処理ステップと、前記信号処理ステップで供給された第２の映像信号に基づいて第１の出力信号を生成する第１の出力ステップと、前記第１の映像信号に対して前記信号処理ステップでどのようなガンマ補正処理が行われたかを示す処理情報を前記第１の映像信号に付加した信号を生成する信号生成ステップと、前記信号生成ステップで生成された信号に基づいて第２の出力信号を生成する第２の出力ステップとを有し、前記信号生成ステップでは、前記暗い映像部分に対するガンマ補正が行われる領域の信号が含まれるように映像信号の抽出を行い、該ガンマ補正でどのような処理が行われたかを示す処理情報を、前記抽出した第１の映像信号に付加する映像信号処理方法にある。

この発明において、ダイナミックレンジ圧縮処理では、被写体を撮像して得られた映像信号に対して、被写体の高輝度部分の信号レベルを圧縮するニー補正を行い、どのようなダイナミックレンジ圧縮処理が行われたかを示す処理情報として、ニーポイントやニースロープを処理情報として用いる。また、補正テーブルを用いてニー補正が行われているときは、どのような補正テーブルが用いられているかを示す情報を処理情報として用いる。他の信号処理を行うときには、他の信号処理でどのような信号処理が行われたかを示す情報も処理情報として用いる。例えばガンマ補正や色再現性の向上等を目的とする色調整処理や、解像感の向上等を目的とするディテール処理を行うときは、ガンマ補正でどのような折れ線近似あるいは補正テーブルが用いられたか、色調整処理でどのような利得調整やマスキング係数が用いられたか、輪郭補償でどのようなフィルタ設定が行われたか等の情報も処理情報として用いる。

第２の出力信号の生成では、処理情報を付加するだけでなく、第２の出力信号のデータ量を少なくする処理も行う。第２の出力信号のデータ量削減は、例えば映像信号のビット幅を狭くしたり、第１の出力信号で情報が少ないものとされている領域の情報を補うことができるように映像信号の抽出を行う。また、映像信号の符号化処理を行うことによってデータ量を削減する。さらに、データ量の削減の際に重み付けを行い、重要度の高い映像部分についてはデータ量の削減を少なくする。

この発明によれば、被写体を撮像して生成された第１の映像信号のダイナミックレンジ圧縮処理としてニー補正が行われて、このニー補正処理が行われた第２の映像信号に基づいて第１の出力信号が生成される。また、生成された第１の映像信号に対して、どのようなニー補正処理が行われたかを示す処理情報が付加されて、この処理情報が付加された第１の映像信号に基づいて第２の出力信号が生成される。

このため、第２の出力信号を用いることにより、大きな露出補正やガンマカーブの変更を加えるようなポストプロダクション処理を行っても良好な画質の映像を得ることができる。また、第２の出力信号を用いることで非線形処理回数が少なくなり、高画質の映像を得ることができる。さらに、第１の出力信号を利用することで、撮影時における映像の確認や、ポストプロダクション処理を行う前に、どのように映像を構成するか等の決定を容易に行うことができる。さらに、第２の出力信号には、処理情報が付加されているので、この処理情報をポストプロダクション処理で用いるものとすれば、第２の出力信号を用いる場合であっても、撮影時に意図した映像を得ることができる。

以下、図を参照しながら、この発明の実施の形態について説明する。本発明は、既存の映像表示装置や映像記録装置を用いて、撮像した映像の確認や記録を可能とするだけでなく、従来の映像信号よりもダイナミックレンジの広い映像信号を出力可能とすることで、例えばポストプロダクション処理を行っても良好な画質の映像を得られるようにする。さらに、映像表示装置や映像記録装置に供給された映像信号では、どのような信号処理が行われているかを判別して、ダイナミックレンジの広い映像信号を用いる場合であっても、撮影時に意図した映像を得ることができるようにする。

図１は、撮像装置の第１の形態の機能ブロック構成を示している。撮像装置１０aにおいて、撮像部２０の撮像素子２０１は、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)撮像素子やＣＣＤ(Charge Coupled Devices)撮像素子を用いて構成されている。撮像素子２０１は、駆動部２０２によって駆動されて、被写体像に基づいたアナログの映像信号ＳＶa、例えばアナログの三原色信号を生成してアナログ信号処理部２０３に供給する。

アナログ信号処理部２０３では、映像信号ＳＶaに対するノイズ除去、ノイズ除去された信号の増幅、増幅後の信号に対しての黒レベル設定等を行う。このアナログ信号処理部２０３で信号処理を行うことにより得られた映像信号ＳＶbはＡ／Ｄ変換部２０４に供給される。

Ａ／Ｄ変換部２０４は、アナログの映像信号ＳＶbをディジタルの映像信号ＤＶaに変換して信号処理部３０と信号生成部４０に供給する。

信号処理部３０の色調整処理部３０１では、正しい色再現やユーザが所望する色再現を行うため、ホワイトバランス調整や色相調整およびリニアマトリクス処理等を行う。この色調整処理が行われた映像信号ＤＶbは、非線形処理部３０２に供給される。非線形処理部３０２は、ダイナミックレンジ圧縮処理や忠実な表示動作を行うためのガンマ補正を行い、処理後の映像信号ＤＶcをディテール処理部３０３に供給する。ディテール処理部３０３は、輪郭補償を行い、処理後の映像信号ＤＶdを第１の出力部である出力部３１に供給する。また信号処理部３０は、どのような信号処理が行われたかを示す処理情報ＦＰを信号生成部４０に供給する。

出力部３１は、信号処理部３０から供給された映像信号ＤＶdを、映像表示装置や映像記録装置に対応する伝送フォーマットの信号に変換して、第１の出力信号である出力信号ＤＶoutを生成する。また、出力部３１は、出力信号ＤＶoutとして輝度信号や色差信号を用いる場合、マトリクス演算を行う。

信号生成部４０は、撮像部２０から供給された映像信号ＤＶaに対して、信号処理部３０でどのような処理が行われたかを示す処理情報ＦＰを付加した信号ＤＷaを生成して、出力部４１に供給する。この処理情報を付加した信号ＤＷaを出力部４１から出力する場合、伝送路の伝送速度が高速でないと、毎フレームの映像信号ＤＶaをリアルタイムで伝送することができなくなってしまう。しかし、伝送速度が高速な伝送路を用いるとコストアップ等を招いてしまう。そこで、安価な構成とするために、信号生成部４０は、映像信号ＤＶaのデータ量を削減する処理を行う。

信号生成部４０のビット変換部４０１は、映像信号ＤＶaのデータ量を削減するためのものである。ビット変換部４０１は、Ａ／Ｄ変換部２０４から供給された映像信号ＤＶaに対してビット幅の削減を行い、信号処理部３０から出力される映像信号ＤＶdよりも広いダイナミックレンジであって、映像信号ＤＶaよりもデータ量の少ない映像信号ＤＶgに変換して、処理情報付加部４０２に供給する。処理情報付加部４０２は、映像信号ＤＶgに対して処理情報ＦＰを付加して、信号ＤＷaとして第２の出力部である出力部４１に供給する。

出力部４１は、信号生成部４０から供給された信号ＤＷaを、ポストプロダクション処理装置等に対応する伝送フォーマットの信号に変換して、第２の出力信号である出力信号ＤＷoutを生成する。

制御部５０には、ユーザインタフェース部５１が接続されている。ユーザインタフェース部５１はユーザ操作に応じた信号や、外部制御機器（図示せず）から供給された信号を操作信号ＰＳとして制御部５０に供給する。制御部５０は、撮像装置１０aの動作がユーザインタフェース部５１から供給された操作信号ＰＳに応じた動作となるように、操作信号ＰＳに基づき制御信号ＣＴを生成して各部に供給する。また、図１では、信号処理部３０から信号生成部４０に処理情報ＦＰを供給するものとしているが、信号処理部３０における種々の信号処理動作の設定を制御部５０が行う場合、制御部５０から信号生成部４０に対して処理情報ＦＰを供給するものとしてもよい。また、信号処理部３０で行われる処理が固定されているときには、どのような信号処理が行われたかを示す処理情報ＦＰを、予め信号生成部４０に記憶させておくものとしてもよい。

次に、撮像装置の動作について説明する。ここで、撮像装置１０aの出力部３１は、例えば１０ビット幅のコンポーネント信号を用いて出力信号ＤＶoutの生成を行うものとする。また、１０ビット幅のコンポーネント信号、すなわち１０ビット幅の輝度信号や三原色信号は、黒レベル（０％）を「６４」，白ピークレベル（１００％）を「９４０」とする。また色差信号の０信号のレベルは「５１２」とする。

１０ビット幅のコンポーネント信号を用いる場合、Ａ／Ｄ変換部２０４は、入力された映像信号ＳＶbが６００％程度であっても、この映像信号ＳＶbに対応したディジタルの映像信号ＤＶaを得ることができるように、１４ビット幅でＡ／Ｄ変換処理を行う。１４ビット幅でＡ／Ｄ変換処理を行う場合、分解能を１０ビット幅と等しいものとすると、１４ビット幅のダイナミックレンジを有効に利用して映像信号の信号レベルを示すことが出来なくなってしまう。例えば１４ビット幅の信号は「０〜１６３８３」の値となるが、分解能を１０ビット幅と等しいものとすると、黒レベルを「６４」としたとき、６００％は「５３２０」となり、ダイナミックレンジを有効に利用できない。したがって、１４ビット幅でＡ／Ｄ変換処理を行う場合、Ａ／Ｄ変換部２０４は、分解能を高くすることでダイナミックレンジを有効に利用する。例えば分解能を高めて、図２に示すように、黒レベルを「１７０」，白ピークレベル（１００％）を「２５０６」とする。この場合、１４ビット幅の信号の最大値「１６３８３」は６９７％に相当するものとなり、ダイナミックレンジを有効に利用して映像信号の信号レベルを示すことができる。このように、Ａ／Ｄ変換部２０４は、入力された映像信号ＳＶbを上述のような１４ビット幅の映像信号ＤＶaに変換する。

信号処理部３０の色調整処理部３０１は、例えばホワイトバランス調整やリニアマトリクス処理および色相調整等を行う。ホワイトバランス調整では、白い被写体が所望の色温度で白く表示されるように映像信号の利得調整を行う。リニアマトリクス処理では、映像信号とマスキング係数とのマトリクス演算を行い、色再現性を高める色調整処理を行う。色相調整では、色相判定を行い、色相判定結果を利用して、指定された色相領域のレベルが所望のレベルとなるように映像信号の利得調整を行う。

非線形処理部３０２は、色調整処理部３０１から供給された映像信号ＤＶbを用いてダイナミックレンジ圧縮処理やガンマ補正を行う。図３は、非線形処理部３０２の動作を説明するためのものであり、入力強度と非線形処理部３０２から出力される映像信号ＤＶcの関係を例示している。

非線形処理部３０２は、ダイナミックレンジ圧縮処理としてニー補正を行い、入力強度がニーポイントレベルより大きくなったときは信号レベルを圧縮する。また、信号レベルがホワイトクリップポイント（約１０９％）を超えるときには、信号レベルをホワイトクリップポイントの信号レベルに制限するホワイトクリップ処理も行う。さらに、非線形処理部３０２は、映像信号のダイナミックレンジを圧縮したことから、ビット幅を狭くして例えば１０ビット幅の信号とする。

図３は、ニーポイントを８０％に設定して、入力強度が６００％のときにホワイトクリップポイントとなるようにニー補正を行う場合を示している。この場合、入力強度が８０％のときは、映像信号ＤＶcの信号レベルは「７６５」となり、入力強度が６００％以上のとき「１０２３」となる。なお、ニースロープの傾斜が大きいとき（補正量が少ないとき）は、入力強度が６００％よりも小さいときに、ホワイトクリップポイントに達すこととなる。

また、非線形処理部３０２は、映像表示装置で用いられている表示デバイスの入出力特性に応じたガンマ補正を行う。さらに、非線形処理部３０２は、低輝度部分の階調を調整するブラックガンマ補正を行うものとしてもよい。なお、図３では、暗い映像部分例えば入力強度が０％〜２０％の領域ＧＡの色合いが豊富に表現されるようにブラックガンマ補正を行う場合を示している。

非線形処理部３０２は、ニー補正やガンマ補正等の非線形処理を行う場合、例えば折れ線近似による補正あるいは補正テーブルを用いた補正を行う。折れ線近似では、折れ線ポイントや折れ線の傾きを変更することで、ニー補正やガンマ補正の補正特性を可変することができる。また、補正テーブルを用いた補正では、ニーポイントやニースロープ、ガンマカーブ、ブラックガンマ上限レベル等が異なる種々の補正テーブルを予め用意しておき、いずれかの補正テーブルを選択して用いることにより非線形処理を行う。

ディテール処理部３０３は、ラインメモリやフィルタを用いて構成されており、映像信号から水平および垂直の輪郭成分を抽出して、この抽出した輪郭成分の信号を映像信号に加算することで輪郭補償を行う。この輪郭補償では、フィルタの特性を切り替えることで、抽出する輪郭成分の周波数成分を調整可能とする。また、抽出した輪郭成分の信号レベルを調整して加算することで、輪郭の強調度合いを調整可能とする。

出力部３１は、輪郭補償が行われた映像信号ＤＶdの出力処理を行う。例えば、撮像装置１０aから映像表示装置や映像記録装置に対して輝度信号と色差信号を供給する場合、出力部３１は、映像信号ＤＶdを用いてマトリクス演算を行い輝度信号と色差信号を生成する。さらに、出力部３１は、生成した輝度信号と色差信号を伝送フォーマットに対応した信号に変換して出力する。例えば、ＨＤ−ＳＤＩ(High Definition Serial data Interface)における１０ビットシングルリンク（４：２：２）のフォーマットの出力信号ＤＶoutとして出力する。

信号生成部４０のビット変換部４０１は、Ａ／Ｄ変換部２０４から供給された映像信号ＤＶaのデータ量を削減する。このビット変換部４０１は、映像表示装置や映像記録装置に対して供給される出力信号ＤＶoutよりも広ダイナミックレンジを確保できるように変換処理を行う。図４はビット変換部４０１の動作を説明するための図である。ビット変換部４０１は、例えば映像信号ＤＶaの最下位側の２ビットを削減して、１２ビット幅の映像信号ＤＶgとして処理情報付加部４０２に供給する。なお、図４では、比較のため、出力部３１から出力される出力信号ＤＶoutのダイナミックレンジを点線で示している。また、ビット変換部４０１は、ポストプロダクション処理が容易となるように、１０ビット幅の映像信号の分解能を１／２倍とした１２ビット幅の信号に変換するものとしてもよい。この場合の映像信号ＤＶgは、図示せずも、入力強度０％は「３２」、１２ビット幅の信号の最大値「４０９５」は入力強度９２８％に相当するものとなる。

また、信号生成部４０では、例えば入力強度０％〜６００％が映像信号ＤＶgの信号レベル「０〜４０９５」となるようにビット変換を行うものとしてもよい。この場合、階調再現性は、約０．１５％／ビットとなり、例えば黒レベル０％を「６４」、白ピークレベルを「９４０」とした１０ビット幅の信号における階調再現性と同等の階調再現性を得ることができる。また、ニー補正を行い入力強度８０％〜６００％を８０％〜１００％に圧縮した場合に比べると、この圧縮した部分については、２６倍の諧調再現性の改善となる。

処理情報付加部４０２は、ビット変換部４０１から供給された映像信号ＤＶgに、色調整処理部３０１や非線形処理部３０２およびディテール処理部３０３でどのような処理が行われたかを示す処理情報ＦＰを付加して出力部４１に供給する。例えば、色調整処理部３０１で上述のようにホワイトバランス調整やリニアマトリクス処理および色相調整等が行われている場合、ホワイトバランス調整でどのような利得調整が行われているかや、リニアマトリクス処理の演算で用いたマスキング係数、色相調整でどのような利得調整が行われたか等を示す情報を処理情報ＦＰとして付加する。また、非線形処理部３０２でニー補正やガンマ補正が行われている場合、ニー補正におけるニーポイントやニースロープあるいはどのような補正テーブルが用いられたか等の情報、ガンマ補正においてどのような折れ線近似あるいは補正テーブルが用いられたか等の情報を処理情報ＦＰとして付加する。さらに、ディテール処理部３０３で輪郭補償が行われている場合、フィルタの設定状態や輪郭成分を示す信号を加算するときの利得等の情報を処理情報ＦＰとして付加する。この処理情報ＦＰは、映像信号における無効領域例えばブランキング期間に挿入する。また、処理情報ＦＰは、ディジタル音声信号やＡｕｘｉｌｉａｒｙデータ等が挿入される領域に挿入するものとしてもよい。

出力部４１は、信号生成部４０から供給された信号ＤＷaを、ポストプロダクション処理を行う装置に対応する伝送フォーマットの出力信号ＤＷoutに変換して出力する。例えば、ＨＤ−ＳＤＩを用いる場合、映像信号ＤＶgは１２ビット幅の信号とされていることから、４リンクを用いるものとする。また、ネットワーク上で１０ギガビット／秒以上の伝送速度で通信を行うための通信規格、ネットワーク上で記憶装置とコンピュータの通信に使うＳＣＳＩコマンドを通信するためのｉＳＣＳＩ(Internet Small Computer System Interface)、コンピュータと周辺機器を結ぶためのデータ転送方式の一つとして規格化されているファイバーチャネル等を利用して通信を行うこともできる。

このように、撮像装置１０aは、ダイナミックレンジ圧縮処理が行われている従来の出力信号ＤＶoutだけでなく、ダイナミックレンジ圧縮処理が行われていない映像信号に処理情報ＦＰが付加された出力信号ＤＷoutを出力する。このため、出力信号ＤＷoutを用いるものとすれば、フィルムカメラを用いた場合と同様なポストプロダクション処理を行っても良好な画質の映像を得ることができる。例えば、大きな露出補正やガンマカーブの変更を加えても画質の劣化を少なくできる。また、出力信号ＤＷoutは、非線形処理が加えられていない信号であることから、出力信号ＤＶoutを用いて処理を行う場合に比べて非線形処理回数を少なくすることが可能となり、高画質の映像を得ることができる。さらに、出力信号ＤＷoutを用いることで、ダイナミックレンジの広い映像を得られるので、輝度の高い被写体（太陽、照明等）が映像内に含まれても、階調が残るため自然な映像表示を実現することも可能となる。

また、撮像装置１０aは、ダイナミックレンジ圧縮処理が行われた従来の出力信号ＤＶoutも出力することから、この出力信号ＤＶoutを用いることで、撮影時における映像の確認を容易に行うことができる。また、出力信号ＤＶoutを記録しておくことで、ポストプロダクション処理を行う前に、どのように映像を構成するか等の決定を容易に行うことができる。

また、ポストプロダクション処理装置は、ポストプロダクション処理において処理を行う必要のない部分に対して、出力信号ＤＶoutをそのまま用いればよいので、効率の良い編集処理を行うことができる。さらに、出力信号ＤＷoutには、処理情報ＦＰが付加されているので、この処理情報ＦＰを用いるものとすれば、出力信号ＤＷoutを用いてポストプロダクション処理を行う場合であっても、処理情報ＦＰに基づいた信号処理を行うことにより、撮影時に意図した映像、すなわち撮影時の色再現性やガンマ特性等での映像を得ることができる。

ところで、第１の形態の信号生成部４０におけるビット変換部４０１は、Ａ／Ｄ変換部２０４からの映像信号ＤＶaに対して最下位側の２ビットを削減して１２ビットの信号とすることでデータ量を削減するものであり、入力強度が高い映像も入力強度が低い映像も等しい重要度であるとして処理している。しかし、入力強度が低い映像から高い映像まで全て同等の重要度を有するものとして扱う必要はなく、入力強度が高い映像は入力強度が低い映像よりも重要度を低く扱うものとしたり、入力強度が高い映像は入力強度が低い映像よりも重要度を高く扱うものとしてもよい。例えば、屋外撮影を行ったときに、人物や建物等を所望の被写体として撮影する場合、人物や建物等の映像部分は重要度を高くする必要があるが、背景である晴天の空などのように入力強度が高い映像部分は重要度を低くしても影響が少ない。

そこで、第２の形態として、重要度の低い映像部分では、データ量の削減の割合が多くなるように重み付けを行うものとする。

図５は、第２の形態の機能ブロック構成を示している。なお、図５に示す撮像装置１０bにおいて、図１と対応する部分については同一符号を付すものとして、詳細な説明は省略する。

信号生成部４０の重み付けビット変換部４１１は、Ａ／Ｄ変換部２０４から供給された映像信号ＤＶaのビット幅を１４ビットから１２ビットのビット幅に変換することでデータ量を削減する際に、重み付けを行ってデータ量を削減する。図６は、重み付けビット変換部４１１の動作を示している。重み付けビット変換部４１１は、例えば対数関数や無理関数等を用いて、図６に示すように入力強度が高いときは、入力強度が低いときよりも分解能が低くなるように重み付けを行う。また、入力強度を領域分けして、領域毎に分解能を切り替えるものとしてもよい。例えば、入力強度が４００％未満の領域については分解能を細かくして、４００％以上の領域については分解能を粗くする。この場合、被写体の高輝度部分の諧調再現性を落として、使用頻度の高い部分の諧調再現性を高めることができる。また、重要な領域の分解能が高くなるように重み付けを行うものとすれば、重要な領域の階調再現性を改善することも可能となる。

処理情報付加部４０２に対しては、重み付けビット変換部４１１でどのような重み付けが行われたかを示す重み付け情報ＦＱaの供給を行い、供給した重み付け情報ＦＱaを処理情報ＦＰとして映像信号ＤＶgに付加させる。重み付け情報は、重み付けビット変換部４１１から処理情報付加部４０２に供給してもよく、重み付けビット変換部４１１における重み付けを制御部５０で設定しているときは、制御部５０から処理情報付加部４０２に供給してもよい。

このような重み付けを行うものとすれば、ビット幅の削減が行われてデータ量が少ないものとされても、重要度の高い入力強度部分では、分解能が高くされているので画質劣化を少なくできる。また、重み付け情報を付加することで、出力信号ＤＷoutを用いて例えばポストプロダクション処理を行う場合、出力信号ＤＷoutの信号レベルがどの程度の入力強度に相当するものであるか、正しく判別できる。

次に、Ａ／Ｄ変換部２０４からの映像信号ＤＶaのデータ量を信号生成部４０で削減する場合、出力部３１から出力される出力信号ＤＶoutで不足するような情報を補うように、信号ＤＷaを生成することで、さらにデータ量を少なくできる場合について、第３の形態として説明する。

図７は、第３の形態の機能ブロック構成を示している。なお、図３に示す撮像装置１０cにおいて、図１と対応する部分については同一符号を付すものとして、詳細な説明は省略する。

非線形処理部３０２でニー補正を行うものとすると、ニーポイントよりも入力強度が高いときには、信号レベルが圧縮されて情報量が少なくなってしまう。そこで、非線形処理部３０２からニーポイントや暗い映像部分に対するガンマ補正であるブラックガンマ上限レベルを示す非線形処理情報ＦＣを信号生成部４０の抽出ビット変換部４２１に供給する。また、抽出ビット変換部４２１は、非線形処理情報ＦＣに基づきニーポイントよりも入力強度が高い情報を抽出して、抽出した情報のビット幅を１４ビットから１２ビットに変換することでデータ量の削減を行う。

抽出ビット変換部４２１は、非線形処理部３０２でブラックガンマ処理が行われる場合、非線形処理情報ＦＣに基づきブラックガンマ上限レベルまでの入力強度の情報を抽出して、抽出した情報のビット幅を１４ビットから１２ビットに変換してデータ量を削減する。図８は抽出ビット変換部４２１の動作を示している。例えば、ニーポイントが入力強度８０％に設定されており、ブラックガンマ上限レベルが２０％に設定されている場合、図８に示すように、階調再現性の良好な２０％〜８０％の情報を除くものとして、入力強度が２０％以下と入力強度が８０％以上である信号のビット幅を１４ビットから１２ビットに変換してデータ量を削減する。

また、処理情報付加部４０２に対して、抽出ビット変換部４２１でどのように情報の抽出が行われたかを示す抽出制御情報ＦＱbを供給して、処理情報ＦＰとして映像信号ＤＶgに付加させる。この抽出制御情報ＦＱbは、抽出ビット変換部４２１から処理情報付加部４０２に供給してもよく、抽出ビット変換部４２１における抽出条件を制御部５０で設定しているときは、制御部５０から処理情報付加部４０２に供給してもよい。

このように、ニー補正やブラックガンマ処理が行われるレベル範囲の信号のみを抽出することにより、信号生成部４０から出力される出力信号ＤＷoutのデータ量を、さらに少なくできる。特に、撮影映像において、ニー補正やブラックガンマ処理が行われない入力強度の映像部分が多くを占める場合、データ量が大幅に削減されることとなる。

図９は、第４の形態の機能ブロック構成を示している。第４の形態では、第２の形態の処理と第３の形態の処理を合わせて行うものである。なお、図９に示す撮像装置１０dにおいても図１と対応する部分については同一符号を付すものとして、詳細な説明は省略する。

抽出重み付けビット変換部４３１は、抽出ビット変換部４２１と同様に非線形処理情報ＦＣに基づいて抽出処理を行い、抽出した信号に対して、重み付けビット変換部４１１と同様に、重み付けを行ってビット幅を１４ビットから１２ビット幅の信号に変換してデータ量を削減する。図１０は、抽出重み付けビット変換部４３１の動作を示したものである。例えば、ニーポイントが入力強度８０％に設定されており、ブラックガンマ上限レベルが２０％に設定されている場合、図１０に示すように、入力強度が２０％以下の情報と入力強度が８０％以上の情報を抽出して、入力強度が２０％以下の情報の分解能は高く、入力強度が８０％よりも大きくなるに伴い分解能が低くなるように、抽出した１４ビットの信号を１２ビットの信号に変換してデータ量を削減する。なお、この場合にも、処理情報付加部４０２に対して、重み付け情報ＦＱaや抽出制御情報ＦＱbを供給して、処理情報ＦＰとして映像信号ＤＶgに付加させる。

このようにすれば、出力信号ＤＶoutで不足するような情報を、重要度が高い部分では分解能が高く、重要度が低い部分では分解能が低いものとして補うことができる。

さらに、上述のビット変換部４０１、重み付けビット変換部４１１、抽出ビット変換部４２１、抽出重み付けビット変換部４３１から出力された映像信号ＤＶgの圧縮処理を行うものとすれば、データ量をさらに少なくできる。

図１１は、第５の形態として、映像信号ＤＶgを圧縮処理して出力する撮像装置１０eの機能ブロック構成を示している。ビット変換部４０１から出力された映像信号ＤＶgは、信号圧縮部４５１に供給する。なお、ビット変換部４０１に代えて重み付けビット変換部４１１や抽出ビット変換部４２１あるいは抽出重み付けビット変換部４３１を用いるものとしても良い。

また、信号生成部４０から輝度信号と色差信号の圧縮信号を出力する場合、ビット変換部４０１(重み付けビット変換部４１１，抽出ビット変換部４２１，抽出重み付けビット変換部４３１）から出力された映像信号ＤＶgをエンコード部４５０に供給する。エンコード部４５０では、映像信号ＤＶgを用いてマトリクス演算を行い、輝度信号Ｙと色差信号Ｃr，Ｃbを生成して信号圧縮部４５１に供給する。

信号圧縮部４５１は、ビット変換部４０１(重み付けビット変換部４１１，抽出ビット変換部４２１，抽出重み付けビット変換部４３１）から出力された映像信号ＤＶg、あるいはエンコード部４５０で生成された輝度信号Ｙと色差信号Ｃの圧縮処理を行う。圧縮処理では、空間的相関関係を利用して冗長度を削減する処理（例えばブロック符号化等）、時間的相関関係を利用して冗長度を削減する処理（例えば動き補償フレーム間符号化等）、および符号の出現状態を利用してデータ量を少なくする処理（例えばハフマン符号化やエントロピー符号化等）を行う。この信号圧縮部４５１は、圧縮処理後の符号化信号ＤＵを処理情報付加部４０２に供給する。

処理情報付加部４０２は、信号圧縮部４５１から供給された符号化信号ＤＵに、上述の処理情報ＦＰを付加して出力部４１に供給する。出力部４１は、処理情報付加部４０２から供給された信号を、ポストプロダクション処理を行う装置に対応する伝送フォーマットの出力信号ＤＷoutに変換して出力する。

このように、信号圧縮部４５１を設けて圧縮処理を行うものとすれば、出力信号ＤＷoutのデータ量をさらに削減することができる。このため、圧縮処理を行わない場合に比べて低い伝送速度で撮像装置１０eとポストプロダクション処理装置を接続しても、撮影した映像をリアルタイムでポストプロダクション処理装置に供給できるので、安価な構成で撮像装置とポストプロダクション処理装置の接続が可能となる。

なお、上述の第１〜第５の形態における信号処理部３０や信号生成部４０および出力部３１，４１等は、ハードウェアで構成する場合に限られるものではなくだけでなくソフトウェアで構成するものとしてもよい。すなわち、被写体を撮像して得られた映像信号ＤＶaに対してダイナミックレンジ圧縮処理を行う信号処理ステップと、信号処理ステップで処理された映像信号に基づいて第１の出力信号を生成する第１の出力ステップと、映像信号ＤＶaに対して、信号処理ステップでどのようなダイナミックレンジ圧縮処理が行われたかを示す処理情報が付加された信号を生成する信号生成ステップと、信号生成ステップで生成された信号に基づいて第２の出力信号を生成する第２の出力ステップを、コンピュータで実行させるものとすれば、ハードウェアで構成する場合と同様な作用や効果を得ることができる。

第１の形態の機能ブロック構成を示す図である。 Ａ／Ｄ変換部の動作を説明するための図である。 非線形処理部の動作を説明するための図である。 ビット変換部の動作を説明するための図である。 第２の形態の機能ブロック構成を示す図である。 重み付けビット変換部の動作を説明するための図である。 第３の形態の機能ブロック構成を示す図である。 抽出ビット変換部の動作を説明するための図である。 第４の形態の機能ブロック構成を示す図である。 抽出重み付けビット変換部の動作を説明するための図である。 第５の形態の機能ブロック構成を示す図である。 従来の撮像装置の機能ブロック構成を示す図である。 入力強度と映像信号ＳＶaの関係を示す図である。 ニー補正を説明するための図である。 映像制作の作業フローの手順を示すフローチャートである。

符号の説明

１０a，１０b，１０c，１０d，１０e，１００・・・撮像装置、２０・・・撮像部、２０１・・・撮像素子、２０２・・・アナログ信号処理部、２０３・・・Ａ／Ｄ変換部、３０・・・信号処理部、３１，４１・・・出力部、４０・・・信号生成部、５０・・・制御部、５１・・・ユーザインタフェース部、３０１・・・色調整処理部、３０２・・・非線形処理部、３０３・・・ディテール処理部、４０１・・・ビット変換部、４０２・・・処理情報付加部、４１１・・・重み付けビット変換部、４２１・・・抽出ビット変換部、４３１・・・抽出重み付けビット変換部、４５０・・・エンコード部、４５１・・・信号圧縮部

Claims (12)

1. 被写体を撮像して第１の映像信号を生成する撮像部と、
   前記第１の映像信号のダイナミックレンジ圧縮処理としてニー補正した第２の映像信号を供給する信号処理部と、
   前記信号処理部から供給された第２の映像信号に基づいて第１の出力信号を生成する第１の出力部と、
   前記第１の映像信号に対して前記信号処理部でどのようなニー補正処理が行われたかを示す処理情報を、前記第１の映像信号に付加した信号を生成する信号生成部と、
   前記信号生成部で生成された信号に基づいて第２の出力信号を生成する第２の出力部とを有し、
   前記信号生成部は、
   前記ニー補正が行われる領域の信号が含まれるように前記第１の映像信号の抽出を行い、該抽出した当該第１の映像信号に前記処理情報を付加する撮像装置。
2. 前記信号処理部は、色調整処理および／またはディテール処理を行うものとし、
   前記信号生成部は、前記信号処理部でどのような色調整処理および／またはディテール処理が行われたかを示す処理情報を前記第１の映像信号に付加する請求項１記載の撮像装置。
3. 前記信号生成部は、前記第１の映像信号の分解能を低下させてデータ量を削減する請求項１記載の撮像装置。
4. 前記信号生成部は、前記第１の映像信号に対して重み付けを行い、該重み付けに応じて分解能を調整する請求項３記載の撮像装置。
5. 前記信号生成部は、前記第１の映像信号の圧縮処理を行い、圧縮処理された当該第１の映像信号に前記処理情報を付加する請求項１記載の撮像装置。
6. 被写体を撮像して第１の映像信号を生成する撮像ステップと、
   前記第１の映像信号のダイナミックレンジ圧縮処理としてニー補正した第２の映像信号を供給する信号処理ステップと、
   前記信号処理ステップで供給された第２の映像信号に基づいて第１の出力信号を生成する第１の出力ステップと、
   前記第１の映像信号に対して、前記信号処理ステップでどのようなニー補正処理が行われたかを示す処理情報を前記第１の映像信号に付加して信号を生成する信号生成ステップと、
   前記信号生成ステップで生成された信号に基づいて第２の出力信号を生成する第２の出力ステップとを有し、
   前記信号生成ステップでは、
   前記ニー補正が行われる領域の信号が含まれるように前記第１の映像信号の抽出を行い、該抽出した当該第１の映像信号に前記処理情報を付加する映像信号処理方法。
7. 被写体を撮像して第１の映像信号を生成する撮像部と、
   前記第１の映像信号における暗い映像部分に対してガンマ補正した第２の映像信号を供給する信号処理部と、
   前記信号処理部から供給された第２の映像信号に基づいて第１の出力信号を生成する第１の出力部と、
   前記第１の映像信号に対して前記信号処理部でどのようなガンマ補正処理が行われたかを示す処理情報を、前記第１の映像信号に付加した信号を生成する信号生成部と、
   前記信号生成部で生成された信号に基づいて第２の出力信号を生成する第２の出力部とを有し、
   前記信号生成部は、
   前記暗い映像部分に対するガンマ補正が行われる領域の信号が含まれるように映像信号の抽出を行い、該ガンマ補正でどのような処理が行われたかを示す処理情報を、前記抽出した第１の映像信号に付加する撮像装置。
8. 前記信号処理部は、色調整処理および／またはディテール処理を行うものとし、
   前記信号生成部は、前記信号処理部でどのような色調整処理および／またはディテール処理が行われたかを示す処理情報を前記第１の映像信号に付加する請求項７記載の撮像装置。
9. 前記信号生成部は、前記第１の映像信号の分解能を低下させてデータ量を削減する請求項７記載の撮像装置。
10. 前記信号生成部は、前記第１の映像信号に対して重み付けを行い、該重み付けに応じて分解能を調整する請求項９記載の撮像装置。
11. 前記信号生成部は、前記第１の映像信号の圧縮処理を行い、圧縮処理された当該第１の映像信号に前記処理情報を付加する請求項１０記載の撮像装置。
12. 被写体を撮像して第１の映像信号を生成する撮像ステップと、
    前記第１の映像信号における暗い映像部分に対してガンマ補正した第２の映像信号を供給する信号処理ステップと、
    前記信号処理ステップで供給された第２の映像信号に基づいて第１の出力信号を生成する第１の出力ステップと、
    前記第１の映像信号に対して前記信号処理ステップでどのようなガンマ補正処理が行われたかを示す処理情報を前記第１の映像信号に付加した信号を生成する信号生成ステップと、
    前記信号生成ステップで生成された信号に基づいて第２の出力信号を生成する第２の出力ステップとを有し、
    前記信号生成ステップでは、
    前記暗い映像部分に対するガンマ補正が行われる領域の信号が含まれるように映像信号の抽出を行い、該ガンマ補正でどのような処理が行われたかを示す処理情報を、前記抽出した第１の映像信号に付加する映像信号処理方法。

Images