JP2004266728A - 撮像装置 - Google Patents

Abstract

【課題】カメラのＡＥ制御情報に従って、動画の一画面単位で、さらには画面を構成する周波数成分単位で圧縮のレベル制御を可能にした撮像装置を提供する。
【解決手段】被写体を撮像する撮像手段と、撮像手段から出力された撮像信号に周波数帯域分割を行って圧縮処理する圧縮手段と、撮像信号に応じて撮像手段を制御する撮像制御手段と、撮像制御手段の制御情報に応じて、圧縮手段において分割された周波数帯域毎に圧縮処理を制御する圧縮制御手段とを備える。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は撮像装置に関し、特に撮像した画像を圧縮処理する装置に関するものである。
【０００２】
【従来の技術】
従来、画像を撮影してデジタル信号として記録再生するデジタルビデオカメラやデジタルスチルカメラが知られている。これらのカメラでは、撮像した画像データをＪＰＥＧやＭＰＥＧといった標準の画像圧縮技術を用いて圧縮した後、記録媒体に記録している。
【０００３】
動画データの圧縮処理においては、最適な画質を維持しつつ、圧縮率を高めたり或いはレートを一定に保持させたりする技術が重要となっている。例えば、特開２００２−３６９１４２号公報（特許文献１）によって、カメラで撮像した動画の圧縮処理に際して、カメラのレンズ駆動、露光、手ぶれ等の情報を用いて、ＭＰＥＧ画像圧縮時の目標情報量設定を制御するといった従来技術が知られている。
【０００４】
【特許文献１】
特開２００２−３６９１４２号公報
【０００５】
【発明が解決しようとする課題】
しかしながら上記の従来技術では、動画をＭＰＥＧで圧縮処理している為、圧縮後の画像を扱うときには、画面（フレーム）単位での表示に対して不向きであった。最近は、動画の中の一画面を抜き出し静止画化して、プリントしたりするニーズが高まっているので、画面単位で扱い易く、かつどの画面も一様な画質の良さを備えている構成であることが望まれる。
【０００６】
そこで本発明は上記の如き問題点を解決して、カメラにおけるＡＥの制御情報に従って、動画の一画面単位で、さらには画面を構成する周波数成分単位で圧縮のレベル制御を可能にした撮像装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
斯かる目的を達成する為の手段として、本発明は以下の構成からなる手段を有する。
【０００８】
本発明の撮影した画像を圧縮符号化する撮像装置は、被写体を撮像する撮像手段と、前記撮像手段から出力された撮像信号に周波数帯域分割を行って圧縮処理する圧縮手段と、前記撮像信号に応じて前記撮像手段を制御する撮像制御手段と、前記撮像制御手段の制御情報に応じて、前記圧縮手段において分割された周波数帯域毎に圧縮処理を制御する圧縮制御手段とを備えたことを特徴とする。
【０００９】
【発明の実施の形態】
以下、図面を参照しながら本発明の好適な実施の形態を説明する。
【００１０】
図１は本実施の形態における撮像装置１００のブロック図である。
【００１１】
撮像装置１００において、被写体からの入射光１はレンズ２に入り、開閉する絞り３を経て、撮像素子４に導かれて電気信号に変換され、増幅率可変増幅器５においてその振幅（レベル）が増幅される。その後、信号処理回路６で画像信号としてデジタル化処理、色分離処理、ホワイトバランス処理、γ処理などの各処理が行われ、画像圧縮回路７に入力される。
【００１２】
画像圧縮回路７は、静止画像の圧縮アルゴリズムとしてＪＰＥＧ２０００方式を、動画像の圧縮アルゴリズムとしてＭｏｔｉｏｎ ＪＰＥＧ２０００方式（以降ＭＪＰＥＧ２０００と称す）を使用する。ＭＪＰＥＧ２０００はＪＰＥＧ２０００を動画に適用したもので、その概略は時間軸方向（フレーム間）の圧縮を行わず、画面毎にＪＰＥＧ２０００圧縮を行って、それを動画像を構成するフレーム分繰り返すといったものである。また、選択的に可逆符号化或いは非可逆符号化で画像の符号化を実行できる。以降、静止画像に対する圧縮処理は動画像の１フレームに対する圧縮処理と同等のものとして説明できるので、動画像の処理に対する説明のみを行う。なお、画像圧縮回路７については、後ほど詳しく説明する。
【００１３】
画像圧縮回路７で圧縮された圧縮画像信号は、出力部８から不図示の記録装置へ出力される。記録装置は撮像装置１００と一体化された構成（所謂カメラ一体型記録装置を成す）か、或いは通信手段を介して外部に接続された構成であっても良い。
【００１４】
マイクロプロセッサ９は撮像装置１００内の各部の制御を行う。その際、プログラム線図データを記憶するメモリ１０から読み出したプログラム線図データや、プログラムＡＥ選択スイッチ１１によるユーザー指示入力に従って、絞り３、撮像素子４、増幅率可変増幅器５、画像圧縮回路７などの制御を行うが、詳しくは後述する。
【００１５】
ここで、本発明で用いる画像圧縮回路７の構成を詳しく説明する。
【００１６】
図４は画像圧縮回路７を構成するＭＪＰＥＧ２０００符号化回路の構成を図示したものである。以下、その動作を説明する。
【００１７】
コンポーネント変換部２０１は信号処理回路６から出力された画像データを入力して、画像データに色空間変換を施す。色空間変換された各色成分のデータは、必要に応じて所定の間引き処理が行われて出力される。なお、画像データがモノクログレースケールの画像である場合は、コンポーネント変換部２０１での色空間変換は行わない。以下の説明では各色成分毎に行われる処理を説明する。
【００１８】
次いで、タイル分割部２０２は各色成分のデータを入力して、複数個の所定の大きさからなる矩形タイル領域に分割し出力する。このタイルの大きさは最大で各色成分のデータ全体の大きさまで任意に設定することができる。なお、タイルの大きさを最大に設定した場合は、実質的にタイル分割が行われていないものと同じである。
【００１９】
次いで、離散ウェーブレット変換部２０３はタイル分割されたデータを入力して、各タイルの画像データに対して２次元の離散ウェーブレット変換を施して周波数成分に分解し、複数の周波数帯域のそれぞれに属する複数の変換係数群（以降サブバンド）を出力する。
【００２０】
図５は離散ウェーブレット変換部２０３により出力されるサブバンドの例を示したものであり、ＨＨは垂直、水平とも高周波数帯域成分、ＨＬは水平は高周波数帯域、垂直は低周波数帯域成分、ＬＨは水平は低周波数帯域、垂直は高周波数帯域成分、ＬＬは垂直、水平とも低周波数帯域成分を含んでいる。また、図６は２次元のウェーブレット変換を低周波帯域に対して再帰的に３レベル行った例であり、図５のＬＬを４つのサブバンド（ＨＨ２，ＨＬ２，ＬＨ２，ＬＬ２）に分割し、更にＬＬ２を４つのサブバンド（ＨＨ３，ＨＬ３，ＬＨ３，ＬＬ３）に分割している。
【００２１】
なお、離散ウェーブレット変換部２０３では符号化を非可逆符号化で行う場合にはウェーブレット変換後の係数が実数になる実数型のフィルタを、可逆符号化を行う場合にはウェーブレット変換後の係数が整数になる整数型のフィルタが用いられる。
【００２２】
次いで、量子化部２０４はサブバンド化された画像データを入力し、所定の方法により設定された量子化ステップを用いて量子化を行い、量子化インデックスを生成して出力する。なお、上述した可逆符号化を行う場合には、量子化部２０４では量子化を行わず、入力した変換係数そのものを出力する。
【００２３】
次いで、エントロピ符号化部２０５は、量子化部２０４からの出力をさらに複数の矩形領域ブロック（以降コードブロックと称す）に分割して（サブバンドと矩形ブロックが同サイズの時は分割しない）、このコードブロックを単位として独立にエントロピ符号化を行い、符号化データを生成する。この時、量子化インデックスを表すビットは、上位ビットプレーンから順に算術符号化され、符号化データが生成される。
【００２４】
最後に、符号列形成部２０６は、符号化データをＪＰＥＧ２０００の符号列として形成して、出力する。
【００２５】
以上の構成において、離散ウェーブレット変換部２０３に注目すると、ＬＨ、ＨＬの各成分（サブバンド）は垂直または水平のどちらかの高周波数（高解像度）成分を含み、これらを単独であるいは各階層の各レベルを組み合わせて低減することにより、水平垂直の両方向はもとより、水平あるいは垂直方向のみの高周波数成分を制御する（これをレベル制御と称す）ことも可能であり、これにより圧縮後の更なるファイルサイズ低減に結びつく。
【００２６】
具体的な各階層のレベルの制御方法としては、ウェーブレット変換の際に使用するウェーブレット変換係数に重み付けを行い、変換後の各サブバンドのレベルに反映させるものである。
【００２７】
その為、本実施の形態における画像圧縮回路７は、その重み付けの為の「重み表」を記憶するメモリ２０７を有し、該メモリ２０７にあらかじめ複数の重み付けのためのデータ（重み表）を保持しておく。そして、複数の重み表のデータを読み出して、更にそれを重み付け制御信号１６により切り換えることによって各階層のレベル制御によるファイルサイズの低減を実現する。
【００２８】
図８に「重み表」の内容の一例を示す。この例では表中の”段階”の数字が増えるほどＨ成分が減少する組み合わせになっている。
【００２９】
ここで図１に戻り、前述した重み付け制御信号１６は、マイクロプロセッサ９から画像圧縮回路７への制御信号であって、これにより上述のレベル制御はマイクロプロセッサ９が行う。
【００３０】
マイクロプロセッサ９は、増幅率可変増幅器５の出力である撮像出力信号１５を入力し、その情報より、あらかじめプログラムＡＥ選択スイッチ１１でユーザーにより選択されたプログラムＡＥのモード（例として、オートモード（通常使用）、スポーツモード（電子シャッターの高速動作を優先に制御する）、ポートレイトモード（被写界深度を浅くして被写体である人物の周囲をぼかす効果を得るため絞りを出来るだけ解放になるように制御する）等）に対応した、絞り、電子シャッター、増幅率の各制御情報で構成されるプログラム線図データ１０を読み込み、それに従って絞り制御信号１２、電子シャッター制御信号１３、増幅率制御信号１４を用いて各部の制御を行い、最終的に撮像出力信号１５がある一定のレベルになるよう制御する。そして、この絞り、電子シャッター、増幅率といった各制御（総じてＡＥの制御と称す）のパラメータのレベル等の情報に従って、マイクロコンピュータ９は重み付け制御信号１６の発生を制御する。
【００３１】
なお、撮像出力信号１５をマイクロプロセッサ９へ入力する際、撮像画面の中での取り込み範囲を制限したり、更にそのなかでの最大値、あるいは平均値を算出したり、等様々な工夫を凝らし、コントラストのバランスの取れた自然な撮像画像を得られるようにすることを行っても良い。
【００３２】
ここで撮像装置１００のユーザーの撮影技術として、被写体に対して撮像装置１００を移動させて水平にずらしていく撮影手法（所謂パンニング）、同様に垂直にずらしていく撮影手法（チルティング）、レンズが焦点距離を変化させる事が出来る場合は被写体をクローズアップする撮影手法（ズーミング）などが行われるが、このようなときは被写体を中心とする撮像画面の情報が大きく変化するため、撮像出力信号１５も変動し、マイクロプロセッサ９はその変動を収束させる方向にプログラム線図に沿って、絞り制御信号１２、電子シャッター制御信号１３、増幅率制御信号１４を出力し、各々の制御を行う。
【００３３】
図７はプログラムＡＥのプログラム線図の一例である。横軸は撮像被写体の照度であって、左側から右側に行くに従って暗くなっていく方向に取ってある。一方、縦軸は（１）電子シャッタースピード、（２）絞り、（３）増幅率を示しており、上に行くほど（１）電子シャッタースピードは速くなる、（２）絞りは絞る、（３）増幅率は下げる方向に取ってある。
【００３４】
図７のように、被写体照度の明るさに応じて（１）、（２）、（３）のパラメータを制御することで、各照度、各プログラムＡＥモードにおける撮影者の意図に最適なセッティングが得られるようになっている。
【００３５】
次に、本実施の形態におけるマイクロプロセッサ９の動作フローチャートの一例を図２に示して、これについて説明する。
【００３６】
まず、撮像出力信号１５のレベルを読み込む（ステップＡ）。
【００３７】
次いで、ＡＥサブルーチンを実行する（ステップＤ）が、この内容は図３を用いて詳述する。
【００３８】
次いで、単位時間と閾値の設定値を読み込む（ステップＱ）。
【００３９】
次いで、ＡＥの各制御（電子シャッター制御、絞り制御、増幅率制御）パラメータが、単位時間あたりに閾値を超えて変化しているかどうかの判断（ステップＢ）を行い、変化している場合はステップＣに進み、重み付け制御信号１６を発生させて画像圧縮回路７のレベル制御等によって圧縮パラメータ即ち画質を変更してステップＡに戻る。ステップＣでは、画像圧縮回路７における各周波数成分の構成比を変更するよう、前述したようなレベル制御を実行する。また、ステップＢで、変化していない場合は、そのままステップＡに戻る。
【００４０】
なお、図２のループは撮影動作を行っている間は無限に回り、ＡＥと出力画像の画質の制御を継続して行うことを意味している。以上が図２のフローチャートの説明である。
【００４１】
続いて、図３は図２のステップＤの、ＡＥサブルーチンの動作内容を説明するフローチャートである。
【００４２】
Ｒは撮像出力信号１５のレベルと対比させて、ＡＥというサーボ動作を行うためのあらかじめ定められた、基準レベルの数値データである。ステップＥでこの基準レベルデータＲを読み込む。
【００４３】
次いで、読み込んだ撮像出力信号１５のレベルと基準レベルを比較判断し（ステップＦ）、同等であれば図３のフローは終了となり、図２におけるステップＱへ進む。
【００４４】
ステップＦで同等でない場合は次のステップＧに進む。ステップＧでは、ユーザーによって選択されている現在のプログラムＡＥのモードを、プログラムＡＥ選択（Ｉ）によって読み取り、それに対応したプログラム線図データ（Ｈ）を読み込む。
【００４５】
次いで、撮像出力信号１５のレベルを基準レベルと合致させる方向に制御するために、電子シャッター（Ｋ）、絞り（Ｌ）、増幅率（Ｍ）のどのパラメータを増減させて、どちらの方向に変化させたら良いかをステップＧで読み取ったデータにより判断し（ステップＪ）、各制御に進む。
【００４６】
電子シャッター制御Ｋを選択した場合は、ステップＮにて電子シャッターを変速させてステップＦに戻る。
【００４７】
絞り制御Ｌを選択した場合は、ステップＯにて絞り値を変更させてステップＦに戻る。
【００４８】
増幅率制御Ｍを選択した場合は、ステップＰにて増幅率を変更させてステップＦに戻る。
【００４９】
以上が、図３のフローチャートの説明である。
【００５０】
以上が実施の形態１の説明である。このような構成にすることによって、被写体からの光に対する、ＡＥシステムの応答が、安定しているか、または変動しているかにより、後段のＭＪＰＥＧ２０００圧縮処理の特性を利用して動画像中の特定成分の削減を制御し、実質的な画質の劣化を伴わず効果的に圧縮後のファイルサイズを削減することが可能となる。
【００５１】
【発明の効果】
以上説明したように、本発明によれば、ＡＥの状態情報に応じて、後段の圧縮処理において動画像中の特定成分を制御し、効果的に圧縮後のファイルサイズを削減することが可能となる。
【図面の簡単な説明】
【図１】本発明の実施の形態における撮像装置のブロック図である。
【図２】本発明の実施の形態におけるマイクロプロセッサの動作フローチャートである。
【図３】ＡＥサブルーチンとしてマイクロプロセッサの動作フローチャートである。
【図４】ＪＰＥＧ２０００符号化器の構成図である。
【図５】ＪＰＥＧ２０００のファイル構造である。（１ステージの場合）
【図６】ＪＰＥＧ２０００のファイル構造である。（３ステージの場合）
【図７】プログラムＡＥのプログラム線図の一例である。
【図８】重み表の内容の一例である。
【符号の説明】
１ 被写体からの入射光
２ レンズ
３ 絞り
４ 撮像素子
５ 増幅率可変増幅器
６ 信号処理回路
７ 画像圧縮回路（ＭＪＰＥＧ２０００）
８ 圧縮信号出力部
９ マイクロプロセッサ
１０ プログラム線図データを記憶するメモリ
１１ プログラムＡＥ選択スィッチ
１２ 絞り制御信号
１３ 電子シャッター制御信号
１４ 増幅率制御信号
１５ 撮像出力信号
１６ 重み付け制御信号
２０１ コンポーネント変換部
２０２ タイル分割部
２０３ 離散ウェーブレット変換部
２０４ 量子化部
２０５ エントロピ符号化部
２０６ 符号列形成部
２０７ 重み表を記憶するメモリ

Claims (7)

1. 撮影した画像を圧縮符号化する撮像装置において、
   被写体を撮像する撮像手段と、
   前記撮像手段から出力された撮像信号に周波数帯域分割を行って圧縮処理する圧縮手段と、
   前記撮像信号に応じて前記撮像手段を制御する撮像制御手段と、
   前記撮像制御手段の制御情報に応じて、前記圧縮手段において分割された周波数帯域毎に圧縮処理を制御する圧縮制御手段とを備えたことを特徴とする撮像装置。
2. 請求項１において、前記撮像制御手段は前記撮像信号のレベルを判断して、その判断結果に基づいて、絞り、電子シャッターの速度、増幅率のうち少なくても一つ以上の制御情報を発生して動作制御を行うことを特徴とする撮像装置。
3. 請求項１において、前記撮像制御手段は前記撮像信号のレベル変化を検出して、その検出結果に基づいて、絞り、電子シャッターの速度、増幅率のうち少なくても一つ以上の制御情報を発生して動作制御を行うことを特徴とする撮像装置。
4. 請求項２又は３において、さらに前記撮像手段における撮像モードを設定する為のスイッチと、前記撮影モードに応じた１つ以上のプログラムを記憶するメモリとを備え、前記撮像制御手段は前記撮像信号と、前記スイッチから入力された信号と、前記メモリから読み出した前記プログラムとに応じて前記制御情報を発生させることを特徴とする撮像装置。
5. 請求項４において、前記圧縮制御手段は前記圧縮手段における圧縮処理について、前記制御情報に基づいて前記周波数帯域毎に圧縮のレベルを制御することを特徴とする撮像装置。
6. 請求項５において、前記圧縮制御手段は前記周波数帯域に含まれる高周波成分を削減するよう制御することを特徴とする撮像装置。
7. 請求項６において、前記圧縮手段は画面単位で繰り返し等しい圧縮処理を行うことを特徴とする撮像装置。

Images