JP4921118B2 - 映像信号処理装置、映像信号処理方法、及びプログラム - Google Patents

Description

本発明は、映像信号処理装置及び方法、並びにプログラム及び記憶媒体に係り、特に、例えば液晶モニタをファインダとして有し、専ら、バッテリ駆動にて動作する電子スチルカメラに好適な映像信号処理装置及び方法、並びにプログラム及び記憶媒体に関する。

一般にレンズ系と撮像素子とを有する撮像装置においては、例えば、レンズ系による周辺光量落ちや歪み等によって、撮像される画像に障害が発生する恐れがある。このような障害に対しては、例えば、レンズ系を多枚数で設計して障害の発生を防止することも行われるが、このような多枚数で設計されるレンズ系は高価であり、コンパクトカメラ等には採用が困難な場合が多い。

一方、例えば、半導体撮像素子を用いる機器のように、信号の取り出しがＸＹ座標に従って行われる場合には、取り出された映像信号に対するデジタル処理によって画像を補正することができる。そこで従来から、例えば安価なレンズ系で撮像したために生じる歪みや、周辺光量落ち、色にじみ等をデジタル補正する技術が提案されている。

また、光学ズームの倍率によって周辺光量落ちや歪みの度合いは変化するため、レンズ系の周辺光量落ちや歪みを、上記のような技術でデジタル補正するコンパクト電子スチルカメラでは、撮影に使用する光学ズーム倍率ごとに補正を適用するのが一般的である。

更に、撮影した画像をパソコン等に取り込んでユーザの好みで補正ができるように、補正後の画像だけでなく補正前の画像も一緒に記録する技術が提案されている（例えば、特許文献１参照）。
特開２００５−１２２３２０号公報

しかしながら、特許文献１の技術では、１枚の画像について記録するデータが２枚分以上になるため、容量が限られたフラッシュメモリ等の記憶媒体では、通常撮影に比べて記録枚数が１／２以下に制限されてしまうという問題がある。

本発明の目的は、１画像当たりのデータ量を抑えることができる映像信号処理装置、映像信号処理方法、及びプログラムを提供することにある。

上記目的を達成するために、本発明による映像信号処理装置は、画像データに対して周辺光量補正を行ってから歪み補正を行う補正手段と、前記補正手段にて前記歪み補正が行われる前であって、かつ、前記周辺光量補正が行われた後の第１の画像データと、前記補正手段にて前記周辺光量補正が行われる前の元の画像データとの間の差分画像データを求め、該差分画像データを可逆圧縮した画像データを生成する圧縮手段と、前記第１の画像データに対して前記歪み補正が行われた後の第２の画像データと、前記可逆圧縮した画像データとを、メモリに記憶させる記録手段とを備えることを特徴とする。

本発明によれば、１画像当たりのデータ量を抑えることができる。

以下、本発明の実施の形態を図面を参照しながら詳細に説明する。

図１は、本発明の実施の形態に係る映像信号処理装置としての電子スチルカメラのブロック構成を概略的に示す図である。

図１において、電子スチルカメラは、メモリ制御部１０１、システム制御部１０２を中心に以下の手段を備える。以下、その手段の機能を動作と併せて説明する。

撮像レンズ１０３は、撮影像を光学的に結像させる。シャッタ１０４は、撮影像の露出を調節する。撮像素子１０５は、撮影像をアナログの電気信号に変換する、Ａ／Ｄ変換器１０６は、撮像素子１０５のアナログ信号出力をデジタル信号に変換する。

画像処理部１０７は、撮影、或いは記録された画像データに対して所定の画素補間処理や色変換処理等の現像処理やリサイズ処理を行う。

メモリ１０８は、ＲＯＭ１０９のデータを展開したり、撮影した画像データを一時的に格納するためのものであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記録容量備えている。例えば、Ａ／Ｄ変換器１０６から出力された画像データが、メモリ制御部１０１、画像処理部１０７、圧縮伸長部１１０を介して、或いは直接メモリ制御部１０１を介して、メモリ１０８に書き込まれる。

メモリ制御部１０１は、Ａ／Ｄ変換器１０６、Ｄ／Ａ変換器１１１、記憶媒体１１２、画像処理部１０７、メモリ１０８、圧縮伸長部１１０、周辺光量補正部１１３、歪み補正部１１４へのデータフローを制御する。

メモリ１０８に書き込まれた表示用の画像データは、Ｄ／Ａ変換器１１１を介してデジタルデータからアナログデータに変換され、ＴＦＴ、ＬＣＤ等からなる画像表示部１１５により表示される。また、撮像素子１０５から映像信号を連続的に読み出し、画像表示部１１５に表示することで、電子ビューファインダ（ＥＶＦ）機能を実現する。

圧縮伸長部１１０は、画像データを圧縮・伸長する。メモリカードやハードディスク等の記憶媒体１１２は、撮影された画像データ等を記録する。周辺光量補正部１１３は、レンズの周辺光量落ちによる周辺画質劣化を補正する。歪み補正部１１４は、レンズの歪みによる周辺画質劣化を補正する。

システム制御部１０２は、操作部１１５のモードダイアルスイッチによる設定に従い、また、ＲＯＭ（読み出し専用メモリ）１０９に格納された内容に従い、電子スチルカメラ全体の動作制御を行う。

操作部１１６は、例えば、電源オフ、撮影モード、再生モード等の各機能モードを切り替え設定することができる。ＲＯＭ１０９は、システム制御部１０２が使用するプログラム等があらかじめ記憶されている。

以下、図２、図３を用いて、本実施の形態における周辺光量補正と歪み補正が施された補正画像データと画像圧縮データの記録について説明する。

図２は、図１の電子スチルカメラによって実行される画像圧縮処理の第１の例の手順を示すフローチャートである。

本処理は、図１におけるシステム制御部によって実行される。

図２において、まず、Ａ／Ｄ変換器１０６で変換された撮像素子１０５が出力する画像データについて、周辺光量補正部１１３と歪み補正部１１４により周辺光量補正、歪み補正の順で補正を施す（ステップＳ２０１、Ｓ２０２）。元画像及び補正画像はメモリ１０８に一旦記憶される。

その補正画像と元画像から差分画像を求め、この差分画像を圧縮伸長部１１０により可逆圧縮し、画像圧縮データを生成する（ステップＳ２０３）。画像圧縮データは一旦メモリ１０８に記憶される。

最後に、レンズ情報（レンズの種類や撮影時のズーム位置等）、画像圧縮データ、補正画像データを一つのファイルに保存して（ステップＳ２０４）、本処理を終了する。

本実施の形態では元画像の代わりに、元画像と補正画像の差分画像を可逆圧縮した画像を保存する構成であるが、補正画像の代わりに、元画像と補正画像の差分画像を可逆圧縮した画像を保存するようにしても良い。また、本実施の形態において、差分画像を可逆圧縮した後に、補正画像をフレーム内可逆圧縮するように構成しても構わない。

図３は、図１におけるメモリに記録される記録ファイルフォーマットの第１の例を示す図である。

図３において、画像サイズを１６００×１２００、Ａ／Ｄ変換器１０６のデータ幅を１２ビットとする。この場合、補正画像のデータサイズは、
１６００×１２００×１２／８＝２．７４ＭＢ
である。また、元画像が１／８程度の圧縮率で圧縮できたとする。

０ｘ００００＿００００番地からはヘッダ領域であり、画像データへのポインタ情報や、画像データの数や種類等の情報が記録されている。

０ｘ００００＿００２０番地からはレンズ情報領域であり、レンズの種類や撮影時のズーム位置等の情報が記録されている。

０ｘ００００＿００８０番地からは補正画像データ領域であり、この例の場合、２．７４ＭＢの画像データが記録されている。

０ｘ００２Ｂ＿Ｆ２８０番地からは画像圧縮データ領域である。このアドレスは補正画像のサイズによって異なり、ヘッダ領域に記録されている。

以下、図４を用いて、記録した映像信号処理装置（電子スチルカメラ）もしくはパソコン等で、後にユーザが好みの補正を施すために元画像を伸長する際の動作について、説明する。

図４は、図１の電子スチルカメラによって実行される画像伸長処理の第１の例の手順を示すフローチャートである。

本処理は、図１におけるシステム制御部によって実行される。

図４において、記録ファイルのヘッダ情報から補正画像と画像圧縮データを読み出し、画像圧縮データを圧縮伸長部１１０により伸長して得られた差分画像と補正画像を加算することで元画像を復元する（ステップＳ４０１）。

図５は、図１の電子スチルカメラによって実行される画像圧縮処理の第２の例の手順を示すフローチャートである。

本処理は、図１におけるシステム制御部によって実行される。

図５において、Ａ／Ｄ変換器１０６で変換された撮像素子１０５が出力する画像データについて、周辺光量補正部１１３で周辺光量補正を施す（ステップＳ５０１）。元画像及び周辺光量補正画像はメモリ１０８に一旦記憶される。

その周辺光量補正画像と元画像から差分画像を求め、この差分画像を圧縮伸長部１１０により可逆圧縮し、画像圧縮データを生成する（ステップＳ５０２）。画像圧縮データは一旦メモリ１０８に記憶される。

次に、歪み補正部１１４により周辺光量補正画像から歪み補正画像を生成する（ステップＳ５０３）。最後に、レンズ情報（レンズの種類や撮影時のズーム位置等）、画像圧縮データ、補正画像データを一つのファイルに保存して（ステップＳ５０４）、本処理を終了する。

本実施の形態では元画像の代わりに、元画像と補正画像の差分画像を可逆圧縮した画像を保存する構成であるが、補正画像の代わりに、元画像と補正画像の差分画像を可逆圧縮した画像を保存するようにしても良い。また、本実施の形態において、差分画像を可逆圧縮した後に、補正画像をフレーム内可逆圧縮するように構成しても構わない。

図６は、図１におけるメモリに記録される記録ファイルフォーマットの第２の例を示す図である。

図６において、画像サイズを１６００×１２００、Ａ／Ｄ変換器１０６のデータ幅を１２ビットとする。この場合、補正画像のデータサイズは、
１６００×１２００×１２／８＝２．７４ＭＢ
である。また、元画像が１／３２程度の圧縮率で圧縮できたとする。

０ｘ００００＿００００番地からはヘッダ領域であり、画像データへのポインタ情報や、画像データの数や種類等の情報が記録されている。

０ｘ００００＿００２０番地からはレンズ情報領域であり、レンズの種類や撮影時のズーム位置等の情報が記録されている。

０ｘ００００＿００８０番地からは補正画像データ領域であり、この例の場合、２．７４ＭＢの画像データが記録されている。

０ｘ００２Ｂ＿Ｆ２８０番地からは画像圧縮データ領域である。このアドレスは補正画像のサイズによって異なり、ヘッダ領域に記録されている。

以下、図７を用いて、記録した映像信号処理装置（電子スチルカメラ）もしくはパソコン等で、後にユーザが好みの補正を施すために元画像を伸長する際の動作について、説明する。

図７は、図１の電子スチルカメラによって実行される画像伸長処理の第２の例の手順を示すフローチャートである。

本処理は、図１におけるシステム制御部によって実行される。

図７において、記録ファイルのヘッダ情報から補正画像とレンズ情報を読み出し、補正画像を歪み補正部１１４（もしくはパソコン等のソフトウェア）により逆歪み補正し、歪み補正前の画像を復元する（ステップＳ７０１）。

記録ファイルのヘッダ情報から画像圧縮データを読み出し、画像圧縮データを圧縮伸長部１１０（もしくはパソコン等のソフトウェア）により伸長して得られた差分画像と、復元された歪み補正前の画像とを加算することで元画像を復元し（ステップＳ７０２）、本処理を終了する。

本発明の実施の形態によれば、未補正画像と共に補正済み画像を記録する電子スチルカメラ等の映像信号処理装置において、１画像当たりのデータ量を抑えることができる。

また、座標変換を伴う補正を実施し、未補正画像と共に補正済み画像を記録する電子スチルカメラ等の映像信号処理装置において、１画像当たりのデータ量を抑えることができる。

また、補正済み画像と共に未補正画像を記録する電子スチルカメラ等の映像信号処理装置において、１画像当たりのデータ量を抑えることができる。

また、座標変換を伴う補正を実施し、補正済み画像と共に未補正画像を記録する電子スチルカメラ等の映像信号処理装置において、１画像当たりのデータ量を抑えることができる。

また、周辺光量落ち補正と歪み補正を実施する電子スチルカメラ等の映像信号処理装置において、精度よく補正を実施することができる。

更に、レンズの周辺光量落ちによる画質劣化は座標変換を伴わないため、元画像と周辺光量補正後画像との差分画像を可逆圧縮した画像データを記録することで、画像サイズを更に縮小することができる。

また、未補正画像をパソコン等に取り込んでユーザの好みで補正を実施することができる。

また、本発明の目的は、以下の処理を実行することによって達成される。即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出す処理である。

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、次のものを用いることができる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等である。または、プログラムコードをネットワークを介してダウンロードしてもよい。

また、コンピュータが読み出したプログラムコードを実行することにより、上記実施の形態の機能が実現される場合も本発明に含まれる。加えて、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。

更に、前述した実施形態の機能が以下の処理によって実現される場合も本発明に含まれる。即ち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う場合である。

本発明の実施の形態に係る映像信号処理装置としての電子スチルカメラのブロック構成を概略的に示す図である。 図１の電子スチルカメラによって実行される画像圧縮処理の第１の例の手順を示すフローチャートである。 図１におけるメモリに記録される記録ファイルフォーマットの第１の例を示す図である。 図１の電子スチルカメラによって実行される画像伸長処理の第１の例の手順を示すフローチャートである。 図１の電子スチルカメラによって実行される画像圧縮処理の第２の例の手順を示すフローチャートである。 図１におけるメモリに記録される記録ファイルフォーマットの第２の例を示す図である。 図１の電子スチルカメラによって実行される画像伸長処理の第２の例の手順を示すフローチャートである。

符号の説明

１０１ メモリ制御部
１０２ システム制御部
１０７ 画像処理部
１０８ メモリ
１０９ ＲＯＭ
１１３ 周辺光量補正部
１１４ 歪み補正部

Claims (7)

1. 画像データに対して周辺光量補正を行ってから歪み補正を行う補正手段と、
   前記補正手段にて前記歪み補正が行われる前であって、かつ、前記周辺光量補正が行われた後の第１の画像データと、前記補正手段にて前記周辺光量補正が行われる前の元の画像データとの間の差分画像データを求め、該差分画像データを可逆圧縮した画像データを生成する圧縮手段と、
   前記第１の画像データに対して前記歪み補正が行われた後の第２の画像データと、前記可逆圧縮した画像データとを、メモリに記憶させる記録手段と、
   を備えることを特徴とする映像信号処理装置。
2. 前記可逆圧縮した画像データを伸長する伸長手段を備え、
   前記補正手段は、前記第２の画像データに対して、逆歪み補正を施して前記第１の画像データを復元し、
   前記伸長手段は、前記可逆圧縮した画像データを伸長して復元された前記差分画像データと、前記補正手段にて復元された前記第１の画像データを用いて、前記元の画像データを復元することを特徴とする請求項１に記載の映像信号処理装置。
3. 前記記録手段は、前記第２の画像データと、前記可逆圧縮した画像データとともに、前記元の画像データを生成する際に用いられたレンズ情報を記録することを特徴とする請求項１または２に記載の映像信号処理装置。
4. 前記レンズ情報は、レンズの種類およびズームの位置を含むことを特徴とする請求項３に記載の映像信号処理装置。
5. 画像データに対して周辺光量補正を行ってから歪み補正を行う補正ステップと、
   前記歪み補正が行われる前であって、かつ、前記周辺光量補正が行われた後の第１の画像データと、前記周辺光量補正が行われる前の元の画像データとの間の差分画像データを求め、該差分画像データを可逆圧縮した画像データを生成する圧縮ステップと、
   前記第１の画像データに対して前記第歪み補正が行われた後の第２の画像データと、前記可逆圧縮した画像データとを、メモリに記憶させる記録ステップと、
   を備えることを特徴とする映像信号処理方法。
6. 前記第２の画像データに対して逆歪み補正を施して前記第１の画像データを復元し、前記可逆圧縮した画像データを伸長して復元された前記差分画像データと、復元された前記第１の画像データを用いて、前記元の画像データを復元する復元ステップを有することを特徴とする請求項５に記載の映像信号処理方法。
7. 請求項５または６に記載された映像信号処理方法をコンピュータに実行させるためのプログラムコードからなる映像信号処理のプログラム。

Images