JP2017201749A - 画像処理装置およびその制御方法 - Google Patents

Abstract

【課題】予め定められた複数の色成分のうち１つの色成分の値を有する画素データが所定の画素配列に従って配列された形式の画像データの画素数を、整数分の１倍に限定されない倍率で変更することができる画像処理装置および画像処理方法の提供。【解決手段】 予め定められた複数の色成分のうち１つの色成分の値を有する画素データが規則的に配列された形式の画像データを、画素データのそれぞれが複数の色成分の値を有するデータ形式に変換する。この画像データに対してリサイズ処理を行った後、元のデータ形式に戻す。【選択図】図１

Description

本発明は画像処理装置およびその制御方法に関する。

デジタルカメラ等の撮像装置では、撮像素子から得られる画像データに対し、現像処理（ホワイトバランス調整、色補間（デモザイク）、ノイズ除去補正、階調および色補正、シャープネス補正など）を行い、カラー画像データを生成する。現像処理前の画像データは一般的にＲＡＷデータと呼ばれる。そして、撮像装置はこのカラー画像データをＪＰＥＧ等の符号化方式により圧縮、符号化し、記録媒体に記録する。
また、近年では、ＪＰＥＧによる符号化が施される前の画像データを記録する機能を有する撮像装置が存在する。このような撮像装置では、例えば、現像処理前のＲＡＷデータを記録（記録媒体に格納）することができる。静止画のみならず動画についてもＲＡＷデータを記録することができる。

撮像素子により得られた画像データとは異なる画素数のＲＡＷデータを記録する場合、ＲＡＷデータの画素数を変更する必要がある。画像データの画素数を変更する処理はリサイズ処理とも呼ばれる。ＲＡＷデータの画素数を変更するリサイズ処理の例が、特許文献１に開示されている。特許文献１では画素の間引きにより縮小画像を生成し、縮小画像から表示画像を生成する。

特開２００３−３４６１４３号公報

しかしながら、特許文献１は画素を間引く構成のため、リサイズの倍率が１／Ｎ（Ｎは整数）に限定される。また、特許文献１では、各画素のデータがＲＧＢいずれか１つの色成分の情報しか有さないＲＡＷデータの画素を間引いて縮小画像を生成する。そして、この縮小画像をデモザイク処理して表示画像を生成するため、偽色やモアレ等が発生するという問題もある。

本発明はこのような従来技術の問題点に鑑みてなされたものである。本発明の目的の１つは、予め定められた複数の色成分のうち１つの色成分の値を有する画素データが所定の画素配列に従って配列された形式の画像データの画素数を、整数分の１倍に限定されない倍率で変更することができる画像処理装置および画像処理方法の提供にある。

上述の目的は、それぞれが、予め定められた複数の色成分のうち１つの色成分の値を有する複数の画素データが所定の画素配列に従って配列された、第１のデータ形式の画像データを取得する取得手段と、取得手段により取得された第１のデータ形式の画像データを、画素データのそれぞれが複数の色成分の値を有する第２のデータ形式に変換し、第２のデータ形式の画像データを出力する第１の変換手段と、第１の変換手段から出力された、第２のデータ形式の画像データの画素数を削減し、画素数が削減された第２のデータ形式の画像データを出力するリサイズ手段と、リサイズ手段から出力された、画素数が削減された第２のデータ形式の画像データを、第１のデータ形式に変換し、画素数が削減された第１のデータ形式の画像データを出力する第２の変換手段と、を有することを特徴とする画像処理装置によって達成される。

本発明によれば、予め定められた複数の色成分のうち１つの色成分の値を有する画素データが所定の画素配列に従って配列された形式の画像データの画素数を、整数分の１に限定されない倍率で変更することができる画像処理装置および画像処理方法を提供することができる。

第１実施形態に係る画像処理装置の構成例を示すブロック図 第１実施形態に係る画像処理装置のデモザイク処理に関する図 第１実施形態に係る画像処理装置の記録処理に関するフローチャート 第２実施形態に係る画像処理装置の構成例を示すブロック図 第２実施形態に係る画像処理装置の記録処理に関するフローチャート 実施形態に係る画像処理装置の記録データフォーマットの例を示す図

以下、添付図面を参照して、本発明の例示的な実施形態について詳細に説明する。なお、以下では本発明に係る画像処理装置の一例としてのデジタルビデオカメラについて説明する。しかし、本発明は、色補間（デモザイク）処理前のデータ（ＲＡＷデータ）を取得可能な電子機器において実施可能である。このような電子機器には、デジタルカメラを内蔵もしくは接続可能な電子機器はもちろん、記録済みのＲＡＷデータを記録媒体やネットワークを通じて取得可能な電子機器も含まれる。例えば、コンピュータ（デスクトップ型、ノート型、タブレット型、ウエアラブル型など）、ゲーム機、携帯電話機、テレビ、ビデオレコーダ、セットトップボックス、プリンタ、コピー機などであってよい。

●（第１実施形態）
図１（ａ）は、本発明の第１実施形態に係る画像処理装置としてのデジタルビデオカメラ（ＤＶＣ）１００の機能構成例を示すブロック図である。ＤＶＣ１００は、記録モードに応じてＲＡＷデータの画素数を変更（リサイズ）して記録する機能を有する。従って、ＤＶＣ１００は、撮像素子が有する画素数とは異なる画素数のＲＡＷデータを記録することができる。

撮影レンズ１０１は、フォーカスレンズ、変倍レンズ、絞りなどを有し、被写体の光学像を撮像部１０２の結像面に形成する。

撮像部１０２は、光電変換機能を有する画素が複数、例えば行列状に配列された撮像素子を有する。撮像素子は被写体の光学像を画素信号群（ＲＡＷデータ）に変換する。撮像素子は例えば単板式のＣＣＤもしくはＣＭＯＳカラーイメージセンサであってよい。撮像素子の各画素には予め定められた色のフィルタが設けられ、各画素はフィルタの透過光の強度に応じた画素信号を出力する。本実施形態では、画素に設けられるフィルタの色が赤（Ｒ）、緑（Ｇ）、青（Ｂ）のいずれかであり、かつベイヤ配列に従ってフィルタの色が配置されているものとする。ベイヤ配列は２×２の４画素を繰り返し単位とした規則的な配列であり、繰り返し単位には赤と青が対角に、２つの緑が対角に配置される。なお、画素に設けられるフィルタの色や配列はここで例示したものに限定されない。

なお、本実施形態において、撮像部１０２が有する撮像素子の画素数は６Ｋ（水平５７６０画素×垂直３８４０画素）であるものとする。また、ＤＶＣ１００は、静止画記録モードおよび動画記録モードが選択可能で、静止画記録モードで記録される静止画の画素数は６Ｋである。また、動画記録モードで記録される動画データの１フレームの画素数は４Ｋ（水平３８４０画素×垂直２１６０画素）であるものとする。また、動画記録モードにおいて記録される動画データのフレームレートは６０フレーム／秒とする。

撮像部１０２が出力するＲＡＷデータは、それぞれが、予め定められた複数の色成分のうち１つの色成分の値を有する複数の画素データが所定の画素配列に従って規則的に配列された、第１のデータ形式を有する。なお、撮像部１０２が出力するＲＡＷデータはアナログデータであってもデジタルデータであってもよい。

操作部１０３はスイッチ、ボタン、タッチパネルなど、ユーザが操作可能な入力デバイスを有する。操作部１０３に対するユーザ操作は制御部１０４に通知される。なお、操作部１０３が有する入力デバイスは必ずしも物理的な操作を必要とするものに限らず、音声や視線などを用いた入力が可能であってもよい。操作部１０３を通じて、ユーザはＤＶＣ１００の記録モードを切り替えたり、記録サイズ（解像度）を変更したり、記録の開始、一時停止、終了を指示したりすることができる。

制御部１０４はＣＰＵなどのプログラマブルプロセッサを１つ以上と、不揮発性メモリと、揮発性メモリとを備える。制御部１０４は、不揮発性メモリに記憶されたプログラムを揮発性メモリに読み込んでプログラマブルプロセッサで実行することにより、ＤＶＣ１００の全体的な動作を制御する。例えば制御部１０４は、設定された記録モードに応じて画像処理部１０５の動作を制御し、後述する、ＲＡＷデータに対するリサイズ処理を実現する。

画像処理部１０５は、撮像部１０２が出力するＲＡＷデータに対し、制御部１０４の制御に従って様々な処理を適用する。この処理にはホワイトバランス調整、色補間（デモザイク）、ノイズ除去補正、階調および色補正、シャープネス補正など、いわゆる現像処理を構成する処理の１つ以上が含まれる。また、Ａ／Ｄ変換、リサイズ、被写体（例えば人間の顔）の検出や認識、光学収差補正、色変換、視覚効果の付与、自動露出制御用の情報（例えば輝度情報）の生成、オートフォーカス用の評価値や信号の生成などの１つ以上が画像処理部１０５で行われうる。なお、ここに記載した処理は例であって、他の処理が行われてもよい。図１には、上述したさまざまな処理のうち、本実施形態におけるリサイズ処理を実行する際の画像処理部１０５の動作を模式的な機能ブロックによって記載している。

なお、画像処理部１０５はＡＳＩＣなど専用のハードウェアによって実現することができるが、その少なくとも一部の処理について、プログラマブルプロセッサがプログラムを実行することによって実現することもできる。

切り替え部１０６は、入力されるＲＡＷデータを、デモザイク部１０７と切り替え部１１０とのいずれかに出力する。切り替え部１０６の出力先は、制御部１０４が制御する。具体的には、制御部１０４は、ＲＡＷデータにリサイズ処理を行う場合はデモザイク部１０７に、リサイズ処理を行わない場合は切り替え部１１０に、切り替え部１０６の出力先を切り替える。

デモザイク部１０７（第１の変換手段）は、ＲＡＷデータに対してデモザイク処理（色補間処理）を行う。デモザイク処理は、予め定められた複数の色成分（例えばＲＧＢ）のうち１つの色成分の値を有する画素データが規則的に配列された第１のデータ形式を、画素データのそれぞれが複数の色成分（ＲＧＢ）の値を有する第２のデータ形式に変換する処理である。例えば、赤のフィルタが設けられた画素（Ｒ画素）のデータには、緑成分および青成分が不足している。そのため、デモザイク部１０７は、近隣の画素のうち、緑のフィルタが設けられた画素（Ｇ画素）のデータから緑成分を、青のフィルタが設けられた画素（Ｂ画素）のデータから青成分を、それぞれ生成する。

ここで、デモザイク処理の例について、図２を用いて説明する。２０１はＲＡＷデータ、２０２，２０３，２０４はそれぞれ、ＲＡＷデータを構成するＲ画素データ、Ｇ画素データ、Ｂ画素データである。ＲＡＷデータ２０１を構成する画素データは、フルカラーもしくはトゥルーカラーを表現するために必要な色成分（例えばＲ，Ｇ，Ｂ）のうち、画素に設けられたフィルタの色に対応した１つの色成分の値だけを有する。

つまり、Ｒ画素データ２０２、Ｇ画素データ２０３、Ｂ画素データ２０４として示すように、ＲＡＷデータは、それぞれの色成分について画素をサブサンプルしたデータである。ＲＡＷデータの状態で画素データを間引いてリサイズを行うと、色成分あたりの画素数がさらに減少する。そのため、近隣の同色画素データ間の値の差が大きくなりやすく、結果として偽色やモアレが発生しやすくなる。

本実施形態ではこうした画質劣化を抑制するため、リサイズ処理前にデモザイク処理を行う。デモザイク処理後のＲ画素データ、Ｇ画素データ、Ｂ画素データを２０５〜２０７に示す。このようにして、ＲＡＷデータは、デモザイク処理により、各画素がＲ，Ｇ，Ｂ成分を有するカラー画像データに変換される。なお、本実施形態では図２に示すように、例えばある色成分の値が存在しない画素位置については、周囲に存在する４つの同色画素の値を用いた補間演算により、色成分の値を生成する。なお、デモザイク処理には、他の公知の任意の方法を用いることができる。デモザイク部１０７は、デモザイク処理によって生成したカラー画像データをリサイズ部１０８に出力する。

リサイズ部１０８は、制御部１０４から入力される倍率に基づき、デモザイク処理後のカラー画像データのサイズ（画素数）を変更（ここでは削減）し、サイズが変更（縮小）されたカラー画像データをモザイク化部１０９に出力する。倍率は画素数の変更量（削減量）を表す情報の一例であり、他の情報を用いてもよい。リサイズ部１０８が実行するリサイズ処理の倍率は、整数分の１に限定されない。このようなリサイズ処理は公知の任意の方法で実施可能である。すなわち、リサイズ部１０８は補間画素を生成するためのフィルタを備える。そして、指定された倍率に応じてフィルタ処理のために使用する画素とフィルタ係数を適宜変更し、変更後の画素数に対応した画素データを生成する。本実施形態では、リサイズ処理の対象となる画像データがフルカラーデータであるため、任意の倍率でのリサイズ処理が容易に実施可能である上、リサイズ後の画像を構成する個々の画素について、全ての色成分の値を精度良く求めることができる。

モザイク化部１０９（第２の変換手段）は、リサイズ部１０８から入力されるリサイズ後のカラー画像データを、ＲＡＷデータ形式（１つの色成分の値を有する画素が規則的に配列されるモザイク形式）に変換するモザイク化処理を行う。そして、モザイク化部１０９は、モザイク化処理したデータを、リサイズされたＲＡＷデータとして切り替え部１１０に出力する。モザイク化処理は、デモザイク処理の逆処理であり、第２のデータ形式を有する画像データ（フルカラーデータ）を、第１のデータ形式を有する画像データ（ＲＡＷデータ）に変換する処理である。したがって、デモザイク処理は、処理後のデータにおいて各色成分の画素がＲＡＷデータと同じ配列となるように、例えば各画素位置について２つの色成分を除去する処理であってよい。例えば、リサイズ後のカラー画像は、色成分ごとに分解すると、図２のＲ画素データ２０５、Ｇ画素データ２０６、Ｂ画素データ２０７と同様の形式を有する。そして、Ｒ画素データ２０５、Ｇ画素データ２０６、Ｂ画素データ２０７を、Ｒ画素データ２０２、Ｇ画素データ２０３、Ｂ画素データ２０４に変換する処理がモザイク化処理である。すなわち、リサイズ後のＲ画素データ２０５から、ベイヤ配列に対応した位置の画素以外のデータを間引くことにより、リサイズされたＲＡＷデータのＲ画素データ２０２を生成する。同様に、リサイズ後のＧ画素データ２０６、Ｂ画素データ２０７から、ベイヤ配列に対応した位置の画素以外のデータを間引くことにより、リサイズされたＲＡＷデータのＧ画素データ２０３、Ｂ画素データ２０４を生成する。

切り替え部１１０は、切り替え部１０６からのＲＡＷデータと、モザイク化部１０９からのＲＡＷデータとのうち、一方を符号化部１１１に出力する。切り替え部１１０がどちらのＲＡＷデータを出力するかは、制御部１０４が制御する。具体的には、制御部１０４は、ＲＡＷデータにリサイズ処理を行う場合はモザイク化部１０９からのＲＡＷデータを、リサイズ処理を行わない場合は切り替え部１０６からのＲＡＷデータを符号化部１１１に出力するよう、切り替え部１１０の動作を制御する。

なお、制御部１０４は、ＲＡＷデータに対するリサイズ処理を行わない場合には、デモザイク部１０７、リサイズ部１０８、モザイク化部１０９の動作を停止させてよい。一方、ＲＡＷデータに対するリサイズ処理を行う場合、制御部１０４は、後述のように、静止画もしくは動画の記録開始指示に応じて、デモザイク部１０７、リサイズ部１０８、モザイク化部１０９を動作させる。

符号化部１１１は、切り替え部１１０から入力されるＲＡＷデータを所定の方式で符号化することにより、情報量が圧縮された符号化ＲＡＷデータを生成する。符号化部１１１は符号化ＲＡＷデータを記録部１１２に出力する。記録部１１２は、符号化部１１１から出力された符号化ＲＡＷデータを予め定められたファイル形式で記録媒体に記録する。

図３は、ＤＶＣ１００によるＲＡＷデータの記録処理動作に関するフローチャートである。
制御部１０４は、操作部１０３を通じて静止画の記録指示、あるいは動画の記録開始指示が入力されたことを検出すると、記録処理を開始する。なお、絞りやシャッタースピードなどの撮影条件の決定や、撮影レンズ１０１の焦点調節については、公知の方法で実施されるものとする。

まずＳ３０１で制御部１０４は撮像部１０２を制御して、記録モードに応じた撮影動作を実行し、静止画ＲＡＷデータ、あるいは動画ＲＡＷデータを取得する。例えば、静止画記録モードが設定されていた場合、制御部１０４は、静止画の記録指示に応じて、１画面の静止画ＲＡＷデータを出力するように撮像部１０２を制御する。また、動画記録モードが設定されていた場合、制御部１０４は、動画の記録開始の指示に応じて、６０フレーム／秒の動画ＲＡＷデータを出力するように撮像部１０２を制御する。なお、動画ＲＡＷデータは、各フレームが静止画ＲＡＷデータで構成されるものであってよい。

なお、Ｓ３０１でのＲＡＷデータの取得は、撮像部１０２による撮影を必要としない。例えば、制御部１０４は、記録部１１２を通じて記録媒体からＲＡＷデータを読み出したり、外部機器からＲＡＷデータを受信したりしてもよい。

Ｓ３０２で制御部１０４はリサイズ処理を行うか否かの判定を行う。具体的には制御部１０４は、動画記録モードが設定されているか否かを判定し、動画記録モードが設定されていればＳ３０３に、動画記録モードが設定されていない（静止画記録モードが設定されている）場合はＳ３０８に、それぞれ処理を進める。なお、ここでは動画記録モード時にリサイズ処理を適用し、静止画記録モード時にはリサイズ処理を適用しないため、Ｓ３０２で記録モードを判定している。しかしながら、他の条件によってリサイズ処理の適用要否を決定してもよい。制御部１０４は例えば、記録モードとは無関係に、撮影サイズ（水平方向および垂直方向の画素数）と、設定されている記録サイズとが同じであればリサイズ処理を適用せず、違っていればリサイズ処理を適用すると決定することができる。

Ｓ３０３で、制御部１０４はリサイズ倍率を決定する。基本的には撮像部１０２から出力される画像のサイズ（撮影サイズ）と記録部１１２により記録される画像のサイズ（記録サイズ）に基づいてリサイズ倍率を決定すればよい。上述の通り、本実施形態では、撮影サイズは撮像素子の画素数に等しく、６Ｋ（５７６０×３８４０画素）であり、動画の記録サイズは４Ｋ（３８４０×２１６０画素）である。そのため、制御部１０４は、以下のようにリサイズ処理の倍率を、方向ごとに決定する。
水平方向倍率：３８４０／５７６０＝２／３
垂直方向倍率：２１６０／３８４０＝９／１６
制御部１０４は決定したリサイズ倍率（水平方向、垂直方向）を、リサイズ部１０８に設定する。

Ｓ３０４で制御部１０４は、ＲＡＷデータにリサイズ処理が適用されるように画像処理部１０５のデータパスを切り替える。すなわち、制御部１０４は、撮像部１０２からのＲＡＷデータをデモザイク部１０７に出力するように切り替え部１０６を制御する。

Ｓ３０５でデモザイク部１０７は、ＲＡＷデータに対してデモザイク処理を実行し、カラー画像データを生成する。そして、Ｓ３０６でリサイズ部１０８が、カラー画像データに対して、制御部１０４がＳ３０３で決定した倍率に基づくリサイズ処理を実行する。そして、Ｓ３０７でモザイク化部１０９が、リサイズ後のカラー画像データに対してモザイク化処理を実行して再びＲＡＷデータ形式に変換し、リサイズ後のＲＡＷデータとして切り替え部１１０に出力する。

一方、動画記録モードでない場合、Ｓ３０８で制御部１０４は、ＲＡＷデータにリサイズ処理が適用されないように画像処理部１０５のデータパスを切り替える。すなわち、制御部１０４は、撮像部１０２からのＲＡＷデータを切り替え部１１０に出力するように切り替え部１０６を制御する。また、制御部１０４は、切り替え部１０６からのＲＡＷデータを符号化部１１１に出力するように切り替え部１１０を制御する。

Ｓ３０９で符号化部１１１は、画像処理部１０５（切り替え部１１０）から出力されるＲＡＷデータを所定の方式で符号化し、生成した符号化ＲＡＷデータを記録部１１２に出力する。

Ｓ３１０で記録部は、ＲＡＷデータを所定形式のデータファイルとして記録媒体に記録する。図６（ａ）に記録フォーマットの例を示す。ヘッダ部６０１には、ファイル形式を示す識別コードなどが含まれている。符号化ＲＡＷデータ部６０２には、符号化部１１１が生成した符号化ＲＡＷデータが格納される。

なお、動画記録モードの場合、制御部１０４は、動画記録の一時停止または終了指示が入力されるまで、次フレームのＲＡＷデータの取得と、Ｓ３０５〜Ｓ３１０の処理を繰り返し実行するように各部を制御する。静止画記録モードの場合、制御部１０４は、連写であれば次フレームのＲＡＷデータの取得と、Ｓ３０９〜Ｓ３１０の処理を繰り返し実行するように各部を制御する。単写の場合、制御部１０４は処理を終了する。

また、図３に示す各ステップの処理は、ユーザからの記録指示に応じて、一連の処理として自動的に実行される。即ち、本実施形態では、ユーザによる記録指示に応じて、Ｓ３０５のデモザイク処理までを一旦実行して記録媒体に記録しておき、その後、別途、ユーザがリサイズ指示やデモザイク処理の指示を行う構成とすることができない。同じく、ユーザによる記録指示に応じて、Ｓ３０６のリサイズ処理までを一旦実行して記録媒体に記録しておき、その後、別途、ユーザがデモザイク処理の指示を行い、デモザイク処理を実行する構成とすることができない。

以上説明したように、本実施形態によれば、ＲＡＷデータをデモザイク処理した後でリサイズ処理し、ＲＡＷデータの形式に戻すことにより、リサイズされたＲＡＷデータを生成する。そのため、ＲＡＷデータを間引いてリサイズする場合に生じるリサイズ処理の倍率に対する制限がない。また、フルカラーデータをリサイズしてからＲＡＷデータの形式にすることで、高品質なリサイズ画像に基づくＲＡＷデータが得られるという利点もある。

（変形例）
なお、図１（ｂ）のように、画像処理部１０５’として、図１（ａ）における切り替え部１０６，１１０を設けない構成としてもよい。この場合、撮像部１０２からのＲＡＷデータに対しては必ずデモザイク処理、リサイズ処理、モザイク化処理が適用される。そのため、制御部１０４は、ＲＡＷデータのリサイズを行わない場合には、リサイズ部１０８に水平方向倍率１、垂直方向倍率１を設定し、ＲＡＷデータが実質的にリサイズされないように画像処理部１０５の動作を制御する。ＲＡＷデータのリサイズを行う場合、制御部１０４は、Ｓ３０３で決定した倍率をリサイズ部１０８に設定する。

また、本実施形態では、静止画記録モードで記録される静止画の画素数と動画記録モードで記録される動画の画素数をそれぞれ決められた値としたが、これらをユーザが任意に設定できるようにしてもよい。即ち、ユーザは、操作部１０３を操作することにより、静止画記録モードで記録される静止画の画素数と動画記録モードで記録される動画の画素数を任意に設定する。この際、記録される静止画データと動画データの最大の画素数は、撮像部１０２が有する撮像素子の画素数とする。制御部１０４は、ユーザにより設定された記録サイズと、撮影サイズとに基づいて、リサイズ部１０８によるリサイズ処理における倍率を決定する。そして、制御部１０４は、決定した倍率に従ってリサイズ処理を行うようにリサイズ部１０８を制御する。

また、本実施形態では、画像処理部１０５から出力された画像データを記録部１１２により記録する構成だが、外部の表示装置や記録装置に出力する構成としてもよい。その場合、ユーザは、出力される画像データの画素数を任意に設定することが可能である。制御部１０４は、ユーザにより設定された、出力画像の画素数に応じて、リサイズ部１０８におけるリサイズ処理のための倍率を設定する。

●（第２実施形態）
第１実施形態では、１種類のＲＡＷデータを記録する構成について説明した。本実施形態では、２種類のＲＡＷデータを記録する構成について説明する。本実施形態で新たに生成並びに記録されるＲＡＷデータは、ＲＡＷデータに対して適用される処理（現像処理など）の負荷を軽減するためにデータ量を削減したＲＡＷデータであり、以下ではプロキシＲＡＷデータもしくは第２のＲＡＷデータと呼ぶ。これに対し、第１実施形態で記録したＲＡＷデータを記録用ＲＡＷデータもしくは第１のＲＡＷデータと呼ぶ。本実施形態では、リサイズ処理により、対応する第１のＲＡＷデータよりも小さいサイズ（少ない画素数）に縮小した第２のＲＡＷデータを生成する。

図４は、本発明の第２実施形態に係る画像処理装置としてのデジタルビデオカメラ（ＤＶＣ）１００”の機能構成例を示すブロック図であり、第１実施形態のＤＶＣ１００と同じ構成要素には同じ参照数字を付してある。本実施形態のＤＶＣ１００”は、撮像部１０２が出力するＲＡＷデータを一時的に保持するバッファメモリ（以下、単にバッファと呼ぶ）４０１が追加されている点で第１実施形態と構成が異なっている。なお、バッファ４０１は画像処理部１０５内に設けてもよい。

また、符号化部１１１は符号化の完了を制御部１０４へと通知する。制御部１０４は、符号化部１１１から符号化の完了通知を用いて、２つのＲＡＷデータの記録を制御する。また、記録部１１２は、２つのＲＡＷデータを関連付けて、具体的には同一ファイルに含めて記録する。

本実施形態でも第１実施形態と同様、記録用ＲＡＷデータ（第１のＲＡＷデータ）の画素数は静止画記録モードでは６Ｋ（水平５７６０画素×垂直３８４０画素）、動画記録モードでは４Ｋ（水平３８４０画素×垂直２１６０画素）であるものとする。また、プロキシＲＡＷデータ（第２のＲＡＷデータ）の画素数は、記録モードにかかわらず２Ｋ（水平１９２０画素×垂直１０８０画素）であるものとする。

図５は、ＤＶＣ１００”によるＲＡＷデータの記録処理動作に関するフローチャートである。図５において第１実施形態と同様の処理を行うステップには図３と同じ参照数字を付し、説明を省略する。

まずＳ５０１で制御部１０４は撮像部１０２を制御して、記録モードに応じた撮影動作を実行し、静止画ＲＡＷデータ、あるいは動画ＲＡＷデータを取得する。ここでも、制御部１０４は、記録部１１２を通じて記録媒体からＲＡＷデータを読み出したり、外部機器からＲＡＷデータを受信したりしてもよい。

Ｓ５０２で制御部１０４は、取得したＲＡＷデータをバッファ４０１に記憶する。あるいは、制御部１０４は、撮像部１０２に、生成したＲＡＷデータをバッファ４０１に書き込むように指示してもよい。

Ｓ５０３で制御部１０４は、第１のＲＡＷデータの符号化が完了しているか否かを判定し、完了していると判定されればＳ５０５へ、完了していないと判定されればＳ５０４へ、処理を進める。本実施形態で制御部１０４は、第１のＲＡＷデータに対する符号化の完了通知を符号化部１１１から受信していれば、第１のＲＡＷデータの符号化が完了していると判定する。

Ｓ３０２で制御部１０４は、動画記録モードが設定されているか否かを判定し、動画記録モードが設定されていればＳ５０５に、動画記録モードが設定されていない（静止画記録モードが設定されている）場合はＳ３０８に、それぞれ処理を進める。なお、第１実施形態では記録モードの判定がリサイズ処理の要否の判定であったが、本実施形態では静止画記録モードであっても第２のＲＡＷデータの生成時にリサイズ処理を行うため、記録モード判定の趣旨が若干異なる。

Ｓ５０５で制御部１０４はリサイズ倍率を決定する。基本的には第１実施形態と同様に、撮影サイズと記録サイズに基づいてリサイズ倍率を決定すればよい。本実施形態において、制御部１０４は以下の様にリサイズ倍率を決定する。
（１）動画記録モード
第１のＲＡＷデータ：
水平方向倍率：３８４０／５７６０＝２／３
垂直方向倍率：２１６０／３８４０＝９／１６
第２のＲＡＷデータ：
水平方向倍率：１９２０／５７６０＝９／３２
垂直方向倍率：１０８０／３８４０＝９／１６
（２）静止画記録モード
第２のＲＡＷデータ：
水平方向倍率：１９２０／５７６０＝９／３２
垂直方向倍率：１０８０／３８４０＝９／１６
静止画記録モードにおける第１のＲＡＷデータはリサイズ処理を行わないため、リサイズ倍率は決定されない。なお、本実施形態においても画像処理部１０５の構成を図１（ｂ）に示すように変更した場合、静止画記録モードにおける第１のＲＡＷデータについて、制御部１０４は水平方向倍率１、垂直方向倍率１を決定することができる。

Ｓ３０４で制御部１０４は、ＲＡＷデータにリサイズ処理が適用されるように画像処理部１０５のデータパスを切り替える。

なお、Ｓ５０５におけるリサイズ倍率の決定と、Ｓ３０４におけるデータパスの切り替えは、記録モードもしくはリサイズ処理を適用するＲＡＷデータが変わった際に１度実行すればよい。

Ｓ５０６で制御部１０４は、バッファ４０１からＲＡＷデータを読み出して画像処理部１０５（切り替え部１０６）に供給する。

Ｓ３０５〜Ｓ３０７では、第１実施形態と同様にして、デモザイク処理、リサイズ処理、モザイク化処理を実行し、処理をＳ５１２に進める。

第１のＲＡＷデータの符号化が完了しておらず、かつ動画記録モードでもない場合、Ｓ３０８で制御部１０４は、ＲＡＷデータにリサイズ処理が適用されないように画像処理部１０５のデータパスを切り替える。

Ｓ５０７で制御部１０４は、バッファ４０１からＲＡＷデータを読み出して画像処理部１０５（切り替え部１０６）に供給し、処理をＳ３０９に進める。

Ｓ５１２で符号化部１１１は、画像処理部１０５（切り替え部１１０）から出力されるＲＡＷデータを所定の方式で符号化し、生成した符号化ＲＡＷデータを記録部１１２に出力する。また、符号化部１１１は、符号化が完了すると、制御部１０４に対して符号化の完了を通知する。符号化部１１１は、第１のＲＡＷデータの符号化が完了した場合は、第１のＲＡＷデータの符号化が完了したことを制御部１０４に通知し、第２のＲＡＷデータの符号化が完了した場合は、全データの符号化が完了したことを制御部１０４に通知する。なお、符号化部１１１は、符号化したＲＡＷデータが第１のＲＡＷデータか第２のＲＡＷデータ化を意識する必要はなく、第１のＲＡＷデータと第２のＲＡＷデータとが交互に供給されることを前提として２種類の完了通知を交互に出力することができる。

Ｓ５１３で制御部１０４は、第１のＲＡＷデータと、対応する第２のＲＡＷデータとの符号化が完了したか判定し、完了したと判定されればＳ５１４に処理を進め、完了していないと判定されればＳ５０３に処理を戻す。

Ｓ５１４で記録部１１２は、第１のＲＡＷデータと、対応する第２のＲＡＷデータとを関連付けて記録媒体に記録する。例えば記録部１１２は、図６（ｂ）に示すように、同じデータファイルに第１および第２のＲＡＷデータを格納することができる。符号化ファイル６００’は、ヘッダ部６０１、符号化プロキシＲＡＷデータ部６０３、符号化ＲＡＷデータ部６０２から成る。ヘッダ部６０１には、ファイル形式を示す識別コードや、符号化プロキシＲＡＷデータ部６０３や符号化ＲＡＷデータ部６０２の先頭位置のオフセットアドレスなどが含まれている。符号化プロキシＲＡＷデータ部６０３には符号化された第２のＲＡＷデータが格納され、符号化ＲＡＷデータ部６０２には符号化された第１のＲＡＷデータが格納される。

例えば、静止画記録モードの場合、バッファ４０１に記憶されているＲＡＷデータから第１のＲＡＷデータを生成する。この場合、リサイズ処理は行わないため、Ｓ５０３、Ｓ３０２、Ｓ３０８、Ｓ５０７という手順で第１のＲＡＷデータが生成され、Ｓ５１２で符号化が行われる。第１のＲＡＷデータの符号化が終了すると、次にＳ５０３、Ｓ５０５、Ｓ５０６、Ｓ３０５〜Ｓ３０７という手順で第２のＲＡＷデータが生成され、Ｓ５１２で符号化が行われる。第２のＲＡＷデータの符号化が終了すると、Ｓ５１４で第１および第２のＲＡＷデータが関連付けられて記録され、バッファ４０１に記憶されているＲＡＷデータに対する処理が終了する。

また、動画記録モードの場合、バッファ４０１に記憶されているＲＡＷデータからＳ５０３、Ｓ５０５、Ｓ５０６、Ｓ３０５〜Ｓ３０７という手順で第１のＲＡＷデータが生成され、Ｓ５１２で符号化が行われる。第１のＲＡＷデータの符号化が終了すると、再び同じ手順で第２のＲＡＷデータが生成され、Ｓ５１２で符号化が行われる。動画記録モードの場合、Ｓ３０６におけるリサイズ処理の倍率が異なることを除き、同じ手順で第１および第２のＲＡＷデータが生成される。第２のＲＡＷデータの符号化が終了すると、Ｓ５１４で第１および第２のＲＡＷデータが関連付けられて記録され、バッファ４０１に記憶されているＲＡＷデータに対する処理が終了する。

なお、動画記録モードの場合、第１および第２のＲＡＷデータの生成におけるリサイズ処理の対象となるデモザイク処理後のカラー画像データは同一である。そのため、第１のＲＡＷデータの生成時のデモザイク処理で生成したカラー画像データを例えばバッファ４０１に記憶しておき、第２のＲＡＷデータの生成時に再度用いてもよい。これにより、第２のＲＡＷデータ生成時におけるデモザイク処理を省略することができる。

なお、動画記録モードの場合、制御部１０４は、動画記録の一時停止または終了指示が入力されるまで、２フレーム以降についても図５の処理を繰り返し実行するように各部を制御する。なお、２フレーム目からはリサイズ倍率の決定（Ｓ５０５）およびデータパスの切り替え（Ｓ５０６）を行わなくてもよい。一方、静止画記録モードの場合、制御部１０４は、連写であれば次のコマ以降についても図５の処理を繰り返し実行するように各部を制御する。単写の場合、制御部１０４は処理を終了する。

以上説明したように、本実施形態によっても、第１実施形態と同様の効果を得ることができる。さらに、処理負荷の少ないＲＡＷデータ追加で記録することで、例えば現像ソフトなどによって適切な現像パラメータを編集する際などにおいて、編集結果を素早く確認することを可能とすることができる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０２…撮像部、１０４…制御部、１０５、１０５’、１０５”…画像処理部、１０６…切り替え部、１０７…デモザイク部、１０８…リサイズ部、１０９…モザイク化部、１１０…切り替え部、１１１…符号化部、１１２…記録部

Claims (16)

1. それぞれが、予め定められた複数の色成分のうち１つの色成分の値を有する複数の画素データが所定の画素配列に従って配列された、第１のデータ形式の画像データを取得する取得手段と、
   前記取得手段により取得された前記第１のデータ形式の画像データを、前記画素データのそれぞれが前記複数の色成分の値を有する第２のデータ形式に変換し、前記第２のデータ形式の画像データを出力する第１の変換手段と、
   前記第１の変換手段から出力された、前記第２のデータ形式の画像データの画素数を削減し、画素数が削減された前記第２のデータ形式の画像データを出力するリサイズ手段と、
   前記リサイズ手段から出力された、前記画素数が削減された前記第２のデータ形式の画像データを、前記第１のデータ形式に変換し、画素数が削減された前記第１のデータ形式の画像データを出力する第２の変換手段と、
   を有することを特徴とする画像処理装置。
2. 前記第２の変換手段から出力された、前記画素数が削減された前記第１のデータ形式の画像データを記録媒体に記録する記録手段と、
   ユーザによる記録の指示に応じて、前記第１の変換手段が前記第１のデータ形式の画像データを前記第２のデータ形式の画像データに変換する処理と、前記リサイズ手段が前記第２のデータ形式の画像データの画素数を削減する処理と、前記第２の変換手段が、前記画素数が削減された前記第２のデータ形式の画像データを前記第１のデータ形式に変換する処理とを、一連の処理として自動的に実行するように制御する制御手段とを有することを特徴とする請求項１に記載の画像処理装置。
3. 前記リサイズ手段が、前記第１の変換手段から出力された、同じ前記第２のデータ形式の画像データから、画素数の異なる複数の前記第２のデータ形式の画像データを生成し、
   前記第２の変換手段は、前記リサイズ手段から出力された、前記画素数が異なる複数の第２の形式の画像データをそれぞれ前記第１のデータ形式の画像データに変換することを特徴とする請求項１に記載の画像処理装置。
4. 前記第２の変換手段から出力された、前記画素数が異なる複数の前記第２のデータ形式の画像データを関連付けて記録する記録手段をさらに有することを特徴とする請求項３に記載の画像処理装置。
5. 前記記録手段は、前記第２の変換手段から出力された、前記画素数が異なる複数の前記第２のデータ形式の画像データを同一のデータファイルに格納して記録することを特徴とする請求項４に記載の画像処理装置。
6. 前記取得手段が、前記第１のデータ形式の画像データを、単板式のカラーイメージセンサを用いて取得することを特徴とする請求項１から請求項５のいずれか１項に記載の画像処理装置。
7. ユーザの指示に応じて前記リサイズ手段におけるリサイズ処理のための倍率を決定し、前記決定した倍率に従って前記第１の変換手段が出力する前記第２のデータ形式の画像データの画素数を削減するように前記リサイズ手段を制御する制御手段を有することを特徴とする請求項１に記載の画像処理装置。
8. 前記取得手段は、前記第１のデータ形式の画像データを出力する撮像素子を含む
   ことを特徴とする請求項１に記載の画像処理装置。
9. 前記第２の変換手段から出力された、前記画素数が削減された前記第１のデータ形式の画像データを記録媒体に記録する記録手段と、
   前記撮像素子から出力される画像データの画素数と、前記記録手段により記録する画像データの画素数とに基づく倍率を決定する決定手段とをさらに有し、
   前記リサイズ手段が、前記第１の変換手段から出力された前記第２のデータ形式の画像データの画素数を、前記倍率に基づいて削減することを特徴とする請求項８に記載の画像処理装置。
10. 前記記録手段が前記撮像素子から出力された前記第１のデータ形式の画像データを記録する第１の記録モードと、前記記録手段が、前記第２の変換手段から出力された、前記画素数が削減された前記第１のデータ形式の画像データを記録する第２の記録モードとを有することを特徴とする請求項９に記載の画像処理装置。
11. 前記第１の記録モードにおいて、前記撮像素子から出力された前記画像データに対し、前記第１の変換手段が前記第１のデータ形式の画像データを前記第２のデータ形式の画像データに変換する処理、前記リサイズ手段による前記画素数の削減の処理、及び、前記第２の変換手段が前記第２のデータ形式の画像データを前記第１のデータ形式の画像データに変換する処理を行わないように制御する制御手段を有することを特徴とする請求項１０に記載の画像処理装置。
12. ユーザの指示に応じて前記リサイズ手段におけるリサイズ処理のための倍率を決定し、前記決定した倍率に従って前記第１の変換手段が出力する前記第２のデータ形式の画像データの画素数を削減するように前記リサイズ手段を制御する制御手段をさらに有し、
    前記制御手段は、前記第１の記録モードにおいて、前記撮像素子から出力された前記画像データに対し、前記リサイズ手段による前記画素数の削減を行わないように制御することを特徴とする請求項１０に記載の画像処理装置。
13. 前記第１の記録モードが静止画記録モードであり、前記第２の記録モードが動画記録モードであることを特徴とする請求項１０から請求項１２のいずれか１項に記載の画像処理装置。
14. ユーザの指示に応じて前記リサイズ手段におけるリサイズ処理のための倍率を決定し、前記決定した倍率に従って前記第１の変換手段が出力する前記第２のデータ形式の画像データの画素数を削減するように前記リサイズ手段を制御する制御手段をさらに有し、
    前記制御手段は、前記第２の記録モードにおいて、画素数が異なる複数の前記第２のデータ形式の画像データを記録するように、前記第１の変換手段、前記リサイズ手段、前記第２の変換手段、及び前記記録手段を制御することを特徴とする請求項１１に記載の画像処理装置。
15. それぞれが、予め定められた複数の色成分のうち１つの色成分の値を有する複数の画素データが所定の画素配列に従って配列された、第１のデータ形式の画像データを取得手段が取得する取得工程と、
    第１の変換手段が、前記取得工程において取得された前記第１のデータ形式の画像データを、前記画素データのそれぞれが前記複数の色成分の値を有する第２のデータ形式に変換する第１の変換工程と、
    リサイズ手段が、前記第１の変換工程で得られた前記第２のデータ形式の画像データの画素数を削減し、画素数が削減された前記第２のデータ形式の画像データを生成するリサイズ工程と、
    第２の変換手段が、前記リサイズ工程で得られた前記画素数が削減された前記第２のデータ形式の画像データを、前記第１のデータ形式に変換し、画素数が削減された前記第１のデータ形式の画像データを生成する第２の変換工程と、
    を有することを特徴とする画像処理装置の制御方法。
16. コンピュータを、請求項１から請求項１４のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images