JP4803304B2 - 画像処理装置及びプログラム - Google Patents

Description

本発明は、画像処理装置及びプログラムに関し、特に、原画像から芸術性の高い画像を得るための画像処理として、原画像全体を勘案して、芸術性の演出効果をより高める画像のデータを生成する画像処理を実現可能な技術に関する。

近年、撮像等により取得された画像を鑑賞する際の演出効果を高める目的で、原画像のデータに対して芸術性を高める加工を施す画像処理が実行されるようになっている。
例えば、特許文献１には、上述の目的を達成すべく、原画像についての輝度、彩度、色相の情報を画素単位で取得し、これらの情報を用いて、芸術性を高めるような画像（例えば水彩画や油彩画）のデータに変換する際の筆運びや色彩をシミュレートして描画する技術が開示されている。

特開平８−４４８６７号公報

しかしながら、特許文献１に記載の技術では、画素単位でシミュレートするために、画像全体を勘案して芸術性を高めるという点においては不足する点もあった。

本発明は、このような状況に鑑みてなされたものであり、原画像から芸術性の高い画像を得るための画像処理として、原画像全体を勘案して芸術性の演出効果をより高める画像のデータを生成する画像処理を実現可能にすることを目的とする。

上記目的達成のため、請求項１記載の発明は、画像のデータを入力する入力手段と、前記入力手段によって入力された前記画像のデータを、入力されたときの形態から、輝度成分を含む色空間の形態に変換する変換手段と、前記変換手段によって変換された前記画像のデータについて、前記色空間の成分毎に複数の画素のデータを選択する選択手段と、前記選択手段によって選択された前記複数の画素のデータについて、同一の筆運びパターンでその画素の色を用いたテクスチャ処理を施すテクスチャ処理手段と、前記変換手段によって変換された前記画像のデータのうち輝度の低い画素領域のデータについて、その画素の色を用いて、前記筆運びパターンの方向と略垂直方向の斜線表現からなるハッチング処理を施すハッチング処理手段と、前記テクスチャ処理手段により前記テクスチャ処理が施された前記画像のデータと、前記ハッチング処理手段により前記ハッチング処理が施された前記画像のデータとを合成する合成手段と、前記変換手段によって変換された前記画像のデータの輝度成分に基づいて、前記合成手段によって合成された前記画像のデータに対して輪郭強調処理を施す輪郭強調処理手段と、前記輪郭強調処理手段により前記輪郭強調処理が施された前記画像のデータの記憶を制御する記憶制御手段と、を備える。
また、請求項２記載の発明は上記請求項１記載の発明において、前記選択手段は、前記変換手段によって変換された前記画像のデータについて、当該画像中の任意の一行の画素列を選択する画素選択手段を含み、乱数を発生させて、前記画素選択手段により選択された前記画素列から前記複数の画素を選択する。
また、請求項３記載の発明は上記請求項１又は２記載の発明において、前記筆運びパターンとは、線状のパターンである。
また、請求項４記載の発明は上記請求項１乃至３記載の発明において、前記入力手段は、撮像手段を含む。

また、上記目的達成のため、請求項５記載の発明は、入力された画像のデータに対して画像処理を施すコンピュータに、入力された前記画像のデータを、入力されたときの形態から、輝度成分を含む色空間の形態に変換する変換機能と、前記変換機能の実現によって変換された前記画像のデータについて、前記色空間の成分毎に複数の画素のデータを選択する選択機能と、前記選択機能の実現によって選択された前記複数の画素のデータについて、同一の筆運びパターンでその画素の色を用いたテクスチャ処理を施すテクスチャ処理機能と、前記変換機能の実現によって変換された前記画像のデータのうち輝度の低い画素領域のデータについて、その画素の色を用いて、前記筆運びパターンの方向と略垂直方向の斜線表現からなるハッチング処理を施すハッチング処理機能と、前記テクスチャ処理機能の実現により前記テクスチャ処理が施された前記画像のデータと、前記ハッチング処理機能の実現により前記ハッチング処理が施された前記画像のデータとを合成する合成機能と、前記変換機能の実現によって変換された前記画像のデータの輝度成分に基づいて、前記合成機能の実現によって合成された前記画像のデータに対して輪郭強調処理を施す輪郭強調処理機能と、前記輪郭強調処理機能の実現により前記輪郭強調処理が施された前記画像のデータの記憶を制御する記憶制御機能と、を実現させる。

本発明によれば、原画像から芸術性の高い画像を得るための画像処理として、原画像全体を勘案して、芸術性の演出効果をより高める画像のデータを生成する画像処理を実現することができる。

本発明の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。 図１の撮像装置の機能的構成を示す機能ブロック図である。 図２の撮像装置が実行するパステル調画像生成処理の流れの一例を示すフローチャートである。 図３のパステル調画像生成処理のステップＳ４の処理結果の一例を示す図である。 図３のパステル調画像生成処理のステップＳ５の処理結果の一例を示す図である。 図３のパステル調画像生成処理のステップＳ６の処理で用いられる筆運びパターンの一例を示す図である。 図３のパステル調画像生成処理のステップＳ６の処理結果の一例を示す図である。 図３のパステル調画像生成処理のステップＳ１１の処理で、エッジ抽出画像を生成するために用いるソーベルフィルタの一例を示す図である。 図３のパステル調画像生成処理の結果として得られたパステル調画像の一例を示す図である。 図９のパステル調画像の一部の領域を拡大した図である。 図９のパステル調画像の一部であって、図１０とは別の領域を拡大した図である。

以下、本発明の一実施形態を図面に基づいて説明する。

図１は、本発明に係る画像処理装置の一実施形態としての撮像装置１のハードウェアの構成を示すブロック図である。撮像装置１は、例えばデジタルカメラにより構成することができる。

撮像装置１は、CPU（Central Processing Unit）１１と、ROM（Read Only Memory）１２と、RAM（Random Access Memory）１３と、バス１４と、入出力インターフェース１５と、撮像部１６と、操作部１７と、表示部１８と、記憶部１９と、通信部２０と、ドライブ２１と、を備えている。

CPU１１は、ROM１２に記録されているプログラムに従って各種の処理を実行する。又は、CPU１１は、記憶部１９からRAM１３にロードされたプログラムに従って各種の処理を実行する。
RAM１３にはまた、CPU１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

例えば本実施形態では、後述する図２の画像変換部５２乃至記憶制御部５９の各機能を実現するプログラムが、ROM１２や記憶部１９に記憶されている。従って、CPU１１が、これらのプログラムに従った処理を実行することで、後述する図２の画像変換部５２乃至記憶制御部５９の各機能を実現することができる。

CPU１１、ROM１２、及びRAM１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、撮像部１６、操作部１７、表示部１８、記憶部１９、及び通信部２０が接続されている。

撮像部１６は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。

光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。

イメージセンサは、光電変換素子や、AFE（Analog Front End）等から構成される。
光電変換素子は、例えばCMOS（Complementary Metal Oxide Semiconductor）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、一定時間毎に被写体像を光電変換（撮像）して画像信号を蓄積し、蓄積した画像信号をアナログ信号としてAFEに順次供給する。
AFEは、このアナログの画像信号に対して、A/D（Analog/Digital）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１６の出力信号として出力される。
なお、以下、撮像部１６の出力信号を、「撮像画像のデータ」と呼ぶ。従って、撮像部１６からは撮像画像のデータが出力されて、CPU１１等に適宜供給される。

操作部１７は、各種釦等で構成され、ユーザの指示操作を受け付ける。
表示部１８は、各種画像を表示する。
記憶部１９は、DRAM（Dynamic Random Access Memory）等で構成され、撮像部１６から出力された撮像画像のデータを一時記憶する。また、記憶部１９は、各種画像処理に必要な各種データ、例えば、画像のデータ、各種フラグの値、閾値等も記憶する。
通信部２０は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。

入出力インターフェース１５にはまた、必要に応じてドライブ２１が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなるリムーバブルメディア３１が適宜装着される。そして、それらから読み出されたプログラムが、必要に応じて記憶部１９にインストールされる。また、リムーバブルメディア３１は、記憶部１９に記憶されている画像データ等の各種データも、記憶部１９と同様に記憶することができる。

図２は、パステル調画像生成処理を実行するための撮像装置１の機能的構成を示す機能ブロック図である。
ここで、パステル調画像生成処理とは、画像処理の対象として入力された元の画像（以下、「原画像」と呼ぶ）のデータから、芸術性の高い画像の一種であるクレヨンやペン等で描いたような画像（以下、「パステル調画像」と呼ぶ）のデータを生成するまでの一連の処理をいう。

図２に示すように、撮像装置１は、パステル調画像生成処理を実現すべく、画像入力部５１と、画像変換部５２と、処理対象選択部５３と、テクスチャ処理部５４と、ハッチング処理部５５と、合成部５６と、輪郭強調処理部５７と、エッジ抽出画像生成部５８と、記憶制御部５９と、画像記憶部６０と、を備えている。

画像入力部５１は、本実施形態では、図１に示す構成のうち、撮像部１６、通信部２０、ドライブ２１等により構成され、原画像のデータを入力する。
即ち、本実施形態では、撮像部１６から出力された撮像画像のデータのみならず、他の装置から送信されて通信部２０に受信された画像のデータや、リムーバブルメディア３１からドライブ２１によって読み出された画像のデータ等も、原画像のデータとして画像入力部５１に入力される。

本実施形態ではまた、画像変換部５２乃至記憶制御部５９の各々は、図１に示す構成のうち、CPU１１というハードウェアと、ROM１２等に記憶されたプログラム（ソフトウェア）との組み合わせとして構成されている。
また、画像記憶部６０は、図１に示す構成のうち、撮像装置１のRAM１３若しくは記憶部１９、又はリムーバブルメディア３１内の一領域として構成されている。

画像変換部５２は、画像入力部５１に入力された原画像のデータを、入力されたときの形態から、輝度成分を含む色空間の形態に変換する処理を実行する。このような処理を、以下、「画像変換処理」と呼ぶ。
本実施形態の画像変換処理後の色空間としては、図２に示すように、いわゆるYUV空間が採用されている。即ち、本実施形態では、画像変換部５２による画像変換処理によって、輝度成分（以下、「Ｙ成分」と呼ぶ）、輝度成分と青色成分との色差分成分（以下、「Ｕ成分」と呼ぶ）、及び、輝度成分と赤色成分との色差分成分（以下、「Ｖ成分」と呼ぶ）から構成されるデータが得られる。
なお、以下、Ｙ成分、Ｕ成分、及びＶ成分をまとめたデータを、「YUV成分」と称する。

処理対象選択部５３は、画像変換部５２による画像変換処理後の原画像のデータについて、色空間の成分毎に、本実施形態ではYUV成分毎に、後述するテクスチャ処理の対象になる複数の画素のデータを選択する。

テクスチャ処理部５４は、処理対象選択部５３によって選択された複数の画素のデータについて、同一の筆運びパターンでその画素の色を用いたテクスチャ処理を施す。

ここで、「テクスチャ処理」とは、クレヨンやペン等の筆跡を模したテクスチャを画像に貼り付ける画像処理をいう。この「クレヨンやペン等の筆跡を模したテクスチャ」のパターンを、本明細書では、「筆運びパターン」と呼称している。
筆運びパターンとして採用されるテクスチャの形状や大きさ等は特に限定されない。ただし、本実施形態では、筆運びパターンとして、後述する図６に示すような線状のパターンが採用されており、上述の如く、当該筆運びパターン（同一の筆パターン）が各画素の各々に対するテクスチャ処理に用いられるものとする。
このようなテクスチャ処理が、YUV成分毎に選択された複数の画素のデータの各々に対して繰り返し実行されることによって、パステル調画像のデータが得られる。

ここで、上述の「画素の色を用いたテクスチャ処理」とは、画素の色そのもののテクスチャを貼り付ける処理のみならず、画素の色情報を用いて演算された色のテクスチャを貼り付ける処理も含んでいる。
即ち、本実施形態では、テクスチャの色は、テクスチャの輝度と、テクスチャを貼り付ける画素位置の画素の色情報（YUV成分のうち処理対象の成分の値）とを元に演算されて決定される。具体的には、本実施の形態では、テクスチャの密度を少なめにして、余白を残すことで、白い紙にクレヨンやペン等で描いたようなパステル調画像のデータが得られるものとする。このため、余白とテクスチャの色とのギャップを減らすために、テクスチャの色は、原画像の輝度を少し高くした色が採用される。

なお、筆運びパターンやテクスチャ処理のさらなる詳細については、図３のステップＳ３乃至Ｓ８の処理として、図４乃至図７等を用いて後述する。

このようにして、テクスチャ処理部５４から出力されるパステル調画像のデータでは未だ、明暗部の差がはっきりとしない画像のデータになっている場合がある。
そこで、ハッチング処理部５５は、YUV成分からなる画像のデータのうち輝度の低い（暗い）画素領域のデータについて、その画素の色を用いて、筆運びパターンの方向と略垂直方向の斜線表現からなる処理（以下、「ハッチング処理」と呼ぶ）を施す。
なお、ハッチング処理部５５の処理対象は、図２においてはテクスチャ処理部５４の出力データのように表現されているが、特に図２に示す例に限定されず、その他例えば画像変換部５２の出力データでもよい。

合成部５６は、ハッチング処理部５５から出力される画像のデータと、テクスチャ処理部５４から出力される画像のデータとを合成する処理（以下、「合成処理」と呼ぶ）を実行する。
合成処理部５６の出力データにより表現される画像（以下、「合成画像」と呼ぶ）は、輝度の低い画素領域において、ハッチングの上に略逆方向（筆運びパターンの方向と略垂直方向）の斜線が加えられているので、明暗部の違いがはっきりと表現された画像になる。

なお、ハッチング処理及び合成処理のさらなる詳細については、図３のステップＳ９及びＳ１０の処理として後述する。

輪郭強調処理部５７は、画像変換部５２から出力されたＹ成分に基づいて、合成部５６から出力された合成画像のデータに対して、輪郭（エッジ）を強調する画像処理（以下、「輪郭強調処理」と呼ぶ）を施す。
具体的には、エッジ抽出画像生成部５８は、画像変換部５２から出力されたＹ成分に基づいて、エッジ強度を画素値とする画像のデータを生成する。このようにして生成された画像のデータを、以下、「エッジ抽出画像のデータ」と呼ぶ。
輪郭強調処理部５７は、このようにしてエッジ抽出画像生成部５８により生成されたエッジ抽出画像のデータのうち、エッジ強度が高い画素値を有する領域をエッジ（輪郭）領域として、合成部５６から出力された合成画像のＹ成分におけるエッジ領域に対して、輪郭強調処理を施す。
なお、エッジ抽出画像のデータの生成手法も含めた輪郭強調処理のさらなる詳細については、図３のステップＳ１１の処理として、図１１等を用いて後述する。

記憶制御部５９は、輪郭強調処理部５７により輪郭強調処理が施された画像のデータを、画像記憶部６０に記憶する制御処理（以下、「画像記憶処理」と呼ぶ）を実行する。

次に、このような機能的構成を有する撮像装置１が実行するパステル調画像生成処理について説明する。

図３は、パステル調画像生成処理の流れの一例を示すフローチャートである。

ステップＳ１において、画像入力部５１は、原画像のデータが入力されたか否かを判定する。
原画像のデータが入力されていない場合、ステップＳ１においてＮＯであると判定されて、再度ステップＳ１の判定処理が実行される。即ち、原画像のデータが入力されるまで、ステップＳ１の判定処理が繰り返されて、パステル調画像生成処理は待機状態になる。
その後、原画像のデータが画像入力部５１に入力されると、ステップＳ１においてＹＥＳであると判定されて、処理はステップＳ２に進む。

ステップＳ２において、画像変換部５２は、画像入力部５１に入力された原画像のデータに対する画像変換処理を実行する。
これにより、本実施形態では、上述したように、原画像のYUV成分が得られ、処理対象選択部５３に供給される。

ステップＳ３において、処理対象選択部５３は、原画像のYUV成分のうちの所定の１成分を、処理対象の成分として選択する。

ステップＳ４において、処理対象選択部５３は、処理対象の成分の画像を構成する複数のライン（行）の中から任意のラインを、処理対象のラインとして選択する。
ステップＳ５において、処理対象選択部５３は、処理対象のラインから、処理対象の画素を複数選択する。

具体的には、処理対象選択部５３は、図示はしないが、処理対象の成分について、当該成分の画像中の任意の一行の画素列を選択する画素選択部を含んでいる。当該画素選択部によりステップＳ４の処理が実行される。
次に、処理対象選択部５３は、ステップＳ５の処理として、例えば乱数を発生させて、画素選択部により選択された画素列から、複数の画素を処理対象の画素として選択する。

処理対象選択部５３による選択結果がテクスチャ処理部５４に通知されると、処理はステップＳ６に進む。
ステップＳ６において、テクスチャ処理部５４は、処理対象として選択された複数の画素に基づいて、上述したテクスチャ処理を実行する。

さらに以下、図４乃至図７を参照して、ステップＳ４乃至Ｓ６の処理について具体的に説明する。

図４は、ステップＳ４の処理結果の一例を示す図である。
図５は、ステップＳ５の処理結果の一例を示す図である。
図６は、ステップＳ６の処理で用いられる筆運びパターンの一例を示す図である。
図７は、ステップＳ６の処理結果の一例を示す図である。
図４、図５、及び図７には、ステップＳ３の処理で選択された成分の画像のうちの一領域（同一領域）が示されている。
図４乃至図７において、１つの正方形は１つの画素を示している。

本例では、図４の白抜き矢印に示すように、ステップＳ４の処理で、図４の描画範囲内のうち上から４行目のラインが、処理対象のラインとして選択される。
図５に示すように、ステップＳ５の処理で、当該処理対象のラインを構成する画素列の中から、４つの画素Ｐ１乃至Ｐ４が、処理対象の画素として選択される。
図７に示すように、ステップＳ７の処理で、４つの画素Ｐ１乃至Ｐ４の各画素位置において、図６に示す筆運びパターンであって、４つの画素Ｐ１乃至Ｐ４の各画素値（ステップＳ３の処理で選択された処理対象の成分の各値）に基づいて演算された４つの色の各々を有するテクスチャＴ１乃至Ｔ４がそれぞれ貼り付けられる。

図３に戻り、処理対象の成分から任意に選択されたラインについて、ステップＳ４乃至Ｓ６の処理が実行されると、処理はステップＳ７に進む。
ステップＳ７において、テクスチャ処理部５４は、処理対象の成分全体のテクスチャ処理が終了したか否かを判定する。

ステップＳ７の判定処理は特に限定されず、例えば、処理対象の成分全体の全ラインに対してステップＳ４乃至Ｓ６の処理が実行されたこと、という判定条件を採用することができる。
ただし、本実施形態では、上述の如く、テクスチャの密度を少なめにして、余白を残すことで、白い紙にクレヨンやペン等で描いたようなパステル調画像のデータを生成することにしている。このようなデータを生成するためには、処理対象の成分全体の全ラインに対してステップＳ４乃至Ｓ６の処理が実行されると、テクスチャの密度が濃すぎる結果になる可能性もある。従って、テクスチャの密度を適当にするためには、ある程度の数のラインに対してステップＳ４乃至Ｓ６の処理を実行すれば足りる。
そこで、本実施形態のステップＳ７の判定条件としては、この「ある程度の数」が閾値として予め定義されており、ステップＳ４乃至Ｓ６の処理の繰り返し回数が閾値を超えたこと、という判定条件が採用されているものとする。

従って、処理対象の成分について、ステップＳ４乃至Ｓ６の処理の繰り返し回数が閾値を超えていない場合、ステップＳ７においてＮＯであると判定されて、処理はステップＳ４に戻され、それ以降の処理が繰り返される。
即ち、処理対象の成分について、ステップＳ４乃至Ｓ６の処理の繰り返し回数が閾値を超えるまでの間、ステップＳ４乃至Ｓ７ＮＯのループ処理が繰り返され、その都度、任意のラインが処理対象のラインに選択されて、処理対象の複数の画素が選択され、当該複数の画素の各々に基づくテクスチャ処理がそれぞれ実行される。
その後、処理対象の成分について、ステップＳ４乃至Ｓ６の処理の繰り返し回数が閾値を超えると、ステップＳ７においてＹＥＳであると判定されて、処理はステップＳ８に進む。

ステップＳ８において、テクスチャ処理部５４は、YUV成分の全てのテクスチャ処理を終了したか否かを判定する。
YUV成分の中に未だ処理対象として選択されていない成分が存在する場合、ステップＳ８においてＮＯであると判定されて、処理はステップＳ３に戻され、それ以降の処理が繰り返される。
即ち、ステップＳ３の処理で、YUV成分のうち処理対象となっていない一成分が、次の処理対象の成分に選択される。そして、次の処理対象の成分について、ステップＳ４乃至Ｓ７ＮＯのループ処理が繰り返され、その都度、任意のラインが処理対象のラインに選択されて、処理対象の複数の画素が選択され、当該複数の画素の各々に基づくテクスチャ処理がそれぞれ実行される。
以上の処理がYUV成分の全ての成分に対して実行されると、ステップＳ８においてＹＥＳであると判定されて、処理はステップＳ９に進む。

このように、本実施形態では、YUV成分毎に、処理対象のラインが設定され、別々の乱数が用いられて処理対象の複数の画素が選択され、当該複数の画素の各々に基づくテクスチャ処理がそれぞれ実行される。
従って、ステップＳ８においてＹＥＳであると判定された時点で得られているパステル調画像のデータにおいては、例えば、U成分に基づく着色のみが施されたテクスチャが存在する領域や、逆に、U成分に基づく着色がなされていない領域が存在する場合がある。同様に、V成分に基づく着色のみが施されたテクスチャが存在する領域や、逆に、V成分に基づく着色がなされていない領域が存在する場合がある。
このようなパステル調画像は、テクスチャの色をランダムに変えながら貼り付けていった様子がユーザの目に映るように表現される。

ただし、ステップＳ８においてＹＥＳであると判定された時点で得られているパステル調画像のデータでは、上述の如く、明暗部の差がはっきりとしない画像のデータになっている場合がある。
そこで、ステップＳ８においてＹＥＳであると判定された場合には、ステップＳ９において、ハッチング処理部５５は、YUV成分からなる画像のデータのうち輝度の低い画素領域のデータについて、その画素の色を用いて、筆運びパターンの方向と略垂直方向の斜線表現からなるハッチング処理を施す。
そして、ステップＳ１０において、合成部５６は、ステップＳ８においてＹＥＳであると判定された時点で得られているパステル調画像の画像データに対して、ステップＳ９の処理でハッチング処理が施された画像（輝度の低い画素領域が、テクスチャと略逆方向の斜線となっている画像）のデータを合成する合成処理を実行する。

このように、ステップＳ９及びＳ１０の処理とは、パステル調画像の明暗部の違いをはっきりと表現するために、暗い部分と判断できる部分（輝度の低い部分）に対して、テクスチャとは略反対方向に斜線を加える処理であると把握することができる。
このようなステップＳ９及びＳ１０の処理を実行することで、絵の技法の１つである「ハッチング」に近い効果が得られる。
具体的には、ステップＳ９及びＳ１０の処理として、輝度値が閾値以下となる領域のデータに対して、斜線のレイヤとアルファブレンディングとの画像処理が施される。
ここで、斜線部は黒では無く、斜線部を構成する各画素の色は、原画像における同一画素位置の画素の色そのものが用いられる。これにより、輝度値が閾値以下となる領域は、他のテクスチャが貼り付けられた領域よりも相対的に暗くなり、かつ、ユーザの目には自然に映るように表現される。

このようにして、ステップＳ９及びＳ１０の処理が実行されて、上述したような合成画像のデータが得られると、処理はステップＳ１１に進む。
ステップＳ１１において、輪郭強調処理部５７は、ステップＳ２の画像変換処理後の原画像のＹ成分に基づいて、合成画像のデータに対して輪郭強調処理を施す。

ここで、輪郭強調処理について、さらに詳しく説明する。

上述したように、本実施形態では、輪郭強調処理を実行するために、エッジ抽出画像生成部５８によってエッジ抽出画像のデータが生成される。
エッジ抽出画像のデータの生成手法は、特に限定されないが、本実施形態では、図８に示すようなソーベルフィルタを用いてエッジ抽出画像のデータを生成する手法が採用されている。
以下、本実施形態のエッジ抽出画像の生成手法についてさらに詳しく説明する。

図８は、水平方向画素数×垂直方向画素数＝３×３のソーベルフィルタの一例を示す図である。具体的には、図８（Ａ）は、垂直成分抽出用ソーベルフィルタの一例を示す図である。図８（Ｂ）は、水平成分抽出用ソーベルフィルタの一例を示す図である。

エッジ抽出画像生成部５８は、画像変換部５２から出力されたＹ成分に対応する原画像を構成する各画素の中から、処理の対象として注目すべき注目画素を設定する。
エッジ抽出画像生成部５８は、注目画素のデータ（Ｙ成分値）に対して、図８（Ａ）に示す垂直成分抽出用ソーベルフィルタ及び図８（Ｂ）に示す水平成分抽出用ソーベルフィルタの各々をかける。

なお、注目画素のデータ（Ｙ成分値）に対して図８（Ａ）に示す垂直成分抽出用ソーベルフィルタがかけられた結果得られる値を、以下「垂直ソーベル値」と呼ぶ。この垂直ソーベル値が大きいほど、注目画素の垂直方向のエッジ強度が高いことを示す。
また、注目画素のデータ（Ｙ成分値）に対して図８（Ｂ）に示す水平成分抽出用ソーベルフィルタがかけられた結果得られる値を、以下「水平ソーベル値」と呼ぶ。この水平ソーベル値が大きいほど、注目画素の水平方向のエッジ強度が高いことを示す。

このようにして、注目画素の垂直ソーベル値及び水平ソーベル値が求められると、次のようにして、エッジ抽出画像における注目画素の画素値（注目画素のエッジ強度を示す値）が求められる。
即ち、エッジ抽出画像生成部５８は、次の式（１）を演算することで、注目画素の画素値を求める。
エッジ抽出画像の注目画素の画素値
＝（垂直ソーベル値の絶対値＋水平ソーベル値の絶対値）／２ ・・・（１）
式（１）で示される画素値が大きいほど、注目画素のエッジ強度が高いこと、即ち注目画素がエッジの部分である可能性が高いことを示す。

エッジ抽出画像生成部５８は、原画像のＹ成分を構成する各画素のデータを注目画素のデータに順次設定して、上述した処理を繰り返すことで、エッジ抽出画像のデータを生成する。

輪郭強調処理部５７は、このようにしてエッジ抽出画像生成部５８により生成されたエッジ抽出画像のデータのうち、大きな画素値を有する領域（エッジ強度が高い領域）をエッジ（輪郭）領域として、合成部５６から出力された合成画像のＹ成分におけるエッジ領域に対して輪郭強調処理を施す。
これにより、図３のステップＳ１１の処理は終了して、処理はステップＳ１２に進む。

ステップＳ１２において、記憶制御部５９は、ステップＳ１１の処理で輪郭強調処理が施されたパステル調画像のデータを、画像記憶部６０に記憶する画像記憶処理を実行する。
これにより、パステル調画像生成処理は終了となる。

図９は、パステル調画像生成処理の結果として得られたパステル調画像の一例を示す図である。
図１０は、図９のパステル調画像の一部の領域を拡大した図である。
図１１は、図９のパステル調画像の一部であって、図１０とは別の領域を拡大した図である。

自動車を被写体として含む原画像（図示せず）のデータに対して、図３のパステル調画像生成処理が施されると、図９に示すパステル調画像８１のデータが生成されて、画像記憶部６０（図２）に記憶される。

パステル調画像８１のうち、輝度が高い領域、例えば自動車のボンネットのうち直射日光が当たって明るい領域９１は、図１０の拡大図のうち楕円の範囲内に特に表れているように、左斜め下の斜線状のテクスチャで表現されており、当該テクスチャとは略反対方向の斜線は存在しないことがわかる。
一方、パステル調画像８１のうち、輝度が暗い領域、例えば自動車のドアの下側の影があって暗い領域９２は、図１１の拡大図の楕円の範囲内に特に表れているように、左斜め下の斜線状のテクスチャと共に、当該テクスチャとは略反対方向の右斜め下の暗い斜線が表現されていることがわかる。

このように、本実施形態のパステル調画像生成処理を実行することで、原画像全体の明暗を勘案して、芸術性の演出効果がより高められたパステル調画像８１等のデータを生成することが可能になる。

なお、本発明は前記実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

例えば、図２の処理対象選択部５３、テクスチャ処理部５４、ハッチング処理部５５、及び合成部５６の処理対象として、前記実施形態では、原画像と同一サイズのデータが採用されていたが、特にこれに限定されない。
具体的には例えば、撮像装置１のRAM１３等のメモリ容量が限られており、サイズの大きいテクスチャを扱うことが困難である一方、クレヨンやペンで描いた様子を表現するために、一定以上のサイズのテクスチャを取り扱う必要がある場合が存在する。
このような場合には、画像変換部５２から出力されたYUV成分に対して縮小処理を施し、その結果得られる縮小画像のデータを処理対象選択部５３に供給してもよい。ただし、この場合には、合成部５６の出力データに対して拡大処理を施すことによって、画像サイズを原画像のサイズに戻す必要がある。

また例えば、エッジ抽出画像生成部５８によるエッジ抽出画像のデータの生成手法は、前記実施形態では、精度を高めるために、画像変換部５２から出力されたＹ成分に対してソーベルフィルタをかける手法が採用されていたが、特にこれに限定されない。
具体的には例えば、画像変換部５２から出力されたＹ成分に対して、LPF（Low Pass Filter：ローパスフィルタ）をかけ、当該LPFがかけられたデータに対して、ソーベルフィルタをかけることによって、エッジ抽出画像のデータを生成する手法を採用してもよい。
また例えば、高速化が必要な場合、画像変換部５２から出力されたＹ成分、又はそれにLPFがかけられたデータに対して、ラプラシアンフィルタ等、ソーベルフィルタ以外の任意のフィルタをかけることによって、エッジ抽出画像のデータを生成する手法を採用してもよい。

また例えば、上述した実施形態では、本発明が適用される画像処理装置は、デジタルカメラ等の撮像装置として構成される例として説明した。しかしながら、本発明は、撮像装置に特に限定されず、撮像機能の有無を問わず、上述の画像処理を実行可能な電子機器一般に適用することができる。具体的には例えば、本発明は、パーソナルコンピュータ、ビデオカメラ、携帯型ナビゲーション装置、ポータブルゲーム機等に適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディアは、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、CD-ROM（Compact Disk-Read Only Memory），DVD（Digital Versatile Disk）等により構成される。光磁気ディスクは、MD（Mini-Disk）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のROM１２や、図１の記憶部１９に含まれるハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。

１・・・撮像装置、１１・・・CPU、１２・・・ROM、１３・・・RAM、１６・・・撮像部、１７・・・操作部、１８・・・表示部、１９・・・記憶部、２０・・・通信部、２１・・・ドライブ、３１・・・リムーバブルメディア、５１・・・画像入力部、５２・・・画像変換部、５３・・・処理対象選択部、５４・・・テクスチャ処理部、５５・・・ハッチング処理部、５６・・・合成部、５７・・・輪郭強調処理部、５８・・・エッジ抽出画像生成部、５９・・・記憶制御部、６０・・・画像記憶部

Claims (5)

1. 画像のデータを入力する入力手段と、
   前記入力手段によって入力された前記画像のデータを、入力されたときの形態から、輝度成分を含む色空間の形態に変換する変換手段と、
   前記変換手段によって変換された前記画像のデータについて、前記色空間の成分毎に複数の画素のデータを選択する選択手段と、
   前記選択手段によって選択された前記複数の画素のデータについて、同一の筆運びパターンでその画素の色を用いたテクスチャ処理を施すテクスチャ処理手段と、
   前記変換手段によって変換された前記画像のデータのうち輝度の低い画素領域のデータについて、その画素の色を用いて、前記筆運びパターンの方向と略垂直方向の斜線表現からなるハッチング処理を施すハッチング処理手段と、
   前記テクスチャ処理手段により前記テクスチャ処理が施された前記画像のデータと、前記ハッチング処理手段により前記ハッチング処理が施された前記画像のデータとを合成する合成手段と、
   前記変換手段によって変換された前記画像のデータの輝度成分に基づいて、前記合成手段によって合成された前記画像のデータに対して輪郭強調処理を施す輪郭強調処理手段と、
   前記輪郭強調処理手段により前記輪郭強調処理が施された前記画像のデータの記憶を制御する記憶制御手段と、
   を備えることを特徴とする画像処理装置。
2. 前記選択手段は、
   前記変換手段によって変換された前記画像のデータについて、当該画像中の任意の一行の画素列を選択する画素選択手段を含み、
   乱数を発生させて、前記画素選択手段により選択された前記画素列から前記複数の画素を選択することを特徴とする、
   請求項１に記載の画像処理装置。
3. 前記筆運びパターンとは、線状のパターンであることを特徴とする、
   請求項１又は２に記載の画像処理装置。
4. 前記入力手段は、撮像手段を含むことを特徴とする、
   請求項１乃至３の何れか１項に記載の画像処理装置。
5. 入力された画像のデータに対して画像処理を施すコンピュータに、
   入力された前記画像のデータを、入力されたときの形態から、輝度成分を含む色空間の形態に変換する変換機能と、
   前記変換機能の実現によって変換された前記画像のデータについて、前記色空間の成分毎に複数の画素のデータを選択する選択機能と、
   前記選択機能の実現によって選択された前記複数の画素のデータについて、同一の筆運びパターンでその画素の色を用いたテクスチャ処理を施すテクスチャ処理機能と、
   前記変換機能の実現によって変換された前記画像のデータのうち輝度の低い画素領域のデータについて、その画素の色を用いて、前記筆運びパターンの方向と略垂直方向の斜線表現からなるハッチング処理を施すハッチング処理機能と、
   前記テクスチャ処理機能の実現により前記テクスチャ処理が施された前記画像のデータと、前記ハッチング処理機能の実現により前記ハッチング処理が施された前記画像のデータとを合成する合成機能と、
   前記変換機能の実現によって変換された前記画像のデータの輝度成分に基づいて、前記合成機能の実現によって合成された前記画像のデータに対して輪郭強調処理を施す輪郭強調処理機能と、
   前記輪郭強調処理機能の実現により前記輪郭強調処理が施された前記画像のデータの記憶を制御する記憶制御機能と、
   を実現させるためのプログラム。