JP5310803B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

従来より、ユーザが指定した写真画像のデータを水彩画、油彩画、色鉛筆画、パステル画等の絵画調の画像（以下、「絵画調画像」と呼ぶ）のデータに変換する画像処理が知られている。この画像処理における変換時間は、数分間を要する場合もあった。このため、変換している間には、表示画面に「しばらくおまちください。」や「砂時計」等を表示し、変換処理中であることをユーザに示していた。ところが、写真画像のデータサイズが大きい場合等は絵画調画像に変換されるまでの待ち時間が長くなり、ユーザに不満が残ると言う問題点があった。また、長い時間待って、やっと絵画調画像のデータに変換された場合であっても、ユーザにとっては、全て機械任せであるため、この絵画調画像に愛着を得ることができないと言った問題点があった。

このような問題点に鑑み、原画像を縦方向の境界線を境に２分割し、２分割した一方の部分領域を、画像処理後の画像に置き換えて全体画像を表示する技術がある（例えば、特許文献１参照）。この技術によれば、原画像の部分領域のデータのみを画像処理するので、原画像の全領域のデータを画像処理する場合に比べ、画像処理に要する時間を短縮できる。

特開２００６−３６０３号公報

しかしながら、特許文献１の技術では、原画像を縦方向の境界線を堺に分割したデータを画像処理の対象にするので、原画像が縦方向の境界線を堺に処理済み画像となり、画像全体として違和感があった。
本発明は、このような状況に鑑みてなされたものであり、絵画調に変換する画像処理に要する時間を短縮するとともに、特定の被写体のみを絵画調にすることで、鮮明な写真画像と感性が入った絵画調画像とが融合し、両者単独の画像では味わえない特別な味わいをユーザに覚えさせることを目的とする。

上記目的を達成するため、本発明の一態様の画像処理装置は、
取得された画像の中から、所定の範囲の画像を規定する選択範囲設定手段と、
前記選択範囲設定手段が規定した前記所定の範囲の画像から輪郭線を抽出する輪郭線抽出手段と、
前記輪郭線抽出手段が抽出した輪郭線により形成された閉曲線を選択する閉曲線選択手段と、
前記選択範囲設定手段で規定した画像の範囲が、前記輪郭線抽出手段が抽出した輪郭線より大きいか否かを判定する選択範囲判定手段と、
前記閉曲線選択手段により選択された前記閉曲線で囲まれた部分の画像を絵画変換する絵画変換手段と、を備え、
前記選択範囲判定手段は、前記選択範囲設定手段で規定した画像の範囲が、前記輪郭線抽出手段が抽出した輪郭線より小さいと判定されると、前記輪郭線が含まれるまで前記所定の範囲の画像を拡大することを特徴とする。

本発明によれば、絵画調に変換する画像処理に要する時間を短縮するとともに、特定の被写体のみを絵画調にすることで、鮮明な写真画像と感性が入った絵画調画像とが融合し、両者単独の画像では味わえない特別な味わいをユーザに覚えさせることができる。

本発明の実施形態に係る画像処理装置における画像処理の概要を説明する図である。（ａ）は、本実施形態の画像処理装置の出力部に表示された写真画像を示している。（ｂ）は、本実施形態の画像処理装置の出力部に表示された絵画調画像を示している。 本発明の実施形態に係る画像処理装置のハードウェアの構成を示すブロック図である。 本実施形態に係る画像処理装置のＣＰＵが実行する絵画調変換処理の流れを説明するフローチャートである。 本実施形態に係る画像処理装置のＣＰＵが実行する絵画調変換処理の流れを説明するフローチャートである。 本実施形態に係る画像処理装置のＣＰＵが実行する絵画調変換処理の流れを説明するフローチャートである。 本実施形態に係る画像処理装置のＣＰＵが実行する絵画調変換処理の流れを説明するフローチャートである。 本実施形態の応用例の画像処理装置と本実施形態の画像処理装置とで相違する機能の概要を説明する図である。（ａ）及び（ｂ）は、本実施形態の応用例の画像処理装置の出力部に表示された写真画像を示している。 本実施形態の応用例に係る画像処理装置のＣＰＵが実行する絵画調変換処理の流れを説明するフローチャートである。 本実施形態の応用例に係る画像処理装置のＣＰＵが実行する絵画調変換処理の流れを説明するフローチャートである。

以下、図面に基づいて、本発明の実施形態に係る画像処理装置を説明する。
まず、本実施形態の理解を容易にするため、本実施形態に係る画像処理装置の概要を説明する。
図１は、本発明の実施形態に係る画像処理装置１における画像処理の概要を説明する図である。
本実施形態に係る画像処理装置１は、例えば、デジタルフォトフレーム（Ｄｉｇｉｔａｌ Ｐｈｏｔｏ Ｆｒａｍｅ）として構成される。
画像処理装置１は、絵画変換モードにおいて、写真画像の画像データを絵画調画像に変換する。
ここで、本実施形態において、「絵画変換モード」とは、画像処理装置１が有する機能の１つであり、ユーザの操作に基づき写真画像の画像データの一部を絵画調画像に変換して、当該絵画調画像を表示するモードである。また、画像処理装置１における絵画変換モード以外の他のモードとしては、例えば、記憶されている画像データを順次表示対象に切り替えて、表示対象の画像をスライドショー表示する通常モード等がある。
また、「写真画像」とは、例えば、デジタルカメラにより構成される撮像装置で撮影されて生成された画像データにより表現される画像である。また、「絵画調画像」とは、例えば、画像処理装置において写真画像の画像データの少なくとも一部に対し絵画調変換処理が施され、その結果得られる画像データにより表現される画像である。
図１（ａ）は、本実施形態の画像処理装置の出力部に表示された写真画像１００を示している。
図１（ｂ）は、本実施形態の画像処理装置の出力部に表示された絵画調画像２００を示している。

画像処理装置１は、出力部と入力部とを兼ねたタッチパネルを備え、このタッチパネルに画像を表示するとともに、このタッチパネルに対して、ユーザの指やタッチペン等を接触又は近接する操作（以下、「タッチ操作」とも呼ぶ）を受け付ける。
図１（ａ）に示すように、画像処理装置１は、出力部に表示された写真画像１００のうち、特定の被写体１１０に対してタッチ操作がなされると、タッチ操作がなされた領域を中心として円形状に形成された円エリア１２０を設定し表示する。
そして、画像処理装置１は、円エリア１２０内において、画像の輪郭線を抽出し、この輪郭線により形成された閉曲線を、ユーザにより選択された特定の被写体１１０であると認識する。そして、画像処理装置１は、閉曲線で囲まれた部分の画像データに対してのみ絵画変換を施し、その結果得られる画像データにより表現される画像、即ち、図１（ｂ）に示すように、特定の被写体１１０のみが絵画変換された絵画調画像２００を出力部に表示する。

図２は、本発明の実施形態に係る画像処理装置１のハードウェアの構成を示すブロック図である。
画像処理装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、画像処理部１４と、バス１５と、入出力インターフェース１６と、出力部１７と、入力部１８と、記憶部１９と、ドライブ２０と、を備えている。

ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部１９からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。

ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

画像処理部１４は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）や、ＶＲＡＭ（Ｖｉｄｅｏ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等から構成されており、ＣＰＵ１１と協働して、画像のデータに対して各種画像処理を施す。
例えば、画像処理部１４は、記憶部１９に記憶されている画像のデータに対して、ノイズ低減、色合いの調整、絵画変換等の画像処理を施す。

ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３及び画像処理部１４は、バス１５を介して相互に接続されている。このバス１５にはまた、入出力インターフェース１６も接続されている。入出力インターフェース１６には、出力部１７、入力部１８、記憶部１９及びドライブ２０が接続されている。

出力部１７は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
入力部１８は、各種釦等で構成され、ユーザの指示操作に応じて各種情報を入力する。
なお、本実施形態において、出力部１７及び入力部１８は、ディスプレイ上にタッチセンサが重畳的に配置されるタッチパネル式の液晶ディスプレイにより構成される。

記憶部１９は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）により構成され、絵画調変換処理を行う写真画像や、絵画調変換処理を行った絵画調画像や、スライドショー表示用の画像等の各種画像データを画像ファイルとして記憶する。即ち、記憶部１９は、画像ファイルの記録用のメモリのうち、内蔵メモリとして機能する。

ドライブ２０には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２０によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部１９にインストールされる。また、リムーバブルメディア３１は、記憶部１９に記憶されている画像ファイル等の各種データも、記憶部１９と同様に記憶することができる。即ち、リムーバブルメディア３１は、内蔵メモリとしての記憶部１９に対して提供するための、新たな画像ファイルを記憶する画像提供媒体として機能する。

次に、図３から図６を参照して、本実施形態に係る画像処理装置１のＣＰＵ１１が実行する絵画調変換処理について説明する。
図３から図６は、本実施形態に係る画像処理装置１のＣＰＵ１１が実行する絵画調変換処理の流れを説明するフローチャートである。
まず、図３を参照して、ステップＳ１からステップＳ８の処理を説明する。
ステップＳ１において、ＣＰＵ１１は、画像処理装置１の電源がオン状態になった後、出力部１７に画像を表示するために必要な各種のパラメータを読み込む。

ステップＳ２において、ＣＰＵ１１は、記憶部１９に記憶された写真画像の画像データを取得する。即ち、ステップＳ２の処理を実行するＣＰＵ１１は、画像データを取得する取得手段として機能する。
ステップＳ３において、ＣＰＵ１１は、ステップＳ２で取得した画像データにより表わされる写真画像を出力部１７に表示する。

ステップＳ４において、ＣＰＵ１１は、画像処理装置１が絵画変換モードであるか否かを判定し、絵画変換モードであると判定した場合はステップＳ５に処理を移し、絵画変換モードでないと判定した場合はステップＳ２に処理を戻す。

ステップＳ５において、ＣＰＵ１１は、入力部１８においてユーザによるタッチ操作がなされたか否かを判定し、タッチ操作がなされたと判定した場合はステップＳ６に処理を移し、タッチ操作がなされていないと判定した場合はステップＳ９（図４参照）に処理を移す。

本処理における「タッチ操作」には、例えば、選択タッチ操作と、拡大タッチ操作と、縮小タッチ操作とが含まれる。
選択タッチ操作とは、図１（ａ）に示すように、入力部１８に表示された写真画像の特定の領域をユーザが１本の指先でタッチするタッチ操作を言う。
拡大タッチ操作とは、入力部１８に表示された円エリア１２０（図１参照）に対し、ユーザが２本の指先をタッチし互いに離れる方向にスライドするタッチ操作を言う。
縮小タッチ操作とは、入力部１８に表示された円エリア１２０（図１参照）に対し、ユーザが２本の指先をタッチし互いに近接する方向にスライドするタッチ操作を言う。

ステップＳ６において、ＣＰＵ１１は、記憶部１９に記憶されたフラグが０であるか否かを判定し、フラグが０であると判定した場合はステップＳ７に処理を移し、フラグが０ではないと判定した場合はステップＳ１７（図５参照）に処理を移す。本実施形態における「フラグ」は、ＣＰＵ１１が、写真画像の画像データに対し、円エリア１２０（図１参照）を設定しているか否かを示すフラグである。具体的には、ＣＰＵ１１は、フラグが０であれば円エリア１２０が設定されていないと判定し、フラグが例えば１であれば円エリア１２０が設定されていると判定する。

ステップＳ７において、ＣＰＵ１１は、ステップＳ２で取得した写真画像の画像データに対し、ステップＳ５でタッチ操作がなされた特定の領域を中心とした所定の範囲を規定する円エリア１２０（図１参照）を設定し、表示する。ここで、「所定の範囲」は、初期状態では特定の領域を中心として、予め設定された半径で規定される円で囲まれる範囲であり、その後、ユーザの操作やＣＰＵ１１が実行する処理により拡大又は縮小される。即ち、ステップＳ７の処理を実行するＣＰＵ１１は、取得手段により取得された画像データについて、所定の範囲を規定する選択範囲設定手段として機能する。また、本実施形態において、ＣＰＵ１１は、ステップＳ６の判定において、フラグが０であれば、ステップＳ５で判定したタッチ操作が選択タッチ操作であるとして、円エリアを設定する。一方、ＣＰＵ１１は、ステップＳ６の判定において、フラグが１であれば、ステップＳ５で判定したタッチ操作が拡大タッチ操作又は縮小タッチ操作であると判定する。

ステップＳ８において、ＣＰＵ１１は、記憶部１９に記憶されたフラグに１をセットする。これにより、ＣＰＵ１１は、以降の処理において、円エリア１２０が設定されていると判定する。

次に、図４を参照して、ステップＳ９からステップＳ１６の処理を説明する。
ステップＳ９において、ＣＰＵ１１は、画像処理装置１が絵画変換モードから他のモードへ変更されたか否かを判定し、変更されたと判定した場合はステップＳ１０に処理を移し、変更されていないと判定した場合はステップＳ１１に処理を移す。ここで、本実施形態において「他のモード」とは、例えば、記憶部１９に記憶されている画像データにより表現される画像を順次切り替えてスライドショー表示する通常モード等である。
ステップＳ１０において、ＣＰＵ１１は、画像処理装置１のモードをステップＳ９で判定した変更後のモードに移行させる。

ステップＳ１１において、ＣＰＵ１１は、記憶部１９に記憶されたフラグに１がセットされているか否かを判定し、フラグに１がセットされていると判定した場合はステップＳ１２に処理を移し、フラグに１がセットされていないと判定した場合はステップＳ４（図３参照）に処理を戻す。

ステップＳ１２において、ＣＰＵ１１は、ユーザの選択操作により全クリアが選択されているか否かを判定し、全クリアが選択されていると判定した場合はステップＳ１３に処理を移し、全クリアが選択されていないと判定した場合はステップＳ１４に処理を移す。ここで、本実施形態において「全クリア」には、ステップＳ３で出力部１７に表示した写真画像のクリアとステップＳ７で設定した円エリアのクリアが含まれる。

ステップＳ１３において、ＣＰＵ１１は、ステップＳ３で出力部１７に表示した写真画像をクリアし、ステップＳ２に処理を戻す。また、ＣＰＵ１１は、写真画像のクリアにともない、ステップＳ７で設定した円エリアもクリアする。

ステップＳ１４において、ＣＰＵ１１は、ユーザの選択操作により、ステップＳ３で出力部１７に表示した写真画像をクリアせずに、ステップＳ７で設定した円エリアのみクリアが選択されているか否かを判定する。ＣＰＵ１１は、円エリアのみクリアが選択されていると判定した場合はステップＳ１５に処理を移し、円エリアのみクリアが選択されていないと判定した場合はステップＳ２１（図６参照）に処理を移す。

ステップＳ１５において、ＣＰＵ１１は、ステップＳ７で設定した円エリアをクリアする。
ステップＳ１６において、ＣＰＵ１１は、記憶部１９に記憶されたフラグに０をセットする。これにより、ＣＰＵ１１は、以降の処理において、円エリア１２０が設定されていないと判定する。ＣＰＵ１１は、本処理の後、ステップＳ４（図３参照）に処理を戻す。

次に、図５を参照して、ステップＳ１７からステップＳ２０の処理を説明する。
ステップＳ１７において、ＣＰＵ１１は、入力部１８においてユーザによる拡大タッチ操作がなされたか否かを判定し、拡大タッチ操作がなされたと判定した場合はステップＳ１８に処理を移し、拡大タッチ操作がなされていないと判定した場合はステップＳ１９に処理を移す。

ステップＳ１８において、ＣＰＵ１１は、ユーザによる拡大タッチ操作におけるスライド量に応じて、ステップＳ７において設定した初期状態の所定の範囲又は拡大や縮小された所定の範囲を規定する円エリア１２０（図１参照）を拡大し、出力部１７に表示する。ＣＰＵ１１は、本処理の後、ステップＳ４（図３参照）に処理を戻す。

ステップＳ１９において、ＣＰＵ１１は、入力部１８においてユーザによる縮小タッチ操作がされたか否かを判定する。ＣＰＵ１１は、縮小タッチ操作がなされたと判定した場合はステップＳ２０に処理を移し、縮小タッチ操作がなされていないと判定した場合はステップＳ４（図３参照）に処理を戻す。

ステップＳ２０において、ＣＰＵ１１は、ユーザによる縮小タッチ操作におけるスライド量に応じて、ステップＳ７において設定した初期状態の所定の範囲又は拡大や縮小された所定の範囲を規定する円エリア１２０（図１参照）を縮小し、出力部１７に表示する。ＣＰＵ１１は、本処理の後、ステップＳ４（図３参照）に処理を戻す。
即ち、ステップＳ１８又はステップＳ２０の処理を実行するＣＰＵ１１は、規定した所定の範囲を拡大又は縮小する選択範囲設定手段として機能する。

次に、図６を参照して、ステップＳ２１からステップＳ２６の処理を説明する。
ステップＳ２１において、ＣＰＵ１１は、入力部１８においてユーザによる絵画変換を指示する操作がなされたか否かを判定する。ＣＰＵ１１は、絵画変換の指示する操作がなされたと判定した場合はステップＳ２２に処理を移し、絵画変換の指示する操作がなされていないと判定した場合はステップＳ４（図３参照）に処理を戻す。

ステップＳ２２において、ＣＰＵ１１は、ステップＳ２で取得した画像データを処理対象にして、ステップＳ７で規定した所定の範囲を規定する円エリア内における写真画像の輪郭線を抽出する。本処理における円エリアは、ステップＳ７で設定した円エリア、ステップＳ１８で拡大した円エリア又はステップＳ２０で縮小した円エリアのいずれかである。なお、本実施形態における輪郭線を抽出する手法は、特に限定されるものではないが、例えば、写真画像のエッジの画素値を利用して抽出する。即ち、ステップＳ２２の処理を実行するＣＰＵ１１は、選択範囲設定手段が規定した所定の範囲内において画像の輪郭線を抽出する輪郭線抽出手段として機能する。

ステップＳ２３において、ＣＰＵ１１は、ステップＳ２２で抽出した輪郭線のうち、閉じられた範囲を形成する閉曲線となる輪郭線が有るか否かを判定する。ＣＰＵ１１は、閉曲線となる輪郭線が有ると判定した場合はステップＳ２４に処理を移し、閉曲線となる輪郭線が無いと判定した場合はステップＳ２６に処理を移す。即ち、ステップＳ２３の処理を実行するＣＰＵ１１は、輪郭線抽出手段が抽出した輪郭線により形成された閉曲線の有無を判定する閉曲線判定手段として機能する。ここで、「輪郭線により形成された閉曲線」とは、具体的には、図１に示す特定の被写体１１０に相当する。

ステップＳ２４において、ＣＰＵ１１は、ステップＳ２２により抽出した輪郭線で、ステップＳ２３により閉曲線となると判定されたものの中から、閉曲線により囲まれる面積が最大の閉曲線を選択する。即ち、ステップＳ２４の処理を実行するＣＰＵ１１は、輪郭線抽出手段が抽出した輪郭線により形成された閉曲線を選択する閉曲線選択手段として機能する。また、ステップＳ２４を実行するＣＰＵ１１は、輪郭線抽出手段が抽出した輪郭線により形成された閉曲線の中で、閉曲線により囲まれる面積が最大の閉曲線を選択する閉曲線選択手段として機能する。

ステップＳ２５において、画像処理部１４は、ＣＰＵ１１と協働して、ステップＳ２で取得した画像データのうち、ステップＳ２４で選択された閉曲線で囲まれた部分の画像データを絵画変換した絵画調画像データを生成する。そして、画像処理部１４は、出力部１７に、生成した絵画調画像データにより表現される絵画調画像を表示する。具体的には、図１に示すように、画像処理部１４は、写真画像において閉曲線で囲まれた部分である被写体１１０を絵画変換し、出力部１７に絵画調画像を表示する。即ち、ステップＳ２５の処理を実行する画像処理部１４及びＣＰＵ１１は、閉曲線選択手段により選択された閉曲線で囲まれた部分のデータを絵画変換する絵画変換手段として機能する。

また、本実施形態において、画像処理部１４は、ステップＳ２５において、以下のように出力部１７に画像を表示する。
画像処理部１４は、まず、写真画像全体を薄く表示させ、絵画変換を開始すると、絵画変換の処理の進行にともない薄い表示を徐々に濃く表示していき、絵画変換の処理が終了するのに合わせて通常の濃さまで回復させる。また、画像処理部１４は、絵画変換の対象となる閉曲線で囲まれた部分も、絵画変換の開始前は、薄く表示しておき、絵画変換の処理の進行にともない薄い表示を徐々に濃く表示していき、絵画変換の処理が終了するのに合わせて通常の濃さまで回復させる。

ステップＳ２６において、画像処理部１４は、ＣＰＵ１１と協働して、ステップＳ７で設定した円エリア、ステップＳ１８で拡大した円エリア又はステップＳ２０で縮小した円エリアのいずれかで設定された円エリアで囲まれた部分の画像データを絵画変換した絵画調画像データを生成する。画像処理部１４は、出力部１７に、絵画調画像データにより表現される絵画調画像を表示する。即ち、ステップＳ２６の処理を実行する画像処理部１４及びＣＰＵ１１は、閉曲線判定手段により閉曲線が無いと判定された場合には所定の範囲で囲まれた部分のデータを絵画変換する絵画変換手段として機能する。

次に、本実施形態の応用例を説明する。
図７は、本実施形態の応用例の画像処理装置１Ａと本実施形態の画像処理装置１とで相違する機能の概要を説明する図である。図７（ａ）及び（ｂ）は、本実施形態の応用例の画像処理装置１Ａの出力部に表示された写真画像１００を示している。
本実施形態の応用例の画像処理装置１Ａは、以下の機能を有する点が本実施形態の画像処理装置１と異なる。
画像処理装置１Ａは、図７（ａ）に示すように、ユーザの選択タッチ操作により設定された円エリア１２０により規定される所定の範囲が被写体１１０の輪郭線より小さい場合に、図７（ｂ）に示すように、円エリア１２０により規定される所定の範囲に被写体１１０が含まれるまで、円エリア１２０を拡大する機能を有する。

以下に、本実施形態の応用例について詳細に説明する。以下の説明において、本実施形態と同様の構成や処理については、同一の符号を付し説明を省略又は簡略する。
図８及び図９は、本実施形態の応用例に係る画像処理装置１ＡのＣＰＵ１１が実行する絵画調変換処理の流れを説明するフローチャートである。
応用例の画像処理装置１ＡのＣＰＵ１１は、図８に示すステップＳ８の処理を実行した後に、図９に示すステップＳ３１からステップＳ３４の処理を実行してから、ステップＳ４に処理を戻す点が、本実施形態の画像処理装置１と異なる。

図９を参照して、ステップＳ３１からステップＳ３４の処理を説明する。
ステップＳ３１において、ＣＰＵ１１は、ステップＳ７で設定した所定の範囲を規定する円エリア内における写真画像の輪郭線を抽出する。

ステップＳ３２において、ＣＰＵ１１は、ステップＳ３１で抽出した輪郭線のうち、閉じられた範囲を形成する閉曲線となる輪郭線が有るか否かを判定する。ＣＰＵ１１は、閉曲線となる輪郭線が有ると判定した場合はステップＳ３３に処理を移し、閉曲線となる輪郭線が無いと判定した場合はステップＳ３４に処理を移す。即ち、ステップＳ３２の処理を実行するＣＰＵ１１は、輪郭線抽出手段が抽出した輪郭線により形成された閉曲線の有無を判定する閉曲線判定手段として機能する。

ステップＳ３３において、ＣＰＵ１１は、ステップＳ３１で抽出した輪郭線で、ステップＳ３３で閉曲線となると判定されたものの中から、閉曲線により囲まれる面積が最大の閉曲線を選択する。また、応用例において、ＣＰＵ１１は、本処理で選択した閉曲線を、ステップＳ２５（図６参照）において絵画変換する候補として記憶部１９に記憶する。その後、ＣＰＵ１１は、円エリア１２０に対するユーザの拡大タッチ操作や縮小タッチ操作がなされてなければ、ステップＳ２４において、記憶部１９から、ステップＳ３３で選択した閉曲線を呼び出す。そして、ステップＳ２５において、画像処理部１４は、ＣＰＵ１１と協働して、ステップＳ２４で呼び出された閉曲線で囲まれた部分の画像データを絵画変換した絵画調画像データを生成し、出力部１７に絵画調画像データにより表現される絵画調画像を表示する。

ステップＳ３４において、ＣＰＵ１１は、ステップＳ７において設定した初期状態の所定の範囲を規定する円エリア１２０（図７（ｂ）参照）を、予め設定された所定量だけ拡大し、出力部１７に表示する。ＣＰＵ１１は、本処理の後、ステップＳ３２に処理を戻す。即ち、ＣＰＵ１１は、円エリアを、ステップＳ３１で抽出した輪郭線による閉曲線が所定の範囲に含まれるまで拡大する。
即ち、ステップＳ３４の処理を実行するＣＰＵ１１は、閉曲線判定手段により閉曲線が無いと判定された場合には規定した所定の範囲を拡大する選択範囲設定手段として機能する。

以上説明したように、本実施形態の画像処理装置１は、ＣＰＵ１１及び画像処理部１４を備える。
ステップＳ２の処理を実行するＣＰＵ１１は、画像データを取得する取得手段として機能する。
ステップＳ７の処理を実行するＣＰＵ１１は、取得手段により取得された画像データにおいて、所定の範囲を規定する選択範囲設定手段として機能する。
ステップＳ２２の処理を実行するＣＰＵ１１は、取得手段により取得された画像データを処理対象にして、選択範囲設定手段が規定した所定の範囲内において画像の輪郭線を抽出する輪郭線抽出手段として機能する。
ステップＳ２４の処理を実行するＣＰＵ１１は、輪郭線抽出手段が抽出した輪郭線により形成された閉曲線を選択する閉曲線選択手段として機能する。
ステップＳ２５の処理を実行する画像処理部１４及びＣＰＵ１１は、取得手段により取得された画像データのうち、閉曲線選択手段により選択された閉曲線で囲まれた部分のデータを絵画変換する絵画変換手段として機能する。
これにより、所定の範囲において、輪郭線により形成された閉曲線で囲まれた部分のデータのみを絵画変換するので、例えば、写真画像における特定の被写体のみを絵画変換できる。
したがって、絵画調に変換する画像処理に要する時間を短縮するとともに、特定の被写体のみを絵画調にすることで、鮮明な写真画像と感性が入った絵画調画像とが融合し、両者単独の画像では味わえない特別な味わいをユーザに覚えさせることができる。

また、本実施形態のステップＳ２４を実行するＣＰＵ１１は、輪郭線抽出手段が抽出した輪郭線により形成された閉曲線の中で、閉曲線により囲まれる面積が最大の閉曲線を選択する閉曲線選択手段として機能する。
ここで、写真画像には、通常、メインとなる被写体の他に、サブの被写体も存在する。そして、一般的に、写真画像において、メインとなる被写体はサブの被写体よりも大きい。
本実施形態によれば、面積が最大の閉曲線を選択し、この閉曲線で囲まれた部分の画像を絵画変換するので、メインとなる被写体の可能性が高い被写体を優先的に絵画変換できる。

また、本実施形態のステップＳ１８又はステップＳ２０の処理を実行するＣＰＵ１１は、規定した所定の範囲を拡大又は縮小する選択範囲設定手段として機能する。
これにより、ユーザの意思により又は画像処理装置１の判定により、所定の範囲内に適切な被写体を納めることができるので、より適切な被写体のみを絵画変換できる。

また、本実施形態のステップＳ２３の処理を実行するＣＰＵ１１は、輪郭線抽出手段が抽出した輪郭線により形成された閉曲線の有無を判定する閉曲線判定手段として機能する。
ステップＳ２６の処理を実行する画像処理部１４及びＣＰＵ１１は、閉曲線判定手段により閉曲線が無いと判定された場合には所定の範囲で囲まれた部分のデータを絵画変換する絵画変換手段として機能する。
これにより、所定の範囲に閉曲線が無いと判定された場合でも、適切な被写体を囲む所定の範囲のみを絵画変換できる。

また、本実施形態の応用例のステップＳ３２の処理を実行するＣＰＵ１１は、輪郭線抽出手段が抽出した輪郭線により形成された閉曲線の有無を判定する閉曲線判定手段として機能する。
ステップＳ３４の処理を実行するＣＰＵ１１は、閉曲線判定手段により閉曲線が無いと判定された場合には規定した所定の範囲を拡大する選択範囲設定手段として機能する。
これにより、閉曲線が無いと判定された場合には規定した所定の範囲を拡大できるので、画像処理装置１ａの判定により、所定の範囲内に被写体を納めるまで、所定の範囲を拡大できるので、絵画変換の対象となる被写体を選択する精度を向上できる。

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

上述の実施形態では、所定の範囲を円形状に形成された円エリアとしたが、所定の範囲はこれに限らず、例えば、矩形状やユーザのタッチ操作により囲まれた形状としてもよい。
また、上述の実施形態では、輪郭線のみで形成された閉曲線で囲まれた部分を絵画変換したが、これに限らず、例えば、輪郭線と円エリアの外周線とで形成された閉曲線を絵画変換してもよい。

また、上述の実施形態では、本発明が適用される画像処理装置１及び１ａは、デジタルフォトフレームを例として説明したが、特にこれに限定されない。
例えば、本発明は、表示機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、ポータブルゲーム機等に適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
また、各手段は、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図２のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部１９に含まれるハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。

以上、本発明の実施形態について説明したが、この実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、更に、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
画像データを取得する取得手段と、
前記取得手段により取得された前記画像データにおいて、所定の範囲を規定する選択範囲設定手段と、
前記取得手段により取得された前記画像データを処理対象にして、前記選択範囲設定手段が規定した前記所定の範囲内において画像の輪郭線を抽出する輪郭線抽出手段と、
前記輪郭線抽出手段が抽出した前記輪郭線により形成された閉曲線を選択する閉曲線選択手段と、
前記取得手段により取得された前記画像データのうち、前記閉曲線選択手段により選択された前記閉曲線で囲まれた部分のデータを絵画変換する絵画変換手段と、
を備えることを特徴とする画像処理装置。
［付記２］
前記閉曲線選択手段は、前記輪郭線抽出手段が抽出した前記輪郭線により形成された閉曲線の中で、前記閉曲線により囲まれる面積が最大の閉曲線を選択する、
ことを特徴とする付記１に記載の画像処理装置。
［付記３］
前記選択範囲設定手段は、規定した前記所定の範囲を拡大又は縮小する、
ことを特徴とする付記１又は２に記載の画像処理装置。
［付記４］
前記輪郭線抽出手段が抽出した前記輪郭線により形成された前記閉曲線の有無を判定する閉曲線判定手段を、更に備え、
前記絵画変換手段は、前記閉曲線判定手段により前記閉曲線が無いと判定された場合には前記所定の範囲で囲まれた部分のデータを絵画変換する
ことを特徴とする付記１から３のいずれかに記載の画像処理装置。
［付記５］
前記選択範囲設定手段は、前記閉曲線判定手段により前記閉曲線が無いと判定された場合には規定した前記所定の範囲を拡大する、
ことを特徴とする付記４に記載の画像処理装置。
［付記６］
画像処理装置が実行する画像処理方法において、
画像データを取得する取得ステップと、
前記取得ステップにより取得した前記画像データにおいて、所定の範囲を規定する選択範囲設定ステップと、
前記取得ステップにより取得した前記画像データを処理対象にして、前記選択範囲設定ステップで規定した前記所定の範囲内において画像の輪郭線を抽出する輪郭線抽出ステップと、
前記輪郭線抽出ステップで抽出した前記輪郭線により形成された閉曲線を選択する閉曲線選択ステップと、
前記取得ステップにより取得した前記画像データのうち、前記閉曲線選択ステップで選択した前記閉曲線で囲まれた部分のデータを絵画変換する絵画変換ステップと、
を含むことを特徴とする画像処理方法。
［付記７］
画像処理装置を制御するコンピュータを、
画像データを取得する取得手段、
前記取得手段により取得された前記画像データにおいて、所定の範囲を規定する選択範囲設定手段、
前記取得手段により取得された前記画像データを処理対象にして、前記選択範囲設定手段が規定した前記所定の範囲内において画像の輪郭線を抽出する輪郭線抽出手段、
前記輪郭線抽出手段が抽出した前記輪郭線により形成された閉曲線を選択する閉曲線選択手段、
前記取得手段により取得された前記画像データのうち、前記閉曲線選択手段により選択された前記閉曲線で囲まれた部分のデータを絵画変換する絵画変換手段、
として機能させることを特徴とするプログラム。

１，１Ａ・・・画像処理装置、１１・・・ＣＰＵ、１２・・・ＲＯＭ、１３・・・ＲＡＭ、１４・・・画像処理部、１５・・・バス、１６・・・入出力インターフェース、１７・・・表示部、１８・・・操作部、１９・・・記憶部、２０・・・ドライブ、３１・・・リムーバブルメディア、１００・・・写真画像、１１０・・・被写体、１２０・・・円エリア、２００・・・絵画調画像

Claims (8)

1. 取得された画像の中から、所定の範囲の画像を規定する選択範囲設定手段と、
   前記選択範囲設定手段が規定した前記所定の範囲の画像から輪郭線を抽出する輪郭線抽出手段と、
   前記輪郭線抽出手段が抽出した輪郭線により形成された閉曲線を選択する閉曲線選択手段と、
   前記選択範囲設定手段で規定した画像の範囲が、前記輪郭線抽出手段が抽出した輪郭線より大きいか否かを判定する選択範囲判定手段と、
   前記閉曲線選択手段により選択された前記閉曲線で囲まれた部分の画像を絵画変換する絵画変換手段と、を備え、
   前記選択範囲判定手段は、前記選択範囲設定手段で規定した画像の範囲が、前記輪郭線抽出手段が抽出した輪郭線より小さいと判定されると、前記輪郭線が含まれるまで前記所定の範囲の画像を拡大することを特徴とする画像処理装置。
2. 前記閉曲線選択手段は、前記輪郭線抽出手段が抽出した前記輪郭線により形成された複数の閉曲線の中で、当該閉曲線により囲まれる面積が最大の閉曲線を選択する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記選択範囲設定手段は、前記所定の範囲の画像を拡大又は縮小する、
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記輪郭線抽出手段が抽出した輪郭線により形成された閉曲線の有無を判定する閉曲線判定手段を、更に備え、
   前記絵画変換手段は、前記閉曲線判定手段により前記閉曲線が無いと判定された場合には前記所定の範囲で囲まれた画像を絵画変換する、
   ことを特徴とする請求項１から３のいずれかに記載の画像処理装置。
5. 前記選択範囲設定手段は、前記閉曲線判定手段により前記閉曲線が無いと判定された場合には、前記所定の範囲の画像を拡大する、
   ことを特徴とする請求項４に記載の画像処理装置。
6. 前記取得された画像の濃淡を変化させる濃淡制御手段を、更に備え、
   前記濃淡制御手段は、前記絵画変換手段により絵画変換処理が実行されると、前記取得された画像全体を薄く表示させ、絵画変換処理の進行にともない薄い表示を徐々に濃く表示していき、絵画変換処理が終了すると元の濃さに回復させることを特徴とする請求項１から５のいずれかに記載の画像処理装置。
7. 画像処理装置が実行する画像処理方法において、
   取得された画像の中から、所定の範囲の画像を規定する選択範囲設定ステップと、
   前記所定の範囲の画像から輪郭線を抽出する輪郭線抽出ステップと、
   前記抽出した輪郭線により形成された閉曲線を選択する閉曲線選択ステップと、
   前記規定した前記所定の範囲の画像が、前記抽出した輪郭線より大きいか否かを判定する選択範囲判定ステップと、
   前記選択された前記閉曲線で囲まれた部分の画像を絵画変換する絵画変換ステップと、を含み、
   前記選択範囲判定ステップは、前記選択範囲設定ステップで規定した画像の範囲が、前記輪郭線抽出ステップが抽出した輪郭線より小さいと判定されると、前記輪郭線が含まれるまで前記所定の範囲の画像を拡大することを特徴とする画像処理方法。
8. 画像処理装置を制御するコンピュータを、
   取得された画像の中から、所定の範囲の画像を規定する選択範囲設定手段と、
   前記所定の範囲の画像から輪郭線を抽出する輪郭線抽出手段と、
   前記抽出した輪郭線により形成された閉曲線を選択する閉曲線選択手段と、
   前記選択範囲設定手段で規定した画像の範囲が、前記輪郭線抽出手段が抽出した輪郭線より大きいか否かを判定する選択範囲判定手段と、
   前記選択された前記閉曲線で囲まれた部分の画像を絵画変換する絵画変換手段と、して機能させ、
   前記選択範囲判定手段は、前記選択範囲設定手段で規定した画像の範囲が、前記輪郭線抽出手段が抽出した輪郭線より小さいと判定されると、前記輪郭線が含まれるまで前記所定の範囲の画像を拡大することを特徴とするプログラム。

Images