JP3719247B2 - 画像編集装置、画像のトリミング方法、及びプログラム - Google Patents
画像編集装置、画像のトリミング方法、及びプログラム Download PDFInfo
- Publication number
- JP3719247B2 JP3719247B2 JP2003015104A JP2003015104A JP3719247B2 JP 3719247 B2 JP3719247 B2 JP 3719247B2 JP 2003015104 A JP2003015104 A JP 2003015104A JP 2003015104 A JP2003015104 A JP 2003015104A JP 3719247 B2 JP3719247 B2 JP 3719247B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- template
- attention area
- trimming
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Studio Circuits (AREA)
- Editing Of Facsimile Originals (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、デジタルカメラ等で撮影されたデジタル画像（単に「画像」ともいう）のトリミング（画像の一部を切り取り、または切り抜き）を自動で行う、画像編集装置、画像のトリミング方法、及びプログラムに関する。
【０００２】
【従来の技術】
近時、デジタルカメラが普及し、撮影したデジタル画像をＰＣ（パーソナルコンピュータ）内に取り込み、デジタル画像を編集し、印刷することが簡単にできるようになってきた。例えば、旅行先でデジタルカメラで撮影したデジタル画像を編集し、旅行アルバムなどを簡単に作成できるようになってきた。
これらのデジタル画像を編集する場合には、図１１及び図１２に示すように、画像の一部（画像中の注目領域）をトリミングして編集したい場合も多い。
【０００３】
このようなトリミングにおいては、従来は、人間が手動で、デジタル画像内の注目領域（目立つ領域）を切り取る（切り抜く）ようにマウス等を操作してトリミングを行っていた。
この手動によるトリミングは、デジタル画像の枚数が少ない場合は、それほど手間がかからず問題とならないが、多数のデジタル画像をトリミングしてアルバムとして編集するような場合には、手動によるトリミング作業は結構煩わしい作業となる。
また、デジタルカメラに普及と共に、利用者層の範囲が広がり、利用者の中にはＰＣ操作に不慣れな人もおり、デジタル画像のトリミングを、より簡単に行える装置の提供が望まれていた。
【０００４】
このようなデジタル画像のトリミングについての先行技術として、例えば、特許文献１「画像合成装置」がある。
特許文献１で開示された発明は、背景画像の上に主画像を重ねた合成画像を簡単に作成するための画像合成装置である。この画像合成装置における重ね合成では、外枠と、その内側に位置する内枠とをサブ表示領域に表示する。そして、取り込んだ背景画像を、メイン表示領域に表示する。メイン表示領域には、サブ表示領域の外枠に対応するトリミング枠が表示され、このトリミング枠を移動して合成する範囲を指定する。貼り込み操作を行うと、サブ表示領域内の外枠に背景画像が貼り込まれる。次に別の画像（主画像）を取り込み、メイン表示領域に表示する。このメイン表示領域には、サブ表示領域の内枠に対応したトリミング枠が表示され、このトリミング枠で指定された部分がサブ表示領域の内枠にはめ込まれ、背景画像の上に主画像が重ねられた合成画像が完成する。
【０００５】
【特許文献１】
特開２００２−１００５６号公報
【０００６】
【発明が解決しようとする課題】
しかしながら、特許文献１に開示された発明は、利用者自身が手動で、トリミングする各画像のトリミング範囲を切り取り（切り抜き）、画像を合成する発明である。すなわち、この発明では、利用者自身がトリミングする各画像中の注目領域（目立つ領域）を目視により確認しながら、注目領域を切り取る（切り抜く）作業を行う必要がある。このため、多数の画像をトリミングにより編集する場合などは、作業負担が大きくなり、また多くの作業時間も必要とし、煩わしい作業となる。
【０００７】
本発明はこのような問題を解決するためになされたもので、その目的は、画像中の注目領域を自動的にトリミングするようにし、画像のトリミングを、より簡単に、かつ効果的に行える、画像編集装置、画像のトリミング方法、及びプログラムを提供することにある。
【０００８】
【課題を解決するための手段】
本発明は上記課題を解決するためになされたものであり、本発明の画像編集装置は、画像のトリミングを行う画像編集装置であって、画像のトリミング範囲を決定するための候補となる複数のテンプレートを記憶するテンプレート記憶手段と、トリミングの対象となる画像の注目領域を算出する注目領域算出手段と、前記注目領域が前記候補となる各テンプレート内に含まれる度合いまたは前記各テンプレートによって隠れる度合いを算出する注目領域誤差算出手段と、前記注目領域誤差算出手段の算出結果を基に、前記複数のテンプレートから選択するテンプレート選択手段と、前記テンプレート選択手段により選択したテンプレートにより、前記対象となる画像のトリミング処理を行うトリミング手段とを具備することを特徴とする。
【０００９】
このような構成であれば、注目領域算出手段により、トリミングする画像の注目領域を求め、テンプレート記憶手段からトリミング範囲を決定するための候補となるテンプレートを順次読み出す。そして、注目領域誤差算出手段により、トリミングする画像の注目領域が、候補となる各テンプレート内に含まれる度合い（面積）を算出する。そして、テンプレート選択手段により、注目領域が含まれる度合い（面積）が最も大きいテンプレートを選択し、該テンプレートを使用して、トリミング手段により、画像のトリミングを行う。
これにより、画像のトリミングを自動的に行うことができる。また、人間の視覚特性に応じた注目領域を算出し、トリミングするテンプレートを自動選択して、トリミングを行うことができる。
【００１０】
また、本発明の画像編集装置は、前記注目領域の中心と、前記テンプレートの中心との中心合わせを行う手段をさらに具備することを特徴とする。
このような構成であれば、トリミング範囲またはテンプレートの中心と、注目領域の中心合わせを行った後に、注目領域誤差算出手段により、注目領域がテンプレート内に含まれる度合などを算出する。
これにより、注目領域誤差算出手段による算出が適切に行える。また、注目領域が、テンプレート内に適切にはめ込まれるようにすることができる。
【００１１】
また、本発明の画像編集装置は、前記注目領域の中心を、当該注目領域を囲む矩形の対角線の交点とし、前記テンプレートの中心を、当該テンプレートを囲む矩形の対角線の交点とすることを特徴とする。
このような構成であれば、注目領域を矩形で囲み、該矩形の対角線の交点を、注目領域の中心とする。また、候補となるテンプレートを矩形で囲み、該矩形の対角線の交点を、テンプレートの中心とする。
これにより、注目領域の中心と、テンプレートの中心を容易に求めることができる。
【００１２】
また、本発明の画像編集装置は、前記注目領域算出手段により注目領域を算出する際には、最も誘目度の高い領域を基準に閾値を決定し、該閾値以上の領域を注目領域として決定する注目領域閾値手段をさらに具備することを特徴とする。
また、本発明の画像編集装置は、前記注目領域算出手段により注目領域を算出する際には、最も高い誘目度の１／２に閾値を決定し、該閾値以上の領域を注目領域として決定する注目領域閾値手段をさらに具備することを特徴とする。
このような構成であれば、注目領域閾値手段では、求められた注目領域のうち、最も誘目度が高い領域、あるいは最も高い誘目度の２分の１より高い領域のみなど、閾値を決めて、注目領域の切り取り（切り抜き）を行う。
これにより、トリミングしたい注目領域の注目度の程度を指定して、トリミングを行うことができる。
また、本発明の画像編集装置は、少なくとも、入力装置，画像装置および印刷装置のいずれかを有することを特徴とする。
【００１３】
また、本発明の画像のトリミング方法は、画像のトリミングを行う画像編集装置における画像のトリミング方法であって、画像のトリミング範囲を決定するための候補となる複数のテンプレートを記憶するテンプレート記憶手順と、トリミングの対象となる画像の注目領域を算出する注目領域算出手順と、前記注目領域が前記候補となる各テンプレート内に含まれる度合いまたは前記各テンプレートによって隠れる度合いを算出する注目領域誤差算出手順と、前記注目領域誤差算出手順の算出結果を基に、前記複数のテンプレートから選択するテンプレート選択手順と、前記テンプレート選択手順により選択したテンプレートにより、前記対象となる画像のトリミング処理を行うトリミング手順とを含むことを特徴とする。
【００１４】
このような手順であれば、注目領域算出手順により、トリミングする画像の注目領域を求め、テンプレート記憶手順からトリミング範囲を決定するための候補となるテンプレートを順次読み出す。そして、注目領域誤差算出手順により、トリミングする画像の注目領域が、候補となる各テンプレート内に含まれる度合い（面積）を算出する。そして、テンプレート選択手順により、注目領域がテンプレート内に含まれる度合い（面積）が最も大きいテンプレートを選択し、該テンプレートを使用して、トリミング手順により、画像のトリミングを行う。
これにより、画像のトリミングを自動的に行うことができる。また、人間の視覚特性に応じた注目領域を算出し、トリミングするテンプレートを自動選択して、トリミングを行うことができる。
【００１５】
また、本発明のコンピュータプログラムは、画像のトリミングを行う画像編集装置内のコンピュータに、画像のトリミング範囲を決定するための候補となる複数のテンプレートを記憶するテンプレート記憶手順と、トリミングの対象となる画像の注目領域を算出する注目領域算出手順と、前記注目領域が前記候補となる各テンプレート内に含まれる度合いまたは前記各テンプレートによって隠れる度合いを算出する注目領域誤差算出手順と、前記注目領域誤差算出手順の算出結果を基に、前記複数のテンプレートから選択するテンプレート選択手順と、前記テンプレート選択手順により選択したテンプレートにより、前記対象となる画像のトリミング処理を行うトリミング手順とを実行させるためのプログラムである。
【００１６】
【発明の実施の形態】
次に本発明の実施の形態例について図面を参照して説明する。
【００１７】
図１は、本発明の画像編集装置１００が備える手段の構成例を示すブロック図である。図１に示す画像編集装置１００に設けられた各手段は、以下に示す処理を行う。
（１）画像選択手段１０１
画像選択手段１０１は、トリミングの対象となる画像を、画像記憶手段１１０から選択するための手段である。
（２）画像読取手段１０２
画像読取手段１０２は、画像を構成する画素ごとの値（ＲＧＢ値等）を読み出すための手段である。
【００１８】
（３）注目領域算出手段１０３
注目領域算出手段１０３は、トリミングの対象となる画像の注目領域を算出するための手段であり、画像内を複数の領域に分離し、分離した領域ごとに、注目度の程度を２段階以上に区分けする。この注目領域の算出には、例えば、「特開２００１−１２６０７０号公報（注目領域抽出装置およびそれを用いた自動構図決定装置）」に開示された「誘目度」を使用することができる（誘目度については、後述する「誘目度についての補足説明」の項目で、その概要について説明する）。
【００１９】
図２は、トリミングの処理対象となる第１の画像１１を模式的に示した図であり、図３は、図２に示す画像１１の注目度（誘目度）を算出し、注目領域のパターン画像１２として模式的に示した図である。図３に示す注目領域のパターン画像１２では、注目度（誘目度）は、領域Ａが最も高く算出され、領域Ｂ、領域Ｃの順に低く算出されている。
【００２０】
図５は、トリミングの処理対象となる第２の画像を模式的に示した図であり、図６は、図５に示す画像２１の注目度（誘目度）を算出し、注目領域のパターン画像２２として模式的に示した図である。図６に示す注目領域のパターン画像２２では、注目度（誘目度）は、領域Ａが最も高く算出され、領域Ｂ、領域Ｃの順に低く算出されている。
【００２１】
（４）注目領域閾値手段１０４
注目領域閾値手段１０４は、注目領域算出手段１０３により求められた注目領域のうち、最も注目度（誘目度）が高い領域、あるいは最も高い注目度（誘目度）の２分の１より高い領域のみなど、閾値を決めて、注目領域の切り取り（切り抜き）と、領域のまとめを行うための手段である。トリミングの範囲を決定する場合など、トリミングの詳細を決める際には、この閾値処理された注目領域を用いる。
【００２２】
図４は、注目領域閾値手段１０４を使用し、図３に示した注目領域のパターン画像１２中の注目領域を、ある閾値（領域Ｂの誘目度）以上で切り取った例を示す図である。すなわち、図３に示す注目領域のパターン画像１２おいて、領域Ｂの注目度（誘目度）以上の部分を切り取ったものである。図４に示す例では、領域Ｂと領域Ａが切り取られて、領域Ａと領域Ｂがまとめられ、トリミングの対象となる注目領域１３ａ及び１３ｂとなる。さらに、閾値処理された注目領域１３ａ及び１３ｂの中心を、注目領域１３ａ及び１３ｂを囲む矩形領域１４の中心（対角線の交点ａ）とする。
【００２３】
図７は、注目領域閾値手段１０４を使用し、図６に示した注目領域のパターン画像２２中の注目領域を、ある閾値（領域Ｂの誘目度）以上で切り取った例を示す図である。図７に示す例では、図６に示す注目領域の領域Ｂと領域Ａが切り取られ、領域Ａと領域Ｂが一つにまとめられ、トリミングの対象となる注目領域２３ａとなる。さらに、閾値処理された注目領域２３ａの中心を、注目領域２３ａを囲む矩形領域２４の中心（対角線の交点ａ）とする。
【００２４】
（５）注目領域誤差算出手段１０５
注目領域誤差算出手段１０５は、閾値処理された注目領域が、トリミングに使用するテンプレートによって隠れる度合い、あるいは切り取られる度合い（テンプレート内に含まれる度合い）を算出するための手段である。この場合、注目領域は、注目領域閾値手段１０４により求めた閾値処理された注目領域であり、テンプレートは、テンプレート記憶手段１１１に記憶された候補となる各テンプレートである。
【００２５】
図８、図９及び図１０は、トリミングに使用する候補となるテンプレート３１、３２、及び３３の例を示す図であり、注目領域の誤差算出は、候補となるテンプレート３１、３２、及び３３を使用して、以下のようにして行う。
・テンプレート記憶手段１１１に記憶されたトリミングに使用する候補となるテンプレートを順次読み出す。図８、図９及び図１０に、トリミングに使用する候補となるテンプレート３１、３２、及び３３の例を示す。
・次に、図４に示す閾値処理された注目領域１３ａ及び１３ｂと、テンプレート３１、３２、及び３３のそれぞれを、中心位置を合わせて重ね合わせ、注目領域１３ａ及び１３ｂがテンプレートにより切り取られる面積（テンプレート内に含まれる面積）の程度を求める。同様にして、図７に示す閾値処理された注目領域２３ａと、テンプレート３１、３２、及び３３のそれぞれを、中心位置を合わせて重ね合わせ、注目領域２３ａが切り取られる面積（テンプレート内に含まれる面積）の程度を求める。
なお、テンプレート３１、３２、及び３３の中心を求める方法は、図４及び図７に例示した方法と同様に、テンプレートを矩形で囲み、その対角線の交点をテンプレートの中心とする。
【００２６】
（６）テンプレート選択手段１０６
テンプレート選択手段１０６は、閾値処理された注目領域がテンプレートにより切り取られる面積を比較し、注目領域の切り取られる面積（注目領域がテンプレートに含まれる面積）が最も大きなテンプレートを、トリミングに使用するテンプレートとして選択する。
例えば、図４に示す閾値処理された注目領域１３ａ及び１３ｂの画像の場合は、図８に示すテンプレート３１が選択される。同様にして、図７に示す閾値処理された注目領域２３ａの画像の場合は、図９に示すテンプレート３２が選択される。
（７）トリミング手段１０７
トリミング手段１０７は、テンプレート選択手段１０６により選択したテンプレートにより、対象となる画像のトリミング処理を行うための手段である。
（８）表示手段１０８
表示手段１０８は、トリミング結果を表示するための手段である。
（９）印刷手段１０９
印刷手段１０９は、トリミング結果を印刷するための手段である。
（１０）画像記憶手段１１０
画像記憶手段１１０は、トリミングを行う画像データ、及びトリミングを行った画像データを記憶するための手段である。
（１１）テンプレート記憶手段１１１
画像のトリミング形状を記述するテンプレート（候補となるテンプレート）を記憶するための手段である。
【００２７】
図１１は、図２に示す画像を図８に示すテンプレート３１にはめ込んだ例を示す図である。上述した各処理手段１０１乃至１０７を使用することにより、図２に示す画像１１は、図８に示すテンプレート３１にはめ込まれ、図１１に示す画像となる。
【００２８】
図１２は、図５に示す画像を図９に示すテンプレート３２にはめ込んだ例を示す図である。図５に示す画像２１は、図９に示すテンプレート３２にはめ込まれ、図１２に示す画像となる。
このようにして、本発明の画像編集装置では、人間の視覚特性に応じた注目領域を算出し、トリミングするテンプレートを自動選択して、画像のトリミング作業を行うことができる。
【００２９】
図１３は、本発明の画像編集装置における処理手順を示す図であり、テンプレートを選択して、トリミングする手順を示すフローチャートである。以下、図１３のフローチャートを参照して、本発明の画像編集装置で行われるトリミングの手順について説明する。
（１）ステップＳ１：注目領域算出手段１０３により注目度（誘目度）を算出する。
例えば、図２に示す画像１１の注目度（誘目度）を算出し、図３に示す注目領域のパターン画像１２を求める。図３に示す注目領域のパターン画像１２では、誘目度は領域Ａが最も高く算出され、領域Ｂ、領域Ｃの順に低く算出されている。
【００３０】
（２）ステップＳ２：注目領域閾値手段１０４により、閾値処理した注目度（誘目度）のパターン画像を生成する。
例えば、図３に示したパターン画像１２の注目領域をある閾値（領域Ｂの誘目度）以上で切り取る。すなわち、図３に示す注目領域のパターン画像１２おいて、領域Ｂの誘目度以上の部分を切り取り、領域Ｂと領域Ａが一つにまとめられ、図４に示す閾値処理された注目領域１３ａ及び１３ｂのパターン画像１３となる。
【００３１】
（３）ステップＳ３：閾値処理した注目領域の中心位置を求める。
例えば、図４に示すように、閾値処理された注目領域１３ａ及び１３ｂの中心を、注目領域１３ａ及び１３ｂを囲む矩形領域１４の中心（対角線の交点ａ）とする。
（４）ステップＳ４：テンプレート記憶手段１１１に記憶された、トリミングに使用する候補となるテンプレートの中から、１つのテンプレートを選択する。テンプレート記憶手段１１１に記憶された候補となるテンプレートは、例えば、図８、図９及び図１０に示すテンプレート３１、３２、及び３３などである。
（５）ステップＳ５：候補となるテンプレートの中心位置と、閾値処理された注目領域の中心位置を合わせた後、注目領域誤差算出手段１０５により閾値処理された注目領域が切り取られる程度（注目領域がテンプレート内に含まれる程度）を計算する。
例えば、図４に示す画像１３中の閾値処理された注目領域１３ａ及び１３ｂと、テンプレート３１、３２、及び３３のそれぞれを、中心位置を合わせて重ね合わせ、注目領域１３ａ及び１３ｂがテンプレートにより切り取られる面積（テンプレート内に含まれる面積）の程度を求める。
（６）ステップＳ６：全ての候補となるテンプレートについて、閾値処理された注目領域がテンプレートにより切り取られる程度を計算したかどうかをチェックする。
（７）ステップＳ7：テンプレート選択手段１０６により、注目領域がテンプレートにより切り取られる面積（テンプレート内に含まれる面積）の最も大きなテンプレートを選択する。
例えば、図４に示す閾値処理された注目領域１３ａ及び１３ｂの場合は、図８に示すテンプレート３１が選択される。
（８）ステップＳ８：求めたテンプレートを使用して、処理対象となる画像をテンプレートにはめ込み、またはテンプレートによる切り取りを行う。
例えば、図２に示す画像は、図８に示すテンプレート３１にはめ込まれ、図１１に示す画像となる。
（９）ステップＳ９：トリミング結果の表示または印刷を行う。
【００３２】
図１４は、本発明の画像編集装置の構成例を示すブロック図であり、本発明に直接関係する部分についてのみ示したものである。図１４において、１００は画像編集装置、１はインターネット網などの通信ネットワーク、１１４は画像編集装置と通信ネットワーク１とを接続する通信用インタフェース、１１５は画像編集装置全体を統括制御する制御部、１２０は処理プログラム部を示している。なお、本発明による画像編集装置は、ＰＣ（パーソナルコンピュータ）を使用しても実現できるものである。
【００３３】
また、処理プログラム部１２０には、以下の処理部が含まれている。
・画像選択処理部１２１は、画像データベース１１２からトリミングを行う対象となる画像を選び出すための処理部である。
・画像読取処理部１２２は、トリミングを行う対象となる画像を構成する画素ごとの値（ＲＧＢ値等）を読み出すための処理部である。
・注目領域算出処理部１２３は、トリミングを行う対象となる画像の注目領域を算出するための処理部である。画像内を複数の領域に分離し、分離した領域ごとに、注目度の程度を２段階以上に区分けする。この注目領域の算出には、例えば、「特開２００１−１２６０７０号公報（注目領域抽出装置およびそれを用いた自動構図決定装置）」に開示された「誘目度」を使用することができる。
【００３４】
・注目領域閾値処理部１２４は、注目領域算出処理部１２３により求められた注目領域のうち、最も誘目度が高い領域、あるいは最も高い誘目度の２分の１より高い領域のみなど、閾値を決めて、注目領域の切り取り（切り抜き）を行い、切り取った注目領域を一つにまとめるための処理部である。
・注目領域誤差算出処理部１２５は、閾値処理された注目領域が、トリミングに使用するテンプレートによって隠れる度合い、あるいは切り取られる度合い（テンプレート内に含まれる度合い）を算出するための処理部である。この場合、注目領域は、注目領域閾値処理部１２４により求めた注目領域であり、テンプレートは、テンプレートデータベース１１３に記憶された候補となる各テンプレートである。
【００３５】
・テンプレート選択処理部１２６は、閾値処理された注目領域がテンプレートにより切り取られる面積を比較し、注目領域の切り取られる面積（注目領域がテンプレート内に含まれる面積）が最も大きなテンプレートを、トリミングに使用するテンプレートとして選択するための処理部である。
・トリミング処理部１２７は、テンプレート選択処理部１２６で選択したテンプレートにより、対象となる画像のトリミングを行うための処理部である。
・表示処理部１２８は、表示装置にトリミングした結果を表示するための処理部である。
・印刷処理部１２９は、トリミングした結果を印刷するための処理部である。
また、画像データベース１１２には、トリミングを行う画像データ、及びトリミングを行った画像データが記憶される。また、テンプレートデータベース１１３には、候補となるテンプレートのデータが記憶される。
【００３６】
なお、この処理プログラム部１２０は専用のハードウエアにより実現されるものであってもよく、またこの処理プログラム部はメモリおよびＣＰＵ（中央処理装置）等の汎用の情報処理装置により構成され、この処理部の機能を実現するためのプログラム（図示せず）をメモリにロードして実行することによりその機能を実現させるものであってもよい。また、この画像編集装置１００には、周辺機器として入力装置、表示装置、印刷装置等（いずれも図示せず）が接続されているものとする。ここで、入力装置としては、キーボード、マウス等の入力デバイスのことをいう。表示装置とは、ＣＲＴ（Cathode Ray Tube）や液晶表示装置等のことをいう。印刷装置とは、レーザープリンタ、インクジェットプリンタ等のことをいう。
【００３７】
また、図１４に示す画像編集装置１００の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより本発明の画像編集装置１００に必要な処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）を含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの(伝送媒体ないしは伝送波)、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。
また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【００３８】
以上、本発明の実施の形態について説明したが、本発明の画像編集装置は、上述の図示例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
【００３９】
［誘目度についての補足説明］
本発明の実施の形態では、注目領域の抽出基準として「誘目度」を使用しているが、この「誘目度」の算出方法の一例が、「特開２００１−１２６０７０号公報（注目領域抽出装置およびそれを用いた自動構図決定装置）に詳細に開示されている。
ここでは、その概要についてだけ説明する。
注目領域の抽出のために、原画像の物理的特徴に従って誘目度を評価する。ここで、誘目度とは、人間の主観に合ったパラメータをいう。注目領域の抽出は、評価結果から一番目立つ領域を注目領域として抽出する。つまり、注目領域の評価の際は、物理的特徴に従って人間の主観に合った評価をするので、人間の主観に適合した注目領域を抽出することができる。
例えば、物理的特徴が色の異質度を含む場合、各領域の色の違いに基づいて誘目度を評価することができる。
また、物理的特徴が、色の異質度に加えて、形の異質度、面積の異質度およびテクスチャ（模様）の異質度をさらに含むので、この４つの異質度の少なくとも１つの異質度に基づいて誘目度を評価すれば、原画像の特徴に応じて的確に誘目度を評価することができる。
また、色の３要素（色相、彩度、明度）についても評価する場合であれば、人間の主観による目立つ色（赤色）に近い領域を最も目立つ領域と評価することができる。
さらに、空間周波数や原画像における各領域の面積についても評価すれば、最も目立つ領域の評価をさらに的確に判断することができる。
【００４０】
また、誘目度の評価は、以下の手順により行う。
（１）最初に原画像を領域分割する。この場合、原画像を図領域と絵領域に分割する。この領域分割の方法には、１９９７ＩＥＥＥにおいてW.Y.MaやB.S.Manjunath らが「Edge Flow:A Framework of Boundary Detection and Image Segmentation」に記載した“edge flow ”に基づく境界検出方法が適用される。
（２）次に、分割した図領域を抽出し、領域の誘目度を評価する。
この誘目度の評価は、概略以下のようにして行う。
・最初に各領域の異質性誘目度を求める。この場合、色の異質度、テクスチャの異質度、形の異質度および面積の異質度を各々求め、それぞれに重み係数を付与して線形結合し、各領域の異質性誘目度を求める。
・次に、各領域における特徴誘目度を求める。この場合、色の誘目度、空間周波数の誘目度、面積の誘目度を求め、それぞれに重み係数を付与して線形結合し、各領域の特徴誘目度を求める。
・次に、各領域の異質性誘目度と特徴誘目度を加算し、特徴量統合値を求め、この特徴量統合値を、所定のベータ関数により評価して、誘目度を算出する。
（３）また、原画像から誘目度を評価したパターン図を生成する。
【図面の簡単な説明】
【図１】 本発明の画像編集装置が備える手段の構成例を示す図。
【図２】 トリミング処理の対象となる第１の画像を模式的に示した図。
【図３】 図２に示す画像の注目領域（誘目度）を模式的に示した図。
【図４】 図３に示す注目領域をある閾値以上で切り取った例を示す図。
【図５】 トリミング処理の対象となる第２の画像を模式的に示した図。
【図６】 図５に示す画像の注目領域（誘目度）を模式的に示した図。
【図７】 図６に示す注目領域をある閾値以上で切り取った例を示す図。
【図８】 トリミングに使う第１のテンプレートの例を示す図。
【図９】 トリミングに使う第２のテンプレートの例を示す図。
【図１０】 トリミングに使う第３のテンプレートの例を示す図。
【図１１】 図２の画像を図８のテンプレートにはめ込んだ例を示す図。
【図１２】 図５の画像を図９のテンプレートにはめ込んだ例を示す図。
【図１３】 本発明の画像編集装置における処理手順を示す図。
【図１４】 本発明の画像編集装置の構成例を示すブロック図。
【符号の説明】
１００ 画像編集装置、１０１ 画像選択手段、１０２画像読取手段
１０３ 注目領域算出手段、１０４ 注目領域閾値手段
１０５ 注目領域誤差算出手段、１０６ テンプレート選択手段
１０７ トリミング手段、１０８ 表示手段、１０９ 印刷手段
１１０ 画像記憶手段、１１１ テンプレート記憶手段
【発明の属する技術分野】
本発明は、デジタルカメラ等で撮影されたデジタル画像（単に「画像」ともいう）のトリミング（画像の一部を切り取り、または切り抜き）を自動で行う、画像編集装置、画像のトリミング方法、及びプログラムに関する。
【０００２】
【従来の技術】
近時、デジタルカメラが普及し、撮影したデジタル画像をＰＣ（パーソナルコンピュータ）内に取り込み、デジタル画像を編集し、印刷することが簡単にできるようになってきた。例えば、旅行先でデジタルカメラで撮影したデジタル画像を編集し、旅行アルバムなどを簡単に作成できるようになってきた。
これらのデジタル画像を編集する場合には、図１１及び図１２に示すように、画像の一部（画像中の注目領域）をトリミングして編集したい場合も多い。
【０００３】
このようなトリミングにおいては、従来は、人間が手動で、デジタル画像内の注目領域（目立つ領域）を切り取る（切り抜く）ようにマウス等を操作してトリミングを行っていた。
この手動によるトリミングは、デジタル画像の枚数が少ない場合は、それほど手間がかからず問題とならないが、多数のデジタル画像をトリミングしてアルバムとして編集するような場合には、手動によるトリミング作業は結構煩わしい作業となる。
また、デジタルカメラに普及と共に、利用者層の範囲が広がり、利用者の中にはＰＣ操作に不慣れな人もおり、デジタル画像のトリミングを、より簡単に行える装置の提供が望まれていた。
【０００４】
このようなデジタル画像のトリミングについての先行技術として、例えば、特許文献１「画像合成装置」がある。
特許文献１で開示された発明は、背景画像の上に主画像を重ねた合成画像を簡単に作成するための画像合成装置である。この画像合成装置における重ね合成では、外枠と、その内側に位置する内枠とをサブ表示領域に表示する。そして、取り込んだ背景画像を、メイン表示領域に表示する。メイン表示領域には、サブ表示領域の外枠に対応するトリミング枠が表示され、このトリミング枠を移動して合成する範囲を指定する。貼り込み操作を行うと、サブ表示領域内の外枠に背景画像が貼り込まれる。次に別の画像（主画像）を取り込み、メイン表示領域に表示する。このメイン表示領域には、サブ表示領域の内枠に対応したトリミング枠が表示され、このトリミング枠で指定された部分がサブ表示領域の内枠にはめ込まれ、背景画像の上に主画像が重ねられた合成画像が完成する。
【０００５】
【特許文献１】
特開２００２−１００５６号公報
【０００６】
【発明が解決しようとする課題】
しかしながら、特許文献１に開示された発明は、利用者自身が手動で、トリミングする各画像のトリミング範囲を切り取り（切り抜き）、画像を合成する発明である。すなわち、この発明では、利用者自身がトリミングする各画像中の注目領域（目立つ領域）を目視により確認しながら、注目領域を切り取る（切り抜く）作業を行う必要がある。このため、多数の画像をトリミングにより編集する場合などは、作業負担が大きくなり、また多くの作業時間も必要とし、煩わしい作業となる。
【０００７】
本発明はこのような問題を解決するためになされたもので、その目的は、画像中の注目領域を自動的にトリミングするようにし、画像のトリミングを、より簡単に、かつ効果的に行える、画像編集装置、画像のトリミング方法、及びプログラムを提供することにある。
【０００８】
【課題を解決するための手段】
本発明は上記課題を解決するためになされたものであり、本発明の画像編集装置は、画像のトリミングを行う画像編集装置であって、画像のトリミング範囲を決定するための候補となる複数のテンプレートを記憶するテンプレート記憶手段と、トリミングの対象となる画像の注目領域を算出する注目領域算出手段と、前記注目領域が前記候補となる各テンプレート内に含まれる度合いまたは前記各テンプレートによって隠れる度合いを算出する注目領域誤差算出手段と、前記注目領域誤差算出手段の算出結果を基に、前記複数のテンプレートから選択するテンプレート選択手段と、前記テンプレート選択手段により選択したテンプレートにより、前記対象となる画像のトリミング処理を行うトリミング手段とを具備することを特徴とする。
【０００９】
このような構成であれば、注目領域算出手段により、トリミングする画像の注目領域を求め、テンプレート記憶手段からトリミング範囲を決定するための候補となるテンプレートを順次読み出す。そして、注目領域誤差算出手段により、トリミングする画像の注目領域が、候補となる各テンプレート内に含まれる度合い（面積）を算出する。そして、テンプレート選択手段により、注目領域が含まれる度合い（面積）が最も大きいテンプレートを選択し、該テンプレートを使用して、トリミング手段により、画像のトリミングを行う。
これにより、画像のトリミングを自動的に行うことができる。また、人間の視覚特性に応じた注目領域を算出し、トリミングするテンプレートを自動選択して、トリミングを行うことができる。
【００１０】
また、本発明の画像編集装置は、前記注目領域の中心と、前記テンプレートの中心との中心合わせを行う手段をさらに具備することを特徴とする。
このような構成であれば、トリミング範囲またはテンプレートの中心と、注目領域の中心合わせを行った後に、注目領域誤差算出手段により、注目領域がテンプレート内に含まれる度合などを算出する。
これにより、注目領域誤差算出手段による算出が適切に行える。また、注目領域が、テンプレート内に適切にはめ込まれるようにすることができる。
【００１１】
また、本発明の画像編集装置は、前記注目領域の中心を、当該注目領域を囲む矩形の対角線の交点とし、前記テンプレートの中心を、当該テンプレートを囲む矩形の対角線の交点とすることを特徴とする。
このような構成であれば、注目領域を矩形で囲み、該矩形の対角線の交点を、注目領域の中心とする。また、候補となるテンプレートを矩形で囲み、該矩形の対角線の交点を、テンプレートの中心とする。
これにより、注目領域の中心と、テンプレートの中心を容易に求めることができる。
【００１２】
また、本発明の画像編集装置は、前記注目領域算出手段により注目領域を算出する際には、最も誘目度の高い領域を基準に閾値を決定し、該閾値以上の領域を注目領域として決定する注目領域閾値手段をさらに具備することを特徴とする。
また、本発明の画像編集装置は、前記注目領域算出手段により注目領域を算出する際には、最も高い誘目度の１／２に閾値を決定し、該閾値以上の領域を注目領域として決定する注目領域閾値手段をさらに具備することを特徴とする。
このような構成であれば、注目領域閾値手段では、求められた注目領域のうち、最も誘目度が高い領域、あるいは最も高い誘目度の２分の１より高い領域のみなど、閾値を決めて、注目領域の切り取り（切り抜き）を行う。
これにより、トリミングしたい注目領域の注目度の程度を指定して、トリミングを行うことができる。
また、本発明の画像編集装置は、少なくとも、入力装置，画像装置および印刷装置のいずれかを有することを特徴とする。
【００１３】
また、本発明の画像のトリミング方法は、画像のトリミングを行う画像編集装置における画像のトリミング方法であって、画像のトリミング範囲を決定するための候補となる複数のテンプレートを記憶するテンプレート記憶手順と、トリミングの対象となる画像の注目領域を算出する注目領域算出手順と、前記注目領域が前記候補となる各テンプレート内に含まれる度合いまたは前記各テンプレートによって隠れる度合いを算出する注目領域誤差算出手順と、前記注目領域誤差算出手順の算出結果を基に、前記複数のテンプレートから選択するテンプレート選択手順と、前記テンプレート選択手順により選択したテンプレートにより、前記対象となる画像のトリミング処理を行うトリミング手順とを含むことを特徴とする。
【００１４】
このような手順であれば、注目領域算出手順により、トリミングする画像の注目領域を求め、テンプレート記憶手順からトリミング範囲を決定するための候補となるテンプレートを順次読み出す。そして、注目領域誤差算出手順により、トリミングする画像の注目領域が、候補となる各テンプレート内に含まれる度合い（面積）を算出する。そして、テンプレート選択手順により、注目領域がテンプレート内に含まれる度合い（面積）が最も大きいテンプレートを選択し、該テンプレートを使用して、トリミング手順により、画像のトリミングを行う。
これにより、画像のトリミングを自動的に行うことができる。また、人間の視覚特性に応じた注目領域を算出し、トリミングするテンプレートを自動選択して、トリミングを行うことができる。
【００１５】
また、本発明のコンピュータプログラムは、画像のトリミングを行う画像編集装置内のコンピュータに、画像のトリミング範囲を決定するための候補となる複数のテンプレートを記憶するテンプレート記憶手順と、トリミングの対象となる画像の注目領域を算出する注目領域算出手順と、前記注目領域が前記候補となる各テンプレート内に含まれる度合いまたは前記各テンプレートによって隠れる度合いを算出する注目領域誤差算出手順と、前記注目領域誤差算出手順の算出結果を基に、前記複数のテンプレートから選択するテンプレート選択手順と、前記テンプレート選択手順により選択したテンプレートにより、前記対象となる画像のトリミング処理を行うトリミング手順とを実行させるためのプログラムである。
【００１６】
【発明の実施の形態】
次に本発明の実施の形態例について図面を参照して説明する。
【００１７】
図１は、本発明の画像編集装置１００が備える手段の構成例を示すブロック図である。図１に示す画像編集装置１００に設けられた各手段は、以下に示す処理を行う。
（１）画像選択手段１０１
画像選択手段１０１は、トリミングの対象となる画像を、画像記憶手段１１０から選択するための手段である。
（２）画像読取手段１０２
画像読取手段１０２は、画像を構成する画素ごとの値（ＲＧＢ値等）を読み出すための手段である。
【００１８】
（３）注目領域算出手段１０３
注目領域算出手段１０３は、トリミングの対象となる画像の注目領域を算出するための手段であり、画像内を複数の領域に分離し、分離した領域ごとに、注目度の程度を２段階以上に区分けする。この注目領域の算出には、例えば、「特開２００１−１２６０７０号公報（注目領域抽出装置およびそれを用いた自動構図決定装置）」に開示された「誘目度」を使用することができる（誘目度については、後述する「誘目度についての補足説明」の項目で、その概要について説明する）。
【００１９】
図２は、トリミングの処理対象となる第１の画像１１を模式的に示した図であり、図３は、図２に示す画像１１の注目度（誘目度）を算出し、注目領域のパターン画像１２として模式的に示した図である。図３に示す注目領域のパターン画像１２では、注目度（誘目度）は、領域Ａが最も高く算出され、領域Ｂ、領域Ｃの順に低く算出されている。
【００２０】
図５は、トリミングの処理対象となる第２の画像を模式的に示した図であり、図６は、図５に示す画像２１の注目度（誘目度）を算出し、注目領域のパターン画像２２として模式的に示した図である。図６に示す注目領域のパターン画像２２では、注目度（誘目度）は、領域Ａが最も高く算出され、領域Ｂ、領域Ｃの順に低く算出されている。
【００２１】
（４）注目領域閾値手段１０４
注目領域閾値手段１０４は、注目領域算出手段１０３により求められた注目領域のうち、最も注目度（誘目度）が高い領域、あるいは最も高い注目度（誘目度）の２分の１より高い領域のみなど、閾値を決めて、注目領域の切り取り（切り抜き）と、領域のまとめを行うための手段である。トリミングの範囲を決定する場合など、トリミングの詳細を決める際には、この閾値処理された注目領域を用いる。
【００２２】
図４は、注目領域閾値手段１０４を使用し、図３に示した注目領域のパターン画像１２中の注目領域を、ある閾値（領域Ｂの誘目度）以上で切り取った例を示す図である。すなわち、図３に示す注目領域のパターン画像１２おいて、領域Ｂの注目度（誘目度）以上の部分を切り取ったものである。図４に示す例では、領域Ｂと領域Ａが切り取られて、領域Ａと領域Ｂがまとめられ、トリミングの対象となる注目領域１３ａ及び１３ｂとなる。さらに、閾値処理された注目領域１３ａ及び１３ｂの中心を、注目領域１３ａ及び１３ｂを囲む矩形領域１４の中心（対角線の交点ａ）とする。
【００２３】
図７は、注目領域閾値手段１０４を使用し、図６に示した注目領域のパターン画像２２中の注目領域を、ある閾値（領域Ｂの誘目度）以上で切り取った例を示す図である。図７に示す例では、図６に示す注目領域の領域Ｂと領域Ａが切り取られ、領域Ａと領域Ｂが一つにまとめられ、トリミングの対象となる注目領域２３ａとなる。さらに、閾値処理された注目領域２３ａの中心を、注目領域２３ａを囲む矩形領域２４の中心（対角線の交点ａ）とする。
【００２４】
（５）注目領域誤差算出手段１０５
注目領域誤差算出手段１０５は、閾値処理された注目領域が、トリミングに使用するテンプレートによって隠れる度合い、あるいは切り取られる度合い（テンプレート内に含まれる度合い）を算出するための手段である。この場合、注目領域は、注目領域閾値手段１０４により求めた閾値処理された注目領域であり、テンプレートは、テンプレート記憶手段１１１に記憶された候補となる各テンプレートである。
【００２５】
図８、図９及び図１０は、トリミングに使用する候補となるテンプレート３１、３２、及び３３の例を示す図であり、注目領域の誤差算出は、候補となるテンプレート３１、３２、及び３３を使用して、以下のようにして行う。
・テンプレート記憶手段１１１に記憶されたトリミングに使用する候補となるテンプレートを順次読み出す。図８、図９及び図１０に、トリミングに使用する候補となるテンプレート３１、３２、及び３３の例を示す。
・次に、図４に示す閾値処理された注目領域１３ａ及び１３ｂと、テンプレート３１、３２、及び３３のそれぞれを、中心位置を合わせて重ね合わせ、注目領域１３ａ及び１３ｂがテンプレートにより切り取られる面積（テンプレート内に含まれる面積）の程度を求める。同様にして、図７に示す閾値処理された注目領域２３ａと、テンプレート３１、３２、及び３３のそれぞれを、中心位置を合わせて重ね合わせ、注目領域２３ａが切り取られる面積（テンプレート内に含まれる面積）の程度を求める。
なお、テンプレート３１、３２、及び３３の中心を求める方法は、図４及び図７に例示した方法と同様に、テンプレートを矩形で囲み、その対角線の交点をテンプレートの中心とする。
【００２６】
（６）テンプレート選択手段１０６
テンプレート選択手段１０６は、閾値処理された注目領域がテンプレートにより切り取られる面積を比較し、注目領域の切り取られる面積（注目領域がテンプレートに含まれる面積）が最も大きなテンプレートを、トリミングに使用するテンプレートとして選択する。
例えば、図４に示す閾値処理された注目領域１３ａ及び１３ｂの画像の場合は、図８に示すテンプレート３１が選択される。同様にして、図７に示す閾値処理された注目領域２３ａの画像の場合は、図９に示すテンプレート３２が選択される。
（７）トリミング手段１０７
トリミング手段１０７は、テンプレート選択手段１０６により選択したテンプレートにより、対象となる画像のトリミング処理を行うための手段である。
（８）表示手段１０８
表示手段１０８は、トリミング結果を表示するための手段である。
（９）印刷手段１０９
印刷手段１０９は、トリミング結果を印刷するための手段である。
（１０）画像記憶手段１１０
画像記憶手段１１０は、トリミングを行う画像データ、及びトリミングを行った画像データを記憶するための手段である。
（１１）テンプレート記憶手段１１１
画像のトリミング形状を記述するテンプレート（候補となるテンプレート）を記憶するための手段である。
【００２７】
図１１は、図２に示す画像を図８に示すテンプレート３１にはめ込んだ例を示す図である。上述した各処理手段１０１乃至１０７を使用することにより、図２に示す画像１１は、図８に示すテンプレート３１にはめ込まれ、図１１に示す画像となる。
【００２８】
図１２は、図５に示す画像を図９に示すテンプレート３２にはめ込んだ例を示す図である。図５に示す画像２１は、図９に示すテンプレート３２にはめ込まれ、図１２に示す画像となる。
このようにして、本発明の画像編集装置では、人間の視覚特性に応じた注目領域を算出し、トリミングするテンプレートを自動選択して、画像のトリミング作業を行うことができる。
【００２９】
図１３は、本発明の画像編集装置における処理手順を示す図であり、テンプレートを選択して、トリミングする手順を示すフローチャートである。以下、図１３のフローチャートを参照して、本発明の画像編集装置で行われるトリミングの手順について説明する。
（１）ステップＳ１：注目領域算出手段１０３により注目度（誘目度）を算出する。
例えば、図２に示す画像１１の注目度（誘目度）を算出し、図３に示す注目領域のパターン画像１２を求める。図３に示す注目領域のパターン画像１２では、誘目度は領域Ａが最も高く算出され、領域Ｂ、領域Ｃの順に低く算出されている。
【００３０】
（２）ステップＳ２：注目領域閾値手段１０４により、閾値処理した注目度（誘目度）のパターン画像を生成する。
例えば、図３に示したパターン画像１２の注目領域をある閾値（領域Ｂの誘目度）以上で切り取る。すなわち、図３に示す注目領域のパターン画像１２おいて、領域Ｂの誘目度以上の部分を切り取り、領域Ｂと領域Ａが一つにまとめられ、図４に示す閾値処理された注目領域１３ａ及び１３ｂのパターン画像１３となる。
【００３１】
（３）ステップＳ３：閾値処理した注目領域の中心位置を求める。
例えば、図４に示すように、閾値処理された注目領域１３ａ及び１３ｂの中心を、注目領域１３ａ及び１３ｂを囲む矩形領域１４の中心（対角線の交点ａ）とする。
（４）ステップＳ４：テンプレート記憶手段１１１に記憶された、トリミングに使用する候補となるテンプレートの中から、１つのテンプレートを選択する。テンプレート記憶手段１１１に記憶された候補となるテンプレートは、例えば、図８、図９及び図１０に示すテンプレート３１、３２、及び３３などである。
（５）ステップＳ５：候補となるテンプレートの中心位置と、閾値処理された注目領域の中心位置を合わせた後、注目領域誤差算出手段１０５により閾値処理された注目領域が切り取られる程度（注目領域がテンプレート内に含まれる程度）を計算する。
例えば、図４に示す画像１３中の閾値処理された注目領域１３ａ及び１３ｂと、テンプレート３１、３２、及び３３のそれぞれを、中心位置を合わせて重ね合わせ、注目領域１３ａ及び１３ｂがテンプレートにより切り取られる面積（テンプレート内に含まれる面積）の程度を求める。
（６）ステップＳ６：全ての候補となるテンプレートについて、閾値処理された注目領域がテンプレートにより切り取られる程度を計算したかどうかをチェックする。
（７）ステップＳ7：テンプレート選択手段１０６により、注目領域がテンプレートにより切り取られる面積（テンプレート内に含まれる面積）の最も大きなテンプレートを選択する。
例えば、図４に示す閾値処理された注目領域１３ａ及び１３ｂの場合は、図８に示すテンプレート３１が選択される。
（８）ステップＳ８：求めたテンプレートを使用して、処理対象となる画像をテンプレートにはめ込み、またはテンプレートによる切り取りを行う。
例えば、図２に示す画像は、図８に示すテンプレート３１にはめ込まれ、図１１に示す画像となる。
（９）ステップＳ９：トリミング結果の表示または印刷を行う。
【００３２】
図１４は、本発明の画像編集装置の構成例を示すブロック図であり、本発明に直接関係する部分についてのみ示したものである。図１４において、１００は画像編集装置、１はインターネット網などの通信ネットワーク、１１４は画像編集装置と通信ネットワーク１とを接続する通信用インタフェース、１１５は画像編集装置全体を統括制御する制御部、１２０は処理プログラム部を示している。なお、本発明による画像編集装置は、ＰＣ（パーソナルコンピュータ）を使用しても実現できるものである。
【００３３】
また、処理プログラム部１２０には、以下の処理部が含まれている。
・画像選択処理部１２１は、画像データベース１１２からトリミングを行う対象となる画像を選び出すための処理部である。
・画像読取処理部１２２は、トリミングを行う対象となる画像を構成する画素ごとの値（ＲＧＢ値等）を読み出すための処理部である。
・注目領域算出処理部１２３は、トリミングを行う対象となる画像の注目領域を算出するための処理部である。画像内を複数の領域に分離し、分離した領域ごとに、注目度の程度を２段階以上に区分けする。この注目領域の算出には、例えば、「特開２００１−１２６０７０号公報（注目領域抽出装置およびそれを用いた自動構図決定装置）」に開示された「誘目度」を使用することができる。
【００３４】
・注目領域閾値処理部１２４は、注目領域算出処理部１２３により求められた注目領域のうち、最も誘目度が高い領域、あるいは最も高い誘目度の２分の１より高い領域のみなど、閾値を決めて、注目領域の切り取り（切り抜き）を行い、切り取った注目領域を一つにまとめるための処理部である。
・注目領域誤差算出処理部１２５は、閾値処理された注目領域が、トリミングに使用するテンプレートによって隠れる度合い、あるいは切り取られる度合い（テンプレート内に含まれる度合い）を算出するための処理部である。この場合、注目領域は、注目領域閾値処理部１２４により求めた注目領域であり、テンプレートは、テンプレートデータベース１１３に記憶された候補となる各テンプレートである。
【００３５】
・テンプレート選択処理部１２６は、閾値処理された注目領域がテンプレートにより切り取られる面積を比較し、注目領域の切り取られる面積（注目領域がテンプレート内に含まれる面積）が最も大きなテンプレートを、トリミングに使用するテンプレートとして選択するための処理部である。
・トリミング処理部１２７は、テンプレート選択処理部１２６で選択したテンプレートにより、対象となる画像のトリミングを行うための処理部である。
・表示処理部１２８は、表示装置にトリミングした結果を表示するための処理部である。
・印刷処理部１２９は、トリミングした結果を印刷するための処理部である。
また、画像データベース１１２には、トリミングを行う画像データ、及びトリミングを行った画像データが記憶される。また、テンプレートデータベース１１３には、候補となるテンプレートのデータが記憶される。
【００３６】
なお、この処理プログラム部１２０は専用のハードウエアにより実現されるものであってもよく、またこの処理プログラム部はメモリおよびＣＰＵ（中央処理装置）等の汎用の情報処理装置により構成され、この処理部の機能を実現するためのプログラム（図示せず）をメモリにロードして実行することによりその機能を実現させるものであってもよい。また、この画像編集装置１００には、周辺機器として入力装置、表示装置、印刷装置等（いずれも図示せず）が接続されているものとする。ここで、入力装置としては、キーボード、マウス等の入力デバイスのことをいう。表示装置とは、ＣＲＴ（Cathode Ray Tube）や液晶表示装置等のことをいう。印刷装置とは、レーザープリンタ、インクジェットプリンタ等のことをいう。
【００３７】
また、図１４に示す画像編集装置１００の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより本発明の画像編集装置１００に必要な処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）を含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの(伝送媒体ないしは伝送波)、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。
また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【００３８】
以上、本発明の実施の形態について説明したが、本発明の画像編集装置は、上述の図示例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
【００３９】
［誘目度についての補足説明］
本発明の実施の形態では、注目領域の抽出基準として「誘目度」を使用しているが、この「誘目度」の算出方法の一例が、「特開２００１−１２６０７０号公報（注目領域抽出装置およびそれを用いた自動構図決定装置）に詳細に開示されている。
ここでは、その概要についてだけ説明する。
注目領域の抽出のために、原画像の物理的特徴に従って誘目度を評価する。ここで、誘目度とは、人間の主観に合ったパラメータをいう。注目領域の抽出は、評価結果から一番目立つ領域を注目領域として抽出する。つまり、注目領域の評価の際は、物理的特徴に従って人間の主観に合った評価をするので、人間の主観に適合した注目領域を抽出することができる。
例えば、物理的特徴が色の異質度を含む場合、各領域の色の違いに基づいて誘目度を評価することができる。
また、物理的特徴が、色の異質度に加えて、形の異質度、面積の異質度およびテクスチャ（模様）の異質度をさらに含むので、この４つの異質度の少なくとも１つの異質度に基づいて誘目度を評価すれば、原画像の特徴に応じて的確に誘目度を評価することができる。
また、色の３要素（色相、彩度、明度）についても評価する場合であれば、人間の主観による目立つ色（赤色）に近い領域を最も目立つ領域と評価することができる。
さらに、空間周波数や原画像における各領域の面積についても評価すれば、最も目立つ領域の評価をさらに的確に判断することができる。
【００４０】
また、誘目度の評価は、以下の手順により行う。
（１）最初に原画像を領域分割する。この場合、原画像を図領域と絵領域に分割する。この領域分割の方法には、１９９７ＩＥＥＥにおいてW.Y.MaやB.S.Manjunath らが「Edge Flow:A Framework of Boundary Detection and Image Segmentation」に記載した“edge flow ”に基づく境界検出方法が適用される。
（２）次に、分割した図領域を抽出し、領域の誘目度を評価する。
この誘目度の評価は、概略以下のようにして行う。
・最初に各領域の異質性誘目度を求める。この場合、色の異質度、テクスチャの異質度、形の異質度および面積の異質度を各々求め、それぞれに重み係数を付与して線形結合し、各領域の異質性誘目度を求める。
・次に、各領域における特徴誘目度を求める。この場合、色の誘目度、空間周波数の誘目度、面積の誘目度を求め、それぞれに重み係数を付与して線形結合し、各領域の特徴誘目度を求める。
・次に、各領域の異質性誘目度と特徴誘目度を加算し、特徴量統合値を求め、この特徴量統合値を、所定のベータ関数により評価して、誘目度を算出する。
（３）また、原画像から誘目度を評価したパターン図を生成する。
【図面の簡単な説明】
【図１】 本発明の画像編集装置が備える手段の構成例を示す図。
【図２】 トリミング処理の対象となる第１の画像を模式的に示した図。
【図３】 図２に示す画像の注目領域（誘目度）を模式的に示した図。
【図４】 図３に示す注目領域をある閾値以上で切り取った例を示す図。
【図５】 トリミング処理の対象となる第２の画像を模式的に示した図。
【図６】 図５に示す画像の注目領域（誘目度）を模式的に示した図。
【図７】 図６に示す注目領域をある閾値以上で切り取った例を示す図。
【図８】 トリミングに使う第１のテンプレートの例を示す図。
【図９】 トリミングに使う第２のテンプレートの例を示す図。
【図１０】 トリミングに使う第３のテンプレートの例を示す図。
【図１１】 図２の画像を図８のテンプレートにはめ込んだ例を示す図。
【図１２】 図５の画像を図９のテンプレートにはめ込んだ例を示す図。
【図１３】 本発明の画像編集装置における処理手順を示す図。
【図１４】 本発明の画像編集装置の構成例を示すブロック図。
【符号の説明】
１００ 画像編集装置、１０１ 画像選択手段、１０２画像読取手段
１０３ 注目領域算出手段、１０４ 注目領域閾値手段
１０５ 注目領域誤差算出手段、１０６ テンプレート選択手段
１０７ トリミング手段、１０８ 表示手段、１０９ 印刷手段
１１０ 画像記憶手段、１１１ テンプレート記憶手段
Claims (8)
- 画像のトリミングを行う画像編集装置であって、
画像のトリミング範囲を決定するための候補となる複数のテンプレートを記憶するテンプレート記憶手段と、
トリミングの対象となる画像の注目領域を算出する注目領域算出手段と、
前記注目領域が前記候補となる各テンプレート内に含まれる度合いまたは前記各テンプレートによって隠れる度合いを算出する注目領域誤差算出手段と、
前記注目領域誤差算出手段の算出結果を基に、前記複数のテンプレートから選択するテンプレート選択手段と、
前記テンプレート選択手段により選択したテンプレートにより、前記対象となる画像のトリミング処理を行うトリミング手段と
を具備することを特徴とする画像編集装置。 - 前記注目領域の中心と、前記テンプレートの中心との中心合わせを行う手段を
さらに具備することを特徴とする請求項１に記載の画像編集装置。 - 前記注目領域の中心を、当該注目領域を囲む矩形の対角線の交点とし、前記テンプレートの中心を、当該テンプレートを囲む矩形の対角線の交点とすること
を特徴とする請求項２に記載の画像編集装置。 - 前記注目領域算出手段により注目領域を算出する際には、最も誘目度の高い領域を基準に閾値を決定し、該閾値以上の領域を注目領域として決定する注目領域閾値手段を
さらに具備することを特徴とする請求項１から３のいずれかに記載の画像編集装置。 - 前記注目領域算出手段により注目領域を算出する際には、最も高い誘目度の１／２に閾値を決定し、該閾値以上の領域を注目領域として決定する注目領域閾値手段を
さらに具備することを特徴とする請求項１から３のいずれかに記載の画像編集装置。 - 少なくとも、入力装置，画像装置および印刷装置のいずれかを有することを特徴とする請求項１から請求項５のいずれかに記載の画像編集装置。
- 画像のトリミングを行う画像編集装置における画像のトリミング方法であって、
画像のトリミング範囲を決定するための候補となる複数のテンプレートを記憶するテンプレート記憶手順と、
トリミングの対象となる画像の注目領域を算出する注目領域算出手順と、
前記注目領域が前記候補となる各テンプレート内に含まれる度合いまたは前記各テンプレートによって隠れる度合いを算出する注目領域誤差算出手順と、
前記注目領域誤差算出手順の算出結果を基に、前記複数のテンプレートから選択するテンプレート選択手順と、
前記テンプレート選択手順により選択したテンプレートにより、前記対象となる画像のトリミング処理を行うトリミング手順と
を含むことを特徴とする画像のトリミング方法。 - 画像のトリミングを行う画像編集装置内のコンピュータに、
画像のトリミング範囲を決定するための候補となる複数のテンプレートを記憶するテンプレート記憶手順と、
トリミングの対象となる画像の注目領域を算出する注目領域算出手順と、
前記注目領域が前記候補となる各テンプレート内に含まれる度合いまたは前記各テンプレートによって隠れる度合いを算出する注目領域誤差算出手順と、
前記注目領域誤差算出手順の算出結果を基に、前記複数のテンプレートから選択するテンプレート選択手順と、
前記テンプレート選択手順により選択したテンプレートにより、前記対象となる画像のトリミング処理を行うトリミング手順と
を実行させるためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003015104A JP3719247B2 (ja) | 2003-01-23 | 2003-01-23 | 画像編集装置、画像のトリミング方法、及びプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003015104A JP3719247B2 (ja) | 2003-01-23 | 2003-01-23 | 画像編集装置、画像のトリミング方法、及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004228993A JP2004228993A (ja) | 2004-08-12 |
| JP3719247B2 true JP3719247B2 (ja) | 2005-11-24 |
Family
ID=32902949
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003015104A Expired - Lifetime JP3719247B2 (ja) | 2003-01-23 | 2003-01-23 | 画像編集装置、画像のトリミング方法、及びプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3719247B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8306331B2 (en) | 2006-09-11 | 2012-11-06 | Sony Corporation | Image processing apparatus and method, and program |
| US8467580B2 (en) | 2006-09-11 | 2013-06-18 | Sony Corporation | Image data processing apparatus, method, program and recording medium |
-
2003
- 2003-01-23 JP JP2003015104A patent/JP3719247B2/ja not_active Expired - Lifetime
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8306331B2 (en) | 2006-09-11 | 2012-11-06 | Sony Corporation | Image processing apparatus and method, and program |
| US8467580B2 (en) | 2006-09-11 | 2013-06-18 | Sony Corporation | Image data processing apparatus, method, program and recording medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004228993A (ja) | 2004-08-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3690391B2 (ja) | 画像編集装置、画像のトリミング方法、及びプログラム | |
| US7421154B2 (en) | Image processing method | |
| JP4643812B2 (ja) | ディジタル的な自動テキスト配置方法 | |
| US8139826B2 (en) | Device and method for creating photo album | |
| US8300064B2 (en) | Apparatus and method for forming a combined image by combining images in a template | |
| CN105787872B (zh) | 图像处理装置、图像处理装置的控制方法 | |
| JPH11328380A (ja) | 画像処理装置、画像処理方法およびその方法をコンピュ―タに実行させるプログラムを記録したコンピュ―タ読み取り可能な記録媒体 | |
| JP2000069304A (ja) | 画像データ管理装置、画像データ管理方法および画像データ管理プログラムを記録した媒体 | |
| US7586524B2 (en) | Apparatus, method, and program for editing images | |
| EP1431921A2 (en) | Image layout processing apparatus, method, and program | |
| JP4052128B2 (ja) | 画像トリミング装置、画像のトリミング方法、及びプログラム | |
| JP2010244398A (ja) | 画像処理装置および画像処理プログラム | |
| JP4348956B2 (ja) | 画像レイアウト装置、画像レイアウト方法、画像レイアウト装置におけるプログラム | |
| JP3719247B2 (ja) | 画像編集装置、画像のトリミング方法、及びプログラム | |
| JP4057102B2 (ja) | デジタル画像の連接型レンダリング方法 | |
| US20040164982A1 (en) | Method and apparatus for editing three-dimensional model, and computer readable medium | |
| JP5158974B2 (ja) | 注目領域抽出方法、プログラム、及び、画像評価装置 | |
| JP4817882B2 (ja) | 画像処理方法及び画像処理装置 | |
| US6782141B1 (en) | Ordering a plurality of objects | |
| JP2004192121A (ja) | 画像検索装置、画像分類方法、画像検索方法、及びプログラム | |
| JP4507673B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
| JP3492990B2 (ja) | 画像処理装置及び画像処理方法並びに記録媒体 | |
| JP2006350462A (ja) | アルバム画像作成装置、及びアルバム画像作成プログラム | |
| JP2008159049A (ja) | 画像記録システム | |
| JPH0722326B2 (ja) | 切抜きマスク作成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050128 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050301 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050413 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20050414 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050816 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050829 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080916 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090916 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090916 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100916 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100916 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110916 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120916 Year of fee payment: 7 |