JP6720509B2 - 画像評価装置、画像評価方法及びプログラム - Google Patents

Description

本発明は、画像評価装置、画像評価方法及びプログラムに関する。

従来、撮影した動画像から、重要と思われるフレーム画像を検出し、静止画像として取得する技術が広く知られている。このような技術では、撮影した動画像から重要なシーンのフレーム画像を静止画像として取得する技術がある（特許文献１参照）。

特開２００５−１９１７７０号公報

しかしながら、重要なシーンを複数取得して連続して表示する場合には、重要なシーンであったとしても同じような柄や構図が続くと冗長な印象となってしまうという問題がある。

本発明は、このような状況に鑑みてなされたものであり、複数の画像間の類似度を容易に評価することを目的とする。

上記目的を達成するため、本発明の一態様の画像評価装置は、
複数の評価基準に基づき、画像の特徴を示す特徴量を算出する特徴量算出手段と、
前記特徴量算出手段により算出された前記特徴量に基づき、複数の画像間の類似度を算出する際に、前記類似度を算出する複数の画像各々の前記特徴量を算出するために使用された前記評価基準が異なる場合に、当該複数の画像間で前記評価基準を整合させる評価基準整合手段と、
所定の配列基準で配列されている複数の画像から、前記特徴量算出手段により算出された前記特徴量に基づく画像の評価値が所定の閾値以上である画像を選択する選択手段と、
前記評価基準整合手段により整合された前記評価基準に基づく特徴量により、前記選択手段により選択される画像であって、配列順が近接する２の画像の類似度を算出する類似度算出手段と、
前記類似度算出手段により算出される類似度に基づき、前記特徴量算出手段により算出された前記特徴量に基づく画像の評価値を補正する評価値補正手段と、
を備えることを特徴とする。

本発明によれば、複数の画像間の類似度を容易に評価することが可能となる。

本発明の一実施形態に係る撮影装置のハードウェアの構成を示すブロック図である。 図１の撮影装置１の機能的構成のうち、画像評価処理を実行するための機能的構成を示す機能ブロック図である。 画像評価処理において、画像の特徴量から非類似度が算出される過程の概念を示す模式図である。 図４（ａ）は、画像評価処理において選択される画像の再生時間及び画像スコアの一例を示す図である。図４（ｂ）は、画像評価処理において、より画像スコアの高い画像を選択するために設定される画像の組み合わせ（配列）の一例を示す模式図である。図４（ｃ）は、画像間の非類似度の一例を示す模式図である。図４（ｄ）は、画像評価処理において、図４（ｃ）の非類似度により図４（ａ）の画像スコアを補正して評価を行った場合の一例を示す模式図である。 図２の機能的構成を有する図１の撮影装置が実行する画像評価処理の流れを説明するフローチャートである。 候補画像群の特徴量の値と、存在割合（度数）との関係を示す模式図である。 ある特徴量についての候補画像群の非類似度の値と、存在割合（度数）との関係を示す模式図である。

以下、本発明の実施形態について、図面を用いて説明する。

［構成］
［ハードウェア構成］
図１は、本発明の一実施形態に係る撮影装置１のハードウェアの構成を示すブロック図である。
撮影装置１は、例えば、デジタルカメラとして構成される。

撮影装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、撮像部１６と、センサ部１７と、入力部１８と、出力部１９と、記憶部２０と、通信部２１と、ドライブ２２と、を備えている。

ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、または、記憶部２０からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。

ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、撮像部１６、センサ部１７、入力部１８、出力部１９、記憶部２０、通信部２１及びドライブ２２が接続されている。

撮像部１６は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。

光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。

イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、デジタル信号が生成され、撮像部１６の出力信号が撮影画像のデータとして出力される。撮影画像のデータは、ＣＰＵ１１や図示しない画像処理部等に適宜供給され、撮影画像が生成される。

センサ部１７は、加速度、角速度等の装置の姿勢に関する情報を取得可能な各種センサにより構成される。なお、センサ部を構成する各種センサは、地磁気センサ、気圧センサ等でもよく、取得する情報は装置の姿勢に関する情報には限られない。

入力部１８は、各種釦等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部１９は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。

記憶部２０は、ハードディスクあるいはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。

通信部２１は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。

ドライブ２２には、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２２によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部２０にインストールされる。また、リムーバブルメディア３１は、記憶部２０に記憶されている画像のデータ等の各種データも、記憶部２０と同様に記憶することができる。

［機能的構成］
図２は、このような撮影装置１の機能的構成のうち、画像評価処理を実行するための機能的構成を示す機能ブロック図である。
画像評価処理とは、評価対象となる画像が有する特徴量の種類（評価基準）の相違を整合させて、特徴量に基づく非類似度を算出し、複数の画像間の非類似度を加味して画像を評価する一連の処理をいう。非類似度が高いほど、同じような柄や構図ではない画像となるため、連続して表示しても、冗長になりにくくなる。
また、図３は、画像評価処理において、画像の特徴量から非類似度が算出される過程の概念を示す模式図である。
図３においては、画像ｉ及び画像ｊについて、所定の特徴量Ｃｖが算出されており、共通して算出されている特徴量Ｃｖについては、それらの非類似度Ｄｆ（ここでは特徴量の差分の絶対値とする）が算出されている。また、各特徴量Ｃｖには、各々重みＷｔが設定されている。

本願の実施形態では、画像１、画像２、画像３、画像４の順に撮影された４枚の画像の中から、画像評価処理において選択される複数の画像の各々を、後述する画像スコアに応じた再生時間分ずつ連結させた動画であるハイライトムービーを生成する場合を例として、算出された非類似度が低い画像が選択されにくくするように、非類似度に応じて、画像スコアを補正することを特徴としている。図４（ａ）は、画像評価処理において選択される画像の再生時間及び画像スコアの一例を示す図であり、画像スコアが高いほど再生時間が長く設定されている。図４（ｂ）は、画像評価処理において、より画像スコアの高い画像を選択するために設定される画像の組み合わせ（配列）の一例を示す模式図である。図４（ｃ）は、画像間の非類似度の一例を示す模式図である。図４（ｄ）は、画像評価処理において、図４（ｃ）の非類似度により図４（ａ）の画像スコアを補正して評価を行った場合の一例を示す模式図である。
以下、図３及び図４を適宜参照しながら、撮影装置１の機能的構成について説明する。

画像評価処理が実行される場合には、図２に示すように、ＣＰＵ１１において、特徴量算出部５１と、スコア算出部５２と、評価基準整合部５３と、非類似度算出部５４と、スコア補正部５５と、画像選択部５６とが機能する。
また、記憶部２０の一領域には、画像記憶部７１が設定される。
画像記憶部７１には、画像評価処理において評価の対象となる候補画像のデータが記憶される。候補画像のデータには、撮影時に取得された各種センサの情報（加速度情報あるいは角速度情報等）及び撮影パラメータ等の付帯情報が含まれている。

特徴量算出部５１は、画像の撮影時のセンサ情報（加速度情報や角速度情報）、画像解析結果（顔等の特定の被写体の有無等）、及び使用状況に関する情報（再生回数やＳＮＳへのアップロード情報等）の属性情報に基づいて、評価対象となる画像（以下、「候補画像」ともいう。）の特徴量（図３の特徴量Ｃｖ参照）を算出する。

スコア算出部５２は、各画像の特徴量に基づいて、各画像の価値としてスコア（以下、「画像スコア」という。）を設定する。なお、画像スコアは、人の主観に基づいて特徴量算出に用いた項目に応じて一義的に設定してもよいし、主観的な評価結果を教師データとして機械学習に基づいて特徴量の項目の各々に重み付けをして、重み付けに応じて、総合的に設定してもよい。この画像スコアは、複数の画像を動画として連結させたハイライトムービー等を生成するために候補画像を選択する際の評価値として用いられる。

評価基準整合部５３は、特徴量に基づく複数の画像間の非類似度を算出するために、評価対象となる複数の画像について算出された特徴量の種類（評価基準）の相違を整合させる。
具体的には、評価基準整合部５３は、評価対象となる複数の画像について算出された特徴量の種類が異なる場合に、これら複数の画像について共通に算出されている特徴量を用いて非類似度が算出可能となるように、評価基準の整合を行う。
例えば、図３において、画像ｉと画像ｊとでは、算出されている特徴量Ｃｖとして、特徴量Ａ，Ｃ，Ｄ，Ｆが共通する一方、特徴量Ｂは画像ｉのみについて算出されている。なお、特徴量Ｅについては、画像ｉ及び画像ｊともに算出されていない。
この場合、画像の総合的な非類似度Ｄｔを算出するために有効な特徴量Ｃｖは、特徴量Ａ，Ｃ，Ｄ，Ｆとなる。
そのため、評価基準整合部５３は、特徴量Ａ，Ｃ，Ｄ，Ｆに設定されている重みＷｔを参照して、重み付き非類似度Ｄｗを算出する。
具体的には、評価基準整合部５３は、非類似度Ｄｆとその特徴量の重みＷｔとを乗算することにより、重み付き非類似度Ｄｗを算出する。
すると、図３に示すように、特徴量Ａ，Ｃ，Ｄ，Ｆについて、重み付き非類似度Ｄｗが各々算出される。
これにより、整合された評価基準として、有効な特徴量Ｃｖの重み付き非類似度Ｄｗが算出される。
なお、本実施形態では、評価基準整合部５３は、後述する画像選択部５６によって設定される候補画像の組み合わせにおいて、隣接する２つの候補画像を対象として、評価基準の相違を整合させる。

非類似度算出部５４は、有効な特徴量の重みの和を全ての特徴量の重みの和で除算した値を補正係数として、重み付き非類似度を正規化し、複数の画像間の総合的な非類似度を算出する。
例えば、非類似度算出部５４は、図３における有効な特徴量の重みＷｔの和（０．６５）を全ての特徴量の重みＷｔの和（１．０）で除算した値（補正係数）によって、重み付き非類似度Ｄｗの合計（０．０９５）を除算することにより、画像ｉと画像ｊとの総合的な非類似度Ｄｔを算出する。

スコア補正部５５は、非類似度算出部５４によって算出された非類似度に基づいて、スコア算出部５２によって算出された画像スコアを補正する。
具体的には、スコア補正部５５は、非類似度が低い（即ち、類似度が高い）候補画像については、それらのうち１つの画像スコアを維持すると共に、他の候補画像の画像スコアを非類似度に応じて、低くなるように補正する。
これにより、類似する候補画像が複数選ばれることを抑制できる。

画像選択部５６は、ハイライトムービー等の動画の合計再生時間（ここでは６秒）を最大として、合計再生時間内に収まり、かつ、画像の撮影順を維持して選択される画像の組み合わせにおいて、積算スコアが最大の組み合わせとなる経路を探索する。
図４（ｂ）では、縦軸が画像番号（撮影順）、横軸が再生時間のマトリクスにおいて、動画の合計再生時間を最大として、合計再生時間内に収まり、かつ、画像の撮影順を維持して選択される画像の組み合わせが設定されている。マトリクスに配列された各数値は、画像１〜画像４の各々を１番目に選択される画像として、各画像の画像スコアを積算したスコア（以下、「積算スコア」という。）が最も高い値となる経路を表している。
（１）画像１を１番目として、画像２、画像３を選択する場合は、再生時間６秒、積算スコアは、画像１の画像スコア８＋画像２の画像スコア５＋画像３の画像スコア１０＝２３
となり、同様にして、
（２）画像２を１番目として、画像３、画像４を選択する場合は、再生時間６秒、積算スコアは、５＋１０＋６＝２１
（３）画像３を１番目として、画像４を選択する場合は、再生時間５秒、積算スコアは、１０＋６＝１６
（４）画像４を１番目として選択する場合は、再生時間２秒、積算スコアは６
となるため、画像１、画像２、画像３を選択する経路が最適な経路となることを示している。

そして、画像選択部５６は、スコア補正部５５による画像スコアの補正が行われる場合には、補正が行われた後の画像スコアに基づいて、組み合わせに含まれる画像の積算スコアが最大となる組み合わせを採用し、その組み合わせに含まれる候補画像を動画の生成のための画像として選択する。
図４（ｄ）では、図４（ｂ）と同様に、縦軸が画像番号（撮影順）、横軸が再生時間のマトリクスにおいて、動画の合計再生時間を最大として、合計再生時間内に収まり、かつ、画像の撮影順を維持して選択される画像の組み合わせが設定されているが、図４（ｂ）とは、積算スコアを算出するための各画像の画像スコアを図４（ｃ）で示される非類似度で補正している点で異なる。
（１）画像１を１番目として、画像２、画像３を選択する場合は、再生時間６秒、積算スコアは、画像１の画像スコア８＋画像２の画像スコア５×画像１と画像２の間の非類似度０．３＋画像３の画像スコア１０×画像２と画像３の間の非類似度０．７＝１６．５
となり、同様にして、
（２）画像２を１番目として、画像３、画像４を選択する場合は、再生時間６秒、積算スコアは、５＋１０×０．７＋６×０．９＝１７．４
（３）画像３を１番目として、画像４を選択する場合は、再生時間５秒、積算スコアは、１０＋６×０．９＝１５．４
（４）画像４を１番目として選択する場合は、再生時間２秒、積算スコアは６
となるため、図４（ｂ）と異なり、画像２、画像３、画像４を選択する経路が最適な経路となることを示している。
本実施形態において、画像選択部５６は、図４（ｂ）（ｄ）に示すように、動画の合計再生時間を最大として、合計再生時間内に収まり、かつ、画像の撮影順を維持して選択される画像の組み合わせ（配列）を設定する。このとき、画像選択部５６は、画像スコアが所定の閾値以上である画像を選択して、画像の組み合わせを設定することができる。ただし、全ての画像を対象として、画像の組み合わせを設定してもよい。

［動作］
図５は、図２の機能的構成を有する図１の撮影装置１が実行する画像評価処理の流れを説明するフローチャートである。
画像評価処理は、ユーザによる入力部１８への画像評価処理開始の操作により開始される。

ステップＳ１において、特徴量算出部５１は、画像記憶部７１から動画を生成するための評価の対象となる候補画像（ここでは、画像１〜画像４）を読み出し、各候補画像の特徴量を算出する。

ステップＳ２において、スコア算出部５２は、特徴量算出部５１により算出された各候補画像の特徴量に基づいて、各候補画像の画像スコアを算出する。

ステップＳ３において、評価基準整合部５３は、候補画像の組み合わせ各々に、算出された特徴量の種類（評価基準）の相違を整合させる。これにより、図３に示すように、整合された評価基準として、有効な特徴量Ｃｖの重み付き非類似度Ｄｗが算出される。ここでは、画像１と画像２、画像１と画像３、画像１と画像４、画像２と画像３、画像２と画像４、画像３と画像４の組み合わせ各々で、重み付き非類似度Ｄｗを算出する。

ステップＳ４において、非類似度算出部５４は、有効な特徴量の重みの和を全ての特徴量の重みの和で除算した値を補正係数として、重み付き非類似度を正規化し、複数の画像間の総合的な非類似度を算出する。これにより、図３に示すように、画像選択部５６によって設定された画像の組み合わせにおいて、画像ｉと画像ｊとの総合的な非類似度Ｄｔが算出され、図４（ｃ）に示すように画像１と画像２、画像１と画像３、画像１と画像４、画像２と画像３、画像２と画像４、画像３と画像４の組み合わせ各々で、総合的な非類似度Ｄｔを算出する。

ステップＳ５において、画像選択部５６は、スコア補正部５５が非類似度算出部５４によって算出された非類似度に基づいて、スコア算出部５２によって算出された画像スコアを補正した後の画像スコアに基づいて、組み合わせに含まれる画像の積算スコアが最大となる組み合わせを採用し、その組み合わせに含まれる候補画像を動画の生成のための画像として選択する。
ステップＳ５の後、画像評価処理は終了する。
このように選択された画像を用いて、撮影装置１あるいは他の装置において、ハイライトムービー等の動画が生成される。

このような処理により、評価対象となる複数の画像について算出された特徴量の種類（評価基準）が異なる場合に、これら複数の画像について共通に算出されている特徴量を用いて非類似度を算出することができる。
したがって、複数の画像間の類似度を容易に評価することができ、動画像や時間的に連続する静止画像群等の連続する画像から複数の重要な画像を、冗長性を排除するように抽出することが可能となる。

［変形例１］
第１実施形態において、評価対象となる複数の画像について算出された特徴量の種類（評価基準）が異なる場合に、これら複数の画像について共通に算出されている特徴量を用いて非類似度を算出するものとした。これに対し、変形例１においては、評価対象となる複数の画像について算出された特徴量の種類が異なる場合に、一方の画像には存在しない特徴量については、代替の特徴量を用いて非類似度を算出する。
この場合、例えば、特徴量毎に候補画像群の統計を取り、その特徴量を有していない候補画像については、候補画像群の統計として取得された値によって代替する。
図６は、候補画像群の特徴量の値と、存在割合（度数）との関係を示す模式図である。
なお、図６においては、候補画像群における特徴量の平均を統計として取得した例を示している。
図６に示すように、候補画像群における特徴量の平均値を取得し、その特徴量を有していない候補画像の非類似度を算出する場合、評価基準整合部５３は、その候補画像については、特徴量として候補画像群の平均値を用いることにより、評価基準の整合を行う。
これにより、評価対象となる複数の画像について算出された特徴量の種類が異なる場合にも、評価基準を整合させて、複数の画像間の総合的な非類似度を算出することが可能となる。
なお、代替の特徴量としては、候補画像群の統計として取得された値の他、これまでに撮影された画像の統計（例えば、個人毎あるいは撮影装置１毎の統計）として取得された値や、撮影された画像における一般的な統計として取得された値を用いることが可能である。

［変形例２］
変形例１においては、評価対象となる複数の画像について算出された特徴量の種類が異なる場合に、一方の画像には存在しない特徴量については、代替の特徴量を用いて非類似度を算出する。これに対し、変形例２においては、評価対象となる複数の画像について算出された特徴量の種類が異なる場合に、一方の画像には存在しない特徴量については、その特徴量の非類似度として代替の非類似度を用いる。
この場合、例えば、他の候補画像との非類似度について、特徴量毎に候補画像群の統計を取り、その特徴量を有していない候補画像との非類似度については、候補画像群の統計として取得された非類似度によって代替する。
図７は、ある特徴量についての候補画像群の非類似度の値と、存在割合（度数）との関係を示す模式図である。
なお、図７においては、ある特徴量について候補画像群の非類似度の平均を統計として取得した例を示している。
図７に示すように、ある特徴量について候補画像群の非類似度の平均値を取得し、その特徴量を有していない候補画像の非類似度については、評価基準整合部５３は、候補画像群の平均値を用いることにより、評価基準の整合を行う。
これにより、評価対象となる複数の画像について算出された特徴量の種類が異なる場合にも、評価基準を整合させて、複数の画像間の総合的な非類似度を算出することが可能となる。
なお、代替の非類似度としては、候補画像群の統計として取得された値の他、これまでに撮影された画像の統計（例えば、個人毎あるいは撮影装置１毎の統計）として取得された値や、撮影された画像における一般的な統計として取得された値を用いることが可能である。

なお、上述の実施形態では、非類似度を算出して、非類似度が低いほど類似する画像の評価を低下させる構成としているが、これに限られず、相関関係にある類似度を算出して、類似度が高いほど類似する画像の評価を低下させる構成としてしてもよい。

以上のように構成される撮影装置１は、特徴量算出部５１と、評価基準整合部５３と、非類似度算出部５４とを備える。
特徴量算出部５１は、複数の評価基準に基づき、画像の特徴を示す特徴量を算出する。
評価基準整合部５３は、特徴量算出部５１により算出された特徴量に基づき、複数の画像間の非類似度（類似度）を算出するために、当該複数の画像間で評価基準を整合させる。
非類似度算出部５４は、評価基準整合部５３により整合された評価基準に基づく特徴量により、複数の画像間の非類似度（類似度）を算出する。
これにより、評価対象となる複数の画像が有する特徴量の種類（評価基準）が異なる場合に、これら複数の画像について評価基準を整合させて、画像間の非類似度（類似度）を算出することができる。
したがって、複数の画像間の非類似度（類似度）を容易に評価することが可能となる。

評価基準整合部５３は、非類似度（類似度）を算出する複数の画像各々の特徴量を算出するために使用された評価基準が異なる場合に、非類似度（類似度）を算出するための評価基準として、共通して使用された評価基準を選択して整合する。
これにより、評価対象となる複数の画像について算出された特徴量の種類（評価基準）が異なる場合に、これら複数の画像について共通に算出されている特徴量を用いて非類似度（類似度）を算出することができる。

評価基準整合部５３は、非類似度（類似度）を算出する複数の画像各々の特徴量を算出するために使用された評価基準が異なる場合に、非類似度（類似度）を算出するための評価基準として、使用されなかった評価基準には代替となる特徴量を使用する。
これにより、評価対象となる複数の画像が有する特徴量の種類が異なる場合にも、代替となる特徴量によって評価基準を整合させて、複数の画像間の非類似度（類似度）を算出することが可能となる。

評価基準整合部５３は、非類似度（類似度）を算出する複数の画像各々の特徴量を算出するために使用された評価基準が異なる場合に、非類似度（類似度）を算出するための評価基準として、使用されなかった評価基準には代替となる非類似度（類似度）を使用する。
これにより、評価対象となる複数の画像が有する特徴量の種類が異なる場合にも、代替となる非類似度（類似度）によって評価基準を整合させて、複数の画像間の非類似度（類似度）を算出することが可能となる。

複数の評価基準の各々には重みが対応付けられる。
非類似度算出部５４は、複数の評価基準毎の特徴量に対応する重みを加味して、非類似度（類似度）を算出する。
これにより、特徴量の影響を適切に反映させて、非類似度（類似度）を算出することができる。

また、撮影装置１は、画像選択部５６と、スコア補正部５５とを更に備える。
画像選択部５６は、所定の配列基準で配列されている複数の画像から、特徴量算出部５１により算出された特徴量が所定の閾値以上である画像を選択する。
非類似度算出部５４は、画像選択部５６により選択される画像であって、配列順が近接する２の画像の特徴量の非類似度（類似度）を算出する。
スコア補正部５５は、非類似度算出部５４により算出される非類似度（類似度）に基づき、特徴量算出部５１により算出された特徴量に基づく画像の評価値を補正する。
これにより、配列順が近接する２の画像の特徴量の非類似度（類似度）に応じて、画像の評価値を補正することができるため、類似する画像の評価を低下させることができる。

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
上述の実施形態では、ハイライトムービー等の動画を生成する際に動画の再生時間を制約としたが、これに限られず、例えば、動画を構成するフレーム画像の枚数としてもよい。

また、上述の実施形態では、複数の静止画を候補画像として取得し、取得した候補画像から画像を選択してハイライトムービー等の動画を生成するものとしたが、例えば、１つまたは複数の動画において、動画を構成するフレーム画像を候補画像としてもよい。
また、上述の実施形態では、候補画像を選択して、ハイライトムービー等の動画を生成するものとしたが、複数の画像を１枚の静止画像に合成したハイライトフォト等の画像を生成してもよい。

また、上述の実施形態では、本発明が適用される撮影装置１は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、画像評価機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等に適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図２の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮影装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図２の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、または光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ），Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ（ブルーレイディスク）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部２０に含まれるハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
複数の評価基準に基づき、画像の特徴を示す特徴量を算出する特徴量算出手段と、
前記特徴量算出手段により算出された前記特徴量に基づき、複数の画像間の類似度を算出するために、当該複数の画像間で前記評価基準を整合させる評価基準整合手段と、
前記評価基準整合手段により整合された前記評価基準に基づく特徴量により、前記複数の画像間の類似度を算出する類似度算出手段と、
を備えることを特徴とする画像評価装置。
［付記２］
前記評価基準整合手段は、前記類似度を算出する複数の画像各々の前記特徴量を算出するために使用された前記評価基準が異なる場合に、前記類似度を算出するための前記評価基準として、共通して使用された前記評価基準を選択して整合することを特徴とする付記１に記載の画像評価装置。
［付記３］
前記評価基準整合手段は、前記類似度を算出する複数の画像各々の特徴量を算出するために使用された前記評価基準が異なる場合に、前記類似度を算出するための前記評価基準として、使用されなかった前記評価基準には代替となる前記特徴量を使用することで整合することを特徴とする付記１に記載の画像評価装置。
［付記４］
前記評価基準整合手段は、前記類似度を算出する複数の画像各々の前記特徴量を算出するために使用された前記評価基準が異なる場合に、前記類似度を算出するための前記評価基準として、使用されなかった前記評価基準には代替となる前記類似度を使用することを特徴とする付記１に記載の画像評価装置。
［付記５］
複数の評価基準の各々には重みが対応付けられ、
前記類似度算出手段は、前記複数の評価基準毎の前記特徴量に対応する重みを加味して、前記類似度を算出することを特徴とする付記１から４のいずれか１つに記載の画像評価装置。
［付記６］
所定の配列基準で配列されている複数の画像から、前記特徴量算出手段により算出された前記特徴量に基づく画像の評価値が所定の閾値以上である画像を選択する選択手段を、更に備え、
前記類似度算出手段は、前記選択手段により選択される画像であって、配列順が近接する２の画像の特徴量の類似度を算出し、
前記類似度算出手段により算出される類似度に基づき、前記特徴量算出手段により算出された前記特徴量に基づく画像の評価値を補正する評価値補正手段を、更に備えることを特徴とする付記１から５のいずれか１つに記載の画像評価装置。
［付記７］
画像評価装置で実行される画像評価方法であって、
複数の評価基準に基づき、画像の特徴を示す特徴量を算出する特徴量算出処理と、
前記特徴量算出処理により算出された前記特徴量に基づき、複数の画像間の類似度を算出するために、当該複数の画像間で前記評価基準を整合させる評価基準整合処理と、
前記評価基準整合処理により整合された前記評価基準に基づく特徴量により、前記複数の画像間の類似度を算出する類似度算出処理と、
を含むことを特徴とする画像評価方法。
［付記８］
画像評価装置を制御するコンピュータに、
複数の評価基準に基づき、画像の特徴を示す特徴量を算出する特徴量算出機能と、
前記特徴量算出機能により算出された前記特徴量に基づき、複数の画像間の類似度を算出するために、複数の画像間で前記評価基準を整合させる評価基準整合機能と、
前記評価基準整合機能により整合された前記評価基準に基づく特徴量により、前記複数の画像間の類似度を算出する類似度算出機能と、
を実現させることを特徴とするプログラム。

１・・・撮影装置，１１・・・ＣＰＵ，１２・・・ＲＯＭ，１３・・・ＲＡＭ，１４・・・バス，１５・・・入出力インターフェース，１６・・・撮像部，１７・・・センサ部，１８・・・入力部，１９・・・出力部，２０・・・記憶部，２１・・・通信部，２２・・・ドライブ，３１・・・リムーバブルメディア，５１・・・特徴量算出部，５２・・・スコア算出部，５３・・・評価基準整合部，５４・・・非類似度算出部，５５・・・スコア補正部，５６・・・画像選択部，７１・・・画像記憶部

Claims (13)

1. 複数の評価基準に基づき、画像の特徴を示す特徴量を算出する特徴量算出手段と、
   前記特徴量算出手段により算出された前記特徴量に基づき、複数の画像間の類似度を算出する際に、前記類似度を算出する複数の画像各々の前記特徴量を算出するために使用された前記評価基準が異なる場合に、当該複数の画像間で前記評価基準を整合させる評価基準整合手段と、
   所定の配列基準で配列されている複数の画像から、前記特徴量算出手段により算出された前記特徴量に基づく画像の評価値が所定の閾値以上である画像を選択する選択手段と、
   前記評価基準整合手段により整合された前記評価基準に基づく特徴量により、前記選択手段により選択される画像であって、配列順が近接する２の画像の類似度を算出する類似度算出手段と、
   前記類似度算出手段により算出される類似度に基づき、前記特徴量算出手段により算出された前記特徴量に基づく画像の評価値を補正する評価値補正手段と、
   を備えることを特徴とする画像評価装置。
2. 前記評価基準整合手段は、前記類似度を算出する複数の画像各々の前記特徴量を算出するために使用された前記評価基準が異なる場合に、前記類似度を算出するための前記評価基準として、共通して使用された前記評価基準を選択して整合することを特徴とする請求項１に記載の画像評価装置。
3. 前記評価基準整合手段は、前記類似度を算出する複数の画像各々の前記特徴量を算出するために使用された前記評価基準が異なる場合に、前記類似度を算出するための前記評価基準として、使用されなかった前記評価基準には代替となる前記特徴量を使用することで整合することを特徴とする請求項１に記載の画像評価装置。
4. 前記評価基準整合手段は、前記類似度を算出する複数の画像各々の前記特徴量を算出するために使用された前記評価基準が異なる場合に、前記類似度を算出するための前記評価基準として、使用されなかった前記評価基準には代替となる前記類似度を使用することを特徴とする請求項１に記載の画像評価装置。
5. 複数の評価基準の各々には重みが対応付けられ、
   前記類似度算出手段は、前記複数の評価基準毎の前記特徴量に対応する重みを加味して、前記類似度を算出することを特徴とする請求項１から４のいずれか１項に記載の画像評価装置。
6. 画像評価装置で実行される画像評価方法であって、
   複数の評価基準に基づき、画像の特徴を示す特徴量を算出する特徴量算出処理と、
   前記特徴量算出処理により算出された前記特徴量に基づき、複数の画像間の類似度を算出する際に、前記類似度を算出する複数の画像各々の前記特徴量を算出するために使用された前記評価基準が異なる場合に、当該複数の画像間で前記評価基準を整合させる評価基準整合処理と、
   所定の配列基準で配列されている複数の画像から、前記特徴量算出処理により算出された前記特徴量に基づく画像の評価値が所定の閾値以上である画像を選択する選択処理と、
   前記評価基準整合処理により整合された前記評価基準に基づく特徴量により、前記選択処理により選択される画像であって、配列順が近接する２の画像の類似度を算出する類似度算出処理と、
   前記類似度算出処理により算出される類似度に基づき、前記特徴量算出処理により算出された前記特徴量に基づく画像の評価値を補正する評価値補正処理と、
   を含むことを特徴とする画像評価方法。
7. 画像評価装置を制御するコンピュータに、
   複数の評価基準に基づき、画像の特徴を示す特徴量を算出する特徴量算出機能と、
   前記特徴量算出機能により算出された前記特徴量に基づき、複数の画像間の類似度を算出する際に、前記類似度を算出する複数の画像各々の前記特徴量を算出するために使用された前記評価基準が異なる場合に、当該複数の画像間で前記評価基準を整合させる評価基準整合機能と、
   所定の配列基準で配列されている複数の画像から、前記特徴量算出機能により算出された前記特徴量に基づく画像の評価値が所定の閾値以上である画像を選択する選択機能と、
   前記評価基準整合機能により整合された前記評価基準に基づく特徴量により、前記選択機能により選択される画像であって、配列順が近接する２の画像の類似度を算出する類似度算出機能と、
   前記類似度算出機能により算出される類似度に基づき、前記特徴量算出機能により算出された前記特徴量に基づく画像の評価値を補正する評価値補正機能と、
   を実現させることを特徴とするプログラム。
8. 複数の評価基準に基づき、画像の特徴を示す特徴量を算出する特徴量算出手段と、
   前記特徴量算出手段により算出された前記特徴量に基づき、複数の画像間の類似度を算出する際に、前記類似度を算出する複数の画像各々の前記特徴量を算出するために使用された前記評価基準が異なる場合に、前記類似度を算出するための前記評価基準として、使用されなかった前記評価基準には代替となる前記特徴量を使用することにより、当該複数の画像間で前記評価基準を整合させる評価基準整合手段と、
   前記評価基準整合手段により整合された前記評価基準に基づく特徴量により、前記複数の画像間の類似度を算出する類似度算出手段と、
   を備えることを特徴とする画像評価装置。
9. 複数の評価基準に基づき、画像の特徴を示す特徴量を算出する特徴量算出手段と、
   前記特徴量算出手段により算出された前記特徴量に基づき、複数の画像間の類似度を算出する際に、前記類似度を算出する複数の画像各々の前記特徴量を算出するために使用された前記評価基準が異なる場合に、前記類似度を算出するための前記評価基準として、使用されなかった前記評価基準には代替となる前記類似度を使用することにより、当該複数の画像間で前記評価基準を整合させる評価基準整合手段と、
   前記評価基準整合手段により整合された前記評価基準に基づく特徴量により、前記複数の画像間の類似度を算出する類似度算出手段と、
   を備えることを特徴とする画像評価装置。
10. 複数の評価基準に基づき、画像の特徴を示す特徴量を算出する特徴量算出処理と、
    前記特徴量算出処理により算出された前記特徴量に基づき、複数の画像間の類似度を算出する際に、前記類似度を算出する複数の画像各々の前記特徴量を算出するために使用された前記評価基準が異なる場合に、前記類似度を算出するための前記評価基準として、使用されなかった前記評価基準には代替となる前記特徴量を使用することにより、当該複数の画像間で前記評価基準を整合させる評価基準整合処理と、
    前記評価基準整合処理により整合された前記評価基準に基づく特徴量により、前記複数の画像間の類似度を算出する類似度算出処理と、
    を含むことを特徴とする画像評価方法。
11. 複数の評価基準に基づき、画像の特徴を示す特徴量を算出する特徴量算出機能と、
    前記特徴量算出機能により算出された前記特徴量に基づき、複数の画像間の類似度を算出する際に、前記類似度を算出する複数の画像各々の前記特徴量を算出するために使用された前記評価基準が異なる場合に、前記類似度を算出するための前記評価基準として、使用されなかった前記評価基準には代替となる前記類似度を使用することにより、当該複数の画像間で前記評価基準を整合させる評価基準整合機能と、
    前記評価基準整合機能により整合された前記評価基準に基づく特徴量により、前記複数の画像間の類似度を算出する類似度算出機能と、
    を実現させることを特徴とするプログラム。
12. 複数の評価基準に基づき、画像の特徴を示す特徴量を算出する特徴量算出処理と、
    前記特徴量算出処理により算出された前記特徴量に基づき、複数の画像間の類似度を算出する際に、前記類似度を算出する複数の画像各々の前記特徴量を算出するために使用された前記評価基準が異なる場合に、前記類似度を算出するための前記評価基準として、使用されなかった前記評価基準には代替となる前記特徴量を使用することにより、当該複数の画像間で前記評価基準を整合させる評価基準整合処理と、
    前記評価基準整合処理により整合された前記評価基準に基づく特徴量により、前記複数の画像間の類似度を算出する類似度算出処理と、
    を含むことを特徴とする画像評価方法。
13. 複数の評価基準に基づき、画像の特徴を示す特徴量を算出する特徴量算出機能と、
    前記特徴量算出機能により算出された前記特徴量に基づき、複数の画像間の類似度を算出する際に、前記類似度を算出する複数の画像各々の前記特徴量を算出するために使用された前記評価基準が異なる場合に、前記類似度を算出するための前記評価基準として、使用されなかった前記評価基準には代替となる前記類似度を使用することにより、当該複数の画像間で前記評価基準を整合させる評価基準整合機能と、
    前記評価基準整合機能により整合された前記評価基準に基づく特徴量により、前記複数の画像間の類似度を算出する類似度算出機能と、
    を実現させることを特徴とするプログラム。

Images