JP2016052013A - 画像処理装置、画像処理方法、プログラムおよび記録媒体 - Google Patents

Abstract

【課題】動画像データからベストショットのシーンに対応する静止画像の静止画像データを自動で抽出して出力することができる画像処理装置等を提供する。
【解決手段】画像処理装置では、注目人物検出部が、動画像データから抽出された複数のフレームの静止画像データに対応する複数枚の静止画像の各々の中から注目人物を検出する。運動軌跡検出部が、注目人物の検出結果に基づいて、動画像における注目人物の動きを追跡して運動軌跡を検出する。動作分析部が、運動軌跡に基づいて、動画像における注目人物の動作を分析し、複数枚の静止画像の各々について、注目人物の動作に基づいて、注目人物の動作に対する評価値を算出する。そして、静止画像データ出力部が、複数のフレームの静止画像データの中から、注目人物の動作に対する評価値が閾値以上である静止画像の静止画像データを出力する。
【選択図】図１

Description

本発明は、動画像データから静止画像データを抽出して出力する画像処理装置、画像処理方法、プログラムおよび記録媒体に関するものである。

近年、一般家庭においてもたくさんの動画像が撮影されている。撮影された動画像の中には、例えば、子供が誕生日にろうそくを吹き消す瞬間等のように、静止画像では捉えきれない（撮影が難しい）ベストショットのシーン（動画像に撮影された人物の動作を好適に表すシーン）が含まれている可能性がある。その一方で、動画像の中には、人物の動きが少ないもの、重要度が低いもの、構図が悪いもの、画質が悪いもの等が含まれている場合がある。

従って、動画像の中からベストショットのシーンを見つけ出し、静止画像として抽出するのには非常に手間がかかるという問題がある。

ここで、本発明に関連性のある先行技術文献として、特許文献１，２がある。

特許文献１は、人が録画されている録画位置から素早く動画データを再生できるようにした人物行動検索装置に関するものである。同文献には、撮影画像上に人が認識されると、認識された人の代表画像を抽出し、代表画像に、人物画像の仮想重心点が撮像画像内に現れてから撮像画像外に消えるまでの移動軌跡である追跡線を合成した栞画像を作成することが記載されている。

特許文献２は、動画像データから当該動画像データに含まれる映像を端的に表す代表フレームを抽出する技術に関するものである。同文献には、動画像データの所定の時間区間から当該区間の内容（映像）を良く表す代表フレームを１枚あるいは複数枚抽出することが記載されている。また、同文献には、代表フレーム画像として、顔状態判定部が出力する評価値が最大となったフレーム画像を抽出することが記載されている。

特開２００９−７５８０２号公報 特開２０１０−１０９５９２号公報

本発明の目的は、前記従来技術の問題点を解消し、動画像データからベストショットのシーンに対応する静止画像の静止画像データを自動で抽出して出力することができる画像処理装置、画像処理方法、プログラムおよび記録媒体を提供することにある。

上記目的を達成するために、本発明は、動画像データから、複数のフレームの静止画像データを抽出する静止画像データ抽出部と、
複数のフレームの静止画像データに対応する複数枚の静止画像の各々の中から、処理対象とする人物である注目人物を検出する注目人物検出部と、
複数枚の静止画像における注目人物の検出結果に基づいて、動画像データに対応する動画像における注目人物の動きを追跡して注目人物の運動軌跡を検出する運動軌跡検出部と、
注目人物の運動軌跡に基づいて、動画像における注目人物の動作を分析し、複数枚の静止画像の各々について、分析された注目人物の動作に基づいて、注目人物の動作に対する評価値を算出する動作分析部と、
複数のフレームの静止画像データの中から、注目人物の動作に対する評価値が閾値以上である静止画像の静止画像データを出力する静止画像データ出力部とを備えることを特徴とする画像処理装置を提供するものである。

さらに、動画像に撮影された人物のうち、処理対象とする人物を登録人物として登録する人物登録部を備え、
注目人物検出部は、複数枚の静止画像の各々の中から、登録人物と一致した人物ないし類似度が閾値以上の人物を注目人物として検出するものであることが好ましい。

また、注目人物検出部は、複数枚の静止画像の各々の中から人物の顔を抽出し、抽出された人物の顔の顔画像に対し中心人物判定を行うことにより、顔が抽出された人物の中から、中心人物判定により中心人物であると判定された人物を注目人物として検出するものであることが好ましい。

また注目人物検出部は、さらに、静止画像における注目人物の顔領域を検出するものであり、
運動軌跡検出部は、注目人物の顔領域に基づいて、現在のフレームの静止画像における注目人物の顔領域と、現在のフレームの次のフレームの静止画像における注目人物の顔領域に相当する任意の位置の検出領域とを比較し、現在のフレームの静止画像における注目人物の顔領域との類似度が閾値以上である、次のフレームの静止画像における検出領域の位置に基づいて、現在のフレームの静止画像における注目人物の顔領域が、次のフレームの静止画像のどの位置の検出領域に移動しているかを検出することにより、動画像における注目人物の動きを追跡するものであることが好ましい。

また、運動軌跡検出部は、注目人物の顔領域に加えて、注目人物の上半身の領域を一定数に分割した領域のそれぞれについて、注目人物の動きを追跡するものであることが好ましい。

また、運動軌跡検出部は、次のフレームの静止画像の積分画像を生成し、生成された積分画像を利用して、次のフレームの静止画像において、任意の位置の検出領域内に含まれる全ての画像の輝度値の総和を算出することを、複数の位置の検出領域について順次繰り返すものであることが好ましい。

また、運動軌跡検出部は、平均変位法を利用して、注目人物の動きを追跡するものであることが好ましい。

また、動作分析部は、注目人物の動作に対する運動軌跡をあらかじめ定義しておき、運動軌跡検出部により検出された注目人物の運動軌跡の中から、あらかじめ定義された運動軌跡と類似した部分を検出することにより、注目人物の動作を分析し、注目人物の動作の種類に応じて、注目人物の動作に対する評価値を算出するものであることが好ましい。

また、動作分析部は、注目人物の運動軌跡として、注目人物の動作履歴画像に基づいて、注目人物の動作を分析し、注目人物の動作に対する評価値を算出するものであることが好ましい。

また、注目人物検出部は、さらに、静止画像における注目人物の位置、静止画像における注目人物の大きさ、および、静止画像における注目人物の領域を検出するものであり、
運動軌跡検出部は、さらに、注目人物の運動軌跡の長さ、および、注目人物の移動パターンを検出するものであり、
さらに、注目人物の運動軌跡の長さ、静止画像における注目人物の位置、静止画像における注目人物の大きさのうちの少なくとも１つに基づいて、複数枚の静止画像の各々の重要度を判定し、複数枚の静止画像の各々について、判定された重要度に基づいて、重要度の評価値を算出する重要度判定部と、
静止画像における注目人物の位置、静止画像における注目人物の大きさ、注目人物の移動パターンのうちの少なくとも１つに基づいて、複数枚の静止画像の各々の構図の良否を分析し、複数枚の静止画像の各々について、分析された構図の良否に基づいて、構図の評価値を算出する構図分析部と、
静止画像における注目人物の領域に基づいて、複数枚の静止画像の各々の画質を判定し、複数枚の静止画像の各々について、判定された画質に基づいて、画質の評価値を算出する画質判定部とを備え、
静止画像データ出力部は、複数枚の静止画像の中から、注目人物の動作に対する評価値と、重要度の評価値、構図の評価値、および、画質の評価値のうちの少なくとも１つの評価値との総合評価値が閾値以上である１枚以上の静止画像の静止画像データを出力するものであることが好ましい。

また、構図分析部は、注目人物の移動パターンをあらかじめ定義しておき、運動軌跡検出部により検出された注目人物の運動軌跡の中から、あらかじめ定義された移動パターンで注目人物が移動している部分を検出し、あらかじめ定義された移動パターンで注目人物が移動している部分に対応する静止画像の構図はよいと分析し、よいと分析された静止画像の構図の評価値が、よいと分析されていない静止画像の構図の評価値よりも高くなるように算出するものであることが好ましい。

また、注目人物検出部は、さらに、静止画像における注目人物の顔の向きを検出するものであり、
さらに、注目人物検出部により検出された注目人物の顔の向きに基づいて、静止画像データ出力部から出力された静止画像データに対応する静止画像の天地が、動画像が撮影された時の撮影装置の天地と同じになるように、静止画像データ出力部から出力された静止画像データに対応する静止画像の天地を補正する天地補正部を備えることが好ましい。

また、本発明は、静止画像データ抽出部が、動画像データから、複数のフレームの静止画像データを抽出するステップと、
注目人物検出部が、複数のフレームの静止画像データに対応する複数枚の静止画像の各々の中から、処理対象とする人物である注目人物を検出するステップと、
運動軌跡検出部が、複数枚の静止画像における注目人物の検出結果に基づいて、動画像データに対応する動画像における注目人物の動きを追跡して注目人物の運動軌跡を検出するステップと、
動作分析部が、注目人物の運動軌跡に基づいて、動画像における注目人物の動作を分析し、複数枚の静止画像の各々について、分析された注目人物の動作に基づいて、注目人物の動作に対する評価値を算出するステップと、
静止画像データ出力部が、複数のフレームの静止画像データの中から、注目人物の動作に対する評価値が閾値以上である静止画像の静止画像データを出力するステップとを含むことを特徴とする画像処理方法を提供する。

さらに、注目人物検出部が、静止画像における注目人物の位置、静止画像における注目人物の大きさ、および、静止画像における注目人物の領域を検出するステップと、
運動軌跡検出部が、注目人物の運動軌跡の長さ、および、注目人物の移動パターンを検出するステップと、
重要度判定部が、注目人物の運動軌跡の長さ、静止画像における注目人物の位置、静止画像における注目人物の大きさのうちの少なくとも１つに基づいて、複数枚の静止画像の各々の重要度を判定し、複数枚の静止画像の各々について、判定された重要度に基づいて、重要度の評価値を算出するステップと、
構図分析部が、静止画像における注目人物の位置、静止画像における注目人物の大きさ、注目人物の移動パターンのうちの少なくとも１つに基づいて、複数枚の静止画像の各々の構図の良否を分析し、複数枚の静止画像の各々について、分析された構図の良否に基づいて、構図の評価値を算出するステップと、
画質判定部が、静止画像における注目人物の領域に基づいて、複数枚の静止画像の各々の画質を判定し、複数枚の静止画像の各々について、判定された画質に基づいて、画質の評価値を算出するステップと、
静止画像データ出力部が、複数枚の静止画像の中から、注目人物の動作に対する評価値と、重要度の評価値、構図の評価値、および、画質の評価値のうちの少なくとも１つの評価値との総合評価値が閾値以上である１枚以上の静止画像の静止画像データを出力するステップとを含むことが好ましい。

さらに、注目人物検出部が、静止画像における注目人物の顔の向きを検出するステップと、
天地補正部が、注目人物検出部により検出された注目人物の顔の向きに基づいて、静止画像データ出力部から出力された静止画像データに対応する静止画像の天地が、動画像が撮影された時の撮影装置の天地と同じになるように、静止画像データ出力部から出力された静止画像データに対応する静止画像の天地を補正するステップとを含むことが好ましい。

また、本発明は、上記に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムを提供する。

また、本発明は、上記に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供する。

本発明によれば、動画像における注目人物の動作に対する評価値、もしくは、注目人物の動作に対する評価値と、静止画像の重要度の評価値、構図の評価値および画質の評価値のうちの少なくとも１つの評価値との総合評価値に基づいて、動画像の中からベストショットのシーンを自動で検出し、動画像データから抽出された複数のフレームの静止画像データの中から、ベストショットのシーンに対応する静止画像の静止画像データを出力することができる。

本発明の画像処理装置の構成を表す一実施形態のブロック図である。 （Ａ）〜（Ｃ）の左側は、注目人物の運動軌跡を表す一例の概念図、右側は、注目人物の動作履歴画像を表す一例の概念図である。 （Ａ）は、左に９０°回転された静止画像を表す一例の概念図、（Ｂ）は、（Ａ）に示す静止画像を右に９０°回転させて天地が補正された静止画像を表す一例の概念図である。 図１に示す画像処理装置の動作を表す一例のフローチャートである。 動画像から全てのフレームの静止画像が抽出された様子を表す一例の概念図である。 図５に示す全てのフレームの静止画像の各々から検出された人物の領域が枠で囲まれた様子を表す一例の概念図である。 動画像から抽出された全てのフレームの静止画像の各々の総合評価値を表す一例のグラフである。 図５に示す全てのフレームの静止画像の中から、総合評価が閾値以上である静止画像に星印が付与された様子を表す一例の概念図である。

以下に、添付の図面に示す好適実施形態に基づいて、本発明の画像処理装置、画像処理方法、プログラムおよび記録媒体を詳細に説明する。

図１は、本発明の画像処理装置の構成を表す一実施形態のブロック図である。同図に示す画像処理装置１０は、動画像からベストショットのシーンを自動で検出し、ベストショットのシーンに対応する静止画像の静止画像データを出力するものであり、注目人物登録部１２と、静止画像データ抽出部１４と、注目人物検出部１６と、運動軌跡検出部１８と、動作分析部２０と、重要度判定部２２と、構図分析部２４と、画質判定部２６と、静止画像データ出力部２８と、天地補正部３０とを備えている。

注目人物登録部１２は、動画像データに対応する動画像に撮影された人物のうち、処理対象とする注目人物を登録人物として登録するものである。

注目人物登録部１２は、例えば、動画像に撮影された人物のうち、ユーザにより指定された人物を登録人物として登録することができる。また、注目人物登録部１２は、登録人物の画像（注目人物を特定するための顔画像等）を登録しておくことができる。

続いて、静止画像データ抽出部１４は、動画像データから、複数のフレームの静止画像データを抽出するものである。

静止画像データ抽出部１４は、例えば、動画像データの全てのフレーム（各々のフレーム）の静止画像データを抽出することができる。しかし、本発明はこれに限定されず、一定数のフレーム毎に、例えば、２フレーム毎に１つのフレームの静止画像データを抽出してもよい。また、動画像データに対応する動画像の任意の区間のフレームの静止画像データのみを抽出してもよい。

続いて、注目人物検出部１６は、静止画像データ抽出部１４により動画像データから抽出された複数のフレームの静止画像データに対応する複数枚の静止画像の各々の中から、処理対象とする人物である注目人物を検出するものである。

注目人物検出部１６は、例えば、複数枚の静止画像の各々において、人物の有無を検出し、検出された人物の画像と、例えば、注目人物登録部１２に登録された登録人物の画像とを比較（顔画像等を比較）することにより、検出された人物の中から、登録人物に一致ないし類似した人物（類似度が閾値以上の人物）を、注目人物として特定することができる。

あるいは、注目人物検出部１６は、複数枚の静止画像の各々の中から人物の顔を抽出し、抽出された人物の顔の顔画像に対し中心人物判定を行うことにより、顔が抽出された人物の中から、中心人物判定により中心人物であると判定された人物を、注目人物として特定することができる。

中心人物判定では、例えば、複数枚の顔画像に対して同一人物判定処理が行われ、複数枚の顔画像が、同一人物の顔画像からなる画像群に分類される。続いて、画像群に分類された人物のうちの１以上の人物が主人公として決定され、主人公以外の人物のうち主人公と関連性の高い１以上の人物が重要人物として判定される。
また、注目人物登録部１２に登録された各々の登録人物の顔画像に基づいて、各々の画像群に対応する人物を特定することができる。

例えば、顔画像の検出数が最も多い人物を主人公として決定したり、主人公以外の人物のうち、主人公と共に撮影された静止画像の数が多い人物を重要人物と判定したりすることができる。
また、同一の静止画像に撮影された主人公の顔画像と主人公以外の人物の顔画像の間の距離を算出し、顔画像の間の距離が近い人物を重要人物と判定してもよい。
主人公が撮影された静止画像の撮影日時情報と主人公以外の人物が撮影された静止画像の撮影日時情報との差分、および主人公が撮影された静止画像の撮影位置情報と主人公以外の人物が撮影された静止画像の撮影位置情報との差分の一方もしくは両方に基づいて重要人物を判定してもよい。

また、注目人物検出部１６は、静止画像における、注目人物の位置、注目人物の大きさ、注目人物の領域、注目人物の上半身の領域、注目人物の顔の位置、注目人物の顔の大きさ、注目人物の顔領域、注目人物の顔の向き等を検出することができる。

なお、静止画像における注目人物の検出方法、注目人物の顔の検出方法等は公知であるから、ここでは詳細な説明は省略するが、その具体的な検出方法は何ら限定されない。また、注目人物の検出方法も何ら限定されない。

続いて、運動軌跡検出部１８は、注目人物検出部１６による、複数枚の静止画像における注目人物の検出結果に基づいて、動画像データに対応する動画像における注目人物の動きを追跡して注目人物の運動軌跡を検出するものである。また、運動軌跡検出部１８は、注目人物の運動軌跡を検出することにより、注目人物の運動軌跡の長さや、注目人物の移動パターン等を検出することができる。

ここで、注目人物の運動軌跡は、関心領域（ＲＯＩ：Region of Interest）、例えば、図２（Ａ）〜（Ｃ）の左側に示すように、注目人物の顔領域が移動した軌跡をライン状に表したものを使用することができる。また、注目人物の運動軌跡として、同図（Ａ）〜（Ｃ）の右側に示すように、動作履歴画像（ＭＨＩ：Motion History Image）を使用してもよい。動作履歴画像は、注目人物の動作の履歴を、例えば、一定時間毎に色を変えて表したものである。動作履歴画像を利用することにより、動作履歴画像における、注目人物の位置、注目人物の大きさ、注目人物の移動箇所、注目人物の移動方向等を知ることができる。

運動軌跡検出部１８は、例えば、注目人物の顔領域に基づいて、現在のフレームの静止画像における注目人物の顔領域と、その次のフレームの静止画像における注目人物の顔領域に相当する任意の位置の検出領域とを比較し、現在のフレームの静止画像における注目人物の顔領域との類似度が閾値以上である、次のフレームの静止画像における検出領域の位置に基づいて、現在のフレームの静止画像における注目人物の顔領域が、その次のフレームの静止画像のどの位置の検出領域に移動しているかを検出することにより、動画像における注目人物の動きを追跡することができる。

ここで、注目人物の顔領域を検出するだけでは、静止画像における注目人物の位置、注目人物の大きさ等が時間の経過に伴って変化することにより、注目人物の動きを追跡することが困難となる場合がある。この場合、注目人物の顔領域に加えて、注目人物の上半身の領域を一定数、例えば、４つの領域に分割し、合計５つの領域のそれぞれについて、同様に注目人物の動きを追跡することにより、追跡の成功率を向上させることができる。

また、現在のフレームの静止画像における注目人物の顔領域と、その次のフレームの静止画像における検出領域との類似度を求める場合、次のフレームの静止画像において、現在のフレームの静止画像における注目人物の顔領域に対応する位置の検出領域を検出するために、任意の位置の検出領域内に含まれる全ての画素の輝度値の総和を算出することを、複数の位置の検出領域について順次繰り返す必要がある。そのため、各々のフレーム毎に輝度値の総和を計算するための計算量は膨大となる。

この場合、次のフレーム（つまり、各々のフレーム）の静止画像の積分画像を生成し、生成された積分画像を利用して輝度値の総和を算出することにより、その計算量を削減し、処理を高速化することができる。積分画像とは、例えば、静止画像の画素の座標が、静止画像の左から右へ、かつ、上から下へ向かうに従って大きくなるとすると、各々の座標の画素が、左上の画素から各々の座標の画素までの輝度値の積分値を持つ画像である。

なお、積分画像を利用して、注目人物の顔領域に相当する領域内に含まれる全ての画素の輝度値の総和を算出する方法は公知であるから、ここでは、その詳細な説明は省略する。また、注目人物の動きを追跡する場合に、計算量の削減や、処理の高速化の目的のために、積分画像を利用することは限定されず、例えば、平均変位（Mean Shift）法等の各種の方法を利用することができる。平均変位法についても公知であるから、その詳細な説明は省略する。

続いて、動作分析部２０は、運動軌跡検出部１８により検出された注目人物の運動軌跡、例えば、顔領域等の関心領域の運動軌跡に基づいて、動画像における注目人物の動作を分析し、複数枚の静止画像の各々について、分析された注目人物の動作に基づいて、注目人物の動作に対する評価値を算出するものである。

動作分析部２０は、例えば、注目人物の動作に対する運動軌跡、例えば、注目人物が走っている時の運動軌跡をあらかじめ定義しておき、運動軌跡検出部１８により検出された注目人物の運動軌跡の中から、あらかじめ定義された運動軌跡と類似した部分を検出することにより、注目人物の動作を分析する。そして、注目人物の動作が、走っている動作である場合には、評価値がいくつというように、注目人物の動作の種類に応じて、注目人物の動作に対する評価値を算出することができる。

また、動作分析部２０は、注目人物の運動軌跡として、図２（Ａ）〜（Ｃ）の右側に示すような動作履歴画像に基づいて、注目人物の動作を分析し、注目人物の動作に対する評価値を算出することができる。

動作分析部２０は、動作履歴画像に基づいて注目人物の動作を分析することにより、図２（Ａ）の右側に示すように、注目人物が、同図中、右側から左側へ走っていること、同図（Ｂ）の右側に示すように、注目人物が、静止した状態で右手だけを動かしていること、同図（Ｃ）の右側に示すように、注目人物が、地面に落ちているものを拾っていること等を認識することができる。また、注目人物が、動いているのか否か、どの位置で、どの方向へ動いているか等に基づいて、注目人物の動作に対する評価値を算出することができる。

続いて、重要度判定部２２は、注目人物の運動軌跡の長さ、静止画像における注目人物の位置、静止画像における注目人物の大きさのうちの少なくとも１つに基づいて、複数枚の静止画像の各々の重要度を判定し、複数枚の静止画像の各々について、判定された重要度に基づいて、重要度の評価値を算出するものである。

例えば、注目人物の運動軌跡が長い場合（長さが閾値以上である場合）、その注目人物に対する撮影者の関心度は高いと推測できる。そのため、重要度判定部２２は、動画像の中で、注目人物の運動軌跡が長いシーンに対応する静止画像の重要度が高いと判定する。また、注目人物が中央部に撮影されている静止画像や、注目人物が大きく撮影されている（注目人物の大きさが閾値以上である）静止画像の重要度は高いと判定する。そして、重要度が高くなるほど、重要度の評価値が高くなるように算出する。

続いて、構図分析部２４は、静止画像における注目人物の位置、静止画像における注目人物の大きさ、注目人物の移動パターンのうちの少なくとも１つに基づいて、複数枚の静止画像の各々の構図の良否を分析し、複数枚の静止画像の各々について、分析された構図の良否に基づいて、構図の評価値を算出するものである。

構図分析部２４は、例えば、注目人物が中央部に撮影されている静止画像や、注目人物が大きく撮影されている（注目人物の大きさが閾値以上である）静止画像の構図は、注目人物が中央部に撮影されていない静止画像や、注目人物が大きく撮影されていない静止画像の構図よりもよいと分析する。そして、よいと分析された静止画像の構図の評価値が、よいと分析されていない静止画像の構図の評価値よりも高くなるように算出することができる。

また、構図分析部２４は、注目人物の移動パターン、例えば、動画像の左端から右端まで注目人物が移動する移動パターンをあらかじめ定義しておき、運動軌跡検出部１８により検出された注目人物の運動軌跡の中から、あらかじめ定義された移動パターンで注目人物が移動している部分を検出する。そして、あらかじめ定義された移動パターンで注目人物が移動している部分に対応する静止画像の構図はよいと分析し、よいと分析された静止画像の構図の評価値が、よいと分析されていない静止画像の構図の評価値よりも高くなるように算出することができる。

続いて、画質判定部２６は、静止画像における注目人物の領域、例えば、顔領域等の関心領域に基づいて、複数枚の静止画像の各々の画質を判定し、複数枚の静止画像の各々について、判定された画質に基づいて、画質の評価値を算出するものである。

動画像から抽出された静止画像は、動画像データの圧縮方式によって、画質がよい場合も悪い場合もある。また、ピンボケ、手ぶれ等によって、静止画像にボケやブレが発生している場合や、輝度、色合い、コントラスト等が適切ではない場合もある。しかし、背景等の画質が悪い場合でも、関心領域である注目人物の顔領域や体の領域の画質がよい場合、画質判定部２６は、その静止画像の画質はよいと判定する。そして、画質がよいと判定された静止画像について、画質がよいほど、画質の評価値が高くなるように算出することができる。

続いて、静止画像データ出力部２８は、静止画像データ抽出部１４により動画像データから抽出された複数のフレームの静止画像データの中から、ベストショットのシーンに対応する静止画像の静止画像データとして、注目人物の動作に対する評価値が、もしくは、注目人物の動作に対する評価値と、重要度の評価値、構図の評価値、および、画質の評価値のうちの少なくとも１つの評価値との総合評価値が閾値以上である静止画像の静止画像データを出力するものである。

最後に、天地補正部３０は、注目人物検出部１６により検出された注目人物の顔の向きに基づいて、静止画像データ出力部２８から出力された静止画像データに対応する静止画像の天地が、動画像が撮影された時の撮影装置の天地と同じになるように、静止画像データ出力部２８から出力された静止画像データに対応する静止画像の天地を補正するものである。

図３（Ａ）は、左に９０°回転された静止画像を表す一例の概念図である。このような静止画像は、動画像を撮影する時に、撮影装置を右に９０°回転させて撮影することにより得られる。天地補正部３０は、静止画像の天地が、動画像が撮影された時の撮影装置の天地と同じになるように、同図（Ａ）に示す静止画像を右に９０°回転させることにより、同図（Ｂ）に示すように、静止画像の天地を補正することができる。

なお、注目人物検出部１６は、注目人物登録部１２に二人以上の人物が登録されている場合、複数枚の静止画像の中から、二人以上の注目人物のそれぞれを検出して、検出された注目人物が誰なのかを順次特定することができる。また、この場合、運動軌跡検出部１８、動作分析部２０、重要度判定部２２、構図分析部２４、画質判定部２６、静止画像データ出力部２８、天地補正部３０は、その二人以上の注目人物のそれぞれについて順次処理を行う。

次に、図４に示すフローチャートを参照して、図１に示す画像処理装置１０の動作を説明する。

図４のフローチャートに示すように、まず、注目人物登録部１２により、動画像に撮影された人物のうち、例えば、ユーザにより指定された人物が注目人物として登録される（ステップＳ１）。

続いて、静止画像データ抽出部１４により、例えば、動画像データから、全てのフレームの静止画像データが抽出される（ステップＳ２）。つまり、図５に示すように、動画像から、全てのフレームの静止画像が抽出される。

なお、動画像データから静止画像データが抽出された後、注目人物の登録を行ってもよい。

続いて、注目人物検出部１６により、静止画像データ抽出部１４により抽出された全てのフレームの静止画像の各々の中から、注目人物登録部１２に登録された注目人物が検出される（ステップＳ３）。これにより、全てのフレームの静止画像の各々において、注目人物が特定されるとともに、図６に枠で囲んで示すように、全てのフレームの静止画像の各々における、注目人物の位置、注目人物の大きさ、注目人物の領域等が検出される。

続いて、運動軌跡検出部１８により、全てのフレームの静止画像における注目人物の検出結果に基づいて、動画像における注目人物の動き、例えば、図６に枠で囲んで示す関心領域の動きが追跡されて注目人物の運動軌跡が検出される（ステップＳ４）。これにより、例えば、図２（Ａ）〜（Ｃ）の左側に示すように、注目人物の運動軌跡として、顔領域等の関心領域が移動した軌跡をライン状に表したものや、同図（Ａ）〜（Ｃ）の右側に示すような動作履歴画像を得ることができる。

続いて、動作分析部２０により、運動軌跡検出部１８により検出された注目人物の運動軌跡に基づいて、動画像における注目人物の動作が分析される。そして、全てのフレームの静止画像の各々について、分析された注目人物の動作に基づいて、注目人物の動作に対する評価値が算出される（ステップＳ５−１）。

また、重要度判定部２２により、注目人物の運動軌跡の長さ、静止画像における注目人物の位置、注目人物の大きさに基づいて、全ての静止画像の各々の重要度が判定される。そして、全てのフレームの静止画像の各々について、判定された重要度に基づいて、重要度の評価値が算出される（ステップＳ５−２）。

また、構図分析部２４により、静止画像における注目人物の位置、注目人物の大きさ、注目人物の移動パターンに基づいて、全ての静止画像の各々の構図の良否が分析される。そして、全てのフレームの静止画像の各々について、分析された構図の良否に基づいて、構図の評価値が算出される（ステップＳ５−３）。

また、画質判定部２６により、静止画像における注目人物の領域に基づいて、全てのフレームの静止画像の各々の画質が判定される。そして、全ての静止画像の各々について、判定された画質、本実施形態の場合、ボケブレの程度に応じて、画質の評価値が算出される（ステップＳ５−４）。
例えば、図３に枠で囲んで示す関心領域のボケブレの判定が行われて、ボケブレの程度が大きいほど、画質の評価値が低くなるように算出される。

なお、注目人物の動作に対する評価値、重要度の評価値、構図の評価値、画質の評価値を算出する順序は何ら限定されず、任意の順序で算出することができる。また、これらの評価値を並列に、つまり、同時に算出するようにすることもできる。

続いて、静止画像データ出力部２８により、静止画像データ抽出部１４により動画像データから抽出された全てのフレームの静止画像データの中から、図７に示すように、ベストショットのシーンに対応する静止画像の静止画像データとして、注目人物の動作に対する評価値、重要度の評価値、構図の評価値、画質の評価値の総合評価値（各評価値の加算値等）が閾値以上である１枚以上の静止画像の静止画像データが出力される（ステップＳ６）。

ここで、図７は、動画像から抽出された全てのフレームの静止画像の各々の総合評価値を表す一例のグラフである。同図の縦軸は、各々の静止画像の総合評価値を、横軸は時間（フレーム）を表す。同図に示すように、全ての静止画像のうちの、注目人物検出部１６により注目人物が検出され、かつ、運動軌跡検出部１８により注目人物の運動軌跡が検出された静止画像の中から、図８に星印を付与して示されているように、総合評価値が閾値以上である静止画像の静止画像データが出力される。

そして最後に、天地補正部３０により、注目人物検出部１６により検出された注目人物の顔の向きに基づいて、静止画像の天地が、動画像が撮影された時の撮影装置の天地と同じになるように、静止画像の天地が補正される（ステップＳ７）。

上記のように、画像処理装置１０では、例えば、動画像における注目人物の動作に対する評価値、静止画像の重要度の評価値、構図の評価値および画質の評価値を含む総合評価値に基づいて、動画像の中からベストショットのシーンを自動で検出し、動画像データから抽出された全てのフレームの静止画像データの中から、ベストショットのシーンに対応する静止画像の静止画像データを抽出することができる。

本発明の装置は、装置が備える各々の構成要素を専用のハードウェアで構成してもよいし、各々の構成要素をプログラムされたコンピュータで構成してもよい。
本発明の方法は、例えば、その各々のステップをコンピュータに実行させるためのプログラムにより実施することができる。また、このプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供することもできる。

本発明は、基本的に以上のようなものである。
以上、本発明について詳細に説明したが、本発明は上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。

１０ 画像処理装置
１２ 注目人物登録部
１４ 静止画像データ抽出部
１６ 注目人物検出部
１８ 運動軌跡検出部
２０ 動作分析部
２２ 重要度判定部
２４ 構図分析部
２６ 画質判定部
２８ 静止画像データ出力部
３０ 天地補正部

Claims (17)

1. 動画像データから、複数のフレームの静止画像データを抽出する静止画像データ抽出部と、
   前記複数のフレームの静止画像データに対応する複数枚の静止画像の各々の中から、処理対象とする人物である注目人物を検出する注目人物検出部と、
   前記複数枚の静止画像における前記注目人物の検出結果に基づいて、前記動画像データに対応する動画像における前記注目人物の動きを追跡して前記注目人物の運動軌跡を検出する運動軌跡検出部と、
   前記注目人物の運動軌跡に基づいて、前記動画像における注目人物の動作を分析し、前記複数枚の静止画像の各々について、前記分析された注目人物の動作に基づいて、前記注目人物の動作に対する評価値を算出する動作分析部と、
   前記複数のフレームの静止画像データの中から、前記注目人物の動作に対する評価値が閾値以上である静止画像の静止画像データを出力する静止画像データ出力部とを備えることを特徴とする画像処理装置。
2. さらに、前記動画像に撮影された人物のうち、前記処理対象とする人物を登録人物として登録する人物登録部を備え、
   前記注目人物検出部は、前記複数枚の静止画像の各々の中から、前記登録人物と一致した人物ないし類似度が閾値以上の人物を前記注目人物として検出するものである請求項１に記載の画像処理装置。
3. 前記注目人物検出部は、前記複数枚の静止画像の各々の中から人物の顔を抽出し、前記抽出された人物の顔の顔画像に対し中心人物判定を行うことにより、前記顔が抽出された人物の中から、前記中心人物判定により中心人物であると判定された人物を前記注目人物として検出するものである請求項１に記載の画像処理装置。
4. 前記注目人物検出部は、さらに、前記静止画像における注目人物の顔領域を検出するものであり、
   前記運動軌跡検出部は、前記注目人物の顔領域に基づいて、現在のフレームの静止画像における注目人物の顔領域と、前記現在のフレームの次のフレームの静止画像における注目人物の顔領域に相当する任意の位置の検出領域とを比較し、前記現在のフレームの静止画像における注目人物の顔領域との類似度が閾値以上である、前記次のフレームの静止画像における検出領域の位置に基づいて、前記現在のフレームの静止画像における注目人物の顔領域が、前記次のフレームの静止画像のどの位置の検出領域に移動しているかを検出することにより、前記動画像における注目人物の動きを追跡するものである請求項１〜３のいずれか１項に記載の画像処理装置。
5. 前記運動軌跡検出部は、前記注目人物の顔領域に加えて、前記注目人物の上半身の領域を一定数に分割した領域のそれぞれについて、前記注目人物の動きを追跡するものである請求項４に記載の画像処理装置。
6. 前記運動軌跡検出部は、前記次のフレームの静止画像の積分画像を生成し、前記生成された積分画像を利用して、前記次のフレームの静止画像において、任意の位置の前記検出領域内に含まれる全ての画像の輝度値の総和を算出することを、複数の位置の前記検出領域について順次繰り返すものである請求項４または５に記載の画像処理装置。
7. 前記運動軌跡検出部は、平均変位法を利用して、前記注目人物の動きを追跡するものである請求項４または５に記載の画像処理装置。
8. 前記動作分析部は、前記注目人物の動作に対する運動軌跡をあらかじめ定義しておき、前記運動軌跡検出部により検出された注目人物の運動軌跡の中から、前記あらかじめ定義された運動軌跡と類似した部分を検出することにより、前記注目人物の動作を分析し、前記注目人物の動作の種類に応じて、前記注目人物の動作に対する評価値を算出するものである請求項１〜７のいずれか１項に記載の画像処理装置。
9. 前記動作分析部は、前記注目人物の運動軌跡として、前記注目人物の動作履歴画像に基づいて、前記注目人物の動作を分析し、前記注目人物の動作に対する評価値を算出するものである請求項１〜７のいずれか１項に記載の画像処理装置。
10. 前記注目人物検出部は、さらに、前記静止画像における注目人物の位置、前記静止画像における注目人物の大きさ、および、前記静止画像における注目人物の領域を検出するものであり、
    前記運動軌跡検出部は、さらに、前記注目人物の運動軌跡の長さ、および、前記注目人物の移動パターンを検出するものであり、
    さらに、前記注目人物の運動軌跡の長さ、前記静止画像における注目人物の位置、前記静止画像における注目人物の大きさのうちの少なくとも１つに基づいて、前記複数枚の静止画像の各々の重要度を判定し、前記複数枚の静止画像の各々について、前記判定された重要度に基づいて、前記重要度の評価値を算出する重要度判定部と、
    前記静止画像における注目人物の位置、前記静止画像における注目人物の大きさ、前記注目人物の移動パターンのうちの少なくとも１つに基づいて、前記複数枚の静止画像の各々の構図の良否を分析し、前記複数枚の静止画像の各々について、前記分析された構図の良否に基づいて、前記構図の評価値を算出する構図分析部と、
    前記静止画像における注目人物の領域に基づいて、前記複数枚の静止画像の各々の画質を判定し、前記複数枚の静止画像の各々について、前記判定された画質に基づいて、前記画質の評価値を算出する画質判定部とを備え、
    前記静止画像データ出力部は、前記複数枚の静止画像の中から、前記注目人物の動作に対する評価値と、前記重要度の評価値、前記構図の評価値、および、前記画質の評価値のうちの少なくとも１つの評価値との総合評価値が閾値以上である１枚以上の静止画像の静止画像データを出力するものである請求項１〜９のいずれか１項に記載の画像処理装置。
11. 前記構図分析部は、前記注目人物の移動パターンをあらかじめ定義しておき、前記運動軌跡検出部により検出された注目人物の運動軌跡の中から、前記あらかじめ定義された移動パターンで注目人物が移動している部分を検出し、前記あらかじめ定義された移動パターンで注目人物が移動している部分に対応する静止画像の構図はよいと分析し、前記よいと分析された静止画像の構図の評価値が、前記よいと分析されていない静止画像の構図の評価値よりも高くなるように算出するものである請求項１０に記載の画像処理装置。
12. 前記注目人物検出部は、さらに、前記静止画像における注目人物の顔の向きを検出するものであり、
    さらに、前記注目人物検出部により検出された注目人物の顔の向きに基づいて、前記静止画像データ出力部から出力された静止画像データに対応する静止画像の天地が、前記動画像が撮影された時の撮影装置の天地と同じになるように、前記静止画像データ出力部から出力された静止画像データに対応する静止画像の天地を補正する天地補正部を備える請求項１〜１１のいずれか１項に記載の画像処理装置。
13. 静止画像データ抽出部が、動画像データから、複数のフレームの静止画像データを抽出するステップと、
    注目人物検出部が、前記複数のフレームの静止画像データに対応する複数枚の静止画像の各々の中から、処理対象とする人物である注目人物を検出するステップと、
    運動軌跡検出部が、前記複数枚の静止画像における前記注目人物の検出結果に基づいて、前記動画像データに対応する動画像における前記注目人物の動きを追跡して前記注目人物の運動軌跡を検出するステップと、
    動作分析部が、前記注目人物の運動軌跡に基づいて、前記動画像における注目人物の動作を分析し、前記複数枚の静止画像の各々について、前記分析された注目人物の動作に基づいて、前記注目人物の動作に対する評価値を算出するステップと、
    静止画像データ出力部が、前記複数のフレームの静止画像データの中から、前記注目人物の動作に対する評価値が閾値以上である静止画像の静止画像データを出力するステップとを含むことを特徴とする画像処理方法。
14. さらに、前記注目人物検出部が、前記静止画像における注目人物の位置、前記静止画像における注目人物の大きさ、および、前記静止画像における注目人物の領域を検出するステップと、
    前記運動軌跡検出部が、前記注目人物の運動軌跡の長さ、および、前記注目人物の移動パターンを検出するステップと、
    重要度判定部が、前記注目人物の運動軌跡の長さ、前記静止画像における注目人物の位置、前記静止画像における注目人物の大きさのうちの少なくとも１つに基づいて、前記複数枚の静止画像の各々の重要度を判定し、前記複数枚の静止画像の各々について、前記判定された重要度に基づいて、前記重要度の評価値を算出するステップと、
    構図分析部が、前記静止画像における注目人物の位置、前記静止画像における注目人物の大きさ、前記注目人物の移動パターンのうちの少なくとも１つに基づいて、前記複数枚の静止画像の各々の構図の良否を分析し、前記複数枚の静止画像の各々について、前記分析された構図の良否に基づいて、前記構図の評価値を算出するステップと、
    画質判定部が、前記静止画像における注目人物の領域に基づいて、前記複数枚の静止画像の各々の画質を判定し、前記複数枚の静止画像の各々について、前記判定された画質に基づいて、前記画質の評価値を算出するステップと、
    前記静止画像データ出力部が、前記複数枚の静止画像の中から、前記注目人物の動作に対する評価値と、前記重要度の評価値、前記構図の評価値、および、前記画質の評価値のうちの少なくとも１つの評価値との総合評価値が閾値以上である１枚以上の静止画像の静止画像データを出力するステップとを含む請求項１３に記載の画像処理方法。
15. さらに、前記注目人物検出部が、前記静止画像における注目人物の顔の向きを検出するステップと、
    天地補正部が、前記注目人物検出部により検出された注目人物の顔の向きに基づいて、前記静止画像データ出力部から出力された静止画像データに対応する静止画像の天地が、前記動画像が撮影された時の撮影装置の天地と同じになるように、前記静止画像データ出力部から出力された静止画像データに対応する静止画像の天地を補正するステップとを含む請求項１３または１４に記載の画像処理方法。
16. 請求項１３〜１５のいずれか１項に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラム。
17. 請求項１３〜１５のいずれか１項に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体。

Images