JP5967986B2

JP5967986B2 - 画像処理装置およびその制御方法

Info

Publication number: JP5967986B2
Application number: JP2012055626A
Authority: JP
Inventors: 信一三ツ元
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2012-03-13
Filing date: 2012-03-13
Publication date: 2016-08-10
Anticipated expiration: 2032-03-13
Also published as: JP2013191963A

Description

本発明は動画及び静止画を含む画像の編集に関する画像処理装置およびその制御方法に関する。

近年、家庭用デジタルビデオカメラの普及に加え、デジタル一眼レフカメラに動画撮影機能が追加されるなど、動画を撮影するデジタル機器が増加している。
従来、撮影した動画や静止画等の素材映像を集めて編集する場合、映像制作経験の少ない人が作った映像では、出来上がる映像が単調なものとなっている。これはプロが用いる映像技法もしくは映像文法と呼ばれる映像制作・編集のルールに沿っていないためであるが、このような映像技法や映像文法をプロでない人が用いるのは煩雑なため、映像編集の敷居を高くしている要因の一つとなっている。
映像技法は、カットと呼ばれる素材の一単位に対するカメラワークや、素材の繋ぎ合わせ方、素材の長さがルール化されているものであり、プロの映像制作者が意図的、もしくは無意識の内にこれらの技法を用いて映像を制作している。この技法を映像編集へ適用することによって、映像生成のレベルを上げることが行われている
非特許文献１では、プロの映像技法を解析し、解析結果に基づいて撮影や編集の自動化をしている。また、ショットサイズと呼ばれる画面に占める被写体の割合の大きさを用いて素材の時間的長さを自動的に設定している。
また、特許文献１では素材に含まれる被写体の数、被写体の位置に応じて、素材の再生時間を設定している。また、特許文献２では画像内からショットサイズの大きさを求めることが開示されている。

特開２００６−２４５６４６号公報特開２００７−１３４７８号公報

神戸大学博士論文２００８−０１、映像文法に基づいた撮影・編集支援技術と映像コンテンツの自動撮影・自動生成技術に関する研究

しかしながら、非特許文献１の様にショットサイズを基に素材の時間長を設定する、もしくは、特許文献１の様に被写体の数や位置で時間長を設定しても、編集により生成される映像における被写体の出現間隔により、映像内の被写体の認識時間が一定ではない。このため、認識する時間よりもショットサイズで指定された時間長が短い場合には、認識不足となり、映像に違和感を起こさせてしまう。
そこで本発明では、認識するのに適した時間に基づいた画像編集を行うことを目的とする。

上記の目的を達成するための本発明の一態様による画像処理装置は以下の構成を備える。すなわち、画像群から画像を複数選択する選択手段と、前記選択された画像それぞれについて、被写体が何であるかの認識に関する認識時間を設定する設定手段と、前記設定手段によって設定された前記認識時間に基づいて、前記選択手段によって選択された画像が接続された映像を生成する生成手段と、前記画像群に含まれる画像の被写体のうち、注目被写体を特定する特定手段と、前記選択手段によって前記画像群から選択された画像のうち、前記特定手段によって特定された注目被写体を含む画像から、前記注目被写体の顔が写る領域の大きさに関する情報を取得する取得手段と、前記選択手段によって選択された画像を、前記画像の時間に関する属性情報に基づいて、時間軸上に順に配置する配置手段とを有し、前記生成手段は、前記選択手段によって選択された画像が、前記配置手段によって配置された順に沿って接続された前記映像を生成し、前記設定手段は、前記選択手段によって選択された画像のうち、前記注目被写体を含む画像の認識時間を、前記取得手段によって取得された前記注目被写体に関する被写体情報に基づいて設定し、さらに前記設定手段は、前記選択手段によって選択された画像それぞれを、前記配置手段によって配置された順で順次再生した場合の、前記特定手段によって特定された注目被写体の出現間隔に基づいて、前記選択手段によって選択された画像に対して前記認識時間を設定することを特徴とする。

本発明により、画像を認識するのに適した時間から再生時間を設定するので、認識しやすい画像編集が可能となる。

画像処理装置のハードウェアの概略を示す図映像編集アプリケーションの処理ブロックを示す図認識時間を設定する処理全体のフローチャート被写体サイズを決定する処理のフローチャート認識時間を設定する処理のフローチャート自動編集アプリケーションのユーザーインターフェースの例を示す図自動編集アプリケーションの編集結果の例を示す図認識時間を設定する処理フローチャート認識時間を設定する処理フローチャート

［実施形態１］
以下、図面を用いて本発明を具体的に説明する。

図１は本実施形態を実現する画像処理装置のハードウェアの概略を示した図である。

画像処理装置１００は、画像処理を行うＰＣ（パーソナルコンピュータ）であり、各種プログラムを実行し、外部機器を接続する。

ＣＰＵ１０１は、各構成の処理全てに関わり、ＲＯＭ１０２やＲＡＭ１０３に格納された命令を順に読み込み、解釈し、その結果に従って処理を実行する。後述のフローの各処理もＣＰＵ１０１が行う。また、ＲＯＭ１０２とＲＡＭ１０３は、その処理に必要なプログラム、データ、作業領域などをＣＰＵ１０１に提供する。

記録装置１０４は、ＨＤＤ（Ｈａｒｄｄｉｓｋｄｒｉｖｅ）やＳＳＤ（ＳｏｌｉｄＳｔａｔｅＤｒｉｖｅ）といった大規模な容量のデータを保存するものであり、編集のための素材や編集結果を保存するために使用するものである。

入出力インターフェース（Ｉ／Ｆ）１０５は、外部機器との接続のために必要なインターフェースであり、ディスプレイ１０６、キーボード１０７、マウス１０８、ネットワークＩ／Ｆ１０９、メモリーカードＩ／Ｆ１１０と接続する。

ディスプレイ１０６は、処理画面を表示するための出力装置である。キーボード１０７、マウス１０８はユーザの操作を反映するための入力装置である。ネットワークＩ／Ｆ１０９は、ネットワークを通じて、他の機器と接続し、データをやり取りするためのインターフェースである。メモリーカードＩ／Ｆ１１０は、外部記録装置にデータを読み書きするためのインターフェースである。

なお、装置の構成要素は上記以外にも存在するが、本発明の主眼ではないので、説明を省略する。

本実施形態では、上記画像処理装置の一形態として、ＰＣで動作する自動編集アプリケーションを例にとって説明する。

図２の処理ブロック図は、映像編集アプリケーションの主な処理ブロックを示す図である。図２を用いて処理ブロック毎に順に説明する。素材群Ｆ２０１は撮影済みの動画、静止画、音楽の素材の集合である。使用素材の選択部Ｆ２０２は、素材群Ｆ２０１から使用する複数の動画または静止画である素材を選択する処理ブロックである。選択条件、選択方法は本発明の主眼で無いため、説明を省略する。

選択素材の配置部Ｆ２０３は、Ｆ２０２で選択された複数の素材を映像編集の時間軸上に配置する処理ブロックである。時間軸への配置に関しても本発明の主眼で無いため、説明を省略する。ここでいう時間軸への配置とは、編集映像の開始から終了までを順に並べることを指す。認識時間の算出部Ｆ２０４は、選択素材配置部Ｆ２０３で配置された各素材の順序情報を用いて、各素材の認識時間の長さを設定する処理ブロックである。ここでは、認識時間とは、素材にどのようなものが写っているかが認識できる時間という意味で用いる。映像加工部Ｆ２０５は、各素材および素材の間にエフェクトと呼ばれる映像加工処理を行う処理ブロックである。出力部Ｆ２０６は、映像加工部Ｆ２０５において編集処理された素材を特定の映像形式で出力する。

本実施形態では、認識時間の算出部Ｆ２０４における素材の認識時間を設定する処理ブロックについて、以下で説明する。

図３は、本実施形態における素材の認識時間を設定する処理の全体フローチャートを示す図である。

ステップＳ３０１は、生成する映像で用いる素材の時間軸上に配置された順序情報を取得する。

ステップＳ３０２は、素材群から、注目被写体を含む領域を指定し、指定した注目被写体の画像データから被写体を認識し、注目被写体を認識（弁別）するための情報を出力する。注目被写体領域および注目被写体の指定方法は、ユーザが画面を見ながら行うことを想定しているが、他の装置が解析した結果を用いても良く、注目被写体を認識した情報が取得出来れば良い。次のステップ以降の処理は、各素材に対し、配置時間順に処理を行う。

ステップＳ３０３は、被写体を判別するための被写体認識処理を行い、ステップＳ３０２で取得した注目被写体情報を用いて、素材に含まれる注目被写体を認識する。認識結果を履歴データベースに記録する。人物認識処理のアルゴリズムの詳細に関しては、本発明の主眼では無く、公知の手法を使用するため、詳細な説明を省略する。また、このステップ以前に認識情報を取得している場合には、このステップでの認識処理は行わず、取得した認識情報を用いても良い。

ステップＳ３０４は、選択された素材に対し、被写体サイズ検出の処理を行う。ここでは被写体領域の検出に顔検出処理を用いる。ステップＳ３０３の被写体認識処理と同様に、顔検出処理のアルゴリズムの手法に関しては、公知の手法を使用する。被写体サイズの算出には顔検出処理を行い、素材に含まれる顔の領域の大きさ、位置を取得する。顔領域から被写体サイズを算出する処理の詳細は、図４の処理フローを用いて、後述する。また、本処理ステップ以前において、被写体サイズの情報、顔領域情報を取得している場合は、本処理ブロックでの顔検出処理を行わず、取得情報を用いても良い。

ステップＳ３０５は、注目被写体情報と算出した被写体サイズ情報、被写体認識情報を用いて素材の認識時間を設定する処理である。

処理の詳細については、図５のフローチャートを用いて後述する。

ステップＳ３０６において、全素材に対する処理が終了したかを判断し、終了していなければ、ステップＳ３０７へ移行し、全素材分の処理が終了していれば、素材の時間長を調整する処理は終了となる。

ここで、素材が動画の場合、素材の所定番目のフレームの被写体情報を用いてもよいし、複数のフレームから得た被写体情報の平均を取ってもよい。

以上で素材の認識時間を設定する処理についての説明を終了する。

次に図４のフローチャートを用いて、被写体サイズ情報として顔検出を使った場合のサイズを区分する処理の説明をする。これは図３のステップＳ３０４の詳細処理フローになる。

ステップＳ４０１で顔領域の大きさ、位置の情報を取得する。素材に対し、切り出しや拡大縮小処理をする場合には、処理後の大きさ、位置を算出する。この際、顔領域の大きさから顔の中心位置の座標を算出する。ここでの顔の大きさは、面積もしくは、高さ、幅、斜めの情報を用いて、算出する。顔の位置についても顔の中心座標を用いたが、中心に限定するものではなく、顔領域が画面上のどこにあるかを判断出来れば、良いため、位置を算出するための座標は、中心でなくて良い。

ステップＳ４０２は、素材の画像の幅、高さを取得する。素材の解像度を変更する場合には、解像度変更後の幅および高さを取得する。また、解像度の変更には、画面の中から使用する領域を切出して使用する場合も含まれ、切り出される領域を画像の幅、高さとして使用する。

ステップＳ４０３は、ステップＳ４０２で取得した画像の幅と高さ情報と、ステップＳ４０１で取得した顔の中心位置座標を用いて、顔の位置が画像のどの座標にあるかを判別する。顔の位置座標が画像の高さに対し、高さの半分より上部にあるかを判断し、上部にある場合はステップＳ４０４に移行し、上部に無い場合は、ステップＳ４０８に移行する。

ステップＳ４０４は、ステップＳ４０１で取得した顔領域の大きさとステップＳ４０２で取得した画像の高さから、高さに対する顔領域の高さの割合を算出する。顔の領域の高さの割合が、閾値より大きい場合はステップＳ４０５へ移行し、閾値より小さい場合には、ステップＳ４０６へ移行する。閾値の設定には、日本人の成人の平均的な頭身が約７頭身であるため、１／８とするが、被写体が他の人種や子供の場合には適切な閾値に変更する。

ステップＳ４０５は、顔領域の大きさと素材の画面の幅と高さから、画面に占める顔領域の大きさを算出し、閾値以上であるかを判断する。閾値よりも小さい場合にはステップＳ４０７へ移行し、大きい場合にはステップＳ４０８へ移行する。ここでの閾値は画面の高さに対する顔領域の高さ、もしくは画面の幅に対する顔領域の幅が２／３であるとする。

ステップＳ４０６、ステップＳ４０７、ステップＳ４０８はそれぞれ、区分した大きさを決定する処理であり、Ｓ４０６は小さいサイズ、Ｓ４０７は標準サイズショット、Ｓ４０８は大きいサイズと決定する。

以上で素材に含まれる顔の領域の大きさ情報いから被写体サイズを区分する処理についての説明を終了する。

次に図５のフローチャートを用いて、注目被写体情報、被写体認識情報、被写体サイズ情報から各素材に適した認識時間を設定する処理フローの各処理について説明をする。

ステップＳ５０１で注目被写体情報を取得する。ステップＳ５０２で、被写体認識情報を用いて素材に含まれる被写体と注目被写体情報と比較する。ステップＳ５０３で、ステップＳ５０２の比較の結果、素材に含まれる被写体が注目被写体を含むかを判定し、ステップＳ５０３で注目被写体を含むと判定された場合、ステップＳ５０４に移行し、含まれないと判定された場合はステップＳ４０９に移行する。

ステップＳ５０４で、被写体サイズを取得する。ここでは被写体サイズから標準サイズか、大きいサイズか小さいサイズか区分した情報を取得する。ステップＳ５０５において、取得したサイズが標準サイズかどうかを判断し、標準サイズでない場合はステップＳ５０６へ移行し、標準サイズの場合はステップＳ５０９に移行する。

ステップＳ５０６において、サイズが大きいかどうかを判断し、大きい場合にはステップＳ５０７に移行し、小さい場合にはステップＳ５０８に移行する。

ステップＳ５０７では、認識時間を標準再生時間よりも短く設定する。ステップＳ５０８では、認識時間を標準再生時間よりも長く設定する。ステップＳ５０９では、認識時間を標準再生時間として設定する。本実施形態では、認識時間を３段階に設定したが、実際に認識に必要な時間そのものを設定してもよい。また、素材の認識時間を素材の再生時間とするが、素材の認識時間と異なる再生時間を予め対応付けておく等、必ずしも同じ時間でなくともよい。

また、再生時間とは、静止画の場合は、同一の静止画を表示し続ける時間であり、動画の場合は、選択された動画の最初から再生時間分再生するようにしてもよいし、動画の内容から判断した位置から再生時間分再生するようにしてもよい。

以上で、注目被写体情報、被写体認識情報、被写体サイズから素材の認識時間を設定する処理フローの説明を終了する。

なお、本実施形態では、自動編集するアプリケーションの例を用いて説明した。自動編集アプリケーションの例としては、図６の様に使用する素材、編集する映像のテーマ、生成する映像の条件を選択するための手段（６０２、６０３、６０４）を有し、作成を開始する手段（６０５）を有する。

編集結果として、図７の様にタイムラインという時間軸上に素材が配置され、映像素材７０６の様に素材の時間の長さが設定されたものである。再生の確認には再生制御部７０４もしくは、指示部７０５を操作することによって、再生プレビュー画面７０２を通じて行う。なお、図６、図７のユーザーインターフェース画面は例であり、配置や構成要素に関して、本発明の主眼とは異なるため、限定されるものでは無い。

また、本実施形態では、自動編集するアプリケーションの例で説明したが、手動で編集するアプリケーションにおいても適用できる。図７を手動編集画面とすると、タイムラインに素材を配置すると、自動的に最適な素材の時間長を設定することが出来る。

以上説明した処理制御を行うことで、映像編集における映像素材の被写体の情報から、映像素材を認識するのに適した時間を求めることにより、映像素材の長さを自動的に設定するので、認識しやすい映像編集が可能となる。

［実施形態２］
実施形態１では、注目被写体の被写体サイズを用いて、被写体サイズの大きさを基に素材の認識時間を設定したが、本実施形態２では、注目被写体の出現間隔を用いて、素材の認識時間の長さを調整する。

全体の処理フローは実施形態１の図３の処理フローを用い、ステップＳ３０５のサイズによる素材の認識時間の設定処理である図５の処理フローを後述の図８の処理フローへ置き換えるものである。

図８の処理フローを用いて、注目被写体の出現間隔を用いて、素材の認識時間を設定する処理を説明する。

ステップＳ８０１において、注目被写体情報を取得する。ステップＳ８０２において、被写体認識情報を用いて注目被写体が時間的に前の素材に出現しているかを判断する。この際に被写体毎の出現履歴データベースを作成し、それを出現の有無に用いても良い。以前の素材に注目被写体が存在する場合にはステップＳ８０３に移行し、存在しない場合はステップＳ８０５に移行する。

ステップＳ８０３において、以前に注目被写体が出現した素材との出現間隔を算出する。ステップＳ８０４において、算出した出現間隔が閾値よりも小さいかを判断し、小さい場合はステップＳ８０６に移行し、大きい場合にはステップＳ８０５に移行する。ステップＳ８０５において、認識時間を長くする。ステップＳ８０６において、再生時間を長くする。ステップＳ８０７において、出現履歴を更新する。

以上で、図８の出現間隔により素材の認識時間を設定する処理フローの説明を終了する。

本実施形態２においては、注目被写体の出現間隔から、映像素材を認識するのに適した時間を求めることにより、映像素材の長さを自動的に設定するので、認識しやすい映像編集が可能となる。

［実施形態３］
本実施形態３では、素材の認識時間の設定判断において、注目被写体の出現間隔内における他の登場人物の数を用いるものである。全体の処理フローは実施形態１の図３の処理フローを用い、ステップＳ３０５の処理である図５の処理フローを後述の図９の処理フローへ置き換えるものである。

次に図９の処理フローを説明する。

ステップＳ９０１からステップＳ９０４までは、実施形態２の図８のステップＳ８０１からステップＳ８０４までの処理と同様であるため、説明を省略する。ステップＳ９０４の判断処理は、図８のステップＳ８０４と同様であるが、出現間隔が小さい場合の移行先がステップＳ９０５に変更となっている。

ステップＳ９０５において、ステップＳ９０３で求めた出現間隔内に出現する他の登場人物の数を求め、被写体認識情報を用いて、登場人物の数が所定の閾値より少ないかを判断する。閾値より少ない場合にはステップＳ９０８に移行し、多い場合にはステップＳ９０６へ移行する。

ステップＳ９０６において、認識時間を長くする。ステップＳ９０７において、認識時間を短くする。ステップＳ９０８において、注目被写体の出現履歴を更新する。以上で、実施形態３の説明を終了する。

本実施形態３においては、注目被写体の出現間隔の間に出現する他の被写体の数を用いて、素材の時間長を調整する処理について説明した。

以上説明したように、注目被写体の出現間隔の間に出現する他の被写体の数から、映像素材を認識するのに適した時間を求めることにより、映像素材の長さを自動的に設定するので、認識しやすい映像編集が可能となる。

また、本発明の構成要素は、複数の機器（例えばホストコンピュータ，インターフェース機器，リーダ，プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、カメラ，複写機，ファクシミリ装置など）に適用しても良い。本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムが記憶媒体に格納されたプログラムコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。プログラムコードを供給するための記憶媒体としては、例えば、フロッピーディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，ＤＶＤ、磁気テープ，不揮発性のデータ保存部，ＲＯＭなどを用いることが出来る。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部を行う。さらに、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるデータ保存部に書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

Claims

画像群から画像を複数選択する選択手段と、
前記選択された画像それぞれについて、被写体が何であるかの認識に関する認識時間を設定する設定手段と、
前記設定手段によって設定された前記認識時間に基づいて、前記選択手段によって選択された画像が接続された映像を生成する生成手段と、
前記画像群に含まれる画像の被写体のうち、注目被写体を特定する特定手段と、前記選択手段によって前記画像群から選択された画像のうち、前記特定手段によって特定された注目被写体を含む画像から、前記注目被写体に関する被写体情報を取得する取得手段と、
前記選択手段によって選択された画像を、前記画像の時間に関する属性情報に基づいて、時間軸上に順に配置する配置手段とを有し、
前記生成手段は、前記選択手段によって選択された画像が、前記配置手段によって配置された順に沿って接続された前記映像を生成し、
前記設定手段は、前記選択手段によって選択された画像のうち、前記注目被写体を含む画像の認識時間を、前記取得手段によって取得された前記注目被写体に関する被写体情報に基づいて設定し、
さらに前記設定手段は、前記選択手段によって選択された画像それぞれを、前記配置手段によって配置された順で順次再生した場合の、前記特定手段によって特定された注目被写体の出現間隔に基づいて、前記選択手段によって選択された画像に対して前記認識時間を設定することを特徴とする画像処理装置。
前記注目被写体の出現間隔とは、前記選択手段によって選択された画像のうち前記注目被写体を含む画像のそれぞれについての、前記配置手段によって配置された順において時間的に前に配置された前記注目被写体を含む画像との時間的な距離であって、
前記設定手段は、前記出現間隔が所定の間隔よりも大きい場合は、前記出現間隔が前記所定の間隔より小さい場合よりも、前記認識時間を長く設定することを特徴とする請求項１に記載の画像処理装置。
前記設定手段は、前記選択手段によって選択された画像を、前記配置手段によって配置された順で順次再生した場合の、前記特定手段によって特定された注目被写体の出現間隔の間に出現する、前記注目被写体と異なる被写体の数に基づいて、前記選択された画像に対して前記認識時間を設定することを特徴とする請求項２に記載の画像処理装置。
前記設定手段は、前記注目被写体と異なる被写体の数が所定の数よりも多い場合は、前記注目被写体と異なる被写体の数が前記所定の数より少ない場合よりも、前記認識時間を長く設定することを特徴とする請求項３に記載の画像処理装置。
前記注目被写体とは特定の人物であって、前記注目被写体に関する被写体情報とは、少なくとも顔の大きさ、顔の位置、画像の大きさに対する顔の大きさの比率のいずれか１つ以上であることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
選択手段により、画像群から画像を複数選択する選択工程と、
設定手段により、前記選択された画像それぞれについて、被写体が何であるかの認識に関する認識時間を設定する設定工程と、
生成手段により、前記設定された前記認識時間に基づいて、前記選択された画像が接続された映像を生成する生成工程と、
特定手段により、前記画像群に含まれる画像の被写体を含む複数の被写体のうち、注目被写体を特定する特定工程と、
取得手段により、前記選択された画像それぞれのうち、前記特定された注目被写体を含む画像から、前記注目被写体に関する被写体情報を取得する取得工程と、
配置手段により、前記選択された画像を、前記画像の時間に関する属性情報に基づいて、時間軸上に順に配置する配置工程とを有し、
前記生成工程では、前記選択された画像が、前記配置された順に沿って接続された前記映像を生成し、
前記設定工程では、前記選択された画像のうち、前記注目被写体を含む画像の認識時間を、前記取得された前記注目被写体に関する被写体情報に基づいて設定し、
さらに前記設定工程では、前記選択された画像それぞれを、前記配置された順で順次再生した場合の、前記注目被写体の出現間隔に基づいて、前記選択された画像に対して前記認識時間を設定することを特徴とする画像処理装置の制御方法。
請求項６に記載の画像処理装置の制御方法の各工程をコンピュータに実行させるためのプログラム。