JP5741659B2 - 動画選別装置、動画選別方法及びプログラム - Google Patents

Description

本発明は、動画選別装置、動画選別方法及びプログラムに関する。

従来より、個別に撮影された複数の動画を結合して、１つの動画を生成することが行われている。複数の動画を連結する技術としては、操作性を向上させる技術が開示されている（特許文献１）。

特開２００５−８６２１８号公報

しかしながら、特許文献１に開示される技術では、画像サイズやフレームレートが様々な動画が一覧で表示されると、異なる画像サイズやフレームレートの複数の動画像が選択されてしまい、結合処理に不都合が生ずるという問題がある。

そこで、本発明は、上述の問題に鑑みてなされたものであり、動画結合の操作を円滑に行えるようにすることを目的とする。

上記目的を達成するため、本発明の一態様の動画選別装置は、
複数の動画を結合して１の動画を生成するのに際し、選択された結合元の動画と、他の動画との結合の可能性を所定の条件に基づいて判定する動画判定手段と、
前記動画判定手段の判定結果に基づいて、他の動画のうち前記結合元の動画と結合可能な動画を結合対象の動画の候補として選別する候補選別手段と、
前記候補選別手段により選別された結合対象となる候補の動画から、前記選択された結合元の動画に結合する動画を選択する結合対象選択手段と、
を備えることを特徴とする。

本発明によれば、動画結合の操作を円滑に行えるようにする。

本発明の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。 図１の撮像装置の機能的構成のうち、動画結合処理を実行するための機能的構成を示す機能ブロック図である。 結合対応テーブルを説明するための図である。 出力部に表示出力される動画の結合に係る表示例を示す図である。 図２の機能的構成を有する図１の撮像装置が実行する動画結合処理の流れを説明するフローチャートである。 動画結合処理のうち、結合候補選別処理の詳細な流れを説明するフローチャートである。

以下、本発明の実施形態について、図面を用いて説明する。

図１は、本発明の一実施形態に係る撮像装置１のハードウェアの構成を示すブロック図である。
撮像装置１は、例えばデジタルカメラとして構成される。

撮像装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、撮像部１６と、入力部１７と、出力部１８と、記憶部１９と、通信部２０と、ドライブ２１と、を備えている。

ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部１９からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。

ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、撮像部１６、入力部１７、出力部１８、記憶部１９、通信部２０及びドライブ２１が接続されている。

撮像部１６は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。

光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
撮像部１６においては、光学レンズ部を調整することにより、ＡＥ（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ：自動露出），ＡＷＢ（Ａｕｔｏ Ｗｈｉｔｅ Ｂａｌａｎｃｅ：自動ホワイトバランス），ＡＦ（Ａｕｔｏ Ｆｏｃｕｓ：自動フォーカス）等の制御を行うことができる。

イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１６の出力信号として出力される。
このような撮像部１６の出力信号を、以下、「撮像画像のデータ」と呼ぶ。撮像画像のデータは、ＣＰＵ１１や図示しない画像処理部等に適宜供給される。

入力部１７は、シャッタ等の各種ボタン等で構成され、ユーザの指示操作に応じて各種情報や指示を入力する。
出力部１８は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部１９は、ハードディスク或いはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。
通信部２０は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。

ドライブ２１には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２１によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部１９にインストールされる。また、リムーバブルメディア３１は、記憶部１９に記憶されている画像のデータ等の各種データも、記憶部１９と同様に記憶することができる。

このような撮像装置１においては、複数の動画を結合して、１つの動画を生成することができる機能を有する。１つの動画の生成に際して、撮像装置１では、結合可能な動画をユーザに選択可能に表示出力する機能を有する。結合可能な動画が選択可能に表示出力されるために、ユーザは、動画結合の操作を円滑に行えるようになる。

図２は、このような機能を有する撮像装置１の機能的構成のうち、動画結合処理を実行するための機能的構成を示す機能ブロック図である。

ここで、「動画結合処理」とは、撮影した動画から結合元となる動画をユーザ操作により選択し、当該結合元となる動画と結合可能な動画の候補を選別する処理（以下、「結合候補選別処理」という。）を行って、結合元となる動画と、決定した結合可能な動画の候補とを結合して１つの動画を生成するまでの処理である。

動画結合処理を実行する場合には、ＣＰＵ１１において、入力検出部５１と、メモリ管理部５２と、結合候補選別処理部５３と、出力制御部５４と、動画結合処理部５５と、を備える。

また、記憶部１９の一領域には、動画記憶部７１と、結合対応テーブル記憶部７２と、が設けられる。

動画記憶部７１には、動画と、当該動画に対応するサムネイル画像が記憶される。また、記憶される動画は、ヘッダ部分に、画像サイズ、撮影フレームレート、再生フレームレート、撮影時期・ファイル作成時期を含むタイムスタンプ等の動画に関する付加情報が記憶される。

結合対応テーブル記憶部７２には、結合対応テーブルが記憶される。
ここで、結合対応テーブル記憶部７２に記憶される結合対応テーブルについて説明する。
図３は、結合対応テーブル記憶部７２に記憶される結合対応テーブルを説明するための図である。

本実施形態の撮像装置１では、所定の撮影条件や動画の種類の取り扱いが可能となる。具体的には、取り扱い可能な動画の種類は、図３（ａ）に示すような、「標準」，「高精細」，「ハイスピード１０００」，「ハイスピード４８０」，「ハイスピード２４０」，「ハイスピード１２０」，「標準タイムラプス」，「高精細タイムラプス」，「標準アートショット」，「高精細アートショット」である。「標準タイムラプス」，「高精細タイムラプス」のタイムラプスとは、設定された一定の時間間隔で撮影された複数の画像をつなぎ合わせ、撮影時間より短い再生時間となり、早送りにより再生されるような動画のことをいう。「標準アートショット」及び「高精細アートショット」のアートショットについては、トイカメラ，ソフトフォーカス，ライトトーン，ポップ，セピア，モノクロ，ミニチュア，フィッシュアイ等の効果を付加したアートショットを総称したものである。

個別的に詳細に説明すると、「標準」は、「画像サイズ（ｐｉｘｅｌｓ）：６４０×４８０」，「撮影フレームレート（ｆｐｓ）：３０」及び「再生フレームレート（ｆｐｓ）：３０」となる。また、「高精細」は、「画像サイズ（ｐｉｘｅｌｓ）：１９２０×１０８０」，「撮影フレームレート（ｆｐｓ）：３０」及び「再生フレームレート（ｆｐｓ）：３０」となる。

「ハイスピード１０００」は、「画像サイズ（ｐｉｘｅｌｓ）：２２４×６４」，「撮影フレームレート（ｆｐｓ）：１０００」及び「再生フレームレート（ｆｐｓ）：３０スロー／普通切換可」となる。また、「ハイスピード４８０」は、「画像サイズ（ｐｉｘｅｌｓ）：２２４×１６０」，「撮影フレームレート（ｆｐｓ）：４８０」及び「再生フレームレート（ｆｐｓ）：３０スロー／普通切換可」となる。また、「ハイスピード２４０」は、「画像サイズ（ｐｉｘｅｌｓ）：５１２×３８４」，「撮影フレームレート（ｆｐｓ）：２４０」及び「再生フレームレート（ｆｐｓ）：３０スロー／普通切換可」となる。また、「ハイスピード１２０」は、「画像サイズ（ｐｉｘｅｌｓ）：６４０×４８０」，「撮影フレームレート（ｆｐｓ）：１２０」及び「再生フレームレート（ｆｐｓ）：３０スロー／普通切換可」となる。

「標準タイムラプス」は、「画像サイズ（ｐｉｘｅｌｓ）：６４０×４８０」，「撮影フレームレート（ｆｐｓ）：設定により異なる」及び「再生フレームレート（ｆｐｓ）：３０」となる。また、「高精細タイムラプス」は、「画像サイズ（ｐｉｘｅｌｓ）：１９２０×１０８０」，「撮影フレームレート（ｆｐｓ）：設定により異なる」及び「再生フレームレート（ｆｐｓ）：３０」となる。

「標準アートショット」は、「画像サイズ（ｐｉｘｅｌｓ）：６４０×４８０」，「撮影フレームレート（ｆｐｓ）：３０」及び「再生フレームレート（ｆｐｓ）：３０」となる。また、「高精細アートショット」は、「画像サイズ（ｐｉｘｅｌｓ）：１２８０×７２０」，「撮影フレームレート（ｆｐｓ）：２０」及び「再生フレームレート（ｆｐｓ）：２０」となる。

以上のような取り扱い可能な動画を互いに結合する撮像装置１においては、動画結合の処理負荷の観点や結合した場合の不具合の観点から、所定の条件の組み合わせの動画のみを結合可能なものとして取り扱う。本実施形態においては、同じ動画の種類か、異なる動画の種類でも、画像サイズと、再生フレームレートとが同じ動画であれば結合可能となるように構成される。
結合可能な動画の組み合わせは、図３（ｂ）に示すような結合対応テーブルで管理されている。結合対応テーブルは、結合元の動画と、結合元の動画と結合する結合対象の動画との結合の可否を示すテーブルであり、組み合わせを図中、「○」が結合可能を示し、「×」が結合不可を示す。

具体的には、「標準」では、「標準」，「標準タイムラプス」，「標準アートショット」が撮影フレームレートによらず結合可能な動画となる。
「高精細」では、「高精細」，「高精細タイムラプス」が結合可能となる。
「標準タイムラプス」では、「標準」，「標準タイムラプス」が結合可能な動画となる。
「高精細タイムラプス」では、「高精細」，「高精細タイムラプス」が撮影フレームレートによらず結合可能な動画となる。
「標準アートショット」では、「標準」，「標準アートショット」が結合可能な動画となる。
その他の「ハイスピード１０００」，「ハイスピード４８０」，「ハイスピード２４０」，「ハイスピード１２０」，「高精細アートショット」では、同じ種類の動画のみが結合可能な動画となる。
撮像装置１においては、上述した結合対応テーブルに基づいて、結合元の動画と、結合可能な動画を選別することになる。

図２に戻り、入力検出部５１は、入力部１７に対するユーザの入力操作を検出する。入力検出部５１は、検出した入力操作に基づいて、動画の選択や決定を指示する。

メモリ管理部５２は、記憶部１９における記憶容量の管理（例えば、メモリ残量の把握）を行う。具体的には、メモリ管理部５２は、動画の結合の指示があった場合、結合元の動画で結合した場合や、結合対象の動画が選択された場合に余剰の記憶容量があるか否かを管理する。

結合候補選別処理部５３は、結合候補選別処理を実行する。
ここで、「結合候補選別処理」とは、記憶されている動画の中から、結合元の動画と結合可能な動画を選別する処理である。

また、結合候補選別処理部５３は、候補選別情報取得部９１と、候補選別部９２と、を備える。

候補選別情報取得部９１は、候補の選別に係る情報（以下、「候補選別情報」ともいう。）を取得する。詳細には、候補選別情報取得部９１は、候補選別情報として、動画記憶部７１に記憶される動画の画像サイズ、再生フレームレート等の動画の付加情報を取得したり、設定された再生時間の動画の付加情報を取得したり、記憶部１９のメモリ残量を取得したりする。

候補選別部９２は、動画の付加情報や記憶部１９のメモリ残量等の候補選別情報に基づいて、動画記憶部７１に記憶される動画を選別する。

出力制御部５４は、動画記憶部７１に記憶される動画のサムネイル画像を表示出力させるように出力部１８を制御する。
詳細には、出力制御部５４は、動画記憶部７１に記憶される動画のうち、結合元の動画とされたサムネイル画像や結合元の動画とされたサムネイル画像や結合の候補として選別された動画のサムネイル画像や、結合された動画のサムネイル画像等を表示出力させるように出力部１８を制御する。また、出力制御部５４は、動画を再生出力させるように出力部１８を制御する。

図４は、出力部１８に表示出力される動画の結合に係る表示例を示す図である。
動画の結合に係る表示は、結合元の動画を示す結合元の動画のサムネイル画像の表示を選択的に表示する。そして、結合元の動画と結合可能な動画を示す結合可能な動画のサムネイル画像を選択的に表示する。結合元の動画と選択された動画の結合の後、結合した動画のサムネイル画像を表示する。

具体的には、動画の結合に係る表示は、図４（ａ）に示すように、結合元の動画のサムネイル画像ｓ１の表示画面を表示する。図４（ａ）の例では、山の風景を撮影した動画のサムネイル画像ｓ１が表示されている。
ユーザは、入力部１７への選択操作で、複数の動画の中から結合元の動画を、動画に対応するサムネイル画像を介して選択する。複数の動画の中から結合元の動画を表示する場合には、進むアイコンａ１又は戻るアイコンａ２を選択する。また、表示されているサムネイル画像ｓ１に対応する動画を結合元の動画として選択する場合には、作成アイコンａ３を選択する。これに対して、動画の結合を行わない場合は、キャンセルアイコンａ４を選択する。

次に、図４（ｂ）に示すような、結合対象となる動画の選択画面に移行する。図４（ｂ）の例では、複数の結合可能な動画のうち海の風景を撮影した動画のサムネイル画像ｓ２が表示されている。
結合対象となる動画の選択画面では、記憶されている複数の動画ｍ１乃至ｍｎのうち、結合元の動画に結合可能な結合対象の動画の候補となる複数の動画のサムネイル画像ｇ１乃至ｇｎが選択的に表示される。ユーザは、入力部１７への選択操作で、複数の動画ｍ１乃至ｍｎの中から結合対象の動画を、動画に対応するサムネイル画像ｇ１乃至ｇｎを介して選択することになる。複数の動画の中から結合対象とする動画を表示する場合には、進むアイコンａ５又は戻るアイコンａ６を選択する。また、表示されているサムネイル画像ｓ２に対応する動画を結合元の動画として選択する場合には、結合アイコンａ７を選択する。これに対して、動画の結合を行わない場合は、キャンセルアイコンａ８を選択する。

動画の結合が行われた場合には、図４（ｃ）に示すように、結合した動画に対応したサムネイル画像ｓ１が表示される。図４（ｃ）の例では、結合元の動画のサムネイル画像ｓ１が表示されている。なお、結合後にどのようなサムネイル画像を表示するかについては、ユーザにより任意に選択可能に構成する。
結合した動画の再生を行う場合には、再生アイコンａ９を選択し、再生を行わない場合は、キャンセルアイコンａ１０を選択する。

また、本例では、動画を１枚ずつ選択的に表示するように構成したが、複数の動画を一覧的に表示してもよい。また、本例では、結合可能な動画のみを表示させるようにしたが、結合不可の動画を選択不可状態で表示させるようにしてもよい。この場合、結合不可の動画は、結合不可であるように、例えば、グレイアウト表示をするように構成してもよい。

図２に戻り、動画結合処理部５５は、複数の動画を１つの動画に結合する処理を行う。詳細には、動画結合処理部５５は、結合元となる動画と、結合する動画として決定された動画と、を連結して結合して１つの動画を結合する。動画の結合に際して、動画結合処理部５５は、ユーザによって採用された条件（例えば、結合元の動画か結合対象の動画いずれかの結合位置、タイムスタンプ、動画の種類等）で結合を行うとともに、動画のヘッダ部分に記憶される画像サイズ、撮影フレームレート、再生フレームレート、撮影時期・ファイル作成時期を含むタイムスタンプ等の動画に関する付加情報の書き換えを行う。

また、本実施形態において、動画結合処理部５５は、１度の結合の処理で、３つ以上の動画は結合しないが、結合した動画にさらに、動画を結合して、結果的に３つ以上の動画を結合できるものとする。なお、１度に３つ以上の動画を結合しない仕様としたが、１度の結合の処理で、２つ以上の動画を結合するように構成してもよい。

次に、このような撮像装置１が実行する動画結合処理の流れについて説明する。
図５は、図２の機能的構成を有する図１の撮像装置１が実行する動画結合処理の流れを説明するフローチャートである。
動画結合処理は、ユーザの入力部１７に対する動画結合処理を開始する操作により実行される。

ステップＳ１１において、出力部１８に選択可能に表示された動画から、ユーザが結合元の動画を図４（ａ）に示す進むアイコンａ１，戻るアイコンａ２を使用して選択する。即ち、入力検出部５１は、入力部１７に対する結合元の動画の選択をする操作を検出する。出力部１８において、結合元の動画のサムネイル画像（以下、単に「サムネイル」ともいう。）が選択可能に表示されるが、結合した場合に容量オーバーになる動画等を予め選択候補から除外しておくようにすることもできる。
具体的には、図４（ａ）に示すように、選択的に結合元の動画のサムネイルが表示されるため、ユーザは、動画結合の操作を円滑に行うことができる。

ステップＳ１２において、メモリ管理部５２は、選択された結合元の動画と結合した場合に動画記憶部７１に記憶される動画が記憶残量よりも小さいサイズ（メモリの記憶残量未満）であるか否かを判定する。
メモリの記憶残量未満である場合には、ステップＳ１２においてＮＯと判定されて、動画結合処理は終了する。
メモリの記憶残量未満でない場合には、ステップＳ１２においてＹＥＳと判定されて、処理はステップＳ１３に進む。

ステップＳ１３において、結合候補選別処理部５３は、結合候補選別処理を実行する。結合候補選別処理の詳細な処理の流れについては後述する。

ステップＳ１４において、出力部１８は、結合候補選別処理の結果選別された結合対象の候補となる動画（以下、「選別動画」という。）の先頭動画のサムネイルを表示する。即ち、出力制御部５４は、選別動画の先頭動画のサムネイルを表示出力するように出力部１８を制御する。
具体的には、図４（ｂ）に示すように、選択的に選別動画のサムネイルが表示されるため、ユーザは、動画結合の操作を円滑に行うことができる。

ステップＳ１５において、入力検出部５１は、入力部１７に対して選択操作がされたか否かを判定する。
選択操作がされていない場合には、ステップＳ１５においてＮＯと判定されて処理はステップＳ１７に進む。ステップＳ１７以降の処理は後述する。
図４（ｂ）に示す進むアイコンａ５，戻るアイコンａ６を使用して選択操作がされた場合には、ステップＳ１５においてＹＥＳと判定されて処理はステップＳ１６に進む。

なお、他に選別動画がない場合には、図４（ｂ）に示す進むアイコンａ５，戻るアイコンａ６を非表示又は、グレイアウト表示とする。

ステップＳ１６において、出力部１８は、前又は次の選別動画のサムネイルを表示する。即ち、出力制御部５４は、前又は次の選別動画のサムネイル画像を表示出力するように出力部１８を制御する。
その後、処理はステップＳ１５に戻る。

ステップＳ１７において、ユーザが表示中の選別動画の中から結合対象の動画として決定操作を行う否かを判定する。即ち、入力検出部５１は、入力部１７に対するユーザの図４（ｂ）に示す結合アイコンａ７を使用した決定操作を検出する。
決定操作をしてない場合には、ステップＳ１７においてＮＯと判定されて、処理はステップＳ１３に戻る。
決定操作をした場合には、ステップＳ１７においてＹＥＳと判定されて、処理はステップＳ１８に進む。

ステップＳ１８において、入力検出部５１は、表示中の選別動画を結合対象の動画として決定する。

ステップＳ１９において、ユーザが結合対象の動画を結合元の動画の前又は後いずれに連結して結合するかを設定する操作（以下、「結合位置設定操作」という。）をしたか否かを判定する。即ち、入力検出部５１は、入力部１７に対するユーザの結合位置設定操作を判定する。
結合位置設定操作をしてない場合には、ステップＳ１９においてＮＯと判定されて、処理はステップＳ２０に進む。

ステップＳ２０において、動画結合処理部５５は、後に結合位置を採用する。その後、処理はステップＳ２２に進む。ステップＳ２２以降の処理は、後述する。

これに対して、結合位置設定操作をした場合には、ステップＳ１９においてＹＥＳと判定されて、処理はステップＳ２１に進む。

ステップＳ２１において、動画結合処理部５５は、選択された前又は後に結合位置を採用する。

ステップＳ２２において、ユーザが結合元の動画又は結合対象の動画のいずれのタイムスタンプを採用するかの選択操作をしたか否かを判定する。入力検出部５１は、入力部１７に対するタイムスタンプの選択操作を検出する。
タイムスタンプの選択操作をしてない場合には、ステップＳ２２においてＮＯと判定されて、処理はステップＳ２３に進む。

ステップＳ２３において、動画結合処理部５５は、結合元の動画のタイムスタンプを採用する。その後、処理はステップＳ２５に進む。ステップＳ２５以降の処理は後述する。

これに対して、タイムスタンプの選択操作をした場合には、ステップＳ２２においてＹＥＳと判定されて、処理はステップＳ２４に進む。

ステップＳ２４において、動画結合処理部５５は、選択されたいずれか（結合元の動画又は結合対象の動画）のタイムスタンプを採用する。

ステップＳ２５において、ユーザが結合元の動画又は結合対象の動画の種類のいずれの選択を採用するかの操作をしたか否かを判定する。即ち、入力検出部５１は、入力部１７に対する種類選択操作を判定する。
種類選択操作をしない場合には、ステップＳ２５においてＮＯと判定されて、処理はステップＳ２６に進む。

ステップＳ２６において、動画結合処理部５５は、結合元の動画の種類を採用する。その後、処理はステップＳ２８に進む。ステップＳ２８の処理は後述する。

これに対して、種類選択操作をした場合には、ステップＳ２５においてＹＥＳと判定されて、処理はステップＳ２７に進む。

ステップＳ２７において、動画結合処理部５５は、選択されたいずれかの動画（結合元の動画又は結合対象の動画）の種類を採用する。

ステップＳ２８において、動画結合処理部５５は、採用された条件（結合位置、タイムスタンプ及び動画の種類）で結合を実行する。即ち、動画結合処理部５５は、ユーザにより設定された結合位置、タイムスタンプ及び動画の種類の条件で動画を結合して１つの動画を生成する。その後、動画結合処理は、終了する。

図６は、動画結合処理のうち結合候補選別処理の詳細な流れを説明する図である。

ステップＳ４１において、候補選別情報取得部９１は、選択された結合元の動画の画像サイズ、再生フレームレートを取得する。

ステップＳ４２において、候補選別情報取得部９１は、動画記憶部７１に記憶される選択動画の設定再生時間を取得する。詳細には、候補選別情報取得部９１は、ユーザによって再生時間が別途設定されていた場合には設定再生時間を取得する。その他、設定されていない場合には、初期値の再生フレームレートを再生時間とする。

ステップＳ４３において、候補選別情報取得部９１は、メモリ管理部５２を介して記憶部１９からメモリ残量を取得する。

ステップＳ４４において、候補選別部９２は、該当する動画を選別する。詳細には、候補選別部９２は、候補選別情報取得部９１によって取得された情報に基づいて選択動画の結合対応テーブル記憶部７２に記憶される結合テーブルでの可否の判定と、結合した場合の再生時間と、メモリ残量と、を考慮して、該当する動画（結合対象の動画の候補となる動画）を動画記憶部７１に記憶される動画の中から選別する。
その後、結合候補選別処理は、終了する。
このようにして結合した動画は、個別に撮影された通常の動画と同様に再生を行うことができる。

以上のように構成される撮像装置１においては、結合候補選別処理部５３を備える。
結合候補選別処理部５３は、複数の動画を結合して１の動画を生成するのに際し、選択された結合元の動画と、他の動画との結合の可能性を所定の条件に基づいて判定する。
また、結合候補選別処理部５３は、判定結果に基づいて、他の動画のうち結合元の動画と結合可能な動画を結合対象の動画の候補として選別する。
これにより、撮像装置１では、結合に適切な動画のみを候補とするので、ユーザが不適切な動画を選択して不要な手間をかけてしまうことを防止できる。また、撮像装置１では、結合元の動画と結合可能な動画を結合対象の動画の候補として選別するために、選別結果を提示されたユーザは、結合できない動画を選択することがなくなり、動画結合の操作を円滑に行えるようになる。

また、結合候補選別処理部５３は、動画の種類によらず所定の条件を満たした動画を結合対象の動画の候補として選別する。
これにより、撮像装置１では、通常の撮影、ハイスピード撮影、タイムラプス撮影、アートショットといった動画の種類によらず結合可能となるので、多種多様な結合動画を生成できる。

また、結合候補選別処理部５３は、動画の撮影条件によらず所定の条件を満たした動画を結合対象の動画の候補として選別する。
これにより、撮像装置１では、撮影フレームレートといった動画の撮影条件によらず結合可能となるので、多種多様な結合動画を生成できる。

また、結合候補選別処理部５３は、動画の撮影フレームレートによらず所定の条件を満たした動画を結合対象の動画の候補として選別する。
これにより、撮像装置１では、撮影フレームレートが設定により異なるようなタイムラプス撮影であったとしても、撮影フレームレートが異なる場合がある通常の撮影、アートショットといった動画にも結合可能となるので、多種多様な結合動画を生成できる。

また、結合候補選別処理部５３は、画像サイズ、又は再生フレームレートの一致度を所定の条件とする。
これにより、撮像装置１では、結合に適切な形式の動画のみを候補とすることができる。

また、複数の動画を結合して１の動画を生成する動画結合処理部５５を備える。
結合候補選別処理部５３は、動画結合処理部５５により生成される１の動画の再生時間、又はメモリの記憶残量を所定の条件とする。
これにより、撮像装置１では、装置の処理能力やメモリの状態に応じて、結合に適切な動画のみを候補として案内できる。

結合候補選別処理部５３は、再生時間を設定可能とする。
これにより、撮像装置１では、処理時間と好みとの兼ね合いに応じて、ユーザが設定できる。

動画結合処理部５５は、結合対象の動画を結合元の動画の前後いずれに結合するかを選択可能とする。
これにより、撮像装置１では、結合する複数の画像の選択順番を意識する必要がなくなる。

動画結合処理部５５は、結合の結果として生成された動画の付加情報を、結合元の動画又は結合対象の動画いずれに準じるかを選択可能とする。
これにより、撮像装置１では、後からの検索でユーザの意図する結果が得られやすくなる。

動画結合処理部５５は、タイムスタンプ、又は動画の種類を結合の結果として生成された動画の付加情報とする。
これにより、撮像装置１では、後からの検索でユーザの意図する結果が得られやすくなる。

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

上述の実施形態では、結合対象等の動画の候補を１つの画面に選択可能に表示するように構成したが、候補として表示するものを、優先順位を考慮して表示させてもよい。優先順位は、例えば、動画の内容が同種のものや、動画の撮影場所（ＧＰＳデータ等から保持した撮影位置）が近いものや、結合の容易なもの等である。
また、動画の候補の表示は、選択的に１枚の画像を表示することに限らず、一覧的に表示してもよく、また、結合不可のものを非表示にすることや選択不可にして選択可能な表示から除外して表示するように構成することができる。
さらに、動画の候補の表示は、例えば、関連性が高いものや結合に係る処理の難度に応じて、表示の仕方を変えるように構成してもよい。

また、上述の実施形態では、動画の種類を問わず結合可能な動画を選別したが、ユーザの設定に応じて選別する動画の種類を設定できるようにしてもよい。

また、上述の実施形態では、再生フレームレートや画像サイズが同じ動画を結合可能な動画としたが、再生フレームレートや画像サイズが異なる動画も変換を行って結合可能な動画とすることができる。

また、再生フレームレートに限らず、撮影フレームレートの一致で結合可能画像とすることもできる。

また、上述の実施形態では、変換に係る処理負担が大きくなるものを除き、画像サイズ、再生フレームレート等が一致しており、結合が容易な所定の動画のみを結合の対象としたがこれに限られない。例えば、静止画や連写画像等の画像を結合の対象とすることができる。この場合、画像を動画として連結する。画像を動画として構成するように、例えば、静止画の場合、１枚の画像を３秒で表示するように構成し、９０フレーム分を同じ画像を連ねて動画として結合できるようにできる。また、５枚の連写画像の場合は、１枚の画像を３秒ごとに表示するように構成し、画像ごと９０フレーム分を同じ画像を連ねて動画として結合できるようにできる。この場合、画像サイズが一致しているほうが望ましい。

また、上述の実施形態では、再生時にスローと普通が切り換えられる「ハイスピード１０００」「ハイスピード４８０」「ハイスピード２４０」「ハイスピード１２０」は、他の種類の動画とは結合不可としているが、再生フレームレートが一致する場合は、再生時のスロー又は普通をいずれかに限定して、他の種類の動画と結合可能とするようにすることもできる。

また、上述の実施形態では、記憶された動画から単に結合可能な動画の候補を案内し、最終的に、結合動画を生成する機能を有する撮像装置として構成したが、単に結合可能な動画の候補を案内する装置として構成してもよく、また、撮像装置の撮像機能を利用して、結合元の動画や結合対象の動画を撮影して生成する段階の機能を有するように構成してもよい。

また、上述の実施形態では、本発明が適用される撮像装置１は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、動画結合処理又は結合候補選別機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等に適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図２の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図２の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ），Ｂｌｕ−ｒａｙ Ｄｉｓｃ（ブルーレイディスク）（登録商標）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部１９に含まれるハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。

以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
複数の動画を結合して１の動画を生成するのに際し、選択された結合元の動画と、他の動画との結合の可能性を所定の条件に基づいて判定する動画判定手段と、
前記動画判定手段の判定結果に基づいて、他の動画のうち前記結合元の動画と結合可能な動画を結合対象の動画の候補として選別する候補選別手段と、
を備えることを特徴とする動画選別装置。
［付記２］
前記候補選別手段は、動画の種類によらず前記所定の条件を満たした動画を前記結合対象の動画の候補として選別する、
ことを特徴とする付記１に記載の動画選別装置。
［付記３］
前記候補選別手段は、動画の撮影条件によらず前記所定の条件を満たした動画を前記結合対象の動画の候補として選別する、
ことを特徴とする付記１又は２に記載の動画選別装置。
［付記４］
前記候補選別手段は、動画の撮影フレームレートによらず前記所定の条件を満たした動画を前記結合対象の動画の候補として選別する、
ことを特徴とする付記３に記載の動画選別装置。
［付記５］
前記動画判定手段は、画像サイズ、又は再生フレームレートの一致度を所定の条件とする、
ことを特徴とする付記１１乃至４のいずれか１つに記載の動画選別装置。
［付記６］
複数の動画を結合して１の動画を生成する動画生成手段を更に備え、
前記動画判定手段は、前記生成手段により生成される１の動画の再生時間、又はメモリの記憶残量を所定の条件とする、
ことを特徴とする付記１乃至５のいずれか１つに記載の動画選別装置。
［付記７］
前記動画判定手段は、前記再生時間を設定可能とする、
ことを特徴とする付記６に記載の動画選別装置。
［付記８］
前記動画生成手段は、前記結合対象の動画を前記結合元の動画の前後いずれに結合するかを選択可能とする、
ことを特徴とする付記６又は７に記載の動画選別装置。
［付記９］
前記動画生成手段は、結合の結果として生成された動画の付加情報を、前記結合元の動画又は前記結合対象の動画いずれに準じるかを選択可能とする、
ことを特徴とする付記６乃至８のいずれか１つに記載の動画選別装置。
［付記１０］
前記動画生成手段は、タイムスタンプ、又は動画の種類を結合の結果として生成された動画の付加情報とする、
ことを特徴とする付記６乃至９のいずれか１つに記載の動画選別装置。
［付記１１］
複数の動画を結合して１の動画を生成するのに際し、選択された結合元の動画と、他の動画との結合の可能性を所定の条件に基づいて判定する動画判定ステップと、
前記動画判定ステップでの判定結果に基づいて、他の動画のうち前記結合元の動画と結合可能な動画を結合対象の動画の候補として選別する候補選別ステップと、
を含むことを特徴とする動画選別方法。
［付記１２］
コンピュータを、
複数の動画を結合して１の動画を生成するのに際し、選択された結合元の動画と、他の動画との結合の可能性を所定の条件に基づいて判定する動画判定手段、
前記動画判定手段による判定結果に基づいて、前記他の動画のうち前記結合元の動画と結合可能な動画を結合対象の動画の候補として選別する候補選別手段、
として機能させることを特徴とするプログラム。

１・・・撮像装置，１１・・・ＣＰＵ，１２・・・ＲＯＭ，１３・・・ＲＡＭ，１４・・・バス，１５・・・入出力インターフェース，１６・・・撮像部，１７・・・入力部，１８・・・出力部，１９・・・記憶部，２０・・・通信部，２１・・・ドライブ，３１・・・リムーバブルメディア，５１・・・入力検出部，５２・・・メモリ管理部，５３・・・結合候補選別処理部，５４・・・出力制御部，５５・・・動画結合処理部，７１・・・動画記憶部，７２・・・結合対応テーブル記憶部，９１・・・候補選別情報取得部，９２・・・候補選別部

Claims (13)

1. 複数の動画を結合して１の動画を生成するのに際し、選択された結合元の動画と、他の動画との結合の可能性を所定の条件に基づいて判定する動画判定手段と、
   前記動画判定手段の判定結果に基づいて、他の動画のうち前記結合元の動画と結合可能な動画を結合対象の動画の候補として選別する候補選別手段と、
   前記候補選別手段により選別された結合対象となる候補の動画から、前記選択された結合元の動画に結合する動画を選択する結合対象選択手段と、
   を備えることを特徴とする動画選別装置。
2. 前記他の動画は複数であって、
   前記候補選別手段は、前記選択された結合元の動画に結合する動画を、前記結合対象選択手段により選択するための候補を、複数の前記他の動画から複数選別する、
   ことを特徴とする請求項１に記載の動画選別装置。
3. 前記候補選別手段は、動画の種類が異なる場合であっても前記所定の条件を満たした動画を前記結合対象の動画の候補として選別する、
   ことを特徴とする請求項１又は２に記載の動画選別装置。
4. 前記候補選別手段は、動画の撮影条件が異なる場合であっても前記所定の条件を満たした動画を前記結合対象の動画の候補として選別する、
   ことを特徴とする請求項１乃至３のいずれか１項に記載の動画選別装置。
5. 前記候補選別手段は、動画の撮影フレームレートが異なる場合であっても前記所定の条件を満たした動画を前記結合対象の動画の候補として選別する、
   ことを特徴とする請求項４に記載の動画選別装置。
6. 前記動画判定手段は、画像サイズ、又は再生フレームレートの一致度を所定の条件とする、
   ことを特徴とする請求項１乃至５のいずれか１項に記載の動画選別装置。
7. 複数の動画を結合して１の動画を生成する動画生成手段を更に備え、
   前記動画判定手段は、前記動画生成手段により生成される１の動画の再生時間、又はメモリの記憶残量を所定の条件とする、
   ことを特徴とする請求項１乃至６のいずれか１項に記載の動画選別装置。
8. 前記動画判定手段は、前記再生時間を設定可能とする、
   ことを特徴とする請求項７に記載の動画選別装置。
9. 前記動画生成手段は、前記結合対象の動画を前記結合元の動画の前後いずれに結合するかを選択可能とする、
   ことを特徴とする請求項７又は８に記載の動画選別装置。
10. 前記動画生成手段は、結合の結果として生成された動画の付加情報を、前記結合元の動画又は前記結合対象の動画いずれに準じるかを選択可能とする、
    ことを特徴とする請求項７乃至９のいずれか１項に記載の動画選別装置。
11. 前記動画生成手段は、タイムスタンプ、又は動画の種類を結合の結果として生成された
    動画の付加情報とする、
    ことを特徴とする請求項７乃至１０のいずれか１項に記載の動画選別装置。
12. 複数の動画を結合して１の動画を生成するのに際し、選択された結合元の動画と、他の動画との結合の可能性を所定の条件に基づいて判定する動画判定処理と、
    前記動画判定処理での判定結果に基づいて、他の動画のうち前記結合元の動画と結合可能な動画を結合対象の動画の候補として選別する候補選別処理と、
    前記候補選別処理により選別された結合対象となる候補の動画から、前記選択された結合元の動画に結合する動画を選択する結合対象選択処理と、
    を含むことを特徴とする動画選別方法。
13. コンピュータに、
    複数の動画を結合して１の動画を生成するのに際し、選択された結合元の動画と、他の動画との結合の可能性を所定の条件に基づいて判定する動画判定機能、
    前記動画判定機能による判定結果に基づいて、前記他の動画のうち前記結合元の動画と結合可能な動画を結合対象の動画の候補として選別する候補選別機能、
    前記候補選別機能により選別された結合対象となる候補の動画から、前記選択された結合元の動画に結合する動画を選択する結合対象選択機能、
    を実現させることを特徴とするプログラム。

Images