JP2016201712A - 映像処理装置 - Google Patents

Abstract

【課題】撮り逃したイベントがあった場合においても、ユーザが所望するテーマに沿った映像を生成することができる映像処理装置を提供すること。【解決手段】撮影すべき複数イベントの情報がイベント間の前後関係を指定されたテーマ情報を保持するテーマ保持手段と、映像が関連付けられていないイベントの撮影時間を推定するイベント時間推定手段と、イベント時間推定手段による推定時間と合致した映像を抽出する映像抽出手段とを備えることを特徴とする。【選択図】図１

Description

本発明は、テーマに沿って複数回に分けて撮影した映像データから、テーマに沿った映像データを生成する映像処理装置に関する。

今日、デジタルビデオカメラ・デジタルカメラの普及に伴い、一般消費者が自ら映像を撮影したり、編集したりすることによって、映像を作成する機会が増えている。このような状況の中で、撮影や動画編集などの映像作成において、運動会や旅行・結婚式などの特定のテーマの映像（ストーリを持った映像）を作成したいという要求がある。

このような要求に対し、特許文献１には、台本等の情報を外部から入力し、その情報をビューファインダに表示することによって、台本に記載されたストーリに沿った撮影が可能になるシステムが開示されている。また、特許文献２には、ユーザが選択した映像のテーマ（テンプレート）にしたがって、映像データを割り当てることによってＤＶＤやＶｉｄｅｏ ＣＤなどのコンテンツを作成することができる装置が開示されている。

ところで、上述した運動会や旅行・結婚式というような撮影機会は、映画やドラマの撮影機会とは大きく異なる点がある。すなわち、運動会や旅行・結婚式などでは、撮影すべきイベントを撮り逃がすと、再撮影が不可能か非常に困難な場合がある。例えば、結婚式において、ケーキ入刀は１度きりのイベントであり、ケーキ入刀を撮り逃がしたからと言って、再撮影を行うことは不可能である。このため、撮影すべきイベントを撮り逃した場合は、ユーザがテーマにしたがって作成したいと考えている映像を構成すべきデータが不足してしまう、という問題が生じる。

このような問題に対し、前記の特許文献２では、テンプレートに対応した割り付けるべき映像データが存在しない場合は、補完用のデータを生成して割り付ける技術を開示している。補完用のデータとは、たとえば対応する映像がない旨のメッセージを表示するための映像データなどである。この技術に従えば、撮り逃してしまったイベントの映像に代わる補完データを生成することによって、ユーザが選択した映像のテーマに従ったコンテンツを作成することができる。

特開２００６−９３７９５号公報 特開２００１−３２０６６６号公報

しかしながら、上記のような従来技術では次のような問題がある。すなわち、撮り逃してしまったイベントの映像の代替として用いられる補完用のデータは、対応する映像の不存在を示す情報などであるため、必ずしもユーザが選択した映像のテーマに沿ったものではない。このため、そのような補完用データを用いて作成された映像は、結果的にユーザの期待するテーマ（ストーリ）に沿った映像とは異なってしまう可能性があった。

本発明は、上記課題を鑑みてなされたものであって、撮り逃したイベントがあった場合においても、ユーザが所望するテーマに沿った映像を生成することができる映像処理装置を提供することを目的とする。

上記の目的を達成するために、本発明の映像処理装置は、撮影すべき複数イベントの情報がイベント間の前後関係を指定されたテーマ情報を保持するテーマ保持手段と、映像が関連付けられていないイベントの撮影時間を推定するイベント時間推定手段と、イベント時間推定手段による推定時間と合致した映像を抽出する映像抽出手段とを備えることを特徴とする。

本発明の映像処理装置によれば、ユーザが選択したテーマに沿って複数回に分けて撮影した映像データからテーマに沿った映像を生成する映像処理装置において、撮影すべき複数イベントの情報がイベント間の前後関係を指定されたテーマ情報を保持し、映像が関連付けられていないイベントの撮影時間を推定するするとともに、推定した撮影時間と合致する映像を抽出することによって、撮り逃したイベントがあった場合においても、テーマに沿った動画を生成することができる。

本発明の第一の実施例における映像処理装置の内部構成を示すブロック図である。 本発明の第一の実施例における映像処理装置の外観を示すブロック図である。 本発明の第一の実施例における映像処理装置のテーマ撮影モードにおける開始操作時のＧＵＩを示す図である。 本発明の第一の実施例における映像処理装置で利用されるテーマデータの例である。 本発明の第一の実施例における映像処理装置のテーマ撮影モードにおける撮影操作時のＧＵＩを示す図である。 本発明の第一の実施例における映像処理装置で利用される撮影データの例である。 本発明の第一の実施例における映像処理装置の動作を説明するためのフローチャートである。 本発明の第一および第四の実施例における映像処理装置のイベント推定処理を説明するためのフローチャートである。 本発明の第一の実施例における映像処理装置の再生処理時のＧＵＩを示す図である。 本発明の第一の実施例における映像処理装置の抽出した映像の選択処理時のＧＵＩを示す図である。 本発明の第一の実施例における映像処理装置により生成される再生リストの例である。 本発明の第一の実施例における映像処理装置の再生時の出力画面の例である。 本発明の第二の実施例における映像処理装置の内部構成を示すブロック図である。 本発明の第二の実施例における近接ネットワークを説明するための図である。 本発明の第二の実施例における映像処理装置により生成される再生リストの例である。 本発明の第三の実施例における映像処理装置の内部構成を示すブロック図である。 本発明の第三の実施例における映像処理装置により生成される再生リストの例である。 本発明の第四の実施例における映像処理装置の内部構成を示すブロック図である。 本発明の第四の実施例における映像処理装置で利用されるテーマデータの例である。 本発明の第四の実施例における映像処理装置に格納されている映像データの例である。 本発明の第四の実施例における映像処理装置の動作を説明するためのフローチャートである。 本発明の第四の実施例における映像処理装置の映像の選択処理時のＧＵＩを示す図である。 本発明の第四の実施例における映像処理装置により生成される映像リストの例である。

以下、図面を参照しながら本発明の実施の形態について説明する。

［実施例１］
実施例１においては、本発明による映像処理装置を、ユーザが選択したテーマ情報にしたがって撮影を行うことによって、テーマに沿った映像を生成することができるデジタルビデオカメラとした場合を例にして説明する。

＜装置説明＞
図１に、本発明を適用可能な映像処理装置１００の構成の一例を示す。図１において、内部バス１５０に対してＣＰＵ１０１、メモリ１０２、不揮発性メモリ１０３、撮像部１０４、画像処理部１０５、表示部１０６、操作部１０７、記録媒体Ｉ／Ｆ１０８、外部Ｉ／Ｆ１１０、通信Ｉ／Ｆ１１１、ＲＴＣ１１３が接続されている。

内部バス１５０に接続される各部は、内部バス１５０を介して互いにデータのやりとりを行うことができるようにされている。

メモリ１０２は、例えばＲＡＭ（半導体素子を利用した揮発性のメモリなど）からなる。

ＣＰＵ１０１は、例えば不揮発性メモリ１０３に格納されるプログラムに従い、メモリ１０２をワークメモリとして用いて、映像処理装置１００の各部を制御する。

不揮発性メモリ１０３には、映像データや音声データ、その他のデータ、ＣＰＵ１０１が動作するための各種プログラムなどが格納される。不揮発性メモリ１０３は例えばハードディスク（ＨＤ）やＲＯＭなどで構成される。

撮像部１０４は、ＣＰＵ１０１の制御に基づいて、映像（光）を電気的な映像信号に変換し、映像信号を内部バス１５０に出力する。撮像部１０４は、例えば、光学レンズユニットと絞り・ズーム・フォーカスなど制御する光学系と、光学レンズユニットを経て導入された光（映像）を電気的な映像信号に変換するための撮像素子などで構成される。撮像素子としては、一般的には、ＣＭＯＳを利用したＣＭＯＳ撮像素子（ＣＭＯＳイメージセンサー）か、ＣＣＤを利用したＣＣＤ撮像素子（ＣＣＤイメージセンサー）が利用される。

画像処理部１０５は、ＣＰＵ１０１の制御に基づいて、不揮発性メモリ１０３や記録媒体１０８に格納された映像データや、撮像部１０４が出力する映像信号、外部Ｉ／Ｆ１０９を介して取得した映像信号、通信Ｉ／Ｆ１１１を介して取得した映像データなどに対して各種画像処理を施す。画像処理部１０４が行う画像処理には、Ａ／Ｄ変換処理、Ｄ／Ａ変換処理、映像データの符号化処理、圧縮処理、デコード処理、拡大／縮小処理（リサイズ）、ノイズ低減処理、色変換処理、顔検出処理などが含まれる。画像処理部１０４は特定の画像処理を施すための専用の回路ブロックで構成しても良い。

また、画像処理の種別によっては画像処理部１０４を用いずにＣＰＵ１０１がプログラムに従って画像処理を施すことも可能である。

表示部１０６は、ＣＰＵ１０１の制御に基づいて、画像やＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を構成するＧＵＩ画面などを表示する。表示部１０６は、例えば、液晶表示装置（ＬＣＤ）とそれをコントロールするＬＣＤドライバユニットで構成される。ＣＰＵ１０１は、プログラムに従い表示制御信号を生成し、表示部１０６に表示するための映像信号を生成して表示部１０６に出力するように映像処理装置１００の各部を制御する。

表示部１０６は出力された映像信号に基づいて映像を表示する。なお、映像処理装置１００自体が備える構成としては表示部１０５に表示させるための映像信号を出力するためのインターフェースまでとし、表示部１０５は外付けのモニタ（テレビなど）で構成してもよい。

操作部１０７は、ボタン・ダイヤル・ジョイスティック・タッチパネルなどを含む、ユーザ操作を受け付けるための入力デバイスである。なお、タッチパネルは、表示部１０６に重ね合わせて平面的に構成され、接触された位置に応じた座標情報が出力されるようにした入力デバイスである。

記憶媒体Ｉ／Ｆ１０８は、メモリカードやハードディスクドライブなどの記録媒体１０９が装着可能とされ、ＣＰＵ１０１の制御に基づき、装着された記録媒体１０９からのデータの読み出しや、当該記録媒体１０９に対するデータの書き込みを行う。

外部Ｉ／Ｆ１１０は、外部機器と有線ケーブルや無線によって接続し、映像信号や音声信号の入出力を行うためのインターフェースである。

通信Ｉ／Ｆ１１１は、外部機器やインターネット１１２などと通信して、ファイルやコマンドなどの各種データの送受信を行うためのインターフェースである。ＲＴＣ１１３は、時計機能であるリアルタイムクロックであり、ＣＰＵ１０１は時刻を認識するためにＲＴＣ１１３を使用する。

図２は本発明の実施形態にかかる映像処理装置であるデジタルビデオカメラの外観を示す図である。図２の（ａ）は正面図、図２の（ｂ）は背面図、図２の（ｃ）は側面図に相当する。

２０１は、光学レンズであり、撮像部１０４を構成するユニットである。２０２は、タッチパネル機能を備えたＬＣＤ（液晶ディスプレイ）であり、映像の撮影中にはその被写体像が表示され、撮影されている映像を確認することができる。また、撮影開始前には撮影範囲に使用したり、後述する操作メニューを表示したり、撮影した映像データを再生して表示するためにも使用される。タッチパネル機能はユーザがＬＣＤ２０２の画面に触れることによって、ＬＣＤ２０２上の任意の座標を本デジタルビデオカメラに入力することができる。これは、ＬＣＤ２０２上に表示されるＧＵＩの操作に利用する。

ＬＣＤ２０２の表示機能は表示部１０６であり、タッチパネル機能は操作部１０７の一部を構成する。２０３〜２１３はユーザが操作を行うためのボタン・ダイヤル・ジョイスティックであり、操作部１０７を構成する。２０３は中央に押しボタンを備えたジョイスティックであり、ユーザは上下左右を含む任意の方向の入力と、ボタン押下による選択指示をすることができる。これは、ＬＣＤ２０２に表示されるＧＵＩの操作に利用することができる。

２０４はファンクションボタンであり、ユーザはこのボタンを押すことによってＬＣＤ２０２上に操作メニューを表示することができる。操作メニューは、例えば、記録する映像データの解像度や圧縮率などの撮影パラメータを設定したり、すでに撮影した映像データを選択してＬＣＤ２０２に表示したり場合などに利用する。

２０５は再生・一時停止ボタンであり、ユーザは撮影した映像データを再生する場合にこのボタンを押下することによって、再生を開始したり一時停止したりすることができる。なお、再生した映像データはＬＣＤ２０２に表示されるか、後述するコネクタ３０３を介して外部機器に出力される。なお、本ボタンは後述する撮影開始・停止ボタン２１２と同様に撮影の開始・停止を指示するためにも用いることができる。

２０６は早戻しボタンであり、再生・一時停止ボタン２０５で再生している動画を巻き戻すために用いる。また、一時停止中に本ボタンを押下するとスロー逆再生となる。なお、撮影中には、本ボタンを押すことによって、後述するズームレバー２１０の左寄せと同様にズームアウト（広角）を行うことができる。

２０７は早送りボタンであり、再生・一時停止ボタン２０５で再生している動画を早送りするために用いる。また、一時停止中に本ボタンを押下するとスロー再生になる。なお、撮影中には、本ボタンを押すことによって、ズームレバー２１０の右寄せと同様にズームイン（望遠）を行うことができる。

２０８は停止ボタンであり、再生・一時停止ボタン２０５で再生している動画を停止するために用いる。なお、撮影中には、本ボタンを押すことによって、明るさ（露出）を自動的に調整する逆光補正を指示するために用いることができる。２０９は電源ボタンであり、本デジタルビデオカメラの電源をＯＮ・ＯＦＦする。２１０はズームレバーであり、左右にずらすことのできるレバー状のボタンである。撮影時にこのズームレバーを左側に寄せるとズームアウト（広角）、右側に寄せるとズームイン（望遠）となる。

２１１はモードダイヤルであり、回転させることによって本デジタルビデオカメラの動作モードを変更することができる。動作モードは、動画撮影モード・静止画撮影モード・動画再生モード・静止画再生モードの４モードを備える。２１２はスタート・ストップボタンであり、動画撮影の開始と停止を指示するために用いる。２１３はフォトボタンであり、モードダイヤ２１１ルが静止画撮影モードである場合に静止画の撮影を指示するために用いる。フォトボタン２１３は、ユーザにより半押し状態と全押し状態とを区別して検出可能な２段階押し込みスイッチとなっており、半押し状態のときにオートフォーカス制御を開始し、全押し状態の場合に静止画データを撮影するための撮影動作を開始する。

２１４は挿抜自在（着脱自在）な記録媒体であるメモリカードを装着するためのメモリカードスロットであり、本デジタルビデオカメラで得られる映像データはこのメモリカードスロットに装着されるメモリカードに記録される。２１４は、記憶媒体Ｉ／Ｆ１０８を構成するユニットである。

２１５はＨＤＭＩ（登録商標）ミニ出力コネクタであり、本デジタルビデオカメラの映像を外部の機器に出力するために使用する。例えば、ＨＤＭＩ（登録商標）入力コネクタを備える高解像テレビとＨＤＭＩ（登録商標）ケーブルで接続すると、高品位な映像を大画面で楽しむことができる。２１５は、外部Ｉ／Ｆ１１０を構成するユニットである。

２１６はＵＳＢコネクタであり、ＵＳＢケーブルを用いて、プリンタ・パーソナルコンピュータ・ディスクライタなどのさまざまな機器と接続するために使用される。例えば、プリンタと接続した場合は、プリンタがＰｉｃｔＢｒｉｄｇｅ（登録商標）対応であれば、本デジタルビデオカメラで撮影した静止画をプリンタで印刷することができる。パーソナルコンピュータと接続した場合は、本デジタルビデオカメラ内の動画データ・静止画データをパーソナルコンピュータにコピー（バックアップ）することができる。逆に、パーソナルコンピュータ上の動画データ・静止画データを本デジタルビデオカメラ内下記戻すこともできる。２１６は、通信Ｉ／Ｆ１１１を構成するユニットである。

＜動作説明＞
本実施例における本発明の映像処理装置の動作について、図３〜図１２の図とフローチャートに基づいて説明する。ここでは、まずテーマに沿った撮影を行うテーマ撮影モードの動作について説明し、その後、本発明の特徴的な動作である再生処理について説明を行う。

初めにテーマ撮影モードの動作について説明する。図３はテーマ撮影モードの操作を説明するための図である。ＣＰＵ１０１は、表示部１０６に図３（ａ）のＧＵＩ画面を表示し、ユーザに撮影モードの選択を促す。ユーザが、操作部１０７を操作することによって、撮影モードとしてテーマ撮影モードを選択すると、ＣＰＵ１０１は図３（ｂ）の画面を表示部１０６に表示する。図３（ｂ）の画面は、テーマ撮影モードで使用するテーマデータを選択するテーマ選択画面である。ユーザは、操作部１０７を操作することによって、使用するテーマデータを選択する。テーマデータとは、撮影すべきイベントを前後関係（撮影順序）とともに指定したデータであり、不揮発性メモリ１０３に保持されている。

図４はテーマデータを説明するための例である。テーマデータは、「撮影順序４０１」「撮影イベント名４０２」「顔検出４０３」「再生順序４０４」の組み合わせからなる撮影イベントデータが集合したものである。凡例４０５は、撮影順序４０１に記載されている内容の意味を示している。凡例４０６は、顔検出４０３に記載されている内容の意味を示している。この例では、結婚式のテーマには１０個の撮影イベントデータがあり、それぞれの撮影イベントの前後関係が撮影順序４０１として指定されている。例えば、「ゲストからのお祝いの言葉」という撮影イベントは、撮影順序が「Ｆ」となっているので、いつでも発生しうる（撮影可能な）イベントである。

また、「乾杯」という撮影イベントは、撮影順序が「１−２」となっているので、撮影順序「１」の「新郎新婦入場」イベントと撮影順序「２」の「ケーキ入刀」イベントの間で発生しうるイベントである。同様に、「新郎新婦あいさつ」という撮影イベントは、撮影順序が「３」となっているので、撮影順序「２」の「ケーキ入刀」イベントと撮影順序「４」の「新郎新婦退場」イベントの間で発生しうるイベントである。

図５はテーマ撮影モードにおける撮影操作を説明するための図である。ＣＰＵ１０１は、表示部１０６に図５（ａ）のＧＵＩ画面を表示し、ユーザに撮影イベントの選択を促すユーザが、操作部１０７を操作することによって、撮影イベントを選択するとＣＰＵ１０１は図５（ｂ）の画面を表示部１０６に表示する。図５（ｂ）の画面は、選択した撮影イベントを撮影する際に、表示部１０６に表示されるプレビュー画面の例である。図５（ｂ）の画面では、撮像部１０４による映像をプレビュー映像として５０１のように表示し、図５（ａ）の画面で選択した撮影イベントの撮影を促すメッセージを５０２のようにオーバーレイする。

さらに、撮影中・撮影停止中を表すアイコンを、５０３のようにオーバーレイする。ユーザは、５０２のように表示されたメッセージに従い、被写体や構図を決定し、操作部１０７を操作して撮影を行う。撮影により生成されたデータは、不揮発性メモリ１０３に格納される。

図６はテーマ撮影モード（結婚式テーマ）で撮影したデータを説明するための例である。テーマ撮影モードによる撮影データは、「撮影開始時刻６０１」「動画の長さ６０２」「イベント名６０３」「イベント動画ファイル」の組み合わせからなるイベント動画データが集合したものである。この例では、テーマ撮影モードとして、撮影イベントを選択して１２回撮影したことを表している。例えば、１行目のデータは、２０１０年１１月２２日 １２時００分１０秒から１１秒間「会場の雰囲気」イベントとして撮影し、その動画は００００１．ｍｔｓというファイル名である、ということを示している。

次に、図７と図８のフローチャートを参照しながら、本発明の映像処理装置による再生処理を詳細に説明する。これらのフローチャートの説明の際には、具体的なデータ例として図４で示した結婚式のテーマデータと図６の撮影データを用いる。

ステップＳ７００では、ＣＰＵ１０１はユーザがテーマに沿って撮影した映像を再生する選択を行ったかどうかを判定する。この時に、ＣＰＵ１０１が表示部１０６に表示するＧＵＩ例を図９（ａ）と図９（ｂ）に示す。ユーザは操作部１０７を操作して、どのような再生をおこなうのか図９（ａ）のＧＵＩにおいて選択する。ユーザがテーマ再生モードを選択すると、ＣＰＵ１０１は、テーマ撮影モードで撮影した映像をそれぞれのテーマでグループ化して図９（ｂ）のように表示する。図９（ｂ）において、ユーザがいずれかのテーマ動画を選択すると、ステップＳ７０１へ移行する。

ステップＳ７０１では、ＣＰＵ１０１は再生する動画データの情報を管理する再生リストをクリアする。再生リストについては、後述のステップＳ７１１で詳細に説明する。

ステップＳ７０２では、ＣＰＵ１０１は図９（ｂ）で選択したテーマのテーマデータ（図４）を読み出し、後述のステップＳ７０３〜Ｓ７１１の処理の対象となる撮影イベントを順次選択する。このときの選択の順序は、テーマデータで定義されている再生順序（図４の４０４の列）に従う。図４の結婚式のテーマデータに従った場合は、１回目の処理では「会場の雰囲気」イベント、２回目の処理では「受付」イベント、３回目の処理では「ゲストからのお祝いの言葉」イベント、・・・のようになる。

ステップＳ７０３では、ＣＰＵ１０１はステップＳ７０１で選択したテーマに対応した撮影データ（図６）の情報を不揮発性メモリ１０３から取得し、ステップＳ７０２で選択したイベントに対応したイベント動画データが存在するか否かを判定する。対応するイベント動画データが存在する場合にはステップＳ７１１へ、存在しない場合にはステップＳ７０４へ進む。例えば、ステップＳ７０２においてイベントとして「会場の雰囲気」イベントを選択した場合は、図６に対応するイベント動画データが存在するので、ステップＳ７１１へ進む。一方、ステップＳ７０２においてイベントとして「乾杯」イベント・「料理紹介」イベント・新郎新婦あいさつ」イベントを選択した場合には、イベント動画データが存在しないのでステップＳ７０４へ進む。

ステップＳ７０４では、ＣＰＵ１０１はステップＳ７０２で選択したイベントが発生した時間を推定する。この推定の処理については、図８のフローチャートを用いて詳細に説明する。

図８において、ステップＳ８０１では、ＣＰＵ１０１はステップＳ７０２で選択したイベントが、テーマデータ（図４）において、どのような撮影順序として定義されているかを判定する。当該イベントの撮影順序が「数値」となっている場合はステップＳ８０２へ、「数値Ｎ−数値Ｍ」となっている場合にはステップＳ８０６へ、「Ｆ」となっている場合にはステップＳ８１３へ進む。まず、撮影順序が「数値」となっているイベントに対する処理を、ステップＳ８０２〜Ｓ８０５で説明する。

ステップＳ８０２では、ＣＰＵ１０１はステップＳ７０２で選択したイベントに対し撮影順序が前であり、実際に撮影が行われたイベントと、そのイベント動画データを不揮発性メモリ１０３から取得する。例えば、ステップＳ７０２において、撮影順序が「３」である「新郎新婦あいさつ」イベントを選択した場合は、撮影順序が前となる「ケーキ入刀（撮影順序：２）」イベント・「乾杯（撮影順序：１−２）」イベント・「新郎新婦入場（撮影順序１）」イベントのイベント動画データを取得し、そのうち最も遅い時刻に撮影を開始したイベント動画データを選択する。この例では、図６の「ケーキ入刀」イベントのイベント動画データ（６０５）を直前のイベント情報として取得する。

ステップＳ８０３では、ＣＰＵ１０１はステップＳ８０２で取得したイベント動画データから、そのイベント撮影終了時刻を算出し、その時刻をステップＳ７０２で選択したイベントの推定開始時刻とする。例えば、ステップＳ８０２で、「ケーキ入刀」イベントのイベント動画データを取得したとすると、ステップＳ７０２で選択したイベントの推定開始時刻は２０１０／１１／２２ １３：３３：３０となる。

ステップＳ８０４では、ＣＰＵ１０１はステップＳ７０２で選択したイベントに対し撮影順序が後であり、実際に撮影が行われたイベントと、そのイベント動画データを不揮発性メモリ１０３から取得する。例えば、ステップＳ７０２において、撮影順序が「３」である「新郎新婦あいさつ」イベントを選択した場合は、撮影順序が後となる「新郎新婦退場（撮影順序：４）」イベントのイベント動画データを取得し、そのうち最も新しい時刻に撮影を開始したイベント動画データを選択する。この例では、図６の「新郎新婦退場」イベントのイベント動画データ（６０６）を直後のイベント情報として取得する。

ステップＳ８０５では、ＣＰＵ１０１はステップＳ８０４で取得したイベント動画データから、そのイベント撮影開始時刻を取得し、その時刻をステップＳ７０２で選択したイベントの推定終了時刻とする。例えば、ステップＳ８０４で、「新郎新婦退場」イベントのイベント動画データを取得したとすると、ステップＳ７０２で選択したイベントの推定終了時刻は２０１０／１１／２２ １４：１５：００となる。

このように、ＣＰＵ１０１は、ステップＳ７０２で選択したイベントの撮影時間を推定することができる。たとえば、ステップＳ７０２で「新郎新婦あいさつ」イベントを選択した場合は、このイベントの推定時間は２０１０／１１／２２ １３：３３：３０〜１４：１５：００となる。

次に、撮影順序が「数値Ｎ−数値Ｍ」となっているイベントに対する処理を、ステップＳ８０６〜Ｓ８１２を用いて説明する。ステップＳ８０６では、ＣＰＵ１０１はステップＳ７０２で選択したイベントに対し撮影順序が前であり、実際に撮影が行われたイベントと、そのイベント動画データを不揮発性メモリ１０３から取得する。例えば、ステップＳ７０２において、撮影順序が「１−２」である「乾杯」イベントを選択した場合は、撮影順序が前となる「新郎新婦入場（撮影順序：１）」イベントのイベント動画データを取得する。複数のイベントが該当する場合は、そのうち最も遅い時刻に撮影を開始したイベント動画データを選択する。この例では、図６の「新郎新婦入場」イベントのイベント動画データ（６０７）を直前のイベント情報として取得する。

ステップＳ８０７では、ＣＰＵ１０１はステップＳ８０６で取得したイベント動画データから、そのイベント撮影終了時刻を算出し、その時刻をステップＳ７０２で選択したイベントの推定開始時刻とする。例えば、ステップＳ８０６で、「新郎新婦入場」イベントのイベント動画データを取得したとすると、ステップＳ７０２で選択したイベントの推定開始時刻は２０１０／１１／２２ １３：０２：２０となる。

ステップＳ８０８では、ＣＰＵ１０１はステップＳ７０２で選択したイベントに対し撮影順序が後であり、実際に撮影が行われたイベントと、そのイベント動画データを不揮発性メモリ１０３から取得する。例えば、ステップＳ７０２において、撮影順序が「１−２」である「乾杯」イベントを選択した場合は、撮影順序が後となる「ケーキ入刀（撮影順序：２）」イベント、「新郎新婦あいさつ（撮影順序：３）」イベント、「新郎新婦退場（撮影順序：４）」イベントのイベント動画データを取得し、そのうち最も新しい時刻に撮影を開始したイベント動画データを選択する。この例では、図６の「ケーキ入刀」イベントのイベント動画データ（６０５）を直後のイベント情報として取得する。

ステップＳ８０９では、ＣＰＵ１０１はステップＳ８０８で取得したイベント動画データから、そのイベント撮影開始時刻を取得し、その時刻をステップＳ７０２で選択したイベントの推定終了時刻とする。例えば、ステップＳ８０８で、「ケーキ入刀」イベントのイベント動画データを取得したとすると、ステップＳ７０２で選択したイベントの推定終了時刻は２０１０／１１／２２ １３：３０：００となる。

ステップＳ８１０では、ＣＰＵ１０１はテーマ撮影モードによる撮影データ（図６）の全てのイベント動画データを不揮発性メモリから取得する。

ステップＳ８１１では、ＣＰＵ１０１はステップＳ８０７とステップＳ８０９で決定した推定開始時刻と推定終了時刻の間に、テーマ撮影モードにより他のイベントの撮影が行われたか否かを判定する。他のイベントが撮影されていた場合には、ステップＳ８１２に進む。他のイベントが撮影されていなかった場合には、ステップＳ８０７とステップＳ８０９で決定した時刻からなる期間を、ステップＳ７０２で選択したイベントの推定時間とする。

ステップＳ８１２では、ステップＳ８０７とステップＳ８０９で決定した時刻からなる期間から、他のイベントに関するイベント動画データが撮影された期間を除いたものを、ステップＳ７０２で選択したイベントの推定時間とする。

このように、ＣＰＵ１０１は、ステップＳ７０２で選択したイベントの撮影時間を推定することができる。たとえば、ステップＳ７０２で「乾杯」イベントを選択した場合は、このイベントの推定時間は２０１０／１１／２２ １３：０２：２０〜１３：３０：００となる。

次に、撮影順序が「Ｆ」となっているイベントの処理を、ステップＳ８１３〜Ｓ８１６を用いて説明する。

ステップＳ８１３では、ＣＰＵ１０１はテーマ撮影モードによる撮影データ（図６）のうち、最も古い時刻に撮影されたイベントのイベント動画データを不揮発性メモリ１０３から取得する。例えば、ステップＳ７０２で撮影順序が「Ｆ」である「料理紹介」イベントを選択した場合は、図６のデータにしたがって先頭イベントとして「会場の雰囲気」イベントのイベント動画データ（６０８）を取得する。

ステップＳ８１４では、ＣＰＵ１０１はテーマ撮影モードによる撮影データ（図６）のうち、最も新しい時刻に撮影されたイベントのイベント動画データを不揮発性メモリ１０３から取得する。例えば、ステップＳ７０２で撮影順序が「Ｆ」である「料理紹介」イベントを選択した場合は、図６のデータにしたがって最終イベントとして「新郎新婦退場」イベントのイベント動画データ（６０６）を取得する。

ステップＳ８１５では、ＣＰＵ１０１はステップＳ８１３とステップＳ８１４で取得した先頭イベントと最終イベントから、テーマ撮影モードにより撮影が行われた期間を決定する。例えば、ステップＳ８１３で「会場の雰囲気」イベントのイベント動画データを、ステップＳ８１４で「新郎新婦退場」イベントのイベント動画データを取得した場合は、撮影期間は２０１０／１１／２２ １２：００：１０〜１４：１７：５０となる。

ステップＳ８１６では、ＣＰＵ１０１はテーマ撮影モードによる撮影データ（図６）の全てのイベント動画データを不揮発性メモリから取得し、ステップＳ８１５で決定した撮影期間からイベント動画データが撮影された期間を除いたものを、ステップＳ７０２で選択したイベントの推定時間とする。図６の例では、推定時間は２０１０／１１／２２ １２：００：２１〜１２：１０：０６、 ２０１０／１１／２２ １２：１０：１１〜１２：１５：３３、・・・、２０１０／１１／２２ １４：００：２０〜１４：１５：００のように複数の期間となる。

以上が、ステップＳ７０２で選択したイベントの撮影時間を推定する処理の説明である。図７に戻り、ステップＳ７０５では、ＣＰＵ１０１はステップＳ７０２で選択したイベントの撮影時間が、ステップＳ７０４（図８）の処理によって得られたか否かを判定する。イベントの推定時間として１期間以上を算出できた場合は、推定成功としてステップＳ７０６へ進み、イベントの推定時間が得られなかった場合は、推定に失敗したとしてステップＳ７１２に進む。

ステップＳ７０６では、ＣＰＵ１０１は記憶媒体Ｉ／Ｆ１０８を介して記憶媒体１０９にアクセスし、記憶媒体１０９に格納されている映像（静止画あるいは動画）データを、２段階の処理により抽出する。

第一段階の処理は、映像データの撮影時間による抽出であり、ステップＳ７０４で得られた推定時間内に撮影された映像データを抽出する。第二段階の処理は、顔検出の有無による抽出である。第二段階の処理では、ＣＰＵ１０１は画像処理部１０５を用いて第一段階の処理により抽出された映像データ内における、顔検出の有無を取得する。次に、テーマデータ（図４）において、ステップＳ７０２で選択したイベントの、顔検出の項の値を取得する。そして、第一段階の処理で抽出された映像データから、顔検出の項の値が「有」である場合は顔検出された映像データを、顔検出の項の値が「無」である場合は顔検出されなかった映像データを、顔検出の項の値が「−」である場合はすべての映像データを抽出する。

ステップＳ７０７では、ＣＰＵ１０１はステップＳ７０６で抽出した映像データの情報を、ＧＵＩとして表示部１０６に表示する。ＧＵＩは、抽出した映像データのサムネイル画像・撮影日時・動画静止画種別などから構成される。図１０にＧＵＩの例を示す。ユーザは、操作部１０７を操作し、ステップＳ７０６で抽出された映像データの情報を閲覧し、ステップＳ７０２で選択されたイベント（図１０の例では「新郎新婦あいさつ」イベント）にふさわしい映像データを選択することができる。

ステップＳ７０８では、ＣＰＵ１０１はステップＳ７０７で提示した映像データをユーザが１個以上選択したか否かを判定する。ユーザが映像データを選択した場合はステップＳ７０９に、選択しなかった場合はステップＳ７１２へ進む。

ステップＳ７０９では、ＣＰＵ１０１はユーザが選択した映像データに静止画データが含まれるか否かを判定する。静止画データが含まれていた場合にはステップＳ７１０に、含まれていなかった場合にはステップＳ７１１に進む。

ステップＳ７１０では、ＣＰＵ１０１はユーザが選択した映像データに含まれている静止画データを元に動画データを生成する。具体的には、間隔をあけて複数の静止画データを順次表示（スライドショー）するような動画データに変換したり、静止画データの一部を表示しながらスクロール（デジタルパン・チルト）するような動画に変換したりして行う。ＣＰＵ１０１は、生成した動画データを不揮発性メモリ１０３に保存する。

ステップＳ７１１では、ＣＰＵ１０１は「ステップＳ７０３で取得した、撮影した映像データ」「ステップＳ７０６で抽出し、ユーザが選択した動画データ」「ステップＳ７０６で抽出し、ユーザが選択した静止画から生成した動画データ」を再生リストに追加する。再生リストに追加する順序は、撮影時刻順などでよい。

図１１は図７の一連の処理で生成される再生リストの例である。この再生リストは、図４のテーマデータの例と図６の撮影データの例に対応している。図１１の再生リストでは、テーマデータの再生順序４０３にしたがって、動画データが再生リストに追加されている。図６の撮影データの例では、「乾杯」イベント・「料理紹介」イベント・「新郎新婦あいさつイベント」は含まれていない（撮影していない）ので、これらはステップＳ７０４〜Ｓ７１０の処理によって外部の記録媒体から取得した映像データを使用している（１１０１〜１１０４）。なお、この例では、１１０１と１１０４では外部の記憶媒体にある動画データを表しており、１１０２と１１０３は外部の記憶媒体にある静止画データからステップＳ７１０で生成された動画データを表している。

ステップＳ７１２では、ＣＰＵ１０１はステップＳ７０２において、テーマデータ（図４）の全ての撮影イベントを選択したか否かを選択する。図４の例では、ステップＳ７０２において「新郎新婦退場」イベントを選択していた場合は、すべての撮影イベントを選択したということになる。ステップＳ７０２において全ての撮影イベントを選択済みの場合は、ステップＳ７１１で更新した再生リストが完成したとして、ステップＳ７１３へ進む。一方、未選択の撮影イベントがある場合は、ステップＳ７０２に戻り次の撮影イベントの処理を行う。

ステップＳ７１３では、ＣＰＵ１０１はステップＳ７１１で生成した再生リストにしたがって、動画データを不揮発性メモリ１０３あるいは記憶媒体１０９から取得する。ＣＰＵ１０１は取得した画像データを画像処理部１０５と連携してデータをデコードして表示部１０６に表示する。また、映像信号として外部Ｉ／Ｆ１１０から出力してもよい。

図１２は、デコードして表示された映像の例である。本実施例の映像処理装置では、このように映像を表示するとともに、撮影イベント名と連動した文字列１２０１をオーバーレイして表示することによって、再生する映像によりストーリ性を持たせることができる。

なお、本実施例では再生リストを作成し、再生リストにしたがって順次動画データを再生する例を示したが、再生リストを設けず、ステップＳ７１１で動画データを連結した新たな動画データを生成し、ステップＳ７１３でその動画データを再生してもよい。

このような処理を行うことによって、例えば結婚式のテーマデータにしたがって撮影していた場合に、ある撮影イベントの撮り忘れてしまったとしても、例えば同席していた友人の記録媒体を使用することによって、容易に撮り忘れたイベントの映像データを入手し、テーマに沿った映像を得ることができる。

以上、本実施例によれば、撮影すべき複数イベントの情報がイベント間の前後関係を指定されたテーマ情報を保持し、映像が関連付けられていないイベントの撮影時間を推定するするとともに、推定した撮影時間と合致する映像を装着された記憶媒体から抽出することによって、撮り逃したイベントがあった場合においても、テーマに沿った動画を生成する映像処理装置を提供することができる。

［実施例２］
実施例２においては、実施例１と同様に、ユーザが選択したテーマ情報にしたがって撮影を行うことによって、テーマに沿った映像を生成することができるデジタルビデオカメラを説明する。

実施例１とは、映像データを近接通信手段により取得する点で異なる。本実施例の説明では、実施例１と異なる構成・動作を中心に説明する。

＜装置説明＞
図１３に、本発明を適用可能な映像処理装置１３００の構成の一例を示す。図１３において、１３０１〜１３１０および１３１３〜１３５０は、図１の１０１〜１１０および１１３〜１５０と同様であるため説明を省略する。通信Ｉ／Ｆ１３１１は、近接ネットワーク１３１２を介して近くの他の装置と通信し、ファイルやコマンドなどの各種データの送受信を行うためのインターフェースである。具体的には、無線ＬＡＮ（ＩＥＥＥ８０２。１１ａ／ｂ／ｇ／ｎ）やＢｌｕｅｔｏｏｔｈ（登録商標）などの通信を実現する通信ユニットである。

図１４に、近接ネットワークの例（模式図）を示す。１４０１が本発明の映像処理装置であり、映像処理装置１４０１は、近接ネットワーク１４５０を介して、周囲のデジタルカメラ１４０２・１４０３やノートＰＣ１４０４と通信を行う。

＜動作説明＞
本実施例における映像処理装置の動作について、実施例１との違いを元に説明する。実施例２において、再生処理は実施例１と同様に図７と図８のフローチャートに基づいて動作する。

実施例１と異なる点は、図７のステップＳ７０６、ステップＳ７１１、ステップＳ７１３の動作である。その他のステップにおいては、１０１〜１１０をそれぞれ１３０１〜１３１０に読み替えることにより、実施例２に適用することができる。

以降は、ステップＳ７０６、Ｓ７１１、Ｓ７１３について説明する。実施例２におけるステップＳ７０６では、ＣＰＵ１３０１は通信Ｉ／Ｆ１３１１を介して近接ネットワーク１３１２上の他の装置にアクセスし、それぞれの装置に格納されている映像（静止画あるいは動画）データを実施例１と同様に２段階の処理により抽出する。

実施例２におけるステップＳ７１１では、ＣＰＵ１３０１は実施例１のステップＳ７１１と同様に再生リストを更新する。図１５に、一連の処理で生成される再生リストの例を示す。実施例１と異なり、格納場所には近接ネットワーク上の装置を特定するアドレスが用いられることがある（１５０１および１５０２）。

実施例２におけるステップＳ７１３では、ＣＰＵ１３０１はステップＳ７１１で生成した再生リストにしたがって、動画データを不揮発性メモリ１３０３あるいは通信Ｉ／Ｆを介して近接ネットワーク１３１２上の他の装置から取得する。ＣＰＵ１３０１は取得した画像データを画像処理部１３０５と連携してデータをデコードして表示部１３０６に表示する。また、映像信号として外部Ｉ／Ｆ１３１０から出力してもよい。

このような処理を行うことによって、例えば結婚式のテーマデータにしたがって撮影していた場合に、ある撮影イベントの撮り忘れてしまったとしても、周囲のカメラやパーソナルコンピュータから撮り忘れたイベントの映像データを入手し、テーマに沿った映像を得ることができる。

以上、本実施例によれば、撮影すべき複数イベントの情報がイベント間の前後関係を指定されたテーマ情報を保持し、映像が関連付けられていないイベントの撮影時間を推定するするとともに、推定した撮影時間と合致する映像を周囲の他の装置から抽出することによって、撮り逃したイベントがあった場合においても、テーマに沿った動画を生成する映像処理装置を提供することができる。

［実施例３］
実施例３においては、実施例１と同様に、ユーザが選択したテーマ情報にしたがって撮影を行うことによって、テーマに沿った映像を生成することができるデジタルビデオカメラを説明する。

実施例１とは、映像データを通信手段によりインターネット上のサーバから取得する点で異なる。本実施例の説明では、実施例１と異なる構成・動作を中心に説明する。

＜装置説明＞
図１５に、本発明を適用可能な映像処理装置１５００の構成の一例を示す。図１５において、１５０１〜１５１３および１５５０は、図１の１０１〜１１３および１５０と同様であるため、説明を省略する。ＧＰＳ１５１４は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）衛星からの信号を受信し、緯度・経度・高度などの地理的情報を算出するユニットである。ＣＰＵ１５０１は、内部バス１５５０を介してＧＰＳ１５１４にアクセスし、映像処理装置１５００の現在地を取得することができる。

＜動作説明＞
本実施例における映像処理装置の動作について、実施例１との違いを元に説明する。実施例３において、再生処理は実施例１と同様に図７と図８のフローチャートに基づいて動作する。

実施例１と異なる点は、図７のステップＳ７０６、ステップＳ７１１、ステップＳ７１３の動作である。その他のステップにおいては、１０１〜１１０をそれぞれ１５０１〜１５１０に読み替えることにより、実施例３に適用することができる。

以降は、ステップＳ７０６、Ｓ７１１、Ｓ７１３について説明する。実施例３におけるステップＳ７０６では、ＣＰＵ１５０１は通信Ｉ／Ｆ１５１１を介してインターネット上のサーバにアクセスし、サーバに映像（静止画あるいは動画）データを３段階の処理により抽出する。

第一段階と第二段階の抽出処理は、実施例１と同様に推定した時間と顔検出の有無によって行う。実施例３のおいては、さらにＧＰＳ１５１４から取得した位置情報を用いて第三段階の抽出処理を行う。具体的には、ＧＰＳ１５１４から取得した位置情報（現在値の情報）を基準とし、映像データの位置情報（ジオタグと呼ばれる撮影場所を表す情報）を比較し、２つの位置情報が所定の距離以内（たとえば１００ｍ以内など）である映像データを抽出する。この距離については、表示部１５０６に距離を選択するＧＵＩを表示し、ユーザに指定させておいてもよい。

なお、映像を取得するサーバを、ＧＰＳ１５１４から取得した位置情報によって決定してもよい。この場合は、例えばＧＰＳ１５１４により取得した位置情報が、結婚式場内であった場合には、その結婚式場が提供するサーバにアクセスして映像を取得する。

実施例３におけるステップＳ７１１では、ＣＰＵ１５０１は実施例１のステップＳ７１１と同様に再生リストを更新する。図１７に、一連の処理で生成される再生リストの例を示す。実施例１と異なり、格納場所にはサーバを特定する情報（ホスト名など）が用いられることがある（１７０１および１７０２）。

実施例３におけるステップＳ７１３では、ＣＰＵ１５０１はステップＳ７１１で生成した再生リストにしたがって、動画データを不揮発性メモリ１５０３あるいは通信Ｉ／Ｆを介してサーバから取得する。ＣＰＵ１５０１は取得した画像データを画像処理部１５０５と連携してデータをデコードして表示部１５０６に表示する。また、映像信号として外部Ｉ／Ｆ１５１０から出力してもよい。

このような処理を行うことによって、例えば結婚式のテーマデータにしたがって撮影していた場合に、ある撮影イベントの撮り忘れてしまったとしても、インターネット上のサーバから近くの場所で撮影した映像データを入手し、テーマに沿った映像を得ることができる。

以上、本実施例によれば、撮影すべき複数イベントの情報がイベント間の前後関係を指定されたテーマ情報を保持し、映像が関連付けられていないイベントの撮影時間を推定するするとともに、推定した撮影時間と合致する映像をサーバから抽出することによって、撮り逃したイベントがあった場合においても、テーマに沿った動画を生成する映像処理装置を提供することができる。

［実施例４］
実施例４においては、本発明による映像処理装置を、ユーザがテーマ（テンプレート）に沿った映像データを選択することによってＤＶＤやブルーレイディスクなどのコンテンツを作成することのできるオーサリング装置とした場合を例にして説明する。

＜装置説明＞
図１８に、本発明を適用可能な映像処理装置１８００の構成の一例を示す。図１８において、内部バス１８５０に対してＣＰＵ１８０１、メモリ１８０２、不揮発性メモリ１８０３、画像処理部１８０４、表示Ｉ／Ｆ１８０５、操作部１８０７、記録部１８０８、記憶媒体Ｉ／Ｆ１８１０、外部Ｉ／Ｆ１８１２、通信Ｉ／Ｆ１８１３、ＲＴＣ１８１５が接続されている。

内部バス１８５０に接続される各部は、内部バス１８５０を介して互いにデータのやりとりを行うことができるようにされている。

メモリ１８０２は、例えばＲＡＭ（半導体素子を利用した揮発性のメモリなど）からなる。ＣＰＵ１８０１は、例えば不揮発性メモリ１８０３に格納されるプログラムに従い、メモリ１８０２をワークメモリとして用いて、映像処理装置１８００の各部を制御する。不揮発性メモリ１８０３には、映像データや音声データ、その他のデータ、ＣＰＵ１８０１が動作するための各種プログラムなどが格納される。不揮発性メモリ１８０３は例えばハードディスク（ＨＤ）やＲＯＭなどで構成される。

画像処理部１８０４は、ＣＰＵ１８０１の制御に基づいて、不揮発性メモリ１８０３や記録媒体１８１１に格納された映像データや、外部Ｉ／Ｆ１８１２を介して取得した映像信号、通信Ｉ／Ｆ１８１３を介して取得した映像データなどに対して各種画像処理を施す。画像処理部１８０４が行う画像処理には、Ａ／Ｄ変換処理、Ｄ／Ａ変換処理、映像データの符号化処理、圧縮処理、デコード処理、拡大／縮小処理（リサイズ）、ノイズ低減処理、色変換処理、顔検出処理などが含まれる。画像処理部１８０４は特定の画像処理を施すための専用の回路ブロックで構成しても良い。また、画像処理の種別によっては画像処理部１８０４を用いずにＣＰＵ１８０１がプログラムに従って画像処理を施すことも可能である。

表示Ｉ／Ｆ部１８０５は、ＣＰＵ１８０１の制御に基づいて、映像やＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）画面などを、外部の表示装置１８０６に表示する。表示Ｉ／Ｆ１８０５は、例えば、外部に映像信号を出力するビデオドライバユニットとフレームバッファで構成される。

表示装置１８０６は、受信した映像信号を、目視可能な映像として表示する装置である。たとえば、液晶ディスプレイやＣＲＴなどが用いられる。ＣＰＵ１８０１は、プログラムに従い表示要求と表示データを生成し表示装置１８０６に表示するように表示Ｉ／Ｆ１８０５を含む映像処理装置１８００の各部を制御する。表示Ｉ／Ｆ１８０５は、制御とデータに基づいて映像信号を表示装置１８０６に出力し、表示装置１８０６は受信した映像信号にしたがって映像を表示する。なお、映像処理装置１８００自体が備える構成としては、表示装置１８０６を映像処理装置１８００に内蔵して構成してもよい。

操作部１８０７は、ボタン・キーボード・マウス・タッチパネルなどを含む、ユーザ操作を受け付けるための入力デバイスである。なお、タッチパネルは、表示装置１８０６に重ね合わせて平面的に構成され、接触された位置に応じた座標情報が出力されるようにした入力デバイスである。

記録部１８０８は、ＤＶＤやブルーレイディスクなどの映像の記録に用いられる記録媒体１８０９に映像データを記録するための装置である。例えば、記録型ＤＶＤドライブや記録型ブルーレイディスクドライブが相当する。

記憶媒体Ｉ／Ｆ１８１０は、メモリカードやハードディスクドライブなどの記録媒体１８１１が装着可能とされ、ＣＰＵ１８０１の制御に基づき、装着された記録媒体１８１１からのデータの読み出しや、当該記録媒体１８１０に対するデータの書き込みを行う。外部Ｉ／Ｆ１８１２は、外部機器と有線ケーブルや無線によって接続し、映像信号や音声信号の入出力を行うためのインターフェースである。

通信Ｉ／Ｆ１８１３、外部機器やインターネット１８１４などと通信して、ファイルやコマンドなどの各種データの送受信を行うためのインターフェースである。ＲＴＣ１８１５は、時計機能であるリアルタイムクロックであり、ＣＰＵ１８０１は時刻を認識するためにＲＴＣ１８１５を使用する。

＜動作説明＞
本実施例における本発明の映像処理装置の動作について、図１９〜図２３の図とフローチャートに基づいて説明する。ここでは、まずあらかじめ不揮発性メモリ１８０３に格納されているテーマデータ（テンプレート）と映像データの例を説明し、本発明の特徴的な動作であるオーサリング処理について説明を行う。

図１９はテーマデータ（テンプレート）を説明するための例である。テーマデータは、「構成順序１９０１」「イベント名１９０２」「顔検出１９０３」「想定撮影順序１９０４」の組み合わせからなるイベントデータが集合したものである。凡例１９０５は、顔検出１９０３に記載されている内容の意味を示している。凡例１９０６は、想定撮影順序１９０４に記載されている内容の意味を示している。この例では、結婚式のテーマ（テンプレート）は１０個のイベントデータから構成される。それぞれのイベントに対し、想定される撮影時の前後関係が想定撮影順序１９０４として指定されている。

例えば、「ゲストからのお祝いの言葉」というイベントは、想定撮影順序が「Ｆ」となっているので、いつでも発生しうる（撮影可能な）イベントである。また、「乾杯」というイベントは、想定撮影順序が「１−２」となっているので、想定撮影順序「１」の「新郎新婦入場」イベントと想定撮影順序「２」の「ケーキ入刀」イベントの間で撮影されうるイベントである。同様に、「新郎新婦あいさつ」というイベントは、想定撮影順序が「３」となっているので、想定撮影順序「２」の「ケーキ入刀」イベントと想定撮影順序「４」の「新郎新婦退場」イベントの間で撮影されうるイベントである。

図２０は不揮発性メモリ１８０３に格納されている映像データを説明するための例である。不揮発性メモリ１８０３に格納されている映像データは、「撮影開始時刻２００１」「動画の長さ２００２」「イベント名２００３」「ファイル名２００４」の組み合わせからなるイベント動画データが集合したものである。この例では、不揮発性メモリに１２個の映像データが格納されていることを表している。例えば、１行目のデータは、２０１０年１１月２２日 １２時００分１０秒から１１秒間「会場の雰囲気」イベントとして撮影した映像が、００００１．ｍｔｓというファイル名で格納されているということを示している。

なお、イベント動画データに対するイベント名の付与は、これらの撮影時に撮像装置で付与するような仕組みとしてもよいし、本実施例の映像処理装置でユーザが操作部１８０７を用いて付与するような仕組みとしてもよい。

次に、図２１と図８を参照しながら、本発明の映像処理装置によるオーサリング処理を詳細に説明する。これらのフローチャートの説明の際には、具体的なデータ例として図１９で示した結婚式のテーマデータと、図２０で示した不揮発性メモリ１８０３内の映像データを用いる。

ステップＳ２１０１では、ＣＰＩ１８０１はオーサリング開始するに際し、ユーザがテーマデータ（テンプレート）を選択したか否かを判定する。テーマデータの選択は、ＣＰＵ１８０１が、表示Ｉ／Ｆ１８０５を介して表示装置１８０６に選択のためのＧＵＩを表示し、ユーザが操作部１８０７を操作することによって行う。

ステップＳ２１０２では、ＣＰＵ１０１はオーサリングにより生成するコンテンツを管理する動画リストをクリアする。映像リストについては、後述のステップＳ２１１４で詳細に説明する。ステップＳ２１０３では、ＣＰＵ１８０１はステップＳ２１０１で選択したテーマデータ（図１９）を読み出し、後述するステップＳ２１０４〜ステップＳ２１１４で処理すべきイベントを順次選択する。この時の選択の順序は、テーマデータで定義されている構成順序（図１９の１９０１の列）に従う。

図１９の結婚式のテーマデータを選択した場合は、１回目の処理では「会場の雰囲気」イベント、２回目の処理では「受付」イベント、３回目の処理では「ゲストからのお祝いの言葉」イベント、・・・のようになる。ステップＳ２１０４では、ＣＰＵ１８０１はステップＳ２１０３で選択したイベントに対応したイベント動画データが、不揮発性メモリ１８０３に存在するか否かを判定する。対応するイベント動画データが存在する場合はステップＳ２１０５へ、存在しない場合はステップＳ２１０７へ進む。

ステップＳ２１０５では、ＣＰＵ１８０１はステップＳ２１０３で選択したイベントに対応したイベント動画データの情報を、ＧＵＩとして表示Ｉ／Ｆ１８０５を介して表示装置１８０６に表示する。ＧＵＩは、イベントに対応するイベント動画データのサムネイル画像・撮影日時などから構成される。図２２（ａ）にＧＵＩの例を示す。ユーザは、操作部１８０７を操作し、イベントに対応した映像データの情報を閲覧し、当該イベント（図２２（ａ）の例では「ゲストからのお祝いの言葉」イベント）にふさわしいイベント動画データを選択することができる。

ステップＳ２１０６では、ＣＰＵ１８０１はステップＳ２１０５においてステップＳ２１０３で選択したイベント動画データ選択されたか否かを判定する。イベント動画データが選択された場合はステップＳ２１１４へ、選択されなかった場合はステップＳ２１１５へ進む。ステップＳ２１０７〜ステップＳ２１１３は、ステップＳ２１０４の処理により、不揮発性メモリ１８０３にステップＳ２１０３で選択したイベントに対応するイベント動画データが格納されていない場合の処理である。

ステップＳ２１０７では、ＣＰＵ１８０１はステップＳ２１０３で選択したイベントが発生した時間を推定する。この推定の処理については、図８のフローチャートを適用することができる。

図８の処理は、実施例１において説明した処理と同等である。実施例１の図８の処理の説明は、ステップＳ７０２をステップＳ２１０３、ＣＰＵ１０１をＣＰＵ１８０１、不揮発性メモリ１０３を不揮発性メモリ１８０３、図６を図２０、６０１〜６０８を２００１〜２００８と読み替えることによって、本実施例に適用することができる。

図２１に戻り、ステップＳ２１０８では、ＣＰＵ１８０１はステップＳ２１０３で選択したイベントの撮影時間が、ステップＳ２１０７（図８）の処理によって得られたか否かを判定する。イベントの推定時間として１期間以上を算出できた場合は、推定成功としてステップＳ２１０９へ進み、イベントの推定時間が得られなかった場合は、推定に失敗したとしてステップＳ２１１５に進む。

ステップＳ２１０９では、ＣＰＵ１８０１は記憶媒体Ｉ／Ｆ１８１０を介して記憶媒体１８１１にアクセスし、記憶媒体１８１１に格納されている映像（静止画あるいは動画）データを、２段階の処理により抽出する。第一段階の処理は、映像データの撮影時間による抽出であり、ステップＳ２１０７で得られた推定時間内に撮影された映像データを抽出する。第二段階の処理は、顔検出の有無による抽出である。第二段階の処理では、ＣＰＵ１８０１は画像処理部１８０４を用いて第一段階の処理により抽出された映像データ内における、顔検出の有無を取得する。

次に、テーマデータ（図１９）において、ステップＳ２１０３で選択したイベントの、顔検出の項の値を取得する。そして、第一段階の処理で抽出された映像データから、顔検出の項の値が「有」である場合は顔検出された映像データを、顔検出の項の値が「無」である場合は顔検出されなかった映像データを、顔検出の項の値が「−」である場合はすべての映像データを抽出する。

ステップＳ２１１０では、ＣＰＵ１８０１はステップＳ２１０９で抽出した映像データの情報を、ＧＵＩとして表示Ｉ／Ｆ１８０５を介して表示装置１８０６に表示する。ＧＵＩは、抽出した映像データのサムネイル画像・撮影日時・動画静止画種別などから構成される。図２２（ｂ）にＧＵＩの例を示す。ユーザは、操作部１８０７を操作し、ステップＳ２１０９で抽出された映像データの情報を閲覧し、ステップＳ２１０３で選択されたイベント（図２２（ｂ）の例では「新郎新婦あいさつ」イベント）にふさわしい映像データを選択することができる。

ステップＳ２１１１では、ＣＰＵ１８０１はステップＳ２１１０で提示した映像データをユーザが１個以上選択したか否かを判定する。ユーザが映像でテータを選択した場合はステップＳ２１１２に、選択しなかった場合はステップＳ２１１５へ進む。ステップＳ２１１２では、ＣＰＵ１８０１はユーザが選択した映像データに静止画データが含まれるか否かを判定する。静止画データが含まれていた場合にはステップＳ２１１３に、含まれていなかった場合にはステップＳ２１１４に進む。

ステップＳ２１１３では、ＣＰＵ１８０１はユーザが選択した映像データに含まれている静止画データを元に動画データを生成する。具体的には、間隔をあけて複数の静止画データを順次表示（スライドショー）するような動画データに変換したり、静止画データの一部を表示しながらスクロール（デジタルパン・チルト）するような動画に変換したりして行う。ＣＰＵ１８０１は、生成した動画データを不揮発性メモリ１８０３に保存する。

ステップＳ２１１４では、ＣＰＵ１８０１は「ステップＳ２１０５で取得した、撮影した映像データ」「ステップＳ２１０９で抽出し、ユーザが選択した動画データ」「ステップＳ２１０９で抽出し、ユーザが選択した静止画から生成した動画データ」を映像リストに順次追加する。図２３は、図２１の一連の処理で生成される映像リストの例である。この映像リストは、図１９のテーマデータの例と、図２０の不揮発性メモリ１８０３に格納されている映像データの例に対応している。図２３の映像リストでは、テーマデータの構成順序１９０１にしたがって、映像データが映像リストに追加されている。

図２０の映像データの例では、「乾杯」イベント・「料理紹介」イベント・「新郎新婦あいさつイベント」は含まれていない（格納されていない）ので、これらはステップＳ２１０７〜Ｓ２１１３の処理によって外部の記録媒体から取得した映像データを使用している（２３０１〜２３０４）。なお、この例では、２３０１と２３０４では外部の記憶媒体にある動画データを表しており、２３０２と２３０３は外部の記憶媒体にある静止画データからステップＳ２１１３で生成された動画データを表している。

ステップＳ２１１５では、ＣＰＵ１８０１はステップＳ２１０３において、テーマデータ（図１９）の全てのイベントを選択したか否かを選択する。図１９の例では、ステップＳ２１０３において「新郎新婦退場」イベントを選択していた場合は、すべての撮影イベントを選択したということになる。ステップＳ２１０３において全ての撮影イベントを選択済みの場合は、ステップＳ２１１４で更新した映像リストが完成したとして、ステップＳ２１１５へ進む。一方、未選択のイベントがある場合は、ステップＳ２１０３に戻り次のイベントの処理を行う。

ステップＳ２１１６では、ＣＰＵ１８０１はステップＳ２１４４で生成した映像リストにしたがって、動画データを不揮発性メモリ１８０３あるいは記憶媒体１８１１から取得し、作成したいコンテンツに応じたデータを生成する。たとえば、ＤＶＤ−ＶｉｄｅｏフォーマットやＢｌｕ−ｒａｙ（登録商標） Ｄｉｓｃフォーマットのデータを生成する。ステップＳ２１１７では、ＣＰＵ１８０１はステップＳ２１１６で作成したデータを、記録部１８０８を利用して記録媒体１８０９に書き込む。

このような処理を行うことによって、例えば結婚式のテーマデータにしたがってコンテンツをオーサリングしていた場合に、あるイベントの映像データが不足していた場合においても、例えば同席していた友人の記録媒体を使用することによって、不足していたイベントの映像データを入手し、テーマに沿った映像を得ることができる。

以上、本実施例によれば、撮影すべき複数イベントの情報がイベント間の前後関係を指定されたテーマ情報を保持し、映像が関連付けられていないイベントの撮影時間を推定するするとともに、推定した撮影時間と合致する映像を装着された記憶媒体から抽出することによって、撮り逃したイベントがあった場合においても、テーマに沿った動画を生成する映像処理装置を提供することができる。

［その他の実施例］
実施例３では、位置情報の取得にＧＰＳを用いたが、本発明はこれに限定されるわけではなく、ユーザによる入力により位置情報を取得したり、ＩＰアドレスから位置情報を決定したりしてもよい。

実施例３では、ステップＳ７０６の第三段階の抽出処理に用いる位置情報は、映像処理装置の現在の位置情報を使用したが、本発明はこれに限定されるわけではない。たとえば、直前に再生リストに追加された映像データの位置情報（ジオタグ）を用いてもよい。

実施例３では、ステップＳ７０６において３段階の抽出処理をＣＰＵ１５０１が行ったが、本発明はこれに限定されるわけではなく、ＣＰＵ１５０１が抽出処理に必要な情報をサーバに送信し、抽出結果をサーバから取得するような構成にしてもよい。

実施例４では、記憶媒体から映像の抽出を行ったが、本発明はこれ限定されているわけではなく、実施例１に対する実施例２・３と同様に、周辺の機器やインターネット上から映像データを抽出してもよい。

本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

１００ 映像処理装置、１０１ ＣＰＵ（イベント時間推定手段、映像抽出手段）、１０２ メモリ、１０３ 不揮発性メモリ（テーマ保持手段）、１０４ 撮像部、
１０５ 画像処理部、１０６ 表示部、１０７ 操作部、１０８ 記憶媒体Ｉ／Ｆ、１０９ 記憶媒体、１１０ 外部Ｉ／Ｆ、１１１ 通信Ｉ／Ｆ、
１１２ 外部ネットワーク、１１３ ＲＴＣ、１５０ 内部バス

Claims (12)

1. 撮影すべき複数イベントの情報がイベント間の前後関係を指定されたテーマ情報を保持するテーマ保持手段と、
   映像が関連付けられていないイベントの撮影時間を推定するイベント時間推定手段と、
   イベント時間推定手段による推定時間と合致した映像を抽出する映像抽出手段と
   を備えることを特徴とする映像処理装置。
2. 映像抽出手段により抽出した映像を取得する映像取得手段と、
   映像取得手段により取得した映像を、映像が関連付けられていないイベントに対応付けることによって映像を生成する映像生成手段と
   を備えることを特徴とする請求項１に記載の映像処理装置。
3. 映像抽出手段により抽出した映像のうち１個以上の映像を選択することのできる映像選択手段を備え、
   映像取得手段は映像選択手段により選択した映像を取得することを特徴とする請求項２に記載の映像処理装置。
4. １個以上の静止画データを動画データに変換する動画変換手段を備え、
   映像取得手段により取得した映像が静止画データであった場合に該静止画データを動画データに変換することを特徴とする請求項２又は請求項３に記載の映像処理装置。
5. 記録媒体を読み取り可能な状態で装着するための記録媒体接続手段を備え、
   映像抽出手段は前記記録媒体接続手段に装着された記録媒体から映像を抽出することができることを特徴とする請求項１乃至請求項４の何れか一項に記載の映像処理装置。
6. 近隣の装置と通信するための近接通信手段を備え、
   映像抽出手段は前記近接通信手段により通信可能な装置から映像を抽出することができることを特徴とする請求項１乃至請求項５の何れか一項に記載の映像処理装置。
7. インターネットのネットワークシステムに接続するためのネットワーク通信手段を備え、
   映像抽出手段は前記ネットワーク通信手段により通信可能なサーバから映像を抽出することができることを特徴とする請求項１乃至請求項６の何れか一項に記載の映像処理装置。
8. 該映像処理装置の位置情報を取得する位置情報取得手段を備え、
   映像抽出手段は位置情報取得手段により取得した位置情報に応じたサーバから映像を抽出することを特徴とする請求項７に記載の映像処理装置。
9. 該映像処理装置の位置情報を取得する位置情報取得手段を備え、
   映像抽出手段は位置情報取得手段により取得した位置情報に応じた映像群から映像を抽出することを特徴とする請求項７に記載の映像処理装置。
10. 映像に特定の物体が含まれているか否かを判定する物体検出手段を備え、
    テーマ保持手段により保持されるテーマ情報には、各イベントにおいて特定の物体の撮影が行われるか否かの情報を含み、
    イベント時間推定手段により撮影時間を推定したイベントが特定の物体の撮影を行うイベントであった場合に、
    映像抽出手段は、イベント時間推定手段による推定時間と合致し、かつ、物体検出手段により該特定の物体が含まれていると判定された映像を抽出することを特徴とする請求項１乃至請求項９の何れか一項に記載の映像処理装置。
11. 映像に特定の物体が含まれているか否かを判定する物体検出手段を備え、
    テーマ保持手段により保持されるテーマ情報には、各イベントにおいて特定の物体の撮影が行われるか否かの情報を含み、
    イベント時間推定手段により撮影時間を推定したイベントが特定の物体の撮影を行わないイベントであった場合に、
    映像抽出手段は、イベント時間推定手段による推定時間と合致し、かつ、物体検出手段により該特定の物体が含まれていないと判定された映像を抽出することを特徴とする請求項１乃至請求項１０の何れか一項に記載の映像処理装置。
12. 特定の物体とは人物を意味し、物体検出手段は映像中に人物か含まれているかを検出することを特徴とする請求項１０又は請求項１１に記載の映像処理装置。