JP4820136B2 - 映像音声記録装置及び映像音声記録方法 - Google Patents

Description

本発明は、映像音声記録装置及び映像音声記録方法に係り、特に、撮影を一時停止したことによって、時間的連続性が途切れた撮影再開後の映像及び音声を記録するとき、自動的に特殊効果を施しながら繋ぎ合わせる映像音声記録装置及び映像音声記録方法に関する。

従来、ユーザは、ビデオ撮影後に市販のビデオ編集ソフトなどを使って撮影したビデオの不要部分をカットし、撮影した映像にフィルタエフェクトなどの特殊効果を施し、必要なシーンを繋ぎ合わせるなどの編集作業などによって映像効果を高めてビデオ撮影を楽しんできた。このような編集作業において、各シーンを繋ぎ合わせるとき、唐突に次のシーンに切り替わらないようにするため、前のシーンと次のシーンとの繋ぎ目を数秒間重複して表示させ、徐々に次のシーンに切り替わるようなトランジション効果を使うことが多い。

トランジション効果を施すには、重ね合わせる前のシーンと次のシーンを同時に読み出し、読み出したデータを変換して編集を行い、編集したデータをもう一度変換してファイルに記録するなどの手間と時間がかかるだけでなく、トランジション効果の設定に熟練を要するため、最適なトランジション効果を自動的に設定する画像編集装置もある（例えば、特許文献１参照)。

特許文献１の画像編集装置は、複数の画像と画像付属情報を記録する記録手段と、画像付属情報と画像切り替え時の映像効果とを関連付けて記録する映像効果記録手段と、繋ぎ合わせる画像付属情報の中に一致する情報が存在する場合には、映像効果記録手段に記録された映像効果を施して両者の画像を繋ぎ合わせる画像連結手段とを備えており、画像付属情報が一致する画像を繋ぎ合わせるとき、映像効果記録手段に記録されたトランジション効果が自動的に設定される。
特開２００４−１２０５４４号公報（図６）

しかしながら、特許文献１の画像編集装置では、撮影を行うたびに、撮影日付、撮影時刻、ズーム情報、利用者名、撮影場所などの画像付属情報を記録しなければならないし、ファイルとして一度記録しないと、トランジション効果処理を実行することができないので、撮影した映像にトランジション効果を施すためには、ビデオ撮影装置の他に画像編集装置を購入し、撮影後に画像編集装置を使って編集作業を行わなければならない。特に、携帯電話機などの小型で携帯可能な映像音声記録装置では、時間の短い撮影が頻繁に繰り返されるため、録画した映像を再生すると、シーンが唐突に切り替わって見にくいとう問題があった。

本発明の映像音声記録装置は、撮影中の映像データ及び音声データを取り込む入力デバイスと、前記撮影を一時停止した前後の映像データ及び音声データを繋ぎ合わせるトランジション効果を登録するトランジション効果登録手段と、前記撮影を一時停止した後に再開した際に、前記撮影を一時停止するまでの所定時間の間に記録した映像データ及び音声データと、前記撮影を再開してから所定時間の間に記録した映像データ及び音声データとを重ね合わせて、前記トランジション効果登録手段によって登録された前記トランジション効果に従って映像データ及び音声データを編集する編集手段と、前記編集手段によって編集された映像データ及び音声データを記録するとともに、前記撮影を再開した後の記録時間を前記トランジション効果の継続時間分減算して、前記撮影を再開した後の映像データ及び音声データを記録する記録手段と、を具備する構成を採る。
本発明の映像音声記録方法は、撮影中の映像データ及び音声データを取り込む入力ステップと、前記撮影を一時停止した前後の映像データ及び音声データを繋ぎ合わせるトランジション効果を登録するトランジション効果登録ステップと、前記撮影を一時停止した後に再開した際に、撮影を一時停止するまでの所定時間の間に記録した映像データ及び音声データと、前記撮影を再開してから前記所定時間の間に記録した映像データ及び音声データとを重ね合わせて、前記トランジション効果登録ステップによって登録された前記トランジション効果に従って映像データ及び音声データを編集する編集ステップと、前記編集ステップによって編集された映像データ及び音声データを記録するとともに、前記撮影を再開した後の記録時間を前記トランジション効果の継続時間分減算して、前記撮影を再開した後の映像データ及び音声データを記録する記録ステップと、を具備するようにした。

本発明によれば、簡単にトランジション効果処理を実行することができるという効果がある。

以下、本発明の実施の形態１及び実施の形態２について図面を参照して詳細に説明する。実施の形態１は、撮影を一時停止したことによって、時間的連続性が途切れた撮影再開後の映像及び音声を記録するとき、撮影再開後の映像データ及び音声データと一時停止直前の映像データ及び音声データとを重ね合わせてトランジション効果処理を実行するものであり、実施の形態２は、撮影を一時停止したことによって、時間的連続性が途切れた撮影再開後の映像及び音声を記録するとき、一時停止直前の映像データ及び音声データ以外の映像データ及び音声データと撮影再開後の映像データ及び音声データとを重ね合わせてトランジション効果処理を実行するものである。

（実施の形態１）
図１は、本発明の実施の形態１に係る映像音声記録装置の構成を示すブロック図である。図１に示すように、映像音声記録装置１０１は、ユーザが操作ボタンなどによって「撮影開始」、「撮影終了」、「一時停止」、「撮影再開」、又は「ファイル保存」などの入力を行う操作部１０２と、カメラなどによって撮影中の映像信号を入力する映像入力デバイス１０３と、マイクなどによって音声信号を入力する音声入力デバイス１０４と、映像入力デバイス１０３及び音声入力デバイス１０４などから入力される映像信号及び音声信号を符号化して一時的に記録する符号化処理部１０５と、符号化処理部１０５で記録された一時停止前の映像データ及び音声データと「撮影再開」によって映像入力デバイス１０３及び音声入力デバイス１０４から入力される映像信号又は音声信号とを合成してトランジション効果処理を実行するトランジション効果部１０６と、トランジション効果の種類を登録するトランジション効果設定画面、撮影中の映像又はトランジション効果を施した映像を表示する表示デバイス１０７と、撮影中の音声又はトランジション効果を施した音声を出力する音声出力デバイス１０８と、記録媒体１１６に応じた記録処理を行う記録処理部１０９とを制御部１１０に接続して備える。

符号化処理部１０５には、映像入力デバイス１０３及びトランジション効果部１０６から映像信号が入力され、音声入力デバイス１０４及びトランジション効果部１０６から音声信号が入力される。

符号化処理部１０５は、入力された映像信号を、例えば、ＭＰＥＧ４（Moving Picture Coding Experts Group４）ＶＩＤＥＯなどのビデオ圧縮方式に従って圧縮符号化して映像ストリームを生成するビデオエンコーダ１１１と、入力された音声信号を、例えば、ＭＰＥＧ４ＡＡＣ（Advanced Audio Coding）などのオーディオ圧縮方式に従って圧縮符号化して音声ストリームを生成するオーディオエンコーダ１１２と、ビデオエンコーダ１１１及びオーディオエンコーダ１１２に接続されて映像ストリームと音声ストリームとを多重化して映像と音声の多重化ストリームを生成する多重化回路１１３と、映像と音声の多重化ストリームを一時的に記録するＲＡＭ１１４とを備える。

尚、映像ストリームと音声ストリームを多重化せずに個別にＲＡＭ１１４に記録するようにしてもよい。

記録処理部１０９は、操作部１０２から「ファイル保存」が入力されたときＲＡＭ１１４に記録された多重化ストリームをフォーマット化するフォーマッタ１１５と、フォーマット化した多重化ストリームを記録媒体１１６に書き込む書き込み回路１１７とを備える。

制御部１１０は、映像入力デバイス１０３、音声入力デバイス１０４、トランジション効果部１０６、表示デバイス１０７、音声出力デバイス１０８、ビデオエンコーダ１１１、オーディオエンコーダ１１２、多重化回路１１３、フォーマッタ１１５、及び書き込み回路１１７に接続され、操作部１０２からの入力に従ってそれらを制御する。

図２は、本発明の実施の形態１に係るトランジション効果部の構成を示すブロック図である。トランジション効果部１０６は、表示デバイス１０７に表示されたトランジション効果設定画面の中から操作部１０２によって選択された入力に従って制御部１１０を介してトランジション効果を登録する設定部１２１と、「撮影再開」後、映像入力デバイス１０３から入力される映像信号及び音声入力デバイス１０４から入力される音声信号と重ね合わせてトランジション効果処理を実行する領域を抽出する抽出部１２２と、「撮影再開」後、映像入力デバイス１０３から入力される映像信号及び音声入力デバイス１０４から入力される音声信号と抽出部１２２において抽出された領域に記録される映像信号及び音声信号とを合成してトランジション効果処理を実行する効果処理部１２３とを備える。

抽出部１２２は、ＲＡＭ１１４に記録された撮影済みの記録ファイルの多重化ストリームから「撮影再開」後に入力される映像信号及び音声信号と合成する領域を抽出する抽出処理部１２４と、抽出された領域に記録された映像と音声の多重化ストリームを映像ストリームと音声ストリームに分離する分離処理部１２５と、分離した映像ストリームを映像信号に復号化するビデオデコーダ１２６と、復号化した映像信号を記録するＲＡＭ１２７と、分離した音声ストリームを音声信号に復号化するオーディオデコーダ１２８と、復号化した音声信号を記録するＲＡＭ１２９とを備え、合成処理の対象となる映像信号をＲＡＭ１２７に、合成処理の対象となる音声信号をＲＡＭ１２９に抽出して記録する。

尚、映像ストリームと音声ストリームを多重化せずに個別にＲＡＭ１１４に記録しているときは、分離処理部１２５はいらない。

効果処理部１２３は、トランジション効果処理を実行するためのプログラムやテンプレートなどが保存された特殊効果ライブラリ１３０と、ＲＡＭ１２７に記録された合成処理の対象となる映像信号及びＲＡＭ１２９に記録された合成処理の対象となる音声信号と、撮影によって新たに映像入力デバイス１０３及び音声デバイス１０４から入力される映像信号及び音声信号とを合成してトランジション効果処理を実行するトランジション効果処理部１３１とを備える。

トランジション効果処理部１３１でトランジション効果を施した映像は、表示デバイス１０７に表示され、同じくトランジション効果処理部１３１でトランジション効果を施した音声は、音声出力デバイス１０８に出力される。

図３は、本発明の実施の形態１に係るトランジション効果設定画面の例を示した図である。図３に示すように、トランジション効果設定画面１４１には、「撮影再開」によって撮影される映像又は音声と合成する対象を「一時停止」直前の「動画」、「画像」、「音声」、又は「音」から選択する対象選択ウインドウ１４２と、トラジション効果の継続時間Ｘ秒を設定する時間設定ウインドウ１４３と、トランジション効果の種類を選択する効果選択ウインドウ１４４と、効果選択ウインドウ１４４で選択されたトランジション効果の詳細な編集条件を設定する詳細設定ウインドウ１４５と、登録／解除ボタン１４６などが設けられる。

トランジション効果設定画面１４１は、「撮影開始」前、又は撮影中に「一時停止」が入力されたとき、表示デバイス１０７に表示される。ユーザは、トランジション効果設定画面１４１の各ウインドウで所望の項目を選択し、登録／解除ボタン１４６によって実行するトランジション効果処理を登録又は解除することができる。

対象選択ウインドウ１４２には、「一時停止」直前のＸ秒間の動画を合成対象としてトランジション効果処理を実行する「動画」と、「一時停止」直前に記録された最後の単独画像を合成対象としてトランジション効果処理を行う「画像」と、「一時停止」直前のＸ秒間の音声を合成対象としてトランジション効果処理を実行する「音声」と、「一時停止」直前に記録された最後の単音を合成対象としてトランジション効果処理を行う「音」とが表示され、「撮影再開」によって入力される映像信号及び音声信号と合成処理を実行する対象を選択する。

トランジション効果を登録するときは、矛盾が生じなければ、トランジション効果設定画面１４１を繰り返し使って、複数のトランジション効果を同時に登録することができる。対象選択ウインドウ１４２で「動画」又は「音声」を選択してトランジション効果を登録する場合は、「動画」及び「音声」を組み合わせて登録したほうが映像及び音声ともに違和感無く「撮影再開」後の映像及び音声に切り替えることができる。

同様に、対象選択ウインドウ１４２で「画像」又は「音」を選択する場合も、「画像」及び「音」を組み合わせて登録したほうが映像及び音声ともに違和感無く「撮影再開」後の映像及び音声に切り替えることができるが、「画像」又は「音」のみを登録してトランジション効果処理を実行してもよい。

図３（ａ）に示すように、対象選択ウインドウ１４２で「動画」の選択を行うと、効果選択ウインドウ１４４には、一時停止Ｘ秒前の「動画」に対して透過度のある一時停止後の映像を重ね合わせて表示する「クロスフェード」と、球、直方体、旗などの三次元オブジェクトの表面に「一時停止」Ｘ秒前の映像を貼り付け、球、直方体、及び旗などを静止した状態から回転させて画面の端にスライドアウトさせるなどの効果を行い「撮影再開」後の映像に切り替える「３Ｄ効果」と、「一時停止」Ｘ秒前の映像から「撮影再開」後の映像にスライドしながら切り替える「スライド効果」と、本のページをめくる様に「一時停止」Ｘ秒前の映像をめくると「撮影再開」後の映像に切り替える「ページめくり効果」と、扉を開くように「一時停止」Ｘ秒前の映像を窓のように開く動作の後、「撮影再開」後の映像に切り替える「扉効果」などが表示される。

「クロスフェード」は、始め、「一時停止」Ｘ秒前の映像の透過度を濃く表示して、時間が経過するとともに徐々に「一時停止」前の映像の透過度を薄く、即ちフェードアウトさせ、それと同時に「撮影再開」後の画像を濃く、フェードインさせてＸ秒後には撮影中の映像に切り替えるトランジション効果である。

図３（ｂ）に示すように、対象選択ウインドウ１４２で「音」を選択すると、効果選択ウインドウ１４４には、始め、「一時停止」直前の音が出力され、時間の経過とともに徐々に「一時停止」直前の音をフェードアウトさせ、それと同時に「撮影再開」後の音声をフェードインさせてＸ秒後には撮影中の音声に推移させる「クロスフェード」と、トランジション効果の継続時間Ｘ秒の間、「一時停止」直前の音と「撮影再開」後の音声が重なり合って立体的に聞こえる「３Ｄ音響効果」と、トランジション効果の継続時間Ｘ秒の間、「一時停止」直前の音と、「撮影再開」後の音声が混ざり合って聞こえる「ミキサー」などが表示される。

図４は、本発明の実施の形態１に係る動画又は音声を選択したときのトランジション効果処理について説明した図である。図４に示すように、「一時停止」直前までの映像と音声を多重化した多重化ストリームは、ＲＡＭ１１４に記録される。

「一時停止」直前までの映像と音声を記録した多重化ストリームを記録ファイルＡとすると、記録時間Ｓまで記録された記録ファイルＡをトランジション効果の継続時間Ｘ秒分逆方向にシークし、Ｘ秒分の記録ファイルＢを抽出する。記録ファイルＢの多重化ストリームを映像ストリームと音声ストリームに分離し、映像ストリームをビデオデコーダ１２６によって映像信号に復号化して、ＲＡＭ１２７の領域Ｃに記録し、平行して音声ストリームをオーディオデコーダ１２８によって音声信号に復号化して、ＲＡＭ１２９の領域Ｃに記録する。

対象選択ウインドウ１４２で「動画」が選択されていれば、「撮影再開」時、ＲＡＭ１２７の領域Ｃに記録された映像信号と、映像入力デバイス１０３によって新たに取り込まれる映像信号とをトランジション効果の継続時間Ｘ秒間合成して効果選択ウインドウ１４４で選択されたトランジション効果処理を実行する。

対象選択ウインドウ１４２で「音声」が選択されていれば、「撮影再開」時、ＲＡＭ１２９の領域Ｃに記録された音声信号と、音声入力デバイス１０４によって新たに取り込まれる音声信号とをトランジション効果の継続時間Ｘ秒間合成して効果選択ウインドウ１４４で選択されたトランジション効果処理を実行する。

記録ファイルＢは、「撮影再開」後に記録される映像データ及び音声データと合成されて新たに記録ファイルＤとして記録されるため、「撮影再開」後の記録時間Ｓを、トランジション効果の継続時間Ｘ秒分減算して新たな記録処理を開始する。

「一時停止」前Ｘ秒間の「動画」の映像信号と「撮影再開」後の映像信号とをＸ秒間合成するトランジション効果処理を実行することによって、又は、「一時停止」前Ｘ秒間の「音声」の音声信号と「撮影再開」後の音声信号とをＸ秒間合成するトランジション効果処理を実行することによって、時間的に連続性のない「一時停止」前の映像又は音声と、「撮影再開」後の映像又は音声とがスムースに繋ぎ合わされる。

図５は、本発明の実施の形態１に係る画像又は音を選択したときのトランジション効果処理について説明した図である。図５に示すように「一時停止」直前までの映像と音声を多重化した多重化ストリームは、ＲＡＭ１１４に記録される。

「一時停止」直前までの映像と音声を記録した多重化ストリームを記録ファイルＡとすると、記録時間Ｓまで記録された記録ファイルＡの最後に記録された「画像」又は「音」の記録ファイルＢ’を抽出する。記録ファイルＢ’の多重化ストリームを映像ストリームと音声ストリームに分離し、映像ストリームをビデオデコーダ１２６によって映像信号に復号化して、ＲＡＭ１２７の領域Ｃ’に記録し、平行して音声ストリームをオーディオデコーダ１２８によって音声信号に復号化して、ＲＡＭ１２９の領域Ｃ’に記録する。

対象選択ウインドウ１４２で「画像」が選択されていれば、「撮影再開」時、ＲＡＭ１２７の領域Ｃ’に記録された最後の「画像」の映像信号と、映像入力デバイス１０３によって新たに取り込まれる映像信号とをトランジション効果の継続時間Ｘ秒の間合成して効果選択ウインドウ１４４で選択されたトランジション効果処理を実行する。

対象選択ウインドウ１４２で「音」が選択されていれば、「撮影再開」時、ＲＡＭ１２９の領域Ｃ’に記録された最後の「音」の音声信号と、音声入力デバイス１０４によって新たに取り込まれる音声信号とをトランジション効果の継続時間Ｘ秒の間合成して効果選択ウインドウ１４４で選択されたトランジション効果処理を実行する。

記録ファイルＢ’は、「撮影再開」後に記録される映像データ及び音声データと合成されて新たに記録ファイルＤとして記録されるが、最後に記録された単体画像又は単体の音なので記録時間Ｓはそのままで新たな記録処理を開始する。

「一時停止」直前の最後の「画像」の映像信号と「撮影再開」後の映像信号とをＸ秒間合成するトランジション効果処理を実行することによって、又は、「一時停止」直前の「音」の音声信号と「撮影再開」後の音声信号とＸ秒間合成するトランジション効果処理を実行することによって、時間的に連続性のない「一時停止」前の映像又は音声と、「撮影再開」後の映像又は音声とがスムースに繋ぎ合わされる。

以上のように構成された映像音声記録装置１０１の動作について説明する。図６は、本発明の実施の形態１に係る映像音声記録装置の動作を説明するフロー図である。図６に示すように、ユーザが映像音声記録装置１０１の電源を入れると、映像音声記録装置１０１は、カメラ、マイク、液晶ディスプレイ、スピーカなどの映像入力デバイス１０３、音声入力デバイス１０４、表示デバイス１０７及び音声出力デバイス１０８、記録ファイルＡの記録時間Ｓなどが初期化され（ＳＴ１０１）、表示デバイス１０７にトランジション効果設定画面１４１が表示される（ＳＴ１０２）。

ユーザは、表示デバイス１０７に表示されたトランジション効果設定画面１４１によって、撮影時に実行したいトランジション効果の種類を選択して登録又は解除することができる。

操作部１０２から操作ボタンなどによって「撮影開始」が入力されて映像及び音声の記録が開始されると（ＳＴ１０３；ＹＥＳ）、映像入力デバイス１０３から映像信号を取り込んで表示デバイス１０７に表示し、音声入力デバイス１０４から音声信号を取り込んで音声出力デバイス１０８に出力し（ＳＴ１０４）、映像入力デバイス１０３から取り込んだ映像信号をビデオエンコーダ１１１によって圧縮符号化して映像ストリームを生成し（ＳＴ１０５）、平行して音声入力デバイス１０４から取り込んだ音声信号をオーディオエンコーダ１１２によって圧縮符号化して音声ストリームを生成し（ＳＴ１０６）、映像ストリームと音声ストリームを多重化回路１１３によって多重化して多重化ストリームを生成して（ＳＴ１０７）、図４及び図５に示すように、生成した映像と音声の多重化ストリームをＲＡＭ１１４の記録ファイルＡに記録し、記録時間Ｓを更新する（ＳＴ１０８）。

操作部１０２から「一時停止」、「ファイル保存」、及び「撮影終了」のいずれの入力もなされなければ（ＳＴ１０９；ＮＯ、ＳＴ１１０；ＮＯ、ＳＴ１１１；ＮＯ）、ＳＴ１０３に戻って、撮影中なので（ＳＴ１０３；ＹＥＳ）、ＳＴ１０４からＳＴ１１１までの処理を繰り返し実行して、映像と音声の多重化ストリームをＲＡＭ１１４の記録ファイルＡに記録し、記録時間Ｓを更新する。

ＳＴ１０９において、操作部１０２から撮影の「一時停止」が入力されると（ＳＴ１０９；ＹＥＳ）、撮影を一時停止して、表示デバイス１０７にトランジション効果設定画面１４１を表示する（ＳＴ１１２）。

ユーザは、表示デバイス１０７に表示されたトランジション効果設定画面１４１によってトランジション効果を登録、再登録又は解除することができる。ここで、トランジション効果が登録されていれば（ＳＴ１１３；ＹＥＳ）、トランジション効果処理を行う（ＳＴ１１４）。

ＳＴ１１３において、トランジション効果が登録されていなくて（ＳＴ１１３；ＮＯ）、「ファイル保存」及び「撮影終了」が入力されなければ（ＳＴ１１０；ＮＯ、ＳＴ１１１；ＮＯ）、ＳＴ１０３に戻って、操作部１０２から「撮影再開」が入力されるまで待つ（ＳＴ１０３；ＮＯ）。

ＳＴ１０３において「撮影再開」が入力されれば（ＳＴ１０３；ＹＥＳ）、ＳＴ１０４からＳＴ１１１までの処理を繰り返して、撮影再開後の映像と音声の多重化ストリームを記録ファイルＤとしてＲＡＭ１１４の記録ファイルＡに続けて記録し、記録時間Ｓを更新する。

ＳＴ１１０において、「ファイル保存」が入力されれば（ＳＴ１１０；ＹＥＳ）、ＲＡＭ１１４に記録されている記録ファイルＤを含む記録ファイルＡの多重化ストリームをフォーマッタ１１５によってフォーマット化し、書き込み回路１１７によって記録ブロック単位毎に記録媒体１１６に保存し（ＳＴ１１５）、「撮影終了」が入力されるまで（ＳＴ１１１；ＮＯ）、ＳＴ１０３に戻って、処理を継続する。

ＳＴ１１１において、「撮影終了」が入力されれば（ＳＴ１１１；ＹＥＳ）、映像音声記録装置１０１の処理を終了する。

図７は、本発明の実施の形態１に係るトランジション効果処理の動作を説明するフロー図である。始めに、合成処理の対象となる映像又は音声ファイルの抽出処理を行う（ＳＴ２０１）。図４及び図５に示すように、一時停止直前までに多重化ストリームを記録したＲＡＭ１１４の記録ファイルＡをトランジション効果の継続時間Ｘ秒間分逆方向にシークし、Ｘ秒分の記録ファイルＢ又は記録ファイルＢ’を抽出する。

記録ファイルＢ又は記録ファイルＢ’の多重化ストリームを映像ストリームと音声ストリームに分離し（ＳＴ２０２）、映像ストリームをビデオデコーダ１２６によって映像信号に復号化して（ＳＴ２０３）、ＲＡＭ１２７の領域Ｃ又は領域Ｃ’に記録し（ＳＴ２０４）、平行して音声ストリームをオーディオデコーダ１２８によって音声信号に復号化して（ＳＴ２０５）、ＲＡＭ１２９の領域Ｃ又は領域Ｃ’に記録する（ＳＴ２０６）。

操作部１０２から「ファイル保存」及び「撮影終了」の入力されなければ（ＳＴ２０７；ＮＯ）、操作部１０２から「撮影再開」が入力されまで（ＳＴ２０８；ＮＯ）、そのままの状態で待つ。

ＳＴ２０７において、「ファイル保存」又は「撮影終了」が入力されると（ＳＴ２０７；ＹＥＳ）、トランジション効果処理を終了し、図６のＳＴ１１０に戻って、ファイル保存処理、又は撮影終了処理を行う。

ＳＴ２０７において、「ファイル保存」及び「撮影終了」の入力されずに（ＳＴ２０７；ＮＯ）、「撮影再開」が入力されると（ＳＴ２０８；ＹＥＳ）、対象選択ウインドウ１４２で「動画」又は「音声」が選択されているときは、記録ファイルＡの記録時間Ｓをトランジション効果の継続時間であるＸ秒分減算する処理を行い（ＳＴ２０９）、対象選択ウインドウ１４２で「画像」又は「音」が選択されているときは、この処理を行わない。

次に、対象選択ウインドウ１４２で「動画」又は「画像」が選択されているときは、ＲＡＭ１２７の領域Ｃ又は領域Ｃ’に記録された映像信号と、映像入力デバイス１０３によって新たに取り込まれる映像信号とを合成して効果選択ウインドウ１４４で選択されたトランジション効果処理を実行し、対象選択ウインドウ１４２で「音声」又は「音」が選択されていれば、ＲＡＭ１２９の領域Ｃ又は領域Ｃ’に記録された音声信号と、音声入力デバイス１０４によって新たに取り込まれる音声信号とを合成して効果選択ウインドウ１４４で選択されたトランジション効果処理を実行し（ＳＴ２１０）、トランジション効果の施された映像信号を表示デバイス１０７に表示し、トランジション効果の施された音声信号を音声出力デバイス１０８に出力する（ＳＴ２１１）。

次に、トランジション効果を施した映像信号をビデオエンコーダ１１１によって圧縮符号化して映像ストリームを生成し（ＳＴ２１２）、平行してトランジション効果を施した音声信号をオーディオエンコーダ１１２によって圧縮符号化して音声ストリームを生成し（ＳＴ２１３）、映像ストリームと音声ストリームを多重化回路１１３によって多重化して（ＳＴ２１４）、映像と音声の多重化ストリームをＲＡＭ１１４の記録ファイルＡの記録時間Ｓに従って記録し、記録時間Ｓを更新する（ＳＴ２１５）。

操作部１０２から「ファイル保存」、及び「撮影終了」の入力が行われなければ（ＳＴ２１６；ＮＯ）、トランジション効果の継続時間Ｘ秒が経過するまでの間（ＳＴ２１７；ＮＯ）、ＳＴ２１０に戻ってＳＴ２１０からＳＴ２１７までの処理を行い、「一時停止」前の映像信号と「撮影再開」後に撮影される映像信号とをトランジション効果継続時間Ｘ秒間合成するトランジション効果処理、及び「一時停止」の音声信号と「撮影再開」後に撮影される音声信号とをトランジション効果継続時間Ｘ秒間合成するトランジション効果処理が実行され、トランジション効果の継続時間Ｘ秒が経過すると（ＳＴ２１７；ＹＥＳ）、トランジション効果処理を終了し、図１のＳＴ１１０に戻って処理を継続する。

このように、時間的に連続性のない「一時停止」前の映像又は音声と、「撮影再開」後の映像又は音声とがＸ秒間のトランジション効果によって繋ぎ合わされる。

対象選択ウインドウ１４２で「動画」又は「音声」が選択されたときは、ＳＴ２０９の記録時間Ｓをトランジション効果の継続時間Ｘ秒分減算する処理が実行されて「撮影再開」後の映像及び音声の記録を開始しているので、図４に示すように、「一時停止」前の記録ファイルＡと「撮影再開」後の記録ファイルＤは、トランジション効果の継続時間Ｘ秒の間重なり合うように記録され、「一時停止」Ｘ秒前に記録された記録ファイルＡの動画及び音声と「撮影再開」後の映像及び音声とは、トランジション効果の継続時間Ｘ秒の間重なり合う。

対象選択ウインドウ１４２で「画像」又は「音」が選択されたときは、ＳＴ２０９の記録時間Ｓの減算処理は行わないため、図５に示すように、「一時停止」前の記録ファイルＡと「撮影再開」後の記録ファイルＤは、重ならず、「一時停止」直前に記録された記録ファイルＡの最後の画像又は音と「撮影再開」後の映像又は音声とが、トランジション効果の継続時間Ｘ秒の間重なり合う。

このように、本発明の実施の形態１によれば、映像音声記録装置１０１に撮影中の映像信号を取り込む映像入力デバイス１０３と、撮影中の音声信号を取り込む音声入力デバイス１０４と、トランジション効果部１０６とを備え、トランジション効果部１０６にトランジション効果処理を登録する設定部１２１と、「一時停止」によって「一時停止」前の映像及び音声を記録した記録ファイルＡから合成の対象となる領域Ｃ又は領域Ｃ’をＲＡＭ１２７及びＲＡＭ１２９に抽出する抽出部１２２と、「撮影再開」によって新たに映像入力デバイス１０３及び音声デバイス１０４から入力される映像信号及び音声信号と合成の対象となる領域Ｃ又は領域Ｃ’とを合成してトランジション効果処理を実行するトランジション効果処理部１３１とを備えたので、高価な編集装置を購入することなく、また、撮影後に改めて編集装置を使って煩わしい編集作業を行うことなく、トランジション効果処理を実行することができる。

トランジション効果設定画面１４１によってトランジション効果を設定すれば、時間的に連続性のない「一時停止」前と「撮影再開」後の映像及び音声がトランジション効果によってスムースに繋ぎ合わされる。

トランジション効果設定画面１４１によってトランジション効果を設定すれば、撮影を一時停止するたびにトランジション効果が施されるので、撮影の切れ目が容易に分かる。

更に、映像音声記録装置１０１の表示デバイス１０７に、トランジション効果部１０６のトランジション効果処理部１３１でトランジション効果処理を施した映像を表示し、音声出力デバイス１０８に、トランジション効果処理を施した音声を出力するようにしたので、トランジション効果処理を行った映像又は音声をリアルタイムにプレビュー表示又は出力して確認することができるので、ユーザは満足のいくトランジション効果が施されたシーンのみを記録することができる。

「撮影開始」前にトランジション効果設定画面１４１を表示して、撮影中に実行したいトランジション効果を事前に登録できるので、撮影中は自動的にトランジション効果処理が実行される。

撮影を「一時停止」すると、トランジション効果設定画面１４１を表示して、撮影中にトランジション効果処理を登録、再登録、又は解除できるので、撮影の途中でトラジション効果を変更しながら撮影を継続することができる。

操作部１０２から「ファイル保存」が入力されてから、記録媒体１１６に記録ファイルＤを含む記録ファイルＡを保存するので、記録媒体１１６に無駄なデータが記録されない。

（実施の形態２）
図８は、本発明の実施の形態２に係る映像音声記録装置の構成を示すブロック図である。図８において、図１に示す実施の形態１に係る映像音声記録装置１０１の構成図と同じ構成部分については同一の符号を付して説明を省略する。図８に示すように、実施の形態２の映像音声記録装置２０１では、トランジション効果部２０６が実施の形態１のトランジション効果部１０６と異なる。

図９は、本発明の実施の形態２に係るトランジション効果部の構成を示す機能ブロック図である。図９において図２に示す実施の形態１に係るトランジション効果部１０６の構成図と同じ構成については同一の符号を付して説明を省略する。

図９に示すように、実施の形態２のトランジション効果部２０６は、抽出部１２２がなく、設定部１２１は直接、効果処理部１２３に接続され、効果処理部１２３の特殊効果ライブラリ２３０は、合成処理の対象となる映像信号及び音声信号を例えば、領域Ｃ又は領域Ｃ’に設定して、トランジション効果処理部２３１は、領域Ｃ又は領域Ｃ’に設定された映像信号及び音声信号と、撮影によって新たに映像入力デバイス１０３及び音声デバイス１０４から入力される映像信号及び音声信号とを合成してトランジション効果処理を実行する。

図１０及び図１１は、本発明の実施の形態２に係るトランジション効果設定画面の例を示した図である。図１０及び図１１において図３に示す実施の形態１に係るトランジション効果設定画面１４１の構成図と同じ部分については同一の符号を付して説明を省略する。

図１０及び図１１対象選択ウインドウ２４２に示される「動画」は、詳細設定ウインドウ２４５の動画の記録された領域Ｃに設定された映像を合成対象としてトランジション効果処理を実行し、「画像」は、詳細設定ウインドウ２４５の画像の記録された領域Ｃ’に設定された画像を合成対象としてトランジション効果処理を実行し、「音声」は、詳細設定ウインドウ２４５の音声の記録された領域Ｃに設定された音声を合成対象としてトランジション効果処理を実行し、「音」は、詳細設定ウインドウ２４５の音の記録された領域Ｃ’に設定された単音を合成対象としてトランジション効果処理を実行する。

図１０は、本発明の実施の形態２に係る動画及び音声を選択した場合のトランジション効果設定画面の例を示した図である。図１０（ａ）に示すように、ユーザは、トランジション効果設定画面２４１の対象選択ウインドウ２４２で「動画」を選択して、詳細設定ウインドウ２４５の動画の記録された領域Ｃが示す領域に、合成対象となる長さＸ秒分の映像信号からなる動画を設定する。

図１０（ｂ）に示すように、ユーザは、対象選択ウインドウ２４２で「音声」を選択して、詳細設定ウインドウ２４５の音の記憶された領域Ｃが示す領域に、合成対象となる長さＸ秒分の音声信号からなる音声を設定する。

動画の記録された領域Ｃが示す領域に設定される動画、及び音声の記録された領域Ｃが示す領域に設定される音声は、予め撮影された動画及び音声であり、現在、記録中の記録ファイルＡ内にある映像であってもよいし、ユーザが、映像音声記録装置２０１を使って記録した動画及び音声、外部メモリなどから入力した動画及び音声、通信ネットワークを通じてダウンロードした動画及び音声などでもよい。

図１１は、本発明の実施の形態２に係る画像及び音を選択した場合のトランジション効果設定画面の例を示した図である。図１１（ａ）に示すように、ユーザは、トランジション効果設定画面２４１の対象選択ウインドウ２４２で「画像」を選択して、詳細設定ウインドウ２４５の画像の記録された領域Ｃ’が示す領域に、合成対象となる単独画像を設定する。

図１１（ｂ）に示すように、ユーザは、対象選択ウインドウ２４２で「音」を選択して、詳細設定ウインドウ２４５の音の記録された領域Ｃ’が示す領域に、合成対象となる単音を設定する。

画像の記録された領域Ｃ’が示す領域に設定される画像及び音の記録された領域Ｃ’が示す領域に設定される音は、予め撮影された画像及び音であり、現在、記録中の記録ファイルＡ内にある画像であってもよいし、ユーザが、映像音声記録装置２０１を使って記録した画像及び音、外部メモリなどから入力した画像及び音、通信ネットワークを通じてダウンロードされた画像及び音などでもよい。

図１２は、本発明の実施の形態２に係る映像音声記録装置の動作を説明するフロー図である。図１２に示す映像音声記録装置２０１の動作を説明するフロー図において、図６に示す実施の形態１に係る映像音声記録装置１０１の動作を説明するフロー図と同じ処理ステップについては同一の符号を付して説明を省略する。

映像音声記録装置２０１の動作を説明するフロー図では、ＳＴ３１４のトランジション効果処理が異なる。

図１３は、本発明の実施の形態２に係るトランジション効果処理の動作を説明するフロー図である。図１３に示すトランジション効果処理の動作を説明するフロー図において、図７に示す実施の形態１に係るトランジション効果処理の動作を説明するフロー図と同じ処理ステップについては同一の符号を付して説明を省略する。

トランジション効果処理の動作を説明するフロー図では、図７に示す実施の形態１に係るトランジション効果処理の動作を説明するフロー図とは、ＳＴ２０１からＳＴ２０６までの合成処理の対象となる領域Ｃ又は領域Ｃ’を抽出するステップがないところと、ＳＴ２０９における記録ファイルＡの記録時間Ｓの減算処理がないところと、ＳＴ４１０のトランジション効果処理において合成対象となる映像信号及び音声信号が予め特殊効果ライブラリ２３０の領域Ｃ及び領域Ｃ’に設定されるところが異なる。

このように、本発明の実施の形態２によれば、合成処理の対象となる領域Ｃ及びＣ’をユーザ自身が指定することができるので、合成処理の対象となる領域が「一時停止」直前に限定されないので、トランジション効果のバリエーションが広がる。

尚、実施の形態２では、合成処理の対象となる領域Ｃ及びＣ’に設定するデータを映像信号及び音声信号としたが、映像音声記録装置２０１に多重化ストリームの分離部、及び映像データの及び音声データの復号化部などを備えれば、領域Ｃ及びＣ’に設定するデータを圧縮符号化された映像データ及び音声データ、又は映像と音声の多重化ストリームとしてもよい。

尚、実施の形態２では、「撮影再開」後に記録される映像データ又は音声データと他の映像データ及び音声データとを合成してトランジション効果処理を実行しているが、「撮影再開」前に記録された映像データ及び音声データに他のデータを合成して、「一時停止」後に記録した映像データ及び音声データと繋ぎ合わせるようにしてもよい。

尚、「撮影再開」前後に記録された映像データ及び音声データに他のデータを合成して、「一時停止」前後に記録した映像データ及び音声データと繋ぎ合わせるようにしてもよい。

尚、実施の形態２では、「撮影再開」後に記録される映像データ又は音声データと他の映像データ及び音声データとを合成してトランジション効果処理を実行しているが、「撮影再開」後に記録される映像データ及び音声データに他のデータを合成しないで、フェードイン、フェードアウト、又はモーションブラなどの特殊効果処理を実行して、「一時停止」前に記録した映像データ及び音声データと繋ぎ合わせるようにしてもよい。

尚、「撮影再開」前後に記録される映像データ及び音声データに他のデータを合成しないで、フェードイン、フェードアウト、又はモーションブラなどの特殊効果処理を実行して、「一時停止」前後に記録した映像データ及び音声データを繋ぎ合わせるようにしてもよい。

本発明に係る映像音声記録装置は、映像と音声の記録機能を備える携帯電話機などのように、撮影後、改めて編集を行うことがない小型の映像音声記録装置及び映像音声記録方法に有効である。

本発明の実施の形態１に係る映像音声記録装置の構成を示すブロック図 本発明の実施の形態１に係るトランジション効果部の構成を示すブロック図 本発明の実施の形態１に係るトランジション効果設定画面の例を示した図 本発明の実施の形態１に係る動画又は音声を選択したときのトランジション効果処理について説明した図 本発明の実施の形態１に係る画像又は音を選択したときのトランジション効果処理について説明した図 本発明の実施の形態１に係る映像音声記録装置の動作を説明するフロー図 本発明の実施の形態１に係るトランジション効果処理の動作を説明するフロー図 本発明の実施の形態２に係る映像音声記録装置の構成を示すブロック図 本発明の実施の形態２に係るトランジション効果部の構成を示す機能ブロック図 本発明の実施の形態２に係る動画及び音声を選択した場合のトランジション効果設定画面の例を示した図 本発明の実施の形態２に係る画像及び音を選択した場合のトランジション効果設定画面の例を示した図 本発明の実施の形態２に係る映像音声記録装置の動作を説明するフロー図 本発明の実施の形態２に係るトランジション効果処理の動作を説明するフロー図

符号の説明

１０１、２０１ 映像音声記録装置
１０２ 操作部
１０３ 映像入力デバイス
１０４ 音声入力デバイス
１０５ 符号化処理部
１０６、２０６ トランジション効果部
１０７ 表示デバイス
１０８ 音声出力デバイス
１０９ 記録処理部
１１０ 制御部
１１１ ビデオエンコーダ
１１２ オーディオエンコーダ
１１３ 多重化回路
１１４、１２７、１２９ ＲＡＭ
１１５ フォーマッタ
１１６ 記録媒体
１１７ 書き込み回路
１２１ 設定部
１２２ 抽出部
１２３ 効果処理部
１２４ 抽出処理部
１２５ 分離処理部
１２６ ビデオデコーダ
１２８ オーディオデコーダ
１３０、２３０ 特殊効果ライブラリ
１３１、２３１ トランジション効果処理部
１４１、２４１ トランジション効果設定画面
１４２、２４２ 対象選択ウインドウ
１４３ 時間設定ウインドウ
１４４ 効果選択ウインドウ
１４５、２４５ 詳細設定ウインドウ
１４６ 登録／解除ボタン

Claims (3)

1. 撮影中の映像データ及び音声データを取り込む入力デバイスと、
   前記撮影を一時停止した前後の映像データ及び音声データを繋ぎ合わせるトランジション効果を登録するトランジション効果登録手段と、
   前記撮影を一時停止した後に再開した際に、前記撮影を一時停止するまでの所定時間の間に記録した映像データ及び音声データと、前記撮影を再開してから所定時間の間に記録した映像データ及び音声データとを重ね合わせて、前記トランジション効果登録手段によって登録された前記トランジション効果に従って映像データ及び音声データを編集する編集手段と、
   前記編集手段によって編集された映像データ及び音声データを記録するとともに、前記撮影を再開した後の記録時間を前記トランジション効果の継続時間分減算して、前記撮影を再開した後の映像データ及び音声データを記録する記録手段と、
   を具備する映像音声記録装置。
2. 前記編集手段は、撮影を一時停止する直前の前記所定時間の間に記録した映像データ及び音声データと、前記撮影を再開してから所定時間の間に記録した映像データ及び音声データとを重ね合わせて、前記トランジション効果に従って前記編集を行う請求項１記載の映像音声記録装置。
3. 撮影中の映像データ及び音声データを取り込む入力ステップと、
   前記撮影を一時停止した前後の映像データ及び音声データを繋ぎ合わせるトランジション効果を登録するトランジション効果登録ステップと、
   前記撮影を一時停止した後に再開した際に、撮影を一時停止するまでの所定時間の間に記録した映像データ及び音声データと、前記撮影を再開してから前記所定時間の間に記録した映像データ及び音声データとを重ね合わせて、前記トランジション効果登録ステップによって登録された前記トランジション効果に従って映像データ及び音声データを編集する編集ステップと、
   前記編集ステップによって編集された映像データ及び音声データを記録するとともに、前記撮影を再開した後の記録時間を前記トランジション効果の継続時間分減算して、前記撮影を再開した後の映像データ及び音声データを記録する記録ステップと、
   を具備する映像音声記録方法。

Images