JP6511894B2

JP6511894B2 - 動画像同期再生システム及び動画像同期再生方法

Info

Publication number: JP6511894B2
Application number: JP2015059229A
Authority: JP
Inventors: 裕介坂下
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2015-03-23
Filing date: 2015-03-23
Publication date: 2019-05-15
Anticipated expiration: 2035-03-23
Also published as: JP2016178597A

Description

本発明は動画像同期再生システム及び動画像同期再生方法に関する。

映像処理技術の進展に伴い、複数のカメラで同一の被写体を撮影し、各カメラが撮影した複数の映像を同期して再生させることが行われている。特許文献１、２には、そのような技術が開示されている。

具体的には、特許文献１にかかる画像同期システムは、２つの撮像装置が撮像した一のシーンにかかる２つの画像と対応付けられて録音された２つの音声データに基づいて、その２つの画像を同期して再生させるための画像同期情報を取得する。ここで、画像同期情報は、２つの音声データの時系列波形の類似度に基づいて算出される。画像同期システムは、その画像同期情報に基づいて、撮影された画像の再生タイミングを制御する。

特許文献２にかかる表示装置では、撮影の開始信号としてホイッスル音が発せられた後、複数のビデオカメラで１つの撮影対象を撮影する。撮影された複数の動画像は、複数のチャネルデータファイルとしてハードディスクに蓄積される。表示装置は、複数のチャネルデータファイルの音声トラック部分に記録されたホイッスル音に基づいて、同期再生の開始位置を設定する。表示装置は、この開始位置に従い、複数の動画像の同期をとって再生する。

特開２００８−１９３５６１号公報特開２００１−０３６８６７号公報

防犯等の目的において、一定の区画内（例えば店舗内）に複数のカメラを設けるような場合、各カメラが撮影する対象は区画内の異なるエリアである。そして、各カメラに設けられたマイクロフォン（以下、マイクと記載）が取得する音声は、マイクの設置場所に応じて大きく変化することがあると考えられる。

特許文献１、２に開示されているのは、上述の通り、複数のカメラで同一の被写体を撮影したとき、即ち複数のマイクが取得する音声データが全て略同じであるときを想定した技術である。このため、複数のマイクが音声データを取得した場合において、あるカメラに設けられたマイクが取得した音声データと、別のカメラに設けられたマイクが取得した音声データが大きく異なるような場合に、複数のカメラが撮影した動画像を同期して再生することができない。

本発明は、このような問題点を解決するためになされたものであり、異なるエリアが撮影された複数の動画像を撮影した場合に、その複数の動画像を同期して再生可能な動画像同期再生システム及び動画像同期再生方法を提供することを目的とする。

本発明の第１の態様における動画像同期再生システムは、第１のエリアが撮影された第１の動画像の撮影時に録音された第１の録音音声データと、前記第１のエリアと異なる第２のエリアが撮影された第２の動画像の撮影時に録音された第２の録音音声データと、を比較することにより、前記第１及び第２の動画像を同期して再生するための第１の再生タイミング情報を取得する第１の再生タイミング情報取得部と、前記第２の録音音声データと、前記第１及び第２のエリアと異なる第３のエリアが撮影された第３の動画像の撮影時に録音された第３の録音音声データと、を比較することにより、前記第２及び第３の動画像を同期して再生するための第２の再生タイミング情報を取得する第２の再生タイミング情報取得部と、前記第１及び第２の再生タイミング情報に基づいて、前記第１、第２及び第３の動画像を同期して再生する再生部と、を備える。

本発明の第２の態様における動画像同期再生システムは、第１のエリアを撮影して第１の動画像を取得する第１のカメラと、前記第１のカメラの近傍に設けられ、周囲の音声を第１の録音音声データとして録音する第１のマイクロフォンと、前記第１のエリアと異なる第２のエリアを撮影して第２の動画像を取得する第２のカメラと、前記第２のカメラの近傍に設けられ、周囲の音声を第２の録音音声データとして録音する第２のマイクロフォンと、前記第１及び第２のエリアと異なる第３のエリアを撮影して第３の動画像を取得する第３のカメラと、前記第３のカメラの近傍に設けられ、周囲の音声を第３の録音音声データとして録音する第３のマイクロフォンと、前記第１の録音音声データと前記第２の録音音声データとを比較することにより、前記第１の動画像と前記第２の動画像とを同期して再生するための第１の再生タイミング情報を取得する第１の再生タイミング情報取得部と、前記第２の録音音声データと前記第３の録音音声データとを比較することにより、前記第２の動画像と前記第３の動画像とを同期して再生するための第２の再生タイミング情報を取得する第２の再生タイミング情報取得部と、前記第１及び第２の再生タイミング情報に基づいて、前記第１、第２及び第３の動画像を同期して再生する再生部と、を備える。

本発明の第３の態様における動画像同期再生方法は、以下のステップ（ａ）〜（ｄ）を備える。
（ａ）第１のエリアが撮影された第１の動画像の撮影時に録音された第１の録音音声データと、前記第１のエリアと異なる第２のエリアが撮影された第２の動画像の撮影時に録音された第２の録音音声データと、を比較することにより、前記第１及び第２の動画像を同期して再生するための第１の再生タイミング情報を取得する第１の再生タイミング情報取得ステップ、
（ｂ）前記第２の録音音声データと、前記第１及び第２のエリアと異なる第３のエリアが撮影された第３の動画像の撮影時に録音された第３の録音音声データと、を比較することにより、前記第２及び第３の動画像を同期して再生するための第２の再生タイミング情報を取得する第２の再生タイミング情報取得ステップ、及び
（ｃ）前記第１及び第２の再生タイミング情報に基づいて、前記第１、第２及び第３の動画像を同期して再生する再生ステップ。

本発明によれば、異なるエリアが撮影された複数の動画像を撮影した場合に、その複数の動画像を同期して再生可能な動画像同期再生システム及び動画像同期再生方法を提供することができる。

実施の形態１にかかる動画像同期再生システムの一例を示したブロック図である。動画像同期再生システムの処理を示したフローチャートである。実施の形態２にかかる動画像同期再生システムの一例を示したブロック図である。カメラ及びマイクの設置状態の一例を示した模式図である。マイクが取得した第１の録音音声データの一例を示したグラフである。マイクが取得した第２の録音音声データの一例を示したグラフである。マイクが取得した第３の録音音声データの一例を示したグラフである。再生部が複数の動画像を同期してディスプレイ上に再生した状態の一例を示した図である。動画像同期再生システムの処理を示したフローチャートである。実施の形態３にかかる動画像同期再生システムの一例を示したブロック図である。カメラ及びマイクの設置状態の一例を示した模式図である。

[実施の形態１]
以下、図面を参照して本発明の実施の形態１について説明する。図１に示すように、動画像同期再生システム１は、再生タイミング情報取得部１１と、再生タイミング情報取得部１２と、再生部１３とを備える。なお、動画像同期再生システム１は、第１の動画像及びその第１の動画像に対応した第１の録音音声データと、第２の動画像及びその第２の動画像に対応した第２の録音音声データと、第３の動画像及びその第３の動画像に対応した第３の録音音声データと、を適宜取得可能である。第１の録音音声データは、第１のエリアが撮影された第１の動画像の撮影時に録音されたものであり、第２の録音音声データは、第２のエリアが撮影された第２の動画像の撮影時に録音されたものであり、第３の録音音声データは、第３のエリアが撮影された第３の動画像の撮影時に録音されたものである。ここで、第１、第２及び第３のエリアは、それぞれ異なるエリアである。動画像同期再生システム１は、１又は複数の装置で構成されている。

図２は、動画像同期再生システム１の処理を示したフローチャートである。以下、図２を示しながら、動画像同期再生システム１の処理の概要について説明する。

再生タイミング情報取得部１１は、第１の録音音声データと第２の録音音声データとを比較することで、第１の動画像と第２の動画像とを同期して再生するための第１の再生タイミング情報を取得する（ステップＳ１）。

再生タイミング情報取得部１２は、第２の録音音声データと第３の録音音声データとを比較することで、第２の動画像と第３の動画像とを同期して再生するための第２の再生タイミング情報を取得する（ステップＳ２）。なお、ステップＳ１、Ｓ２の処理は、いずれの処理が先に実行されてもよいし、両方の処理が同時になされてもよい。

再生部１３は、第１及び第２の再生タイミング情報に基づいて、第１、第２及び第３の動画像を同期して再生する（ステップＳ３）。再生部１３は、例えばディスプレイを有し、そのディスプレイに、第１、第２及び第３の動画像を全て同期して再生させる制御をする。

なお、様々な処理を行う機能ブロックとして図１に記載された各要素は、ハードウェア的には、メモリやその他のＩＣ（Integrated Circuit）等の回路で構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。例えば、コンピュータ内のＣＰＵ（Central Processing Unit）が、コンピュータ内のメモリにロードされたプログラムを読み込むことにより、図１に記載された各要素を実現する。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。以降の説明に示された各要素についても、同様のことがいえる。

このように、動画像同期再生システム１は、第１、第２及び第３の動画像を全て同期して再生するために、第１の録音音声データと第２の録音音声データとを比較することで第１の再生タイミング情報を取得し、第２の録音音声データと第３の録音音声データとを比較することで第２の再生タイミング情報を取得する。つまり、録音音声データを１対１で比較することで、全ての動画像を同期して再生するのに必要な再生タイミング情報を取得する。このため、第１の録音音声データと第３の録音音声データとが大きく異なっており、第１の録音音声データと第３の録音音声データとを比較しても動画像を同期して再生するための情報が取得できない場合であっても、動画像同期再生システム１は、第１及び第２の再生タイミング情報に基づいて、３つの動画像を同期して再生するための情報を取得することができる。そのため、動画像同期再生システム１は、異なるエリアが撮影された複数の動画像を撮影した場合でも、その複数の動画像を同期して再生することができる。

[実施の形態２]
以下、図面を参照して本発明の実施の形態２について説明する。実施の形態２では、実施の形態１で示した動画像同期再生システムの具体的な構成について、更に説明する。図３に示すように、動画像同期再生システム２は、カメラ２１、２３、２５と、マイク２２、２４、２６と、動画像同期再生装置３０とを備える。

カメラ２１、２３、２５は、それぞれ異なるエリアＡ１、Ａ２、Ａ３を撮影することで、それぞれ動画像Ｍ１、Ｍ２、Ｍ３を取得する。マイク２２、２４、２６は、それぞれ録音音声データＲ１、Ｒ２、Ｒ３を録音する。

図４には、カメラ２１、２３、２５及びマイク２２、２４、２６が、建物の同一フロア１００内に設置された状態が示されている。図４に示すように、カメラ２１は撮影を行ってカメラ２１周辺のエリアＡ１の動画像Ｍ１を取得し、カメラ２３は撮影を行ってカメラ２３周辺のエリアＡ２の動画像Ｍ２を取得し、カメラ２５は撮影を行ってカメラ２５周辺のエリアＡ３の動画像Ｍ３を取得する。

マイク２２は、カメラ２１に付属したマイクであり、カメラ２１の近傍に設けられている。同様に、マイク２４は、カメラ２３に付属したマイクであり、カメラ２３の近傍に設けられている。マイク２６は、カメラ２５に付属したマイクであり、カメラ２５の近傍に設けられている。マイク２２、２４、２６は、それぞれカメラ２１、２３、２５の撮影時に、自身の周囲の音声を録音音声データＲ１、Ｒ２、Ｒ３として取得する。録音音声データＲ１〜Ｒ３の形式は、本実施の形態ではＨ．２６４形式であるが、他の形式であってもよい。

なお、カメラ２１は、撮影時に、マイク２２が録音した録音音声データＲ１を取得し、動画像Ｍ１及び録音音声データＲ１に自身の時刻情報を付加して、動画像同期再生装置３０に出力する。同様に、カメラ２３は、撮影時に、マイク２４が録音した録音音声データＲ２を取得し、動画像Ｍ２及び録音音声データＲ２に自身の時刻情報を付加して、動画像同期再生装置３０に出力する。カメラ２５は、撮影時に、マイク２６が録音した録音音声データＲ３を取得し、動画像Ｍ３及び録音音声データＲ３に自身の時刻情報を付加して、動画像同期再生装置３０に出力する。

なお、カメラ２１の「近傍」とは、カメラ２１がある場所で聞こえる音声と同じ音声がマイク２２で録音されるようにカメラ２１とマイク２２とが近接していることをいい、例えばマイク２２がカメラ２１から数ｃｍ〜数十ｃｍ程度離れていることをいう。カメラ２３及び２５の「近傍」についても同様に定義できる。

図４では、カメラ２１及びマイク２２、カメラ２３及びマイク２４、カメラ２５及びマイク２６は、それぞれフロア１００の隅に配置されている。また、マイク２２とマイク２４との距離はＤ１、マイク２４とマイク２６との距離はＤ２、マイク２６とマイク２２との距離はＤ３として示される。このとき、距離Ｄ３＞距離Ｄ１＞距離Ｄ２であり、マイク２２で取得した録音音声データＲ１は、マイク２６で取得した録音音声データＲ３と大きく異なると想定される。なお、カメラ２１、２３、２５の互いの距離についても同様の大小関係が言え、カメラ２１とカメラ２３との距離は、カメラ２３とカメラ２５との距離よりも長いが、カメラ２５とカメラ２１との距離よりも短い。同様に、エリアＡ１とＡ２との距離は、エリアＡ２とエリアＡ３との距離よりも長いが、エリアＡ３とエリアＡ１との距離よりも短い。

図３に戻り、説明を続ける。動画像同期再生装置３０は、再生タイミング情報取得部３１と、再生タイミング情報取得部３２と、再生部３３とを備える。再生タイミング情報取得部３１は、録音音声データＲ１と録音音声データＲ２とを比較することで、動画像Ｍ１と動画像Ｍ２とを同期して再生するための再生タイミング情報Ｉ１を取得する。ここで、再生タイミング情報取得部３１は、録音音声データＲ１と録音音声データＲ２を解析し、それぞれの音声データ中で特徴となる音声のピーク波形を検出して、録音音声データＲ１と録音音声データＲ２内で類似度が高いピーク波形を特定する。

再生タイミング情報取得部３２は、録音音声データＲ２と録音音声データＲ３とを比較することで、動画像Ｍ２と動画像Ｍ３とを同期して再生するための再生タイミング情報Ｉ２を取得する。ここで、再生タイミング情報取得部３２は、録音音声データＲ２と録音音声データＲ３を解析し、それぞれの音声データ中で特徴となる音声のピーク波形を検出して、録音音声データＲ２と録音音声データＲ３内で類似度が高いピーク波形を特定する。

以下、具体例を挙げて、再生タイミング情報取得部３１、３２の処理について説明する。図５、図６、図７は、それぞれ録音音声データＲ１、Ｒ２、Ｒ３の音声波形を示したものである。なお、図５において、横軸は録音音声データＲ１に付加された時刻情報（即ち、カメラ２１の時刻情報）であり、縦軸は録音音声データＲ１の音声波形の強度である。同様に、図６において、横軸は録音音声データＲ２に付加された時刻情報（即ち、カメラ２３の時刻情報）であり、縦軸は録音音声データＲ２の音声波形の強度である。図７において、横軸は録音音声データＲ３に付加された時刻情報（即ち、カメラ２５の時刻情報）であり、縦軸は録音音声データＲ３の音声波形の強度である。

図５に示すように、録音音声データＲ１の音声波形は、時刻ｔ１において、鋭い（狭い）ピーク波形Ｐ１を有する。また、図６に示すように、録音音声データＲ２の音声波形は、時刻ｔ１’において、鋭いピーク波形Ｐ１’を有する。なお、この例では、ｔ１＞ｔ１’である。再生タイミング情報取得部３１は、図５に示したピーク波形Ｐ１及び図６に示したピーク波形Ｐ１’を検出し、ピーク波形Ｐ１とピーク波形Ｐ１’の類似度を算出して、類似度が所定値以上であれば、ピーク波形Ｐ１とピーク波形Ｐ１’とは同じ音を表していると判定する。つまり、録音音声データＲ１と録音音声データＲ２は、共通な第１の音声波形のピークを有していると検出する。

以上に示した音声データ中のピーク検出方法及び類似度の算出方法については既知であるため、詳しい説明は省略する。なお、図６において、録音音声データＲ２の音声波形は、鋭いピーク波形Ｐ１’の他に、時刻ｔ２１〜ｔ２２において、広いピーク波形Ｐ２を有する。

ピーク波形Ｐ１とピーク波形Ｐ１’とが同じ音を表している場合、録音音声データＲ１における時刻ｔ１と、録音音声データＲ２における時刻ｔ１’とは、実際には同じ時刻を示していることになる。従って、再生タイミング情報取得部３１は、動画像Ｍ１と動画像Ｍ２とを同期して再生するための再生タイミング情報Ｉ１として、ｔ１−ｔ１’の値Ｖ１を算出する。動画像Ｍ２を値Ｖ１の時間だけ動画像Ｍ１と比べて遅らせて再生させることで、動画像Ｍ１と動画像Ｍ２とを同期させて再生することができる。

また、図７は、録音音声データＲ３の音声波形を示したものである。図７に示すように、録音音声データＲ３の音声波形は、時刻ｔ２１’〜ｔ２２ ’において、広いピーク波形Ｐ２’を有する。なお、この例では、ｔ２１＞ｔ２１’、ｔ２２＞ｔ２２’である。再生タイミング情報取得部３２は、図６に示したピーク波形Ｐ２及び図７に示したピーク波形Ｐ２’を検出し、ピーク波形Ｐ２とピーク波形Ｐ２’の類似度を算出して、類似度が所定値以上であれば、ピーク波形Ｐ２とピーク波形Ｐ２’とは同じ音を表していると判定する。つまり、録音音声データＲ２と録音音声データＲ３は、共通な第２の音声波形のピークを有していると検出する。

ピーク波形Ｐ２とピーク波形Ｐ２’とが同じ音を表している場合、録音音声データＲ２における時刻ｔ２１（又はｔ２２）と、録音音声データＲ３における時刻ｔ２１’（又はｔ２２’）とは、実際には同じ時刻を示していることになる。従って、再生タイミング情報取得部３２は、動画像Ｍ２と動画像Ｍ３とを同期して再生するための再生タイミング情報Ｉ２として、ｔ２１−ｔ２１’（又はｔ２２−ｔ２２’）の値Ｖ２を算出する。動画像Ｍ３を値Ｖ２の時間だけ動画像Ｍ２と比べて遅らせて再生させることで、動画像Ｍ２と動画像Ｍ３とを同期させて再生することができる。

再生部３３は、ディスプレイを有し、再生タイミング情報取得部３１が取得した再生タイミング情報Ｉ１と、再生タイミング情報取得部３２が取得した再生タイミング情報Ｉ２とに基づいて、動画像Ｍ１、Ｍ２、Ｍ３を同期してディスプレイ上で再生する。ここでは、再生部３３は、動画像Ｍ２を値Ｖ１の時間だけ動画像Ｍ１と比べて遅らせて再生させ、動画像Ｍ３を値Ｖ２の時間だけ動画像Ｍ２と比べて遅らせて再生させる。つまり、動画像Ｍ３の再生は、動画像Ｍ１と比べて値Ｖ１＋Ｖ２の時間だけ遅れる。

図８は、再生部３３が動画像Ｍ１、Ｍ２、Ｍ３を同期してディスプレイ上に再生した状態を示したものである。図８において、時刻情報ｔｍ１は、動画像Ｍ１の撮影時にカメラ２１が付加した時刻情報であり、時刻情報ｔｍ２は、動画像Ｍ２の撮影時にカメラ２３が付加した時刻情報であり、時刻情報ｔｍ３は、動画像Ｍ３の撮影時にカメラ２５が付加した時刻情報である。図８に示すように、再生部３３は、動画像Ｍ１に比べて動画像Ｍ２を５（＝１０−５）秒だけ遅らせて再生させており、動画像Ｍ２に比べて動画像Ｍ３を２（＝５−３）秒だけ遅らせて再生させている。この５秒、２秒が、それぞれ上述の値Ｖ１、Ｖ２である。

図９は、動画像同期再生システム２の処理を示したフローチャートである。以下、図９を示しながら、動画像同期再生システム２の処理の概要について説明する。なお、上述に示した処理の詳細については適宜説明を省略する。

まず、カメラ２１、２３、２５は、それぞれ動画像Ｍ１、Ｍ２、Ｍ３を撮影で取得する。これと同時に、マイク２２、２４、２６は、それぞれ録音音声データＲ１、Ｒ２、Ｒ３を録音で取得する（ステップＳ１１）。動画像Ｍ１、Ｍ２、Ｍ３及び録音音声データＲ１、Ｒ２、Ｒ３は、時刻情報を付加されて、動画像同期再生装置３０に出力される。動画像同期再生装置３０は、動画像Ｍ１、Ｍ２、Ｍ３及び録音音声データＲ１、Ｒ２、Ｒ３を、そのメモリ内に格納する。

再生タイミング情報取得部３１は、録音音声データＲ１、Ｒ２に基づき、再生タイミング情報Ｉ１を取得する（ステップＳ１２）。また、再生タイミング情報取得部３２は、録音音声データＲ２、Ｒ３に基づき、再生タイミング情報Ｉ２を取得する（ステップＳ１３）。なお、ステップＳ１２、Ｓ１３の処理は、いずれの処理が先に実行されてもよいし、両方の処理が同時になされてもよい。

再生部３３は、再生タイミング情報Ｉ１、Ｉ２に基づき、動画像Ｍ１〜Ｍ３を同期して再生する（ステップＳ１４）。以上のようにして、動画像同期再生システム２は処理を実行する。

複数のカメラで動画像を撮影した際、カメラに内蔵された時計の時刻が複数のカメラにおいて同一でないことがある。そのような場合には、撮影された複数の動画像をビューア等で同時に再生させる際に、現実には同じ時刻で撮影されていない複数の動画像が同時に再生されてしまう。実施の形態２に係る動画像同期再生システム２は、この課題を解決するものである。この動画像同期再生システム２は、コンビニエンスストア、スーパーマーケットといった店舗内や、ショッピングモール、オフィスビルといった建物内に、例えば防犯（又は監視）カメラシステムとして設置することができる。

再生タイミング情報取得部３１は、録音音声データＲ１と録音音声データＲ２とで共通な音声波形のピーク波形Ｐ１を検出することで、再生タイミング情報Ｉ１を取得し、再生タイミング情報取得部３２は、録音音声データＲ２と録音音声データＲ３とで共通であり、ピーク波形Ｐ１と異なる音声波形のピーク波形Ｐ２を検出することで、再生タイミング情報Ｉ２を取得することができる。

マイク２２、２４、２６は離れた場所に設けられているため、再生タイミング情報を取得するために特徴となる音があっても、その音の発生場所に近いマイクと遠いマイクとでは、それぞれ特徴となる音について録音される音量が異なると考えられる。また、そのような２つのマイクでは、録音音声データの全体の音声波形も大きく異なる可能性がある。その場合、録音音声データの音声音量や、録音音声データの全体の音声波形に基づいて再生タイミング情報を取得しても、取得された再生タイミング情報は正確ではない可能性がある。しかしながら、各音声データで共通な音声波形のピークを検出すれば、そのピークは同じ音を意味していると解釈できるため、正確な再生タイミング情報を取得できる。

また、マイク２２とマイク２４との距離と、マイク２４とマイク２６との距離とは、マイク２６とマイク２２との距離よりも短くてもよい。マイク２２とマイク２４、マイク２４とマイク２６とには、それぞれ、共通な音声波形のピークが録音されやすくなるためである。

また、カメラ２１、２３、２５及びマイク２２、２４、２６は、建物の同一フロア内に設けられるのが好ましい。建物の異なるフロア内にマイク２２、２４が設けられる場合と比較して、マイク２２とマイク２４とで取得した録音音声データに、共通の音声が入りやすく（即ち、共通の音声波形のピークが入りやすく）なり、再生タイミング情報Ｉ１を取得しやすくなるからである。同様に、建物の同一フロア内にマイク２４、２６が設けられると、建物の異なるフロア内にマイク２４、２６が設けられる場合と比較して、マイク２４とマイク２６とで取得した録音音声データに、共通の音声が入りやすくなり、再生タイミング情報Ｉ２を取得しやすくなる。なお、「建物の同一フロア」の一例は、コンビニエンスストアやショッピングモールのフロアである。

[実施の形態３]
以下、図面を参照して本発明の実施の形態３について説明する。動画像同期再生システム２は、４つ以上のカメラ及びマイクを有してもよい。その一例として、図１０には、カメラ２１、２３、２５、４１、４３及びマイク２２、２４、２６、４２、４４を有する動画像同期再生システム２が開示されている。カメラ２１、２３、２５及びマイク２２、２４、２６については、実施の形態２と同じであるため、その説明を省略する。

図１１には、カメラ２１、２３、２５、４１、４３及びマイク２２、２４、２６、４２、４４が、建物の同一フロア２００内に設置された状態が示されている。図１１に示すように、カメラ４１は撮影を行ってカメラ４１周辺のエリアＡ４の動画像Ｍ４を取得し、カメラ４３は撮影を行ってカメラ４３周辺のエリアＡ５の動画像Ｍ５を取得する。

マイク４２は、カメラ４１に付属したマイクであり、カメラ４１の近傍に設けられている。同様に、マイク４４は、カメラ４３に付属したマイクであり、カメラ４３の近傍に設けられている。マイク４２、４４は、それぞれカメラ４１、４３の撮影時に、自身の周囲の音声を録音音声データＲ４、Ｒ５として取得する。

なお、カメラ４１は、撮影時に、マイク４２が録音した録音音声データＲ４を取得し、動画像Ｍ４及び録音音声データＲ４に自身の時刻情報を付加して、動画像同期再生装置３０に出力する。同様に、カメラ４３は、撮影時に、マイク４４が録音した録音音声データＲ５を取得し、動画像Ｍ５及び録音音声データＲ５に自身の時刻情報を付加して、動画像同期再生装置３０に出力する。

ここで、カメラ２１及びマイク２２、カメラ２３及びマイク２４、カメラ２５及びマイク２６、カメラ４１及びマイク４２は、それぞれフロア２００の隅に配置されている。また、カメラ４３及びマイク４４は、フロア２００の中央に配置されている。そして、マイク４４と、マイク２２、２４、２６、４２のいずれか１つのマイクとの距離は、マイク４４以外の任意の２つのマイク間の距離よりも短い。

動画像同期再生装置３０は、図３に示された構成の他、再生タイミング情報取得部３４と、再生タイミング情報取得部３５とを更に備える。再生タイミング情報取得部３１は、録音音声データＲ１と録音音声データＲ５とを比較することで、動画像Ｍ１と動画像Ｍ５とを同期して再生するための再生タイミング情報Ｉ１１を取得する。再生タイミング情報取得部３２は、録音音声データＲ２と録音音声データＲ５とを比較することで、動画像Ｍ２と動画像Ｍ５とを同期して再生するための再生タイミング情報Ｉ１２を取得する。再生タイミング情報取得部３４は、録音音声データＲ３と録音音声データＲ５とを比較することで、動画像Ｍ３と動画像Ｍ５とを同期して再生するための再生タイミング情報Ｉ１３を取得する。再生タイミング情報取得部３５は、録音音声データＲ４と録音音声データＲ５とを比較することで、動画像Ｍ４と動画像Ｍ５とを同期して再生するための再生タイミング情報Ｉ１４を取得する。これらの取得方法の詳細については、実施の形態２に記載した通りである。

再生部３３は、再生タイミング情報Ｉ１１〜Ｉ１４に基づいて、動画像Ｍ１〜Ｍ５を同期してディスプレイ上で再生する。

なお、再生タイミング情報取得部３１、３２、３４、３５は、再生タイミング情報を取得するのに、必ずしも録音音声データＲ５を用いなくてもよい。例えば、マイク２２とマイク４４との間に、音の伝搬を阻害するような壁等の障害物があり、マイク２２とマイク４２との間にはそのような障害物がない状態を想定する。このとき、マイク２２とマイク４４との間に障害物があるため、マイク２２とマイク４４には、共通な音声波形のピークが録音されにくいと考えられる。マイク２２とマイク４２との距離は、マイク２２とマイク４４との距離よりも長いものの、マイク２２とマイク４４との間に障害物はないため、マイク２２とマイク４２には、共通な音声波形のピークが録音されやすいと考えられる。また、マイク２２とマイク４２との距離が、マイク２２とマイク２４との距離や、マイク２２とマイク２６との距離よりも短い場合には、マイク４２は、マイク２４、２６と比較して、マイク２２と共通な音声波形のピークが録音されやすいと考えられる。そのため、再生タイミング情報取得部３１は、録音音声データＲ１と録音音声データＲ４とを比較することで、動画像Ｍ１と動画像Ｍ４とを同期して再生するための再生タイミング情報Ｉ１１を取得する。このようにしても、動画像同期再生装置３０は、動画像Ｍ１〜Ｍ５を同期再生することができる。

実施の形態１に示した動画像同期再生システム１においても、同様の方法で、４以上の動画像を、その動画像に対応する４以上の録音音声データに基づいて再生タイミング情報を取得することで、同期再生することができる。

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、実施の形態２において、再生タイミング情報取得部３１が検出する録音音声データＲ１と録音音声データＲ２とに共通な音声波形のピークと、再生タイミング情報取得部３２が検出する録音音声データＲ２と録音音声データＲ３とに共通な音声波形のピークとは、同じものであってもよい。

上述した動画像同期再生システム１、２の処理は、制御方法の１つとして、コンピュータに実行させることができる。例えば、実施の形態１に示した処理のフローを、制御プログラムとしてコンピュータに実行させてもよい。その他の処理フローについても同様にしてコンピュータに実行させることができる。

プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

１、２動画像同期再生システム
１１、１２再生タイミング情報取得部
１３再生部
２１、２３、２５カメラ
２２、２４、２６マイク
３０動画像同期再生装置
３１、３２、３４、３５再生タイミング情報取得部
３３再生部
４１、４３カメラ
４２、４４マイク
１００フロア

Claims

第１のエリアが撮影された第１の動画像の撮影時に録音された第１の録音音声データと、前記第１のエリアと異なる第２のエリアが撮影された第２の動画像の撮影時に録音された第２の録音音声データと、を比較することにより、前記第１及び第２の動画像を同期して再生するための第１の再生タイミング情報を取得する第１の再生タイミング情報取得部と、
前記第２の録音音声データと、前記第１及び第２のエリアと異なる第３のエリアが撮影された第３の動画像の撮影時に録音された第３の録音音声データと、を比較することにより、前記第２及び第３の動画像を同期して再生するための第２の再生タイミング情報を取得する第２の再生タイミング情報取得部と、
前記第１及び第２の再生タイミング情報に基づいて、前記第１、第２及び第３の動画像を同期して再生する再生部と、
を備え、
前記第１の再生タイミング情報取得部は、前記第１の録音音声データと第２の録音音声データとで共通な第１の音声波形のピークを検出することで、前記第１の再生タイミング情報を取得し、
前記第２の再生タイミング情報取得部は、前記第２の録音音声データと第３の録音音声データとで共通であり、前記第１の音声波形のピークと異なる第２の音声波形のピークを検出することで、前記第２の再生タイミング情報を取得する、
動画像同期再生システム。
前記第１の録音音声データは、前記第１の動画像を撮影した第１のカメラの近傍に設けられた第１のマイクロフォンで録音され、前記第２の録音音声データは、前記第２の動画像を撮影した第２のカメラの近傍に設けられた第２のマイクロフォンで録音され、前記第３の録音音声データは、前記第３の動画像を撮影した第３のカメラの近傍に設けられた第３のマイクロフォンで録音され、
前記第１のマイクロフォンと前記第２のマイクロフォンとの距離と、前記第２のマイクロフォンと前記第３のマイクロフォンとの距離とは、前記第１のマイクロフォンと前記第３のマイクロフォンとの距離よりも短い、
請求項１に記載の動画像同期再生システム。
前記第１の録音音声データは、前記第１の動画像を撮影した第１のカメラの近傍に設けられた第１のマイクロフォンで録音され、前記第２の録音音声データは、前記第２の動画像を撮影した第２のカメラの近傍に設けられた第２のマイクロフォンで録音され、前記第３の録音音声データは、前記第３の動画像を撮影した第３のカメラの近傍に設けられた第３のマイクロフォンで録音され、
前記第１、第２及び第３のカメラと、前記第１、第２及び第３のマイクロフォンとは、建物の同一フロア内に設けられる、
請求項１に記載の動画像同期再生システム。
第１のエリアを撮影して第１の動画像を取得する第１のカメラと、
前記第１のカメラの近傍に設けられ、周囲の音声を第１の録音音声データとして録音する第１のマイクロフォンと、
前記第１のエリアと異なる第２のエリアを撮影して第２の動画像を取得する第２のカメラと、
前記第２のカメラの近傍に設けられ、周囲の音声を第２の録音音声データとして録音する第２のマイクロフォンと、
前記第１及び第２のエリアと異なる第３のエリアを撮影して第３の動画像を取得する第３のカメラと、
前記第３のカメラの近傍に設けられ、周囲の音声を第３の録音音声データとして録音する第３のマイクロフォンと、
前記第１の録音音声データと前記第２の録音音声データとを比較することにより、前記第１の動画像と前記第２の動画像とを同期して再生するための第１の再生タイミング情報を取得する第１の再生タイミング情報取得部と、
前記第２の録音音声データと前記第３の録音音声データとを比較することにより、前記第２の動画像と前記第３の動画像とを同期して再生するための第２の再生タイミング情報を取得する第２の再生タイミング情報取得部と、
前記第１及び第２の再生タイミング情報に基づいて、前記第１、第２及び第３の動画像を同期して再生する再生部と、
を備え、
前記第１の再生タイミング情報取得部は、前記第１の録音音声データと第２の録音音声データとで共通な第１の音声波形のピークを検出することで、前記第１の再生タイミング情報を取得し、
前記第２の再生タイミング情報取得部は、前記第２の録音音声データと第３の録音音声データとで共通であり、前記第１の音声波形のピークと異なる第２の音声波形のピークを検出することで、前記第２の再生タイミング情報を取得する、
動画像同期再生システム。
第１のエリアが撮影された第１の動画像の撮影時に録音された第１の録音音声データと、前記第１のエリアと異なる第２のエリアが撮影された第２の動画像の撮影時に録音された第２の録音音声データと、を比較することにより、前記第１及び第２の動画像を同期して再生するための第１の再生タイミング情報を取得する第１の再生タイミング情報取得ステップと、
前記第２の録音音声データと、前記第１及び第２のエリアと異なる第３のエリアが撮影された第３の動画像の撮影時に録音された第３の録音音声データと、を比較することにより、前記第２及び第３の動画像を同期して再生するための第２の再生タイミング情報を取得する第２の再生タイミング情報取得ステップと、
前記第１及び第２の再生タイミング情報に基づいて、前記第１、第２及び第３の動画像を同期して再生する再生ステップと、
を備え、
前記第１の再生タイミング情報取得ステップでは、前記第１の録音音声データと第２の録音音声データとで共通な第１の音声波形のピークを検出することで、前記第１の再生タイミング情報を取得し、
前記第２の再生タイミング情報取得ステップでは、前記第２の録音音声データと第３の録音音声データとで共通であり、前記第１の音声波形のピークと異なる第２の音声波形のピークを検出することで、前記第２の再生タイミング情報を取得する、
動画像同期再生システムの動画像同期再生方法。