JP4834340B2 - 情報処理装置及びその方法とプログラム - Google Patents

Description

本発明は、複数の蓄積された情報を収集し、それらの同位関係を明示できる情報処理装置及びその方法とプログラムに関するものである。

近年のオーサリングツール等にみられるように、複数の映像情報や音声情報を扱って、それらを編集し、これらを同時に再生することが行われている。またストリーミング技術の例に見られるように、映像と音声を同期させて再生することも一般化されている。更には、映像と音声とを記録する際に、これらを同期させて再生し易いように記録することも可能である。

また雲台付きカメラをネットワークに接続して、そのカメラで撮影された例えばコンサート等の映像をネットワークを介して配信するネットワークカメラサーバも使用されている。この様なシステムにより、そのカメラを操作しながら遠隔地の映像を閲覧することができる（特許文献１）。このようなネットワークカメラシステムは、近年の犯罪の増加に伴って、建物や場所を監視するための監視システムとして需要が急増している。このような用途に使用される場合には、撮像した映像や各種センサからの検知信号等による異常検知の情報を蓄積する機能が必要とされる（特許文献２）。
特開平１０−１３６３４７号公報 特開２００２−２６２１４８号公報

ネットワークを介して遠隔操作が可能なネットワークカメラを有する監視システムでは、例えばセンサにより発火を検知した場合、所定の期間音声を録音したり、また別の動きセンサによる検知によって、カメラからの映像を録画したりすること等が考えられる。しかし、これらを利用するユーザにとってどのような情報が蓄積されており、どのように利用できるのかは必ずしも明示されているとはいえなかった。

このような目的を達成するためには、複数の情報の内どの情報が同期可能であるか明示することが重要となる。

本発明は、上記従来技術の目的を解決することにある。

また本願発明の特徴は、独立して蓄積された映像情報と音声情報を再生させる際に、蓄積映像が存在する期間のうち、蓄積音声が存在する期間と、蓄積音声が存在しない期間とを識別可能な一覧を表示することでユーザが好適な蓄積情報を選択できるようにし、課題を解決しようとするものである。

本発明の一態様に係る情報処理装置は以下のような構成を備える。即ち、
蓄積手段に蓄積される蓄積映像が存在する期間に関する属性情報と、前記蓄積手段に蓄積される蓄積音声が存在する期間に関する属性情報とを取得する取得手段と、
前記蓄積映像が存在する期間のうち、前記蓄積音声が存在する第１の期間と、前記蓄積音声が存在しない第２の期間とを識別可能にした一覧を前記蓄積映像の属性情報と前記蓄積音声の属性情報に基づいて表示させる表示制御手段と、を有することを特徴とする。

本発明によれば、蓄積された映像情報と音声情報との相関を認識可能に表示できるという効果がある。

また、互いに相関のある映像及び音声の再生を容易に行うことができるという効果がある。

以下、添付図面を参照して本発明の好適な実施の形態を詳しく説明する。尚、以下の実施の形態は特許請求の範囲に係る発明を限定するものでなく、また本実施の形態で説明されている特徴の組み合わせの全てが発明の解決手段に必須のものとは限らない。

図１は、本発明の実施の形態に係る情報処理装置の構成を説明するブロック図である。この情報処理装置は、ネットワークインターフェース（Ｉ／Ｆ）１０８を介して、インターネット等のネットワーク２００に接続されている。情報処理装置は、コンピュータによって構成される。

メモリ（ＲＡＭ）１０１は、ＣＰＵ１０２により実行される各種プログラムを格納すると共に、ＣＰＵ１０２による制御処理時に、各種データを一時的に保存するワークエリアを提供している。ＣＰＵ１０２は、ＲＡＭ１０１にロードされたプログラムに従って各種制御動作を実行する。表示部１０３は、各種データやメッセージ等を表示する。キーボード１０５やポインティングデバイス（マウスなど）１０６はユーザにより操作され、この装置に対するコマンドやデータの入力に使用される。外部記憶装置（ハードディスク）１０４には、各種プログラムやＯＳ等がインストールされており、これらプログラムの実行が指示されると、そのプログラムはＲＡＭ１０１にロードされて実行される。また、このＨＤＤ１０４には、音声や映像等が収集された収集情報群１８0〜１８nが格納されている。更に、取り外し可能な記憶装置１０７としてＦＤＤ（フロッピィディスクドライブ）が設けられており、ここには蓄積情報１７0〜１７nが格納されている。尚、以下、音声とは人の声だけでなく、発生する音を全てを含むものとする。

またＲＡＭ１０１には、情報収集プログラム１１０、一覧表示プログラム１２０、相関表示プログラム１３０、相関判定プログラム１４０、同期再生プログラム１５０が格納されている。これらプログラムに関しては詳しく後述する。

［実施の形態１］
図２は、本実施の形態１に係るシステムの全体構成を示す図である。図２において、情報処理装置１００は、図１に示す情報処理装置を示している。また図２では複数台のカメラ３００が接続されているが、実施の形態１では、ネットワーク２００に接続された１台のカメラ（ネットワークカメラ）３００からの映像を処理する形態を説明する。

各ネットワークカメラ３００は、ネットワーク２００を介して遠隔操作が可能であり、このカメラで撮影された映像はネットワーク２００を介して配信される。各ネットワークカメラ３００は、映像を撮影する撮像部３０１、撮像部３０１で撮影した映像データを保存する映像蓄積部３０２、音声を録音する録音部３０３、録音部３０３で録音した音声（音響情報）を保存する音声蓄積部３０４を備えている。尚、ここで映像蓄積部３０２は必須の構成ではなく、従来のストリーム配送などによって直接、情報処理装置１００に映像を送信して蓄積させても良い。また音声蓄積部３０４も必須の構成ではなく、従来のストリーム配送等によって直接、情報処理装置１００に音声を送信して蓄積させても良い。またネットワーク２００も必須ではなく、映像蓄積部３０２に保存された映像を可搬のメディアなどで運搬し、情報処理装置１００の可搬二次記憶装置１０７から映像を受け渡しても良い。なお、ここで映像蓄積部３０２や音声蓄積部３０４、二次記憶装置１０７に蓄積される蓄積情報１７0〜１７nには、映像データや音声データ、及びそれらの属性値である撮影（撮影）時刻や撮影（録音）時間、撮像位置などの属性情報が含まれる。尚、この属性情報には、必ずしも同期を目的とした情報を含ませる必要はなく、全くの独立した情報として蓄積しても構わない。

次に、上述した本実施の形態１に係るシステムの動作について詳細に説明する。

図３は、本実施の形態１に係る情報処理装置１００で実行される情報収集プログラム１１０による情報収集動作を説明するフローチャートである。はじめに、語句の定義を説明しておく。「対象情報」とは、一覧表示の対象となる、ユーザによって指定された期間に撮影，録音された蓄積情報を指す。また「着目情報」とは、対象情報のうちの現在着目している１つの情報を指す。

まずステップＳ３０１で、蓄積情報を読み込む。この蓄積情報は、二次記憶装置１０７或はネットワーク２００を介したネットワークカメラ３００の映像蓄積部３０２、及び音声蓄積部３０４から読み込まれる。具体的には、まず二次記憶装置１０７からの蓄積情報１７0〜１７nを読み出して取得する。または、ネットワークカメラ３００の映像蓄積部３０２や、音声蓄積部３０４から、例えばＦＴＰ転送やＨＴＴＰ配送などのネットワークプログラムによって蓄積情報が読み込まれる。または、撮像部３０１や録音部３０３からネットワーク２００を介して直接配信された映像データや音声情報をストリームデータとして収集し、読み込んでも良い。

次にステップＳ３０２で、ステップＳ３０１で読み込んだ情報を、各ネットワークカメラ３００に対応付けて、蓄積情報１８0〜１８nに分類し、ＨＤＤ１０４に保存する。これら蓄積情報１８0〜１８nの一つの構成例は、あるフォルダを蓄積情報１８0のフォルダとみなし、該当する映像ファイルや音声ファイルの集合を保存するなどして実現できる。尚、本実施の形態１では、これら蓄積情報１８0〜１８nは、収集された順に保存されるものとする。

次にステップＳ３０３で、処理対象の全ての蓄積情報が読み込まれたか確認し、読み込まれるまで前述のステップＳ３０１〜ステップＳ３０３を繰り返す。こうして全ての蓄積情報が読み込まれると、この処理を終了する。

図４は、本実施の形態に係る情報処理装置１００で実行される一覧表示プログラム１２０による一覧表示動作を説明するフローチャートである。

ステップＳ４０１で、検索対象の映像や音声情報の検索範囲が指定される。本実施の形態１では、映像情報や音声情報の属性情報として保存されている時刻情報を用いて、その検索の範囲を期間により指定する。例えば「２００４年１１月１６日２１時３０分３５秒」から「２００４年１１月１６日２１時３１分１０」秒までの期間がユーザによって指定されたことが検出されたものとする。次にステップＳ４０２で、ＨＤＤ１０４に記憶されている蓄積情報１８0〜１８nの内、ステップＳ４０１で指定された期間に該当している対象となる蓄積情報（対象情報）を取り出す。次にステップＳ４０３で、ステップＳ４０２で取り出した対象情報を時刻属性に基づいてソートする。本実施の形態１では、これら対象情報を、時刻属性である撮影（録音）開始時刻が新しいものから順にソートし、ステップＳ４０４で、それら対象情報の撮影開始時刻が新しいものから順に表示する。

本実施の形態１では、音声情報の録音開始時刻を基準としているので、同じ時刻の場合は、後述の情報属性値が「２」で特定される音声情報が優先される。また時刻属性（開始時刻）は、例えばＵＴＣ等で実現され、また国際標準時などが統一して用いられる。これにより複数の蓄積情報１８0〜１８n及び複数のネットワークカメラ３００間でも、時刻が統一的に取り扱われる。

このステップＳ４０４では相関表示プログラム１３０を起動し、対象情報のうち、着目している一つの情報（以下、着目情報）の表示属性（後述）を定め、ステップＳ４０５で表示部１０３に表示する。またステップＳ４０４で、前回の着目情報と連続性が無いと判定した場合は、非連続性であることを明示するために、例えば空行，区切り線などを明示した後に着目情報表示する。

こうして全ての対象情報が表示されるまでステップＳ４０４からステップＳ４０５の処理を繰り返し実行し、ステップＳ４０６で全ての対象情報を表示すると、この一覧表示プログラム１２０を終了する。

図５は、本実施の形態１に係る情報処理装置１００で実行される相関表示プログラム１３０による動作を説明するフローチャートである。このフローチャートでは、音声情報Ａと着目情報との関連性を判定し、表示処理が行われるものとする。

本実施の形態１では、着目情報が映像情報の場合の情報属性値を「１」、音声情報の場合の情報属性値を「２」としている。また範囲属性は、対象情報の撮影開始時刻（または音声を入力する録音開始時刻）と撮影終了時刻（または音声の入力を終了する録音終了時刻）により規定される期間である。ここでは情報属性値が「１」（映像）で特定される着目情報の範囲属性を着目範囲[1]とし、情報属性値が「２」（音声）で特定される着目情報の範囲属性を着目範囲[2]と表記する。

まずステップＳ５０１で、対象情報の内一つの着目情報について、相関表示プログラム１３０が呼び出されると、この着目情報の属性情報を新たに読み込む。この際、着目範囲及び後述の表示属性値は前回の着目情報に対する値が保持されている。ここでは、前回の着目情報が音声情報Ａに相当する。次にステップＳ５０２で、その着目情報の情報属性値が「１」、即ち、映像情報である場合はステップＳ５０３に進む。ステップＳ５０３において、新たに読み込まれた着目情報（映像情報）の範囲属性である着目範囲[1]の期間と、音声情報Ａの範囲属性として示される着目範囲[２]（録音期間）とを比較する。ここで範囲内か否かの判定は、単純に期間の包含関係の判定でも良いが、後述の相関判定プログラム１４０の処理（図８）を用いて「連続でない」と判定される場合としても良い。ここで範囲外であれば相関関係ではないのでステップＳ５０４に進み、表示属性値を「０」、即ち、「背景色なし（背景ありフラグを０）」としてステップＳ５９０に進む。

一方ステップＳ５０３で、着目範囲[1]が音声情報Ａの範囲属性として示される着目範囲[2]（録音期間）の範囲内であると判定すると、ステップＳ５０５に進む。ステップＳ５０５では、着目情報である映像情報が音声情報Ａの相関関係にあるので、表示属性値を「１」、即ち「背景あり（背景ありフラグを１）」としてステップＳ５０６に進む。ステップＳ５０６では、表示属性値（「１」）を音声情報Ａの表示属性値に加える。これにより例えば、音声情報Ａの表示属性値が「０」（黄色）であれば表示属性値は「１」となり、「２」（青色）であれば、「３」となる。なお、この演算は一般的なＯＲ演算でも実現できる。この場合、表示属性値は２進数で「０１」或は「１１」となる。これは、表示属性値が「０１」ならば「背景あり、黄」となり、表示属性値が「１１」ならば「背景あり、青」となる。また表示属性値が「０」であれば「背景色なし」となり、表示属性値が「２」であれば無効（背景色なし）となる。

一方、ステップＳ５０２で、着目情報の情報属性値が「１」、即ち映像情報でない場合はステップＳ５１０に進み、その情報属性値が「２」（音声情報）かどうかを判定する。そうでないときはステップＳ５９０に進み、前回の着目情報との連続性を保持する。

一方ステップＳ５１０で、着目情報の情報属性値が「２」、即ち、音声情報である場合はステップＳ５１１に進む。ステップＳ５１１において、音声情報Ａの範囲属性として示される着目範囲[2]（録音期間）と着目情報である映像情報の範囲属性である着目範囲[2]の期間とを比較し、図８に示す方法で連続性を判定する。

図８は、音声情報Ａと着目情報との連続性を判定する相関判定プログラム１４０に基づく図５のステップＳ５１１の情報処理装置の動作を説明するフローチャートである。

まずステップＳ８０１で、音声情報Ａの範囲属性と、着目情報の範囲属性とを読み込む。次にステップＳ８０２で、その連続性を判定する。具体的には、音声情報Ａの範囲属性の録音期間と、着目情報の着目範囲（[1] または[2]）の期間が重複あるいは連続していれば連続と判定する。ここで、音声情報Ａの録音終了時刻と着目情報の録画（録音）開始時刻が同値の場合、終了時刻と開始時刻の差が所定値以下、例えば１秒以下である場合などが、連続しているとみなされる判定基準としてもよい。

次にステップＳ８０３で、ステップＳ８０２における判定結果を保持して、相関判定プログラム１４０による処理を終了する。

再び図５に戻り、ステップＳ５１１で、連続していると判定した場合はステップＳ５１２に進み、表示属性フラグの背景色フラグを反転する。即ち「黄０」なら「青２」へ、「青２」なら「黄０」へ変更する。そしてステップＳ５１４に進む。一方ステップＳ５１１で、連続していないと判断した場合はステップＳ５１３で、表示属性フラグの背景色フラグを「０」（黄）にリセットしてステップＳ５１４に進む。ステップＳ５１４では、着目情報であった音声情報を音声情報Ａに設定する。具体的には、着目情報（音声情報）の範囲属性である録音期間である着目範囲[2]を音声情報Ａの着目範囲[2]（録音期間）として設定する。そしてステップＳ５０６と同様に、背景ありフラグを「１」とし、ステップＳ５１２，Ｓ５１３で決められた表示属性フラグとを加えた値にセットする。またステップＳ５１０で、情報属性値が「２」でない場合（情報属性値が「１」でも「２」でもない場合を含めて）は、ステップＳ５９０で、前回の着目情報との連続性について返す。この際の判定にも連続判定プログラム１４０を利用できる。

図６は、本実施の形態に係る音声情報の範囲属性６０２，６０３と、表示属性値６０４と表示属性フラグ６０５の一例を示す図である。

また図７は、本実施の形態に係る一覧表示例を示す図である。図７において、グループ７１０，７１３，７１５は背景色が黄色で表示されるエリア、グループ７１１は背景色が青色のエリア、そしてグループ７１２，７１４は背景色なしのエリアを示している。また、音声及び映像情報の右側の１２桁の数字は、yymmddhhmmss形式で、年y月m日d時h分m秒sを示している。

この例では、音声情報は開始時刻は「０４１１１６２１３０３５」で開始され、７秒間連続し、映像情報の蓄積は１０秒間行われている。ここで音声ファイルは、５秒で次にファイルに連続して切り替えられる。この場合、図７の７１０で示すように、映像情報「０４１１１６２１３０３５」〜「０４１１１６２１３０３９」の表示属性値は「１」で「背景あり、黄」となる。

次に開始時刻が「０４１１１６２１３０４０」で終了時刻が「０４１１１６２１３０４２」までの音声情報の場合は、上述の音声情報と連続であることを示すために「背景あり」とするとともに、図５のステップＳ５１２で表示属性フラグを反転させる。これにより図７のグループ７１１に示すように、映像情報「０４１１１６２１３０４０」〜「０４１１１６２１３０４２」の表示属性は「３」となり「背景あり、青」となる。この背景の反転処理は、直前の音声ファイルのグループの色と区別しやすくするためである。

図７のグループ７１２の映像情報「０４１１１６２１３０４３」は、図５のステップＳ５０３で、音声情報「０４１１１６２１３０４０」〜「０４１１１６２１３０４２」の範囲外（無音）と判定される。このためステップＳ５０４で、表示属性６０３が「０」（背景色なし）に設定される。そしてステップＳ５９０で、前の着目情報、つまり映像情報「０４１１１６２１３０４２」と、現在の着目情報、つまり映像情報「０４１１１６２１３０４３」と連続であると判定される。次の映像情報「０４１１１６２１３０４４」も同様に、ステップＳ４０５で「背景なし」の着目情報として連続して表示される。

グループ７１３に示す音声情報「０４１１１６２１３１００」は、ステップＳ５１１で連続していないと判定され、ステップＳ４０５で、空行７０１のように非連続性を示す表示が成される。

音声情報「０４１１１６２１３１００」の範囲属性が「０４１１１６２１３１００」〜「０４１１１６２１３１０４」の場合は、前述の処理と同様に、映像情報「０４１１１６２１３１０２」〜「０４１１１６２１３１０４」が範囲内と判定される。そして、その表示属性が「１」（背景あり、黄）となる（図７のグループ７１３）。次にグループ７１４で示す映像情報「０４１１１６２１３１０５」〜「０４１１１６２１３１０７」は、該当範囲[2]の範囲外であるため、これら映像情報の表示属性は「背景なし」となる。

更にグループ７１５では、音声情報「０４１１１６２１３１０８」が新たに始まるので、映像情報「０４１１１６２１３１０８」〜「０４１１１６２１３１１０」は範囲内と判定され、その表示属性は「背景あり、黄」にリセットされる。

尚、図７では、基準となる情報属性値が「２」である音声情報を行頭から表示し、情報属性値が「１」である映像情報をインデントして表示している。本発明はこれに限定されず、これらは同じ列に表示されても良いし、他の属性を持たせても構わない。また表示の属性は情報属性値ごとに決めても良い。

図９は、本実施の形態に係る情報処理装置１００で実行される同期再生プログラム１５０による同期再生動作を説明するフローチャートである。

まずステップＳ９０１で、一覧表示の対象情報から、その一部が該当選択情報１００0〜１００i（図１０）として選択されて同期再生プログラム１５０が呼び出される。本実施の形態１では、図１０に示すように、対象情報の内、映像情報「０４１１１６２１３０３８」〜「０４１１１６２１３０４４」が選択されているものとする。尚、図１０において、エリア１００１，１００４，１００５は背景色が黄色、エリア１００２は背景色が青色で表示されている。

次にステップＳ９０２で、時刻をキーとして同期表示・再生を行う。そしてステップＳ９０３で終了でなければステップＳ９０２の同期表示・再生を繰り返す。

ここでは、図１０の１００１で示す映像情報「０４１１１６２１３０３８」〜「０４１１１６２１３０３９」の音声情報と、１００２で示す映像情報「０４１１１６２１３０４０」〜「０４１１１６２１３０４２」の音声情報と、選択された映像情報「０４１１１６２１３０３８」〜「０４１１１６２１３０４４」とが使用されて同期表示・再生される。尚、音声情報が無い期間については無音再生で代用しても良い。

本実施の形態１に係る図１０でも図７と同様に、音声情報が行頭に来て映像情報を見易くするためにインデントしているが本発明はこれに限定されない。また表示の属性は、情報属性値ごとに決めてもよい。こうすることで、独立して収集された収集情報を一覧表示しながら、ここから選択して同期再生される情報について、予め映像情報及び音声情報の同期の相関が明示され、好適な情報を選択することができる。

［実施の形態２］
実施の形態２では、ネットワークカメラ３００を複数用いた場合に音声情報の録音期間（着目範囲[2]）の範囲属性に重なりが生じた場合の処理を説明する。尚この実施の形態２に係る装置及びシステムの構成は前述の実施の形態１と同様である。また相関表示プログラム１３０が第２相関表示プログラム（図１４の１３１）に、相関判定プログラム１４０が第２相関判定プログラム（図１４の１４１）にそれぞれ置き換えられることにより実現される。

図１１は、本発明の実施の形態２に係る情報処理装置１００で実行される第２相関表示プログラムの動作を説明するフローチャートである。映像情報であり、情報属性値が「１」で特定される着目範囲を着目範囲[1]、音声情報であり、情報属性値が「２」で特定される着目範囲を着目範囲[2]と表記する点は前述の実施の形態１と同様である。また着目範囲[2]のｎ番目の着目範囲を着目範囲[2,n]と表記する。更に本実施の形態２では、表示属性に表示属性フラグの「強調フラグ」が付加されている。本実施の形態２のその他の前提は、実施の形態１に係る図５の相関表示プログラム１３０と同等である。

図１１において、ステップＳ１１０１，ステップＳ１１１０，ステップＳ１１２０は、前述の図５のステップＳ５０１，ステップＳ５０２，ステップＳ５１０とそれぞれ同じである。

ステップＳ１１１０で、新たに読み込まれた着目情報が映像情報の場合はステップＳ１１１１に進む。ステップＳ１１１１において、新たに読み込まれた着目情報（映像情報）の範囲属性である着目範囲の期間と、着目範囲[2,0〜n]の期間との相関とをそれぞれ判定する。この相関の判定は、後述の第２相関判定プログラムにより判定される。ステップＳ１１１１で、全ての着目範囲[2,0〜n]（録音期間）の範囲外と判定されると、新たに読み込まれた着目情報は相関関係がないと判断し、ステップＳ１１１２に進む。ステップＳ１１１２において、新たに読み込まれた着目情報の表示属性値を「０」、即ち「背景なし」としてステップＳ１１９０に進む。例えば、着目範囲[2,0]のみが着目情報の範囲内に含まれる場合、即ち、着目情報（映像情報）の録音期間が着目範囲[2,0]のみと相関関係連続性がある場合は、ステップＳ１１１３に進む。そして、着目情報の表示属性である「背景あり」フラグを「１」とし、表示属性フラグとＯＲを取った値とする。そしてステップＳ１１９０に進む。これにより、新たに読み込まれた着目情報の表示が「背景あり、黄」、或は「背景あり、青」となる。

また、着目範囲[2,0]を含め２つ以上の着目範囲[2,0〜ｋ]の範囲内、即ち、着目情報（音声情報）の範囲属性の録音期間が２つ以上の着目範囲[2,0〜ｋ]の範囲属性と相関関係連続性がある場合はステップＳ１１１４に進む。この場合、表示属性を、「強調あり、背景あり」フラグをそれぞれ「１」とし、表示属性フラグとＯＲを取った値としてステップＳ１１９０に進む。このフラグの設定によって、新たに読み込まれた着目情報に対応する項目の表示が「背景あり、黄、強調」か、或は「背景あり、青、強調」となる。

また、着目範囲[2,0]の範囲外であって、着目範囲[2,1〜n]の内の一つだけが新たに読み込まれた着目情報の着目範囲と連続性を有する場合、相関関係ステップＳ１１１５に進む。ステップＳ１１１５では、表示属性を「強調なし、背景あり」フラグをそれぞれ「１」として、表示属性フラグの「背景色」フラグを反転してＯＲを取った値としてステップＳ１１８０に進む。このフラグの設定によって、新たに読み込まれた着目情報に対応する項目の表示が「背景あり、青」か、或は「背景あり、黄」となる。

また新たに読み込まれた着目情報の着目範囲（録音期間）が、着目範囲[2,0]の範囲外で、かつ着目範囲[2,1〜n]の２つ以上が範囲内の場合、相関関係ステップＳ１１１６に進む。ステップＳ１１１６では、表示属性を「強調あり、背景あり」フラグをそれぞれ「１」とする。そして表示属性フラグの「背景色」フラグを反転してＯＲを取った値を表示属性値として設定し、ステップＳ１１８０に進む。新たに読み込まれた着目情報に対応する項目の表示が「背景あり、青、強調」か「背景あり、黄、強調」となる。

ステップＳ１１８０では、相関判定に用いる着目範囲[2,0〜n]を更新する。この更新が行われるのは、ステップＳ１１１５，ステップＳ１１１６、それと後述のステップＳ１１２２の後である。即ち、着目範囲[2,0]の範囲属性の期間が、新たに読み込まれた着目情報の範囲属性の開始時刻より以前に終了して対象外となり不要になった場合である。
この際、着目範囲[2,0〜n]のうち、その録音終了時刻が着目情報の範囲属性の開始以前のものを破棄する。そして、その破棄した結果を順送りにシフトして「０」から新しいｎまでに順番に割り付け設定する。これは、一覧表示プログラム１２０のステップＳ４０３で蓄積情報がソートされているため、「０」が最も古く「ｎ」が最も新しい着目範囲[2,0〜n]になるようにしていることと等価である。

またステップＳ１１２０で、情報属性値が「２」（音声情報）と判断された場合はステップＳ１１２１に進み、着目情報（音声情報）の範囲属性の期間と、情報属性値が同じ「２」（音声情報）の範囲属性である着目範囲[2,0〜n]の期間との相関を判定する。この相関の判定は、後述の第２相関判定プログラムを用いて判定される。

ステップＳ１１２１で、着目範囲[2,0]の範囲外で、着目範囲[2,1〜n]のどれかの範囲内である場合、即ち、現在基準となり表示属性を決定付ける要因となっている着目範囲[2,0]が、現在表示しようとしている着目情報の範囲属性の開始よりも前に終了している場合は、既に着目範囲[2,0]は基準ではなくなっている。このためステップＳ１１２２に進み着目範囲[2,0]の音声情報に対応する「背景色」フラグを反転したものを着目情報の「背景色」フラグとする。これにより基準の切り替えの準備がなされる。そして着目範囲[2,1〜n]の内一つは、着目情報（音声情報）の範囲属性と重なる範囲属性であると判定されているため、強調フラグを「１」にセットする。そして情報属性値「２」で特定される着目範囲[2,n+１]に、着目情報（音声情報）の範囲属性を設定し、ｎをインクリメントしてステップＳ１１８０へ進み、着目範囲[2,0〜n]を更新する。

またステップＳ１１２１で着目情報の録音期間が着目範囲[2,0]の範囲内である場合、即ち、着目範囲[2,0]と重なりがあり、連続性を有する場合は、ステップＳ１１２３に進む。ステップＳ１１２３において、「背景色」フラグを反転して「強調」フラグを「１」にセットする。そして情報属性値「２」で特定される着目範囲[2,n+１]に、着目情報（音声情報）の範囲属性を設定し、ｎをインクリメントしてステップＳ１１９０へ進む。

またステップＳ１１２１で、着目範囲[2,0〜n]の範囲外であるが連続性ありと判断した場合、即ち、着目範囲[2,0〜n]のいずれかと連続関係の着目情報を表示しようとしている場合はステップＳ１１２４に進む。前回着目情報であった表示属性の「背景色」フラグを反転して「背景あり」をセットする。そして情報属性値「２」で特定される着目範囲[2,0〜n]をクリアして、新たに着目範囲[2,0]に、着目情報（音声情報）の範囲属性を設定し、ｎを「０」にクリアしてステップＳ１１９０へ進む。

またステップＳ１１２１で、着目範囲[2,0〜n]の範囲外で、連続性なしと判定した場合、即ち、着目範囲[2,0〜n]のいずれとも連続関係のない着目情報を表示しようとしている場合はステップＳ１１２５に進む。そこで「背景色」フラグを「０」にリセットし、「背景あり」フラグを０にセットする。そして情報属性値「２」で特定される着目範囲[2,0〜n]をクリアして、新たに着目範囲[2,0]に、着目情報（音声情報）の範囲属性を設定し、ｎを「０」にクリアしてステップＳ１１９０へ進む。

ステップＳ１１９０では、設定された表示属性を保持しておく。

次に、この実施の形態２に係る相関判定プログラム１４１の動作について説明する。

この第２相関判定プログラムによる処理は、前述の実施の形態１に係る相関判定プログラム１４０（図８）とほぼ同様である。相違点の一つは、ステップＳ８０１で読み込まれる範囲属性が、着目情報の範囲属性と着目範囲[2,0〜n]の組となることである。もう一つの相違点は、ステップＳ８０２の連続性の判定処理が、第２相関表示プログラム（図１１）のステップＳ１１１１やステップＳ１１２１で示したような相関判定に置き換わる点にある。これらの判定は、従来からの手法にあるように、複数の範囲を逐一チェックすることで実現される。また連続性の判定については、前述の実施の形態１のステップＳ８０２における連続性の判定と同様にして実現できる。

図１２は、本実施の形態２に係る一覧表示例を示す図である。尚、図において、ボールド文字は、強調を表している。ここでも前述の図７と同様に、グループ１２０１，１２０３，１２０６，１２０８が背景色が黄色で表示され、グループ１２０２，１２０４，１２０７が背景色が青色表示されている。そして１２桁の数字で年月日時分秒が示されている。

まず、音声情報の範囲属性である期間、即ち、開始時刻が「０４１１１６２１３０３５」，終了時刻が「０４１１１６２１３０３９」の期間では、音声情報はステップＳ１１２５で、「背景有り」にセットされ、背景色がリセットされる。そして着目範囲[2,0]に音声情報「０４１１１６２１３１００」の範囲属性（背景色が黄色）が設定され、ｎ＝０にセットされる。また映像情報は、ステップＳ１１１３で、背景あり（強調なし）にセットされる。こうして音声情報「０４１１１６２１３０３５」、映像情報「０４１１１６２１３０３５」〜「０４１１１６２１３０３７」の表示属性は「背景あり、黄、強調なし」となる（１２０１）。

また音声情報「０４１１１６２１３０３８」の範囲属性の期間が開始時刻「０４１１１６２１３０３８」で終了時刻「０４１１１６２１３０４０」に対して、音声情報「０４１１１６２１３０３５」との相関判定で、重なりが判定されるので、ステップＳ１１２３において、表示属性処理として強調フラグセットとともに背景反転が成される。また映像情報「０４１１１６２１３０３８」「０４１１１６２１３０３９」は、ステップＳ１１１４で、表示属性処理として、背景色有りで、強調フラグがセットされる。これにより音声情報「０４１１１６２１３０３８」、映像情報「０４１１１６２１３０３８」〜「０４１１１６２１３０３９」の表示属性は「背景あり、青、強調」となる（１２０２）。

また音声情報「０４１１１６２１３０４０」の範囲属性の期間が、開始時刻「０４１１１６２１３０４０」で終了時刻「０４１１１６２１３０４２」に対して、前述の音声情報「０４１１１６２１３０３５」は、この着目範囲[2,0]の範囲外となる。また音声情報「０４１１１６２１３０３８」との相関判定で着目範囲[2,1（〜1）]の範囲内で重なりが二重以上となる。よって、ステップＳ１１２２で、音声情報「０４１１１６２１３０４０」の表示属性処理として、強調フラグをセットして背景反転を行う。次にステップＳ１１８０で、着目範囲[2,0〜１]，ｎ＝１に更新する。また映像信号は、ステップＳ１１１４で、強調フラグをセットし、音声情報「０４１１１６２１３０４０」、映像情報「０４１１１６２１３０４０」の表示属性を「背景あり、黄、強調」とする（１２０３）。

また映像情報「０４１１１６２１３０４１」の範囲属性の期間が、開始時刻「０４１１１６２１３０４１」で終了時刻「０４１１１６２１３０４１」の場合、ステップＳ１１１１で、着目範囲[2,0]の範囲外で、着目範囲[2,1]の範囲内と判定される。このためステップＳ１１１５に進み、強調フラグをリセット（０）して背景反転とする。そしてステップＳ１１８０で、着目範囲[2,0〜０]，ｎ＝０に更新する。こうして映像情報「０４１１１６２１３０４１」、「０４１１１６２１３０４２」の表示属性は、「背景あり、青、強調なし」となる（１２０４）。

また映像情報「０４１１１６２１３０４３」の範囲属性である期間は、開始時刻「０４１１１６２１３０４３」で終了時刻「０４１１１６２１３０４３」で規定される。この場合はステップＳ１１１１で、着目範囲[2,0（〜0）]の範囲外なのでステップＳ１１１２に進み、表示属性を「０」にする。これにより映像情報「０４１１１６２１３０４３」「０４１１１６２１３０４４」の表示属性は「背景なし」となる（１２０５）。

次に音声情報「０４１１１６２１３１００」となり、先走ってステップＳ１１９０での判定を述べると連続していないと判定され、ステップＳ４０５で空行、改行などの非連続性を示す表示が成される（１２１０）。

次に音声情報「０４１１１６２１３１００」の範囲属性である期間が、開始時刻「０４１１１６２１３１００」と終了時刻「０４１１１６２１３１０４」である。この場合、ステップＳ１１２１で範囲外、非連続と判定されるのでステップＳ１１２５に進み、「背景あり」がセット、「背景色」がリセットされる。そして着目範囲[2,0]に音声情報「０４１１１６２１３１００」の範囲属性が設定されてｎ＝０にセットされる。そして音声情報「０４１１１６２１３１００」、映像情報「０４１１１６２１３１０２」〜「０４１１１６２１３１０３」の表示属性は、「背景あり、黄、強調なし」となる（１２０６）。

更に、音声情報「０４１１１６２１３１０４」の範囲属性である期間が、開始時刻「０４１１１６２１３１０４」で終了時刻「０４１１１６２１３１０６」である。この場合ステップＳ１１２１で、着目範囲[2,0]が範囲内と判定されるのでステップＳ１１２３に進み、「背景色」を反転する。また映像情報は、ステップＳ１１１４で「背景あり」で「強調あり」がセットされる。これにより、音声情報「０４１１１６２１３１０４」と映像情報「０４１１１６２１３１０４」の表示属性は、「背景あり、青、強調」となる（１２０７）。

更に、映像情報「０４１１１６２１３１０５」の範囲属性である期間が開始時刻「０４１１１６２１３１０５」と終了時刻「０４１１１６２１３１０６」である。この場合、ステップＳ１１１１で、着目範囲[2,0]の範囲外で、着目範囲[2,１]の範囲内と判定される。よってステップＳ１１１５に進み、「背景あり」がセットされて「背景色」が反転され「強調なし」にセットされる。そしてステップＳ１１８０で、着目範囲[2,0（〜0）]に更新する。またステップＳ１１１３で「背景あり」のみがセットされる。こうして映像情報「０４１１１６２１３１０５」〜「０４１１１６２１３１０６」の表示属性は、「背景あり、黄、強調なし」となる（１２０８）。

また次の映像情報「０４１１１６２１３１０７」は、ステップＳ１１１２で、その表示属性が「背景なし」となる（１２０９）。

このようの本実施の形態２によれば、独立して収集された複数の蓄積情報を一覧表示すると共に、各ネットワークカメラからの映像情報及び音声情報の同期の相関と多重性を明示できる。これにより同期再生される映像や音声情報を好適に選択することができる。

なお、「強調」の方法は太字表示でなくてもよい。また、重なりが２重３重となるに従って強調度合を大きくしてもよい。

［実施の形態３］
本実施の形態３では、範囲属性を空間に適用することで、映像情報と音声情報とを再生する際に、一覧表示における同位関係（同じ位置の別位置からの撮影）を明示する場合について説明する。本実施の形態３に係るシステムの構成図は、前述の実施の形態１の図１の情報収集システムにおいて、一覧表示プログラム１２０が一覧表示プログラム１２２に、相関判定プログラム１４０が相関判定プログラム１４１にそれぞれ置き換えられたものとする。尚、装置のハードウェア構成は前述の実施の形態と同じであるため、その説明を省略する。

また本実施の形態３に係る相関表示プログラムでは、着目情報が映像情報の場合の情報属性値を「１」、音声情報の場合の情報属性値を「２」としている。また、範囲属性は、例えば着目情報の画角左上と画角右下により規定する。画角はカメラのパン、チルト、ズーム可動中心を（０，０）として、（−１８０，９０）の左上から、（１８０，−９０）の右下までの角度による座標軸上の空間として示し（図１３参照）ている。

一方で、情報属性値が「２」である音声情報の範囲属性は、例えば録音期間中にカメラ撮影した画角の範囲とする。この場合、例えば雲台によるカメラと同一方向に指向性マイクを向けているような例を考えるとイメージし易い。

次に、本実施の形態３に係る一覧表示プログラムの動作について説明する。この一覧表示プログラムによる処理は、図４の一覧表示プログラム１２０の処理とほぼ同等である。異なる点は、ステップＳ４０３の範囲属性でのソートにおいて、範囲属性で示される空間の始点（左上など）を用いてソートする。更に詳細に説明すると、本実施の形態３では、例えば画角左上の（Ｐ，Ｔ）の内、パン方向のＰの値でソートする。但し、本発明はこれに限定されるものでなく、チルト方向Ｔや、画角のズーム値Ｚ、或はこれらのＰ，Ｔ，Ｚから求められる範囲属性で示される空間に関する関数の値によってソートしても良い。以降、関数ｆによる値でソートされたものと考える。

次に、本実施の形態３に係る相関判定プログラムの動作について説明する。

この相関判定プログラムの処理は、前述の実施の形態１に係る相関判定プログラム１４０（図８）の処理とほぼ同様である。相違点は、第１の実施の形態が範囲属性として、録音（撮影）期間の連続性を判定するものである一方、本実施の形態では、空間的に連続するか否かを判定するものである。

図１３は、この具体例を説明する図である。

第１範囲属性の空間１３０１（Ｐ11，Ｔ11）〜（Ｐ12，Ｔ12）と、続く第２範囲属性の空間１３０２（Ｐ21，Ｔ21）〜（Ｐ22，Ｔ22）が存在している。ここで空間（Ｐ11，Ｔ11）〜（Ｐ22，Ｔ22）と、空間（Ｐ21，Ｔ21）〜（Ｐ12，Ｔ12）が存在する（つまり重なっている）場合に、これら２つの範囲が連続しているとみなす。更に詳細に述べれば、Ｐ21＝Ｐ12の場合、或はＰ22＝Ｐ11の場合、パン方向がＴ21＝Ｔ12の場合、或はＴ22＝Ｔ11の場合に、チルト方向が範囲外の連続とみなされる。

更に，前述の実施の形態１,２と同様に、Ｐ21−Ｐ12＜Ｘ，或はＰ11−Ｐ22＜Ｘの場合のパン方向が、Ｔ21−Ｔ12＜Ｘ，或はＴ11−Ｔ22＜Ｘの場合にチルト方向が、特定のＸより小さい正の数である場合（つまり少ししか離れていない場合）に連続とみなしても良い。

また、重なった空間が特定の面積以上の場合のみ、範囲内の連続とみなすようにしても良い。つまり、特定の面積未満の場合は、範囲外の非連続とみなすこともできる（重なりが小さい場合には実感としても連続性がないため）。このような空間の重なりについては従来からある別の手法で判定しても良い。

本実施の形態３では、画角による二次元空間として扱わっているが、本発明はこれに限らず三次元での空間を扱っても良い。この際、従来からあるＧＰＳなどの全地球測位システムなどで定義される空間を扱い、撮像の範囲を三次元的空間として扱う。これにより、複数のカメラを用いている場合でも相関を判定することは可能となり、実施の形態３の相関判定をこれで置き換えても良い。この際、音声情報の範囲属性は、録音中の撮像空間全体の重心などとして扱うか、録音部３０３の全地球測位システムなどで定義される空間の位置で示しても良く、従来手法で実現可能である。

図１３及び図１８は、映像情報の範囲属性を示す空間の例を示す図である。

図１３の範囲属性は、上述したとおり画角による二次元的空間としている。一方、図１８のネットワークカメラ３００の撮像部３０１が蓄積した蓄積情報の範囲属性は、三次元の撮像空間、録音部３０３が蓄積した蓄積情報の範囲属性は、三次元の録音部３０３の位置とする。

本実施の形態３に係る着目情報の範囲属性は、実施の形態２に係る第２一覧表示プログラムの、一覧表示プログラム１２０のステップＳ４０３と同等のステップで、関数ｆによってソートされている。このため、例えば関数ｆがパンの値でソートする場合は、左から右への映像の連続性、多重性、多重度が明示される。こうすることで、独立して収集された収集情報を一覧表示しながら、ここから選択して同期再生される情報について、予め映像情報及び音声情報の位置の相関（同位置）を明示して好適な情報を選択することができる。

［実施の形態４］
前述の実施の形態１〜３では、蓄積情報に映像情報と音声情報を用いていたが、本発明はこれに限定されない。例えば接点入力、動き検知などのイベントが発生した場合、その時の時刻情報やカメラ３００の状態から、範囲属性が付加されたイベント情報なども蓄積情報１７0〜１７nに蓄積されるような場合も同様に扱うことができる。例えば情報属性値が「２」の音声情報を基準として、映像情報，イベント情報もした同期・多重性・多重度を明示しながら一覧表示することができる。

［実施の形態５］
前述の実施の形態２では、図１２に示したように同期・多重性及び多重度についての一覧に言及したが、明示手段はこれに限るわけではない。本実施の形態５では、図１１の相関表示プログラムの処理による背景色反転にあたり、さらに反転するごとにグループ化することで、より一層、同期・多重性・多重度を明示させる携帯である。

図１４は、本実施の形態５に係るシステムの構成図で、前述の実施の形態１に係る構成図（図１）と共通する部分は同じ記号で示し、それらの説明を省略する。また図１と比較すると、一覧表示プログラムが一覧表示プログラム１２２に置き換わっている。また一覧保持プログラム１６０と一覧情報１６５とが新たに追加されている。

次に本実施の形態５に係る一覧保持プログラム１６０の動作の例について説明する。

この一覧保持プログラム１６０は、前述の実施の形態１の一覧表示プログラム１２０とほぼ同等の処理を実行する。即ち、ステップＳ４０５のステップで表示する代わりに、図１２で例示されたような表示情報を一覧情報１６５として、着目情報の表示属性をメモリ１０１に保持する。ここで保持する際に、表示属性はその表示属性フラグとして保持される。ここで表示属性は、同期・多重性が示される属性と等価であることから、一覧表示における明示を行うための情報となっている。

図１５は、本実施の形態５に係る一覧表示プログラム１２２の動作を説明するフローチャートである。

まずステップＳ１５０１で、一覧情報１６５をメモリ１０１から読み込んで初期化する。この際、表示属性の「背景あり」フラグが「１」である場合、つまり背景が有る場合、「「背景色」フラグの反転ごとに情報をグループ化する。具体的に説明すると、例えば図１２の黄色背景、青色背景ごとにグループ化する。背景色のないものについてはグループ化しない。つまり背景色があるものは同期・同位関係にある蓄積情報が存在するものであるから、各グループは同期・同位再生が可能である単位で表示されている。また「強調」フラグの有無をそのまま利用することにより、別に相関関係にある蓄積情報が存在することも明示できる。

次にステップＳ１５０２で、各グループの先頭の着目情報のみを「折りたたみ」属性を付して表示する。

図１６は、この実施の形態５に係る表示例を示す図である。

図示したように、先頭に例えば、「＋」のようなアイコン１６００を付加して表示する。ここでは１６０２で示すように、１６０３で示す、音声情報「０４１１１６２１３０３５」に関連している映像情報「０４１１１６２１３０３５」〜「０４１１１６２１３０３７」が折りたたまれて、見えない状態で表示されている。

次にステップＳ１５０３においてイベントの発生を待つ。ここで、例えばポインティングデバイス１０６が操作されるなどにより、「折りたたみ」属性を示すアイコン１６００がクリックされるとステップＳ１５１０に進み、展開処理と判断する。具体的にはステップＳ１５１１で、「折りたたみ」属性の表示「＋」を、「展開」属性を示す表示「−」に変更する（１６０１）。そして１６０３で示すように、音声情報「０４１１１６２１３０３５」のグループ内の着目情報を全て表示する。

本実施の形態７のステップＳ１５０３で、「展開」属性の表示「−」１６０１がクリックされたイベントが発生するとステップＳ１５２０で、折りたたみ処理と判断する。具体的には、ステップＳ１５２１にで、「展開」属性の表示「−」を「折りたたみ」属性の表示「＋」に変更し、グループ内の先頭以外の着目情報が隠れる表示処理を行う。

実施の形態１と同様に、ステップＳ１５３０で、一覧表示された蓄積情報から、その１つが選択された場合はステップＳ１５３１に進み、同期再生プログラム１５０を呼び出す。

また図１６で、該当選択範囲１６０２で示したように、「折りたたみ」属性で表示されているグループ１６１０が選択されると、そのグループ内の該当する蓄積情報全体１６１１が選択されたことになる。この際、「黄色、強調なし」から続く「青色、強調あり」が選択される。更に、続く音声情報「０４１１１６２１３０４０」１６１２が、選択範囲の音声情報「０４１１１６２１３０３８」と開始時刻が異なることから、選択範囲１６０２は音声情報「０４１１１６２１３０３５」で同期再生可能である。尚、ステップＳ１５４０で終了イベントが発生すると、一覧表示プログラム１２２を終了する。

このようにして、独立して収集された収集情報を一覧表示させる際に、折りたたみ表示によって、同期・同位が可能な単位でグループ化し、かつ同期・同位・多重性の相関を明示して表示でき、これに基づいて所望の情報を選択できる。

［実施の形態６］
本実施の形態では、３種以上の蓄積情報の同期・同位・多重性・多重度を明示する際に好適な処理を説明する。

図１７は、本発明の実施の形態６に係る一覧表示例を説明する図である。ここでも、縦線は背景色が黄色を示し、横線は背景色が青色を示している。また強調表示は、太字（ボールド）と濃色背景を用いている。以下、数字６桁で、hhmmss形式で時分秒が示されている。

イベント情報の接点入力２１３０３５の範囲属性の期間、即ち、開始時刻が「２１３０３５」で終了時刻が「２１３０４４」までの場合、音声情報「２１３０３５」と映像情報「２１３０３５」、「２１３０３６」が１つのグループになる（１７０１）。また音声情報「２１３０３７」と映像情報「２１３０３７」〜「２１３０３９」が別のグループ（１７０２）に、そして音声情報「２１３０４０」と映像情報「２１３０４０」〜「２１３０４４」が１つのグループ（１７０３）に分けられる。

同様に、イベント情報のタイマ「２１３１００」の範囲属性である期間が開始時刻が「２１３１００」で終了時刻が「２１３１３０」までとする。またイベント情報のタイマ「２１３２００」の範囲属性である期間は、開始時刻が「２１３２００」で終了時刻が「２１３２３０」までとする。イベント情報の動き検知「２１３２０２」の範囲属性である期間が開始時刻が「２１３２０２」で終了時刻が「２１３２３１２」までの場合に、それぞれがグループ化される。

本実施の形態６に係る非連続性表示は、空行ではなく行間の太線としている。そしてイベント情報の接点入力「２１３０３５」は「背景あり、黄」で表示されている。その後に、非連続性であることを表示する太線１７０５が表示され、次に、イベント情報のタイマ「２１３１００」１７０７が「背景あり、黄」で表示されている。そして非連続性を示す表示の太線１７０６が表示され、イベント情報のタイマ「２１３２００」１７０８が「背景あり、黄」で表示されている。そして最後に、イベント情報の動き検知「２１３２０２」１７０９が「背景あり、青」で表示されている。

図１５のステップＳ１５１１と同様の処理で、接点入力「２１３０３５」のグループが、１７０１〜１７０３で示すように展開表示される。この際、これらの範囲「２１３０３５」〜「２１３０４４」は、図４のステップＳ４０１と同等のステップで扱われる範囲となる。こうして再帰的に一覧保持プログラム１６０が呼び出され、続いて同じく再帰的に一覧表示プログラム１２２の再帰的なステップＳ１５１１と同様のステップで展開表示される。より具体的には以下のように処理される。

音声情報「２１３０３５」の範囲属性である期間の開始時刻が「２１３０３５」で終了時刻が「２１３０３７」の場合、再帰的にステップＳ１１２５とステップＳ１１１３の同等ステップが実行される。これにより、（音声と映像で）範囲内の一重なので、音声情報「２１３０３５」、映像情報「２１３０３５」〜「２１３０３６」の表示属性は「背景あり、黄、強調なし」となる（１７０１）。

続いて、音声情報「２１３０３７」の範囲属性の期間の開始時刻が「２１３０３７」で終了時刻が「２１３０３９」の場合、再帰的にステップＳ１１２３とステップＳ１１１４の同等ステップが実行される。ここでは（音声と映像で）範囲内の二重以上なので、音声情報「２１３０３７」と映像情報「２１３０３７」の表示属性は「背景あり、青、強調」となる（１７１０）。
続いて、映像情報「２１３０３８」の範囲属性の期間の開始時刻が「２１３０３８」で終了時刻が「２１３０３８」である場合、再帰的にステップＳ１１１５の同等ステップを実行する。ここでは、（音声と映像で）範囲外の一重なので、映像情報「２１３０３８」〜「２１３０３９」の表示属性は「背景あり、黄、強調なし」となる（１７１１）。
次に、音声情報「２１３０４０」の範囲属性である期間の開始時刻が「２１３０４０」で終了時刻が「２１３０４２」の場合、再帰的にステップＳ１１２４とステップＳ１１１３の同等ステップを呼び出す。ここでは（音声と映像で）範囲外だが連続の一重なので、音声情報「２１３０４０」と映像情報「２１３０４０」〜「２１３０４２」の表示属性を「背景あり、青、強調なし」で表示する（１７１２）。
次に映像情報「２１３０４３」の範囲属性である期間の開始時刻が「２１３０４３」で終了時刻が「２１３０４３」の場合、再帰的呼ばれたステップＳ１１１２と同等ステップで、（音声と映像で）範囲外、同期・同位関係なしとなる。これにより、映像情報「２１３０４３」〜「２１３０４４」の表示属性は「背景なし」となる（１７１３）。

このように図１７に示したようにツリー構造での表示を採用して属性を表現しても良い。また表示自体は、ツリー構造のファイル表示などと同じく、多段のフォルダ構造と同様に扱われる。

本実施の形態６によれば、相関するグループを扱うことで３種類以上の蓄積情報の一覧表示性を高めることができる。また相関関係を有する単位でグループ化して、かつ同期・多重性・多重度を多段階に明示させることができる。

［実施の形態７］
前述の実施の形態１では、図７，図１０に示したように同期・同位が可能なグループの同期・同位について明示されることを示した。本実施の形態９では、同期・同位が明示されているグループに関して、簡単な操作で一括処理することで、ユーザ操作の利便性を図るものである。尚、この実施の形態９に係るシステムの構成は、前述の実施の形態１の情報収集システムと同様であるが、同期再生プログラム１５０が修正され、背景メタ情報が追加されて点が異なる。

図１９は、本実施の形態７に係る同期再生プログラムの動作を説明するフローチャートである。

ステップＳ１９０１で、マウスポイントなどのイベントの発生を待ち、例えばマウス１０６の右クリックなどのイベントでステップＳ１９０２に進む。ステップＳ１９０２で、コンテキストメニューを表示する。本実施の形態７では、このメニューに項目として「同期表示」を表示する。次にステップＳ１９０３で、メニュー選択などのイベントを待つ。ステップＳ１９１０で、同期表示項目が選択されるとステップＳ１９１１に進み、指示された情報、ここでは例えば図２０の映像情報「０４１１１６２１３０３８」と同色の背景を持つ情報群１９０００を選択する。

図２０は、本実施の形態９に係る一覧表示例を示す図である。

この判定は実際のビデオメモリ上の目視でグループを判別する処理と同じことを行っても良いが、一般には従来からあるように、着目情報が一覧表示プログラム１２０などで表示されるのと同時に、背景属性と着目情報の関係をメモリ１０１上に、図２１のような背景メタ情報１９１として保持し、前後の情報から同一背景色の範囲を判定させるなどすれば良い。これらのことは従来のシステムで実現できる。

図２１は、本実施の形態９に係る背景メタ情報１９１を説明する図である。

次にステップＳ１９１２で、実施の形態１の同期再生プログラム１５０と同等の処理を実行され、同期・再生を行う。そしてステップＳ１９９０で、同期再生プログラムを終了する。

また別の実施の形態として、ステップＳ１９０２で、コンテキストメニューを表示させず、そのままワンクリックでステップＳ１９１１へ進み、同様にステップＳ１９１２で同期再生の上で、ステップＳ１９９０で終了しても良い。こうすることで、独立して収集された収集情報を一覧表示させながら、ここから選択して同期再生される情報について、予め映像情報及び音声情報の同期の相関を明示でき、所望の情報が選択され易くなる。またワンクリックなどシンプルな操作でグループ化可能な情報群１９０００を選択でき、同期再生が容易に行われるようになる。

［実施の形態８］
本実施の形態８では、多重性・多重度について明示される場合にもシンプルアクションで一括処理されることで、ユーザ操作の利便性を図る例を示すものである。

本実施の形態８の同期再生プログラムの動作の例について説明する。例えば図１２と同様な図２２において、映像情報「０４１１１６２１３０３８」が選択されると、コンテキストメニューが表示される。このメニューの項目として「同期表示」が表示される。「同期表示」項目が選択されると、図２３に示すような選択されるべき情報群１９０００の候補メニュー２３０００を表示する。ここで項目が選択されると、ステップＳ１９１２と同等のステップで同期再生が行われる。

例えば実施の形態５の図１５の一覧表示プログラム１２２の処理のステップＳ１５０１の初期化の際に、各情報ごとの表示メタ情報１９２を図２４のように保持する。具体的には、ファイル名と範囲属性、表示属性などを表示順の通りに保持する。図２３の候補メニュー２３０００の表示には、グループを判別する情報が保持されている表示メタ情報１９２を用いて、重なる範囲を判定できる。

本実施の形態８で、映像情報「０４１１１６２１３０３８」が指示された場合、音声情報「０４１１１６２１３０３５」の範囲属性の期間の開始時刻が「０４１１１６２１３０３５」で終了時刻が「０４１１１６２１３０３９」が重なる範囲である。また音声情報「０４１１１６２１３０３８」の範囲属性の期間の開始時刻が「０４１１１６２１３０３８」で終了時刻が「０４１１１６２１３０４０」が重なる範囲である。ここでは多重性がある情報として、これらの音声情報が候補メニュー２３０００として表示される。このように前後に多重性・多重度がある場合、つまり表示メタ情報１９２で、前後の情報を検索する。そして重なりがある情報ごとに、ステップＳ１９１１と同様のステップで図２３に示したような候補メニュー２３０００を表示する。この際、多重性・多重度がなく、つまり選択される情報群の候補が１つである場合は、実施の形態７と同様に、図２３に示したような候補メニュー２３０００を表示せずにステップＳ１９１２に進んで同期再生してもよい。

次にステップＳ１９１２と同等のステップで同期・再生を実行した後、ステップＳ１９９０と同等のステップで、第１０同期再生プログラムを終了する。この際、ステップＳ１９０１と同等のステップへ戻り、常にイベントを待つようにしても良い。こうすることで、独立して収集された収集情報を一覧表示しながら、ここから選択して同期再生される情報について、予め映像情報及び音声情報の同期の相関を明示できる。更に多重度・多重性も明示されている場合でも、候補メニューによって好適な情報が選択され易いとともに、シンプルな操作で、グループ化可能な情報群１９０００が選択され、同期再生が容易に行われるようになる。

［実施の形態９］
前述の実施の形態８では、同期・同位可能なグループを多重度・多重性を含めて明示して同期再生が容易に行われるような例を示した。本実施の形態９は、一覧表示で選択された情報と関連する情報群をサムネイル表示させることで、ユーザ操作の利便性を図る処理が行われる。その他の構成は前述の実施の形態と同じである。

図２５は、本実施の形態９に係る同期再生プログラムの動作を説明するフローチャートである。

ステップＳ２５０１〜ステップＳ２５０３、ステップＳ２５１０〜ステップＳ２５１２は、前述の実施の形態７，８の図１９に示す同期再生プログラムのステップＳ１９０１〜ステップＳ１９０３，ステップＳ１９１０〜ステップＳ１９１２の処理と同等であるため，その説明を省略する。

ステップＳ２５２０で、サムネイル表示メニューが選択されると、ステップＳ２５２１に進み、ポイントされていた情報、ここでは例えば実施の形態８の図２２と同様に映像情報「０４１１１６２１３０３８」とする。その選択された候補の情報群１９０００が選択され、ステップＳ２５２２でサムネイル表示する。この際、実施の形態７と同様に、多重性の無い場合は、候補メニュー２３０００の表示なしに、直接サムネイル表示が行われる。また、ステップＳ２５０２で、コンテキストメニューを表示させず、そのままステップＳ２５２２と同様の処理でサムネイル表示を行っても良い。つまり、デフォルトでサムネイル表示がある状態にすることによって、ユーザの操作性（一覧性）を上げても良い。

そしてステップＳ２５２１で、多重性・多重度がある場合は、実施の形態８と同じく候補メニューを表示して、その選択された情報群１９０００のサムネイル画像を表示する。

図２６は、この実施の形態９に係るサムネイル表示の一例を示す図である。

図２６において、２６００は音声情報のアイコンを示し、その他は映像情報のアイコンを示している。また各アイコンの下に記載された数字は、そのアイコンに関連する情報の発生時刻を示している（図２４参照）。

サムネイル表示を行う際に、音声情報などはアイコンとしてサムネイル表示に含めても良い。

こうしてステップＳ２５２２でサムネイル表示されると、ステップＳ２５９０で同期再生プログラム１５３は終了する。この際ステップＳ２５０１へ戻り、常にイベントを待つようにしても良い。

こうすることで、独立して収集された収集情報を一覧表示しながら、ここから選択して同期再生される情報について、映像情報及び音声情報の同期の相関を明示できる。更に、多重度・多重性も明示されている場合でも、候補メニューによって好適な情報が選択され易いとともに、一覧性の良いグループ表示としてのサムネイル表示をユーザに提供することができる。

［その他の実施の形態］
また本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタ等）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置等）に適用しても良い。

また本発明の目的は、前述した実施形態の機能を実現するソフトウエアのプログラムコードを記録した記憶媒体をシステム或は装置に装着し、その記憶媒体からインストールされたプログラムコードを読み出して実行することによっても達成される。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現される。またそのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。

更に、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれ、本体のＣＰＵが処理の一部又は全部を実行して本実施形態の機能が実現されても良い。

またプログラムを供給するための記憶媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード等がある。更に、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）も含まれる。

またクライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムそのもの、或は圧縮され自動インストール機能を含むファイルを記憶媒体にダウンロードしても良い。また本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも本発明のクレームに含まれるものである。

本発明の実施の形態に係る情報処理装置の構成を説明するブロック図である。 本実施の形態１に係るシステムの全体構成を示す図である。 本実施の形態１に係る情報処理装置で実行される情報収集プログラムによる情報収集動作を説明するフローチャートである。 本実施の形態１に係る情報処理装置で実行される一覧表示プログラムによる一覧表示動作を説明するフローチャートである。 本実施の形態１に係る情報処理装置で実行される相関表示プログラムによる動作を説明するフローチャートである。 本実施の形態に係る音声情報の範囲属性と、表示属性値と表示属性フラグの一例を示す図である。 本実施の形態に係る一覧表示例を示す図である。 二つの範囲属性、つまり範囲属性或は該当範囲の連続性を判定する相関判定プログラムの動作を説明するフローチャートである。 本実施の形態に係る情報処理装置で実行される同期再生プログラムによる同期再生動作を説明するフローチャートである。 実施の形態１において、選択情報が選択される例を説明する図である。 本発明の実施の形態２に係る情報処理装置で実行される相関表示プログラムの動作を説明するフローチャートである。 本実施の形態２に係る一覧表示例を示す図である。 実施の形態３に係る範囲属性である空間を説明する図である。 本実施の形態５に係るシステムの構成図である。 本実施の形態５に係る一覧表示プログラムの動作を説明するフローチャートである。 実施の形態５に係る表示例を示す図である。 本発明の実施の形態６に係る一覧表示例を説明する図である。 実施の形態３の範囲属性の空間を説明する図である。 本実施の形態７に係る同期再生プログラムの動作を説明するフローチャートである。 本実施の形態７に係る一覧表示例を示す図である。 本実施の形態７に係る背景メタ情報を説明する図である。 本発明の実施の形態８に係る一覧表示から選択する例を説明する図である。 実施の形態８の選択されるべき情報群の候補メニューの表示例を示す図である。 実施の形態８に係る背景メタ情報の一例を示す図である。 本実施の形態９に係る同期再生プログラムの動作を説明するフローチャートである。 実施の形態９に係るサムネイル表示の一例を示す図である。

Claims (15)

1. 蓄積手段に蓄積される蓄積映像が存在する期間に関する属性情報と、前記蓄積手段に蓄積される蓄積音声が存在する期間に関する属性情報とを取得する取得手段と、
   前記蓄積映像が存在する期間のうち、前記蓄積音声が存在する第１の期間と、前記蓄積音声が存在しない第２の期間とを識別可能にした一覧を前記蓄積映像の属性情報と前記蓄積音声の属性情報に基づいて表示させる表示制御手段と、
   を有することを特徴とする情報処理装置。
2. 前記表示制御手段により表示された一覧から再生するために指定された蓄積映像に対応する蓄積音声が存在する場合、当該蓄積映像と蓄積音声を再生する再生手段を更に有することを特徴とする請求項１に記載の情報処理装置。
3. 前記取得手段は、イベントの検知に応じたイベント期間の情報を取得し、
   前記表示制御手段は、前記蓄積音声が存在する前記第１の期間のうち、前記イベント期間に対応する期間と前記イベント期間に対応しない期間とを識別可能にした前記一覧を表示させることを特徴とする請求項１に記載の情報処理装置。
4. 前記表示制御手段は、前記蓄積音声が存在する前記第１の期間のうち、第１の音声ファイルに音声が蓄積された期間と、第２の音声ファイルに音声が蓄積された期間とを識別可能に前記一覧を表示させることを特徴とする請求項１に記載の情報処理装置。
5. 前記表示制御手段は、第１の蓄積映像が存在する第１の映像期間と、前記第１の映像期間が終了してから所定期間以上経過後に開始する第２の映像期間であって、第２の蓄積映像が存在する前記第２の映像期間とが非連続であることを示した前記一覧を表示させることを特徴とする請求項１に記載の情報処理装置。
6. 情報処理装置が行う情報処理方法であって、
   蓄積手段に蓄積される蓄積映像が存在する期間に関する属性情報と、前記蓄積手段に蓄積される蓄積音声が存在する期間に関する属性情報とを取得する取得工程と、
   前記蓄積映像が存在する期間のうち、前記蓄積音声が存在する第１の期間と、前記蓄積音声が存在しない第２の期間とを識別可能にした一覧を前記蓄積映像の属性情報と前記蓄積音声の属性情報に基づいて表示させる表示制御工程と、
   を有することを特徴とする情報処理方法。
7. 前記表示制御工程により表示された一覧から再生するために指定された蓄積映像に対応する蓄積音声が存在する場合、当該蓄積映像と蓄積音声を再生する再生工程を更に有することを特徴とする請求項６に記載の情報処理方法。
8. 前記取得工程は、イベントの検知に応じたイベント期間の情報を取得し、
   前記表示制御手段は、前記蓄積音声が存在する前記第１の期間のうち、前記イベント期間に対応する期間と前記イベント期間に対応しない期間とを識別可能にした前記一覧を表示させることを特徴とする請求項６に記載の情報処理方法。
9. 前記蓄積映像の属性情報は、前記蓄積映像の撮影日時に関する情報を含み、前記蓄積音声の属性情報は、前記蓄積音声の録音日時に関する情報を含むことを特徴とする請求項６に記載の情報処理方法。
10. 前記属性情報は、前記蓄積映像と蓄積音声のうち少なくともいずれかが撮影或は録音された空間に関する情報を含むことを特徴とする請求項６に記載の情報処理方法。
11. 前記表示制御工程は、前記第１の期間と第２の期間の背景色を異なる背景色にした前記一覧を表示させることを特徴とする請求項６に記載の情報処理方法。
12. 前記表示制御工程により表示された前記一覧から指定された蓄積映像に対応するサムネイル画像を表示させる工程を更に有することを特徴とする請求項６に記載の情報処理方法。
13. 前記表示制御工程は、前記蓄積音声が存在する前記第１の期間のうち、第１の音声ファイルに音声が蓄積された期間と、第２の音声ファイルに音声が蓄積された期間とを識別可能に前記一覧を表示させることを特徴とする請求項６に記載の情報処理方法。
14. 前記表示制御工程は、第１の蓄積映像が存在する第１の映像期間と、前記第１の映像期間が終了してから所定期間以上経過後に開始する第２の映像期間であって、第２の蓄積映像が存在する前記第２の映像期間とが非連続であることを示した前記一覧を表示させることを特徴とする請求項６に記載の情報処理方法。
15. 請求項６乃至１４のいずれか１項に記載の情報処理方法をコンピュータに実行させるプログラム。

Images