JP3977683B2 - 映像解析装置，映像解析方法，映像解析プログラムおよび映像解析プログラムの記録媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は，映像信号を読み込み，映像内容におけるシーンの切り替わり，テロップ文字の有無や音の有無などの映像中に含まれるシーン情報の解析を行う映像解析技術に関し，特にシーン情報の解析を中断・再開する場合に，精度を落とさず効率よく解析処理を行うことができるようにした映像解析装置，映像解析方法，映像解析プログラムおよび映像解析プログラムの記録媒体に関する。
【０００２】
【従来の技術】
映像中のカット，テロップ，音等のシーン情報の解析を行う映像解析技術は，従来から多数提案されている。
【０００３】
（参考文献）
［１］大辻他，「輝度情報を使った動画像ブラウジング」，電気情報通信学会技術報告，ＩＥ９０−１０３，１９９１。
［２］谷口他，「映像カット点検出方法および装置」，特許番号第２８３９１３２号。
［３］外村他，「シーン抽出処理方法」，特許番号第２９６０９３９号。
［４］中島他，「キーワード画像抽出による動画像サマリの作成」，情処全大１Ｆ−１０，１９９４後期。
【０００４】
従来の手法は，いずれも映像中のシーン内容を解析するために，隣り合うフレーム画像の比較演算処理を映像の先頭から最後まで逐次的に行う方式をとる。隣り合うフレーム画像の比較演算処理の一例として，参考文献［１］で提案されているカット検出の方法は，隣り合うフレーム画像同士の対応する画素間の輝度値の差を計算して，その絶対値の全画面に渡る和が予め定められた閾値より大きいときカットとして検出するものである。
【０００５】
【発明が解決しようとする課題】
一般に，映像のシーン情報を解析し，解析結果を利用して映像アーカイブを構築する場合，シーン情報の解析の後には，解析によって得られるシーン情報に対し，オペレータがシーンに映っている情報やシーンの検索に用いるためのキーワードとなる情報を付与するなどの作業を行うことが多い。さらに，このようなオペレータによる情報の付与を行う作業の後には，オペレータにより付与された情報をもとに，映像の内容を確認したり，映像の検索を行ったりといった映像の利用が想定される。
【０００６】
このようなシチュエーションにおいては，映像の内容に応じて，映像解析，情報の付与の作業を，他の映像に対する作業よりも優先的に行う必要が生じる場合がある。例えば，ニュース映像のような即時性を有し，映像解析処理から映像検索用のキーワード情報を付与するまでの時間が極力短い方が望ましい映像の場合には，他の映像より優先的に作業を行いたいという要望がある。また，同じニュース映像同士でもその話題性により，作業に対する優先順位が設定される場合もある。
【０００７】
以上のような作業要求に応えるためには，ある映像の解析処理を行っている最中に，別の映像解析処理を優先的に行う必要が生じた場合，ある映像に対する解析処理を中断し，優先度の高い処理を行った後に，中断した処理を再開できる必要がある。
【０００８】
しかし，従来技術では，映像解析処理をある時点で中断した場合，解析処理を中断した時点で，保持していたフレーム画像の特徴量や比較演算結果を再開時に取得できず，本来検出すべき，カット，テロップ，音楽等のイベント（ここでイベントとは，検出対象となるカット区間やテロップ区間などの映像区間を指す）が検出できなかったり，イベントの開始位置，終了位置に本来検出されるべき点からずれが発生したりし，正しい解析結果が得られないという問題があった。したがって，正しい解析結果を得るためには，解析処理を最初からやり直す必要があり，作業時間の無駄が発生するという問題があった。
【０００９】
本発明は，上記問題を解決するためになされたものであり，映像中のカット，テロップ，音楽等のシーン情報の解析を行う映像解析において，処理の中断・再開により発生するイベントの検出漏れやイベントの開始位置，終了位置のずれの発生を抑えることにより，映像解析処理の中断・再開を行っても正しい解析結果を得られるようにすることを目的とする。本発明を用いることにより，解析処理を中断した場合でも，解析処理を最初からやり直すのではなく，中断した点から処理を再開することで，正しい解析結果が得られるようにし，作業時間の無駄を削減することが主たる目的である。
【００１０】
【課題を解決するための手段】
本発明は，上記課題を解決するため，映像解析処理を中断した時点で，映像解析処理の進行状況に関する情報を記憶し，映像の解析処理を再開した時に，この映像解析処理の進行状況に関する情報を取得し，取得した進行状況に関する情報から映像解析を適用すべき解析区間を算出し，算出した解析区間のみに映像解析処理を適用し，中断する以前に得られていた解析結果と再開後に得られる解析結果とを統合することにより，映像全体の解析結果を得ることを特徴とする。
【００１１】
具体的には，本発明は，映像データを入力し，記憶する映像入力手段と，前記映像入力手段で入力された映像データについての映像解析処理が新規に開始する処理であるか，以前に解析の途中で中断した処理であるかの進行状況に関する情報を取得する処理状況取得手段と，前記映像入力手段で入力された映像データに対して，映像解析処理の対象となる第１の時間区間を指定する映像解析区間入力手段と，前記処理状況取得手段で取得した映像解析処理の進行状況に関する情報と，前記映像解析区間入力手段から入力された映像解析処理の対象となる第１の時間区間の情報とをもとに，以前に映像解析処理が途中で中断されている場合に，前記第１の時間区間において既に解析が終了している部分と，予め設定された解析区間の重複領域の大きさだけ解析区間が重なるように，その後に実際に映像解析処理を行う第２の時間区間を算出する映像解析区間算出手段と，前記映像入力手段により入力された映像データに対してのシーン情報の解析処理を，新規の映像解析処理の場合には前記第１の時間区間について，映像解析処理の中断後に再開された映像解析処理の場合には前記第２の時間区間について行い，イベントごとの開始時間と終了時間を求める映像解析処理手段と，前記映像解析処理手段の解析処理の進行状況に関する情報を記憶する処理状況記憶手段と，映像解析処理が途中で中断されたことにより複数の解析結果が存在する場合に，前記映像解析処理手段により得られる解析結果に基づきイベントごとの第１の時間区間における終了時間と第２の時間区間における開始時間との前後関係に着目して，前記第１の時間区間における解析結果と前記第２の時間区間における解析結果とを統合し一つの解析結果とする解析結果統合手段と，前記解析結果統合手段により得られた解析結果を出力する解析結果出力手段とを備える。
【００１２】
従来技術では，映像解析処理を中断した点の前後において，イベントの検出漏れやイベント区間のずれが発生する場合があったが，本発明により，解析処理の中断前に得られている解析結果と，解析処理を再開した後に得られる解析結果が重複した領域を持つようにでき，この重複した解析結果の情報を用いることにより，処理を中断した点の前後のイベント情報を獲得することができ，解析処理の中断・再開を行わずに映像の先頭から末尾までとおして解析処理を実施した場合と同様の解析結果を得ることが可能となる。
【００１３】
ただし，解析処理の中断前に得られている解析結果と，解析処理を再開した後に得られる解析結果とが重複した領域を持つようにするためには，前記映像解析区間算出手段において，算出する第２の時間区間を，実際に映像解析処理が終了していない区間より長めに設定する必要がある。第２の時間区間は，解析処理を適用する区間であるため，中断前に解析を行った区間と中断後に解析を行う区間（第２の時間区間）を合わせた区間は，映像全体を表す区間より長くなり，映像全体の解析処理時間が増加するという問題がある。
【００１４】
この解析処理時間の増加を最低限に抑えるため，第２の本発明では，前記進行状況取得手段が，映像解析処理が途中で中断されている映像データに対しての映像解析処理を再開する際に，中断時点で得られている映像解析処理の中間情報を取得する映像解析処理中間情報取得手段を持ち，前記映像解析区間情報算出手段が，前記映像解析処理中間情報取得手段より取得した中間情報の内容に応じて映像解析処理の開始時間を設定する開始時間設定手段を持ち，前記映像解析処理手段が，映像解析処理が中断された場合に，中断時点で得られている映像解析処理の中間情報を出力する中間情報出力手段を持つ。
【００１５】
以上の手段を用いることにより，解析結果を統合するために必要となる重複する領域を常時設けるのではなく，中断時点で，イベントとして確定するのに十分な情報が得られていない場合のみに，重複領域を設けることができるため，解析結果を統合するために必要となる重複する領域を最小限に抑制することができ，解析処理時間の増加も抑制できる。このため，解析処理の中断・再開を行わずに，解析処理を実施した場合と同様の解析結果を，解析処理の中断・再開を行わずに解析処理を実施した場合と同程度の処理時間で完了することが可能となる。
【００１６】
【発明の実施の形態】
以下，本発明を適用した映像解析装置の例について，図面を参照しながら説明する。図１は，本発明による映像解析装置１の構成例である。映像解析装置１は，映像入力部１０１，映像解析区間入力部１０２，処理状況取得部１０３，映像解析区間算出部１０４，映像解析処理部１０５，処理状況記憶部１０６，解析結果統合部１０７および解析結果出力部１０８により構成される。
【００１７】
映像入力部１０１は，外部より入力される映像データをメモリなどに記憶する入力手段であり，ビデオキャプチャーボード等により実現できる。入力される映像データとしては，ビデオテープなどのアナログデータや，ＣＤ−ＲＯＭやＤＶＤなどの記録媒体に記録されたディジタルデータがある。また，映像入力部１０１は，入力された映像データのデータ名や時間長といった属性情報を処理状況取得部１０３へ通知する。
【００１８】
映像解析区間入力部１０２は，外部より入力される解析処理を適用する区間情報（開始点，終了点）を記憶する入力手段であり，入力された区間情報を，映像解析区間算出部１０４へと通知する。
【００１９】
処理状況取得部１０３は，映像入力部１０１より入力された映像データに対する映像解析処理の一部が既に終了しているかどうかを判断し，既に映像解析の一部が終了していると判断した場合には，その解析結果から解析処理が既に終了している区間を特定し，解析処理が終了していない区間を未解析区間であるとし，映像解析区間算出部１０４へ通知する処理手段であり，ＣＰＵ等の処理装置で実現可能である。また，映像解析処理の一部が終了しているかどうかの判断は，解析結果に映像データの時間長やデータ名等の属性情報を出力するようにし，映像入力部１０１より通知された映像データの属性情報と同じ属性を持つ解析結果が記憶装置内の処理状況記憶部１０６に存在するかどうかにより判断できる。
【００２０】
映像解析区間算出部１０４は，映像解析区間入力部１０２より入力された区間情報と，処理状況取得部１０３より通知された未解析区間から実際に解析処理を適用する区間情報を算出する処理手段であり，ＣＰＵ等で実現可能である。なお，この解析処理を適用する区間は，既に解析が終了している区間と重なりを持つように設定され，この解析区間の重なりを利用することで，解析処理の中断・再開を行っても，正しい解析結果を得ることが可能である。
【００２１】
映像解析処理部１０５は，映像解析区間算出部１０４より通知された解析区間のフレーム画像を，映像入力部１０１より入力された映像データより１枚ずつ抽出し，映像解析を実行し，解析処理の進行状況に関する情報を処理状況記憶部１０６に記憶し，解析結果を解析結果統合部１０７へ渡す処理手段であり，ＣＰＵ等の処理装置で実現できる。
【００２２】
この映像解析処理部１０５における映像解析方法としては，従来の技術で引用した参考文献で用いられているように，映像を構成するフレーム画像の差異を比較する方法（参考文献［１］）や，フレーム画像列に付随する音声信号の変化を比較する方法（参考文献［３］），またその両方を合わせて用いる方法を利用することができる。また，解析結果は，特定の特徴のあるシーンが登場した区間を時間情報（開始時間，終了時間）等により表したもの，あるいは，解析により特徴を検出したシーンのフレーム画像を保存し，その画像ファイルを一覧表示したものなどである。
【００２３】
また，映像解析処理部１０５は，外部より入力される処理中断信号や，映像入力部１０１に新規映像が入力されたときに通知される処理中断信号を検出し，中断信号を検出した時点で終了している解析処理の結果，および解析が中断された位置情報を，処理状況記憶部１０６に記憶し，解析結果統合部１０７へ通知する。
【００２４】
解析結果統合部１０７は，映像解析処理部１０５より解析結果を受け取り，ユーザが閲覧できるような解析結果を整形する手段で，ＣＰＵ等の処理装置およびメモリ等の記憶装置により実現できる。この際，解析対象である映像データの部分的な解析結果が他に存在する場合，それらを一つの解析結果としてまとめる処理を行う。解析結果を統合する方法としては，解析結果に記載されたイベント情報を解析結果同士の重なりを用いて結合し，イベントの開始時間が早い順に並びかえるなどの処理を行う。なお，イベントの結合方法については後述する。
【００２５】
解析結果出力部１０８は，解析結果統合部１０７により得られた解析結果を記憶装置より読み出し，コンピュータディスプレイ等の表示装置に出力する出力手段である。
【００２６】
図２は，本発明の実施例である映像解析装置１の動作を表すフローチャートである。ビデオテープの挿入や，明示的なユーザによる処理開始命令等により，解析処理を開始する。以下，映像解析装置１の動作フローをステップ毎に説明する。
【００２７】
まず，映像データ読み込みステップＳ２０１では，映像入力部１０１が，解析対象である映像データを記憶領域へ展開し，データへのアクセスを可能にする。解析対象である映像データは，ユーザにより選択され，解析処理を適用する解析開始点と解析終了点も指定可能であるとする。入力される映像データは，ビデオテープやＣＤ−ＲＯＭ等に記憶された映像データである。
【００２８】
次に，処理開始点判断ステップＳ２０２では，処理状況取得部１０３が，解析対象である映像データの解析処理の一部が終了しているかどうかの判断を行う。判断方法としては，映像データの解析結果に時間長や映像データ名等の映像データが持つ属性情報の一部を解析時に出力し，入力された映像データの属性情報と同じ属性情報を持つ解析結果の照会を行う方法などを用いる。
【００２９】
中断情報読み込みステップＳ２０３は，処理開始点判断ステップＳ２０２により，入力された映像データと同一のデータに対する解析結果が存在すると判断された場合にのみ実行する。該当する解析結果を読み出し，解析結果中に含まれる解析済み区間を参照し，解析処理が終了していない区間を特定する。さらに，解析済みの区間の終了点でカットやテロップ等のイベント区間が終了しているかどうかを特定する。なお，解析結果中に含まれる情報は，解析が終了していない区間そのものであってもよい。
【００３０】
次の開始点シフトステップＳ２０４も，処理開始点判断ステップＳ２０２により，入力された映像データと同一のデータに対する解析結果が存在すると判断された場合にのみ実行する。この開始点シフトステップＳ２０４では，中断情報読み込みステップＳ２０３において，特定された解析が終了していない区間であるかどうか，解析済みの区間の終了点でのイベント区間も終了しているかどうかにより，これから解析処理を開始する開始点を映像の時間的に早い方へシフトし，解析区間を定める。
【００３１】
解析済み区間の終了点でイベントが終了していた場合には，開始点を，定まったフレーム数だけシフトするようにし，解析済み区間の終了点でイベントが終了していなかった場合には開始点はシフトしない。映像解析処理を中断した状態により開始点をシフトさせたり，させなかったりすることで，解析処理の増加量を最低限に抑えている。
【００３２】
次に，フレーム画像読み込みステップＳ２０５では，映像データ読み込みステップＳ２０１または開始点シフトステップＳ２０４により設定した解析区間のフレーム画像を，開始点から順々に読み出し，メモリ等の記憶領域へ展開する。
【００３３】
次の，特徴量算出ステップＳ２０６では，映像解析処理部１０５は，読み出したフレーム画像自体の特徴量，またはフレーム画像間の差分より求められる特徴量を算出する。
【００３４】
イベント判断ステップＳ２０７では，算出された特徴量が定められた閾値より大きいかどうかを判断し，閾値を越えた場合には，イベントが開始された可能性があるという開始信号Ａを出力する。また，算出された特徴量が定められた値より小さい場合には，イベントが終了した可能性があるという終了信号Ｂを出力する。開始信号Ａと終了信号Ｂとは一つの信号として，０または１で出力してもよいし，全く別の信号であってもよい。また，ある区間の開始信号・終了信号の累積値が一定値を越えた場合，イベントが開始・終了したことを出力する。開始信号・終了信号の累積値をイベントの開始・終了の判断に用いるのは，イベントの検出漏れや誤検出を低減するためであるが，イベントの開始・終了の判断に累積値を用いないことも考えられる。
【００３５】
イベント格納ステップＳ２０８では，イベント判断ステップＳ２０７の判断結果を記憶領域へ記憶する。終了判断ステップＳ２０９では，次に読み出すべきフレーム画像があるかないかを判断し，読み出すべきフレーム画像がない場合には，終了済み解析結果判断ステップＳ２１１へ，読み出すべきフレーム画像がある場合には，中断信号判断ステップＳ２１０へ移行する。
【００３６】
中断信号判断ステップＳ２１０では，処理を中断するかどうかの判断を行う。ここでは，外部より入力される処理の中断命令（処理中断トリガー）を検知し，処理の中断命令があった場合には，終了済み解析結果判断ステップＳ２１１へ移行し，処理の中断命令がなかった場合には，フレーム画像読み込みステップＳ２０５へ移行する。
【００３７】
終了済み解析結果判断ステップＳ２１１では，処理を行った解析結果が存在するかどうかを判断する。解析結果の有無は，処理開始点判断ステップＳ２０２において既に行っているため，その結果から判断することもできる。
【００３８】
解析結果統合ステップＳ２１２では，処理を行った解析結果が存在する場合に，解析結果統合部１０７が，今回，映像解析処理部１０５が実施した解析処理の結果と，以前に行った解析処理の結果の統合を行う。なお，解析結果の統合方法については，後述する。
【００３９】
最後に，解析結果出力ステップＳ２１３では，解析結果出力部１０８が，解析結果をプリンタやコンピュータディスプレイ等に出力する。
【００４０】
次に，上記開始点シフトステップＳ２０４における開始点シフト処理の詳細をフローを用いて説明する。図３は，開始点シフト処理の概要を示すフローチャートである。解析対象である映像データについての解析処理の一部が終了していた場合には，以下のステップで解析開始点および終了点が設定される。
【００４１】
まず，中断イベント検索ステップＳ３０１では，解析区間と同じ時間で終了しているイベントを中断されたイベントであるとみなすなどの方法により，解析結果から中断されたと思われるイベントを特定する。
【００４２】
次に，マージンサイズ算出ステップＳ３０２では，中断されたイベントが特定された場合と，中断されたイベントがないとされた場合とにより，それぞれ予め設定しておいた解析区間の重複領域の大きさ（マージンサイズ）を決定する。メモリなどにそれぞれのイベントに対するマージンサイズ（後述する例では，シフトサイズともいう）を記憶しておき，適合するマージンサイズを読み出す方法によりマージンサイズを決定することができる。また，カット，テロップ，音楽といったイベントの検出を同時に行う場合には，一旦，イベント毎に暫定的なマージンサイズを決定し，その中で最大のものを実際のマージンサイズと定める。
【００４３】
次に，解析開始点・終了点設定ステップＳ３０３では，マージンサイズ算出ステップＳ３０２により算出されたマージンサイズ分を，解析処理が終了した点より時間的に早い方へシフトさせることにより解析開始点を設定し，時間的に遅い方へシフトさせることにより解析終了点を設定する。
【００４４】
図４に従って，さらに詳しい開始点シフト処理（ステップＳ２０４）を説明する。ここでは，カット，テロップ，音楽などＮ種類のイベントタイプの検出を行うものとする。また，解析結果は，解析済みの区間情報と検出したイベントタイプ情報と，イベントの開始時間と終了時間の情報とを持つとする。なお，検出されたイベントは開始点の早い順番にシーケンシャルな番号を持つ。
【００４５】
まず，ステップＳ４０１では，解析処理の再開時に，中断時に得られていた解析結果を読み込み，ステップＳ４０２では，読み込んだ解析結果よりイベントタイプ毎にイベントの開始時間が最も遅いイベントを最終イベント１〜Ｎとして抽出する。
【００４６】
次に，ステップＳ４０３では，抽出した最終イベントの終了時間Ｅｉ（イベントタイプｉの最終イベントの終了時間）を中断時の解析結果に記載された中断時間Ｄの値と比較する。そして，終了時間Ｅｉ＝Ｄであった場合，ステップＳ４０４によって，予め定められたイベント中断時用のシフトサイズＡｉを読み出し，シフトサイズＳｉに設定（Ｓｉ＝Ａｉ）する。Ａｉはイベント検出アルゴリズムより定まる定数値である。
【００４７】
また，ステップＳ４０３の判定において，終了時間ＥｉがＤと異なる値である場合，ステップＳ４０５によって，上記ステップＳ４０４と同様に，予め定められたイベント非中断時用のシフトサイズＢｉを読み出し，シフトサイズＳｉに設定（Ｓｉ＝Ｂｉ）する。Ｂｉはイベント検出アルゴリズムより定まる定数値である。
【００４８】
ステップＳ４０４またはＳ４０５の後，ステップＳ４０６では，１〜Ｎのイベントタイプについて，上記ステップＳ４０３〜ステップＳ４０５の処理が行われるように，イベントタイプｉの値をインクリメントする。ステップＳ４０７では，イベントタイプｉがイベント種類数Ｎを越えたかどうかを判断する。ｉがＮを越えていない場合には，ステップＳ４０３へ戻り，同様に処理を繰り返す。
【００４９】
ｉがＮを越えた場合には，ステップＳ４０８へ進み，上記ステップＳ４０４およびＳ４０５において設定されたＮ個のシフトサイズＳｉのうち，最大のものを実際のシフトサイズＳとして定める。
【００５０】
最後に，ステップＳ４０９では，解析処理の中断時間ＤよりシフトサイズＳだけ解析処理の再開点を時間的に早い方向へシフトし，解析再開点Ｒを定める。
【００５１】
なお，ここで参照したシフトサイズＡｉ，Ｂｉの値は映像解析処理のアルゴリズムより求められる値であり，Ａｉはイベントが開始したとみなすのに必要となる映像時間で，Ｂｉはフレーム比較を行うフレーム同士の時間間隔である。一般にイベント開始の判断は，一定フレーム数Ｍの解析を行った後に行われ，このＭを映像のフレームレートで割った値がイベントを開始したとみなすのに必要となる映像時間である。
【００５２】
図５に，シフトサイズを記憶したシフトサイズテーブルの例を示す。シフトサイズテーブルにおける各列は，イベントが中断した場合（イベントの終了時間が中断時間と一致していた場合）のシフトサイズ（Ａ），イベントが中断していなかった場合のシフトサイズ（Ｂ），イベントとしてみなすのに最低必要となる時間長（Ｃ）であり，各行は，イベントタイプ番号である。シフトサイズＡｉ，Ｂｉの値は開始点シフトステップＳ２０４を実施する場合に参照され，Ｃｉの値は解析結果統合部１０７により解析結果統合ステップＳ２１２を実施する場合に参照される。このシフトサイズテーブルは予め人手で作成しておく。
【００５３】
次に図６のフローチャートを用いて，解析結果統合処理について説明する。映像解析処理部１０５による解析が実施された時に得られた部分解析結果をＡ，以前に得られていた解析結果をＢ，統合後に得られる解析結果をＣとする。解析結果Ａはメモリに記憶されているとする。
【００５４】
まず，解析結果読み込みステップＳ６０１では，解析結果Ｂを読み込み，メモリ上に展開する。次に，中断イベント検索ステップＳ６０２では，解析結果Ｂの解析区間の終了点と同じ点で終了しているイベントがあるかどうかを検索する。ここで，解析結果Ｂにおいて，解析区間と終了点を同じにしているイベントは，“解析処理の中断により中断されたイベント”，“解析処理の中断点で，偶然終了したイベント”，“本来イベントではないかもしれないが，暫定的にイベントとして出力した情報”のどれかであり，解析結果Ａよりいずれに該当するかを判定する必要がある。
【００５５】
なお，“本来イベントではないかもしれないが，暫定的にイベントとして出力した情報”とは，図２のイベント判断ステップＳ２０７で説明したイベントの開始判断に，一定の区間を要するイベントにおいて，イベントの開始とみなすには十分な信号値を得られていない状態で解析が中断された場合に，解析結果へ出力したイベントの区間情報である。
【００５６】
次に，中断点判断ステップＳ６０３では，中断イベント検索ステップＳ６０２において，中断点と同じ点で終了しているイベントの終了点を含むイベントが解析結果Ａにあるかどうかを判断し，中断点と同じ点で終了しているイベントの終了点を含むイベントが解析結果Ａにあった場合には，次のイベント結合ステップＳ６０４へ移行し，なかった場合には，イベント削除判断ステップＳ６０５へ移行する。
【００５７】
このイベント結合ステップＳ６０４は，中断点判断ステップＳ６０３において，解析結果Ａ中に解析結果Ａの終了点と同じ点で終了しているイベントがあり，その終了点を含むイベントが解析結果Ｂ中に存在する場合に実行される。この場合，該当するイベントを，“解析処理の中断により中断されたイベント”とみなし，解析結果Ａ中の終了点と同じ点で終了しているイベントは，本来解析結果Ａの終了点と同じ点で終了しているイベントの終了点を含む解析結果Ｂ中のイベントの終了点で終了すべきであったとし，２つのイベントの結合を行う。
【００５８】
また，イベント削除判断ステップＳ６０５は，“解析処理の中断点で，偶然終了したイベント”，“本来イベントではないかもしれないが，暫定的にイベントとして出力した情報”のどちらかを判断するステップである。イベントには，必要最低限の時間長（イベント最低長）が設定されており，このイベントとしてみなす最低長を満たしていた場合には，“解析処理の中断点で，偶然終了したイベント”として，イベント出力ステップＳ６０７に移行する。イベント最低長を満たしていなかった場合には，イベント削除ステップＳ６０６により，“本来イベントではないかもしれないが，暫定的にイベントとして出力した情報”として，該当するイベントを削除する。
【００５９】
最後に，イベント出力ステップＳ６０７により，イベント結合，イベント削除が行われた最終的なイベント情報を出力する。
【００６０】
図７に，図２の解析結果統合ステップＳ２１２についてのさらに詳細な処理フローを示す。解析処理が一旦中断された後に，解析処理を再開した場合，解析結果統合ステップＳ２１２が実施されるまでに，２つの解析結果が得られている。一つは，解析処理を再開する以前に得られていた解析結果Ａで，もう一つが，解析処理を再開した後に得られた解析結果Ｂである。この２つの解析結果を統合し，一つの解析結果Ｃとして統合するのが解析結果統合ステップＳ２１２である。複数のイベントタイプを同時に解析する場合にも，本ステップはイベントタイプ毎に独立して行うことができるため，一つのイベントタイプのみの解析結果の統合について説明する。
【００６１】
まず，ステップＳ７０１では，解析処理を再開する以前に得られていた解析結果Ａを読み込み，ステップＳ７０２では，読み込んだ解析結果から中断時間Ｄと検出されたイベントのうち開始時間がもっとも遅いイベントを最終イベントとして抽出する。次に，ステップＳ７０３では，抽出した最終イベント以外のイベントを解析結果Ｃとして出力する。
【００６２】
次に，ステップＳ７０４では，解析処理を再開した後に得られた解析結果Ｂを読み込む。そして，ステップＳ７０５では，解析結果Ａの最終イベントの終了時間ＡＥが中断時間Ｄと等しいかどうかの判断を行う。解析結果Ａの最終イベントの終了時間ＡＥが中断時間Ｄと等しいと判断された場合には，ステップＳ７０６へ進み，解析結果Ｂに中断時間Ｄを含むイベントがあるかどうかを判断する。ここで“中断時間Ｄを含むイベントがある”とは，イベントの開始時間が中断時間Ｄより早く，かつ，イベントの終了時間が中断時間Ｄより遅いイベントが解析結果Ｂ中にあるということである。
【００６３】
“中断時間Ｄを含むイベントがある”と判断された場合，ステップＳ７０７へ移行する。ステップＳ７０７は，解析結果Ａ中の最終イベントと解析結果Ｂ中の中断点を含むイベントを一つのイベントとして結合するステップである。このステップＳ７０７では，解析結果Ａの最終イベントの開始時間ＡＳと解析結果Ｂの中断時間Ｄを含むイベントの終了時間ＢＥをそれぞれ開始時間，終了時間とするイベントを解析結果Ｃへ出力する。この際，解析結果Ｃに以前に出力したイベントの情報に追加するようにイベントを出力する。
【００６４】
続くステップＳ７０８では，解析結果Ｂの中断時間Ｄを含むイベント以降のイベントを全て解析結果Ｃへ出力する。この際も，解析結果Ｃに以前に出力したイベントの情報に追加するようにイベントを出力する。また，“中断時間Ｄを含むイベント以降のイベント”とは，中断時間Ｄを含むイベントの開始時間より，遅い開始時間を持つイベントである。
【００６５】
上記ステップＳ７０６で，“中断時間Ｄを含むイベントがない”と判断された場合，ステップＳ７０９へ移行し，ステップＳ７０９では，解析結果Ａの最終イベントの区間（ここでいう区間とは，開始時間と終了時間の差）が予め定義したイベントとみなすのに必要となる最低時間（イベント最低長）を満たしているかどうかの判断を行う。ここで参照するイベントとみなすのに必要となる最低時間は，図５の時間長Ｃに該当し，イベントタイプ毎に異なる値を持つ。イベントとみなすのに必要となる最低時間は，解析処理のアルゴリズムにより定まる値であり，イベントの開始を確定した後に，イベントの終了位置を探すアルゴリズムの場合には，イベントの開始とみなすのに必要となる最低フレーム数とイベントの終了とみなすのに必要となる最低フレーム数の和をフレームレートで割った値である。
【００６６】
ステップＳ７０９で判断した結果，イベント最低長より解析結果Ａの最終イベントが長い場合，ステップＳ７１０へ移行し，短い場合，ステップＳ７１１へ移行する。
【００６７】
ステップＳ７１０は，上記ステップＳ７０５で，解析結果Ａの最終イベントの終了時間ＡＥが中断時間Ｄとは異なっていると判断した場合，またはステップＳ７０９で，解析結果Ａの最終イベントの区間がイベントとみなすのに必要となる最低時間（イベント最低長（Ｃ））より長いと判断された場合に実行される。ステップＳ７１０では，解析結果Ａの最終イベントを，中断点で終了したイベントであるとして解析結果Ｃへ出力する。この際，解析結果Ｃに以前に出力したイベントの情報に追加するようにイベントを出力する。
【００６８】
続くステップＳ７１１では，解析結果Ｂの全てのイベントを解析結果Ｃに出力する。
【００６９】
次に，映像解析処理におけるイベントの開始および終了について説明する。図８は，本発明が対象としている映像解析処理の一例で，イベントの開始および終了の判定を表すものである。横軸が映像のフレーム番号で，縦軸にフレーム画像より算出された特徴量が閾値を越えたかどうかを表す開始終了信号と，その２区間累積値および３区間累積値を示している。なお，２区間累積値とは，開始終了信号の値を２フレーム分加算した値であり，３区間累積値は，３フレーム分加算した値である。
【００７０】
開始終了信号値は，フレーム画像より算出される特徴量に応じて１フレーム毎に出力され，ある閾値を越えた場合に１を，そうでない場合に０を出力する。また，３区間累積値は，イベントが開始したかどうかを判断するパラメータで，累積値が２になった場合に，２になった１フレーム前からイベントが開始したとみなす。
【００７１】
また，イベントの終了に関しては，開始終了信号値の２区間累積値が０であった場合に２区間累積値が０となったフレームで，イベントが終了したとみなしている。したがって，図８に示す例では，フレーム番号が，３，７，２５，３６の点がイベント開始点で，フレーム番号が，６，２０，３１，４１の点がそれぞれのイベント終了点となり，４つのイベントが存在したことになる。なお，ここではイベントの開始点・終了点を，フレーム番号により表しているが，フレーム番号を時間換算した値を用いてもよい。
【００７２】
次に，図９に従って，図８と同様の判断結果を用いて，映像解析処理の中断・再開処理について説明する。まず図９（ａ）は，解析処理を中断せずに行った場合の解析結果の一例で，解析処理を行った区間が１フレーム目から５０フレーム目であることを情報として持つ。さらに，各イベントの開始フレーム番号および終了フレーム番号を情報として持つ。３，７，２５，３６はそれぞれイベントが開始したフレーム番号で，６，２０，３１，４１がイベントが終了したフレーム番号である。
【００７３】
次に，任意の点で中断した場合に考えられる三つのパターンについて，例を挙げて説明する。なお，解析結果に含む情報は，図９（ａ）と同様に，解析区間，イベントの開始フレーム番号，終了フレーム番号である。
【００７４】
一つ目は，開始終了信号の３区間累積値が２以上の値を取るときで，この場合にはイベントの開始は既に確定しているが，中断により終了点が定まっていない。その例として１０フレーム目（Ｔ＝１０）で処理を中断した例を図９（ｂ）に示した。１０フレーム目までの解析により３〜６のイベント区間が確定しており，さらに，７からイベントが開始していることも確定している。また，中断点の１０フレーム目までそのイベントが継続していることも分かっているので，解析結果として，３〜６，７〜１０の２つのイベント区間を出力している。
【００７５】
二つ目は，開始終了信号の３区間累積値が０である点で中断した場合で，図９（ｃ）にその例として２４フレーム目（Ｔ＝２４）で中断した場合を示している。２４フレームが終了した時点では，開始終了信号の３区間累積値が０であり，この点でのイベントの開始の可能性はないと考えられる。よって解析結果としては，３〜６，７〜２０の２つのイベント区間のみを出力する。
【００７６】
三つ目は，開始終了信号の値が０ではないが２以上でもない点で中断が起る場合で，今後のフレーム画像の解析結果次第では，イベントの開始点であると判断すべきところで中断が起った場合である。その例として図９（ｄ）にフレーム番号２５（Ｔ＝２５）で中断が起った場合を示している。この場合には，これまでの解析により３〜６，７〜２０のイベント区間が確定されている。
【００７７】
また，２５フレームの点で開始終了信号の３区間累積値が１という値を取っており，次の２６フレームと２７フレームの解析により，いずれかで開始終了信号が１を出力すれば，２５フレーム目はイベントの開始点であるとすべき点である。一方，２６フレームと２７フレームの解析によりいずれも開始終了信号が０であれば，２５フレームは，開始点ではないということになる。
【００７８】
このように中断点までの解析結果では，開始点かどうかを判断できない場合には，暫定の情報としてこの区間を出力する。したがって，図９（ｄ）では３〜６，７〜２０，２５〜２５の３つのイベント区間の情報を出力している。なお，この２５〜２５の区間は，統合処理によりイベントであったかどうかが判断され，イベントでなかった場合には，削除される。
【００７９】
次に，中断した解析処理を再開した場合に，解析処理を再開する点について説明する。解析処理を再開する点については，前述のようにイベントが中断した点で，イベント自体も中断されている場合とそうでない場合とで，開始点をシフトさせる量を変えている。
【００８０】
まず，中断した点で，イベント自体も中断されているのは，図９（ｂ）と図９（ｄ）であり，解析区間の終了点と最終イベント区間の終了点が一致していることから判断できる。これらの場合，次のいずれかに該当すると考えられる。
▲１▼ 中断点でイベントが終了した。
▲２▼ 中断点以後もイベントが継続していた。
▲３▼ 中断点でイベントが開始した可能性があり仮情報として出力されたが，中断点はイベントの開始点ではなかった。
【００８１】
これらを判断するために，この場合には開始点を３フレーム分シフトさせる。これは３フレーム分シフトさせることにより，中断点の次のフレームより算出される３区間累積値が，処理を中断せずに継続して行った場合と同じ値を持つためである。図９（ｂ）では，１１−３＝８より，８フレーム目から処理を開始する。これにより，０〜７のフレーム情報を持たなくても，８フレームからイベントが開始し，２０フレーム目でイベントが終了したという結果が得られる。このイベントに関して，当然前述の解析結果統合処理により７〜１０と８〜２０のイベントが結合され７〜２０のイベントとされる。
【００８２】
図９（ｄ）は，イベントの開始かどうかの判断ができずに暫定の情報として最終イベントを出力したものであるが，解析処理再開時にそのような都合を知る必要はない。この場合も３フレーム再開点をシフトさせることにより（２６−３＝２３），２５のイベント開始点と３１のイベント終了点が自然と検出される。
【００８３】
また，図９（ｃ）では，マージンを設けずに中断点の次のフレーム（フレーム番号２５）から処理を開始する。これは，中断点と同じ終了点を持つイベントが出力されておらず，これまでの２４フレーム目までは，イベントの開始の可能性がないと分かっているからである。
【００８４】
次に，図１０を用いて，複数のイベント検出処理を同時に行う場合のマージンの設定方法を説明する。複数のイベントの検出処理を同時に行う場合には，一旦，各イベントの必要マージンを決定し，決定された必要マージンの中から最大のものを実際のマージンに設定する。図１０では，開始判定に必要な区間が３フレームで，終了判定に必要な区間が２フレームであるイベントタイプＡと，開始判定に必要な区間が５フレームで，終了判定に必要な区間が１フレームであるイベントタイプＢの同時検出を行っている。各イベントに対して設定すべきマージンは，図９の例と同様な方法で決定される。
【００８５】
図１０（ａ）では，解析区間の終了点が２５であり，イベントタイプＡ，イベントタイプＢともに，終了点２５であるイベントが存在する。このため，それぞれ３，５のマージンが必要となり，実際のマージンは，ｍａｘ（３，５）＝５フレーム，解析再開点は，２６−ｍａｘ（３，５）＝２１から，２１フレームと決まる。
【００８６】
図１０（ｂ）では，解析区間の終了点が２５であり，イベントタイプＡのみが終了点が２５であるイベントが存在する。したがって，必要マージンは，イベントタイプＡの必要マージンである３フレームと決まる。図１０（ｃ）では，解析区間の終了点が２５であり，イベントタイプＡ，Ｂともに２５で終わっていない。したがって，この場合には０フレームをマージンとする。
【００８７】
図１１は，総フレーム数が５０の映像データを一旦中断し，処理を再開した後に得られた解析結果と統合処理を行った例を示している。イベントタイプＡの必要マージンは，５フレーム，イベントタイプＢの必要マージンは３フレーム，イベントタイプＣの必要マージンは，８フレームであるとする。
【００８８】
映像解析処理を２回に分けて行ったため，映像データに対する解析結果として，一旦，二つの解析結果を持つ。一つが０から２５フレームまでの部分解析結果Ａ８０１で，もう一つが２１から５０フレームまでの部分解析結果Ｂ８０２である。
【００８９】
部分解析結果Ａ８０１中の解析区間の終了点２５と同フレームでイベントタイプＡ，イベントタイプＢのイベントが終了しているため，Ａ，Ｂ２つのイベントの必要マージンの内，大きい方の５をマージンサイズとしたことにより，部分解析結果Ｂ８０２は，２１フレーム（２６−５＝２１）より解析処理を開始している。
【００９０】
解析結果の統合処理は，イベントタイプ毎に独立して行う。まずイベントタイプＡは，部分解析結果Ａ８０１において中断点２５と等しいフレームで終了しており，解析処理の中断によりイベントも中断されてしまった可能性がある。そこで，解析結果の最初のイベントタイプＡを参照する。イベントタイプＡのイベントは，３１〜３８までの区間を持ち，中断点２５を区間に含んでいない。これは，イベントタイプＡは，中断点で偶然終了したか，イベントとして成立していないが，イベントの開始点となる可能性があるとして暫定的に出力したイベントであると分かる。
【００９１】
部分解析結果Ａ８０１のイベントタイプＡのイベントの最終区間を参照すると２４〜２５で，２フレームの区間である。イベントタイプＡは開始するのに最低でも５フレーム必要であるはずであるから，これは，イベントの開始点となる可能性があるとして暫定的に出力したイベントであると判断でき，このイベントは削除される。
【００９２】
次にイベントタイプＢのイベントの統合処理について説明する。イベントタイプＢもイベントタイプＡと同様に，部分解析結果Ａ８０１において，中断点２５と同じフレームで終了している。一方，部分解析結果Ｂ８０２には，２３から３５というイベントタイプＢの区間があり，この区間は，中断点２５を含んでいる。そこで，イベントタイプＢは，解析処理の中断によりイベントも中断されていたと判断でき，２つの区間を結合し，１８〜３５の区間を定める。
【００９３】
イベントタイプＣについては，部分解析結果Ａ８０１において，中断点２５でイベントが終了していない。よって，イベントの結合は行われない。このようにして，統合後の解析結果として，解析結果Ｃ８０３を得ることができる。
【００９４】
次に，イベントの終了点を時間的に遅い方へとシフトさせる処理について説明する。これは，映像解析処理の対象となる第１の時間区間として，映像の途中の区間が指定され，この区間の解析が既に終了しており，残りの区間の解析処理を行う場合に必要な処理である。イベントの終了点を時間的に遅い方へとシフトさせる処理（終了点シフト処理）は，ある程度映像の内容を把握しているユーザが，映像の一部分に対する解析結果を得るために，映像の先頭からではなく，途中から映像解析処理を行い，その後に，映像全体の解析結果が必要となった場合に生じ，図１の映像解析区間算出部１０４で行う。
【００９５】
このような場面では，映像の先頭以外の位置Ａから位置Ｂまでの解析を既に終了していた場合に，映像の先頭から位置Ａまでを解析しただけでは，先頭から位置Ｂまでの正しい解析結果を得ることができないという問題がある。したがって，位置Ａまでの解析処理を行う場合に，解析を終了する位置を時間的に遅い方へとシフトさせ，前述した開始点シフト処理と同様に，二つの解析結果が互いに重なり合うマージンを設定することで，正しい解析結果を得られるようにする。
【００９６】
次に，図１２を用いて，このマージンの設定方法について具体的に説明する。図１２に示した帯は映像データを表しており，横軸は時間軸である。また，ある時間を表すポイントに対して時間が早い方からＡ，Ｂ，Ｃ，Ｄ，Ｅの記号を振ってある。ここでＢからＥの区間が既に解析が終了しているとして，これからＡからＢまでの解析を行おうとしている。
【００９７】
本発明が対象とする解析処理である一定の信号強度が一定区間に一定数以上の値を示したとき，シーン情報のイベント有りと判断するシーン情報のイベント検出処理では，一般に解析を開始した点からある一定のフレーム分だけ，正しい解析が得られない可能性がある部分が存在する。例えば，１フレーム毎に出力される開始信号Ａが５フレーム連続で開始点であるかもしれないという信号を出力したときに，イベントが開始したとみなす場合，４フレーム目までが解析が得られない可能性がある部分で，図１２では，ＢからＣの区間が，イベント開始が正しく判定できない区間（ＳＳ）にあたる。
【００９８】
また，イベントが開始したとみなしている状態で，１フレーム毎に出力される終了信号Ｂが３フレーム連続した場合にイベントが終了したとみなす場合には，さらに正しい解析結果が得られない部分は延長される。
【００９９】
図１２では，ＣからＤの区間が終了したとみなすことができない部分で，結局，Ｂ−Ｄの区間（ＳＥ）は，正しい解析結果が得られていない可能性がある。そこで，ＡからＢの解析を行う場合には，この解析結果が正しく得られていない部分を含むように解析終了点をＢからＤへとシフトさせる。これにより，ＢからＤの区間は二つの解析結果が得られ，この部分のイベント情報を用いて解析結果を統合することで，正しい解析結果を得ることができる。
【０１００】
以上の処理は，コンピュータとソフトウェアプログラムとによって実現することができ，そのプログラムは，コンピュータが読み取り可能な可搬媒体メモリ，半導体メモリ，ハードディスク等の適当な記録媒体に格納して，そこから読み出すことによりコンピュータに実行させることができる。
【０１０１】
【発明の効果】
以上説明したように，本発明を用いることにより，映像解析処理を中断した時点で，映像解析処理の進行状況に関する情報を記憶し，映像の解析処理を再開したときに，この映像解析処理の進行状況に関する情報を取得し，取得した進行状況に関する情報から映像解析を適用すべき解析区間を算出し，算出した解析区間のみに映像解析処理を適用し，中断する以前に得られていた解析結果と再開後に得られる解析結果を統合することにより，解析処理の中断前に得られている解析結果と，解析処理を再開した後に得られる解析結果が重複した領域を持つようにできる。この重複した解析結果の情報を用いることにより，処理を中断した点の前後のイベント情報を獲得することができ，解析処理の中断・再開を行わずに映像の先頭から末尾まで通して，解析処理を実施した場合と同様の解析結果を得ることが可能となる。
【０１０２】
また，本発明を用いることにより，解析処理が中断された時点で得られている映像解析処理の中間情報を出力し，中断した処理を再開したときに，この中間情報に応じて解析区間が重複する領域を設定することで，解析結果を統合するために必要となる重複する領域を最小限に抑制することができ，解析処理時間の増加も抑制できるため，解析処理の中断・再開を行わずに，解析処理を実施した場合と同様の解析結果を解析処理の中断・再開を行わずに解析処理を実施した場合と同程度の処理時間で完了することが可能となる。
【図面の簡単な説明】
【図１】映像解析装置の構成例を示す図である。
【図２】映像解析装置の動作を表すフローチャートである。
【図３】開始点シフト処理のフローチャートである。
【図４】開始点シフトステップの詳細フローチャートである。
【図５】シフトサイズを記憶したシフトサイズテーブルの例を示す図である。
【図６】解析結果統合処理のフローチャートである。
【図７】解析結果統合ステップの詳細フローチャートである。
【図８】解析結果処理のイベント開始点・終了点の判定の具体例を示す図である。
【図９】解析処理の中断・再開処理の具体例を示す図である。
【図１０】複数のイベント検出を行う場合の中断・再開処理の具体例を示す図である。
【図１１】解析結果統合処理の具体例を示す図である。
【図１２】終了点シフト処理の説明図である。
【符号の説明】
１ 映像解析装置
１０１ 映像入力部
１０２ 映像解析区間入力部
１０３ 処理状況取得部
１０４ 映像解析区間算出部
１０５ 映像解析処理部
１０６ 処理状況記憶部
１０７ 解析結果統合部
１０８ 解析結果出力部

Claims (8)

1. 入力される映像信号を解析し，解析した結果を出力する映像解析装置であって，
   映像データを入力し，記憶する映像入力手段と，
   前記映像入力手段で入力された映像データについての映像解析処理が新規に開始する処理であるか，以前に解析の途中で中断した処理であるかの進行状況に関する情報を取得する処理状況取得手段と，
   前記映像入力手段で入力された映像データに対して，映像解析処理の対象となる第１の時間区間を指定する映像解析区間入力手段と，
   前記処理状況取得手段で取得した映像解析処理の進行状況に関する情報と，前記映像解析区間入力手段から入力された映像解析処理の対象となる第１の時間区間の情報とをもとに，以前に映像解析処理が途中で中断されている場合に，前記第１の時間区間において既に解析が終了している部分と，予め設定された解析区間の重複領域の大きさだけ解析区間が重なるように，その後に実際に映像解析処理を行う第２の時間区間を算出する映像解析区間算出手段と，
   前記映像入力手段により入力された映像データに対してのシーン情報の解析処理を，新規の映像解析処理の場合には前記第１の時間区間について，映像解析処理の中断後に再開された映像解析処理の場合には前記第２の時間区間について行い，イベントごとの開始時間と終了時間を求める映像解析処理手段と，
   前記映像解析処理手段の解析処理の進行状況に関する情報を記憶する処理状況記憶手段と，
   映像解析処理が途中で中断されたことにより複数の解析結果が存在する場合に，前記映像解析処理手段により得られる解析結果に基づきイベントごとの第１の時間区間における終了時間と第２の時間区間における開始時間との前後関係に着目して，前記第１の時間区間における解析結果と前記第２の時間区間における解析結果とを統合し一つの解析結果とする解析結果統合手段と，
   前記解析結果統合手段により得られた解析結果を出力する解析結果出力手段とを備える ことを特徴とする映像解析装置。
2. 前記処理状況取得手段は，
   以前に映像解析処理が途中で中断されている映像データに対しての映像解析処理を再開する際に，中断時点で得られている映像解析処理の中間情報を取得する映像解析処理中間情報取得手段を備え，
   前記映像解析区間算出手段は，
   前記中間情報を読み込み，読み込んだ中間情報の内容に応じて前記第２の時間区間の開始時間を設定する開始時間設定手段を備え，
   前記映像解析処理手段は，
   映像解析処理が中断された場合に，中断時点で得られている映像解析処理の中間情報を出力する中間情報出力手段を備える
   ことを特徴とする請求項１記載の映像解析装置。
3. 前記開始時間設定手段は，
   前記読み込んだ中間情報から，イベントタイプ毎にイベントの開始時間が最も遅い最終イベントを抽出する最終イベント抽出手段と，
   前記各最終イベントの終了時間と前記映像解析処理の中断時間の値とを比較する時間比較手段と，
   前記比較結果に基づいて，予め定められたイベント中断／非中断用のシフトサイズを読み出し，イベントタイプ毎のシフトサイズを設定するシフトサイズ読み出し手段と，
   前記設定したイベントタイプ毎のシフトサイズのうち最大のシフトサイズを実際のシフトサイズとして定めるシフトサイズ設定手段と，
   映像解析処理の中断時間よりシフトサイズだけ解析処理の再開点を時間的に早い方向へシフトし，解析再開点を定める解析再開点設定手段とを備える
   ことを特徴とする請求項２記載の映像解析装置。
4. 入力される映像信号を解析し，解析した結果を出力する映像解析方法であって，
   映像データを入力し，記憶する映像入力ステップと，
   入力した映像データについての映像解析処理が新規に開始する処理であるか，以前に解析の途中で中断した処理であるかの進行状況に関する情報を取得する処理状況取得ステップと，
   入力した映像データに対して，映像解析処理の対象となる第１の時間区間を指定する映像解析区間入力ステップと，
   前記処理状況取得ステップで取得した映像解析処理の進行状況に関する情報と，前記映像解析区間入力ステップで入力した映像解析処理の対象となる第１の時間区間の情報をもとに，以前に映像解析処理が途中で中断されている場合に，前記第１の時間区間において既に解析が終了している部分と，予め設定された解析区間の重複領域の大きさだけ解析区間が重なるように，その後に実際に映像解析処理を行う第２の時間区間を算出する映像解析区間算出ステップと，
   前記映像入力ステップにより入力した映像データに対してのシーン情報の解析処理を，新規の映像解析処理の場合には前記第１の時間区間について，映像解析処理の中断後に再開された映像解析処理の場合には前記第２の時間区間について行い，イベントごとの開始時間と終了時間を求める映像解析処理ステップと，
   前記映像解析処理ステップによる解析処理の進行状況に関する情報を記憶するステップと，
   映像解析処理が途中で中断されたことにより複数の解析結果が存在する場合に，前記映像解析処理ステップにより得られる解析結果に基づきイベントごとの第１の時間区間における終了時間と第２の時間区間における開始時間との前後関係に着目して，前記第１の時間区間における解析結果と前記第２の時間区間における解析結果とを統合し一つの解析結果とする解析結果統合ステップと，
   前記解析結果統合ステップにより得られた解析結果を出力する解析結果出力ステップとを有する
   ことを特徴とする映像解析方法。
5. 前記処理状況取得ステップは，
   以前に映像解析処理が途中で中断されている映像データに対しての映像解析処理を再開する際に，中断時点で得られている映像解析処理の中間情報を取得する映像解析処理中間情報取得ステップを有し，
   前記映像解析区間算出ステップは，
   前記中間情報を読み込み，読み込んだ中間情報の内容に応じて前記第２の時間区間の開始時間を設定する開始時間設定ステップを有し，
   前記映像解析処理ステップは，
   映像解析処理が中断された場合に，中断時点で得られている映像解析処理の中間情報を出力する中間情報出力ステップを有する
   ことを特徴とする請求項４記載の映像解析方法。
6. 前記開始時間設定ステップは，
   前記読み込んだ中間情報から，イベントタイプ毎にイベントの開始時間が最も遅い最終イベントを抽出する最終イベント抽出ステップと，
   前記各最終イベントの終了時間と前記映像解析処理の中断時間の値とを比較する時間比較ステップと，
   前記比較結果に基づいて，予め定められたイベント中断／非中断用のシフトサイズを読み出し，イベントタイプ毎のシフトサイズを設定するシフトサイズ読み出しステップと，
   前記設定したイベントタイプ毎のシフトサイズのうち最大のシフトサイズを実際のシフトサイズとして定めるシフトサイズ設定ステップと，
   映像解析処理の中断時間よりシフトサイズだけ解析処理の再開点を時間的に早い方向へシフトし，解析再開点を定める解析再開点設定ステップとを有する
   ことを特徴とする請求項５記載の映像解析方法。
7. 請求項４から請求項６までのいずれか１項に記載の映像解析方法をコンピュータに実行させるための映像解析プログラム。
8. 請求項４から請求項６までのいずれか１項に記載の映像解析方法をコンピュータに実行させるためのプログラムを記録した
   ことを特徴とする映像解析プログラムの記録媒体。

Images