JPH11112922A

JPH11112922A - ストリームイベント点検出表示方法および装置

Info

Publication number: JPH11112922A
Application number: JP9265609A
Authority: JP
Inventors: Yasuyuki Oki; 康幸大木; Tadashi Yamamitsu; 忠山光; Akio Nagasaka; 晃郎長坂
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1997-09-30
Filing date: 1997-09-30
Publication date: 1999-04-23
Anticipated expiration: 2017-09-30
Also published as: JP3909130B2

Abstract

(57)【要約】【課題】再生速度を変化させて映像等のストリームのイ
ベント点検出を短時間で検出でき、かつ、現検出処理位
置を把握しやすいストリームイベント点検出表示方法及
び装置。【解決手段】イベント点の付近を検出する際はストリー
ムをゆっくりと再生し、違う場合は早送り再生しながら
イベント点を検出する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、映像や音声、楽譜
データなどといったストリーム形式のデータの内容を解
析する装置とその装置に関し、特に、カメラ映像が切り
替わるシーン変化点やラジオ音声の話者が切り替わる話
者変化点などのストリーム上のイベント点を効率よく検
出できる方法およびその装置に関する。

【０００２】

【従来の技術】近年のコンピュータ技術の発達により、
映像データや音声データ、ＭＩＤＩと言われる楽譜デー
タ、映像に付随する字幕などの付加情報データ列などと
いったストリーム形式のデータを多量にかつ柔軟に扱え
るようになってきた。今後は、ユーザが簡単にこのよう
な多量のストリームデータの管理できるような技術が重
要となる。このストリームデータ管理技術の一つとし
て、ストリームの中に、ＴＶ映像がＣＭに切り替わった
場所などを表すシーン変化点や、ラジオ音声にて話者が
切り替わった時点などを表す話者変化点など、ストリー
ム中のあるイベントを表すイベント点を検出する技術が
ある。なお、イベント点としては、その他にも楽譜デー
タストリームに対して、曲のリズムが変化した時点や、
映像に付随する字幕などの付加情報データ列に対して、
ある特定のキーワードが現れた時点などがあげられる。

【０００３】映像データから先ほど説明したシーン変化
点を検出する方法としては、特開平８−２２７４６２号
公報がある。また映像の特殊効果の一つであるディゾル
ブ特殊効果が現れた時点を検出する方法には、特開平９
−６５２８７号公報があるする。これらの従来技術に記
載の方法はいずれも、映像中に含まれるフレーム画像を
一枚ずつ読み出し、該フレーム画像と該フレーム画像の
付近のフレーム画像との画像差分量を元にシーン変化点
またはディゾルブ特殊効果点を検出する方法である。

【０００４】音声データについて、無音に近い状態から
音楽が始まるなどの有音状態に移り代わるといった音の
変化点を見つける方法としては、音声テープやミニディ
スクなどで使われる音声ダビング装置で使われている次
に示す方法が公知として存在する。この方法では、一定
時間毎に音の強さの振幅値の平均をとり、該時間内の平
均があるしきい値を超えた場合は有音、超えない場合は
無音と判断することにより、音の変化点を見つけてい
る。

【０００５】しかし、上記にあげた方法に共通の課題と
して、映像データストリームの全てのフレーム画像を参
照する、または、音声データストリームのすべての音声
波形を参照する、といった必要があり、入力ストリーム
の本来持っている再生時間より短い時間でイベント点を
検出することができないことがあげられる。

【０００６】特開平９−１０７５１７号公報では、前記
課題を解決するため、映像を高速再生しながらシーン変
化点を検出する次に示すような方法を用いることによ
り、検出処理時間の短縮を実現している。この変化点検
出制御方法では、まず検出第１パスとして映像を高速再
生しながら一定時間間隔でフレーム画像を取り込み、新
たに取り込んだフレーム画像と前回取り込んだフレーム
画像の画像差分量が大きく異なる点をイベント点候補区
間（シーン変化点候補区間）として列挙する。次に検出
第２パスとして、検出された映像イベント点候補区間の
それぞれを通常速度の再生により１フレームずつ検出処
理し、正確なイベント点位置を検出する。

【０００７】

【発明が解決しようとする課題】先述した従来の方法に
は、以下に示す課題がある。

【０００８】第１の課題は、従来方法の特開平９−１０
７５１７号公報に記載の技術においては、入力映像のう
ちどの部分について検出処理をしているのかが、ユーザ
の視点から理解しにいことである。以下にその理由を説
明する。

【０００９】該変化点検出制御方法では、まず検出第１
パスにて、入力映像全体を走査している画面が早送り映
像のように表示される。次に、検出第２パスにて、早送
り再生時に検出された映像イベント点候補区間の映像が
各候補区間毎に立て続けに再生される。このような２段
階の検出方法のため、映像が本来の再生順序とは違った
細切れ映像のように再生され、現在該映像中のどの部分
について検出処理を行なっているのかが分かりにくい。

【００１０】第２の課題は、該変化点検出制御方法で
は、ユーザが映像検出処理を打ち切った場合、検出第１
パスの最中であると、映像イベント点候補区間しか残ら
ないため、１素データ精度のイベント点の位置を検出で
きない。

【００１１】第３の課題は、該変化点検出制御方法で
は、ネットワーク上を流れてくる映像・音声データやＴ
Ｖ放送として受信された映像・音声データなど、ストリ
ームが一度ＴＶやラジオなどに出力された時点で消去さ
れてしまう特徴を持ったストリームデータの場合、検出
第２パスを実行できないため、１素データ単位の位置精
度をもったイベント点を検出することができない。

【００１２】第４の課題は、従来方法にて説明した、映
像のディゾルブ特殊効果点の検出方法や、音声変化点の
検出方法の場合、該変化点検出制御方法は適用できな
い。

【００１３】第５の課題は、該変化点検出制御方法で
は、検出すべきところを検出できなかったり、検出しな
くともよいところを検出したりするなど、誤検出があっ
た場合に、検出処理中にその検出内容をユーザが制御し
にくいことである。これは、第１の課題で示した現在の
検出状況がユーザにとって理解しにくいことが、直接の
原因である。

【００１４】本発明の第１の目的は、映像や音声などの
ストリームデータからイベント点を検出する方法を少な
い演算量で行う早送り式ストリームイベント点検出方法
において、現在の検出状況をユーザに分かりやすく表示
することである。

【００１５】本発明の第２の目的は、該早送り式ストリ
ームイベント点検出方法において、ユーザが途中で検出
処理を打ち切っても、１素データ単位の位置精度をもっ
たイベント点を残すことが可能なことである。

【００１６】本発明の第３の目的は、先述のＴＶ放送の
ストリームデータなど、ストリームが一度ＴＶなどに出
力された時点で消去されてしまう特徴を持った、ストリ
ームデータの場合でも、該早送り式ストリームイベント
点検出方法のような効率的な検出方法で、１素データ単
位の位置精度をもったイベント点を検出することであ
る。

【００１７】本発明の第４の目的は、先述の映像のディ
ゾルブ特殊効果点の検出方法や、音声変化点の検出方法
の場合でも、該早送り式ストリームイベント点検出方法
のような効率的な検出方法を適用可能にすることであ
る。

【００１８】本発明の第５の目的は、該早送り式ストリ
ームイベント点検出方法において、検出処理中にその検
出内容をユーザが簡単に制御できるようにすることであ
る。

【００１９】

【課題を解決するための手段】本発明は、上記目的を達
成するために、下記に示す方法を用いたものである。な
お、図１は本発明方法の概略を表したフローであり、下
記説明にて、（ステップｘｘｘ）との記述は、図１の概
略フロー中のステップ番号を表す。また、図２は本発明
方法を用いたストリームイベント点検出・表示装置のシ
ステム構成図である。以降では、まず図１を用いながら
本発明方法を述べ、最後に図２を用いたストリームイベ
ント点検出表示装置の概略を述べる。

【００２０】本発明の第１から第４の目的を達成するた
めに、入力された映像や音声などのストリームデータか
ら、映像のシーン変化点や音声の話者変化点などのイベ
ント点を検出し出力するストリームイベント点検出・表
示方法において、下記（１）から（５）に示す処理を行
う方法を特徴とする。

【００２１】（１）先頭区間を先読みバッファに入力す
る（ステップ１１０２）。

【００２２】（２）その先読みバッファからその先読み
バッファ内にイベント点が存在するか否かを検出する
（ステップ１１０３）。

【００２３】（２ａ）（２）にて得られたイベント点検
出有無情報により、（３）または（４）のどちらかを行
う（ステップ１１０４）。

【００２４】（３）（２）にてイベント点が存在すると
判断した場合、先読みバッファ中のストリーム区間内の
全素データ（ストリームを構成する最小単位）を順次読
み出し、下記（３ａ）（３ｂ）（３ｃ）の処理を行う
（ステップ１１１１）。

【００２５】（３ａ）該素データをユーザに向けて出力
する（ステップ１１２１）。

【００２６】（３ｂ）該素データの位置がイベント点か
否かを該素データの特徴量を用いて判定する（ステップ
１１２２）。

【００２７】（３ｃ）（３ｂ）にて、該素データの位置
がイベント点であったと判定された場合のみ、（３ｄ）
の処理を行う（ステップ１１２３）。

【００２８】（３ｄ）該素データの位置をイベント点位
置とし、イベント点位置の記録などの検出時処理を行う
（ステップ１１３１）。

【００２９】（４）（２）にてイベント点がないと判断
された場合は、先読みバッファ中のストリームを早送り
表示する（ステップ１１１２）。

【００３０】（５）これら（１）から（４）までを順次
繰り返す（ステップ１１０１）。

【００３１】上記方法によって、次の理由により、本発
明の第１の目的を解決できる。（４）のように、ストリ
ーム中にイベント点が存在しないところは従来技術のよ
うにストリームを早送り再生できる。加えて、（３）の
ように、ストリーム中にイベント点が存在しそうなとこ
ろについては、ストリームの再生順序を狂わすようなス
トリームまき戻し出力をユーザに示すことなく、詳細な
ストリームデータを１素データずつゆっくりユーザに示
すことができる。このように、本発明方法は、従来技術
とは違い、ストリームの出力速度を、ストリーム内容に
応じて自動的に切り替えることにより、ユーザからもわ
かりやすい出力を得ることができる。

【００３２】本発明の方法によって、次の理由により、
本発明の第２の目的を解決できる。本方法では、従来方
法のようにイベント点候補点を検出することはせず、各
イベント点の検出において、１素データ単位の精度を持
ったイベント点位置を検出している。このため、上記方
法では、検出処理中のいかなる時点に処理を打ち切って
も、１素データ精度のイベント点位置を算出できる。

【００３３】本発明の方法によって、次の理由により、
本発明の第３の目的を解決できる。上記方法では、
（２）のように、ストリームデータを必ず先読みバッフ
ァに読込み、また、（３）のように、１素データ単位の
イベント点検出の際には、該先読みバッファを用いてい
る。このため、ＴＶ放送のストリームデータなど、スト
リームが一度ＴＶなどに出力された時点で消去してしま
うストリームデータの場合でも、本発明方法では、映像
をバッファリングしているため、１素データ単位の位置
精度をもったイベント点を検出できる。

【００３４】本発明の方法によって、次の理由により、
本発明の第４の目的を解決できる。たとえば、先述の映
像のディゾルブ特殊効果点の検出の場合は、（２）にお
いて、現先読みバッファ中のフレーム画像と前回の先読
みバッファ中のフレーム画像との画像差分量が大きい場
合にイベント点ありと判断し、かつ、（３）において、
従来方法の特願平７−２１０４０９のディゾルブ検出方
法をもちいれば良い。これはディゾルブは映像が早送り
映像の場合は、シーン変化点と同様の映像に見えるため
である。また、音声についても、たとえば、（２）にて
先読みバッファ中の音声波形を２秒おき長さ１秒ずつに
間引いた音声波形データを作成し、音声波形の振幅平均
をとり、その値があるしきい値を超えればイベント点あ
りと判断し、かつ、（３）おいて、従来方法をそのまま
用いればよい。

【００３５】ここで、本発明の第５の目的を達成するた
めの装置を説明する。

【００３６】上記（１）から（５）までの処理を基本と
して、以下のような修正を加えれば、ユーザにとっても
わかりやすい検出制御を実現できる。

【００３７】たとえば、検出処理中にユーザが強制検出
を意味するボタンなどによって現在検出処理中のストリ
ーム位置に強制的にイベント点を検出させたい場合、上
記（３ｃ）と（４）とを下記のよう変更する。もちろ
ん、下記以外の実現方法によっても本例は実現可能であ
る。

【００３８】（３ｃ）（３ｂ）にて、該素データの位置
がイベント点であったと判定された場合、または、ユー
ザが強制検出ボタンを押下していた場合、イベント点位
置の記録などの検出時処理を行う。

【００３９】（４）（２）にてイベント点がないと判断
された場合、かつ、ユーザが強制検出ボタンを押下して
いた場合、イベント点位置の記録などの検出時処理を行
い、その他の場合は、先読みバッファ中のストリーム区
間をストリームを早送り表示する。

【００４０】その他の制御方法として、たとえば、検出
処理中にユーザが詳細検出無視を意味するボタンなどに
より、１素データ精度のイベント点の位置検出を行う処
理を無視するには、上記（３）を次のよう変更する。も
ちろん、下記以外の実現方法によっても本例は実現可能
である。

【００４１】(３）（２）にてイベント点が存在すると
判断した場合、先読みバッファの先頭の素データ位置を
イベント点位置とし、該イベント点の記録などの検出時
処理を行い、その後、先読みバッファ中のストリーム区
間をストリームを早送り表示する。

【００４２】最後に、図２を用いて、本発明のストリー
ムイベント点検出表示装置の概略を述べる。図２は本発
明方法を用いたストリームイベント点検出表示装置のシ
ステム構成図である。

【００４３】本発明のストリームイベント点検出制御・
表示装置は、以下の装置を有することを特徴とする。本
装置にて、前述のストリームイベント点検出表示方法に
従った処理を実行することができる。

【００４４】本発明のストリームイベント点検出制御・
表示装置は、入力ストリームの読込みを行うストリーム
入力装置１００１と、読込まれた入力ストリームの先頭
部分区間を格納する先読みバッファ１１０２と、ストリ
ームをユーザなどに対して出力するストリーム出力装置
１００８と、先読みバッファ１００２の中のストリーム
を早送り形式で出力する早送り出力制御装置１００３
と、該先読みバッファ１００２の中のストリームを１素
データずつ出力する詳細出力制御装置１００４と、該先
読みバッファ１００２の中のストリーム中でのイベント
点の存在有無を判定する早送りイベント点検出装置１０
０５と、該先読みバッファ１００２の中のストリーム中
のイベント点の位置を１素データ精度で判定する詳細イ
ベント点検出装置１００６と、該早送りイベント点検出
装置１００５が先読みバッファ１００２の中にイベント
点なしと判断した場合は、先読みバッファ１００２の内
容を該早送り出力制御装置１００３を用いて早送り出力
し、該早送りイベント点検出装置１００５が先読みバッ
ファ１００２の中にイベント点ありと判断した場合は、
先読みバッファ１００２中の素データを順次読み出して
該詳細出力制御装置１００８にて該素データを表示しな
がら、かつ、該詳細イベント点検出装置１００６にて該
素データの位置でのイベント点有無を判断する検出制御
装置１００７を有することを特徴とする。

【００４５】

【発明の実施の形態】以下、本発明の実施例を図３から
図７を用いて説明する。

【００４６】図３はＭＰＥＧファイルからイベント点の
一種であるシーン変化点を検出するシステム構成図であ
る。なお後述において「ＭＰＥＧファイル」とは、国際
規格ＩＳＯ１１１７２−１で規定されているＭＰＥＧ
１、または、ＭＰＥＧ２もしくはこれと同等のビデオ映
像形式で格納した映像データファイルを指す。

【００４７】本実施例での処理の流れの概要を図３のシ
ステム構成図と図４の実行画面を用いて説明する。

【００４８】本実施例では、（１）映像ストリーム入力
装置２０１から、現読込み位置（図３の時点ではＦ２
１）から次Ｉピクチャ（ＭＰＥＧファイル映像ストリー
ムでのキー素データを意味するフレーム画像。図３の時
点では位置Ｆ２３をＩピクチャとする）までのフレーム
列２２１を先読みバッファ２０３に読込み、（２）早送
りイベント点検出装置２０７にて先読みバッファ内にシ
ーン変化点の存在有無を判定し、（３）（２）にてシー
ン変化点が存在した場合は、先読みバッファ２０３中の
全フレームを表示しながら詳細イベント点検出装置２０
５を用いてシーン変化イベント点のフレーム位置を検出
し、検出したら検出結果を図４の結果表示領域３０２
（図３のシステム構成では、映像ストリーム出力装置２
１３に該当）に表示し、（４）（２）にてシーン変化点
が存在しなかった場合は、フレーム画像Ｌ２を同領域に
表示し、（５）（１）から（４）までを映像がなくなる
まで繰り返している。

【００４９】図４は映像イベント点の高速検出方法の実
行画面の１例を示す。領域３０１は入力映像表示領域で
あり、入力映像のうち現在どのフレーム画像が実際に検
出処理されているかが表示される。ボタン３０４，３０
５，３０６は検出制御ボタンであり、検出開始ボタン３
０４をマウスなどのユーザ操作入力装置でクリックする
と図５の処理フローに示される検出処理が開始される。
検出処理実行中に検出終了ボタン３０５をクリックする
と検出処理が打ち切られる。強制検出ボタン３０６をク
リックすると、現在表示されているフレーム画像とフレ
ーム位置が映像イベント点として強制的に記録される。

【００５０】領域３０２には、検出された映像イベント
点の一覧がビジュアルに表示される。アイコン３１０、
３１１、３１２は検出された映像イベント点のフレーム
位置と、該フレーム位置でのフレーム画像を表示してい
る。例えばアイコン３１２には、フレーム位置１００の
映像イベント点を表しており、該フレーム位置のフレー
ム画像とフレーム位置を表す数字１００が表示される。

【００５１】チェックボックス３０７は、詳細検出モー
ドの指定を表し、初期表示時はチェック状態となってい
る。該チェックボックスをクリックすると、チェック状
態と非チェック状態がトグルする。該チェックボックス
がチェック時はイベント点の検出位置精度は１フレーム
単位となり、非チェック時は該検出位置精度は、２以上
の数フレーム単位の粗い検出精度となる。

【００５２】スライダ３０８は、非検出時は、入力映像
データの現在の読込み位置を表示し、また、スライダ３
０８のつまみ３０９を動かすことにより、入力データの
読込み位置を移動することができる。入力映像表示領域
３０１には、入力映像データのうち、スライダ３０８で
指定された位置のフレーム画像が表示される。なお、本
例では、検出処理時には、スライダ３０８は利用不可と
なる。

【００５３】再生ボタン３２１をクリックすると映像が
再生される。停止ボタン３２２をクリックすると映像再
生が停止する。

【００５４】図５に図４の検出開始ボタン３０４が押さ
れた際の処理フローを示す。

【００５５】ステップ４０１では、映像先読みバッファ
の初期化を行なう。実際には映像先読みバッファを空に
し、また、フレーム画像を格納する変数LastFrameFFに
黒色（ピクセル値が全て０）のフレーム画像を代入す
る。

【００５６】ステップ４０２では、早送りイベント点検
出の初期化を行なう。例えば内部変数として持つ前フレ
ーム画像を黒色に塗りつぶすなどの処理を行なう。

【００５７】ステップ４０３およびステップ４１１〜４
１７では、映像中から映像イベント点を検出する処理を
繰り返すループ処理を行なう。該ループ一回で、先読み
バッファに読込まれたフレーム画像列に対して映像イベ
ント点の検出処理を行なう。該ループの終了条件は、映
像を全て読み終わった場合、または、該ループ内でユー
ザが終了ボタンを押した場合である。

【００５８】ステップ４１１では、入力映像データの先
頭数フレームを読みだして先読みバッファに書込む。本
実施例では、現在の読込みフレーム位置から次に現れる
キーフレームの位置までのフレーム画像列を先読みバッ
ファに読込む。例えばＭＰＥＧファイルの場合のキーフ
レームとは、１０から３０フレーム毎に映像データ中に
存在するＩピクチャを意味する。

【００５９】なお、先読みバッファを実現する場合、読
込み指示のあったフレーム画像列すべての静止画像デー
タを先読みバッファに記録しなくてもよく、読込み指示
のあったフレーム画像列の入力データ上での先頭フレー
ム位置と末尾フレーム位置のみを記録し、映像先読みバ
ッファからフレーム画像を参照する指示があった場合に
なって初めて、入力映像データから該当するフレーム画
像を読み出してもよい。このような先読みバッファの遅
延読込み方法を用いると、先読みバッファのメモリ容量
と先読みバッファからのフレーム画像取得時間との両方
を節約できる。例えば、入力映像データがＭＰＥＧファ
イルの場合、現在の読込みフレーム位置と次に現れるＩ
ピクチャの位置と該Ｉピクチャを伸長したフレーム画像
とを先読みバッファに記録し、実際に先読みバッファか
らフレーム画像データを取り出す際、取り出し位置が該
Ｉピクチャの位置であれば先読みバッファ内のフレーム
画像データを直接取り出し、取り出し位置が該Ｉピクチ
ャの位置以外であれば、入力映像データから対応するフ
レーム画像データを取り出すように実現する。

【００６０】ステップ４１２において、先読みバッファ
の最後の位置に記録されているキーフレーム画像を取り
出し、aFrameFFに格納する。

【００６１】ステップ４１３において、早送りイベント
点検出処理を行なう。本実施例では、シーン変化点の
有無を検出するために、フレーム画像aFrameFFと、前回
早送りイベント点検出関数に渡されたフレーム画像Last
FrameFFとの画像差分量を算出し、該画像差分量がある
しきい値より大きかったら、シーン変化点ありと判断す
る。

【００６２】ステップ４１４の条件分岐では、ステップ
４１３においてイベント点ありと判断され、かつ、現検
出状態が詳細検出モードの場合、ステップ４２１，４２
２により、１フレーム単位のイベント点検出処理を行な
う。ここで詳細検出モードとは、図２の詳細検出チェッ
クボックス３０７がチェックされている状態を指す。

【００６３】ステップ４１４の条件分岐で、ステップ４
１３においてイベント点ありと判断されたのだが、現検
出状態が詳細検出モードではない場合、ステップ４２３
において、イベント点の位置をaFrameFFの位置とし、イ
ベント点の画像をaFrameFFのフレーム画像とし、検出時
処理を行う。該検出時処理の詳細については、ステップ
４４３の説明にて詳細な説明を行う。

【００６４】ステップ４１４の条件分岐が前記２条件に
どちらもあてはまらないときは、ステップ４１５にて、
早送り時のフレーム画像aFrameFFを表示する。

【００６５】４２１では詳細イベント点検出の初期化処
理を行なう。ここでは、フレーム画像を格納する変数La
stFrameに黒色（ピクセル値が全て０）のフレーム画像
を代入する。

【００６６】本実現例以外にも、例えば、詳細イベント
点検出処理に、従来の技術の特開平８−２２７４６２号
公報に示された動画像の変化点検出方法を直接適用する
場合、該検出方法では与えられたフレーム列の先頭２フ
レームについてシーン変化点を検出することができない
ため、ステップ４２１では、前回読込んだフレーム画像
LastFrameFFを２回繰り返し該方法に入力させればよ
い。

【００６７】ステップ４２２、４３１〜４３５では、先
読みバッファ内のフレーム画像列に対して下記に示す詳
細イベント点検出処理を行なう。

【００６８】ステップ４３１では、先読みバッファの中
のｉ番目のフレーム位置のフレーム画像をaFrameに取得
する。

【００６９】ステップ４３２では、フレーム画像aFrame
を図２の入力映像表示領域３０１に表示する。

【００７０】ステップ４３３により、詳細イベント点検
出の１フレーム分処理を行なう。本実施例では、シーン
変化点の有無を検出するために、フレーム画像aFrame
と、前フレーム画像LastFrameとの画像差分量を算出
し、該画像差分量があるしきい値より大きかったら、シ
ーン変化点ありと判断する。本実現例以外にも、例え
ば、詳細イベント点検出処理に、従来の技術の特開平８
−２２７４６２号公報に示された動画像の変化点検出方
法を直接適用してもよい。

【００７１】ステップ４３４の条件分岐では、ステップ
４３３にてイベント点が存在すると判断された場合、フ
レーム画像aFrameの位置でイベント点検出と判断し、ス
テップ４４３にて、先読みバッファの先頭に格納されて
いるフレーム画像に対応する入力映像データでのフレー
ム位置と、ループカウンタｉとを加えた数をイベント点
の検出位置とし、またaFrameをイベント点フレーム画像
とし、検出時処理を行なう。

【００７２】該検出時処理では、図２の領域３０２に表
示されているアイコンリストの終わりの位置に、イベン
ト点フレーム画像とイベント点検出位置とをアイコン形
式でアイコン３１２のように追加表示する。

【００７３】ステップ４３５では、ユーザ操作イベント
入力装置により取得したユーザ操作イベントに基づき条
件判定を行ない、ユーザ操作イベントが図２の強制検出
ボタン３０６押下の場合は、ステップ４４１にて、イベ
ント点位置をフレーム画像aFrameの位置とし、また、イ
ベント点フレーム画像をaFrameとし、ステップ４４３と
同様の検出時処理を行ない、検出終了ボタン３０５押下
の場合は、ステップ４４２にて再内側ループを脱出して
処理をステップ４１６に移し、その他の場合は何もしな
い。

【００７４】ステップ４１６では、ユーザ操作イベント
入力装置により取得したユーザ操作イベントに基づき条
件判定を行ない、ユーザ操作イベントが図２の強制検出
ボタン３０６押下の場合は、ステップ４２３にて、イベ
ント点の位置をaFrameFFのフレーム位置とし、イベント
点フレーム画像をaFrameFFとし、ステップ４４３と同等
の検出時処理を行ない、検出終了ボタン３０５押下の場
合は、ステップ４２４にて現ループを脱出して検出処理
全体を終了し、その他の場合は何もしない。

【００７５】ステップ４１７では、現早送りフレーム画
像aFrameFFを前早送りフレーム画像LastFrameFFに代入
する。

【００７６】図６は、検出位置スライダによる視覚的な
検出状況の表示方法の１例を表す。

【００７７】本例では、現在検出処理が早送り検出中な
のかまたは詳細検出中なのかを、スライダのつまみのア
イコン表示を変更することにより、視覚的に示してい
る。

【００７８】検出処理が早送り検出中の場合、図６
（Ａ）の表示となり、スライダのつまみ６０３の表示
は、三角形２つからなる早送り中アイコンとなる。なお
この場合、入力画像は６０１のように早送り映像が表示
される。逆に検出処理が詳細検出中の場合、図６（Ｂ）
の表示となり、スライダのつまみ６１３の表示は、三角
形１つからなる通常速度再生アイコンとなる。なおこの
場合、入力画像は６０１のように通常速度映像が表示さ
れる。

【００７９】図６の検出状況表示例では、さらに、現在
の検出処理位置をスライダのつまみ（早送り中は６０
３、それ以外は６１３）の位置で視覚的に表している。
この場合、スライダのつまみが左端のときは映像の先頭
を、同じく右端のときは映像の末尾を、その間について
はつまみの位置の割合に応じた映像位置について検出処
理をしていることを表す。

【００８０】図６の検出状況表示方法を実現するために
は、ステップ４１５とステップ４３２を以下のように修
正すればよい。

【００８１】「図６の例のために修正したステップ４１
５」では、aFrameFFのフレームを表示し、その後、図４
のスライダのつまみ３０９のアイコンを図６（Ａ）のつ
まみ６０３に変更し、その後、図４のスライダのつまみ
３０９を、左端から、（現在のフレーム画像aFrameFFの
位置÷入力映像全体の長さ）×スライダの全体の長さ、
の位置に配置する。

【００８２】「図６の例のために修正したステップ４３
２」では、aFrameのフレームを表示し、その後、図４の
スライダのつまみ３０９のアイコンを図６（Ｂ）のつま
み６１３に変更し、その後、図４のスライダのつまみ３
０９を、左端から、（現在のフレーム画像aFrameの位置
÷入力映像全体の長さ）×スライダの全体の長さ、の位
置に配置する。

【００８３】図７は、検出位置があいまいなイベント点
の視覚的な表示例を表す。図７は、図４の実行画面の左
側部分のみを説明用に抜き出したものである。検出位置
があいまいなイベント点とは、図４の詳細検出モードチ
ェックボックス３０７が、不活性の際に検出されたイベ
ント点であり、このイベント点は１フレーム単位の位置
精度を持っておらず、いわば不完全なイベント点であ
る。図７の例では、検出位置があいまいなイベント点を
検出した場合のアイコン表示を、視覚的に検出位置があ
いまいでないイベント点のアイコン表示と、視覚的に区
別できるようにしている。

【００８４】図７の７００は、図４の領域３０２と同一
の表示領域である。表記７０１では、検出位置があいま
いなイベント点のアイコンには、点線の透明な四角をア
イコンの前後に多重表示し、かつ、フレーム位置の表示
に「±？」という文字を追加表示することにより、正確
なイベント点のアイコン７０３と、視覚的に区別できる
ようにしている。これにより、ユーザは、どのイベント
点は１フレーム精度のイベント点なのか否かを人目で把
握できる。

【００８５】図７の、検出位置があいまいなイベント点
の視覚的な表示例を実現するためには、ステップ４４３
の説明にて述べた検出時処理を以下のように修正すれば
よい。

【００８６】「図７の例のために修正した検出時処理」で
は、該特別検出時処理では、図２の領域３０２に表示さ
れているアイコンリストの終わりの位置に、イベント点
のフレーム画像と、イベント点のフレーム位置を表すフ
レーム番号の文字列とをアイコン形式でアイコン３１２
のように追加表示し、その後、ステップ４１４にて説明
した詳細検出モードが不成立の場合、図７の７０１のよ
うな透明な点線の四角を、先ほど描画したアイコン画像
の前後に多重表示し、また、フレーム位置番号の表記の
すぐ右となりに「±？」を追加表示する。

【００８７】

【発明の効果】本発明では、以下のような効果を得るこ
とができる。第１に、早送り検出時のストリーム出力と
詳細検出時のストリーム出力とを、イベント点の検出状
況、すなわちストリーム内容により、随時切り替えるよ
うにしているため、ストリームの再生順序を乱さないよ
うな出力を行っているために、入力ストリームのどの部
分について現在検出処理を行なっているのかが容易に確
認できる。

【００８８】第２に、ユーザが検出処理を打ち切った場
合でも、本発明方法では、毎回のイベント点検出処理に
おいて、１素データ精度のイベント点位置を検出してい
るため、いつ検出処理を打ち切られても１素データ精度
のイベント点位置を残すことができる。

【００８９】第３に、先読みバッファに詳細検出処理に
必要な素データ列を常時格納するようにしているため、
ＴＶ放送として受信されたストリーム形式の映像データ
といった出力後すぐにデータが消えてしまうような入力
ストリームに対しても、イベント点を検出できる。

【００９０】第４に、先読みバッファとイベント点検出
方法とを、映像や音声ストリームにも変更できるように
し、また、イベント点検出方法も検出するイベント点に
より変更できるようにしたことで、映像のディゾルブ点
や、音声の話者変化点などの種類についても、少ない演
算量で効率よくイベント点を検出できるようになった。

【００９１】第５に、入力ストリームのどの部分につい
て現在検出処理を行なっているのかが容易に確認できる
ようにしたために、ユーザが制御しやすいイベント点検
出方法を追加することができた。

【図面の簡単な説明】

【図１】本発明方法の概略を表したフロー図である。

【図２】本発明方法を用いたストリームイベント点検出
表示装置のシステム構成図である。

【図３】ＭＰＥＧファイルからイベント点の一種である
シーン変化点を検出するシステム構成図である。

【図４】図３の実現例での実行画面を説明する図であ
る。

【図５】図３の実現例での処理フロー図である。

【図６】検出位置スライダによる視覚的な検出状況の表
示方法の１例を示す図である。

【図７】検出位置があいまいなイベント点の視覚的な表
示例を示す図である。

【符号の説明】

１００１ストリーム入力装置１００２先読みバッファ１００３早送り出力制御装置１００４詳細出力制御装置１００５早送りイベント点検出装置１００６詳細イベント点検出装置１００７検出制御装置１００８ストリーム出力装置

Claims

【特許請求の範囲】

【請求項１】入力された映像や音声などのストリームデ
ータから、映像のシーン変化点や音声の話者変化点など
のイベント点を検出し出力するストリームイベント点検
出表示方法において、（１）入力ストリームの先頭区間を先読みバッファに入
力し、（２）その先読みバッファ内にイベント点が存在するか
否かを検出し、（３）（２）にてイベント点が存在すると判断した場合
は、先読みバッファ中のストリームの素データ（ストリ
ームを構成する最小単位）を順次読み出し外部に出力し
ながら、該素データの位置がイベント点として判定され
た場合に検出時処理を行い、（４）（２）にてイベント点がないと判断された場合
は、先読みバッファ中のストリームを早送り出力し、（５）これら（１）から（４）までを順次繰り返すこと
により、ストリームのイベント点検出処理を早送りにて
出力したり通常速度にて出力したりすることをストリー
ム内容に応じて適宜切り替えながら行うことを特徴とす
る、ストリームイベント点検出表示方法。
【請求項２】請求項１に示したストリームイベント点検
出表示方法において、入力ストリームは素データがフレ
ーム画像として構成される映像ストリームであり、先読
みバッファのデータは数フレームからなるフレーム画像
からなり、フレーム画像の画像差分などの特徴量を元に
映像イベント点を判定することにより、請求項１の
（２）ではイベント点の有無を、同じく（３）ではイベ
ント点の存在するフレーム位置を検出でき、請求項1の
（３）と（４）とで用いる素データの出力方法として、
フレーム画像またはフレーム画像列をディスプレイ装置
などの表示手段に表示することを特徴とした、ストリー
ムイベント点検出表示方法。
【請求項３】請求項１に示したストリームイベント点検
出表示方法において、入力ストリームは素データが音声
波形のデータからなる音声ストリームであり、先読みバ
ッファのデータは素データが複数個分連結された形式の
音声波形データからなり、音声波形の振幅や周波数スペ
クトルなどの波形特徴量を用いることにより請求項１の
（２）ではイベント点の有無を、同じく（３）ではイベ
ント点の存在する音声の時間位置を検出でき、請求項1
の（３）と（４）とで用いる素データの出力方法とし
て、音声波形データをスピーカ装置などの音声出力手段
により出力することを特徴とした、ストリームイベント
点検出表示方法。
【請求項４】請求項１に示したストリームイベント点検
出表示方法において、請求項１の（２）でのイベント点
検出方法では、先読みバッファ中の１つの素データと前
回先読みバッファに読込んだ際のデータの中の１つの素
データとのデータ特徴量を求めることにより、該先読み
バッファ中のストリームに対してイベント点の有無を検
出できる、ストリームイベント点検出表示方法。
【請求項５】請求項１に示したストリームイベント点検
出表示方法において、先読みバッファには読込むストリ
ーム区間を構成する素データ列すべてを読込まず、入力
ストリームの先読みする部分区間の先頭位置と同末尾位
置を格納し、請求項１の（２）と（３）とのイベント点
検出方法では先読みバッファを参照する時点になって初
めて入力ストリームを読込むことを特徴とする、ストリ
ームイベント点検出表示方法。
【請求項６】請求項１に示したストリームイベント点検
出表示方法において、入力ストリームが、読込み処理を
短時間に行えるキー素データとキー素データに比べて読
込み処理に時間のかかる非キー素データから構成される
ストリーム形式の場合、先読みバッファには、キー素デ
ータと請求項５に示した情報を記録し、請求項１の
（２）のイベント点検出装置として請求項４に示したイ
ベント点検出装置をとることを特徴とした、ストリーム
イベント点検出表示方法。
【請求項７】請求項１に示したストリームイベント点検
出表示方法において、検出処理中にユーザがボタンなど
によって現在検出処理中のストリーム位置に強制的にイ
ベント点を検出させることが可能なストリームイベント
点検出表示方法。
【請求項８】請求項１に示したストリームイベント点検
出表示方法において、検出処理中にユーザがボタンなど
により、１素データ精度のイベント点の位置検出を行う
処理を無視することが可能なストリームイベント点検出
表示方法。
【請求項９】請求項１に示したストリームイベント点検
出表示方法において、検出された１つのイベント点を、
視覚的なアイコンとイベント点検出位置とによりディス
プレイなどの表示装置に表示可能な、ストリームイベン
ト点検出表示方法。
【請求項１０】請求項１に示したストリームイベント点
検出表示方法において、現在検出処理中のストリーム位
置を随時ディスプレイなどの表示装置などに表示するこ
とが可能な、ストリームイベント点検出表示方法。
【請求項１１】請求項１に示したストリームイベント点
検出表示方法において、現在の検出処理状況が、請求項
１の（３）に示したような１素データごとの検出処理中
なのか、同じく（２）または（４）に示したような早送
りでの検出処理中なのかを、随時アイコンなどで表示す
ることにより、検出状態を視覚的に区別できる、ストリ
ームイベント点検出表示方法。
【請求項１２】請求項８および請求項９に示したストリ
ームイベント点検出表示方法において、検出処理中にユ
ーザがボタンなどにより、１素データ精度のイベント点
の位置検出を行う処理を無視をしている状態にて検出さ
れた場合のイベント点の表示と、それ以外の状態にて検
出された場合のイベント点の表示とを、視覚的に区別で
きるように表示することが可能な、ストリームイベント
点検出表示方法。
【請求項１３】入力ストリームの読込みを行うストリー
ム入力装置と、読込まれた入力ストリームの先頭部分区
間を格納する先読みバッファと、ストリームをユーザな
どに対して出力するストリーム出力装置と、先読みバッ
ファ内のストリームを早送り形式で出力する早送り出力
制御装置と、該先読みバッファ内のストリームを１素デ
ータずつ出力する詳細出力制御装置と、該先読みバッフ
ァ内のストリーム中でのイベント点の存在有無を判定す
る早送りイベント点検出装置と、該先読みバッファ内の
ストリーム中のイベント点の位置を１素データ精度で判
定する詳細イベント点検出装置と、該早送りイベント点
検出装置が先読みバッファ内にイベント点なしと判断し
た場合は、先読みバッファの内容を該早送り出力制御装
置にて早送り出力し、該早送りイベント点検出装置が先
読みバッファ内にイベント点ありと判断した場合は、先
読みバッファ中の素データを順次読み出し該詳細出力制
御装置にて該素データを表示しながら、かつ、該詳細イ
ベント点検出装置にて該素データの位置でのイベント点
有無を判断する検出制御装置とを、有することを特徴と
するストリームイベント点検出表示装置。