JP2000217121A - ディジタル画像表示のビデオデ―タを圧縮した形で処理してシ―ン変化を検出する方法 - Google Patents
ディジタル画像表示のビデオデ―タを圧縮した形で処理してシ―ン変化を検出する方法Info
- Publication number
- JP2000217121A JP2000217121A JP11309407A JP30940799A JP2000217121A JP 2000217121 A JP2000217121 A JP 2000217121A JP 11309407 A JP11309407 A JP 11309407A JP 30940799 A JP30940799 A JP 30940799A JP 2000217121 A JP2000217121 A JP 2000217121A
- Authority
- JP
- Japan
- Prior art keywords
- frames
- frame
- component
- video data
- fade
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000012545 processing Methods 0.000 title claims description 26
- 238000001514 detection method Methods 0.000 description 9
- 239000011159 matrix material Substances 0.000 description 7
- 230000007704 transition Effects 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000013139 quantization Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 240000005589 Calophyllum inophyllum Species 0.000 description 1
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 241001102334 Janua Species 0.000 description 1
- 108010076504 Protein Sorting Signals Proteins 0.000 description 1
- 241001504453 Sylviidae Species 0.000 description 1
- 235000012545 Vaccinium macrocarpon Nutrition 0.000 description 1
- 244000291414 Vaccinium oxycoccus Species 0.000 description 1
- 235000002118 Vaccinium oxycoccus Nutrition 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 235000004634 cranberry Nutrition 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/147—Scene change detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/142—Detection of scene cut or scene change
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Signal Processing For Recording (AREA)
- Studio Circuits (AREA)
Abstract
(57)【要約】
【課題】 最初にビデオシーケンス情報を圧縮解除する
ことなく、圧縮された画像又はフレームのシーケンスの
シーン変化を突き止める、ディジタル画像表示のビデオ
データを圧縮した形で処理してシーン変化を検出する方
法を提供する。 【解決手段】 シーケンスがＩフレームの間にＰフレー
ムのサブシーケンスを含むようにし、又、符号情報を含
むＤＣ残余係数をＰフレームのサブシーケンスから抽出
する。もしＰフレームにおける残余係数が所定の閾値を
超えたら、シーン変化が指示され、正の係数はフェード
インを表し、負の係数はフェードアウトを表すようにし
た。
ことなく、圧縮された画像又はフレームのシーケンスの
シーン変化を突き止める、ディジタル画像表示のビデオ
データを圧縮した形で処理してシーン変化を検出する方
法を提供する。 【解決手段】 シーケンスがＩフレームの間にＰフレー
ムのサブシーケンスを含むようにし、又、符号情報を含
むＤＣ残余係数をＰフレームのサブシーケンスから抽出
する。もしＰフレームにおける残余係数が所定の閾値を
超えたら、シーン変化が指示され、正の係数はフェード
インを表し、負の係数はフェードアウトを表すようにし
た。
Description
【０００１】
【発明の属する技術分野】この発明は、例えば、高精細
度テレビジョン(ＨＤＴＶ)放送信号や、ＷＷＷビデオサ
ービスで出会うようなその他のビデオ配布システム等で
遭遇するタイプのビデオ信号シーケンス(連続ビデオ信
号)に索引を付けるためのシーン・フェード検出法、特
にディジタル画像表示のビデオデータを圧縮した形で処
理してシーン変化を検出する方法に関するものである。
度テレビジョン(ＨＤＴＶ)放送信号や、ＷＷＷビデオサ
ービスで出会うようなその他のビデオ配布システム等で
遭遇するタイプのビデオ信号シーケンス(連続ビデオ信
号)に索引を付けるためのシーン・フェード検出法、特
にディジタル画像表示のビデオデータを圧縮した形で処
理してシーン変化を検出する方法に関するものである。
【０００２】
【従来の技術】ディジタル・カラービデオ信号の帯域幅
を圧縮する基本的な方法がＭＰＥＧ(Motion Picture Ex
pert Group)によって採用されている。
を圧縮する基本的な方法がＭＰＥＧ(Motion Picture Ex
pert Group)によって採用されている。
【０００３】ＭＰＥＧ規格は、画像のみのフルフレーム
に関する情報をしばしば開発することによって、高いデ
ータ圧縮率を達成している。フル画像フレーム、すなわ
ちイントラ符号化された画像は、「Ｉフレーム」と呼ば
れ、他のフレームとは無関係なフルフレーム情報を包含
する。ＢフレームとＰフレームとが、このＩフレーム間
で符号化されるが、これらは基準アンカフレーム(ancho
r frame)との間の画像差のみを格納する。
に関する情報をしばしば開発することによって、高いデ
ータ圧縮率を達成している。フル画像フレーム、すなわ
ちイントラ符号化された画像は、「Ｉフレーム」と呼ば
れ、他のフレームとは無関係なフルフレーム情報を包含
する。ＢフレームとＰフレームとが、このＩフレーム間
で符号化されるが、これらは基準アンカフレーム(ancho
r frame)との間の画像差のみを格納する。
【０００４】一般に、ビデオシーケンスの各フレーム
は、画素データの小さなブロックに区分化され、各ブロ
ックは、離散コサイン変換（ＤＣＴ）機能を施され、統
計上依存する空間領域画素（ピクセル）が、統計上依存
しない周波数領域ＤＣＴ係数に変換される。
は、画素データの小さなブロックに区分化され、各ブロ
ックは、離散コサイン変換（ＤＣＴ）機能を施され、統
計上依存する空間領域画素（ピクセル）が、統計上依存
しない周波数領域ＤＣＴ係数に変換される。
【０００５】画素のそれぞれの８×８ブロックが離散コ
サイン変換（ＤＣＴ）を施され、符号化信号を生じる。
結果として生じた係数は一般に適応量子化を受け、次い
でランレングス及び可変長符号化を受ける。こうして、
伝送データのブロックは、通常８×８マトリックス未満
の符号語を含む。イントラフレーム符号化データ（Ｉフ
レーム）のマクロブロックは、用いられた量子化のレベ
ル、又はマクロブロック・アドレス、或いは記憶位置標
識、並びにマクロブロック・タイプ等の情報も含むはず
である。後者の情報は「ヘッダ」や「オーバヘッド」情
報と呼ばれる。
サイン変換（ＤＣＴ）を施され、符号化信号を生じる。
結果として生じた係数は一般に適応量子化を受け、次い
でランレングス及び可変長符号化を受ける。こうして、
伝送データのブロックは、通常８×８マトリックス未満
の符号語を含む。イントラフレーム符号化データ（Ｉフ
レーム）のマクロブロックは、用いられた量子化のレベ
ル、又はマクロブロック・アドレス、或いは記憶位置標
識、並びにマクロブロック・タイプ等の情報も含むはず
である。後者の情報は「ヘッダ」や「オーバヘッド」情
報と呼ばれる。
【０００６】Ｐ又はＢのフレーム間符号化に基づく符号
化データのブロックも、離散コサイン係数のマトリック
スから成る。しかし、この場合には、離散コサイン係数
は、残余、すなわち予測される８×８画素マトリックス
と実際の８×８画素マトリックスとの差を表す。この係
数は、量子化と、ランレングス及び可変長符号化も受け
る。フレームシーケンスにおいて、Ｉ及びＰフレームは
アンカフレームに指定される。各Ｐフレームは、最後に
現れるアンカフレームから予測される。各Ｂフレーム
は、これを挟むアンカフレームの一つ又は両方から予測
される。予測符号化プロセスは、変位ベクトルの生成を
必然的に伴う。この変位ベクトルは、アンカフレームの
どのブロックが、現在符号化されつつある予測フレーム
のブロックに一番ぴったりマッチするかを示す。アンカ
フレーム内の当該マッチしたブロックの画素データは、
画素ごとに、符号化されつつあるフレームのブロックか
ら差し引かれ、残余を生じる。変換された残余とベクト
ルとは、予測フレームに関する符号化データを含む。イ
ントラフレーム符号化フレームの場合と同様に、マクロ
ブロックは、量子化、アドレス、及びタイプに関する情
報を含む。
化データのブロックも、離散コサイン係数のマトリック
スから成る。しかし、この場合には、離散コサイン係数
は、残余、すなわち予測される８×８画素マトリックス
と実際の８×８画素マトリックスとの差を表す。この係
数は、量子化と、ランレングス及び可変長符号化も受け
る。フレームシーケンスにおいて、Ｉ及びＰフレームは
アンカフレームに指定される。各Ｐフレームは、最後に
現れるアンカフレームから予測される。各Ｂフレーム
は、これを挟むアンカフレームの一つ又は両方から予測
される。予測符号化プロセスは、変位ベクトルの生成を
必然的に伴う。この変位ベクトルは、アンカフレームの
どのブロックが、現在符号化されつつある予測フレーム
のブロックに一番ぴったりマッチするかを示す。アンカ
フレーム内の当該マッチしたブロックの画素データは、
画素ごとに、符号化されつつあるフレームのブロックか
ら差し引かれ、残余を生じる。変換された残余とベクト
ルとは、予測フレームに関する符号化データを含む。イ
ントラフレーム符号化フレームの場合と同様に、マクロ
ブロックは、量子化、アドレス、及びタイプに関する情
報を含む。
【０００７】その結果、通常は、ブロックにおけるほん
のわずかの離散コサイン係数が画像情報の大部分を包含
するほどエレルギーが集中した状態になる。この係数
は、その範囲のうちの動的範囲を効果的に制限する既知
の方法で量子化され、次いで、伝送媒体への応用のため
に、その結果はランレングス符号化及び可変長符号化を
施される。
のわずかの離散コサイン係数が画像情報の大部分を包含
するほどエレルギーが集中した状態になる。この係数
は、その範囲のうちの動的範囲を効果的に制限する既知
の方法で量子化され、次いで、伝送媒体への応用のため
に、その結果はランレングス符号化及び可変長符号化を
施される。
【０００８】いわゆるＭＰＥＧ−４フォーマットは、指
定ISO-IEC JTC1/SC29/WG11 MPEG 96/N1469, November 1
996の下に、Adhoc Group on MPEG-4 Video VM Editing
によって配布された “MPEG-4 Video Verification Mod
el Version 5.0” の中に説明されている。ＭＰＥＧ−
４ビデオ符号化フォーマットは、符号器で、フレームか
らフレームへと可変ビット伝送速度ストリームを生成す
る（以前の方式の場合も同じであった）。可変ビット伝
送速度ストリームは一定速度のチャンネルを通じて伝送
されるので、チャンネル・バッファを用いればビットス
トリームの出力を平滑化することができる。バッファが
オーバフローしたりアンダフローしたりするのを防ぐた
め、符号化プロセスの速度制御を行なう。
定ISO-IEC JTC1/SC29/WG11 MPEG 96/N1469, November 1
996の下に、Adhoc Group on MPEG-4 Video VM Editing
によって配布された “MPEG-4 Video Verification Mod
el Version 5.0” の中に説明されている。ＭＰＥＧ−
４ビデオ符号化フォーマットは、符号器で、フレームか
らフレームへと可変ビット伝送速度ストリームを生成す
る（以前の方式の場合も同じであった）。可変ビット伝
送速度ストリームは一定速度のチャンネルを通じて伝送
されるので、チャンネル・バッファを用いればビットス
トリームの出力を平滑化することができる。バッファが
オーバフローしたりアンダフローしたりするのを防ぐた
め、符号化プロセスの速度制御を行なう。
【０００９】ＷＷＷで配布されるような新しいディジタ
ルビデオ・サービスの到来とともに、シーン変化やその
他のビデオシーケンスにおける諸特性を識別するための
信号処理技術の必要性が高まりつつある。シーン変化の
識別は、シーン変化が急激であれ段階的であれ、迅速で
簡単な画像検索やシーン分析等を容易にする索引付けの
ために有用である。
ルビデオ・サービスの到来とともに、シーン変化やその
他のビデオシーケンスにおける諸特性を識別するための
信号処理技術の必要性が高まりつつある。シーン変化の
識別は、シーン変化が急激であれ段階的であれ、迅速で
簡単な画像検索やシーン分析等を容易にする索引付けの
ために有用である。
【００１０】将来は、著しい量のディジタルビデオ材料
が、上述したような圧縮データ、すなわち符号化データ
の形で供給されることを期待すべきである。可能なら
ば、ビデオシーケンス情報を圧縮解除された形、すなわ
ち復号された形ではなく、圧縮された形のままで処理す
れば、データサイズを縮小し変換を回避できるので、よ
り迅速な処理が通常可能となる。他の処理を実施する前
にフルフレームを圧縮解除する必要を無くし、圧縮デー
タを直接に処理することを可能にする方法及び技術を開
発することは好都合なことである。
が、上述したような圧縮データ、すなわち符号化データ
の形で供給されることを期待すべきである。可能なら
ば、ビデオシーケンス情報を圧縮解除された形、すなわ
ち復号された形ではなく、圧縮された形のままで処理す
れば、データサイズを縮小し変換を回避できるので、よ
り迅速な処理が通常可能となる。他の処理を実施する前
にフルフレームを圧縮解除する必要を無くし、圧縮デー
タを直接に処理することを可能にする方法及び技術を開
発することは好都合なことである。
【００１１】ブロック（マクロブロック）が対象物のエ
ッジ境界を含む場合は、ＤＣＴ係数で表されるような変
換後のそのブロック内のエネルギーは、比較的大きなＤ
Ｃ係数（マトリックスの最上列左隅）と、マトリックス
全体を通じてランダムに分布したＡＣ係数とを含む。一
方、エッジなしのブロックは通常、同様に大きなＤＣ係
数（マトリックスの最上列左隅）と、そのブロックに関
連する他の係数よりもかなり大きな、少しの（例えば二
つの）隣接するＡＣ係数によって特徴づけられる。この
情報は、空間定義域における画像変化に関連しており、
連続するフレームを比較することによって得られる画像
差情報（すなわち一時的差）と組み合わせると、いくつ
かの因子が、一つのビデオ対象物（ＶＯ）を別のビデオ
対象物と区別するのに利用できる。もしマクロブロック
のＤＣ値しか使わなければ、結果として生じる画像は、
原画像のコンテンツの大部分を保持する、原画像のピン
ぼけバージョンになる。
ッジ境界を含む場合は、ＤＣＴ係数で表されるような変
換後のそのブロック内のエネルギーは、比較的大きなＤ
Ｃ係数（マトリックスの最上列左隅）と、マトリックス
全体を通じてランダムに分布したＡＣ係数とを含む。一
方、エッジなしのブロックは通常、同様に大きなＤＣ係
数（マトリックスの最上列左隅）と、そのブロックに関
連する他の係数よりもかなり大きな、少しの（例えば二
つの）隣接するＡＣ係数によって特徴づけられる。この
情報は、空間定義域における画像変化に関連しており、
連続するフレームを比較することによって得られる画像
差情報（すなわち一時的差）と組み合わせると、いくつ
かの因子が、一つのビデオ対象物（ＶＯ）を別のビデオ
対象物と区別するのに利用できる。もしマクロブロック
のＤＣ値しか使わなければ、結果として生じる画像は、
原画像のコンテンツの大部分を保持する、原画像のピン
ぼけバージョンになる。
【００１２】圧縮ビデオからの検索のための索引付けに
関する従来の研究は、大部分がＤＣ係数の抽出を強調し
ていた。Yeo、Liu著、論文 「“Rapid Scene Analysis
on Compressed Video”（圧縮ビデオに対する迅速なシ
ーン分析）」 IEEE Transactions on Circuits and Sys
tems for Video Technology, Vol.5, No.6, December19
95, page 533-544. においては、ＭＰＥＧ−２圧縮ビデ
オ領域におけるシーン変化検出法について説明するとと
もに、完全な（圧縮されていない）画像データのシーケ
ンスに基づくシーン変化を検出してきた従来の努力、及
び他の研究者の種々の圧縮ビデオ処理技術を展望してい
る。YEO とLiuとは、原画像の空間的縮小バージョン、
いわゆるＤＣ画像、及びシーン分析操作を簡便化するた
めに圧縮ビデオから抽出されたＤＣシーケンスの使用を
紹介した。彼らのＤＣ画像は、原画像のブロック内の画
素の平均値を成す画素で構成されており、そのＤＣシー
ケンスは、結果として数が減った画素から成るＤＣ画像
の組み合わせである。
関する従来の研究は、大部分がＤＣ係数の抽出を強調し
ていた。Yeo、Liu著、論文 「“Rapid Scene Analysis
on Compressed Video”（圧縮ビデオに対する迅速なシ
ーン分析）」 IEEE Transactions on Circuits and Sys
tems for Video Technology, Vol.5, No.6, December19
95, page 533-544. においては、ＭＰＥＧ−２圧縮ビデ
オ領域におけるシーン変化検出法について説明するとと
もに、完全な（圧縮されていない）画像データのシーケ
ンスに基づくシーン変化を検出してきた従来の努力、及
び他の研究者の種々の圧縮ビデオ処理技術を展望してい
る。YEO とLiuとは、原画像の空間的縮小バージョン、
いわゆるＤＣ画像、及びシーン分析操作を簡便化するた
めに圧縮ビデオから抽出されたＤＣシーケンスの使用を
紹介した。彼らのＤＣ画像は、原画像のブロック内の画
素の平均値を成す画素で構成されており、そのＤＣシー
ケンスは、結果として数が減った画素から成るＤＣ画像
の組み合わせである。
【００１３】Won 他は、Proc. SPIE Conf. on Storage
and Retrieval for Image and Video Databases, Janua
ry, 1998で発表した論文において、フレーム内のエッジ
を突き止めるために、ＤＣ係数のために使われるビット
を利用することによって、圧縮されたＭＰＥＧ−2ビデ
オから特徴を抽出する方法について説明している。しか
し、この研究は、Ｉフレームのみに限定されている。Ko
bla 他は、同じ処置の中で、Yeo 他のＤＣ画像抽出法を
用いて、ビデオクリップを特徴づけるビデオ・トレール
(video trails)を形成する方法についても説明してい
る。Feng 他は(IEEE International Conference on Ima
ge Processing, Vol II, pp. 821-824, Sept.16-19, 19
96)は、ＭＰＥＧ−２フレームのマクロブロック全体に
わたるビット割り当てを用いて、ＤＣ画像を抽出するこ
となく急激なシーン変化を検出している。Feng 他の技
術は、計算が最も簡単である。それは、圧縮されたビッ
トストリームをパージング（オペランド解析）するのに
必要な計算のほかには計算があまり要らないからであ
る。
and Retrieval for Image and Video Databases, Janua
ry, 1998で発表した論文において、フレーム内のエッジ
を突き止めるために、ＤＣ係数のために使われるビット
を利用することによって、圧縮されたＭＰＥＧ−2ビデ
オから特徴を抽出する方法について説明している。しか
し、この研究は、Ｉフレームのみに限定されている。Ko
bla 他は、同じ処置の中で、Yeo 他のＤＣ画像抽出法を
用いて、ビデオクリップを特徴づけるビデオ・トレール
(video trails)を形成する方法についても説明してい
る。Feng 他は(IEEE International Conference on Ima
ge Processing, Vol II, pp. 821-824, Sept.16-19, 19
96)は、ＭＰＥＧ−２フレームのマクロブロック全体に
わたるビット割り当てを用いて、ＤＣ画像を抽出するこ
となく急激なシーン変化を検出している。Feng 他の技
術は、計算が最も簡単である。それは、圧縮されたビッ
トストリームをパージング（オペランド解析）するのに
必要な計算のほかには計算があまり要らないからであ
る。
【００１４】本発明の発明者らが本出願と併行して提出
した共存出願（連続画像におけるインデクシングに用い
る画像変化検出およびフェード検出）に記載している関
連発明によれば、計算の簡単な方法が考案されている。
その方法は、急激なシーン変化に対して正確で簡単な検
出を行なうために、Feng 他のアプローチとYeo 他のア
プローチとを、ある側面において組み合わせたものであ
る。本願発明者らは、ビット割り当て情報を利用してビ
デオシーケンスの特徴を抽出する技術をも研究した。
した共存出願（連続画像におけるインデクシングに用い
る画像変化検出およびフェード検出）に記載している関
連発明によれば、計算の簡単な方法が考案されている。
その方法は、急激なシーン変化に対して正確で簡単な検
出を行なうために、Feng 他のアプローチとYeo 他のア
プローチとを、ある側面において組み合わせたものであ
る。本願発明者らは、ビット割り当て情報を利用してビ
デオシーケンスの特徴を抽出する技術をも研究した。
【００１５】段階的シーン変化検出に関する他の研究者
による従来の研究は、種々の技術、例えば、エッジ変化
フラクション、ツイン比較法、ブロックマッチングによ
るモーション補償−見積り、遅延フレーム差計量におけ
るプラトー（平坦域）の検出、ビデオ編集モデルによる
方法等を考慮した技術を利用している。これらの中で、
圧縮領域で効果を発揮するのはプラトー検出法のみであ
る。
による従来の研究は、種々の技術、例えば、エッジ変化
フラクション、ツイン比較法、ブロックマッチングによ
るモーション補償−見積り、遅延フレーム差計量におけ
るプラトー（平坦域）の検出、ビデオ編集モデルによる
方法等を考慮した技術を利用している。これらの中で、
圧縮領域で効果を発揮するのはプラトー検出法のみであ
る。
【００１６】ＩフレームからＤＣ値を抽出するのは比較
的簡単であるため、ＤＣ画像抽出による技術はＩフレー
ムに適していることに留意すべきである。しかし、Ｐフ
レームの場合は、一般にさらなる計算が必要である。
的簡単であるため、ＤＣ画像抽出による技術はＩフレー
ムに適していることに留意すべきである。しかし、Ｐフ
レームの場合は、一般にさらなる計算が必要である。
【００１７】本願発明者らが前述の共存出願の中で説明
しているように、本願発明者らは、ＤＣ画像抽出による
技術の使用によって、起こり得るシーン／対象物変化が
いったん連続フレーム／対象物のグループ内に正確に突
き止められたら、適切な、ビット割り当てによる技術、
及び／又は適切なＤＣ残余係数処理技術を起こり得る変
化点の近傍についてのＰフレーム情報に適用することを
決定し、カットポイント(cut point)を迅速かつ正確に
突き止めるようにした。この組み合された方法は、ＭＰ
ＥＧ−2シーケンスか又はＭＰＥＧ−４多重対象シーケ
ンスに適用可能である。
しているように、本願発明者らは、ＤＣ画像抽出による
技術の使用によって、起こり得るシーン／対象物変化が
いったん連続フレーム／対象物のグループ内に正確に突
き止められたら、適切な、ビット割り当てによる技術、
及び／又は適切なＤＣ残余係数処理技術を起こり得る変
化点の近傍についてのＰフレーム情報に適用することを
決定し、カットポイント(cut point)を迅速かつ正確に
突き止めるようにした。この組み合された方法は、ＭＰ
ＥＧ−2シーケンスか又はＭＰＥＧ−４多重対象シーケ
ンスに適用可能である。
【００１８】
【発明が解決しようとする課題】しかしながら従来、ビ
デオシーケンス情報を圧縮解除することなく、圧縮され
た画像又はフレームのシーケンスのシーン変化を突き止
める方法は存在しなかった。
デオシーケンス情報を圧縮解除することなく、圧縮され
た画像又はフレームのシーケンスのシーン変化を突き止
める方法は存在しなかった。
【００１９】本発明は、最初にビデオシーケンス情報を
圧縮解除することなく、圧縮された画像又はフレームの
シーケンスのシーン変化を突き止める、ディジタル画像
表示のビデオデータを圧縮した形で処理してシーン変化
を検出する方法を提供することを目的とする。
圧縮解除することなく、圧縮された画像又はフレームの
シーケンスのシーン変化を突き止める、ディジタル画像
表示のビデオデータを圧縮した形で処理してシーン変化
を検出する方法を提供することを目的とする。
【００２０】
【課題を解決するための手段】上記の目的に鑑み、この
発明は、少なくとも、Ｉフレーム間に現れるＰフレーム
とＩフレームを含む、圧縮した形のディジタル画像表示
のビデオデータのシーケンスから、画像グループに対応
するＰフレームの各サブシーケンスを抽出する工程と、
前記サブシーケンスにおけるフレームごとの前記圧縮さ
れた形のデータを処理し、符号情報を含めて、対応する
ＤＣ残余係数を前記Ｐフレームごとに抽出する工程と、
フェードイン及びフェードアウトシーン変化をそれぞれ
突き止めるため、閾値を超えている前記検索されたＰフ
レームにおける正及び負のＤＣ残余係数の数をそれぞれ
測定する工程と、を含むことを特徴とするディジタル画
像表示のビデオデータを圧縮した形で処理してシーン変
化を検出する方法にある。
発明は、少なくとも、Ｉフレーム間に現れるＰフレーム
とＩフレームを含む、圧縮した形のディジタル画像表示
のビデオデータのシーケンスから、画像グループに対応
するＰフレームの各サブシーケンスを抽出する工程と、
前記サブシーケンスにおけるフレームごとの前記圧縮さ
れた形のデータを処理し、符号情報を含めて、対応する
ＤＣ残余係数を前記Ｐフレームごとに抽出する工程と、
フェードイン及びフェードアウトシーン変化をそれぞれ
突き止めるため、閾値を超えている前記検索されたＰフ
レームにおける正及び負のＤＣ残余係数の数をそれぞれ
測定する工程と、を含むことを特徴とするディジタル画
像表示のビデオデータを圧縮した形で処理してシーン変
化を検出する方法にある。
【００２１】また、前記測定工程は、前記Ｐフレームの
各々において、正のＤＣ成分を有するブロックの数と、
負のＤＣ成分を有するブロックの数とをカウントするス
テップと、前記Ｐフレームごとに、どちらのカウントが
大きいかを決定し、大きい方のカウントの符号を保存す
るステップと、大きい方のカウントが、前記フレームに
おける非ゼロＤＣ成分の所定の過半数以上である場合に
各Ｐフレームを識別するステップと、特定の符号のＤＣ
成分が反対符号のＤＣ成分を一貫して超えるような各画
像グループを識別するステップと、前記識別された画像
グループの各々における前記大きい方のカウントが正の
符号を伴う場合には、フェードイン・シーン変化を指定
するステップ、前記識別された画像グループの各々にお
ける前記大きい方のカウントが負の符号を伴う場合に
は、フェードアウト・シーン変化を指定するステップ
と、を含むことを特徴とする請求項１に記載のディジタ
ル画像表示のビデオデータを圧縮した形で処理してシー
ン変化を検出する方法にある。
各々において、正のＤＣ成分を有するブロックの数と、
負のＤＣ成分を有するブロックの数とをカウントするス
テップと、前記Ｐフレームごとに、どちらのカウントが
大きいかを決定し、大きい方のカウントの符号を保存す
るステップと、大きい方のカウントが、前記フレームに
おける非ゼロＤＣ成分の所定の過半数以上である場合に
各Ｐフレームを識別するステップと、特定の符号のＤＣ
成分が反対符号のＤＣ成分を一貫して超えるような各画
像グループを識別するステップと、前記識別された画像
グループの各々における前記大きい方のカウントが正の
符号を伴う場合には、フェードイン・シーン変化を指定
するステップ、前記識別された画像グループの各々にお
ける前記大きい方のカウントが負の符号を伴う場合に
は、フェードアウト・シーン変化を指定するステップ
と、を含むことを特徴とする請求項１に記載のディジタ
ル画像表示のビデオデータを圧縮した形で処理してシー
ン変化を検出する方法にある。
【００２２】また、各Ｐフレームを識別する前記ステッ
プは、大きい方のカウントが、前記フレームにおける非
ゼロＤＣ成分の６０％以上である場合に各フレームを識
別することを更に含むことを特徴とする請求項２に記載
のディジタル画像表示のビデオデータを圧縮した形で処
理してシーン変化を検出する方法にある。
プは、大きい方のカウントが、前記フレームにおける非
ゼロＤＣ成分の６０％以上である場合に各フレームを識
別することを更に含むことを特徴とする請求項２に記載
のディジタル画像表示のビデオデータを圧縮した形で処
理してシーン変化を検出する方法にある。
【００２３】また、各画像グループを識別する前記ステ
ップは、一つの符号のＤＣ成分が、フェード・シーケン
スにほぼ等しい時間間隔に相当する全てのＰフレームに
おける反対符号のＤＣ成分を超えるような各画像グルー
プを識別することを含むことを特徴とする請求項２に記
載のディジタル画像表示のビデオデータを圧縮した形で
処理してシーン変化を検出する方法にある。
ップは、一つの符号のＤＣ成分が、フェード・シーケン
スにほぼ等しい時間間隔に相当する全てのＰフレームに
おける反対符号のＤＣ成分を超えるような各画像グルー
プを識別することを含むことを特徴とする請求項２に記
載のディジタル画像表示のビデオデータを圧縮した形で
処理してシーン変化を検出する方法にある。
【００２４】また、各画像グループを識別する前記ステ
ップは、一つの符号のＤＣ成分が、１秒のオーダの時間
間隔の間の全てのＰフレームにおける反対符号のＤＣ成
分を超えるような各画像グループを識別することを含む
ことを特徴とする請求項３に記載のディジタル画像表示
のビデオデータを圧縮した形で処理してシーン変化を検
出する方法にある。
ップは、一つの符号のＤＣ成分が、１秒のオーダの時間
間隔の間の全てのＰフレームにおける反対符号のＤＣ成
分を超えるような各画像グループを識別することを含む
ことを特徴とする請求項３に記載のディジタル画像表示
のビデオデータを圧縮した形で処理してシーン変化を検
出する方法にある。
【００２５】また、閾値を超えている前記検索されたＰ
フレームにおける正及び負のＤＣ残余係数の数を測定す
る前記工程は、一つの符号のＤＣ成分が、反対符号のＤ
Ｃ成分の数を、少なくとも所定の値だけ超える各画像グ
ループを識別することを含むことを特徴とする請求項１
に記載のディジタル画像表示のビデオデータを圧縮した
形で処理してシーン変化を検出する方法にある。
フレームにおける正及び負のＤＣ残余係数の数を測定す
る前記工程は、一つの符号のＤＣ成分が、反対符号のＤ
Ｃ成分の数を、少なくとも所定の値だけ超える各画像グ
ループを識別することを含むことを特徴とする請求項１
に記載のディジタル画像表示のビデオデータを圧縮した
形で処理してシーン変化を検出する方法にある。
【００２６】
【発明の実施の形態】本発明によれば、ディジタル画像
表示のビデオデータを圧縮した形で処理する一段と単純
化された方法は、圧縮された形のディジタル画像表示の
ビデオデータのシーケンスからの抽出工程を含む。この
ビデオデータは、少なくとも、Ｉフレーム間に現れるＰ
フレーム及びＩフレーム、並びにフェードイン及びフェ
ードアウト段階的シーン変化を検出するためにＰフレー
ムのＤＣ係数に割り当てられたビットを含む。具体的に
は、段階的シーン変化の出現は、閾値を超えている検索
された各Ｐフレームにおける正及び負のＤＣ残余係数の
数を測定し、フェードイン及びフェードアウトを突き止
めることによって検出される。
表示のビデオデータを圧縮した形で処理する一段と単純
化された方法は、圧縮された形のディジタル画像表示の
ビデオデータのシーケンスからの抽出工程を含む。この
ビデオデータは、少なくとも、Ｉフレーム間に現れるＰ
フレーム及びＩフレーム、並びにフェードイン及びフェ
ードアウト段階的シーン変化を検出するためにＰフレー
ムのＤＣ係数に割り当てられたビットを含む。具体的に
は、段階的シーン変化の出現は、閾値を超えている検索
された各Ｐフレームにおける正及び負のＤＣ残余係数の
数を測定し、フェードイン及びフェードアウトを突き止
めることによって検出される。
【００２７】このようにして、一時的なセグメンテーシ
ョン（区分化）マーカを生成することができるが、この
マーカは入力ビデオシーケンスに付随し、ビデオシーケ
ンスの特定のシーン・フェード変化を突き止め、識別す
る。
ョン（区分化）マーカを生成することができるが、この
マーカは入力ビデオシーケンスに付随し、ビデオシーケ
ンスの特定のシーン・フェード変化を突き止め、識別す
る。
【００２８】次に、フェードイン／フェードアウト・シ
ーン変化の検出工程に関する特定の推奨すべき手だてを
詳細に説明しよう。本発明のより全般的な態様から逸脱
することなく、これらの工程の細部を変更する実質的な
機会があることを理解すべきである。しかし、当業者に
実施可能な変更について認識してもらうために、以下に
詳細な手段方法を示す。
ーン変化の検出工程に関する特定の推奨すべき手だてを
詳細に説明しよう。本発明のより全般的な態様から逸脱
することなく、これらの工程の細部を変更する実質的な
機会があることを理解すべきである。しかし、当業者に
実施可能な変更について認識してもらうために、以下に
詳細な手段方法を示す。
【００２９】段階的なシーン変化がある場合は、画像は
完全に黒いフレームからフェードインしようとするか、
又は完全に黒いフレームへフェードアウトしようとする
ので、その画像の全てのブロックはＤＣ補正項を含むこ
とが分かっている。この点に留意した結果、残余ブロッ
クのＤＣ成分に対するビット割り当てプロフィルは、フ
ェード検出用の指標を提供することが分かった。本発明
によれば、フェード検出法は次の工程から成る。 １．Ｐフレームごとに、負のＤＣ成分を持つブロックの
数及び正のＤＣ成分を持つブロックの数をカウントす
る。ＭＰＥＧ−2及びＭＰＥＧ−４の場合には、この工
程はＶＬＣパーシングによって容易に達成することがで
きる。なぜならば、全ての非ゼロＤＣ成分は非ゼロ数の
ビットと、その成分が正であるか負であるかを示す符号
ビットとを割り当てられるはずだからである。ゼロＤＣ
成分はランレングス情報によって示され、従って容易に
スキップすることができる。 ２．フレーム数に対する上で得られた二つの数の指数部
を決定する。 ３．もし現在のビデオの慣行（例えば、ほぼ１秒のオー
ダ）で用いられているような通例のフェード時間間隔に
わたって延在するＰフレームのシーケンスにおける負の
遷移部(transitions)の数が、一貫して非ゼロの遷移部
の総数の６０％以上であれば、フェードアウトを宣言す
る。逆に、正の遷移部の数が上記の閾値に合致するなら
ば、フェードインを宣言する。フェード時間間隔は、ほ
ぼ１５から４５フレームに相当し、より一般的には、現
行の放送技術の下で約２５又は３０フレーム（約１秒）
に相当することが認められている。
完全に黒いフレームからフェードインしようとするか、
又は完全に黒いフレームへフェードアウトしようとする
ので、その画像の全てのブロックはＤＣ補正項を含むこ
とが分かっている。この点に留意した結果、残余ブロッ
クのＤＣ成分に対するビット割り当てプロフィルは、フ
ェード検出用の指標を提供することが分かった。本発明
によれば、フェード検出法は次の工程から成る。 １．Ｐフレームごとに、負のＤＣ成分を持つブロックの
数及び正のＤＣ成分を持つブロックの数をカウントす
る。ＭＰＥＧ−2及びＭＰＥＧ−４の場合には、この工
程はＶＬＣパーシングによって容易に達成することがで
きる。なぜならば、全ての非ゼロＤＣ成分は非ゼロ数の
ビットと、その成分が正であるか負であるかを示す符号
ビットとを割り当てられるはずだからである。ゼロＤＣ
成分はランレングス情報によって示され、従って容易に
スキップすることができる。 ２．フレーム数に対する上で得られた二つの数の指数部
を決定する。 ３．もし現在のビデオの慣行（例えば、ほぼ１秒のオー
ダ）で用いられているような通例のフェード時間間隔に
わたって延在するＰフレームのシーケンスにおける負の
遷移部(transitions)の数が、一貫して非ゼロの遷移部
の総数の６０％以上であれば、フェードアウトを宣言す
る。逆に、正の遷移部の数が上記の閾値に合致するなら
ば、フェードインを宣言する。フェード時間間隔は、ほ
ぼ１５から４５フレームに相当し、より一般的には、現
行の放送技術の下で約２５又は３０フレーム（約１秒）
に相当することが認められている。
【００３０】このフェード検出技術は、符号器によって
実施されるモーション検索を利用している。この技術に
よって、特定のマクロブロックと、以前のフレームにお
いてそのマクロブロックと最も良くマッチしたものとの
間のＤＣ差を符号化するのに用いられる速度が測定され
る。
実施されるモーション検索を利用している。この技術に
よって、特定のマクロブロックと、以前のフレームにお
いてそのマクロブロックと最も良くマッチしたものとの
間のＤＣ差を符号化するのに用いられる速度が測定され
る。
【００３１】このようにして、最初にＩフレームを検査
するしないにかかわらず、本発明により、全てのＰフレ
ームについて正及び負のＤＣ成分の数を比較することに
よって、フェードイン及びフェードアウト・シーン変化
を検出することができる。具体的には、Ｐフレームごと
に、負のＤＣ成分を持つブロックの数と、正のＤＣ成分
を持つブロックの数とをカウントする。もし負の遷移部
の数が、慣例的なフェード時間間隔の少なくとも大部分
に相当するフレームのシーケンスにわたる非ゼロの遷移
部の総数の６０％以上であれば、フェードアウトを宣言
する。逆に、正の遷移部の数が同様な適切な数のフレー
ムにわたる閾値レベルに合致するならばフェードインを
宣言する。もう一度、スライディング・ウィンドウ(sli
ding window)を使用してもよい。
するしないにかかわらず、本発明により、全てのＰフレ
ームについて正及び負のＤＣ成分の数を比較することに
よって、フェードイン及びフェードアウト・シーン変化
を検出することができる。具体的には、Ｐフレームごと
に、負のＤＣ成分を持つブロックの数と、正のＤＣ成分
を持つブロックの数とをカウントする。もし負の遷移部
の数が、慣例的なフェード時間間隔の少なくとも大部分
に相当するフレームのシーケンスにわたる非ゼロの遷移
部の総数の６０％以上であれば、フェードアウトを宣言
する。逆に、正の遷移部の数が同様な適切な数のフレー
ムにわたる閾値レベルに合致するならばフェードインを
宣言する。もう一度、スライディング・ウィンドウ(sli
ding window)を使用してもよい。
【００３２】本発明を推奨する実施の形態について説明
したが、本発明は、特許請求の範囲に記載された範囲か
ら逸脱することなく種々の修正を実施することが可能で
ある。
したが、本発明は、特許請求の範囲に記載された範囲か
ら逸脱することなく種々の修正を実施することが可能で
ある。
【００３３】要約すると本願発明では、少なくとも、Ｉ
フレーム間に現れるＰフレームとＩフレームを含む、圧
縮した形のディジタル画像表示のビデオデータのシーケ
ンスから、画像グループに対応するＰフレームの各サブ
シーケンスを抽出し、サブシーケンスにおけるフレーム
ごとの圧縮された形のデータを処理し、符号情報を含め
て、対応するＤＣ残余係数をＰフレームごとに抽出し、
フェードイン及びフェードアウトシーン変化をそれぞれ
突き止めるため、閾値を超えている検索されたＰフレー
ムにおける正及び負のＤＣ残余係数の数をそれぞれ測定
するようにした。
フレーム間に現れるＰフレームとＩフレームを含む、圧
縮した形のディジタル画像表示のビデオデータのシーケ
ンスから、画像グループに対応するＰフレームの各サブ
シーケンスを抽出し、サブシーケンスにおけるフレーム
ごとの圧縮された形のデータを処理し、符号情報を含め
て、対応するＤＣ残余係数をＰフレームごとに抽出し、
フェードイン及びフェードアウトシーン変化をそれぞれ
突き止めるため、閾値を超えている検索されたＰフレー
ムにおける正及び負のＤＣ残余係数の数をそれぞれ測定
するようにした。
【００３４】また、Ｐフレームにおける正及び負のＤＣ
残余係数の数を測定する際、例えば、Ｐフレームの各々
において、正のＤＣ成分を有するブロックの数と、負の
ＤＣ成分を有するブロックの数とをカウントし、Ｐフレ
ームごとに、どちらのカウントが大きいかを決定し、大
きい方のカウントの符号を保存し、大きい方のカウント
が、フレームにおける非ゼロＤＣ成分の所定の過半数以
上である場合に各Ｐフレームを識別し、特定の符号のＤ
Ｃ成分が反対符号のＤＣ成分を一貫して超えるような各
画像グループを識別し、識別された画像グループの各々
における大きい方のカウントが正の符号を伴う場合に
は、フェードイン・シーン変化を指定し、識別された画
像グループの各々における大きい方のカウントが負の符
号を伴う場合には、フェードアウト・シーン変化を指定
するようにした。
残余係数の数を測定する際、例えば、Ｐフレームの各々
において、正のＤＣ成分を有するブロックの数と、負の
ＤＣ成分を有するブロックの数とをカウントし、Ｐフレ
ームごとに、どちらのカウントが大きいかを決定し、大
きい方のカウントの符号を保存し、大きい方のカウント
が、フレームにおける非ゼロＤＣ成分の所定の過半数以
上である場合に各Ｐフレームを識別し、特定の符号のＤ
Ｃ成分が反対符号のＤＣ成分を一貫して超えるような各
画像グループを識別し、識別された画像グループの各々
における大きい方のカウントが正の符号を伴う場合に
は、フェードイン・シーン変化を指定し、識別された画
像グループの各々における大きい方のカウントが負の符
号を伴う場合には、フェードアウト・シーン変化を指定
するようにした。
【００３５】また、各Ｐフレームを識別する際、例え
ば、大きい方のカウントが、フレームにおける非ゼロＤ
Ｃ成分の６０％以上である場合に各フレームを識別する
ようにした。
ば、大きい方のカウントが、フレームにおける非ゼロＤ
Ｃ成分の６０％以上である場合に各フレームを識別する
ようにした。
【００３６】また、各画像グループを識別する際、例え
ば、一つの符号のＤＣ成分が、フェード・シーケンスに
ほぼ等しい時間間隔に相当する全てのＰフレームにおけ
る反対符号のＤＣ成分を超えるような各画像グループを
識別するようにした。
ば、一つの符号のＤＣ成分が、フェード・シーケンスに
ほぼ等しい時間間隔に相当する全てのＰフレームにおけ
る反対符号のＤＣ成分を超えるような各画像グループを
識別するようにした。
【００３７】また、各画像グループを識別する際、例え
ば、一つの符号のＤＣ成分が、１秒のオーダの時間間隔
の間の全てのＰフレームにおける反対符号のＤＣ成分を
超えるような各画像グループを識別するようにした。
ば、一つの符号のＤＣ成分が、１秒のオーダの時間間隔
の間の全てのＰフレームにおける反対符号のＤＣ成分を
超えるような各画像グループを識別するようにした。
【００３８】また、閾値を超えている検索されたＰフレ
ームにおける正及び負のＤＣ残余係数の数を測定する
際、例えば、一つの符号のＤＣ成分が、反対符号のＤＣ
成分の数を、少なくとも所定の値だけ超える各画像グル
ープを識別するようにした。
ームにおける正及び負のＤＣ残余係数の数を測定する
際、例えば、一つの符号のＤＣ成分が、反対符号のＤＣ
成分の数を、少なくとも所定の値だけ超える各画像グル
ープを識別するようにした。
【００３９】
【発明の効果】以上のようにこの発明によれば、少なく
とも、Ｉフレーム間に現れるＰフレームとＩフレームを
含む、圧縮した形のディジタル画像表示のビデオデータ
のシーケンスから、画像グループに対応するＰフレーム
の各サブシーケンスを抽出する工程と、前記サブシーケ
ンスにおけるフレームごとの前記圧縮された形のデータ
を処理し、符号情報を含めて、対応するＤＣ残余係数を
前記Ｐフレームごとに抽出する工程と、フェードイン及
びフェードアウトシーン変化をそれぞれ突き止めるた
め、閾値を超えている前記検索されたＰフレームにおけ
る正及び負のＤＣ残余係数の数をそれぞれ測定する工程
と、を含むことを特徴とするディジタル画像表示のビデ
オデータを圧縮した形で処理してシーン変化を検出する
方法としたので、ビデオシーケンス情報を圧縮解除する
ことなく、圧縮された画像又はフレームのシーケンスの
シーン変化を容易に突き止めることができる効果が得ら
れる。
とも、Ｉフレーム間に現れるＰフレームとＩフレームを
含む、圧縮した形のディジタル画像表示のビデオデータ
のシーケンスから、画像グループに対応するＰフレーム
の各サブシーケンスを抽出する工程と、前記サブシーケ
ンスにおけるフレームごとの前記圧縮された形のデータ
を処理し、符号情報を含めて、対応するＤＣ残余係数を
前記Ｐフレームごとに抽出する工程と、フェードイン及
びフェードアウトシーン変化をそれぞれ突き止めるた
め、閾値を超えている前記検索されたＰフレームにおけ
る正及び負のＤＣ残余係数の数をそれぞれ測定する工程
と、を含むことを特徴とするディジタル画像表示のビデ
オデータを圧縮した形で処理してシーン変化を検出する
方法としたので、ビデオシーケンス情報を圧縮解除する
ことなく、圧縮された画像又はフレームのシーケンスの
シーン変化を容易に突き止めることができる効果が得ら
れる。
───────────────────────────────────────────────────── フロントページの続き (71)出願人 597067574 201 ＢＲＯＡＤＷＡＹ， ＣＡＭＢＲＩ ＤＧＥ， ＭＡＳＳＡＣＨＵＳＥＴＴＳ 02139， Ｕ．Ｓ．Ａ. (72)発明者 ハイファン・スン アメリカ合衆国、ニュージャージー州、ク ランベリー、キングレット・ドライブ・サ ウス 61 (72)発明者 アジェイ・ディヴァカラン アメリカ合衆国、ニュージャージー州、ス コッチ・プレインズ、カントリー・クラ ブ・ブールバード 47 (72)発明者 伊藤 浩 アメリカ合衆国、ニュージャージー州、フ ォート・リー、ロゼット・ストリート 2416 (72)発明者 トミー・シー・プーン アメリカ合衆国、ニュージャージー州、マ レイ・ヒル、マレイ・ヒル・ブールバード 75
Claims (6)
- 【請求項１】 少なくとも、Ｉフレーム間に現れるＰフ
レームとＩフレームを含む、圧縮した形のディジタル画
像表示のビデオデータのシーケンスから、画像グループ
に対応するＰフレームの各サブシーケンスを抽出する工
程と、 前記サブシーケンスにおけるフレームごとの前記圧縮さ
れた形のデータを処理し、符号情報を含めて、対応する
ＤＣ残余係数を前記Ｐフレームごとに抽出する工程と、 フェードイン及びフェードアウトシーン変化をそれぞれ
突き止めるため、閾値を超えている前記検索されたＰフ
レームにおける正及び負のＤＣ残余係数の数をそれぞれ
測定する工程と、 を含むことを特徴とするディジタル画像表示のビデオデ
ータを圧縮した形で処理してシーン変化を検出する方
法。 - 【請求項２】 前記測定工程は、 前記Ｐフレームの各々において、正のＤＣ成分を有する
ブロックの数と、負のＤＣ成分を有するブロックの数と
をカウントするステップと、 前記Ｐフレームごとに、どちらのカウントが大きいかを
決定し、大きい方のカウントの符号を保存するステップ
と、 大きい方のカウントが、前記フレームにおける非ゼロＤ
Ｃ成分の所定の過半数以上である場合に各Ｐフレームを
識別するステップと、 特定の符号のＤＣ成分が反対符号のＤＣ成分を一貫して
超えるような各画像グループを識別するステップと、 前記識別された画像グループの各々における前記大きい
方のカウントが正の符号を伴う場合には、フェードイン
・シーン変化を指定するステップ、 前記識別された画像グループの各々における前記大きい
方のカウントが負の符号を伴う場合には、フェードアウ
ト・シーン変化を指定するステップと、 を含むことを特徴とする請求項１に記載のディジタル画
像表示のビデオデータを圧縮した形で処理してシーン変
化を検出する方法。 - 【請求項３】 各Ｐフレームを識別する前記ステップ
は、大きい方のカウントが、前記フレームにおける非ゼ
ロＤＣ成分の６０％以上である場合に各フレームを識別
することを更に含むことを特徴とする請求項２に記載の
ディジタル画像表示のビデオデータを圧縮した形で処理
してシーン変化を検出する方法。 - 【請求項４】 各画像グループを識別する前記ステップ
は、一つの符号のＤＣ成分が、フェード・シーケンスに
ほぼ等しい時間間隔に相当する全てのＰフレームにおけ
る反対符号のＤＣ成分を超えるような各画像グループを
識別することを含むことを特徴とする請求項２に記載の
ディジタル画像表示のビデオデータを圧縮した形で処理
してシーン変化を検出する方法。 - 【請求項５】 各画像グループを識別する前記ステップ
は、一つの符号のＤＣ成分が、１秒のオーダの時間間隔
の間の全てのＰフレームにおける反対符号のＤＣ成分を
超えるような各画像グループを識別することを含むこと
を特徴とする請求項３に記載のディジタル画像表示のビ
デオデータを圧縮した形で処理してシーン変化を検出す
る方法。 - 【請求項６】 閾値を超えている前記検索されたＰフレ
ームにおける正及び負のＤＣ残余係数の数を測定する前
記工程は、一つの符号のＤＣ成分が、反対符号のＤＣ成
分の数を、少なくとも所定の値だけ超える各画像グルー
プを識別することを含むことを特徴とする請求項１に記
載のディジタル画像表示のビデオデータを圧縮した形で
処理してシーン変化を検出する方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US09/231699 | 1999-01-14 | ||
| US09/231,699 US6327390B1 (en) | 1999-01-14 | 1999-01-14 | Methods of scene fade detection for indexing of video sequences |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000217121A true JP2000217121A (ja) | 2000-08-04 |
| JP3571974B2 JP3571974B2 (ja) | 2004-09-29 |
Family
ID=22870312
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP30940799A Expired - Fee Related JP3571974B2 (ja) | 1999-01-14 | 1999-10-29 | ディジタル画像表示のビデオデータを圧縮した形で処理してシーン変化を検出する方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US6327390B1 (ja) |
| EP (1) | EP1021041B1 (ja) |
| JP (1) | JP3571974B2 (ja) |
| AT (1) | ATE252305T1 (ja) |
| DE (1) | DE69912084T2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100468967B1 (ko) * | 2001-12-28 | 2005-01-29 | 엘지전자 주식회사 | 썸네일 영상 생성장치 및 방법 |
| JPWO2006070601A1 (ja) * | 2004-12-27 | 2008-06-12 | 松下電器産業株式会社 | データ処理装置 |
| JP2010507155A (ja) * | 2006-10-17 | 2010-03-04 | ミツビシ・エレクトリック・アールアンドディー・センター・ヨーロッパ・ビーヴィ | ビデオシーケンス内の漸進的遷移の検出 |
Families Citing this family (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6735253B1 (en) * | 1997-05-16 | 2004-05-11 | The Trustees Of Columbia University In The City Of New York | Methods and architecture for indexing and editing compressed video over the world wide web |
| US7143434B1 (en) | 1998-11-06 | 2006-11-28 | Seungyup Paek | Video description system and method |
| US6633673B1 (en) * | 1999-06-17 | 2003-10-14 | Hewlett-Packard Development Company, L.P. | Fast fade operation on MPEG video or other compressed data |
| KR100634671B1 (ko) * | 1999-08-13 | 2006-10-13 | 주식회사 케이티 | 고정밀도의 실시간 점진적 장면경계 검출기 및 그 방법 |
| US6539055B1 (en) * | 1999-12-03 | 2003-03-25 | Intel Corporation | Scene change detector for video data |
| US7110454B1 (en) * | 1999-12-21 | 2006-09-19 | Siemens Corporate Research, Inc. | Integrated method for scene change detection |
| US7042525B1 (en) * | 2000-07-06 | 2006-05-09 | Matsushita Electric Industrial Co., Ltd. | Video indexing and image retrieval system |
| US6990146B2 (en) * | 2001-11-16 | 2006-01-24 | Koninklijke Philips Electronics N.V. | Method and system for detecting intra-coded pictures and for extracting intra DCT precision and macroblock-level coding parameters from uncompressed digital video |
| AU2002351310A1 (en) | 2001-12-06 | 2003-06-23 | The Trustees Of Columbia University In The City Of New York | System and method for extracting text captions from video and generating video summaries |
| FR2834852B1 (fr) * | 2002-01-16 | 2004-06-18 | Canon Kk | Procede et dispositif de segmentation temporelle d'une sequence video |
| JP4082664B2 (ja) * | 2002-09-20 | 2008-04-30 | Ｋｄｄｉ株式会社 | 映像検索装置 |
| US7424160B1 (en) * | 2003-04-28 | 2008-09-09 | The Directv Group, Inc. | Methods and apparatus for monitoring compressed bitstreams |
| US20070140349A1 (en) * | 2004-03-01 | 2007-06-21 | Koninklijke Philips Electronics, N.V. | Video encoding method and apparatus |
| WO2005104676A2 (en) | 2004-03-29 | 2005-11-10 | Nielsen Media Research, Inc. | Methods and apparatus to detect a blank frame in a digital video broadcast signal |
| WO2006096612A2 (en) | 2005-03-04 | 2006-09-14 | The Trustees Of Columbia University In The City Of New York | System and method for motion estimation and mode decision for low-complexity h.264 decoder |
| JP4764136B2 (ja) * | 2005-10-31 | 2011-08-31 | 富士通セミコンダクター株式会社 | 動画像符号化装置、及びフェードシーン検出装置 |
| DE102007028175A1 (de) | 2007-06-20 | 2009-01-02 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Automatisiertes Verfahren zur zeitlichen Segmentierung eines Videos in Szenen unter Berücksichtigung verschiedener Typen von Übergängen zwischen Bildfolgen |
| WO2009126785A2 (en) | 2008-04-10 | 2009-10-15 | The Trustees Of Columbia University In The City Of New York | Systems and methods for image archaeology |
| WO2009155281A1 (en) | 2008-06-17 | 2009-12-23 | The Trustees Of Columbia University In The City Of New York | System and method for dynamically and interactively searching media data |
| US8671069B2 (en) | 2008-12-22 | 2014-03-11 | The Trustees Of Columbia University, In The City Of New York | Rapid image annotation via brain state decoding and visual pattern mining |
| US8925024B2 (en) | 2009-12-31 | 2014-12-30 | The Nielsen Company (Us), Llc | Methods and apparatus to detect commercial advertisements associated with media presentations |
| CN104125477B (zh) * | 2013-04-27 | 2017-08-18 | 华为技术有限公司 | 一种视频帧淡入/淡出检测方法及装置 |
| US9848222B2 (en) | 2015-07-15 | 2017-12-19 | The Nielsen Company (Us), Llc | Methods and apparatus to detect spillover |
| US11093788B2 (en) * | 2018-02-08 | 2021-08-17 | Intel Corporation | Scene change detection |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05308630A (ja) * | 1992-04-28 | 1993-11-19 | Victor Co Of Japan Ltd | 動きベクトル検出方法 |
| JP2518503B2 (ja) * | 1993-03-08 | 1996-07-24 | 日本電気株式会社 | 画面切り替え検出方法 |
| US5614945A (en) * | 1993-10-19 | 1997-03-25 | Canon Kabushiki Kaisha | Image processing system modifying image shake correction based on superimposed images |
| DE69527457T2 (de) | 1994-03-31 | 2003-01-23 | Siemens Corp. Research, Inc. | Feststellung von Szenenwechseln in kodierten Videosequenzen |
| US5485611A (en) * | 1994-12-30 | 1996-01-16 | Intel Corporation | Video database indexing and method of presenting video database index to a user |
| US6023520A (en) * | 1995-07-06 | 2000-02-08 | Hitach, Ltd. | Method and apparatus for detecting and displaying a representative image of a shot of short duration in a moving image |
| US5911008A (en) * | 1996-04-30 | 1999-06-08 | Nippon Telegraph And Telephone Corporation | Scheme for detecting shot boundaries in compressed video data using inter-frame/inter-field prediction coding and intra-frame/intra-field coding |
| JPH09322174A (ja) | 1996-05-30 | 1997-12-12 | Hitachi Ltd | 動画データの再生方法 |
-
1999
- 1999-01-14 US US09/231,699 patent/US6327390B1/en not_active Expired - Lifetime
- 1999-10-29 JP JP30940799A patent/JP3571974B2/ja not_active Expired - Fee Related
- 1999-11-03 EP EP99121744A patent/EP1021041B1/en not_active Expired - Lifetime
- 1999-11-03 DE DE69912084T patent/DE69912084T2/de not_active Expired - Lifetime
- 1999-11-03 AT AT99121744T patent/ATE252305T1/de not_active IP Right Cessation
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100468967B1 (ko) * | 2001-12-28 | 2005-01-29 | 엘지전자 주식회사 | 썸네일 영상 생성장치 및 방법 |
| JPWO2006070601A1 (ja) * | 2004-12-27 | 2008-06-12 | 松下電器産業株式会社 | データ処理装置 |
| JP4932493B2 (ja) * | 2004-12-27 | 2012-05-16 | パナソニック株式会社 | データ処理装置 |
| JP2010507155A (ja) * | 2006-10-17 | 2010-03-04 | ミツビシ・エレクトリック・アールアンドディー・センター・ヨーロッパ・ビーヴィ | ビデオシーケンス内の漸進的遷移の検出 |
Also Published As
| Publication number | Publication date |
|---|---|
| US6327390B1 (en) | 2001-12-04 |
| DE69912084T2 (de) | 2004-07-22 |
| EP1021041A2 (en) | 2000-07-19 |
| HK1029699A1 (en) | 2001-04-06 |
| ATE252305T1 (de) | 2003-11-15 |
| DE69912084D1 (de) | 2003-11-20 |
| JP3571974B2 (ja) | 2004-09-29 |
| EP1021041A3 (en) | 2000-10-25 |
| EP1021041B1 (en) | 2003-10-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3571974B2 (ja) | ディジタル画像表示のビデオデータを圧縮した形で処理してシーン変化を検出する方法 | |
| EP1021042B1 (en) | Methods of scene change detection and fade detection for indexing of video sequences | |
| US6618507B1 (en) | Methods of feature extraction of video sequences | |
| Meng et al. | Scene change detection in an MPEG-compressed video sequence | |
| JP4267327B2 (ja) | 動き記述子を用いてビデオを要約化する方法 | |
| EP1211644B1 (en) | Method for describing motion activity in video | |
| US7054367B2 (en) | Edge detection based on variable-length codes of block coded video | |
| EP1359770B1 (en) | Signaling for fading compensation in video encoding | |
| KR100578433B1 (ko) | 페이딩 추정/보정 | |
| EP1665801A1 (en) | Video encoding method and scene cut detection method | |
| US20070140349A1 (en) | Video encoding method and apparatus | |
| GB2459671A (en) | Scene Change Detection For Use With Bit-Rate Control Of A Video Compression System | |
| KR20040060980A (ko) | 압축되지 않은 디지털 비디오로부터 인트라-코딩된화상들을 검출하고 인트라 ｄｃｔ 정확도 및매크로블록-레벨 코딩 파라메터들을 추출하는 방법 및시스템 | |
| KR100920096B1 (ko) | Ｍｐｅｇ 비디오 비트스트림에서 씬 컷을 검출하는 방법 | |
| Cabedo et al. | Shot detection tools in digital video | |
| JP2003533906A (ja) | 圧縮ビデオ解析 | |
| CN112672164A (zh) | 视频压缩系统及方法、视频解压缩系统及方法 | |
| JP3711022B2 (ja) | 動画像内の特定物体認識方法及び装置 | |
| US7209591B2 (en) | Motion compensation method for video sequence encoding in low bit rate systems | |
| JP3765334B2 (ja) | 動画像判別装置及びその方法 | |
| JP4031231B2 (ja) | 符号化パラメータの解析装置 | |
| JP3407872B2 (ja) | 付加情報検出方法及び装置 | |
| HK1029698B (en) | Methods of scene change detection and fade detection for indexing of video sequences | |
| HK1029699B (en) | Methods of scene fade detection for indexing of video sequences | |
| HK1030064A (en) | Methods of feature extraction of video sequences |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040525 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040625 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080702 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090702 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100702 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110702 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120702 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130702 Year of fee payment: 9 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |