JPH11252509A - 動画像のカット点検出装置 - Google Patents
動画像のカット点検出装置Info
- Publication number
- JPH11252509A JPH11252509A JP7139898A JP7139898A JPH11252509A JP H11252509 A JPH11252509 A JP H11252509A JP 7139898 A JP7139898 A JP 7139898A JP 7139898 A JP7139898 A JP 7139898A JP H11252509 A JPH11252509 A JP H11252509A
- Authority
- JP
- Japan
- Prior art keywords
- cut point
- moving image
- certain threshold
- detecting
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/142—Detection of scene cut or scene change
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Signal Processing For Recording (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
Abstract
(57)【要約】
【課題】 従来よりも大幅に少ない処理で、ディゾルブ
やワイプなどの特殊カット点を含むシーンチェンジを、
高速に且つ高精度で検出する。 【解決手段】 符号化パラメータ抽出部４は、ビデオ信
号多重化復号された情報の中から、符号化モード情報、
動きベクトル及び変換符号化係数を抽出する。瞬時カッ
ト点判定処理部５は、瞬時カット点の前後でシーンが大
幅に変化する性質を利用して、圧縮された動画像データ
中の符号化モード情報に基づいてブロックを分類するこ
とにより、瞬時カット点の判定を行う。特殊カット点判
定処理部７は、動きベクトルの値から算出される動きの
特徴値と、ブロック内の周波数領域の係数から導かれる
予測画像の特徴値と、ある閾値より大きい動きベクトル
を持つブロック数により、ディゾルブを、また動きベク
トルの値から算出される動きの特徴値と、ブロック内の
周波数領域の係数から導かれる予測画像の特徴値によ
り、ワイプを検出する。
やワイプなどの特殊カット点を含むシーンチェンジを、
高速に且つ高精度で検出する。 【解決手段】 符号化パラメータ抽出部４は、ビデオ信
号多重化復号された情報の中から、符号化モード情報、
動きベクトル及び変換符号化係数を抽出する。瞬時カッ
ト点判定処理部５は、瞬時カット点の前後でシーンが大
幅に変化する性質を利用して、圧縮された動画像データ
中の符号化モード情報に基づいてブロックを分類するこ
とにより、瞬時カット点の判定を行う。特殊カット点判
定処理部７は、動きベクトルの値から算出される動きの
特徴値と、ブロック内の周波数領域の係数から導かれる
予測画像の特徴値と、ある閾値より大きい動きベクトル
を持つブロック数により、ディゾルブを、また動きベク
トルの値から算出される動きの特徴値と、ブロック内の
周波数領域の係数から導かれる予測画像の特徴値によ
り、ワイプを検出する。
Description
【０００１】
【発明の属する技術分野】本発明は動画像データのカッ
ト点検出装置に関し、特に、動画像検索においてシーン
を分類するためのカット点検出を、非常に高速にかつ高
精度で行うことのできるカット点検出装置に関する。
ト点検出装置に関し、特に、動画像検索においてシーン
を分類するためのカット点検出を、非常に高速にかつ高
精度で行うことのできるカット点検出装置に関する。
【０００２】
【従来の技術】動画像の意味的な区分点であるシーンチ
ェンジとしては、瞬時にシーンが変化する瞬時カット点
のほか、ディゾルブやワイプなどの特殊効果によるシー
ンチェンジも含まれる。
ェンジとしては、瞬時にシーンが変化する瞬時カット点
のほか、ディゾルブやワイプなどの特殊効果によるシー
ンチェンジも含まれる。
【０００３】瞬時カット点を検出する方法として、輝度
成分や動きなどの特徴量の大きな変化を利用するものが
挙げられる。例えば金子、堀による“ＭＰＥＧ動画像の
高速カット検出方式”、情報処理学会全国大会、５Ｎ−
２（１９９７）では、動きベクトルの符号量を用いてフ
レーム間での類似度を定義し、類似度のピークを検出す
ることにより瞬時カット点を検出している。また、中島
による“フレーム間輝度差分と色差相関による圧縮動画
像データからのカット検出”、電子情報通信学会春季大
会、Ｄ−５０１（１９９４）では、離散的なフレームの
データを用い、フレーム間輝度差分と色差相関の時間的
なピークを組み合わせて瞬時カット点を検出している。
成分や動きなどの特徴量の大きな変化を利用するものが
挙げられる。例えば金子、堀による“ＭＰＥＧ動画像の
高速カット検出方式”、情報処理学会全国大会、５Ｎ−
２（１９９７）では、動きベクトルの符号量を用いてフ
レーム間での類似度を定義し、類似度のピークを検出す
ることにより瞬時カット点を検出している。また、中島
による“フレーム間輝度差分と色差相関による圧縮動画
像データからのカット検出”、電子情報通信学会春季大
会、Ｄ−５０１（１９９４）では、離散的なフレームの
データを用い、フレーム間輝度差分と色差相関の時間的
なピークを組み合わせて瞬時カット点を検出している。
【０００４】また、瞬時カット点と誤検出されやすいフ
ラッシュシーンの判定については、連続した複数のフレ
ーム間での相関性を調べることで、その判定を行ってい
る。例えば特願平9-041709号では、カット点検出対象の
フレームｎ（ｎは正の整数）とフレーム（ｎ−1 ）との
相関と、フレーム（ｎ＋1 ）とフレーム（ｎ−1 ）との
相関を取り、前者の２つのフレーム間で瞬時カット点が
存在し、後者の２つのフレーム間では瞬時カット点が存
在しないと判定される場合には、該フレームｎはフラッ
シュシーンであると判定している。
ラッシュシーンの判定については、連続した複数のフレ
ーム間での相関性を調べることで、その判定を行ってい
る。例えば特願平9-041709号では、カット点検出対象の
フレームｎ（ｎは正の整数）とフレーム（ｎ−1 ）との
相関と、フレーム（ｎ＋1 ）とフレーム（ｎ−1 ）との
相関を取り、前者の２つのフレーム間で瞬時カット点が
存在し、後者の２つのフレーム間では瞬時カット点が存
在しないと判定される場合には、該フレームｎはフラッ
シュシーンであると判定している。
【０００５】ディゾルブやフェードイン／フェードアウ
ト、ワイプなどの特殊効果は、ある期間持続する遷移で
あるため、輝度の変化やフレーム間差分など、画像領域
でのある特徴値を連続的に観測することで判定すること
ができる。例えば縮小画像を用いる方法として、特願平
8-252333号では、各フレームの輝度成分の画面内アクテ
ィビティからフレーム間のアクティビティの移動平均を
求め、さらに各フレームの色差信号のヒストグラムから
フレーム間の色差ヒストグラムの相関値を求め、これら
の時間的変化がそれぞれに対して設定された閾値を超え
る場合にディゾルブであると判定している。また、これ
とは別に符号化パラメータを用いる例として、新倉、谷
口、外村らによる“ＭＰＥＧ符号化映像データからのシ
ーンチェンジ検出方法の検討”、電子情報通信学会技術
研究報告、ＩＥ９７−６５（１９９７）では、ディゾル
ブ区間において予測誤差が比較的大きな値となり、且つ
その符号が一定となる性質を利用して、ディゾルブ区間
を検出している。
ト、ワイプなどの特殊効果は、ある期間持続する遷移で
あるため、輝度の変化やフレーム間差分など、画像領域
でのある特徴値を連続的に観測することで判定すること
ができる。例えば縮小画像を用いる方法として、特願平
8-252333号では、各フレームの輝度成分の画面内アクテ
ィビティからフレーム間のアクティビティの移動平均を
求め、さらに各フレームの色差信号のヒストグラムから
フレーム間の色差ヒストグラムの相関値を求め、これら
の時間的変化がそれぞれに対して設定された閾値を超え
る場合にディゾルブであると判定している。また、これ
とは別に符号化パラメータを用いる例として、新倉、谷
口、外村らによる“ＭＰＥＧ符号化映像データからのシ
ーンチェンジ検出方法の検討”、電子情報通信学会技術
研究報告、ＩＥ９７−６５（１９９７）では、ディゾル
ブ区間において予測誤差が比較的大きな値となり、且つ
その符号が一定となる性質を利用して、ディゾルブ区間
を検出している。
【０００６】同様にワイプの判定に関しては、例えば縮
小画像から行う検出の例として、前出の特願平9-041709
号では、ある区間におけるフレーム間差分値がある閾値
を超えるフレーム数がある閾値より多く、且つその区間
の前後の区間においてフレーム間差分値がある閾値以下
のフレーム数がある閾値より多い場合に、ワイプと判定
している。これに対して、符号化パラメータからワイプ
検出を行う例はこれまで報告がない。
小画像から行う検出の例として、前出の特願平9-041709
号では、ある区間におけるフレーム間差分値がある閾値
を超えるフレーム数がある閾値より多く、且つその区間
の前後の区間においてフレーム間差分値がある閾値以下
のフレーム数がある閾値より多い場合に、ワイプと判定
している。これに対して、符号化パラメータからワイプ
検出を行う例はこれまで報告がない。
【０００７】
【発明が解決しようとする課題】これらの従来手法によ
るカット点検出技術は、次のような問題を有している。
まずカット点検出の前処理として縮小画像を作成する方
法では、特に対象となる画像のサイズが大きくなると縮
小画像生成部８４での処理コストが無視できなくなり、
全体の検出処理の高速化を実現できないという問題があ
った。例えば、標準ＴＶレベルのサイズを対象とした場
合には、圧縮データを再生するのと同程度の検出時間を
必要としていた。
るカット点検出技術は、次のような問題を有している。
まずカット点検出の前処理として縮小画像を作成する方
法では、特に対象となる画像のサイズが大きくなると縮
小画像生成部８４での処理コストが無視できなくなり、
全体の検出処理の高速化を実現できないという問題があ
った。例えば、標準ＴＶレベルのサイズを対象とした場
合には、圧縮データを再生するのと同程度の検出時間を
必要としていた。
【０００８】さらに、作成した縮小画像間での特徴量の
変化を利用してカット点の検出を行う方法では、復号し
たフレームを保持する必要があり、同様に画像のサイズ
が大きくなると装置コストの増大につながるという問題
があった。
変化を利用してカット点の検出を行う方法では、復号し
たフレームを保持する必要があり、同様に画像のサイズ
が大きくなると装置コストの増大につながるという問題
があった。
【０００９】また、検出処理の高速化を図るために、判
定の対象とするフレームを画像内符号化フレームに限定
する方法等では、これらが時間方向で離散的に配置され
ているために、カメラや物体が動くシーンについてもシ
ーンチェンジとして誤って検出してしまうケースが見ら
れた。
定の対象とするフレームを画像内符号化フレームに限定
する方法等では、これらが時間方向で離散的に配置され
ているために、カメラや物体が動くシーンについてもシ
ーンチェンジとして誤って検出してしまうケースが見ら
れた。
【００１０】圧縮動画像データを可変長復号することに
よって得られる符号化パラメータを用いてカット点の検
出を行う方法では、例えば全てのブロックの符号化パラ
メータを抽出する必要があるため、画像のサイズが大き
くなった場合には検出時間の増大を招いていた。例え
ば、標準ＴＶサイズの画像では、圧縮データを再生する
場合の１．４倍程度の速度しか実現できなかった。
よって得られる符号化パラメータを用いてカット点の検
出を行う方法では、例えば全てのブロックの符号化パラ
メータを抽出する必要があるため、画像のサイズが大き
くなった場合には検出時間の増大を招いていた。例え
ば、標準ＴＶサイズの画像では、圧縮データを再生する
場合の１．４倍程度の速度しか実現できなかった。
【００１１】さらに、符号化パラメータを用いる方法に
よりディゾルブやワイプなどの特殊カット点を検出する
場合には、これらの特殊カット点を精度良く検出するこ
とが困難であり、信頼性の点で問題があった。
よりディゾルブやワイプなどの特殊カット点を検出する
場合には、これらの特殊カット点を精度良く検出するこ
とが困難であり、信頼性の点で問題があった。
【００１２】本発明の目的は、従来のカット点検出装置
よりも大幅に少ない処理で、ディゾルブやワイプなどの
特殊カット点を含むシーンチェンジを、高速に且つ高精
度で検出することのできるカット点検出装置を提供する
ことにある。
よりも大幅に少ない処理で、ディゾルブやワイプなどの
特殊カット点を含むシーンチェンジを、高速に且つ高精
度で検出することのできるカット点検出装置を提供する
ことにある。
【００１３】
【課題を解決するための手段】上記目的を達成するため
に、本発明は、動画像のカット点検出装置において、圧
縮された動画像データを、ビデオ信号多重化復号する手
段と、該手段によって得られたビデオ信号多重化復号情
報から、符号化モード情報、動きベクトル及び変換符号
化係数を少くとも抽出する手段と、該抽出された符号化
モード情報、動きベクトル及び変換符号化係数を用い
て、シーンチェンジの判定を行う手段とを具備した点に
特徴がある。
に、本発明は、動画像のカット点検出装置において、圧
縮された動画像データを、ビデオ信号多重化復号する手
段と、該手段によって得られたビデオ信号多重化復号情
報から、符号化モード情報、動きベクトル及び変換符号
化係数を少くとも抽出する手段と、該抽出された符号化
モード情報、動きベクトル及び変換符号化係数を用い
て、シーンチェンジの判定を行う手段とを具備した点に
特徴がある。
【００１４】また、動画像のカット点検出装置におい
て、圧縮データの解析レベル、即ち最低限の復号処理で
あるビデオ信号多重化復号から得られる符号化パラメー
タをシーンチェンジの判定に用いることで、高速な処理
を可能とした点に特徴がある。また、本発明は、符号化
パラメータを抽出すべきブロックを時間的及び空間的に
大幅に削減することで、従来の符号化パラメータを用い
るカット点検出装置と比較してより高速なカット点検出
処理を行えるという点に特徴がある。
て、圧縮データの解析レベル、即ち最低限の復号処理で
あるビデオ信号多重化復号から得られる符号化パラメー
タをシーンチェンジの判定に用いることで、高速な処理
を可能とした点に特徴がある。また、本発明は、符号化
パラメータを抽出すべきブロックを時間的及び空間的に
大幅に削減することで、従来の符号化パラメータを用い
るカット点検出装置と比較してより高速なカット点検出
処理を行えるという点に特徴がある。
【００１５】また、本発明は、抽出した符号化パラメー
タに対して複雑な演算処理を施す必要もなく、単純な閾
値処理と積和演算処理程度でカット点の検出を行うこと
ができるため、装置コストを大幅に削減できるという点
に特徴がある。
タに対して複雑な演算処理を施す必要もなく、単純な閾
値処理と積和演算処理程度でカット点の検出を行うこと
ができるため、装置コストを大幅に削減できるという点
に特徴がある。
【００１６】また、本発明は、瞬時にシーンが入れ替わ
る瞬時カット点の検出において、時空間的に抽出された
ブロックの符号化モード情報だけを用いて瞬時カットの
判定を行うことを可能とした点に特徴がある。
る瞬時カット点の検出において、時空間的に抽出された
ブロックの符号化モード情報だけを用いて瞬時カットの
判定を行うことを可能とした点に特徴がある。
【００１７】また、本発明は、瞬時カット点であると判
定された複数の該フレーム群が、時間的に非常に近い距
離に集中する場合に、該フレーム群はフラッシュシーン
の区間に存在すると判定し、瞬時カット点の対象から除
外するようにした点に特徴がある。
定された複数の該フレーム群が、時間的に非常に近い距
離に集中する場合に、該フレーム群はフラッシュシーン
の区間に存在すると判定し、瞬時カット点の対象から除
外するようにした点に特徴がある。
【００１８】また、本発明は、これまで画像領域での判
定に委ねられていたディゾルブ及びフェードイン、フェ
ードアウトのような特殊効果の検出処理を、符号化パラ
メータから算出される画像の動き情報及び予測誤差情報
により行うことを可能とし、静止シーンや動きの小さい
シーンとの区別を行える点に特徴がある。
定に委ねられていたディゾルブ及びフェードイン、フェ
ードアウトのような特殊効果の検出処理を、符号化パラ
メータから算出される画像の動き情報及び予測誤差情報
により行うことを可能とし、静止シーンや動きの小さい
シーンとの区別を行える点に特徴がある。
【００１９】さらに、本発明は、同様にこれまで画像領
域での特徴量の時間的変化によって検出の判定を行って
いたワイプについて、符号化パラメータから算出される
画像の動き情報及び予測誤差情報により検出を行うこと
を可能とし、カメラや物体の動きを持つシーンとの区別
を行える点に特徴がある。
域での特徴量の時間的変化によって検出の判定を行って
いたワイプについて、符号化パラメータから算出される
画像の動き情報及び予測誤差情報により検出を行うこと
を可能とし、カメラや物体の動きを持つシーンとの区別
を行える点に特徴がある。
【００２０】本発明によれば、圧縮データ中の符号化パ
ラメータから、瞬時カット点及びディゾルブ、ワイプを
含む特殊カット点を、非常に高速に、且つ高精度に検出
することが可能となる。
ラメータから、瞬時カット点及びディゾルブ、ワイプを
含む特殊カット点を、非常に高速に、且つ高精度に検出
することが可能となる。
【００２１】
【発明の実施の形態】以下に、図面を参照して、本発明
を詳細に説明する。図９のフローチャートにより本発明
の概要を説明する。まず、ステップＳ１にて、画像が入
力される。ステップＳ２では、該画像から符号化パラメ
ータが抽出される。ステップＳ３では、該抽出された符
号化パラメータを用いて、瞬時カット画面であるか否か
の判断がなされる。この判断が否定の時にはステップＳ
４に進み、肯定の時にはステップＳ９に進む。ステップ
Ｓ４では、特殊カット画面であるディゾルブ画面を検出
したか否かの判断がなされる。この判断が肯定の時には
ステップＳ５に進んでその旨が登録される。前記ステッ
プＳ４の判断が否定の時にはステップＳ６に進んでワイ
プ画面を検出したか否かの判断がなされる。この判断が
肯定の時にはステップＳ７に進んでその旨が登録され
る。その後、ステップＳ８に進む。
を詳細に説明する。図９のフローチャートにより本発明
の概要を説明する。まず、ステップＳ１にて、画像が入
力される。ステップＳ２では、該画像から符号化パラメ
ータが抽出される。ステップＳ３では、該抽出された符
号化パラメータを用いて、瞬時カット画面であるか否か
の判断がなされる。この判断が否定の時にはステップＳ
４に進み、肯定の時にはステップＳ９に進む。ステップ
Ｓ４では、特殊カット画面であるディゾルブ画面を検出
したか否かの判断がなされる。この判断が肯定の時には
ステップＳ５に進んでその旨が登録される。前記ステッ
プＳ４の判断が否定の時にはステップＳ６に進んでワイ
プ画面を検出したか否かの判断がなされる。この判断が
肯定の時にはステップＳ７に進んでその旨が登録され
る。その後、ステップＳ８に進む。
【００２２】一方、前記ステップＳ３が肯定の時にはス
テップＳ９に進んでフラッシュを検出したか否かの判断
がなされる。この判断が否定の時にはステップＳ１０に
進んで、瞬時カット画面であると登録される。該ステッ
プＳ９の判断が肯定の時にはステップＳ８に進む。ステ
ップＳ８では、画像入力が最終のフレームであるか否か
の判断がなされ、この判断が否定の時には、ステップＳ
１に戻って、次のフレームの画像が入力される。この発
明は、前記ステップＳ２で抽出された符号化パラメータ
を用いて、ステップＳ３、Ｓ４、Ｓ６、およびＳ９の処
理をするようにした点に特徴がある。
テップＳ９に進んでフラッシュを検出したか否かの判断
がなされる。この判断が否定の時にはステップＳ１０に
進んで、瞬時カット画面であると登録される。該ステッ
プＳ９の判断が肯定の時にはステップＳ８に進む。ステ
ップＳ８では、画像入力が最終のフレームであるか否か
の判断がなされ、この判断が否定の時には、ステップＳ
１に戻って、次のフレームの画像が入力される。この発
明は、前記ステップＳ２で抽出された符号化パラメータ
を用いて、ステップＳ３、Ｓ４、Ｓ６、およびＳ９の処
理をするようにした点に特徴がある。
【００２３】次に、本発明の一実施形態を、図１のブロ
ック図を参照して、詳細に説明する。なお、本実施形態
では、汎用動画像符号化の国際標準であるＭＰＥＧによ
って圧縮された動画像データからのカット点検出方法に
ついて説明するが、本発明はこれに限定されるものでは
なく、他の圧縮方法により圧縮された符号化データに対
しても、同様な処理によりカット点の検出を行うことが
できる。
ック図を参照して、詳細に説明する。なお、本実施形態
では、汎用動画像符号化の国際標準であるＭＰＥＧによ
って圧縮された動画像データからのカット点検出方法に
ついて説明するが、本発明はこれに限定されるものでは
なく、他の圧縮方法により圧縮された符号化データに対
しても、同様な処理によりカット点の検出を行うことが
できる。
【００２４】ここでＭＰＥＧデータは、１５又は１２フ
レームで１つの画面群単位をなし、Ｉピクチャ又はＰピ
クチャの現れる周期は３であるとする。また、ある画面
群単位の先頭のＢピクチャは、直前の画面群単位からの
予測を使えるものとする。これらの条件は、一般的なＭ
ＰＥＧフォーマットの一つである。
レームで１つの画面群単位をなし、Ｉピクチャ又はＰピ
クチャの現れる周期は３であるとする。また、ある画面
群単位の先頭のＢピクチャは、直前の画面群単位からの
予測を使えるものとする。これらの条件は、一般的なＭ
ＰＥＧフォーマットの一つである。
【００２５】まずＭＰＥＧ圧縮データが可変長復号部１
に入力されると、対象フレーム抽出部２で判定に用いら
れるフレームのみを取り出せるように、フレームの開始
コードと時間参照値を基に圧縮データが読み飛ばされ
る。さらに、該フレームに対して、対象スライス抽出部
３で判定に用いられるブロックが属する領域のみを取り
出せるように、スライスの開始コードを基に圧縮データ
が読み飛ばされる。例えば、図３(a) (b) に示すよう
に、前記対象フレーム抽出部２で抽出されるフレームは
後方の参照フレームに近いＢピクチャ（Ｂ1 、Ｂ4 、Ｂ
7 、Ｂ10、…）とし、前記対象スライス抽出部３で抽出
される領域は該Ｂピクチャに属するスライスを垂直方向
に間引いて得られる領域Ｓ1 〜Ｓ5 とすることができ
る。
に入力されると、対象フレーム抽出部２で判定に用いら
れるフレームのみを取り出せるように、フレームの開始
コードと時間参照値を基に圧縮データが読み飛ばされ
る。さらに、該フレームに対して、対象スライス抽出部
３で判定に用いられるブロックが属する領域のみを取り
出せるように、スライスの開始コードを基に圧縮データ
が読み飛ばされる。例えば、図３(a) (b) に示すよう
に、前記対象フレーム抽出部２で抽出されるフレームは
後方の参照フレームに近いＢピクチャ（Ｂ1 、Ｂ4 、Ｂ
7 、Ｂ10、…）とし、前記対象スライス抽出部３で抽出
される領域は該Ｂピクチャに属するスライスを垂直方向
に間引いて得られる領域Ｓ1 〜Ｓ5 とすることができ
る。
【００２６】該領域Ｓ1 〜Ｓ5 に属するブロックからカ
ット点検出に必要な符号化パラメータを抽出するため
に、該ブロックは符号化パラメータ抽出部４に入力され
る。
ット点検出に必要な符号化パラメータを抽出するため
に、該ブロックは符号化パラメータ抽出部４に入力され
る。
【００２７】以下に、図２を参照して、該符号化パラメ
ータ抽出部４の構成と動作を説明する。図２は該符号化
パラメータ抽出部４の一具体例を示すブロック図であ
る。該符号化パラメータ抽出部４は、符号化モード抽出
部１１と、符号化モードパラメータ算出部１２と、動き
ベクトル値抽出／変換処理部１３と、動きベクトルパラ
メータ算出部１４と、符号化ブロックパターン抽出部１
５と、予測誤差情報抽出部１６とから構成されている。
ータ抽出部４の構成と動作を説明する。図２は該符号化
パラメータ抽出部４の一具体例を示すブロック図であ
る。該符号化パラメータ抽出部４は、符号化モード抽出
部１１と、符号化モードパラメータ算出部１２と、動き
ベクトル値抽出／変換処理部１３と、動きベクトルパラ
メータ算出部１４と、符号化ブロックパターン抽出部１
５と、予測誤差情報抽出部１６とから構成されている。
【００２８】前記符号化モード抽出部１１は入力されて
きたブロックを、予測符号化モードの種類よって分類す
る。そして、符号化モードパラメータ算出部１２におい
て、順方向予測符号化モードを持つブロック数Ｎfwd
と、逆方向予測符号化モードを持つブロック数Ｎbwd を
数える。
きたブロックを、予測符号化モードの種類よって分類す
る。そして、符号化モードパラメータ算出部１２におい
て、順方向予測符号化モードを持つブロック数Ｎfwd
と、逆方向予測符号化モードを持つブロック数Ｎbwd を
数える。
【００２９】次に、前記動きベクトル値抽出／変換処理
部１３は前記ブロックを可変長復号する。該可変長復号
で得られるベクトル値は左隣のベクトル値との差分値で
あるため、該動きベクトル値抽出／変換処理部１３はさ
らに該差分値を正規のベクトル値に変換する。この差分
値は、フレームの最左端のブロック、この場合ではスラ
イスの先頭で初期化されるため、本発明のようにスライ
ス単位で間引き処理を行っても、正確なベクトル値を再
現できる。
部１３は前記ブロックを可変長復号する。該可変長復号
で得られるベクトル値は左隣のベクトル値との差分値で
あるため、該動きベクトル値抽出／変換処理部１３はさ
らに該差分値を正規のベクトル値に変換する。この差分
値は、フレームの最左端のブロック、この場合ではスラ
イスの先頭で初期化されるため、本発明のようにスライ
ス単位で間引き処理を行っても、正確なベクトル値を再
現できる。
【００３０】こうして得られたベクトル値は、動きベク
トルパラメータ算出部１４において該領域に対して積算
され、該領域全体での動きベクトルの平均値及び分散が
出力される。これらは、順方向及び逆方向の、ｘ成分
（水平方向）及びｙ方向（垂直方向）に対して、下記の
式(1) 〜(4) のように、Ｍmvfx、Ｍmvfy、Ｍmvbx、Ｍmv
by、及びＶmvfx、Ｖmvfy、Ｖmvbx、Ｖmvbyが定義され
る。
トルパラメータ算出部１４において該領域に対して積算
され、該領域全体での動きベクトルの平均値及び分散が
出力される。これらは、順方向及び逆方向の、ｘ成分
（水平方向）及びｙ方向（垂直方向）に対して、下記の
式(1) 〜(4) のように、Ｍmvfx、Ｍmvfy、Ｍmvbx、Ｍmv
by、及びＶmvfx、Ｖmvfy、Ｖmvbx、Ｖmvbyが定義され
る。
【００３１】
【数１】
【００３２】
【数２】 ここで、Ｍmvは動きベクトルの平均値、Ｖmvは動きベク
トルの分散を表し、ｆは順方向、ｂは逆方向、ｘは水平
方向、ｙは垂直方向を表す。
トルの分散を表し、ｆは順方向、ｂは逆方向、ｘは水平
方向、ｙは垂直方向を表す。
【００３３】例えば、Ｍmvfxは順方向動きベクトルの水
平成分の平均値を表し、Ｖmvbyは逆方向動きベクトルの
垂直成分の分散を表す。また、絶対値がある閾値（例え
ば４）より大きい順方向動きベクトルを持つブロック数
をＮfmc 、絶対値がある閾値（例えば２）より大きい逆
方向動きベクトルを持つブロック数をＮbmc とする。さ
らに、動きベクトルの成分が（０，０）でない順方向動
きベクトルを持つブロック数をＮmvf 、逆方向ベクトル
を持つブロック数をＮmvb とする。
平成分の平均値を表し、Ｖmvbyは逆方向動きベクトルの
垂直成分の分散を表す。また、絶対値がある閾値（例え
ば４）より大きい順方向動きベクトルを持つブロック数
をＮfmc 、絶対値がある閾値（例えば２）より大きい逆
方向動きベクトルを持つブロック数をＮbmc とする。さ
らに、動きベクトルの成分が（０，０）でない順方向動
きベクトルを持つブロック数をＮmvf 、逆方向ベクトル
を持つブロック数をＮmvb とする。
【００３４】次に、該領域Ｓ１〜Ｓ５に属するブロック
において、それらに属するサブブロックの符号化／非符
号化を表わす符号化パラメータが、符号化ブロックパタ
ーン抽出部１５に入力される。該符号化ブロックパター
ン抽出部１５で抽出された値は該領域に対して積算さ
れ、該領域全体での符号化輝度サブブロック数Ｓｙ及び
符号化色差サブブロック数Ｓｃが数えられる。
において、それらに属するサブブロックの符号化／非符
号化を表わす符号化パラメータが、符号化ブロックパタ
ーン抽出部１５に入力される。該符号化ブロックパター
ン抽出部１５で抽出された値は該領域に対して積算さ
れ、該領域全体での符号化輝度サブブロック数Ｓｙ及び
符号化色差サブブロック数Ｓｃが数えられる。
【００３５】さらに、該ブロックに属するサブブロック
において、ＤＣＴ係数に関する符号化パラメータが予測
誤差情報抽出部１６へ入力される。ここでは、可変長復
号されたＤＣＴ係数に関する符号化パラメータを用い
て、該領域に属するｉ番目の符号化サブブロック３１に
対して図４のように直流成分を除く非零係数（レベル）
のブロック当たりの絶対値累積和ＢＬi の該サブブロッ
ク全体での総和及び非零係数が存在する周波数帯域ＢＲ
i （サブブロックの最後の非零係数までの０ラン数＋非
零係数の個数）の該サブブロック全体での総和を求め、
これを下式(5) 及び(6) に示すように該符号化サブブロ
ック数Ｎsbc で除することにより、該領域に属するサブ
ブロックの平均レベルＡＢＬ及び平均ラン長ＡＢＲを求
める。
において、ＤＣＴ係数に関する符号化パラメータが予測
誤差情報抽出部１６へ入力される。ここでは、可変長復
号されたＤＣＴ係数に関する符号化パラメータを用い
て、該領域に属するｉ番目の符号化サブブロック３１に
対して図４のように直流成分を除く非零係数（レベル）
のブロック当たりの絶対値累積和ＢＬi の該サブブロッ
ク全体での総和及び非零係数が存在する周波数帯域ＢＲ
i （サブブロックの最後の非零係数までの０ラン数＋非
零係数の個数）の該サブブロック全体での総和を求め、
これを下式(5) 及び(6) に示すように該符号化サブブロ
ック数Ｎsbc で除することにより、該領域に属するサブ
ブロックの平均レベルＡＢＬ及び平均ラン長ＡＢＲを求
める。
【００３６】
【数３】 ここで、該符号化サブブロック数Ｎsbc は、輝度符号化
サブブロック数Ｓｙ、色差符号化サブブロック数Ｓｃ又
はＳｙ＋Ｓｃのいずれかを用いることができる。以上の
符号化パラメータが抽出されると、前記フレームはこれ
らの符号化パラメータと共に、図１の各カット点判定処
理部５、６に入力される。最初に瞬時カット点判定処理
部５、そして後処理としてのフラッシュ判定処理部６に
入力される。
サブブロック数Ｓｙ、色差符号化サブブロック数Ｓｃ又
はＳｙ＋Ｓｃのいずれかを用いることができる。以上の
符号化パラメータが抽出されると、前記フレームはこれ
らの符号化パラメータと共に、図１の各カット点判定処
理部５、６に入力される。最初に瞬時カット点判定処理
部５、そして後処理としてのフラッシュ判定処理部６に
入力される。
【００３７】ここで、図５(a) のように、該フレームｎ
の直後の参照フレーム（フレーム内符号化画像又はフレ
ーム間順方向予測画像）で瞬時カットが起きた場合、順
方向から予測が多く行われ、逆方向からの予測は殆ど行
われない。したがって、符号化モードパラメータ算出部
１２で得られたＮfwd 及びＮbwd に対し、下記の式(7)
に示すようにＮfwd がある閾値Ｔha1 （例えば、該フレ
ーム内の全ブロック数の３５％等）より大きく、Ｎbwd
がある閾値Ｔha2 （例えば、該フレーム内の全ブロック
数の１０％等）より小さい場合、該フレームｎの直後の
参照フレームが瞬時カット点候補であると判定できる。 Ｎfwd ＞Ｔha1 かつＮbwd ＜Ｔha2 …(7) そして、フラッシュ判定処理部６により直前の該フレー
ムｎ−1 により瞬時カット点が検出されていなければ、
フレームｎは瞬時カット点として検出される。同様にし
て、図５(b) のように、該フレームｎまたは直前のＢピ
クチャに瞬時カット点が存在する場合、逆方向からの予
測が多く行われ、順方向からの予測は殆ど行われない。
したがって、下記の式(8) のように、Ｎbwd が閾値Ｔha
3 （例えば該フレーム内の全ブロック数の３０％など）
より大きく、Ｎfwd がＴha4 （例えば全ブロック数の５
％など）より小さい場合、該フレームｎ又は直前のＢピ
クチャが瞬時カット点であると判定できる。 Ｎbwd ＞Ｔha3 かつＮfwd ＜Ｔha4 …(8) そして、フラッシュ判定処理部６により直前の該フレー
ムｎ−1 により瞬時カット点が検出されていなければ、
フレームｎ又は直前のＢピクチャは瞬時カット点として
検出される。このとき、どちらのＢピクチャでシーンチ
ェンジが起こったかを明確化するには、図５(c) のよう
に、Ｉ又はＰに挟まれた２つのＢピクチャを対象フレー
ムとして瞬時カット点検出を行う。
の直後の参照フレーム（フレーム内符号化画像又はフレ
ーム間順方向予測画像）で瞬時カットが起きた場合、順
方向から予測が多く行われ、逆方向からの予測は殆ど行
われない。したがって、符号化モードパラメータ算出部
１２で得られたＮfwd 及びＮbwd に対し、下記の式(7)
に示すようにＮfwd がある閾値Ｔha1 （例えば、該フレ
ーム内の全ブロック数の３５％等）より大きく、Ｎbwd
がある閾値Ｔha2 （例えば、該フレーム内の全ブロック
数の１０％等）より小さい場合、該フレームｎの直後の
参照フレームが瞬時カット点候補であると判定できる。 Ｎfwd ＞Ｔha1 かつＮbwd ＜Ｔha2 …(7) そして、フラッシュ判定処理部６により直前の該フレー
ムｎ−1 により瞬時カット点が検出されていなければ、
フレームｎは瞬時カット点として検出される。同様にし
て、図５(b) のように、該フレームｎまたは直前のＢピ
クチャに瞬時カット点が存在する場合、逆方向からの予
測が多く行われ、順方向からの予測は殆ど行われない。
したがって、下記の式(8) のように、Ｎbwd が閾値Ｔha
3 （例えば該フレーム内の全ブロック数の３０％など）
より大きく、Ｎfwd がＴha4 （例えば全ブロック数の５
％など）より小さい場合、該フレームｎ又は直前のＢピ
クチャが瞬時カット点であると判定できる。 Ｎbwd ＞Ｔha3 かつＮfwd ＜Ｔha4 …(8) そして、フラッシュ判定処理部６により直前の該フレー
ムｎ−1 により瞬時カット点が検出されていなければ、
フレームｎ又は直前のＢピクチャは瞬時カット点として
検出される。このとき、どちらのＢピクチャでシーンチ
ェンジが起こったかを明確化するには、図５(c) のよう
に、Ｉ又はＰに挟まれた２つのＢピクチャを対象フレー
ムとして瞬時カット点検出を行う。
【００３８】例えば、最初のＢピクチャＢ１と２番目の
ＢピクチャＢ２において、Ｂ１で順方向予測が多く行わ
れるが、逆方向予測が殆ど行われず、逆にＢ２で順方向
予測が殆ど行われないが、逆方向予測が多く行われた場
合には、Ｂ２が瞬時カット点であると判定できる。これ
に対して、Ｂ１およびＢ２が共に、逆方向予測が多く行
われるが順方向予測が殆ど行われなかった場合には、Ｂ
１が瞬時カット点であると判定する。
ＢピクチャＢ２において、Ｂ１で順方向予測が多く行わ
れるが、逆方向予測が殆ど行われず、逆にＢ２で順方向
予測が殆ど行われないが、逆方向予測が多く行われた場
合には、Ｂ２が瞬時カット点であると判定できる。これ
に対して、Ｂ１およびＢ２が共に、逆方向予測が多く行
われるが順方向予測が殆ど行われなかった場合には、Ｂ
１が瞬時カット点であると判定する。
【００３９】該フレームｎ及びｎ−1 により連続して瞬
時カット点が検出された場合には、該フレームはフラッ
シュ区間にあるとみなされ、瞬時カット点の対象から除
外される。従って、この後の特殊カット点判定処理部７
にも移行しない。
時カット点が検出された場合には、該フレームはフラッ
シュ区間にあるとみなされ、瞬時カット点の対象から除
外される。従って、この後の特殊カット点判定処理部７
にも移行しない。
【００４０】瞬時カット点判定処理部５及びフラッシュ
判定処理部６を経て瞬時カット点と判定されたフレーム
は、検出カット点登録処理部８で、その時間コードが登
録される。
判定処理部６を経て瞬時カット点と判定されたフレーム
は、検出カット点登録処理部８で、その時間コードが登
録される。
【００４１】瞬時カット点判定処理部５により瞬時カッ
ト点として検出されなかったフレームは、特殊カット点
判定処理部７に送られる。該特殊カット点判定処理部７
は、図６に示されているように、パラメータ評価部２０
と、サブ処理としてのディゾルブ判定処理部２１、第１
のワイプ判定処理部２２、及び第２のワイプ判定処理部
２３を有している。
ト点として検出されなかったフレームは、特殊カット点
判定処理部７に送られる。該特殊カット点判定処理部７
は、図６に示されているように、パラメータ評価部２０
と、サブ処理としてのディゾルブ判定処理部２１、第１
のワイプ判定処理部２２、及び第２のワイプ判定処理部
２３を有している。
【００４２】以下に、これらの動作を、図７および図８
を参照して説明する。図７は該動作を説明するためのフ
ローチャート、図８はワイプ画面の説明図である。
を参照して説明する。図７は該動作を説明するためのフ
ローチャート、図８はワイプ画面の説明図である。
【００４３】まず特殊カット点判定処理部７のパラメー
タ評価部２０には、ディゾルブ／ワイプ判定に必要な共
通要素として、動きベクトルパラメータ算出部１４によ
り得られた動きベクトルの平均値Ｍmv及び分散Ｖmvと、
予測誤差情報に関するパラメータＡＢＬ及びＡＢＲ、す
なわち、サブブロックの平均レベルＡＢＬ及び平均ラン
長ＡＢＲが入力される。また、逆方向動きベクトルを持
つブロック数Ｎbmc がディゾルブに対して有意な判定要
素として入力され、該Ｎbmc に加えて順方向ベクトルに
関するＮfmc がワイプに対して有意な判定要素として入
力される。
タ評価部２０には、ディゾルブ／ワイプ判定に必要な共
通要素として、動きベクトルパラメータ算出部１４によ
り得られた動きベクトルの平均値Ｍmv及び分散Ｖmvと、
予測誤差情報に関するパラメータＡＢＬ及びＡＢＲ、す
なわち、サブブロックの平均レベルＡＢＬ及び平均ラン
長ＡＢＲが入力される。また、逆方向動きベクトルを持
つブロック数Ｎbmc がディゾルブに対して有意な判定要
素として入力され、該Ｎbmc に加えて順方向ベクトルに
関するＮfmc がワイプに対して有意な判定要素として入
力される。
【００４４】パラメータ評価部２０は、入力された各パ
ラメータを閾値処理により評価し、各サブ処理（ディゾ
ルブ判定、第１のワイプ判定、第２のワイプ判定）の条
件に合致する該フレームをそれらの各サブ処理の判定処
理部２１〜２３に移行する。ここで、該フレームのパラ
メータがどのサブ処理の条件にも合致しなかった場合に
は、次のフレーム入力処理へ移行する。
ラメータを閾値処理により評価し、各サブ処理（ディゾ
ルブ判定、第１のワイプ判定、第２のワイプ判定）の条
件に合致する該フレームをそれらの各サブ処理の判定処
理部２１〜２３に移行する。ここで、該フレームのパラ
メータがどのサブ処理の条件にも合致しなかった場合に
は、次のフレーム入力処理へ移行する。
【００４５】ディゾルブ期間では動きが殆どないため、
小さい動きベクトルがランダムに発生することが予想さ
れる。さらに、徐々にシーンが遷移するディゾルブで
は、動き補償予測が効果的に行われることが予想され
る。したがって、パラメータ評価部２０は、図７のステ
ップＳ２１に示されているように、該フレームにおける
動きベクトルのｘ方向に関する平均値Ｍmvfx、Ｍmvbxが
ある閾値Ｔhd1 （例えば絶対値が２など）より小さく、
分散Ｖmvfxがある閾値Ｔhd2 （例えば５０など）より大
きい場合、さらにＡＢＬ及びＡＢＲがそれぞれある閾値
Ｔhd3 （例えば２．５）及びＴhd4 （例えば１５など）
より小さい場合に、該フレームをディゾルブ判定処理部
２１へ送出する。
小さい動きベクトルがランダムに発生することが予想さ
れる。さらに、徐々にシーンが遷移するディゾルブで
は、動き補償予測が効果的に行われることが予想され
る。したがって、パラメータ評価部２０は、図７のステ
ップＳ２１に示されているように、該フレームにおける
動きベクトルのｘ方向に関する平均値Ｍmvfx、Ｍmvbxが
ある閾値Ｔhd1 （例えば絶対値が２など）より小さく、
分散Ｖmvfxがある閾値Ｔhd2 （例えば５０など）より大
きい場合、さらにＡＢＬ及びＡＢＲがそれぞれある閾値
Ｔhd3 （例えば２．５）及びＴhd4 （例えば１５など）
より小さい場合に、該フレームをディゾルブ判定処理部
２１へ送出する。
【００４６】ただし、この特性は平坦な静止シーンある
いはフレーム全体で小さい動きを持つシーンにおいても
見られる傾向であるため、ディゾルブ判定処理部２１で
は、平坦な静止シーン／小さな動きシーンと、ディゾル
ブとを区別する。
いはフレーム全体で小さい動きを持つシーンにおいても
見られる傾向であるため、ディゾルブ判定処理部２１で
は、平坦な静止シーン／小さな動きシーンと、ディゾル
ブとを区別する。
【００４７】平坦な静止シーンまたは小さな動きシーン
では、動きの分布状況が変化しないと考えられるため、
ディゾルブ判定処理部２１に入力された該ディゾルブ候
補フレーム数Ｆd を観測すると、逆方向動きベクトルを
持つブロック数Ｎbmc が大きい値を持続する。これに対
して、新しいシーンが合成されることによって動きの分
布状況が変化するディゾルブでは、該Ｎbmc に何らかの
変化が見られる（例えば急激に減少するなど）。
では、動きの分布状況が変化しないと考えられるため、
ディゾルブ判定処理部２１に入力された該ディゾルブ候
補フレーム数Ｆd を観測すると、逆方向動きベクトルを
持つブロック数Ｎbmc が大きい値を持続する。これに対
して、新しいシーンが合成されることによって動きの分
布状況が変化するディゾルブでは、該Ｎbmc に何らかの
変化が見られる（例えば急激に減少するなど）。
【００４８】ここで、連続したフレームの特徴を調べる
ために、該フレームはディゾルブ判定処理部２１に入る
と、図７のステップＳ３１に示されているように、ディ
ゾルブ候補フレーム数Ｆd のカウンタが増やされ、これ
がある閾値ＴＨＤ１（例えば５）を超えた場合（ステッ
プＳ３２の判断が肯定）に、ステップＳ３３に進んで、
Ｎbmc の時間変化が評価される。Ｆd がＴＨＤ１を超え
ないうちは（ステップＳ３２の判断が否定）、ステップ
Ｓ３５に進んで新たなフレーム入力処理に移る。ここ
で、ワイプ候補フレーム数のカウンタＦw1およびＦw2は
クリアされる。なお、図中のは全て図９のへ進む。
また、Ｆd は該フレームがディゾルブ判定処理部２１に
入力されなかった場合にはクリアされる。
ために、該フレームはディゾルブ判定処理部２１に入る
と、図７のステップＳ３１に示されているように、ディ
ゾルブ候補フレーム数Ｆd のカウンタが増やされ、これ
がある閾値ＴＨＤ１（例えば５）を超えた場合（ステッ
プＳ３２の判断が肯定）に、ステップＳ３３に進んで、
Ｎbmc の時間変化が評価される。Ｆd がＴＨＤ１を超え
ないうちは（ステップＳ３２の判断が否定）、ステップ
Ｓ３５に進んで新たなフレーム入力処理に移る。ここ
で、ワイプ候補フレーム数のカウンタＦw1およびＦw2は
クリアされる。なお、図中のは全て図９のへ進む。
また、Ｆd は該フレームがディゾルブ判定処理部２１に
入力されなかった場合にはクリアされる。
【００４９】ＴＨＤ１を超えたＦd 枚の連続した該フレ
ーム群に対して、それらのＮbmc が大きな値で持続する
場合（ステップＳ３４の判断が否定）は、平坦な静止シ
ーンまたはフレーム全体で動きの小さいシーン、そうで
ない場合（ステップＳ３４の判断が肯定）は、ディゾル
ブ期間であると判定することができる。ただし、Ｆdが
ＴＨＤ１を大きく上回った場合には、ディゾルブ期間と
は判定されない（ステップＳ３３が肯定）。
ーム群に対して、それらのＮbmc が大きな値で持続する
場合（ステップＳ３４の判断が否定）は、平坦な静止シ
ーンまたはフレーム全体で動きの小さいシーン、そうで
ない場合（ステップＳ３４の判断が肯定）は、ディゾル
ブ期間であると判定することができる。ただし、Ｆdが
ＴＨＤ１を大きく上回った場合には、ディゾルブ期間と
は判定されない（ステップＳ３３が肯定）。
【００５０】ディゾルブ判定処理部２１においてディゾ
ルブと判定された該フレーム群は、検出カット点登録処
理部８（図１参照）に送られ、ディゾルブ終了後の該フ
レームの時間コードが登録される。ディゾルブと判定さ
れなかった場合には、新たなフレーム入力処理（図９の
ステップＳ１）に戻る。
ルブと判定された該フレーム群は、検出カット点登録処
理部８（図１参照）に送られ、ディゾルブ終了後の該フ
レームの時間コードが登録される。ディゾルブと判定さ
れなかった場合には、新たなフレーム入力処理（図９の
ステップＳ１）に戻る。
【００５１】一方、パラメータ評価部２０での評価で、
４つの動きベクトルの平均値Ｍmvのうちいずれかがある
閾値Ｔhw1 （例えば絶対値が１０など）より大きく、か
つ４つの分散Ｖmvのうちいずれかがある閾値Ｔhw2 （例
えば１００など）よりも大きい場合（ステップＳ２２の
判断が肯定）には、第１のワイプ判定処理部２２へ進
む。前記２つの条件は同時には満たされないが、４つの
Ｖmvのうちいずれかがある閾値Ｔhw3 （例えば５０な
ど）より大きい場合（ステップＳ２３の判断が肯定）に
は、該フレームは第２のワイプ判定処理部２３へ、それ
ぞれ移行する。
４つの動きベクトルの平均値Ｍmvのうちいずれかがある
閾値Ｔhw1 （例えば絶対値が１０など）より大きく、か
つ４つの分散Ｖmvのうちいずれかがある閾値Ｔhw2 （例
えば１００など）よりも大きい場合（ステップＳ２２の
判断が肯定）には、第１のワイプ判定処理部２２へ進
む。前記２つの条件は同時には満たされないが、４つの
Ｖmvのうちいずれかがある閾値Ｔhw3 （例えば５０な
ど）より大きい場合（ステップＳ２３の判断が肯定）に
は、該フレームは第２のワイプ判定処理部２３へ、それ
ぞれ移行する。
【００５２】図８のワイプモデルにおいて、前記第１の
ワイプ判定処理部２２で検出されるワイプは、同図の
(a) または(b) のタイプであり、第２のワイプ判定処理
部２３で検出されるワイプは、同図の(c) のタイプであ
る。
ワイプ判定処理部２２で検出されるワイプは、同図の
(a) または(b) のタイプであり、第２のワイプ判定処理
部２３で検出されるワイプは、同図の(c) のタイプであ
る。
【００５３】シーンの中にパニング等のカメラの動きや
フレーム全体での物体の動き等が存在する場合、動きベ
クトルの平均値及び分散が共に大きい性質を示す。した
がって、図８の(a) や (b)のような大きなベクトルの現
れるワイプとの区別を行うために、第１のワイプ判定処
理部２２において以下の処理を行う。
フレーム全体での物体の動き等が存在する場合、動きベ
クトルの平均値及び分散が共に大きい性質を示す。した
がって、図８の(a) や (b)のような大きなベクトルの現
れるワイプとの区別を行うために、第１のワイプ判定処
理部２２において以下の処理を行う。
【００５４】カメラや物体が動くシーンでは、フレーム
全体で動き補償予測が効果的に行われるため、予測誤差
のフレーム平均は一般に小さいと見なせる。一方、ワイ
プでは新たなシーンが現れるために、動き補償が効果的
に利用できる領域は限定され、その結果予測誤差のフレ
ーム平均が大きくなる。従って、該フレームのＡＢＲが
Ｔhw4 （例えば１０など）より大きい場合（ステップＳ
４１の判断が肯定）にはワイプ候補であると判定し、そ
うでない場合にはカメラまたは物体の動きシーンである
と判定することができる。そして、ワイプ候補となった
フレームの数Ｆw1がある閾値ＴＨＷ１（例えば１０また
は１１）に達した場合（ステップＳ４３の判断が肯定）
に、該フレーム群はワイプ期間に存在すると判定する。
なお、さらに、Ｆw1がＴＨＷ１を大きく超えた場合には
ワイプ期間とは判定されない（ステップＳ４４）。
全体で動き補償予測が効果的に行われるため、予測誤差
のフレーム平均は一般に小さいと見なせる。一方、ワイ
プでは新たなシーンが現れるために、動き補償が効果的
に利用できる領域は限定され、その結果予測誤差のフレ
ーム平均が大きくなる。従って、該フレームのＡＢＲが
Ｔhw4 （例えば１０など）より大きい場合（ステップＳ
４１の判断が肯定）にはワイプ候補であると判定し、そ
うでない場合にはカメラまたは物体の動きシーンである
と判定することができる。そして、ワイプ候補となった
フレームの数Ｆw1がある閾値ＴＨＷ１（例えば１０また
は１１）に達した場合（ステップＳ４３の判断が肯定）
に、該フレーム群はワイプ期間に存在すると判定する。
なお、さらに、Ｆw1がＴＨＷ１を大きく超えた場合には
ワイプ期間とは判定されない（ステップＳ４４）。
【００５５】これに対して、静止シーン又はフレームが
部分的に動くシーンでは、動きベクトルの分散が大きく
なる性質を示す。したがって、第２のワイプ判定処理部
２３では、図８の(c) のような大きなベクトルの現れな
いワイプとこれらのシーンを区別するために、以下の処
理を行う。
部分的に動くシーンでは、動きベクトルの分散が大きく
なる性質を示す。したがって、第２のワイプ判定処理部
２３では、図８の(c) のような大きなベクトルの現れな
いワイプとこれらのシーンを区別するために、以下の処
理を行う。
【００５６】まず、前と同様に、ワイプでは予測誤差情
報のフレーム平均が大きくなることを用いて、ＡＢＬ及
びＡＢＲを閾値Ｔhw5 （例えば２．５）およびＴhw6
（例えば１２）によって閾値処理（ステップＳ５１）
し、ワイプ候補となるフレームを選択する。
報のフレーム平均が大きくなることを用いて、ＡＢＬ及
びＡＢＲを閾値Ｔhw5 （例えば２．５）およびＴhw6
（例えば１２）によって閾値処理（ステップＳ５１）
し、ワイプ候補となるフレームを選択する。
【００５７】ワイプ期間では合成される２つのシーンの
動きの分布が異なるため、ある連続したフレーム群に対
して有意なベクトルをもつブロック数を観察すると、そ
れらは減少または増加の傾向を示す。これに対して、静
止シーンまたはフレームの一部の動きシーンでは、連続
したフレーム群の有意ベクトルをもつブロック数は、大
きい値または小さい値で変化が殆どない。したがって、
第２のワイプ判定処理部２３でワイプとの候補となった
Ｆw ２枚のフレームがある閾値ＴＨＷ３（例えば５）を
超え（ステップＳ５３の判断が肯定）、それらのＮfmc
とＮbmc が大きい値または小さい値で持続する場合には
静止シーンであり、Ｎfmc とＮbmc が共に増加または減
少の傾向を示す場合（ステップＳ５５の判断が肯定）に
は、該フレーム群はワイプ期間に存在すると判定でき
る。一方、ステップＳ５５の判断が否定の場合には、静
止シーンまたはフレームの一部の動きシーンであると判
定する。なお、第１のワイプ判定処理部２２と同様に、
Ｆw2がＴＨＷ３を大きく超えた場合には、ワイプ期間と
は判定されない（ステップＳ５４）。
動きの分布が異なるため、ある連続したフレーム群に対
して有意なベクトルをもつブロック数を観察すると、そ
れらは減少または増加の傾向を示す。これに対して、静
止シーンまたはフレームの一部の動きシーンでは、連続
したフレーム群の有意ベクトルをもつブロック数は、大
きい値または小さい値で変化が殆どない。したがって、
第２のワイプ判定処理部２３でワイプとの候補となった
Ｆw ２枚のフレームがある閾値ＴＨＷ３（例えば５）を
超え（ステップＳ５３の判断が肯定）、それらのＮfmc
とＮbmc が大きい値または小さい値で持続する場合には
静止シーンであり、Ｎfmc とＮbmc が共に増加または減
少の傾向を示す場合（ステップＳ５５の判断が肯定）に
は、該フレーム群はワイプ期間に存在すると判定でき
る。一方、ステップＳ５５の判断が否定の場合には、静
止シーンまたはフレームの一部の動きシーンであると判
定する。なお、第１のワイプ判定処理部２２と同様に、
Ｆw2がＴＨＷ３を大きく超えた場合には、ワイプ期間と
は判定されない（ステップＳ５４）。
【００５８】前記第１のワイプ判定処理部２２又は第２
のワイプ判定処理部２３においてワイプと判定されたフ
レーム群は、検出カット点登録処理部８に移行し、ワイ
プ終了後のフレームの時間コードが登録される（図９の
ステップＳ７）。
のワイプ判定処理部２３においてワイプと判定されたフ
レーム群は、検出カット点登録処理部８に移行し、ワイ
プ終了後のフレームの時間コードが登録される（図９の
ステップＳ７）。
【００５９】
【発明の効果】以上のように本発明によれば、圧縮され
た動画像データから、最低限の復号処理であるビデオ信
号多重化復号のみで抽出される符号化パラメータだけを
用いて瞬時カット点検出、及びディゾルブやワイプなど
の特殊カットを検出できるので、カット点検出に伴う処
理時間を大幅に削減できるという効果がある。また、各
種カット点の符号化パラメータレベルでの統計的な性質
を検出に利用しているため、精度の高い検出が可能とな
る。
た動画像データから、最低限の復号処理であるビデオ信
号多重化復号のみで抽出される符号化パラメータだけを
用いて瞬時カット点検出、及びディゾルブやワイプなど
の特殊カットを検出できるので、カット点検出に伴う処
理時間を大幅に削減できるという効果がある。また、各
種カット点の符号化パラメータレベルでの統計的な性質
を検出に利用しているため、精度の高い検出が可能とな
る。
【００６０】一例として、これまでカット点の検出処理
時間として再生と同程度の時間を要していた標準ＴＶレ
ベルのサイズの画像を用いた場合では、縮小画像を利用
してカット点を検出する方法と比較して、本発明は再生
の６倍以上の速度を実現し、精度についても比較手法と
同等又はそれ以上の検出率を達成することができた。ま
た、本発明は、抽出した符号化パラメータに対して複雑
な演算処理を施す必要もなく、単純な閾値処理と積和演
算処理程度でカット点の検出を行うことができるため、
装置コストを大幅に削減できるようになる。
時間として再生と同程度の時間を要していた標準ＴＶレ
ベルのサイズの画像を用いた場合では、縮小画像を利用
してカット点を検出する方法と比較して、本発明は再生
の６倍以上の速度を実現し、精度についても比較手法と
同等又はそれ以上の検出率を達成することができた。ま
た、本発明は、抽出した符号化パラメータに対して複雑
な演算処理を施す必要もなく、単純な閾値処理と積和演
算処理程度でカット点の検出を行うことができるため、
装置コストを大幅に削減できるようになる。
【図１】 本発明の一実施形態の構成を示すブロック図
である。
である。
【図２】 図１の符号化パラメータ抽出部の一具体例を
示すブロック図である。
示すブロック図である。
【図３】 カット点検出に用いられるフレームの時間的
及び空間的間引きの説明図である。
及び空間的間引きの説明図である。
【図４】 可変長復号されたＤＣＴ係数に関する符号化
パラメータの説明図である。
パラメータの説明図である。
【図５】 瞬時カット画面の説明図である。
【図６】 図１の特殊カット点判定処理部の一具体例を
示すブロック図である。
示すブロック図である。
【図７】 図１の特殊カット点判定処理部の動作を示す
フローチャートである。
フローチャートである。
【図８】 ワイプ画面の説明図である。
【図９】 本発明の動作の概要を示すフローチャートで
ある。
ある。
１…可変長復号部、２…対象フレーム抽出部、３…対象
スライス抽出部、４…符号化パラメータ抽出部、５…瞬
時カット点判定処理部、６…フラッシュ判定処理部、７
…特殊カット点判定処理部、８…検出カット点登録処理
部、１１…符号化モード抽出部、１２…符号化モードパ
ラメータ算出部、１３…動きベクトル値抽出／変換処理
部、１４…動きベクトルパラメータ算出部、１５…符号
化ブロックパターン抽出部、１６…予測誤差情報抽出
部、２０…パラメータ評価部、２１…ディゾルブ判定処
理部、２２…第１のワイプ判定処理部、２３…第２のワ
イプ判定処理部、３１…ｉ番目の符号化サブブロック。
スライス抽出部、４…符号化パラメータ抽出部、５…瞬
時カット点判定処理部、６…フラッシュ判定処理部、７
…特殊カット点判定処理部、８…検出カット点登録処理
部、１１…符号化モード抽出部、１２…符号化モードパ
ラメータ算出部、１３…動きベクトル値抽出／変換処理
部、１４…動きベクトルパラメータ算出部、１５…符号
化ブロックパターン抽出部、１６…予測誤差情報抽出
部、２０…パラメータ評価部、２１…ディゾルブ判定処
理部、２２…第１のワイプ判定処理部、２３…第２のワ
イプ判定処理部、３１…ｉ番目の符号化サブブロック。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 米山 暁夫 東京都新宿区西新宿２丁目３番２号 国際 電信電話株式会社内
Claims (15)
- 【請求項１】 動画像のカット点検出装置において、 圧縮された動画像データを、ビデオ信号多重化復号する
手段と、 該手段によって得られたビデオ信号多重化復号情報か
ら、符号化モード情報、動きベクトル及び変換符号化係
数を少くとも抽出する手段と、 該抽出された符号化モード情報、動きベクトル及び変換
符号化係数を用いて、シーンチェンジの判定を行う手段
とを具備したことを特徴とする動画像のカット点検出装
置。 - 【請求項２】 請求項１の動画像のカット点検出装置に
おいて、 判定の対象となるフレーム数を時間的に間引く手段をさ
らに具備したことを特徴とする動画像のカット点検出装
置。 - 【請求項３】 請求項１または２の動画像のカット点検
出装置において、 各フレームで符号化パラメータを抽出する領域を空間的
に間引くようにしたことを特徴とする動画像のカット点
検出装置。 - 【請求項４】 請求項１〜３のいずれかの動画像のカッ
ト点検出装置において、 瞬時カット点の前後でシーンが大幅に変化する性質を利
用して、圧縮された動画像データ中の符号化モード情報
に基づいてブロックを分類することにより、瞬時カット
点の判定を行うようにしたことを特徴とする動画像のカ
ット点検出装置。 - 【請求項５】 請求項１〜３のいずれかの動画像のカッ
ト点検出装置において、 入力されたフレーム間双方向予測符号化画像について、
順方向フレーム間符号化モードを持つブロック数がある
閾値より大きく、逆方向フレーム間符号化モードを持つ
ブロック数がある閾値より小さい場合に、その入力フレ
ームの後に瞬時カット点が存在すると判定するようにし
たことを特徴とする動画像のカット点検出装置。 - 【請求項６】 請求項１〜３のいずれかの動画像のカッ
ト点検出装置において、 入力されたフレーム間双方向予測符号化画像について、
順方向フレーム間符号化モードを持つブロック数がある
閾値より小さく、逆方向フレーム間符号化モードを持つ
ブロック数がある閾値より大きい場合に、その入力フレ
ームまたはそれ以前で、参照フレーム以後に瞬時カット
点が存在すると判定するようにしたことを特徴とする動
画像のカット点検出装置。 - 【請求項７】 請求項１〜３のいずれかの動画像のカッ
ト点検出装置において、 瞬時カット点であると判定された２つのフレーム間の時
間的な距離がある閾値より小さい場合に、それらの瞬時
カット点はフラッシュシーンであると判定し、瞬時カッ
ト点の対象から除外することを特徴とする動画像のカッ
ト点検出装置。 - 【請求項８】 請求項１〜３のいずれかの動画像のカッ
ト点検出装置において、 入力されたフレームについて、動きベクトルの値から算
出される動きの特徴値と、ブロック内の周波数領域の係
数から導かれる予測画像の特徴値と、ある閾値より大き
い動きベクトルを持つブロック数により、ディゾルブを
検出する手段を具備したことを特徴とする動画像のカッ
ト点検出装置。 - 【請求項９】請求項８の動画像のカット点検出装置にお
いて、 入力されたフレームの動きベクトルの平均値がある閾値
より小さく、分散がある閾値より大きく、ブロック内に
おける非零係数のブロック当たりの平均値及び非零係数
が存在する周波数帯域から定義される予測誤差がある閾
値より小さい場合に、ある閾値より大きい動きベクトル
を持つブロック数がある閾値より大きい場合に平坦な静
止シーン又は動きの小さいシーンとし、ある閾値より小
さい場合にディゾルブの候補であると判定することを特
徴とする動画像のカット点検出装置。 - 【請求項１０】請求項８の動画像のカット点検出装置に
おいて、 ディゾルブの候補となったフレームが連続してある閾値
よりも多く現れた場合に、その区間でディゾルブが存在
すると判定することを特徴とする動画像のカット点検出
装置。 - 【請求項１１】請求項１〜３のいずれかの動画像のカッ
ト点検出装置において、 入力されたフレームについて、動きベクトルの値から算
出される動きの特徴値と、ブロック内の周波数領域の係
数から導かれる予測画像の特徴値により、ワイプを検出
する手段を具備したことを特徴とする動画像のカット点
検出装置。 - 【請求項１２】請求項１１の動画像のカット点検出装置
において、 入力されたフレームの動きベクトルの平均値及び分散が
共にある閾値より大きい場合に、ブロック内における非
零係数が存在する周波数帯域のブロック当たりの平均値
がある閾値より小さい場合にカメラの動きのあるシーン
とし、ある閾値より大きい場合にワイプの候補であると
判定することを特徴とする動画像のカット点検出装置。 - 【請求項１３】請求項１１の動画像のカット点検出装置
において、 入力されたフレームの動きベクトルの平均値及び分散の
少くとも一方がある閾値より小さい場合で、かつ該分散
が他の閾値より大きい場合であって、ブロック内におけ
る非零係数のブロック当たりの平均値及び非零係数が存
在する周波数帯域から定義される予測誤差がある閾値よ
り大きい場合にワイプの候補であると判定することを特
徴とする動画像のカット点検出装置。 - 【請求項１４】請求項１２または１３の動画像のカット
点検出装置において、 ワイプの候補となったフレーム
が連続してある閾値よりも多く現れた場合に、その区間
でワイプが存在すると判定することを特徴とする動画像
のカット点検出装置。 - 【請求項１５】請求項１２または１３の動画像のカット
点検出装置において、 ワイプの候補となったフレーム
がある閾値より大きい動きベクトルを持つブロック数
が、ある連続したフレーム区間内で増加又は減少する変
化をする場合に、その区間でワイプが存在すると判定
し、該ブロック数がある区間内で増加又は減少する変化
をしない場合に、静止しているシーンと判定することを
特徴とする動画像のカット点検出装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7139898A JP3738939B2 (ja) | 1998-03-05 | 1998-03-05 | 動画像のカット点検出装置 |
| US09/255,965 US6473459B1 (en) | 1998-03-05 | 1999-02-23 | Scene change detector |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7139898A JP3738939B2 (ja) | 1998-03-05 | 1998-03-05 | 動画像のカット点検出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11252509A true JPH11252509A (ja) | 1999-09-17 |
| JP3738939B2 JP3738939B2 (ja) | 2006-01-25 |
Family
ID=13459380
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP7139898A Expired - Fee Related JP3738939B2 (ja) | 1998-03-05 | 1998-03-05 | 動画像のカット点検出装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6473459B1 (ja) |
| JP (1) | JP3738939B2 (ja) |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003519946A (ja) * | 1999-12-30 | 2003-06-24 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 速い動きのシーンを検出する方法及び装置 |
| JP2007142633A (ja) * | 2005-11-16 | 2007-06-07 | Kddi Corp | ショット境界検出装置 |
| WO2007138858A1 (ja) | 2006-05-25 | 2007-12-06 | Nec Corporation | 映像の特殊効果検出装置、特殊効果検出方法、特殊効果検出プログラム及び映像再生装置 |
| JP2009044422A (ja) * | 2007-08-08 | 2009-02-26 | Univ Of Electro-Communications | カット部検出システム及びショット検出システム並びにシーン検出システム、カット部検出方法 |
| JP2009049546A (ja) * | 2007-08-15 | 2009-03-05 | Sony Corp | 電子機器、映像特徴検出方法及びプログラム |
| JP2009049510A (ja) * | 2007-08-14 | 2009-03-05 | Nippon Hoso Kyokai <Nhk> | 静止画抽出装置及び静止画抽出プログラム |
| JP2009510931A (ja) * | 2005-09-27 | 2009-03-12 | クゥアルコム・インコーポレイテッド | 遷移効果のためのマルチメディアコード化技術 |
| JP2009231905A (ja) * | 2008-03-19 | 2009-10-08 | Mega Chips Corp | トランスコーダ |
| JP2009232148A (ja) * | 2008-03-24 | 2009-10-08 | Mega Chips Corp | トランスコーダ |
| JP2009239969A (ja) * | 2009-07-17 | 2009-10-15 | Fujitsu Ltd | 画像符号化装置 |
| JP2009545253A (ja) * | 2006-07-25 | 2009-12-17 | クゥアルコム・インコーポレイテッド | 適応性のあるビデオフレーム補間 |
| US7916171B2 (en) | 2004-03-05 | 2011-03-29 | Kddi R&D Laboratories, Inc. | Classification apparatus for sport videos and method thereof |
| US7916793B2 (en) | 2002-09-20 | 2011-03-29 | Kddi Corporation | Picture searching apparatus |
| US8264616B2 (en) | 2002-09-30 | 2012-09-11 | Kddi R&D Laboratories, Inc. | Scene classification apparatus of video |
| US8525935B2 (en) | 2000-09-21 | 2013-09-03 | Canon Kabushiki Kaisha | Moving image processing apparatus and method, and computer readable memory |
| US8665326B2 (en) | 2009-01-30 | 2014-03-04 | Olympus Corporation | Scene-change detecting device, computer readable storage medium storing scene-change detection program, and scene-change detecting method |
Families Citing this family (59)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6735253B1 (en) | 1997-05-16 | 2004-05-11 | The Trustees Of Columbia University In The City Of New York | Methods and architecture for indexing and editing compressed video over the world wide web |
| US7143434B1 (en) | 1998-11-06 | 2006-11-28 | Seungyup Paek | Video description system and method |
| JP4656680B2 (ja) * | 1998-11-30 | 2011-03-23 | シャープ株式会社 | 画像検索情報記録装置及び画像検索装置 |
| JP3531532B2 (ja) * | 1999-05-18 | 2004-05-31 | 日本電気株式会社 | 動画像符号化装置、及び方法 |
| WO2001003429A2 (en) * | 1999-07-06 | 2001-01-11 | Koninklijke Philips Electronics N.V. | Automatic extraction method of the structure of a video sequence |
| EP1129573A2 (en) * | 1999-07-06 | 2001-09-05 | Koninklijke Philips Electronics N.V. | Automatic extraction method of the structure of a video sequence |
| JP3939551B2 (ja) * | 1999-08-24 | 2007-07-04 | 富士通株式会社 | 動画像処理装置、その方法、及び記録媒体 |
| GB0007861D0 (en) * | 2000-03-31 | 2000-05-17 | Koninkl Philips Electronics Nv | Video signal analysis and storage |
| US20040125877A1 (en) * | 2000-07-17 | 2004-07-01 | Shin-Fu Chang | Method and system for indexing and content-based adaptive streaming of digital video content |
| US6834080B1 (en) * | 2000-09-05 | 2004-12-21 | Kabushiki Kaisha Toshiba | Video encoding method and video encoding apparatus |
| JP4107544B2 (ja) * | 2000-10-23 | 2008-06-25 | 三菱電機株式会社 | 画像信号の再符号化装置 |
| US7895616B2 (en) | 2001-06-06 | 2011-02-22 | Sony Corporation | Reconstitution of program streams split across multiple packet identifiers |
| US7127619B2 (en) * | 2001-06-06 | 2006-10-24 | Sony Corporation | Decoding and decryption of partially encrypted information |
| US6959044B1 (en) * | 2001-08-21 | 2005-10-25 | Cisco Systems Canada Co. | Dynamic GOP system and method for digital video encoding |
| AU2002351310A1 (en) | 2001-12-06 | 2003-06-23 | The Trustees Of Columbia University In The City Of New York | System and method for extracting text captions from video and generating video summaries |
| US7302059B2 (en) | 2002-01-02 | 2007-11-27 | Sony Corporation | Star pattern partial encryption |
| US8027470B2 (en) * | 2002-01-02 | 2011-09-27 | Sony Corporation | Video slice and active region based multiple partial encryption |
| US7292690B2 (en) * | 2002-01-02 | 2007-11-06 | Sony Corporation | Video scene change detection |
| US7765567B2 (en) | 2002-01-02 | 2010-07-27 | Sony Corporation | Content replacement by PID mapping |
| US7155012B2 (en) | 2002-01-02 | 2006-12-26 | Sony Corporation | Slice mask and moat pattern partial encryption |
| US8051443B2 (en) | 2002-01-02 | 2011-11-01 | Sony Corporation | Content replacement by PID mapping |
| US7823174B2 (en) | 2002-01-02 | 2010-10-26 | Sony Corporation | Macro-block based content replacement by PID mapping |
| US7376233B2 (en) * | 2002-01-02 | 2008-05-20 | Sony Corporation | Video slice and active region based multiple partial encryption |
| US6993182B2 (en) * | 2002-03-29 | 2006-01-31 | Koninklijke Philips Electronics N.V. | Method and apparatus for detecting scene changes in video using a histogram of frame differences |
| JP4130780B2 (ja) * | 2002-04-15 | 2008-08-06 | 松下電器産業株式会社 | 画像符号化方法および画像復号化方法 |
| US8818896B2 (en) | 2002-09-09 | 2014-08-26 | Sony Corporation | Selective encryption with coverage encryption |
| AU2003288643A1 (en) * | 2003-01-06 | 2004-07-29 | Koninklijke Philips Electronics N.V. | Method and apparatus for similar video content hopping |
| US7292692B2 (en) * | 2003-03-25 | 2007-11-06 | Sony Corporation | Content scrambling with minimal impact on legacy devices |
| US7286667B1 (en) | 2003-09-15 | 2007-10-23 | Sony Corporation | Decryption system |
| US7620180B2 (en) | 2003-11-03 | 2009-11-17 | Sony Corporation | Preparation of content for multiple conditional access methods in video on demand |
| US7853980B2 (en) | 2003-10-31 | 2010-12-14 | Sony Corporation | Bi-directional indices for trick mode video-on-demand |
| WO2005066897A1 (ja) * | 2004-01-06 | 2005-07-21 | Sony Corporation | 画像処理装置および方法、記録媒体、並びにプログラム |
| US20050169473A1 (en) * | 2004-02-03 | 2005-08-04 | Candelore Brant L. | Multiple selective encryption with DRM |
| US8041190B2 (en) | 2004-12-15 | 2011-10-18 | Sony Corporation | System and method for the creation, synchronization and delivery of alternate content |
| US7895617B2 (en) | 2004-12-15 | 2011-02-22 | Sony Corporation | Content substitution editor |
| US8780957B2 (en) | 2005-01-14 | 2014-07-15 | Qualcomm Incorporated | Optimal weights for MMSE space-time equalizer of multicode CDMA system |
| WO2006096612A2 (en) | 2005-03-04 | 2006-09-14 | The Trustees Of Columbia University In The City Of New York | System and method for motion estimation and mode decision for low-complexity h.264 decoder |
| WO2006099082A2 (en) | 2005-03-10 | 2006-09-21 | Qualcomm Incorporated | Content adaptive multimedia processing |
| US8879635B2 (en) | 2005-09-27 | 2014-11-04 | Qualcomm Incorporated | Methods and device for data alignment with time domain boundary |
| US8948260B2 (en) | 2005-10-17 | 2015-02-03 | Qualcomm Incorporated | Adaptive GOP structure in video streaming |
| US8654848B2 (en) * | 2005-10-17 | 2014-02-18 | Qualcomm Incorporated | Method and apparatus for shot detection in video streaming |
| US8185921B2 (en) | 2006-02-28 | 2012-05-22 | Sony Corporation | Parental control of displayed content using closed captioning |
| US7555464B2 (en) * | 2006-03-01 | 2009-06-30 | Sony Corporation | Multiple DRM management |
| US9131164B2 (en) | 2006-04-04 | 2015-09-08 | Qualcomm Incorporated | Preprocessor method and apparatus |
| JP4719889B2 (ja) * | 2006-08-03 | 2011-07-06 | 国立大学法人電気通信大学 | カット点検出システムおよび該カット点検出システムを用いたショット識別システム、カット点検出方法、並びにカット点検出プログラム |
| WO2009126785A2 (en) | 2008-04-10 | 2009-10-15 | The Trustees Of Columbia University In The City Of New York | Systems and methods for image archaeology |
| US20090268097A1 (en) * | 2008-04-28 | 2009-10-29 | Siou-Shen Lin | Scene change detection method and related apparatus according to summation results of block matching costs associated with at least two frames |
| WO2009155281A1 (en) | 2008-06-17 | 2009-12-23 | The Trustees Of Columbia University In The City Of New York | System and method for dynamically and interactively searching media data |
| US8671069B2 (en) | 2008-12-22 | 2014-03-11 | The Trustees Of Columbia University, In The City Of New York | Rapid image annotation via brain state decoding and visual pattern mining |
| EP2216983A1 (en) | 2009-02-05 | 2010-08-11 | Mitsubishi Electric R&D Centre Europe B.V. | Detection of wipe transitions in video |
| KR20100122386A (ko) * | 2009-05-12 | 2010-11-22 | 삼성전자주식회사 | 영상 시퀀스에 인위적으로 삽입된 적어도 하나의 영상 프레임을 부호화/복호화하는 방법 및 장치 |
| US20130170543A1 (en) * | 2011-12-30 | 2013-07-04 | Ning Lu | Systems, methods, and computer program products for streaming out of data for video transcoding and other applications |
| US9565440B2 (en) | 2013-06-25 | 2017-02-07 | Vixs Systems Inc. | Quantization parameter adjustment based on sum of variance and estimated picture encoding cost |
| US9426475B2 (en) * | 2013-06-25 | 2016-08-23 | VIXS Sytems Inc. | Scene change detection using sum of variance and estimated picture encoding cost |
| US9424598B1 (en) | 2013-12-02 | 2016-08-23 | A9.Com, Inc. | Visual search in a controlled shopping environment |
| US9536161B1 (en) * | 2014-06-17 | 2017-01-03 | Amazon Technologies, Inc. | Visual and audio recognition for scene change events |
| WO2016093160A1 (ja) * | 2014-12-08 | 2016-06-16 | シャープ株式会社 | 映像処理装置 |
| US10171807B2 (en) * | 2015-01-29 | 2019-01-01 | Arris Enterprises Llc | Picture-level QP rate control for HEVC encoding |
| US9794540B2 (en) * | 2015-04-17 | 2017-10-17 | Google Inc. | Hardware-based convolutional color correction in digital images |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07236153A (ja) * | 1994-02-22 | 1995-09-05 | Kokusai Denshin Denwa Co Ltd <Kdd> | 動画像のカット点検出およびカット画面グループ検出装置 |
| JPH07284017A (ja) * | 1994-04-05 | 1995-10-27 | Matsushita Electric Ind Co Ltd | カット検出装置 |
| JPH08227462A (ja) * | 1995-02-21 | 1996-09-03 | Hitachi Ltd | 動画像の変化点検出方法及び装置 |
| JPH09261648A (ja) * | 1996-03-21 | 1997-10-03 | Fujitsu Ltd | シーンチェンジ検出装置 |
| JPH09284767A (ja) * | 1996-02-13 | 1997-10-31 | Fuji Film Micro Device Kk | 画像圧縮システムおよび画像圧縮方法 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5068724A (en) * | 1990-06-15 | 1991-11-26 | General Instrument Corporation | Adaptive motion compensation for digital television |
| JP3093499B2 (ja) * | 1992-03-06 | 2000-10-03 | 三菱電機株式会社 | シーンチェンジ検出装置 |
| US5635982A (en) * | 1994-06-27 | 1997-06-03 | Zhang; Hong J. | System for automatic video segmentation and key frame extraction for video sequences having both sharp and gradual transitions |
| JPH08252333A (ja) | 1995-03-17 | 1996-10-01 | Toshiba Corp | 放射線治療計画装置 |
| JPH0941706A (ja) | 1995-07-27 | 1997-02-10 | Kobayashi Sekkei Jimusho:Kk | ステンレス槽及びその設計方法 |
| US5734735A (en) * | 1996-06-07 | 1998-03-31 | Electronic Data Systems Corporation | Method and system for detecting the type of production media used to produce a video signal |
| US6061471A (en) * | 1996-06-07 | 2000-05-09 | Electronic Data Systems Corporation | Method and system for detecting uniform images in video signal |
| US5847772A (en) * | 1996-09-11 | 1998-12-08 | Wells; Aaron | Adaptive filter for video processing applications |
| US5987183A (en) * | 1997-07-31 | 1999-11-16 | Sony Corporation | Image activity data compression and decompression method and apparatus |
-
1998
- 1998-03-05 JP JP7139898A patent/JP3738939B2/ja not_active Expired - Fee Related
-
1999
- 1999-02-23 US US09/255,965 patent/US6473459B1/en not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07236153A (ja) * | 1994-02-22 | 1995-09-05 | Kokusai Denshin Denwa Co Ltd <Kdd> | 動画像のカット点検出およびカット画面グループ検出装置 |
| JPH07284017A (ja) * | 1994-04-05 | 1995-10-27 | Matsushita Electric Ind Co Ltd | カット検出装置 |
| JPH08227462A (ja) * | 1995-02-21 | 1996-09-03 | Hitachi Ltd | 動画像の変化点検出方法及び装置 |
| JPH09284767A (ja) * | 1996-02-13 | 1997-10-31 | Fuji Film Micro Device Kk | 画像圧縮システムおよび画像圧縮方法 |
| JPH09261648A (ja) * | 1996-03-21 | 1997-10-03 | Fujitsu Ltd | シーンチェンジ検出装置 |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003519946A (ja) * | 1999-12-30 | 2003-06-24 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 速い動きのシーンを検出する方法及び装置 |
| US8525935B2 (en) | 2000-09-21 | 2013-09-03 | Canon Kabushiki Kaisha | Moving image processing apparatus and method, and computer readable memory |
| US7916793B2 (en) | 2002-09-20 | 2011-03-29 | Kddi Corporation | Picture searching apparatus |
| US8259172B2 (en) | 2002-09-20 | 2012-09-04 | Kddi Corporation | Picture searching apparatus |
| US8264616B2 (en) | 2002-09-30 | 2012-09-11 | Kddi R&D Laboratories, Inc. | Scene classification apparatus of video |
| US7916171B2 (en) | 2004-03-05 | 2011-03-29 | Kddi R&D Laboratories, Inc. | Classification apparatus for sport videos and method thereof |
| JP2009510931A (ja) * | 2005-09-27 | 2009-03-12 | クゥアルコム・インコーポレイテッド | 遷移効果のためのマルチメディアコード化技術 |
| JP2007142633A (ja) * | 2005-11-16 | 2007-06-07 | Kddi Corp | ショット境界検出装置 |
| WO2007138858A1 (ja) | 2006-05-25 | 2007-12-06 | Nec Corporation | 映像の特殊効果検出装置、特殊効果検出方法、特殊効果検出プログラム及び映像再生装置 |
| JP2009545253A (ja) * | 2006-07-25 | 2009-12-17 | クゥアルコム・インコーポレイテッド | 適応性のあるビデオフレーム補間 |
| JP2009044422A (ja) * | 2007-08-08 | 2009-02-26 | Univ Of Electro-Communications | カット部検出システム及びショット検出システム並びにシーン検出システム、カット部検出方法 |
| JP2009049510A (ja) * | 2007-08-14 | 2009-03-05 | Nippon Hoso Kyokai <Nhk> | 静止画抽出装置及び静止画抽出プログラム |
| JP2009049546A (ja) * | 2007-08-15 | 2009-03-05 | Sony Corp | 電子機器、映像特徴検出方法及びプログラム |
| JP2009231905A (ja) * | 2008-03-19 | 2009-10-08 | Mega Chips Corp | トランスコーダ |
| US8548046B2 (en) | 2008-03-19 | 2013-10-01 | Megachips Corporation | Transcoder |
| JP2009232148A (ja) * | 2008-03-24 | 2009-10-08 | Mega Chips Corp | トランスコーダ |
| US8665326B2 (en) | 2009-01-30 | 2014-03-04 | Olympus Corporation | Scene-change detecting device, computer readable storage medium storing scene-change detection program, and scene-change detecting method |
| JP2009239969A (ja) * | 2009-07-17 | 2009-10-15 | Fujitsu Ltd | 画像符号化装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| US6473459B1 (en) | 2002-10-29 |
| JP3738939B2 (ja) | 2006-01-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH11252509A (ja) | 動画像のカット点検出装置 | |
| US9924201B2 (en) | System and method of filtering noise | |
| US9866845B2 (en) | Method of content adaptive video encoding | |
| EP1021042B1 (en) | Methods of scene change detection and fade detection for indexing of video sequences | |
| US10341654B1 (en) | Computing device for content adaptive video decoding | |
| US6909745B1 (en) | Content adaptive video encoder | |
| US20100303150A1 (en) | System and method for cartoon compression | |
| JP2002262296A (ja) | 移動物体検出装置、および画像監視システム | |
| US10750211B2 (en) | Video-segment identification systems and methods | |
| JPH10257436A (ja) | 動画像の自動階層構造化方法及びこれを用いたブラウジング方法 | |
| US20060109902A1 (en) | Compressed domain temporal segmentation of video sequences | |
| Smeaton et al. | An evaluation of alternative techniques for automatic detection of shot boundaries in digital video | |
| JP2869398B2 (ja) | カット点検出方法及び装置 | |
| JPH10112863A (ja) | 動き被写体情報抽出方法及び装置 | |
| JP3332202B2 (ja) | カメラワーク算出方法及び装置 | |
| JP4225503B2 (ja) | 動画像のカット点検出装置 | |
| JP3339544B2 (ja) | ディゾルブ検出方法および装置 | |
| JP3377679B2 (ja) | 符号化インタレース映像カット検出方法および装置 | |
| JP3377678B2 (ja) | 符号化映像カット検出方法 | |
| JP3333956B2 (ja) | カット点検出方法および装置 | |
| JPH11164199A (ja) | 動画像データのカット検出装置及び方法及び記録媒体 | |
| JPH1079957A (ja) | 動画像の特殊カット点検出装置 | |
| HK1029698B (en) | Methods of scene change detection and fade detection for indexing of video sequences |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041117 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041222 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050216 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050713 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050908 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20051006 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051026 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051027 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050908 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111111 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |