JPH0779431A - ディジタル画像信号のシーンチェンジ検出回路 - Google Patents
ディジタル画像信号のシーンチェンジ検出回路Info
- Publication number
- JPH0779431A JPH0779431A JP17477593A JP17477593A JPH0779431A JP H0779431 A JPH0779431 A JP H0779431A JP 17477593 A JP17477593 A JP 17477593A JP 17477593 A JP17477593 A JP 17477593A JP H0779431 A JPH0779431 A JP H0779431A
- Authority
- JP
- Japan
- Prior art keywords
- scene change
- frame
- detection circuit
- coefficient
- coefficients
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/142—Detection of scene cut or scene change
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Picture Signal Circuits (AREA)
- Studio Circuits (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
(57)【要約】
【目的】 ディジタル画像信号のシーンチェンジを高精
度に検出する。 【構成】 間引き回路２により駒落としがされ、最小二
乗法の演算回路３は、駒落としされた注目フレームの画
像を前後のフレームのデータの線形１次結合でもって推
定する時に、誤差の二乗和を最小とする係数を決定す
る。この係数の中で、前フレームと対応するものが加算
器２１で加算され、その和ＳＵＭｐが比較器２４に供給
される。後フレームと対応する係数が加算器２２で加算
され、その和ＳＵＭｎが比較器２５に供給される。比較
器２４、２８のしきい値判定によって、ＳＵＭｐが大き
く、ＳＵＭｎが小の時は、シーンチェンジの候補と決定
する。絶対値とされた後側の係数のそれぞれが小さいこ
とが確認される時に、シーンチェンジの候補をシーンチ
ェンジの発生として決定する。
度に検出する。 【構成】 間引き回路２により駒落としがされ、最小二
乗法の演算回路３は、駒落としされた注目フレームの画
像を前後のフレームのデータの線形１次結合でもって推
定する時に、誤差の二乗和を最小とする係数を決定す
る。この係数の中で、前フレームと対応するものが加算
器２１で加算され、その和ＳＵＭｐが比較器２４に供給
される。後フレームと対応する係数が加算器２２で加算
され、その和ＳＵＭｎが比較器２５に供給される。比較
器２４、２８のしきい値判定によって、ＳＵＭｐが大き
く、ＳＵＭｎが小の時は、シーンチェンジの候補と決定
する。絶対値とされた後側の係数のそれぞれが小さいこ
とが確認される時に、シーンチェンジの候補をシーンチ
ェンジの発生として決定する。
Description
【０００１】
【産業上の利用分野】この発明は、ディジタル画像信号
を対象とするシーンチェンジ検出回路に関する。
を対象とするシーンチェンジ検出回路に関する。
【０００２】
【従来の技術】ディジタル画像信号のシーンチェンジ
は、時間方向の画像の相関が断たれることを意味する。
従って、予測符号化、輝度信号および色信号を分離する
Ｙ／Ｃ分離、ノイズ除去回路等のディジタル画像信号の
処理において、シーンチェンジ検出が必要とされる。ま
た、ディジタルＶＴＲ、ディスク記録装置等の画像記録
装置において、シーンチェンジ直後の画像を記憶し、記
録画像のインデックスとして使用することも可能であ
る。
は、時間方向の画像の相関が断たれることを意味する。
従って、予測符号化、輝度信号および色信号を分離する
Ｙ／Ｃ分離、ノイズ除去回路等のディジタル画像信号の
処理において、シーンチェンジ検出が必要とされる。ま
た、ディジタルＶＴＲ、ディスク記録装置等の画像記録
装置において、シーンチェンジ直後の画像を記憶し、記
録画像のインデックスとして使用することも可能であ
る。
【０００３】従来のシーンチェンジ検出回路は、現フレ
ームに属する複数の画素の値と前フレームに属する複数
の画素の値との間で、同一位置の画素同士の値の差分を
求め、差分の絶対値和（または二乗和）を計算し、これ
がしきい値より大きい場合には、シーンチェンジが発生
したものと検出する方式が知られている。
ームに属する複数の画素の値と前フレームに属する複数
の画素の値との間で、同一位置の画素同士の値の差分を
求め、差分の絶対値和（または二乗和）を計算し、これ
がしきい値より大きい場合には、シーンチェンジが発生
したものと検出する方式が知られている。
【０００４】
【発明が解決しようとする課題】従来のシーンチェンジ
検出回路は、照明等の影響によって画像の全体的な明る
さが変わった時に、これを誤ってシーンチェンジと検出
する問題があった。また、しきい値を正しく設定するこ
とが難しい問題があった。
検出回路は、照明等の影響によって画像の全体的な明る
さが変わった時に、これを誤ってシーンチェンジと検出
する問題があった。また、しきい値を正しく設定するこ
とが難しい問題があった。
【０００５】従って、この発明の目的は、より正確にシ
ーンチェンジを検出することが可能なシーンチェンジ検
出回路を提供することにある。
ーンチェンジを検出することが可能なシーンチェンジ検
出回路を提供することにある。
【０００６】
【課題を解決するための手段】この発明は、ディジタル
画像信号のシーンチェンジ検出回路において、注目フレ
ームの前および後のフレームに含まれる画素と係数の線
形１次結合によって、注目フレームの入力ディジタル画
像信号を表現し、線形１次結合の係数を最小二乗法によ
り計算するための演算手段と、前のフレームおよびその
後のフレームのそれぞれの計算された係数に関して、注
目フレームの推定に寄与する割合を検出し、検出された
割合をしきい値判定することによって、シーンチェンジ
の発生を決定する手段とからなるシーンチェンジ検出回
路である。
画像信号のシーンチェンジ検出回路において、注目フレ
ームの前および後のフレームに含まれる画素と係数の線
形１次結合によって、注目フレームの入力ディジタル画
像信号を表現し、線形１次結合の係数を最小二乗法によ
り計算するための演算手段と、前のフレームおよびその
後のフレームのそれぞれの計算された係数に関して、注
目フレームの推定に寄与する割合を検出し、検出された
割合をしきい値判定することによって、シーンチェンジ
の発生を決定する手段とからなるシーンチェンジ検出回
路である。
【０００７】
【作用】時間的に連続する３フレームの画像を用い、中
央の注目フレームの画像を前後のフレームのデータと係
数の線形１次結合により表現する。誤差の二乗和が最小
の係数が決定される。連続シーンでは、時間的および空
間的な相関が存在するので、注目フレームの推定に対し
て、前後のフレームの寄与する割合ガ略等しい。一方、
シーンチェンジが発生すると、この相関が断たれるの
で、前後のフレームの寄与する割合が大きく異なる。こ
の相違が前のフレームに係数と後のフレームの係数とか
ら識別できる。
央の注目フレームの画像を前後のフレームのデータと係
数の線形１次結合により表現する。誤差の二乗和が最小
の係数が決定される。連続シーンでは、時間的および空
間的な相関が存在するので、注目フレームの推定に対し
て、前後のフレームの寄与する割合ガ略等しい。一方、
シーンチェンジが発生すると、この相関が断たれるの
で、前後のフレームの寄与する割合が大きく異なる。こ
の相違が前のフレームに係数と後のフレームの係数とか
ら識別できる。
【０００８】
【実施例】以下、この発明によるシーンチェンジ検出回
路について説明する。この発明の理解を容易とするため
に、まず、時空間モデルで画像を記述することについ
て、図１を参照して説明する。
路について説明する。この発明の理解を容易とするため
に、まず、時空間モデルで画像を記述することについ
て、図１を参照して説明する。
【０００９】図１は、１／２駒落としのモデルを示し、
Ｔ０、Ｔ１、Ｔ２は、時間的に連続する３フレームを示
す。中央のフレームＴ１が駒落としされるフレームであ
る。後述するように、フレームＴ１がシーンチェンジの
検出の対象とする注目フレームである。このフレームＴ
１に含まれる画素の値ｙを前のフレームＴ０および後の
フレームＴ２の画素の値と係数の線形１次結合で表す。
Ｔ０、Ｔ１、Ｔ２は、時間的に連続する３フレームを示
す。中央のフレームＴ１が駒落としされるフレームであ
る。後述するように、フレームＴ１がシーンチェンジの
検出の対象とする注目フレームである。このフレームＴ
１に含まれる画素の値ｙを前のフレームＴ０および後の
フレームＴ２の画素の値と係数の線形１次結合で表す。
【００１０】より具体的には、フレームＴ０およびＴ２
から空間的に同一位置の（３×３）の領域をそれぞれ切
り出す。２個の領域によって一つの３次元ブロックが構
成される。以下により詳細に説明するように、フレーム
Ｔ１の中央の画素の値ｙが画素の値ｘi と係数の線形１
次結合モデルで表され、線形１次結合で表現されるデー
タの実データに対する誤差の二乗が最小となるように、
係数が最小二乗法で決定される。１フレームで１組の係
数が確定される。
から空間的に同一位置の（３×３）の領域をそれぞれ切
り出す。２個の領域によって一つの３次元ブロックが構
成される。以下により詳細に説明するように、フレーム
Ｔ１の中央の画素の値ｙが画素の値ｘi と係数の線形１
次結合モデルで表され、線形１次結合で表現されるデー
タの実データに対する誤差の二乗が最小となるように、
係数が最小二乗法で決定される。１フレームで１組の係
数が確定される。
【００１１】図１に示す時空間モデルにおいて、２個の
領域を含むブロック内には、合計で１８個の画素が含ま
れる。この画素の値をｘi （ｉ＝１，２，・・・，１
８）とする。そして、画素のそれぞれに乗じられる係数
は、ｗ1 〜ｗ18と表す。フレームＴ１のブロックの中央
の画素の値をｙとすると、この値を他のフレームＴ０、
Ｔ２の画素と係数の線形１次結合ｘi ｗi で表現する。
すなわち、フレームＴ１の中央位置の値ｙは、このよう
に１８タップの入力画素の線形１次結合ｗ1 ｘ1＋ｗ2
ｘ2 ＋・・・＋ｗ18ｘ18によって表される。この線形１
次結合モデルにおける係数ｗi については、実際の値と
線形１次結合で表される値との残差が最小になるものが
求められる。
領域を含むブロック内には、合計で１８個の画素が含ま
れる。この画素の値をｘi （ｉ＝１，２，・・・，１
８）とする。そして、画素のそれぞれに乗じられる係数
は、ｗ1 〜ｗ18と表す。フレームＴ１のブロックの中央
の画素の値をｙとすると、この値を他のフレームＴ０、
Ｔ２の画素と係数の線形１次結合ｘi ｗi で表現する。
すなわち、フレームＴ１の中央位置の値ｙは、このよう
に１８タップの入力画素の線形１次結合ｗ1 ｘ1＋ｗ2
ｘ2 ＋・・・＋ｗ18ｘ18によって表される。この線形１
次結合モデルにおける係数ｗi については、実際の値と
線形１次結合で表される値との残差が最小になるものが
求められる。
【００１２】この未定係数ｗi を決定するために、入力
画像を空間方向（水平方向および垂直方向）に１画素ず
つずらした時の図１に示すブロックの画素の値ｘi （ｉ
＝１，・・・，ｎ）と補間対象画素の実際の値ｙj （ｊ
＝１，・・・，ｍ）をそれぞれ代入した線形１次結合の
式を作成する。ここでの例では、（ｎ＝１８）である。
例えば１フレームに対して１組の係数を求める時には、
１フレームの画像に対して、ブロックの切り出しを１画
素ずつシフトすることによって、非常に多くの式、すな
わち、１フレームの画素数（＝ｍ）の連立方程式（観測
方程式と称する）が作成される。１８個の係数を決定す
るためには、最低で（ｍ＝１８）の連立方程式が必要で
ある。方程式の個数ｍは、精度の問題と処理時間との兼
ね合いで適宜選定できる。観測方程式は、 ＸＷ＝Ｙ （１） である。ここでＸ、Ｗ、Ｙは、それぞれ下記のような行
列である。
画像を空間方向（水平方向および垂直方向）に１画素ず
つずらした時の図１に示すブロックの画素の値ｘi （ｉ
＝１，・・・，ｎ）と補間対象画素の実際の値ｙj （ｊ
＝１，・・・，ｍ）をそれぞれ代入した線形１次結合の
式を作成する。ここでの例では、（ｎ＝１８）である。
例えば１フレームに対して１組の係数を求める時には、
１フレームの画像に対して、ブロックの切り出しを１画
素ずつシフトすることによって、非常に多くの式、すな
わち、１フレームの画素数（＝ｍ）の連立方程式（観測
方程式と称する）が作成される。１８個の係数を決定す
るためには、最低で（ｍ＝１８）の連立方程式が必要で
ある。方程式の個数ｍは、精度の問題と処理時間との兼
ね合いで適宜選定できる。観測方程式は、 ＸＷ＝Ｙ （１） である。ここでＸ、Ｗ、Ｙは、それぞれ下記のような行
列である。
【００１３】
【数１】
【００１４】係数ｗとして、実際の値との誤差を最小に
するものを最小二乗法により求める。このために、観測
方程式の右辺に残差行列Ｅを加えた下記の残差方程式を
作成する。すなわち、最小二乗法において、残差方程式
における残差行列Ｅの要素の二乗、すなわち二乗誤差が
最小になる係数行列Ｗを求める。
するものを最小二乗法により求める。このために、観測
方程式の右辺に残差行列Ｅを加えた下記の残差方程式を
作成する。すなわち、最小二乗法において、残差方程式
における残差行列Ｅの要素の二乗、すなわち二乗誤差が
最小になる係数行列Ｗを求める。
【００１５】
【数２】
【００１６】次に、残差方程式（３）から係数行列Ｗの
各要素ｗi の最確値を見いだすための条件は、ブロック
内の画素に対応するｍ個の残差をそれぞれ二乗してその
総和を最小にする条件を満足させればよい。この条件
は、下記の式（４）により表される。
各要素ｗi の最確値を見いだすための条件は、ブロック
内の画素に対応するｍ個の残差をそれぞれ二乗してその
総和を最小にする条件を満足させればよい。この条件
は、下記の式（４）により表される。
【００１７】
【数３】
【００１８】ｎ個の条件を入れてこれを満足する係数行
列Ｗの要素である未定係数ｗ1 ，ｗ2 ，・・・，ｗn を
見出せばよい。従って、残差方程式（３）より、
列Ｗの要素である未定係数ｗ1 ，ｗ2 ，・・・，ｗn を
見出せばよい。従って、残差方程式（３）より、
【００１９】
【数４】
【００２０】となる。式（４）の条件をｉ＝１，２，・
・・，ｎ）について立てれば、それぞれ
・・，ｎ）について立てれば、それぞれ
【００２１】
【数５】
【００２２】が得られる。式（３）と式（６）から、下
記の正規方程式が得られる。
記の正規方程式が得られる。
【００２３】
【数６】
【００２４】正規方程式（７）は、丁度、未知数の数が
ｎ個だけある連立方程式である。これにより、最確値た
る各未定係数ｗi を求めることができる。正確には、式
（７）における、ｗi にかかるマトリクスが正則であれ
ば、解くことができる。実際には、Gauss-Jordanの消去
法（別名、掃き出し法）を用いて未定係数ｗi を求めて
いる。このようにして、注目フレームの画素を表すため
の係数が１フレームで１組確定する。
ｎ個だけある連立方程式である。これにより、最確値た
る各未定係数ｗi を求めることができる。正確には、式
（７）における、ｗi にかかるマトリクスが正則であれ
ば、解くことができる。実際には、Gauss-Jordanの消去
法（別名、掃き出し法）を用いて未定係数ｗi を求めて
いる。このようにして、注目フレームの画素を表すため
の係数が１フレームで１組確定する。
【００２５】この実施例は、決定された係数を使用し
て、フレームＴ１およびＴ２間（すなわち、後側のシー
ンチェンジ）を検出する。図２は、連続シーンの場合
に、上述のようにして決定された係数の一例であり、ま
た、図３は、後側でシーンチェンジが生じた時の係数の
一例である。ｗ1 〜ｗ9 が前フレームの画素データｘ1
〜ｘ9 にそれぞれ乗じられる係数であり、ｗ10〜ｗ18が
後フレームの画素データｘ10〜ｘ18にそれぞれ乗じられ
る係数である。シーンチェンジは、時空間の画像の相関
を断つので、図３から分かるように、シーンチェンジが
発生すると、後のフレームＴ２の画素データに対する係
数が略０である。係数のかかる特徴に基づいてシーンチ
ェンジを検出しようとするのがこの発明である。
て、フレームＴ１およびＴ２間（すなわち、後側のシー
ンチェンジ）を検出する。図２は、連続シーンの場合
に、上述のようにして決定された係数の一例であり、ま
た、図３は、後側でシーンチェンジが生じた時の係数の
一例である。ｗ1 〜ｗ9 が前フレームの画素データｘ1
〜ｘ9 にそれぞれ乗じられる係数であり、ｗ10〜ｗ18が
後フレームの画素データｘ10〜ｘ18にそれぞれ乗じられ
る係数である。シーンチェンジは、時空間の画像の相関
を断つので、図３から分かるように、シーンチェンジが
発生すると、後のフレームＴ２の画素データに対する係
数が略０である。係数のかかる特徴に基づいてシーンチ
ェンジを検出しようとするのがこの発明である。
【００２６】図４は、この発明によるシーンチェンジ検
出回路の一例のブロック図である。入力端子１からのデ
ィジタル画像データが間引き回路２に供給され、間引き
処理がなされる。図１に示される１／２駒落としがその
一例である。間引き回路２からのフレームＴ０およびＴ
２データが最小二乗法の演算回路３に供給される。
出回路の一例のブロック図である。入力端子１からのデ
ィジタル画像データが間引き回路２に供給され、間引き
処理がなされる。図１に示される１／２駒落としがその
一例である。間引き回路２からのフレームＴ０およびＴ
２データが最小二乗法の演算回路３に供給される。
【００２７】この演算回路３には、入力端子１から注目
フレームＴ１の実データも供給される。最小二乗法の演
算回路３では、図１に示すような時空間モデルに関し
て、最小二乗法のアルゴリズムによって、例えば１フレ
ームで１組の係数ｗi を決定する。演算回路３からは、
確定係数が出力される。この係数が係数メモリ４に格納
される。メモリ４に格納されている係数を使用して、後
述のように、シーンチェンジの検出処理がなされる。演
算回路３からの係数は、高能率符号化の出力データとし
て扱っても良い。すなわち、間引かれないデータと係数
とを伝送し、受信側では、これらのデータから間引かれ
たデータを補間することができる。
フレームＴ１の実データも供給される。最小二乗法の演
算回路３では、図１に示すような時空間モデルに関し
て、最小二乗法のアルゴリズムによって、例えば１フレ
ームで１組の係数ｗi を決定する。演算回路３からは、
確定係数が出力される。この係数が係数メモリ４に格納
される。メモリ４に格納されている係数を使用して、後
述のように、シーンチェンジの検出処理がなされる。演
算回路３からの係数は、高能率符号化の出力データとし
て扱っても良い。すなわち、間引かれないデータと係数
とを伝送し、受信側では、これらのデータから間引かれ
たデータを補間することができる。
【００２８】ここで、図５は、最小二乗法の演算回路３
のより詳細な構成を示す。入力ディジタル画像信号が供
給され、時空間モデルを構成するデータ、すなわち、対
象画素の実データｙと線形１次結合に使用するデータｘ
i を同時化するための時系列変換メモリ１１が設けられ
ている。時系列変換メモリ１１からのデータが乗算器ア
レー１２に供給される。乗算器アレー１２に対して加算
メモリ１３が接続される。これらの乗算器アレー１２お
よび加算メモリ１３は、正規方程式生成回路を構成す
る。
のより詳細な構成を示す。入力ディジタル画像信号が供
給され、時空間モデルを構成するデータ、すなわち、対
象画素の実データｙと線形１次結合に使用するデータｘ
i を同時化するための時系列変換メモリ１１が設けられ
ている。時系列変換メモリ１１からのデータが乗算器ア
レー１２に供給される。乗算器アレー１２に対して加算
メモリ１３が接続される。これらの乗算器アレー１２お
よび加算メモリ１３は、正規方程式生成回路を構成す
る。
【００２９】乗算器アレー１２は、各画素同士の乗算を
行ない、加算メモリ１３は、乗算器アレー１２からの乗
算結果が供給される加算器アレーとメモリアレーとで構
成される。図６は、乗算器アレー１２の具体的構成であ
る。図６において、その一つを拡大して示すように、四
角のセルが乗算器を表す。乗算器アレー１２において各
画素同士の乗算が行われ、その結果が加算メモリ１３に
供給される。
行ない、加算メモリ１３は、乗算器アレー１２からの乗
算結果が供給される加算器アレーとメモリアレーとで構
成される。図６は、乗算器アレー１２の具体的構成であ
る。図６において、その一つを拡大して示すように、四
角のセルが乗算器を表す。乗算器アレー１２において各
画素同士の乗算が行われ、その結果が加算メモリ１３に
供給される。
【００３０】加算メモリ１３は、図７に示すように、加
算器アレー１３ａとメモリ（またはレジスタ、以下同
様）アレー１３ｂとが直列接続され、メモリアレー１３
ｂの出力が加算器アレー１３ａに帰還される。これらの
乗算器アレー１２、加算器アレー１３ａ、メモリアレー
１３ｂによって積和演算がなされる。前述の正規方程式
（７）のｗi にかかる積和演算の項を見ると、右上の項
を反転すると、左下と同じものとなる。従って、（７）
式を左上から右下に向かう線によって斜めに分割し、上
側の三角形部分に含まれる項のみを演算すれば良い。こ
の点から乗算器アレー１２、加算器アレー１３ａ、メモ
リアレー１３ｂは、図６および図７に示すように、上側
の三角形部分に含まれる項を演算するのに必要とされ
る、乗算セルあるいはメモリセルを備えている。
算器アレー１３ａとメモリ（またはレジスタ、以下同
様）アレー１３ｂとが直列接続され、メモリアレー１３
ｂの出力が加算器アレー１３ａに帰還される。これらの
乗算器アレー１２、加算器アレー１３ａ、メモリアレー
１３ｂによって積和演算がなされる。前述の正規方程式
（７）のｗi にかかる積和演算の項を見ると、右上の項
を反転すると、左下と同じものとなる。従って、（７）
式を左上から右下に向かう線によって斜めに分割し、上
側の三角形部分に含まれる項のみを演算すれば良い。こ
の点から乗算器アレー１２、加算器アレー１３ａ、メモ
リアレー１３ｂは、図６および図７に示すように、上側
の三角形部分に含まれる項を演算するのに必要とされ
る、乗算セルあるいはメモリセルを備えている。
【００３１】以上のようにして、入力画像が到来するに
従って積和演算が行われ、正規方程式が生成される。こ
の正規方程式の各項の結果は、メモリアレー１３ｂに記
憶されており、次に図５に示すように、この正規方程式
の各項が掃き出し法のＣＰＵ演算回路１４に計算され
る。ＣＰＵを用いた演算によって正規方程式（連立方程
式）が解かれ、最確値である係数が求まる。この係数が
出力される。
従って積和演算が行われ、正規方程式が生成される。こ
の正規方程式の各項の結果は、メモリアレー１３ｂに記
憶されており、次に図５に示すように、この正規方程式
の各項が掃き出し法のＣＰＵ演算回路１４に計算され
る。ＣＰＵを用いた演算によって正規方程式（連立方程
式）が解かれ、最確値である係数が求まる。この係数が
出力される。
【００３２】図４に戻って、この発明の特徴とするシー
ンチェンジ検出回路について説明する。係数メモリ４に
格納されている係数が読出され、加算器２１、２２およ
び絶対値化回路２３に供給される。加算器２１は、前フ
レームＴ０に関連する係数ｗ1 〜ｗ9 の和ＳＵＭｐ（＝
ｗ1 ＋ｗ2 ＋・・・＋ｗ9 ）を生成し、加算器２２は、
後フレームＴ２に関連する係数ｗ10〜ｗ18の和ＳＵＭｎ
（＝ｗ10＋ｗ11＋・・・＋ｗ18）を生成する。絶対値化
回路２３は、係数ｗ10〜ｗ18の値を絶対値へ変換する。
ンチェンジ検出回路について説明する。係数メモリ４に
格納されている係数が読出され、加算器２１、２２およ
び絶対値化回路２３に供給される。加算器２１は、前フ
レームＴ０に関連する係数ｗ1 〜ｗ9 の和ＳＵＭｐ（＝
ｗ1 ＋ｗ2 ＋・・・＋ｗ9 ）を生成し、加算器２２は、
後フレームＴ２に関連する係数ｗ10〜ｗ18の和ＳＵＭｎ
（＝ｗ10＋ｗ11＋・・・＋ｗ18）を生成する。絶対値化
回路２３は、係数ｗ10〜ｗ18の値を絶対値へ変換する。
【００３３】上述の図２の例のように、連続するシーン
においては、ＳＵＭｐおよびＳＵＭｎがそれぞれ０．５
に近い値を示すことが多い。一方、図３の例のように、
注目フレームの後側でシーンチェンジが発生した時に
は、ＳＵＭｐが１に近い値を示し、ＳＵＭｎが０に近い
値を示すことが多い。これは、シーンチェンジによっ
て、以前の画像との時空間の相関が断たれるからであ
る。
においては、ＳＵＭｐおよびＳＵＭｎがそれぞれ０．５
に近い値を示すことが多い。一方、図３の例のように、
注目フレームの後側でシーンチェンジが発生した時に
は、ＳＵＭｐが１に近い値を示し、ＳＵＭｎが０に近い
値を示すことが多い。これは、シーンチェンジによっ
て、以前の画像との時空間の相関が断たれるからであ
る。
【００３４】そこで、第１段階の処理として、加算器２
１および２２の出力を比較器２４および２５に供給し、
しきい値Ｔｈ１およびＴｈ２と比較する。一例として、
Ｔｈ１＝０．８、Ｔｈ２＝０．２に選定される。比較器
２４の出力（ＳＵＭｐ≧Ｔｈ１でハイレベル）と比較器
２５の出力を反転したもの（ＳＵＭｎ≦Ｔｈ２でハイレ
ベル）とがＡＮＤゲート２６に供給される。ＡＮＤゲー
ト２６からのフラグ０がレジスタ２７に供給され、レジ
スタ２７から１クロック遅延されたフラグ１が発生す
る。
１および２２の出力を比較器２４および２５に供給し、
しきい値Ｔｈ１およびＴｈ２と比較する。一例として、
Ｔｈ１＝０．８、Ｔｈ２＝０．２に選定される。比較器
２４の出力（ＳＵＭｐ≧Ｔｈ１でハイレベル）と比較器
２５の出力を反転したもの（ＳＵＭｎ≦Ｔｈ２でハイレ
ベル）とがＡＮＤゲート２６に供給される。ＡＮＤゲー
ト２６からのフラグ０がレジスタ２７に供給され、レジ
スタ２７から１クロック遅延されたフラグ１が発生す
る。
【００３５】フラグ０（フラグ１）がハイレベルの時
は、（ＳＵＭｐ≧Ｔｈ１）で、且つ（ＳＵＭｎ≦Ｔｈ
２）を意味する。この条件が成立するものは、シーンチ
ェンジの候補と判定する。若し、何れか一方の条件が成
立しない時には、シーンチェンジの候補としない。
は、（ＳＵＭｐ≧Ｔｈ１）で、且つ（ＳＵＭｎ≦Ｔｈ
２）を意味する。この条件が成立するものは、シーンチ
ェンジの候補と判定する。若し、何れか一方の条件が成
立しない時には、シーンチェンジの候補としない。
【００３６】次に、シーンチェンジの候補が本当にシー
ンチェンジかどうかの確認のための第２の判定処理を行
う。これは、後のフレームＴ２と対応する各係数の絶対
値を調べ、全ての値があるしきい値Ｔｈ３（例えば０．
１）を超えなかった場合に、シーンチェンジであるとす
るものである。このため絶対値化回路２３の出力が比較
器２８に供給され、しきい値Ｔｈ３と比較される。比較
器２８に対しては、レジスタ２７からのフラグ１がイネ
ーブルＥＮとして供給される。ＥＮがハイレベルの場
合、すなわち、第１の判定処理の結果がシーンチェンジ
の候補を意味する場合に、比較器２８がアクティブであ
る。
ンチェンジかどうかの確認のための第２の判定処理を行
う。これは、後のフレームＴ２と対応する各係数の絶対
値を調べ、全ての値があるしきい値Ｔｈ３（例えば０．
１）を超えなかった場合に、シーンチェンジであるとす
るものである。このため絶対値化回路２３の出力が比較
器２８に供給され、しきい値Ｔｈ３と比較される。比較
器２８に対しては、レジスタ２７からのフラグ１がイネ
ーブルＥＮとして供給される。ＥＮがハイレベルの場
合、すなわち、第１の判定処理の結果がシーンチェンジ
の候補を意味する場合に、比較器２８がアクティブであ
る。
【００３７】比較器２８の比較出力を反転したものがレ
ジスタ２９を介してレジスタ３０にリセット信号として
供給される。このレジスタ３０は、レジスタ２７からの
フラグ１を受け取って、最終的なフラグ２を出力する。
このフラグ２は、ハイレベルでシーンチェンジの発生を
指示し、ローレベルで連続シーンを指示する。従って、
フラグ１がハイレベルで、また、レジスタ３０がリセッ
トされなければ、フラグ２がハイレベルとなり、このフ
ラグ２がシーンチェンジの発生を指示することになる。
ジスタ２９を介してレジスタ３０にリセット信号として
供給される。このレジスタ３０は、レジスタ２７からの
フラグ１を受け取って、最終的なフラグ２を出力する。
このフラグ２は、ハイレベルでシーンチェンジの発生を
指示し、ローレベルで連続シーンを指示する。従って、
フラグ１がハイレベルで、また、レジスタ３０がリセッ
トされなければ、フラグ２がハイレベルとなり、このフ
ラグ２がシーンチェンジの発生を指示することになる。
【００３８】上述の比較器２８の反転出力は、（｜ｗ10
｜〜｜ｗ18｜＞Ｔｈ３）の時に、ローレベルである。ロ
ーレベルの出力によって、レジスタ３０がリセットさ
れ、フラグ２がローレベルとなる。従って、 ｜ｗ10｜≦Ｔｈ３and ｜ｗ11｜≦Ｔｈ３and ｜ｗ12｜≦
Ｔｈ３and ・・・・and ｜ｗ17｜≦Ｔｈ３and ｜ｗ18｜≦Ｔｈ３ が満たされる時に、レジスタ３０がリセットされず、そ
の結果、シーンチェンジの候補がフラグ２として出力さ
れることになる。
｜〜｜ｗ18｜＞Ｔｈ３）の時に、ローレベルである。ロ
ーレベルの出力によって、レジスタ３０がリセットさ
れ、フラグ２がローレベルとなる。従って、 ｜ｗ10｜≦Ｔｈ３and ｜ｗ11｜≦Ｔｈ３and ｜ｗ12｜≦
Ｔｈ３and ・・・・and ｜ｗ17｜≦Ｔｈ３and ｜ｗ18｜≦Ｔｈ３ が満たされる時に、レジスタ３０がリセットされず、そ
の結果、シーンチェンジの候補がフラグ２として出力さ
れることになる。
【００３９】この例では、後側のシーンチェンジの発生
を検出している。各フレームを注目フレームとする処理
を順次行うことによって、全ての後側のシーンチェンジ
を検出することができる。シーンチェンジの検出結果
は、入力信号に対して、１フレームと等しいか、または
それ以上の遅れて生じる。この補償は、メモリまたは遅
延回路によって補償できる。
を検出している。各フレームを注目フレームとする処理
を順次行うことによって、全ての後側のシーンチェンジ
を検出することができる。シーンチェンジの検出結果
は、入力信号に対して、１フレームと等しいか、または
それ以上の遅れて生じる。この補償は、メモリまたは遅
延回路によって補償できる。
【００４０】１フレームおきのフレームを注目フレーム
とし、前および後のシーンチェンジを共に検出する構成
も可能である。後側のシーンチェンジの発生の検出は、
上述の一実施例と同様になされる。前側のシーンチェン
ジの発生は、下記の条件が成立する時に検出される。 ＳＵＭｐ≦Ｔｈ２（例えば０．２） and ＳＵＭｎ≧Ｔ
ｈ１（例えば０．８）
とし、前および後のシーンチェンジを共に検出する構成
も可能である。後側のシーンチェンジの発生の検出は、
上述の一実施例と同様になされる。前側のシーンチェン
ジの発生は、下記の条件が成立する時に検出される。 ＳＵＭｐ≦Ｔｈ２（例えば０．２） and ＳＵＭｎ≧Ｔ
ｈ１（例えば０．８）
【００４１】さらに、時空間モデルとしては、図１に示
すものに限られない。線形１次結合のタップ数を増やす
ことで、空間的な広がりが増し、画像の動きをシーンチ
ェンジと誤って検出する可能性を低くできる。もっと
も、タップ数の増大は、計算時間の増加をもたらす問題
がある。この問題に対処するには、サブサンプリングを
行えば良い。
すものに限られない。線形１次結合のタップ数を増やす
ことで、空間的な広がりが増し、画像の動きをシーンチ
ェンジと誤って検出する可能性を低くできる。もっと
も、タップ数の増大は、計算時間の増加をもたらす問題
がある。この問題に対処するには、サブサンプリングを
行えば良い。
【００４２】図８は、前後のフレームＴ０およびＴ２に
おいて、五の目格子状のサブサンプリングを行なう例で
ある。このサブサンプリングによって、画素数を１／２
に減少できるので、計算時間の増大を抑えながら、空間
的広がりを増大させることができる。勿論、１／４サブ
サンプリング、１／８サブサンプリング等を採用するこ
ともできる。
おいて、五の目格子状のサブサンプリングを行なう例で
ある。このサブサンプリングによって、画素数を１／２
に減少できるので、計算時間の増大を抑えながら、空間
的広がりを増大させることができる。勿論、１／４サブ
サンプリング、１／８サブサンプリング等を採用するこ
ともできる。
【００４３】
【発明の効果】以上の説明からも明らかなように、この
発明によれば、照明等による明るさの変動の影響を受け
ずに、より正確にシーンチェンジを検出することができ
る。また、この発明は、伝送データ量を圧縮するため
に、サブサンプリングを行ない、伝送画素データと係数
とを伝送するシステムにおいて、整合性が良いシーンチ
ェンジ検出回路を提供できる。
発明によれば、照明等による明るさの変動の影響を受け
ずに、より正確にシーンチェンジを検出することができ
る。また、この発明は、伝送データ量を圧縮するため
に、サブサンプリングを行ない、伝送画素データと係数
とを伝送するシステムにおいて、整合性が良いシーンチ
ェンジ検出回路を提供できる。
【図１】この発明の一実施例における時空間モデルを説
明するための略線図である。
明するための略線図である。
【図２】連続シーンの場合の線形１次結合の係数の一例
を示す略線図である。
を示す略線図である。
【図３】後側でシーンチェンジが発生した場合の線形１
次結合の係数の一例を示す略線図である。
次結合の係数の一例を示す略線図である。
【図４】この発明の一実施例のブロック図である。
【図５】最小二乗法の演算回路の一例のブロック図であ
る。
る。
【図６】最小二乗法の演算回路に含まれる乗算器アレー
を説明するための略線図である。
を説明するための略線図である。
【図７】最小二乗法の演算回路に含まれる加算器アレー
およびメモリアレーを説明するための略線図である。
およびメモリアレーを説明するための略線図である。
【図８】この発明を適用できる時空間モデルの他の例の
略線図である。
略線図である。
２ 間引き回路 ３ 最小二乗法の演算回路 ２１、２２ 加算器 ２３ 絶対値化回路 ２４、２５、２８ 比較器
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｈ０４Ｎ 5/91
Claims (4)
- 【請求項１】 ディジタル画像信号のシーンチェンジ検
出回路において、 注目フレームの前および後のフレームに含まれる画素と
係数の線形１次結合によって、上記注目フレームの入力
ディジタル画像信号を表現し、上記線形１次結合の係数
を最小二乗法により計算するための演算手段と、 前のフレームおよびその後のフレームのそれぞれの計算
された係数に関して、上記注目フレームの推定に寄与す
る割合を検出し、検出された割合をしきい値判定するこ
とによって、シーンチェンジの発生を決定する手段とか
らなるシーンチェンジ検出回路。 - 【請求項２】 請求項１に記載のシーンチェンジ検出回
路において、 シーンチェンジ決定手段は、前または後のフレームの全
ての上記係数が殆ど０である時に、シーンチェンジの発
生を決定する手段をさらに有するシーンチェンジ検出回
路。 - 【請求項３】 請求項１に記載のシーンチェンジ検出回
路において、 シーンチェンジ決定手段は、前および後のフレームの一
方の係数の合計値が所定値より大である時に、一方のフ
レームの係数が推定に寄与する割合が大きいと決定する
ようにしたシーンチェンジ検出回路。 - 【請求項４】 請求項１に記載のシーンチェンジ検出回
路において、 シーンチェンジ決定手段は、前および後のフレームの一
方の係数の合計値が所定値より小である時に、後のフレ
ームの係数が推定に寄与する割合が小さいと決定するよ
うにしたシーンチェンジ検出回路。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP17477593A JP3655927B2 (ja) | 1993-06-22 | 1993-06-22 | シーンチェンジ検出装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP17477593A JP3655927B2 (ja) | 1993-06-22 | 1993-06-22 | シーンチェンジ検出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0779431A true JPH0779431A (ja) | 1995-03-20 |
| JP3655927B2 JP3655927B2 (ja) | 2005-06-02 |
Family
ID=15984456
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP17477593A Expired - Lifetime JP3655927B2 (ja) | 1993-06-22 | 1993-06-22 | シーンチェンジ検出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3655927B2 (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6738100B2 (en) | 1996-06-07 | 2004-05-18 | Virage, Inc. | Method for detecting scene changes in a digital video stream |
| JP2007142633A (ja) * | 2005-11-16 | 2007-06-07 | Kddi Corp | ショット境界検出装置 |
| US7558424B2 (en) | 2006-02-17 | 2009-07-07 | Fujitsu Microelectronics Limited | Scene change determination device/method and data transfer device/method |
| US8582952B2 (en) | 2009-09-15 | 2013-11-12 | Apple Inc. | Method and apparatus for identifying video transitions |
-
1993
- 1993-06-22 JP JP17477593A patent/JP3655927B2/ja not_active Expired - Lifetime
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6738100B2 (en) | 1996-06-07 | 2004-05-18 | Virage, Inc. | Method for detecting scene changes in a digital video stream |
| US8107015B1 (en) | 1996-06-07 | 2012-01-31 | Virage, Incorporated | Key frame selection |
| US8576342B2 (en) | 1996-06-07 | 2013-11-05 | Virage, Inc. | System and method for detecting scene changes in a digital video stream |
| JP2007142633A (ja) * | 2005-11-16 | 2007-06-07 | Kddi Corp | ショット境界検出装置 |
| US7558424B2 (en) | 2006-02-17 | 2009-07-07 | Fujitsu Microelectronics Limited | Scene change determination device/method and data transfer device/method |
| US8582952B2 (en) | 2009-09-15 | 2013-11-12 | Apple Inc. | Method and apparatus for identifying video transitions |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3655927B2 (ja) | 2005-06-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP1665808B1 (en) | Temporal interpolation of a pixel on basis of occlusion detection | |
| EP0549471B1 (en) | Motion detection and estimation apparatus and method thereof | |
| US6404461B1 (en) | Method for detecting static areas in a sequence of video pictures | |
| JP3845456B2 (ja) | 動き補正ビデオ信号処理方式 | |
| JPS63313987A (ja) | ディジタルテレビジョン画像の動きベクトル数の減少方法 | |
| EP1585326A1 (en) | Motion vector estimation at image borders for frame rate conversion | |
| JPS63313981A (ja) | ディジタルテレビジョン画像の動きベクトル処理装置 | |
| JP2001507552A (ja) | 隠れた／露出した像部分の動きベクトル予測及び検知 | |
| JPS63313982A (ja) | テレビジョン画像の動きベクトル評価方法 | |
| KR20060083978A (ko) | 움직임 벡터 필드 리－타이밍 | |
| JP3572632B2 (ja) | 異常検出装置 | |
| US8379146B2 (en) | Deinterlacing method and apparatus for digital motion picture | |
| JP3674186B2 (ja) | 画像情報変換装置および方法 | |
| JPH0795591A (ja) | ディジタル画像信号処理装置 | |
| US8102915B2 (en) | Motion vector fields refinement to track small fast moving objects | |
| JP3655927B2 (ja) | シーンチェンジ検出装置 | |
| JP2000201328A (ja) | 動きベクトルの検出方法および回路 | |
| EP0654941B1 (en) | Motion detection circuit and method using spatial information | |
| EP1958451B1 (en) | Motion vector field correction | |
| JP4140091B2 (ja) | 画像情報変換装置および画像情報変換方法 | |
| JPH0884335A (ja) | 画像信号処理方法及び画像信号伝送装置 | |
| JPH07193789A (ja) | 画像情報変換装置 | |
| JPH0746589A (ja) | ディジタル画像信号処理装置 | |
| JP4038881B2 (ja) | 画像信号の変換装置および変換方法、並びにそれに使用される係数データの生成装置および生成方法 | |
| JP3653287B2 (ja) | 画像情報変換装置及び画像情報変換方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050203 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050307 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080311 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090311 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100311 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100311 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110311 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110311 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120311 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130311 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140311 Year of fee payment: 9 |
|
| EXPY | Cancellation because of completion of term |