JPH1023329A - シーン・チェンジおよび/またはフラッシュ検出装置 - Google Patents

シーン・チェンジおよび/またはフラッシュ検出装置

Info

Publication number
JPH1023329A
JPH1023329A JP17096596A JP17096596A JPH1023329A JP H1023329 A JPH1023329 A JP H1023329A JP 17096596 A JP17096596 A JP 17096596A JP 17096596 A JP17096596 A JP 17096596A JP H1023329 A JPH1023329 A JP H1023329A
Authority
JP
Japan
Prior art keywords
image
motion vector
correlation
circuit
field image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP17096596A
Other languages
English (en)
Other versions
JP3803138B2 (ja
Inventor
Hajime Sonehara
源 曽根原
Yuji Nojiri
裕司 野尻
Kazuhisa Iguchi
和久 井口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Nippon Hoso Kyokai NHK
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Hoso Kyokai NHK, Japan Broadcasting Corp filed Critical Nippon Hoso Kyokai NHK
Priority to JP17096596A priority Critical patent/JP3803138B2/ja
Publication of JPH1023329A publication Critical patent/JPH1023329A/ja
Application granted granted Critical
Publication of JP3803138B2 publication Critical patent/JP3803138B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Studio Circuits (AREA)

Abstract

(57)【要約】 【課題】 検出精度が高く、ハードウェア規模の比較的
簡易なシーン・チェンジおよび/またはフラッシュ検出
装置を提供する。 【解決手段】 当該装置に:入力画像の前々フィールド
画像を基準として前々フィールド画像と前フィールド画
像間の動きベクトルを検出する動きベクトル検出回路
(1)と;該動きベクトル検出回路の出力である前々フ
ィールド画像上の動きベクトルを用いて、その動きベク
トルが対応する前フィールド画像上領域と現フィールド
画像上領域を特定する動きベクトル・シフト回路(2)
と;該動きベクトル・シフト回路により特定した領域を
用いて、前フィールド画像と現フィールド画像間の画像
相関を計算する画像相関計算回路(3)と;該計算回路
の出力である画像相関から画像相関の時間変化を検出す
る画像相関時間変化検出回路(4)と;該時間変化検出
回路の出力を用いて画像のシーン・チェンジおよび/ま
たはフラッシュの有無を判定する判定回路(5,6)と
を具備させる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は、テレビジョン信
号の動きベクトルを用いて画像相関を調べることによ
り、画像のシーン・チェンジ(テレビジョン番組や映画
などで同一内容のシーンから異なるシーンへの変化点
で、かつ、2つの異なるシーンが合成されていないも
の)やフラッシュ(カメラなどのストロボ・ライトやフ
ラッシュ装置の発光により画面の輝度レベルが大きく変
動したもの)を検出する装置に関するものである。
【0002】
【従来の技術】 フレーム間の相関を用いる従来技術 シーン・チェンジやフラッシュでは、一般にディスプレ
イ上の同一の空間位置を占める画像間の相関(類似度)
が低下する為、従来はその相関の時間変化を調べること
によりシーン・チェンジを検出している。この手法に関
する文献には、大辻他:“輝度情報を使った動画ブラウ
ジング”,信学技報,IE90−103,1991、大
辻他:“動画カット検出”,信学技報,IE91−11
6,1992、外村他:“動画像データベースハンドリ
ングに関する検討”,信学技報,IE89−33,19
89、長坂他:“カラービデオ映像における自動索引付
け法と物体検索法”,情報処理学会論文誌,4,p54
3−550,1992、宮武他:“フレーム相関係数の
変化率に着目したカットの自動検出法”,電子情報通信
学会秋期全国大会,D−299,6−301,199
0、山田他:“部分領域ごとの共通色に注目したシーン
チェンジ検出方法の検討”,テレビジョン学会技術報
告,VoL.17,No.55,pp1〜6,1993
等がある。これら文献の手法の利点は、ハードウェア化
が容易であることだが、入力する画像に応じて画像相関
を調べる為のしきい値と画像相関の時間変化を調べる為
のしきい値を調整する必要がある。
【0003】動きベクトルの相関を用いる従来技術 前フィールドを基準として前フィールドと現フィールド
間の動きベクトルを検出し、更に現フィールドを基準と
して前フィールドと現フィールド間の動きベクトルを検
出する。前記2つの動きベクトルの相関(類似度)を調
べ、そのベクトル相関の時間変化を調べることにより、
シーン・チェンジやフラッシュを検出する。本願人の先
の出願になるこの方法特開平4−345382号,“シ
ーンチェンジ検出方法”は、前記の手法群に比べて、
動きベクトルを用いる為、検出精度の入力画像に対する
依存性は低い。
【0004】
【発明が解決しようとする課題】従来、前記の手法群
は、連続する画像のディスプレイ上の同一の空間位置を
占める画像間の相関(類似度)を調べ、その画像相関の
時間変化をしきい値で判定し、シーン・チェンジを検出
する手法である。これらの手法は、静止画像のシーン・
チェンジ(静止画像から静止画像へのシーン・チェン
ジ)を理想的な検出モデルとする手法である。つまり同
一の静止画像のシーンでは、画像間の相関は一定で、そ
の時間変化は零である。従って、シーン・チェンジが生
じた場合、ディスプレイ上の同一の空間位置を占める画
像間の相関が低下する為、画像相関の変化を検出でき
る。しかし、動画像を入力した場合は、同一シーンの画
像間の相関は一定とは限らない。更に、相関の時間変化
を調べる為、しきい値を導入し、相関変化をしきい値と
比較することにより、シーン・チェンジ検出を行う。つ
まり、誤検出を減らす為には、入力画像に応じて、前記
しきい値を最適な値に調整する必要があった。
【0005】前記の従来の手法群は、静止画像に対す
るシーン・チェンジ検出手法を動画像のシーン・チェン
ジ検出に適用した為に検出誤りを完全に除去することが
できなかった。特に、スポーツ番組のような動きの大き
なシーンや画像相関が明確でないシーン・チェンジでは
誤検出が生ずる。また、TV信号のようにインターレー
ス信号では、フレーム間の画像相関を用いた場合は、シ
ーン・チェンジ検出を確定する為に1フィールドの遅延
回路が必要であった。
【0006】前記の手法は、同一シーンの画像間で、
双方向で検出した動きベクトルの相関が大きいことを利
用した方法である。シーン・チェンジやフラッシュが生
じた画像間では、動きベクトル検出の基準フィールドが
異なる双方向に検出した動きベクトルの相関は小さくな
る。逆に、同一シーン内では双方向のベクトル相関は一
定となる為、ベクトル相関の時間変化を調べることによ
り、シーン・チェンジやフラッシュで生じたベクトル相
関の変化を検出することができる。この方法の欠点は、
動きベクトルを検出する回路が2つ必要となり、ハード
ウェアが大きくなる点にある。
【0007】そこで本発明の目的は、前述の課題を解決
し、検出精度が高く、ハードウェア規模の比較的簡易な
シーン・チェンジおよび/またはフラッシュ検出装置を
提供せんとするものである。
【0008】
【課題を解決するための手段】この目的を達成するた
め、本発明シーン・チェンジおよび/またはフラッシュ
検出装置は、当該装置が:予め定められた数の画素から
なるブロックを単位として入力画像の前々フィールド画
像を基準として前々フィールド画像と前フィールド画像
間の動きベクトルを検出する動きベクトル検出回路と;
該動きベクトル検出回路の出力である前々フィールド画
像上の動きベクトルを用いて、その動きベクトルが対応
する前フィールド画像上のブロックと現フィールド画像
上のブロックを特定する動きベクトル・シフト回路と;
該動きベクトル・シフト回路により特定した前フィール
ド画像上のブロックと現フィールド画像上のブロックを
用いて、前フィールド画像と現フィールド画像間の画像
相関を計算する画像相関計算回路と;該計算回路の出力
である画像相関から画像相関の時間変化を検出する画像
相関時間変化検出回路と;該時間変化検出回路の出力を
用いて画像のシーン・チェンジおよび/またはフラッシ
ュの有無を判定する判定回路とを具備したことを特徴と
するものである。
【0009】
【発明の実施の形態】本発明装置によれば過去の画像間
で検出した動きベクトルを用いて、現在の画像と直前の
画像間の相関を調べることができるので、シーン・チェ
ンジ検出やフラッシュ検出の精度を高めることができ
る。以下添付図面を参照し実施例により本発明の実施の
形態を詳細に説明する。
【0010】まず、画面を複数のブロック(例えば8画
素×8ライン)に分け、各ブロック毎に動きベクトルを
検出する。動きベクトルの検出には輝度信号(a)を用
いた既知の動きベクトル検出手法(例えばブロック・マ
ッチング法や勾配法など)を用いる。
【0011】即ち、第nフィールド画像の輝度信号をf
(n)で表わすとき、図2の動きベクトル検出回路1に
おいて、フィールドf(n−2)を基準フィールドと
し、フィールドf(n−2)とフィールドf(n−1)
との間で動きベクトルV(b)を検出する。同図の動き
ベクトル・シフト回路2において、図1に示すようにf
(n−2)上のブロックAで検出した動きベクトルをV
aとし、AをベクトルVaでf(n−1)に移動したブ
ロックをBとし、Aをベクトル2Vaでf(n)上に移
動したブロックをCとする。
【0012】次にブロックBとCの画素の輝度信号の差
分の絶対値の総和dfd(displaced field differenc
e) を相関計算回路3により算出しこれを両者の相関と
する。同様に、f(n−2)上のすべてのブロックに対
して前記dfd(c)を求め画面全体の総和DFD
(d)を計算する。f(n−2)上のブロックの総数を
Nとし、ブロックi(1≦i≦N)の相関をdfdi
すると、
【数1】 となる。
【0013】ここで、f(n−2)上のブロックで、そ
のブロックに対応するf(n)上のブロックCが画面か
ら外れた場合と、f(n−2)のブロックのうち動きベ
クトルが検出できなかったブロックと、f(n−2)の
画面周辺部に位置する一定数のブロックは計算対象から
外される。計算対象から外される画像周辺ブロックは、
動きベクトル検出回路1の動き検出範囲により決定され
る。例えば、水平方向の動き検出範囲が±16画素、即
ち、左方向または右方向に16画素を超えない範囲の動
きベクトルを検出できる動きベクトル検出回路を用いた
場合で、水平方向の検出ブロック・サイズが8画素の場
合は、画面の左右端のそれぞれ2ブロックが計算対象か
ら外される。垂直方向の動き検出範囲も±16画素でブ
ロックサイズが8画素×8ラインであれば、画面周辺が
2ブロックの幅に枠状に計算対象から除外されることに
なる。
【0014】図2の破線で囲まれた回路ブロック、画像
相関時間変化検出回路4において、f(n−2)上の動
きベクトルVaを用いてf(n−1)とf(n)の相関
として求めたDFDをDFD(n)として、 DFDs(n)=DFD(n)−DFD(n−1) −|DFD(n−1)−DFD(n−2)|+DFDα1 ‥‥(1) DFDf(n)=DFD(n)−DFD(n−1) −|DFD(n−2)−DFD(n−3)|+DFDα2 ‥‥(2) で定義されるDFDs(n)とDFDf(n)を求め
る。
【0015】ここで、DFDα1,DFDα2はしきい
値であるが、入力画像によらず用いるベクトル検出手法
の立ち上り特性(電源投入後やシーン・チェンジ後に動
きベクトルの真値を検出するまでに要するフィールド単
位の過渡特性で、例えば最初の2フィールドの画像で動
きベクトルの真値を検出できる場合は、DFDα1=
0,DFDα2=0とする)によって決まる値である。
また、図2図示の信号a,b,c,d,e,f,g,h
はそれぞれベクトル検出用輝度信号,動きベクトルV,
相関dfd,相関DFD,DFD(n),DFD(n−
1),DFD(n−2),DFD(n−3)であり、信
号i,j,k,l,m,nはそれぞれDFDα1,DF
Dα2,DFDs(n),DFDf(n),シーン・チ
ェンジ検出信号,フラッシュ検出信号で、ブロック5,
6はそれぞれシーン・チェンジ判定回路,フラッシュ判
定回路である。また、ブロックf,D,ABSはフィー
ルドメモリ,ブロック遅延回路および絶対値化回路であ
る。
【0016】式(1)のDFD(n)−DFD(n−
1)の項のようにDFDの時間変化を見ることにより、
シーン・チェンジを検出できる。また、式(1)の|D
FD(n−1)−DFD(n−2)|の項を加味するこ
とにより、動きベクトル検出精度の不安定さをマスクす
ることができる。前記DFDs(n)>0の時は、シー
ン・チェンジが発生したと図2の判定回路5において判
定する。同様にDFDs(n−1)>0で、かつDFD
f(n)>0の時はフラッシュが発生したと図2の判定
回路6において判定する。
【0017】以上一実施例により本発明の実施の形態に
ついて説明してきたが、本発明はこの実施例に限定され
ることなく、請求項に記載された発明の要旨内で各種の
変形、変更の可能なことは自明であろう。
【0018】
【発明の効果】本発明装置によれば、過去の画像間で検
出した動きベクトルを用いて現在の画像と直前の画像間
の相関を調べるので、動画像においては同一シーン内の
画像相関が一定となり、シーン・チェンジやフラッシュ
の生じた場合の画像相関の時間変化が顕著に検出でき、
シーン・チェンジやフラシュ検出の精度を高めることが
できる。
【図面の簡単な説明】
【図1】動きベクトルにより画像相関を調べる本発明の
原理を説明するための図。
【図2】本発明装置の回路構成ブロック線図。
【符号の説明】
1 動きベクトル検出回路 2 動きベクトル・シフト回路 3 画像相関計算回路 4 画像相関時間変化検出回路 5 シーン・チェンジ判定回路 6 フラッシュ判定回路 f フィールドメモリ D ブロック遅延回路 ABS 絶対値化回路 a ベクトル検出用輝度信号 b 動きベクトルV c 相関dfd d 相関DFD e DFD(n) f DFD(n−1) g DFD(n−2) h DFD(n−3) i DFDα1 j DFDα2 k DFDs(n) l DFDf(n) m シーン・チェンジ検出信号 n フラッシュ検出信号

Claims (1)

    【特許請求の範囲】
  1. 【請求項1】 連続する入力画像からシーン・チェンジ
    および/またはフラッシュの発生する画像を検出する検
    出装置において、当該装置が:予め定められた数の画素
    からなるブロックを単位として入力画像の前々フィール
    ド画像を基準として前々フィールド画像と前フィールド
    画像間の動きベクトルを検出する動きベクトル検出回路
    と;該動きベクトル検出回路の出力である前々フィール
    ド画像上の動きベクトルを用いて、その動きベクトルが
    対応する前フィールド画像上のブロックと現フィールド
    画像上のブロックを特定する動きベクトル・シフト回路
    と;該動きベクトル・シフト回路により特定した前フィ
    ールド画像上のブロックと現フィールド画像上のブロッ
    クを用いて、前フィールド画像と現フィールド画像間の
    画像相関を計算する画像相関計算回路と;該計算回路の
    出力である画像相関から画像相関の時間変化を検出する
    画像相関時間変化検出回路と;該時間変化検出回路の出
    力を用いて画像のシーン・チェンジおよび/またはフラ
    ッシュの有無を判定する判定回路とを具備したことを特
    徴とするシーン・チェンジおよび/またはフラッシュ検
    出装置。
JP17096596A 1996-07-01 1996-07-01 シーン・チェンジおよび/またはフラッシュ検出装置 Expired - Fee Related JP3803138B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP17096596A JP3803138B2 (ja) 1996-07-01 1996-07-01 シーン・チェンジおよび/またはフラッシュ検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP17096596A JP3803138B2 (ja) 1996-07-01 1996-07-01 シーン・チェンジおよび/またはフラッシュ検出装置

Publications (2)

Publication Number Publication Date
JPH1023329A true JPH1023329A (ja) 1998-01-23
JP3803138B2 JP3803138B2 (ja) 2006-08-02

Family

ID=15914659

Family Applications (1)

Application Number Title Priority Date Filing Date
JP17096596A Expired - Fee Related JP3803138B2 (ja) 1996-07-01 1996-07-01 シーン・チェンジおよび/またはフラッシュ検出装置

Country Status (1)

Country Link
JP (1) JP3803138B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2351406A (en) * 1999-06-21 2000-12-27 Sony Uk Ltd Video data compression with scene change detection
KR100634671B1 (ko) * 1999-08-13 2006-10-13 주식회사 케이티 고정밀도의 실시간 점진적 장면경계 검출기 및 그 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2351406A (en) * 1999-06-21 2000-12-27 Sony Uk Ltd Video data compression with scene change detection
KR100634671B1 (ko) * 1999-08-13 2006-10-13 주식회사 케이티 고정밀도의 실시간 점진적 장면경계 검출기 및 그 방법

Also Published As

Publication number Publication date
JP3803138B2 (ja) 2006-08-02

Similar Documents

Publication Publication Date Title
US7536031B2 (en) Temporal interpolation of a pixel on basis of occlusion detection
US5387947A (en) Motion vector detecting method of a video signal
US7606462B2 (en) Video processing device and method for producing digest video data
US5719643A (en) Scene cut frame detector and scene cut frame group detector
KR100591470B1 (ko) 비디오 시퀀스의 변환 검출
US6930752B2 (en) Image processing method and apparatus
US7502513B2 (en) Commercial detector with a start of active video detector
KR100865248B1 (ko) 비디오 신호에서의 자막 검출
US20060209957A1 (en) Motion sequence pattern detection
US8254440B2 (en) Real time scene change detection in video sequences
JPH08307820A (ja) インタレースされたビデオから高画質静止画像を生成するためのシステム及び方法
US6539055B1 (en) Scene change detector for video data
KR20060135667A (ko) 이미지 포맷 변환
US20100303158A1 (en) Method and apparatus for scene change detection
JP2971724B2 (ja) 動画像のカット点検出装置
US20060268181A1 (en) Shot-cut detection
US8582882B2 (en) Unit for and method of segmentation using average homogeneity
JPH0759108A (ja) 動画像のカット画面検出方法
JPH1023329A (ja) シーン・チェンジおよび/またはフラッシュ検出装置
JP3609236B2 (ja) 映像テロップ検出方法および装置
US20060158513A1 (en) Recognizing film and video occurring in parallel in television fields
KR20100118811A (ko) 감시 카메라 시스템의 관리를 위한 장면 전환 검출 방법과 장면 전환 검출 신뢰도 산출 방법 및 소프트웨어
JPH0537853A (ja) 動画のカツト自動分割方法
JP3339544B2 (ja) ディゾルブ検出方法および装置
JP3209234B2 (ja) 代表画面抽出方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050318

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050329

A521 Written amendment

Effective date: 20050526

Free format text: JAPANESE INTERMEDIATE CODE: A523

A131 Notification of reasons for refusal

Effective date: 20050726

Free format text: JAPANESE INTERMEDIATE CODE: A131

A521 Written amendment

Effective date: 20050920

Free format text: JAPANESE INTERMEDIATE CODE: A523

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060411

A61 First payment of annual fees (during grant procedure)

Effective date: 20060502

Free format text: JAPANESE INTERMEDIATE CODE: A61

R150 Certificate of patent (=grant) or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100512

Year of fee payment: 4

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110512

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees