JPH1023329A - シーン・チェンジおよび/またはフラッシュ検出装置 - Google Patents
シーン・チェンジおよび/またはフラッシュ検出装置Info
- Publication number
- JPH1023329A JPH1023329A JP17096596A JP17096596A JPH1023329A JP H1023329 A JPH1023329 A JP H1023329A JP 17096596 A JP17096596 A JP 17096596A JP 17096596 A JP17096596 A JP 17096596A JP H1023329 A JPH1023329 A JP H1023329A
- Authority
- JP
- Japan
- Prior art keywords
- image
- motion vector
- correlation
- circuit
- field image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
- Studio Circuits (AREA)
Abstract
簡易なシーン・チェンジおよび/またはフラッシュ検出
装置を提供する。 【解決手段】 当該装置に:入力画像の前々フィールド
画像を基準として前々フィールド画像と前フィールド画
像間の動きベクトルを検出する動きベクトル検出回路
(1)と;該動きベクトル検出回路の出力である前々フ
ィールド画像上の動きベクトルを用いて、その動きベク
トルが対応する前フィールド画像上領域と現フィールド
画像上領域を特定する動きベクトル・シフト回路(2)
と;該動きベクトル・シフト回路により特定した領域を
用いて、前フィールド画像と現フィールド画像間の画像
相関を計算する画像相関計算回路(3)と;該計算回路
の出力である画像相関から画像相関の時間変化を検出す
る画像相関時間変化検出回路(4)と;該時間変化検出
回路の出力を用いて画像のシーン・チェンジおよび/ま
たはフラッシュの有無を判定する判定回路(5,6)と
を具備させる。
Description
号の動きベクトルを用いて画像相関を調べることによ
り、画像のシーン・チェンジ(テレビジョン番組や映画
などで同一内容のシーンから異なるシーンへの変化点
で、かつ、2つの異なるシーンが合成されていないも
の)やフラッシュ(カメラなどのストロボ・ライトやフ
ラッシュ装置の発光により画面の輝度レベルが大きく変
動したもの)を検出する装置に関するものである。
イ上の同一の空間位置を占める画像間の相関(類似度)
が低下する為、従来はその相関の時間変化を調べること
によりシーン・チェンジを検出している。この手法に関
する文献には、大辻他:“輝度情報を使った動画ブラウ
ジング”,信学技報,IE90−103,1991、大
辻他:“動画カット検出”,信学技報,IE91−11
6,1992、外村他:“動画像データベースハンドリ
ングに関する検討”,信学技報,IE89−33,19
89、長坂他:“カラービデオ映像における自動索引付
け法と物体検索法”,情報処理学会論文誌,4,p54
3−550,1992、宮武他:“フレーム相関係数の
変化率に着目したカットの自動検出法”,電子情報通信
学会秋期全国大会,D−299,6−301,199
0、山田他:“部分領域ごとの共通色に注目したシーン
チェンジ検出方法の検討”,テレビジョン学会技術報
告,VoL.17,No.55,pp1〜6,1993
等がある。これら文献の手法の利点は、ハードウェア化
が容易であることだが、入力する画像に応じて画像相関
を調べる為のしきい値と画像相関の時間変化を調べる為
のしきい値を調整する必要がある。
間の動きベクトルを検出し、更に現フィールドを基準と
して前フィールドと現フィールド間の動きベクトルを検
出する。前記2つの動きベクトルの相関(類似度)を調
べ、そのベクトル相関の時間変化を調べることにより、
シーン・チェンジやフラッシュを検出する。本願人の先
の出願になるこの方法特開平4−345382号,“シ
ーンチェンジ検出方法”は、前記の手法群に比べて、
動きベクトルを用いる為、検出精度の入力画像に対する
依存性は低い。
は、連続する画像のディスプレイ上の同一の空間位置を
占める画像間の相関(類似度)を調べ、その画像相関の
時間変化をしきい値で判定し、シーン・チェンジを検出
する手法である。これらの手法は、静止画像のシーン・
チェンジ(静止画像から静止画像へのシーン・チェン
ジ)を理想的な検出モデルとする手法である。つまり同
一の静止画像のシーンでは、画像間の相関は一定で、そ
の時間変化は零である。従って、シーン・チェンジが生
じた場合、ディスプレイ上の同一の空間位置を占める画
像間の相関が低下する為、画像相関の変化を検出でき
る。しかし、動画像を入力した場合は、同一シーンの画
像間の相関は一定とは限らない。更に、相関の時間変化
を調べる為、しきい値を導入し、相関変化をしきい値と
比較することにより、シーン・チェンジ検出を行う。つ
まり、誤検出を減らす為には、入力画像に応じて、前記
しきい値を最適な値に調整する必要があった。
るシーン・チェンジ検出手法を動画像のシーン・チェン
ジ検出に適用した為に検出誤りを完全に除去することが
できなかった。特に、スポーツ番組のような動きの大き
なシーンや画像相関が明確でないシーン・チェンジでは
誤検出が生ずる。また、TV信号のようにインターレー
ス信号では、フレーム間の画像相関を用いた場合は、シ
ーン・チェンジ検出を確定する為に1フィールドの遅延
回路が必要であった。
双方向で検出した動きベクトルの相関が大きいことを利
用した方法である。シーン・チェンジやフラッシュが生
じた画像間では、動きベクトル検出の基準フィールドが
異なる双方向に検出した動きベクトルの相関は小さくな
る。逆に、同一シーン内では双方向のベクトル相関は一
定となる為、ベクトル相関の時間変化を調べることによ
り、シーン・チェンジやフラッシュで生じたベクトル相
関の変化を検出することができる。この方法の欠点は、
動きベクトルを検出する回路が2つ必要となり、ハード
ウェアが大きくなる点にある。
し、検出精度が高く、ハードウェア規模の比較的簡易な
シーン・チェンジおよび/またはフラッシュ検出装置を
提供せんとするものである。
め、本発明シーン・チェンジおよび/またはフラッシュ
検出装置は、当該装置が:予め定められた数の画素から
なるブロックを単位として入力画像の前々フィールド画
像を基準として前々フィールド画像と前フィールド画像
間の動きベクトルを検出する動きベクトル検出回路と;
該動きベクトル検出回路の出力である前々フィールド画
像上の動きベクトルを用いて、その動きベクトルが対応
する前フィールド画像上のブロックと現フィールド画像
上のブロックを特定する動きベクトル・シフト回路と;
該動きベクトル・シフト回路により特定した前フィール
ド画像上のブロックと現フィールド画像上のブロックを
用いて、前フィールド画像と現フィールド画像間の画像
相関を計算する画像相関計算回路と;該計算回路の出力
である画像相関から画像相関の時間変化を検出する画像
相関時間変化検出回路と;該時間変化検出回路の出力を
用いて画像のシーン・チェンジおよび/またはフラッシ
ュの有無を判定する判定回路とを具備したことを特徴と
するものである。
で検出した動きベクトルを用いて、現在の画像と直前の
画像間の相関を調べることができるので、シーン・チェ
ンジ検出やフラッシュ検出の精度を高めることができ
る。以下添付図面を参照し実施例により本発明の実施の
形態を詳細に説明する。
素×8ライン)に分け、各ブロック毎に動きベクトルを
検出する。動きベクトルの検出には輝度信号(a)を用
いた既知の動きベクトル検出手法(例えばブロック・マ
ッチング法や勾配法など)を用いる。
(n)で表わすとき、図2の動きベクトル検出回路1に
おいて、フィールドf(n−2)を基準フィールドと
し、フィールドf(n−2)とフィールドf(n−1)
との間で動きベクトルV(b)を検出する。同図の動き
ベクトル・シフト回路2において、図1に示すようにf
(n−2)上のブロックAで検出した動きベクトルをV
aとし、AをベクトルVaでf(n−1)に移動したブ
ロックをBとし、Aをベクトル2Vaでf(n)上に移
動したブロックをCとする。
分の絶対値の総和dfd(displaced field differenc
e) を相関計算回路3により算出しこれを両者の相関と
する。同様に、f(n−2)上のすべてのブロックに対
して前記dfd(c)を求め画面全体の総和DFD
(d)を計算する。f(n−2)上のブロックの総数を
Nとし、ブロックi(1≦i≦N)の相関をdfdi と
すると、
のブロックに対応するf(n)上のブロックCが画面か
ら外れた場合と、f(n−2)のブロックのうち動きベ
クトルが検出できなかったブロックと、f(n−2)の
画面周辺部に位置する一定数のブロックは計算対象から
外される。計算対象から外される画像周辺ブロックは、
動きベクトル検出回路1の動き検出範囲により決定され
る。例えば、水平方向の動き検出範囲が±16画素、即
ち、左方向または右方向に16画素を超えない範囲の動
きベクトルを検出できる動きベクトル検出回路を用いた
場合で、水平方向の検出ブロック・サイズが8画素の場
合は、画面の左右端のそれぞれ2ブロックが計算対象か
ら外される。垂直方向の動き検出範囲も±16画素でブ
ロックサイズが8画素×8ラインであれば、画面周辺が
2ブロックの幅に枠状に計算対象から除外されることに
なる。
相関時間変化検出回路4において、f(n−2)上の動
きベクトルVaを用いてf(n−1)とf(n)の相関
として求めたDFDをDFD(n)として、 DFDs(n)=DFD(n)−DFD(n−1) −|DFD(n−1)−DFD(n−2)|+DFDα1 ‥‥(1) DFDf(n)=DFD(n)−DFD(n−1) −|DFD(n−2)−DFD(n−3)|+DFDα2 ‥‥(2) で定義されるDFDs(n)とDFDf(n)を求め
る。
値であるが、入力画像によらず用いるベクトル検出手法
の立ち上り特性(電源投入後やシーン・チェンジ後に動
きベクトルの真値を検出するまでに要するフィールド単
位の過渡特性で、例えば最初の2フィールドの画像で動
きベクトルの真値を検出できる場合は、DFDα1=
0,DFDα2=0とする)によって決まる値である。
また、図2図示の信号a,b,c,d,e,f,g,h
はそれぞれベクトル検出用輝度信号,動きベクトルV,
相関dfd,相関DFD,DFD(n),DFD(n−
1),DFD(n−2),DFD(n−3)であり、信
号i,j,k,l,m,nはそれぞれDFDα1,DF
Dα2,DFDs(n),DFDf(n),シーン・チ
ェンジ検出信号,フラッシュ検出信号で、ブロック5,
6はそれぞれシーン・チェンジ判定回路,フラッシュ判
定回路である。また、ブロックf,D,ABSはフィー
ルドメモリ,ブロック遅延回路および絶対値化回路であ
る。
1)の項のようにDFDの時間変化を見ることにより、
シーン・チェンジを検出できる。また、式(1)の|D
FD(n−1)−DFD(n−2)|の項を加味するこ
とにより、動きベクトル検出精度の不安定さをマスクす
ることができる。前記DFDs(n)>0の時は、シー
ン・チェンジが発生したと図2の判定回路5において判
定する。同様にDFDs(n−1)>0で、かつDFD
f(n)>0の時はフラッシュが発生したと図2の判定
回路6において判定する。
ついて説明してきたが、本発明はこの実施例に限定され
ることなく、請求項に記載された発明の要旨内で各種の
変形、変更の可能なことは自明であろう。
出した動きベクトルを用いて現在の画像と直前の画像間
の相関を調べるので、動画像においては同一シーン内の
画像相関が一定となり、シーン・チェンジやフラッシュ
の生じた場合の画像相関の時間変化が顕著に検出でき、
シーン・チェンジやフラシュ検出の精度を高めることが
できる。
原理を説明するための図。
Claims (1)
- 【請求項1】 連続する入力画像からシーン・チェンジ
および/またはフラッシュの発生する画像を検出する検
出装置において、当該装置が:予め定められた数の画素
からなるブロックを単位として入力画像の前々フィール
ド画像を基準として前々フィールド画像と前フィールド
画像間の動きベクトルを検出する動きベクトル検出回路
と;該動きベクトル検出回路の出力である前々フィール
ド画像上の動きベクトルを用いて、その動きベクトルが
対応する前フィールド画像上のブロックと現フィールド
画像上のブロックを特定する動きベクトル・シフト回路
と;該動きベクトル・シフト回路により特定した前フィ
ールド画像上のブロックと現フィールド画像上のブロッ
クを用いて、前フィールド画像と現フィールド画像間の
画像相関を計算する画像相関計算回路と;該計算回路の
出力である画像相関から画像相関の時間変化を検出する
画像相関時間変化検出回路と;該時間変化検出回路の出
力を用いて画像のシーン・チェンジおよび/またはフラ
ッシュの有無を判定する判定回路とを具備したことを特
徴とするシーン・チェンジおよび/またはフラッシュ検
出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP17096596A JP3803138B2 (ja) | 1996-07-01 | 1996-07-01 | シーン・チェンジおよび/またはフラッシュ検出装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP17096596A JP3803138B2 (ja) | 1996-07-01 | 1996-07-01 | シーン・チェンジおよび/またはフラッシュ検出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1023329A true JPH1023329A (ja) | 1998-01-23 |
| JP3803138B2 JP3803138B2 (ja) | 2006-08-02 |
Family
ID=15914659
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP17096596A Expired - Fee Related JP3803138B2 (ja) | 1996-07-01 | 1996-07-01 | シーン・チェンジおよび/またはフラッシュ検出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3803138B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2351406A (en) * | 1999-06-21 | 2000-12-27 | Sony Uk Ltd | Video data compression with scene change detection |
| KR100634671B1 (ko) * | 1999-08-13 | 2006-10-13 | 주식회사 케이티 | 고정밀도의 실시간 점진적 장면경계 검출기 및 그 방법 |
-
1996
- 1996-07-01 JP JP17096596A patent/JP3803138B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2351406A (en) * | 1999-06-21 | 2000-12-27 | Sony Uk Ltd | Video data compression with scene change detection |
| KR100634671B1 (ko) * | 1999-08-13 | 2006-10-13 | 주식회사 케이티 | 고정밀도의 실시간 점진적 장면경계 검출기 및 그 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3803138B2 (ja) | 2006-08-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7536031B2 (en) | Temporal interpolation of a pixel on basis of occlusion detection | |
| US5387947A (en) | Motion vector detecting method of a video signal | |
| US7606462B2 (en) | Video processing device and method for producing digest video data | |
| US5719643A (en) | Scene cut frame detector and scene cut frame group detector | |
| KR100591470B1 (ko) | 비디오 시퀀스의 변환 검출 | |
| US6930752B2 (en) | Image processing method and apparatus | |
| US7502513B2 (en) | Commercial detector with a start of active video detector | |
| KR100865248B1 (ko) | 비디오 신호에서의 자막 검출 | |
| US20060209957A1 (en) | Motion sequence pattern detection | |
| US8254440B2 (en) | Real time scene change detection in video sequences | |
| JPH08307820A (ja) | インタレースされたビデオから高画質静止画像を生成するためのシステム及び方法 | |
| US6539055B1 (en) | Scene change detector for video data | |
| KR20060135667A (ko) | 이미지 포맷 변환 | |
| US20100303158A1 (en) | Method and apparatus for scene change detection | |
| JP2971724B2 (ja) | 動画像のカット点検出装置 | |
| US20060268181A1 (en) | Shot-cut detection | |
| US8582882B2 (en) | Unit for and method of segmentation using average homogeneity | |
| JPH0759108A (ja) | 動画像のカット画面検出方法 | |
| JPH1023329A (ja) | シーン・チェンジおよび/またはフラッシュ検出装置 | |
| JP3609236B2 (ja) | 映像テロップ検出方法および装置 | |
| US20060158513A1 (en) | Recognizing film and video occurring in parallel in television fields | |
| KR20100118811A (ko) | 감시 카메라 시스템의 관리를 위한 장면 전환 검출 방법과 장면 전환 검출 신뢰도 산출 방법 및 소프트웨어 | |
| JPH0537853A (ja) | 動画のカツト自動分割方法 | |
| JP3339544B2 (ja) | ディゾルブ検出方法および装置 | |
| JP3209234B2 (ja) | 代表画面抽出方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050318 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050329 |
|
| A521 | Written amendment |
Effective date: 20050526 Free format text: JAPANESE INTERMEDIATE CODE: A523 |
|
| A131 | Notification of reasons for refusal |
Effective date: 20050726 Free format text: JAPANESE INTERMEDIATE CODE: A131 |
|
| A521 | Written amendment |
Effective date: 20050920 Free format text: JAPANESE INTERMEDIATE CODE: A523 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060411 |
|
| A61 | First payment of annual fees (during grant procedure) |
Effective date: 20060502 Free format text: JAPANESE INTERMEDIATE CODE: A61 |
|
| R150 | Certificate of patent (=grant) or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100512 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110512 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |