JPH09284702A - シーン変化フレーム検出方法および装置 - Google Patents

シーン変化フレーム検出方法および装置

Info

Publication number
JPH09284702A
JPH09284702A JP8086938A JP8693896A JPH09284702A JP H09284702 A JPH09284702 A JP H09284702A JP 8086938 A JP8086938 A JP 8086938A JP 8693896 A JP8693896 A JP 8693896A JP H09284702 A JPH09284702 A JP H09284702A
Authority
JP
Japan
Prior art keywords
frame
image
scene change
image motion
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP8086938A
Other languages
English (en)
Inventor
Yoichi Yamada
陽一 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP8086938A priority Critical patent/JPH09284702A/ja
Publication of JPH09284702A publication Critical patent/JPH09284702A/ja
Withdrawn legal-status Critical Current

Links

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【課題】 多数のフレームで構成される動画像シーケン
スからシーン変化フレームを安定に検出出来る方法を提
供する。 【解決手段】 動画像シーケンスにおけるフレームごと
の画像データＩ(x,y,t)に対し局所的な変動を抑制する
処理を実施しこれらフレームについての変換画像データ
Ｌ(x',y',t) をそれぞれ生成する。次に、フレームを多
数の小領域に分割する。次に、各小領域と類似度が大き
い領域を対象フレームの直前フレームから検出し、両領
域間の空間アドレス差で示される動きベクトルＭＶ
(t)(i,j)を算出する。特徴量変化量として、フレームご
との動きベクトルの総和、フレーム内の小領域の画像連
続度、フレーム間の小領域の画像連像度をそれぞれ算出
する。該特徴量変化量が閾値を越えるフレームをシーン
変化フレームとする。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】この発明は、例えば動画像情
報の蓄積、検索、編集、加工などを行なう動画像システ
ムに適用できる、動画像中のシーン変化フレームを検出
する方法とその実施に好適な装置とに関するものであ
る。
【０００２】
【従来の技術】動画像シーケンス中の特徴的シーンを的
確に把握できれば、動画像シーケンスの検索、概要表
示、編集、加工などを容易に行なえると考えられる。そ
のためには、動画像シーケンスから映像変化点すなわち
シーン変化フレームを検出する必要がある。ここで、動
画像シーケンスとは、例えばそれ自体で１テーマが完結
しているような動画像情報であり、具体的には、多数の
フレームで構成されるものである。動画像シーケンスか
らシーン変化フレームを検出するための従来方法として
は、例えば文献Ｉ（信学技報、ＩＥ８９−３３、ＰＰ、
４９−５６、１９８９）の特に第５５頁に開示の方法が
ある。その方法では、先ず、各フレームごとにその特徴
量として、輝度のヒストグラムが抽出される。次に、処
理対象とするフレームとその直前のフレームとのヒスト
グラム差分量総和が算出される。そして、差分量総和が
閾値より大きい場合は、該処理対象フレームがシーン変
化フレームとされる。
【０００３】
【発明が解決しょうとする課題】しかしながら、上述の
従来の方法では、各フレームごとの画像データに対して
前処理を行なう旨の工夫は特になされていない。そのた
め、例えばノイズが原因で、本来はシーン変化フレーム
でないフレームまでシーン変化フレームと判定される危
険性が高いという問題点がある。少なくとも画像全体が
大きく変化するようなフレームをシーン変化フレームと
して安定に検出できる方法および装置が望まれる。
【０００４】また、上述の従来の方法では次の様な問題
点もあった。すなわち、従来方法ではヒストグラム差分
総和を閾値と比較してシーン変化フレームを検出してい
る。従って、上記閾値を大きく設定した場合は、画像全
体が大きく変化するフレームはシーン変化フレームとし
て判定されるが、画像中の局部が大きく変化するフレー
ムは閾値を越える程の差分量を示さないことが多いので
その変化が重要な意味を持っていたとしてもシーン変化
フレームと判定されないという問題点が生じる。また逆
に、上記閾値を小さく設定すると、画像中の局部が大き
く変化するフレームをシーン変化フレームと判定できる
ようになるが、今度は、微小ではあるが画像全体が変化
するフレームまでもシーン変化フレームと判定されてし
まうという問題点が生じる。例えば動画像シーケンスの
概要を早見するためにシーン変化フレームを表示したい
場合では、画像全体が大きく変化するフレームや画像の
局部が大きく変化するフレームを表示する意義は大きい
が、画像全体が小さく変化するフレームを表示する意義
は小さいことを考えると、その解決が望まれる。これに
ついて、図６の（Ａ）〜（Ｃ）を参照していま少し具体
的に説明する。ここで、図６中の（Ａ）〜（Ｃ）は、例
えばビデオカメラ（図示せず）により例えば風景１を撮
影している状態であってビデオカメラが風景１に対し図
面の右方向に移動された場合での、時々の画像を示して
いる。この場合、処理対象のフレームの画像における右
側領域と前フレームの画像における左側領域とでは、通
常、濃度は異なる。よってこの画像について従来方法で
シーン変化フレームを検出した場合、一連の大多数のフ
レームがシーン変化フレームと判定されてしまい、特徴
的なフレーム以外のフレームがシーン変化フレームとさ
れてしまう危険性が高いのである。画像全体が大きく変
化するフレームや画像の局部が大きく変化するフレーム
をシーン変化フレームとして安定に検出でき、しかも、
画像全体が小さく変化するフレームはシーン変化フレー
ムとして検出される危険を低減できるシーン変化フレー
ム検出方法およびその装置の実現が望まれる。
【０００５】
【課題を解決するための手段】そこで、この出願の第一
発明のシーン変化フレーム検出方法によれば、多数のフ
レームで構成される動画像シーケンスから、少なくとも
画像全体が大きく変化するフレームをシーン変化フレー
ムとして安定に検出するために、動画像シーケンスにお
ける全てのフレームまたは飛び飛びのフレームごとの画
像データに対し局所的な変動を抑制する処理を実施し
て、これらフレームについての変換画像データをそれぞ
れ生成し、これらフレームごとの特徴量を、そのフレー
ムについての前記変換画像データに基づいて、または、
そのフレームおよびその近傍のフレームそれぞれの前記
変換画像データに基づいて算出し、該算出した特徴量に
基づいてこれらフレームごとの特徴量変化量を算出し、
該特徴量変化量が閾値を越えるフレームとすることを特
徴とする。
【０００６】この第一発明によれば、シーン変化フレー
ム検出対象の画像データに対し先ず局所的な変動（例え
ばノイズや異常値など）を抑制する処理がなされ、その
後、特徴量算出がなされる。そのため、画像データに生
じる局所的な変動が原因で本来はシーン変化フレームで
ないフレームがシーン変化フレームと検出される危険
は、低減される。
【０００７】なお、この第一発明の実施に当たり、前記
シーン変化フレームとしたフレームを除く残りのフレー
ムの全部または一部について、それらフレームそもそも
の画像データ（上記の変換画像データではなく原画像デ
ータの意味。）に基づくシーン変化フレーム検出をさら
に行なうのが好適である。こうすると、変換画像データ
に基づいてのシーン変化フレーム検出の場合に比べ、画
像の局部が大きく変化するフレームが検出され易くな
る。
【０００８】なお、局所的変動を抑制する処理は、(1)
処理対象とするフレームの画像データにおける空間方向
の局所変動を抑制する処理、(2) 処理対象フレームの画
像データにおける時間方向の局所変動を抑制する処理、
(3) 前記(1) および(2) の双方の処理のいずれかとする
のが良い。(1) の処理は３つの処理の中ではデータ処理
量が少なくて済む。(2) の処理は時間方向の局所変動を
考慮できる。(3) は局所的な変動を空間方向および時間
方向で抑制出来るのでより好ましい。
【０００９】なお、この出願に係る各発明において、全
てのフレームまたは飛び飛びのフレームとか、シーン変
化フレームとしたフレームを除く残りの全てのフレーム
または一部のフレームという表現をとっている。これら
は、処理対象のフレームが動画像シーケンス中の全ての
フレームであっても良いし、目的によっては適性に間引
いた一部のフレームであっても良いという意味である。
【００１０】また、この出願の第二発明では第一発明の
方法を実施するための装置として、所定の、局所変動抑
制部と、大局特徴検出部と、大局変化フレーム検出部と
を具えた装置を主張する。この装置は、より好ましく
は、所定の、局所特徴検出部と、局所変化フレーム検出
部とを具える構成とするのが良い。
【００１１】また、この出願の第三発明のシーン変化フ
レーム検出方法によれば、第一発明の構成に加え、前記
特徴量を以下の（ａ）の処理で算出される画像動き情報
とし、前記特徴量変化量を以下の（ｂ）〜（ｄ）で算出
されるフレーム間画像動き量、フレーム内画像動き連続
度およびフレーム間画像動き連続度とし、該フレーム間
画像動き量が所定閾値より大で、かつ、該フレーム内画
像動き連続度が所定閾値より大で、かつ、該フレーム間
画像動き連続度が所定閾値より大であるフレームをシー
ン変化フレームとすることを特徴とする。
【００１２】（ａ）特徴量算出対象とするフレームの前
記変換画像データを多数個の小領域に分割し、該対象フ
レームの近傍フレームについての前記変換画像データ中
から前記小領域と類似度が大きい領域をそれぞれ検出す
ることで求まる、小領域単位での画像動き情報。
【００１３】（ｂ）前記処理対象フレーム中の全部また
は一部の小領域の前記画像動き情報の総和で示される、
フレーム間画像動き量。
【００１４】（ｃ）前記処理対象フレーム中の全部また
は一部の少領域と該フレーム中の他の小領域との間で
の、前記画像動き情報の変動具合で示される、フレーム
内画像動き連続度。
【００１５】（ｄ）前記処理対象フレーム中の全部また
は一部の小領域と、該小領域について前記画像動き情報
により対応づけされる前記近傍フレーム中の小領域との
間での、前記画像情報の変動具合で示される、フレーム
間画像動き連続度。
【００１６】この第三発明によれば、フレームごとの変
換画像データを多数個の小領域に分割する。そして、シ
ーン変化フレームの判定に当たっては、フレーム間での
画像全体の変化（フレーム間画像動き量）を参照すると
共に、上記分割した各小領域についての、同じフレーム
内の他の少領域との相関、他のフレームにおける小領域
との相関も参照する。そのため、画像全体が小さく変化
するフレームがシーン変化フレームとして検出される率
が低減される。
【００１７】また、この出願の第四発明では第三発明の
方法を実施するための装置として、第二発明の装置構成
において、前記大局特徴検出部を以下の（ａ）に示され
る画像動き情報を算出するもので構成し、前記大局変化
フレーム検出部を、以下の（ｂ）〜（ｄ）に示されるフ
レーム間画像動き量、フレーム内画像動き連続度および
フレーム間画像動き連続度を算出し、かつ、該フレーム
間画像動き量が所定閾値より大で、かつ、該フレーム内
画像動き連続度が所定閾値より大で、かつ、該フレーム
間画像動き連続度が所定閾値より大であるフレームをシ
ーン変化フレームとするもので構成したことを特徴とす
る。
【００１８】（ａ）特徴量算出対象とするフレームの前
記変換画像データを多数個の小領域に分割し、該対象フ
レームの近傍フレームについての前記変換画像データ中
から前記小領域と類似度が大きい領域をそれぞれ検出す
ることで求まる、小領域単位での画像動き情報。
【００１９】（ｂ）前記処理対象フレーム中の全部また
は一部の小領域の、前記画像動き情報の総和で示され
る、フレーム間画像動き量。
【００２０】（ｃ）前記処理対象フレーム中の全部また
は一部の少領域と該フレーム中の他の小領域との間で
の、前記画像動き情報の変動具合で示される、フレーム
内画像動き連続度。
【００２１】（ｄ）前記処理対象フレーム中の全部また
は一部の小領域と、該小領域について前記画像動き情報
により対応づけされる前記近傍フレーム中の小領域との
間での、前記画像情報の変動具合で示される、フレーム
間画像動き連続度。
【００２２】またこの第四発明の実施に当たり、所定
の、局所特徴検出部と、局所変化フレーム検出部とを具
えた構成とするのが良い。
【００２３】
【発明の実施の形態】以下、図面を参照してこの出願の
各発明の実施の形態について併せて説明する。しかしな
がら、説明に用いる各図はこの発明を理解出来る程度に
概略的に示してあるにすぎない。また、各図において同
様な構成成分については同一の番号を付して示し、その
重複する説明を省略する。
【００２４】図１は、シーン変化フレーム検出方法およ
びそれを実施する装置の各発明の実施の形態の説明図で
あり、特に装置の構成を示したブロック図である。
【００２５】図１において、１１は画像入力部、１３画
像記憶部、１５は局所変動抑制部、１７は大局特徴検出
部、１９は大局変化フレーム検出部、２１は局所特徴検
出部、２３は局所変化フレーム検出部をそれぞれ示す。
これら構成成分１１〜２３は例えばコンピュータにより
構成出来る。以下、これら構成成分１１〜２３の詳細に
ついて説明する。なお、その説明中においてシーン変化
フレーム検出方法の処理手順をも併せて説明する。
【００２６】画像入力部１１は、画像シーケンス例えば
ビデオカメラの出力信号であるビデオ信号ＳV を入力
し、さらにそれをＡ／Ｄ変換および量子化して１フレー
ムごとの２次元空間画像データＳI 具体的には各画素の
輝度値で表される画像データＳI を生成しそれを画像記
憶部１３に入力するものである。
【００２７】また、画像記憶部１３は画像入力部１１か
ら入力されるフレーム単位の画像データを、時系列が管
理できる状態で記憶するものである。この画像記憶部１
３は例えばＲＡＭにより構成出来る。この画像記憶部１
３の出力端子は局所変動抑制部１５および局所特徴検出
部２１それぞれに接続してある。
【００２８】また、局所変動抑制部１５は、画像記憶部
１３から動画像シーケンスにおける全てのフレームまた
は飛び飛びのフレームごとの画像データ（これを以下、
Ｉ(x,y,t) と表記する。）を入力し、それら画像データ
に対し局所的な変動を抑制する処理を実施して、これら
フレームについての変換画像データをそれぞれ生成する
ものである。
【００２９】なお、画像データＩ(x,y,t) における、
ｘ、ｙ，ｔそれぞれは、０≦ｘ≦ｘｗ−１、０≦ｙ≦ｙ
ｗ−１、０≦ｔ≦ＴＦである。ただし、ｘｗは画像デー
タＩ(x,y,t) におけるｘ方向の画素数、ｙｗはｙ方向の
画素数、ｔは処理対象としているフレーム番号、ＴＦは
局所変動処理を行なおうとするフレーム数をそれぞれ示
す。
【００３０】この実施の形態では、局所変動抑制部１５
は、次の（１）式で示される処理により先ず、画像デー
タＩ(x,y,t) の空間方向の局所変動を抑制して第１の変
換画像データ（これをＩ（x',y',t ）と表記する。）を
生成する。ただし、第１の変換画像データＩ（x',y',t
）におけるｘ’，ｙ’は、０≦ｘ’≦ｘｗ／Ｎ−１、
０≦ｙ’≦ｙｗ／Ｎ−１である。そして、Ｎは２以上の
任意の整数を示す。
【００３１】
【数１】
【００３２】この（１）式に従う処理では、１フレーム
中の（ｘｗ）×（ｙｗ）個の輝度データがＮ×Ｎ個づつ
にグループ化され、そして各グループ内の輝度データの
平均値が求められて該平均値がそのグループの輝度デー
タとされる。これにより、フレームごとの画像データＩ
(x,y,t) は空間方向でフィルタリング処理されることに
なるので、空間方向の局所変動が抑制される。なお、こ
の場合は、画像データは（ｘｗ）×（ｙｗ）個から、
（ｘｗ）×（ｙｗ）／Ｎ2 に圧縮される。
【００３３】次に、この実施の形態では局所変動抑制部
１５は、次の（２）式で示される処理により、画像デー
タいついて時間方向の局所変動を抑制して第２の変換画
像データ（これをＬ（x',y',t ）と表記する。）を生成
する。なお（２）式において、ｔ’は着目しているフレ
ーム番号を示し、Ｍは１以上の任意の整数を示す。
【００３４】
【数２】
【００３５】この（２）式に従う処理では、着目してい
るフレームｔより時間軸上でＭフレーム前からＭ−１フ
レーム先までの各フレームにおける（ｘ’，ｙ’）位置
の画素の輝度データ同士の平均値が求められて該平均値
が着目しているフレームｔ’の画素位置（ｘ' ，ｙ’）
の輝度データとされる。これにより、フレームごとの画
像データＩ(x,y,t) に対し空間方向でフィルタリング処
理もされたことになるので、画像データＩ(x,y,t) にお
ける時間方向の局所変動も抑制される。この実施の形態
では、この第２の変換画像データＬ（x',y',t ）を、局
所変動抑制部１５の出力すなわち変換画像データとす
る。局所変動抑制部１５は、この変換画像データＬ
（x',y',t ）を大局特徴検出部１７に出力する。
【００３６】なお、ここでは、先ず空間方向の局所変動
を抑制し、その後、時間方向の局所変動を抑制している
が、画像データＩ(x,y,t) に対して先ず時間方向の局所
変動を抑制し、その後この処理データに対し空間方向の
局所変動を抑制する処理をし、その結果を局所変動抑制
部１５の出力すなわち変換画像データとしても良い。ま
た、場合によっては、空間方向の局所変動抑制処理の
み、或は、時間方向の局所変動抑制処理のみを実施し、
その結果を局所変動抑制部１５の出力すなわち変換画像
データとしても良い。
【００３７】また、大局特徴検出部１７は、フレームご
との特徴量を、そのフレームについての前記変換画像デ
ータに基づいて、または、そのフレームおよびその近傍
のフレームそれぞれの前記変換画像データに基づいて算
出するものである。この実施の形態では大局特徴検出部
１７は、フレームごとの特徴量を、そのフレームおよび
その近傍のフレームそれぞれの前記変換画像データに基
づいて、以下に説明する処理により、算出する。
【００３８】先ず、大局特徴検出部１７は、特徴量算出
対象とするフレームの前記変換画像データを多数個の小
領域に分割する。すなわち図２に示したように２次元空
間で示されるフレームごとの変換画像データＬ（x',y',
t ）を多数個の小領域３１ijに分割する。小領域３１ij
の大きさは特に限定されるものではないが、ここでは例
として１６×１６画素で構成される領域とする。１フレ
ームの変換画像データＬ（x',y',t ）がｘ方向３２０画
素、ｙ方向２４０画素で構成されるものであるとした場
合は、小領域数はｘ方向に２０個（320/16=20 ）、ｙ方
向に１５（240/16=15 ）個となるから、小領域数は３０
０個ということになる。よってこの場合の各小領域は、
３１ij（ｉ＝０〜１９、ｊ＝０〜１４）と表せる。
【００３９】次に、大局特徴検出部１７は、特徴量算出
対象とするフレームの近傍フレーム（ここでは対象フレ
ームに対し時間軸方向で直前のフレーム）についての前
記変換画像データ中から、各小領域３１ijと類似度が大
きい領域をそれぞれ検出する（詳細は後述する。）。そ
して、小領域３１ijと、それに対し類似度の大きい領域
（直前フレーム中の領域）との空間アドレスの差分値
（ｘ，ｙ座標差）で表される画像動き情報（以下、「動
きベクトル」ともいう）を算出する。ここで、動きベク
トルの探索範囲は、計算処理時間の都合等を考慮して決
めれば良い。ここでは、前記探索範囲は、直前フレーム
における、小領域３１ijのアドレスと対応するアドレス
を起点とし、その±１６画素（ｘ，ｙ各方向）をそれぞ
れ中心とする１６×１６画素領域とする。なお類似度と
してどのようなパラメータを用いるかは任意と出来る。
ここでは類似度として画像間の輝度差分絶対値総和を用
いる例を考える。その場合は類似性が大きい程輝度差分
絶対値総和は小となる。
【００４０】上記の類似度および動きベクトルの算出点
順について次に詳述する。動きベクトルを検出する対象
フレームｔにおける各小領域の動きベクトルをＭＶ
(t)(i,j)と表すものとする。また、動きベクトルＭＶ
(t)(i,j)におけるｘ成分をＭＶ(t)(i,j)x 、同じくｙ成
分をＭＶ(t)(i,j)y と表わすものとする。また、対象フ
レームｔにおける各画素の輝度をＬ(t)(x',y')と表し、
対象フレームｔの直前のフレームｔ−１における各画素
の輝度をＬ(t-1)(x',y')と表すものとする。ただし、
ｘ’はｘ方向のアドレスでありここではｘ’＝０〜３１
９、ｙ’はｙ方向のアドレスでありここではｙ’＝０〜
２３９である。
【００４１】探索範囲（−ｍ，−ｎ）〜（＋ｍ，＋ｎ）
中の類似度をＤ（ｍ，ｎ）と表すとして、この類似度Ｄ
（ｍ，ｎ）を、以下の（３）式に従う処理により算出す
る。ただし、ｍ，ｎはここでは−１６＜ｍ，ｎ＜１６で
ある。
【００４２】
【数３】
【００４３】そして、大局特徴抽出部１７は、Ｄ（ｍ，
ｎ）が最小値を与えるｍ，ｎを動きベクトルＭＶ(t)(i,
j)として、大局変化フレーム検出部１９に出力する。こ
こで動きベクトルＭＶ(t)(i,j)の理解を深めるため、図
２（Ａ）〜（Ｃ）に示した画像移動に対応して算出され
る動きベクトルを、図３（Ａ）および（Ｂ）に模式的に
示した。ここで、図２（Ａ）〜（Ｃ）はカメラ位置は固
定で対象物３３（ここでは人物）が撮影範囲内を移動し
ている例を示したものである。この場合において例えば
図２（Ｂ）中の小領域３１30に対し直前フレーム中で類
似度が大きい領域は、直前フレームにおけるほぼ領域３
１10あたりの領域（図２（Ａ）参照。これを類似領域と
いう。）となる。よって、対象フレーム中の小領域３１
30とこの類似領域とのｘ座標同士の差ｍと、ｙ座標同士
の差ｎとにより、小領域３１30の動きベクトルＭＶ(t)
(3,0) （図３（Ａ）参照）は表されることになる。ま
た、この動きベクトルＭＶ(t)(i,j)は次のような性質を
持つ。図２（Ａ）〜（Ｃ）に示したようにカメラ位置は
固定で対象物３３が撮影範囲を移動している場合は、各
小領域３１ijについての動きベクトルは、図３（Ａ）お
よび（Ｂ）に示すように、動きを示した小領域だけが動
きベクトルとして０以外の値を示し、対象物が存在しな
い小領域は動きベクトルは０若しくはほぼ０となる。一
方、図４（Ａ）〜（Ｃ）に示したように、対象物１が固
定でカメラが移動する場合は、図５（Ａ）、（Ｂ）に示
したように、各小領域の動きベクトルＭＶ(t)(i,j)は０
以外のかつ同じような値を示す。このような性質は、後
に詳細に説明するが、画像全体が微小に動くようなフレ
ームをシーン変化フレームとしないための処理に利用で
きる。
【００４４】なお、このように算出される動きベクトル
は、画像データＩ(x,y,t) そのものを用い算出されたも
のではなく、空間方向および時間方向それぞれについて
局所的変動を抑制したデータすなわち画像変換データＬ
（x',y',t ）を用い算出されたものである。そのため、
画像データそのものを用いて算出された場合に比べ、局
所変動の影響が少ない動きベクトル（バラツキが小さく
かつ安定な動きベクトル）といえる。ただし、微小な動
きを検出する精度は低い動きベクトルになる。
【００４５】また、大局変化フレーム検出部１９は、上
記算出された特徴量すなわち動きベクトルＭＶ(t)(i,j)
に基づいてフレームごとの特徴量変化量を算出し、さら
にこの特徴量変化量が閾値を越えるフレームをシーン変
化フレームとするものである。この実施の形態では、特
徴量変化量として、フレーム間画像動き量ＳMV、フレー
ム内画像動き連続度Ｓi 、フレーム間画像動き連続度Ｓ
f を以下に説明するようにそれぞれ求める。
【００４６】：フレーム間画像動き量ＳMVとは、対象
フレームと直前フレームとの間での総体的動き量であ
る。これは、対象フレーム中の全部または一部の小領域
の動きベクトルの総和で示される。ここでは、下記の
（４）式に従う処理で求まる量、すなわち対象フレーム
中の全部の小領域の動きベクトルの総和とする。ただ
し、（４）式中のＭＶ(t)(i,j)xyとは、下記（５）式で
示されるものである。
【００４７】
【数４】
【００４８】 ＭＶ(t)(i,j)xy＝｜ＭＶ(t)(i,j)x ｜＋｜ＭＶ(t)(i,j)y ｜ （５） ：フレーム内画像動き連続度Ｓf とは、対象フレーム
中の全部または一部の少領域と該フレーム中の他の小領
域との間での、動きベクトルの変動具合で示されるもの
である。ここでは、各小領域の動きベクトルＭＶ(t)(i,
j)と、その小領域の前後左右の小領域における動きベク
トルとの絶対値差分総和ＭＶdiff (t)(i,j)を（６）式に
従い先ず算出する。
【００４９】 ＭＶdiff (t)(i,j)＝｜ＭＶ(t)(i,j)X −ＭＶ(t)(i-1,j)x ｜＋｜ＭＶ(t)(i,j) y −ＭＶ(t)(i-1,j)y ｜＋｜ＭＶ(t)(i,j)X −ＭＶ(t)(i+1,j)x ｜＋｜ＭＶ(t)( i,j)y −ＭＶ(t)(i+1,j)y ｜＋｜ＭＶ(t)(i,j)X −ＭＶ(t)(i,j-1)x ｜＋｜ＭＶ (t) (i,j)y −ＭＶ(t)(i,j-1)y ｜＋｜ＭＶ(t)(i,j)X −ＭＶ(t)(i,j+1)x ｜＋｜ ＭＶ(t)(i,j)y −ＭＶ(t)(i,j+1)y| （６） そして、フレーム内画像動き連続度Ｓi を下記（７）式
に従い算出する。
【００５０】
【数５】
【００５１】このフレーム内画像動き連続度Ｓi が大で
ある時、対象フレーム内で隣接する小領域間での動きベ
クトル間の相関が小さい、即ち動きがばらばらであるこ
とを示す。なお、ここでは局所的変動を抑制した画像デ
ータに対し動きベクトルを求めそれに基づいてフレーム
内画像動き連続度Ｓi を算出しているから、ここで求ま
るフレーム内画像動き連続度Ｓi の値は、原画像データ
から直接算出した場合に比べ小さくなる傾向を示す。
【００５２】：フレーム間画像動き連続度Ｓf とは、
処理対象フレーム中の全部または一部の小領域と、該小
領域について動きベクトルにより対応づけされる近傍フ
レーム中の小領域との間での、動きベクトルの変動具合
で示されるものである。この実施の形態では、このフレ
ーム間画像動き連続度Ｓf を以下のように算出する。先
ず、対象フレーム中の動きベクトルＭＶ(i,j) により示
される直前フレーム中のアドレスが位置する小領域番号
をｋi 、ｋj と表すとすると、これらｋi 、ｋj は下記
の（８）式、（９）式で表せる。
【００５３】 ｋi ＝ｉ＋（ＭＶ(t)(i,j)x ／１６） （８） ｋj ＝ｊ＋（ＭＶ(t)(i,j)y ／１６） （９） これらｋi 、ｋj は対象フレームの小領域(i,j) と類似
性が大きい直前フレーム中の領域番号となる。次に、下
記の（１０）式に従う処理により、フレーム間画像動き
連続度Ｓf を算出する。
【００５４】
【数６】
【００５５】このようにして求めたフレーム間画像動き
連続度Ｓf が大である時、画像の動きが時系列上連続で
ないことを示す。
【００５６】次に、大局変化フレーム検出部１９は、フ
レーム間画像動き量ＳMVが所定閾値ＴＨ１より大で、か
つ、フレーム内画像動き連続度Ｓi が所定閾値ＴＨ２よ
り大で、かつ、フレーム間画像動き連続度Ｓf が所定閾
値ＴＨ３より大である時、該対象フレームをシーン変化
フレーム（この場合大局変化フレームともいう。）と判
定して、そのフレーム番号ＦNOを後段の装置（図示せ
ず）および局所特徴検出部３２にそれぞれ出力する。こ
の判定によれば、対象フレーム画像全体が時系列上の前
のフレームに対し大きく変化し、かつ、対象フレーム内
の小領域がそれぞればらばらに動いており、かつ、対象
フレームの各小領域が前のフレームに対し連続していな
いフレームが、大局変化フレームとして検出される。こ
こで、後段の装置とは例えば動画像シーケンスの概要を
表示するためにシーン変化フレーム番号を必要とする装
置等をいうものとする。
【００５７】また、局所特徴検出部２１は、大局変化フ
レーム検出部１９でシーン変化フレームとされたフレー
ムを除く残りのフレームのうちの全てのフレームまたは
一部フレームごとの特徴量を検出するものである。しか
も、特徴量を、そのフレームについての画像データ（変
換画像データではなく原画像データ）に基づいて、また
は、そのフレームおよびその近傍のフレームそれぞれの
画像データに基づいて算出する。ここで、大局変化フレ
ーム検出部１９でシーン変化フレームとされたフレーム
を除く残りのフレームを決める際は、例えば大局変化フ
レーム及びその前後の複数フレーム（例えば１０フレー
ム程度）を除く残りのフレームとするのが良い。大局フ
レームを既に抽出しているので、大局フレーム前後の複
数フレームから局所フレームを抽出するよりは、大局フ
レーム間の中央側から局所変化フレームを抽出した方が
意義があるからである。また、こうすることで、目的を
損ねることなくフレーム間引きができ、そして処理時間
を短縮できるからである。なお、画像記憶部１３に格納
されている各フレームごとの画像データから大局フレー
ムについての画像データ（場合によってはさらにその前
後の複数フレームについての画像データ）を除くこと
は、上記の大局フレーム番号ＦNOを利用することでで行
なえる。またこの実施の形態では、局所特徴検出部２１
は、特徴量として動きベクトルを算出する。その算出方
法は、画像データが原画像データＩ(x,y,t) であること
を除けば大局特徴検出部１７における処理と同じである
ので、簡単に説明する。フレームｔの画像データＩ(x,
y,t) ごとの動きベクトルをＭＶＰ (t)(x,y)と表し、か
つ、ＭＶＰ(t)(x,y)におけるｘ成分をＭＶＰ(t)(x,y)
x 、ｙ成分をＭＶＰ(t)(x,y)y と表すものとする。ま
た、探索範囲（−ｍ，−ｎ）〜（＋ｍ，＋ｎ）中の類似
度をＤＰ（ｍ，ｎ）と表すとし、この類似度ＤＰ（ｍ，
ｎ）を、以下の（１１）式に従う処理により算出する。
ただし、（１１）式中のＬは類似度算出ブロックサイズ
を示す。
【００５８】
【数７】
【００５９】そして、ＤＰ（ｍ，ｎ）が最少値を与える
ｍ，ｎを動きベクトルＭＶＰ(t)(x,y)とする。
【００６０】次に、局所変化フレーム検出部２３は、大
局変化フレームを除く残りの所定のフレームについて上
記算出された特徴量すなわち動きベクトルＭＶＰ(t)(i,
j)に基づいて残りのフレームごとの特徴量変化量を算出
し、さらにこの特徴量変化量が閾値を越えるフレームを
シーン変化フレーム（これを局所変化フレームという）
とする。この実施の形態では、大局変化フレームを除く
残りのフレームについての特徴量変化量として、フレー
ム間画像動き量ＳＰMV、フレーム内画像動き連続度ＳＰ
i をそれぞれ求める。これらは、大局変化フレーム検出
部１９においてＳMVおよびＳi を算出した手順と同様の
手順で算出できるので、以下、簡単に説明する。
【００６１】先ず、フレーム間画像動き量ＳＰMVは、
（１２）に従い算出できる。ただし、（１２）式中、Ｍ
ＶＰ(t)(x,y)xyは、（１３）式で与えられる。
【００６２】
【数８】
【００６３】 ＭＶＰ(t)(x,y)xy＝｜ＭＶＰ(t)(x,y)x ｜＋｜ＭＶＰ(t)(x,y)y ｜ （１３） また、フレーム内画像動き連続度ＳＰi は、対象フレー
ムｔにおけるある画素（ｘ，ｙ）の動きベクトルＭＶＰ
(t) (x,y) と、該画素前後左右の画素についての動きベ
クトルとの絶対値差分総和ＭＶＰdiff (t)(x,y)を先ず下
記（１４）式に従い算出する。
【００６４】 ＭＶＰdiff (t)(i,j)＝｜ＭＶＰ(t)(i,j)X −ＭＶＰ(t)(i-1,j)x ｜＋｜ＭＶＰ (t) (i,j)y −ＭＶＰ(t)(i-1,j)y ｜＋｜ＭＶＰ(t)(i,j)X −ＭＶＰ(t)(i+1,j)x ｜＋｜ＭＶＰ(t)(i,j)y −ＭＶＰ(t)(i+1,j)y ｜＋｜ＭＶＰ(t)(i,j)X −ＭＶＰ (t) (i,j-1)x ｜＋｜ＭＶＰ(t)(i,j)y −ＭＶＰ(t)(i,j-1)y ｜＋｜ＭＶＰ(t)(i, j)X −ＭＶＰ(t)(i,j+1)x ｜＋｜ＭＶＰ(t)(i,j)y −ＭＶＰ(t)(i,j+1)y| （１４） そして、フレーム内画像動き連続度ＳＰi を下記（１
５）式に従い算出する。
【００６５】
【数９】
【００６６】ここで算出されたフレーム内画像動き連続
度ＳＰi は、原画像データに基づいて算出されるもので
あるので、局所的な変動に連動して値が大きくなる。
【００６７】次に、局所変化フレーム検出部２３は、フ
レーム間画像動き量ＳＰMVが所定閾値ＴＨａより大で、
かつ、フレーム内画像動き連続度ＳＰi が所定閾値ＴＨ
ｂより大である時、該対象フレームをシーン変化フレー
ム（この場合局所変化フレームともいう。）と判定し
て、そのフレーム番号ｆNOを後段の装置（図示せず）に
出力する。この判定によれば、シーン変化検出対象フレ
ームの画像全体が時系列上の前のフレームに対し変化
し、かつ、対象フレーム内の小領域がそれぞればらばら
に動いているフレームが、局所変化フレームとして検出
される。ここで、後段の装置とは例えば動画像シーケン
スの概要を表示するためにシーン変化フレーム番号を必
要とする装置等をいうものとする。
【００６８】上述においては、この出願のシーン変化フ
レーム検出方法および検出装置の実施の形態について説
明したが、これら発明は上述の実施の形態に限られな
い。
【００６９】例えば、実施の形態では、画像全体がフレ
ーム間で動いているか否かを示す特徴量変化量を動きベ
クトルの総和ＳMVとしていたが、これについては他の特
徴量に基づいて算出されるフレーム間特徴量変化量とし
ても良い。特徴量として例えば輝度ヒストグラム或はエ
ッジ情報を算出し、これのフレーム間変化量を用いる等
であっても良い。また、局所変化フレームを検出する際
には、大局変化フレームで挟まれる区間ごとに別々の閾
値を設定するようにし、より有効な局所フレーム検出を
行なってもよい。また、大局フレーム検出の際に検出す
る特徴量と、局所検出の際に検出する特徴量とを異なる
ものとする場合があっても良い。例えば大局特徴検出部
では特徴量として輝度ヒストグラムを検出し、局所特徴
検出部では特徴量として動きベクトルを検出するように
しても良い。また、上述の実施の形態では、大局変化フ
レーム検出および局所フレーム変化検出の双方において
フレーム内画像動き連続度Ｓi まで考慮する処理を示し
たが、大局変化フレーム検出においては、画像全体が動
いているか否かの特徴量変化量（上記例ではＳMV）のみ
を考慮することとし、局所変化フレーム検出のみでフレ
ーム内画像動き連続度Ｓi まで考慮することとしても良
い。また、ターゲットシステムによっては、局所変化フ
レームの検出処理はせずに、大局変化フレームの検出の
みを行なう場合があっても良い。
【００７０】また、上述の実施の形態では、画像データ
における局所変動を抑制する処理方法として時空間フィ
ルタリング処理を実施する例を説明した。しかし、該抑
制処理はフーリエ変換のような周波数スペクトル変換で
も可能である。
【００７１】
【発明の効果】上述した説明から明らかなように、この
出願の第一発明によれば、動画像シーケンスにおける全
部または一部のフレームごとの画像データに対し局所的
な変動を抑制する処理を実施して、これらフレームにつ
いての変換画像データをそれぞれ生成する。次に、これ
らフレームごとの特徴量を、そのフレームについての前
記変換画像データに基づいて、または、そのフレームお
よびその近傍のフレームそれぞれの前記変換画像データ
に基づいて算出する。次に、該特徴量に基づいてこれら
フレームごとの特徴量変化量を算出する。そして、該特
徴量変化量が閾値を越えるフレームをシーン変化フレー
ムとする。そのため、画像データに生じる局所的な変動
（ノイズや異常値など）が原因で本来はシーン変化フレ
ームでないフレームがシーン変化フレームと検出される
危険が低減されるから、少なくとも画像全体が大きく変
化するようなフレームをシーン変化フレームとして安定
に検出できる。また、この出願の第二発明のシーン検出
装置によれば、第一発明を容易に実施することができ
る。
【００７２】またこの出願の第三発明によれば、第一発
明の構成に加え、前記特徴量を上述した（ａ）の処理で
算出される所定の画像動き情報とし、前記特徴量変化量
を上述した（ｂ）〜（ｄ）で算出されるフレーム間画像
動き量、フレーム内画像動き連続度およびフレーム間画
像動き連続度とし、該フレーム間画像動量が所定閾値よ
り大で、かつ、該フレーム内画像動き連続度が所定閾値
より大で、かつ、該フレーム間画像動き連続度が所定閾
値より大であるフレームをシーン変化フレームとする。
この構成では、例えばカメラで撮影しようとする対象物
が動いている途中のフレームでは動きが時系列上連続で
あるのでフレーム間画像動き連続度は小となるから、該
フレームはシーン変化フレームとはされない。また、カ
メラが動いている途中のフレームではこのフレーム中の
隣接する小領域が連動して動くのでフレーム内画像動き
連続度が小となり、かつ、フレーム間画像動き連続度も
小となるから、このフレームはシーン変化フレームとは
されない。よって、この第三発明によれば、画像全体が
大きく変化するフレームや画像の局部が大きく変化する
フレームをシーン変化フレームとして安定に検出でき、
しかも、画像全体が小さく変化するフレームはシーン変
化フレームとして検出される危険を低減できる。また、
この出願の第四発明のシーン検出装置によれば、第三発
明を容易に実施することができる。
【図面の簡単な説明】
【図１】シーン変化フレーム検出方法およびシーン変化
フレーム検出装置の実施の形態を説明するための図であ
る。
【図２】（Ａ）〜（Ｃ）は、カメラの撮影対象物が動く
場合の動きベクトルの説明図（その１）であり、主に変
換画像データを小領域に分割する処理と、対象物の移動
の様子とを示した図である。
【図３】（Ａ）および（Ｂ）は、カメラの撮影対象物が
動く場合の動きベクトルの説明図（その２）であり、図
２のような画像移動における動きベクトルの説明図であ
る。
【図４】（Ａ）〜（Ｃ）は、カメラが図中左から右へ動
く場合の動きベクトルの説明図（その１）であり、主に
変換画像データを小領域に分割する処理と、対象物の移
動の様子とを示した図である。
【図５】（Ａ）および（Ｂ）は、カメラが図中右から左
へ動く場合の動きベクトルの説明図（その２）であり、
図４のような画像移動における動きベクトルの説明図で
ある。
【図６】（Ａ）〜（Ｃ）は従来技術の課題の説明図であ
る。
【符号の説明】
１１：画像入力部 １３：画像記憶部 １５：局所変動抑制部 １７：大局特徴検出部 １９：大局変化フレーム検出部 ２１：局所特徴検出部 ２３：局所変化フレーム検出部 Ｉ(x,y,t) ：フレームごとの画像データ Ｌ(x',y',t) ：変換画像データ ＭＶ(t)(i,j)：特徴量（大局変化フレーム検出用の動き
ベクトル） ＭＶＰ(t)(i,j)：特徴量（局所変化フレーム検出用の動
きベクトル） ＦNO：シーン変化フレーム番号（大局変化フレーム番
号） ｆNO：シーン変化フレーム番号（局所変化フレーム番
号）

Claims (10)

    【特許請求の範囲】
  1. 【請求項１】 多数のフレームで構成される動画像シー
    ケンスから、シーン変化点と思われるフレームを検出す
    るに当たり、 動画像シーケンスにおける全てのフレームまたは飛び飛
    びのフレームごとの画像データに対し局所的な変動を抑
    制する処理を実施して、これらフレームについての変換
    画像データをそれぞれ生成し、 これらフレームごとの特徴量を、そのフレームについて
    の前記変換画像データに基づいて、または、そのフレー
    ムおよびその近傍のフレームそれぞれの前記変換画像デ
    ータに基づいて算出し、 該算出した特徴量に基づいてこれらフレームごとの特徴
    量変化量を算出し、 該特徴量変化量が閾値を越えるフレームをシーン変化フ
    レームとすることを特徴とするシーン変化フレーム検出
    方法。
  2. 【請求項２】 請求項１に記載のシーン変化フレーム検
    出方法において、 前記シーン変化フレームとしたフレームを除く残りの全
    てのフレームまたは一部のフレームごとの特徴量を、そ
    のフレームについての画像データに基づいて、または、
    そのフレームおよびその近傍のフレームそれぞれの画像
    データに基づいて算出し、 該算出した特徴量に基づいてそれらフレームごとの特徴
    量変化量を算出し、 それらフレームのうち該特徴量変化量が閾値を越えるフ
    レームもシーン変化フレームとすることを特徴とするシ
    ーン変化フレーム検出方法。
  3. 【請求項３】 請求項１に記載のシーン変化フレーム検
    出方法において、 局所的な変動を抑制する前記処理が、 処理対象とするフレームの画像データにおける空間方向
    の局所変動を抑制する処理、および、該処理対象フレー
    ムの画像データにおける時間方向の局所変動を抑制する
    処理の一方または双方であることを特徴とするシーン変
    化フレーム検出方法。
  4. 【請求項４】 請求項１に記載のシーン変化フレーム検
    出方法において、 前記特徴量を以下の（ａ）の処理で算出される画像動き
    情報とし、 前記特徴量変化量を以下の（ｂ）〜（ｄ）で算出される
    フレーム間画像動き量、フレーム内画像動き連続度およ
    びフレーム間画像動き連続度とし、 該フレーム間画像動き量が所定閾値より大で、かつ、該
    フレーム内画像動き連続度が所定閾値より大で、かつ、
    該フレーム間画像動き連続度が所定閾値より大であるフ
    レームをシーン変化フレームとすることを特徴とするシ
    ーン変化フレーム検出方法。 （ａ）特徴量算出対象とするフレームの前記変換画像デ
    ータを多数個の小領域に分割し、該対象フレームの近傍
    フレームについての前記変換画像データ中から前記小領
    域と類似度が大きい領域をそれぞれ検出することで求ま
    る、小領域単位での画像動き情報。 （ｂ）前記処理対象フレーム中の全部または一部の小領
    域の前記画像動き情報の総和で示される、フレーム間画
    像動き量。 （ｃ）前記処理対象フレーム中の全部または一部の少領
    域と該フレーム中の他の小領域との間での、前記画像動
    き情報の変動具合で示される、フレーム内画像動き連続
    度。 （ｄ）前記処理対象フレーム中の全部または一部の小領
    域と、該小領域について前記画像動き情報により対応づ
    けされる前記近傍フレーム中の小領域との間での、前記
    画像情報の変動具合で示される、フレーム間画像動き連
    続度。
  5. 【請求項５】 請求項２に記載のシーン変化フレーム検
    出方法において、 前記特徴量を以下の（ｉ）の処理で算出される画像動き
    情報とし、 前記特徴量変化量を以下の（ii）〜（iii)で算出される
    フレーム間画像動き量およびフレーム内画像動き連続度
    とし、 該フレーム間画像動き量が所定閾値より大で、かつ、該
    フレーム内画像動き連続度が所定閾値より大であるフレ
    ームをもシーン変化フレームとすることを特徴とするシ
    ーン変化フレーム検出方法。 （ｉ）特徴量算出対象とするフレームの前記画像データ
    を多数個の小領域に分割し、該対象フレームの近傍フレ
    ームについての前記画像データ中から前記小領域と類似
    度が大きい領域をそれぞれ検出することで求まる、小領
    域単位での画像動き情報。 （ii）前記処理対象フレーム中の全部または一部の小領
    域の前記画像動き情報の総和で示される、フレーム間画
    像動き量。 （iii)前記処理対象フレーム中の全部または一部の少領
    域と該フレーム中の他の小領域との間での、前記画像動
    き情報の変動具合で示される、フレーム内画像動き連続
    度。
  6. 【請求項６】 多数のフレームで構成される動画像シー
    ケンスから、シーン変化点と思われるフレームを検出す
    るための装置であって、 動画像シーケンスにおける全てのフレームまたは飛び飛
    びのフレームごとの画像データに対し局所的な変動を抑
    制する処理を実施して、これらフレームについての変換
    画像データをそれぞれ生成する局所変動抑制部と、 局所変動処理をしたフレームごとの特徴量を、そのフレ
    ームについての前記変換画像データに基づいて、また
    は、そのフレームおよびその近傍のフレームそれぞれの
    前記変換画像データに基づいて算出する大局特徴検出部
    と、 該算出した特徴量に基づいてこれらフレームごとの特徴
    量変化量を算出し、該特徴量変化量が閾値を越えるフレ
    ームをシーン変化フレームとする大局変化フレーム検出
    部とを具えたことを特徴とするシーン変化フレーム検出
    装置。
  7. 【請求項７】 請求項６に記載のシーン変化フレーム検
    出装置において、 前記大局変化フレーム検出部でシーン変化フレームとさ
    れたフレームを除く残りの全てのフレームまたは一部の
    フレームごとの特徴量を、そのフレームについての画像
    データに基づいて、または、そのフレームおよびその近
    傍のフレームそれぞれの画像データに基づいて算出する
    局所特徴検出部と、 該算出した特徴量に基づいてそれらフレームごとの特徴
    量変化量を算出し、それらフレームのうち該特徴量変化
    量が閾値を越えるフレームもシーン変化フレームとする
    局所変化フレーム検出部とをさらに具えたことを特徴と
    するシーン変化フレーム検出装置。
  8. 【請求項８】 請求項６に記載のシーン変化フレーム検
    出装置において、 前記局所変動抑制部は、 処理対象とするフレームの画像データにおける空間方向
    の局所変動を抑制する処理、および、該処理対象フレー
    ムの画像データにおける時間方向の局所変動を抑制する
    処理のいずれか一方または双方の処理を、前記画像シー
    ケンスに応じ、実施するものであることを特徴とするシ
    ーン変化フレーム検出装置。
  9. 【請求項９】 請求項６に記載のシーン変化フレーム検
    出装置において、 前記大局特徴検出部は、前記特徴量として以下の（ａ）
    に示される画像動き情報を算出するものであり、 前記大局変化フレーム検出部は、前記特徴量変化量とし
    て以下の（ｂ）〜（ｄ）に示されるフレーム間画像動き
    量、フレーム内画像動き連続度およびフレーム間画像動
    き連続度を算出し、かつ、該フレーム間画像動き量が所
    定閾値より大で、かつ、該フレーム内画像動き連続度が
    所定閾値より大で、かつ、該フレーム間画像動き連続度
    が所定閾値より大であるフレームをシーン変化フレーム
    とするものであることを特徴とするシーン変化フレーム
    検出装置。 （ａ）特徴量算出対象とするフレームの前記変換画像デ
    ータを多数個の小領域に分割し、該対象フレームの近傍
    フレームについての前記変換画像データ中から前記小領
    域と類似度が大きい領域をそれぞれ検出することで求ま
    る、小領域単位での画像動き情報。 （ｂ）前記処理対象フレーム中の全部または一部の小領
    域の、前記画像動き情報の総和で示される、フレーム間
    画像動き量。 （ｃ）前記処理対象フレーム中の全部または一部の少領
    域と該フレーム中の他の小領域との間での、前記画像動
    き情報の変動具合で示される、フレーム内画像動き連続
    度。 （ｄ）前記処理対象フレーム中の全部または一部の小領
    域と、該小領域について前記画像動き情報により対応づ
    けされる前記近傍フレーム中の小領域との間での、前記
    画像情報の変動具合で示される、フレーム間画像動き連
    続度。
  10. 【請求項１０】 請求項７に記載のシーン変化フレーム
    検出装置において、 前記局所特徴検出部は、前記特徴量として以下の（ｉ）
    に示される画像動き情報を算出するものであり、 前記局所変化フレーム検出部は、前記特徴量変化量とし
    て以下の（ii）〜（iii)に示されるフレーム間画像動き
    量およびフレーム内画像動き連続度を算出し、かつ、該
    フレーム間画像動き量が所定閾値より大で、かつ、該フ
    レーム内画像動き連続度が所定閾値より大であるフレー
    ムをシーン変化フレームとするものであることを特徴と
    するシーン変化フレーム検出装置。 （ｉ）特徴量算出対象とするフレームの前記画像データ
    を多数個の小領域に分割し、該対象フレームの近傍フレ
    ームについての前記画像データ中から前記小領域と類似
    度が大きい領域をそれぞれ検出することで求まる、小領
    域単位での画像動き情報。 （ii）前記処理対象フレーム中の全部または一部の小領
    域の、前記画像動き情報の総和で示される、フレーム間
    画像動き量。 （iii)前記処理対象フレーム中の全部または一部の少領
    域と該フレーム中の他の小領域との間での、前記画像動
    き情報の変動具合で示される、フレーム内画像動き連続
    度。
JP8086938A 1996-04-09 1996-04-09 シーン変化フレーム検出方法および装置 Withdrawn JPH09284702A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP8086938A JPH09284702A (ja) 1996-04-09 1996-04-09 シーン変化フレーム検出方法および装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP8086938A JPH09284702A (ja) 1996-04-09 1996-04-09 シーン変化フレーム検出方法および装置

Publications (1)

Publication Number Publication Date
JPH09284702A true JPH09284702A (ja) 1997-10-31

Family

ID=13900818

Family Applications (1)

Application Number Title Priority Date Filing Date
JP8086938A Withdrawn JPH09284702A (ja) 1996-04-09 1996-04-09 シーン変化フレーム検出方法および装置

Country Status (1)

Country Link
JP (1) JPH09284702A (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999003273A1 (en) * 1997-07-11 1999-01-21 Mitsubishi Denki Kabushiki Kaisha Movie playback apparatus and movie collecting apparatus
JP2001086434A (ja) * 1999-07-08 2001-03-30 Hyundai Electronics Ind Co Ltd 動き程度記述方法を用いる動映像索引及び検索方法
US6571052B1 (en) 1997-07-11 2003-05-27 Mitsubishi Denki Kabushiki Kaisha Moving picture playback apparatus
KR20030082794A (ko) * 2002-04-18 2003-10-23 엘지전자 주식회사 비디오 부호화기의 장면전환 검출 방법 및 장치
JP2006092328A (ja) * 2004-09-24 2006-04-06 National Institute Of Advanced Industrial & Technology 動画像時間分割処理方法および装置
US7092040B1 (en) 1999-06-30 2006-08-15 Sharp Kabushiki Kaisha Dynamic image search information recording apparatus and dynamic image searching device
JP2007304869A (ja) * 2006-05-11 2007-11-22 Sony Corp 画像処理装置および方法、プログラム並びに記録媒体
JP2008033749A (ja) * 2006-07-31 2008-02-14 Nippon Hoso Kyokai <Nhk> カット点検出装置及びカット点検出プログラム
US7643554B2 (en) 1998-11-30 2010-01-05 Sharp Kabushiki Kaisha Image retrieving apparatus performing retrieval based on coding information utilized for feature frame extraction or feature values of frames
CN116129305A (zh) * 2022-12-27 2023-05-16 上海深其深网络科技有限公司 一种烟雾检测方法、装置、电子设备及存储介质

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7391956B2 (en) 1997-07-11 2008-06-24 Mitsubishi Denki Kabushiki Kaisha Moving picture playback apparatus
US6571052B1 (en) 1997-07-11 2003-05-27 Mitsubishi Denki Kabushiki Kaisha Moving picture playback apparatus
US6625383B1 (en) 1997-07-11 2003-09-23 Mitsubishi Denki Kabushiki Kaisha Moving picture collection and event detection apparatus
WO1999003273A1 (en) * 1997-07-11 1999-01-21 Mitsubishi Denki Kabushiki Kaisha Movie playback apparatus and movie collecting apparatus
US7643554B2 (en) 1998-11-30 2010-01-05 Sharp Kabushiki Kaisha Image retrieving apparatus performing retrieval based on coding information utilized for feature frame extraction or feature values of frames
US7092040B1 (en) 1999-06-30 2006-08-15 Sharp Kabushiki Kaisha Dynamic image search information recording apparatus and dynamic image searching device
US7884884B2 (en) 1999-06-30 2011-02-08 Sharp Kabushiki Kaisha Dynamic image search information recording apparatus and dynamic image searching devices
JP2001086434A (ja) * 1999-07-08 2001-03-30 Hyundai Electronics Ind Co Ltd 動き程度記述方法を用いる動映像索引及び検索方法
KR20030082794A (ko) * 2002-04-18 2003-10-23 엘지전자 주식회사 비디오 부호화기의 장면전환 검출 방법 및 장치
JP2006092328A (ja) * 2004-09-24 2006-04-06 National Institute Of Advanced Industrial & Technology 動画像時間分割処理方法および装置
JP2007304869A (ja) * 2006-05-11 2007-11-22 Sony Corp 画像処理装置および方法、プログラム並びに記録媒体
JP2008033749A (ja) * 2006-07-31 2008-02-14 Nippon Hoso Kyokai <Nhk> カット点検出装置及びカット点検出プログラム
CN116129305A (zh) * 2022-12-27 2023-05-16 上海深其深网络科技有限公司 一种烟雾检测方法、装置、电子设备及存储介质
CN116129305B (zh) * 2022-12-27 2026-01-02 上海深其深科技有限公司 一种烟雾检测方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
JP5284048B2 (ja) 画像処理装置、撮像装置及び画像処理方法
US8508599B2 (en) Motion vector detection apparatus, motion vector detection method, and image capturing apparatus
JP4373840B2 (ja) 動物体追跡方法、動物体追跡プログラムおよびその記録媒体、ならびに、動物体追跡装置
KR100860988B1 (ko) 시퀀스들에서의 객체 탐지를 위한 방법 및 장치
WO2007077283A1 (en) Method and device for controlling auto focusing of a video camera by tracking a region-of-interest
JP2003219225A (ja) 動体画像監視装置
US9053355B2 (en) System and method for face tracking
JP2000011133A (ja) 移動物体検出装置及びその方法
KR102069269B1 (ko) 영상 안정화 장치 및 방법
JPH09284702A (ja) シーン変化フレーム検出方法および装置
JP2003134385A (ja) 画像合成装置
JP4913801B2 (ja) 遮蔽物映像識別装置及び方法
JP4443767B2 (ja) 動きベクトルの伝送コスト低減のための動き推定の方法
US11044399B2 (en) Video surveillance system
US9392146B2 (en) Apparatus and method for extracting object
CN101420594A (zh) 将视频图像划分为构成区域的设备和方法
JP4192719B2 (ja) 画像処理装置および方法、並びにプログラム
US11164286B2 (en) Image processing apparatus, image processing method, and storage medium
EP2953093A1 (en) Method and apparatus for improving estimation of disparity in a stereo image pair using a hybrid recursive matching processing
KR102450466B1 (ko) 영상 내의 카메라 움직임 제거 시스템 및 방법
Tang et al. A fast video stabilization algorithm based on block matching and edge completion
JP2016051236A (ja) 画像処理装置、画像処理方法およびそれを用いた検査方法。
Sugandi et al. A block matching technique for object tracking employing peripheral increment sign correlation image
JPH04209074A (ja) 動領域抽出方式
JP4378801B2 (ja) 画像処理方法および画像処理装置

Legal Events

Date Code Title Description
A300 Withdrawal of application because of no request for examination

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20030701