JPH04111181A - 動画像の変化点検出方法 - Google Patents

動画像の変化点検出方法

Info

Publication number
JPH04111181A
JPH04111181A JP2230930A JP23093090A JPH04111181A JP H04111181 A JPH04111181 A JP H04111181A JP 2230930 A JP2230930 A JP 2230930A JP 23093090 A JP23093090 A JP 23093090A JP H04111181 A JPH04111181 A JP H04111181A
Authority
JP
Japan
Prior art keywords
image
frame
change
moving image
correlation coefficient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2230930A
Other languages
English (en)
Other versions
JP2863818B2 (ja
Inventor
Takafumi Miyatake
孝文 宮武
Satoshi Yoshizawa
聡 吉沢
Hirotada Ueda
博唯 上田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PERSONAL JOHO KANKYO KYOKAI
Original Assignee
PERSONAL JOHO KANKYO KYOKAI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PERSONAL JOHO KANKYO KYOKAI filed Critical PERSONAL JOHO KANKYO KYOKAI
Priority to JP23093090A priority Critical patent/JP2863818B2/ja
Priority to DE69120001T priority patent/DE69120001T2/de
Priority to EP19910103619 priority patent/EP0472806B1/en
Priority to US07/667,647 priority patent/US5083860A/en
Publication of JPH04111181A publication Critical patent/JPH04111181A/ja
Application granted granted Critical
Publication of JP2863818B2 publication Critical patent/JP2863818B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/11—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information not detectable on the record carrier
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/147—Scene change detection
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/60—Solid state media
    • G11B2220/65—Solid state media wherein solid state memory is used for storing indexing information or metadata

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （産業−１，の杓用分野： 不発明：よ、ビデオや映画の動画像をシーン別、二１．
２ン、Ｘ、シーンのことをカットと呼ぶ）頭出しするこ
とかできる動画像編集方法に係し１、特にビデオテープ
やビデオデメスクに格納された動画像からカット間の変
わり目を検出するための画像変化点検出方法に関する。
［従来の技術１ 従来、動画像カットを自動的に検出する方法についての
論文としては、例えば、「電子情報通信学会技術報告Ｉ
　Ｅ８９−６．−８９−３３のく外材、支部）パ動画像
データベースハンドリングに関する検討°゛がある。こ
れによれば、動画像カットは映像が大きく変化する画像
の１区間であると定義することにより、Ｔｊｉ度を用い
て、視覚的に映像変化点を検出する方法を提案している
。すなわち、対象とする動画像の各フレームに対して輝
度のヒス［・プラムを特徴量としで抽出し、次に直前の
フレームとのヒストグラムの差分を求め、その結果につ
いての総和を算出している。差分値の総和をフレーム相
関係数として、ある一定の閾値を設定して、相関係数か
この閾値を越えたときにカットとカッ）への変わり目と
判断するのである。なお、カッ）・とは、ビデオや映画
等の動画像の中で、ある動作の最初から最後までの１シ
ーンを形成する１区切りの画像群である。
［発明が解決しようとする課題］ しかしながら、ト述の方法では、相関係数として画面全
体のヒストグラム差分を用いている。このように、輝度
ヒストグラムの差分を画面変化点検出の目的に用いるの
では、検出感度が不十分である。すなわち、この相関係
数では、画面が完全に変化しているにもかかわらず相関
係数か小さい場合、例えば、第１４図に示すように、左
半分が白で右半分か黒の画ｔ（ｂ−１）と左半分が黒て
右十分が白の画面（ａ−１）とでは、ｉａ　　２）　（
ｂ２゛・の特性し１から明らかなように、相関係数はＯ
になる。また、画面の個別的場所毎には変化していでも
、それらの合計値の変化量か同じであれば、ヒストグラ
ム上ては殆んと変化かないものと判断される。
これらは、領域間の特徴量が互いに干渉した結果、検出
感度が劣化したものと考７．られる。
さらに、この相関係数を、動きの激しい映像のカット検
出に用いた場合には、映像の各フレーム毎に連続して大
きな値をとる二とになるため、４４ｊとは逆に誤検出が
多発してしまう。例えば、激しく動くスポーツ選手をズ
ームアツプした映像では、絶えず映像変化が続くため、
フレーム単位とカットの変わり目といつことになり、正
しいカット検出が困難になる。
このように、映像変化の急激なフレームでもカットの変
わり目ではないことがあるので、映像変化の急激なフレ
ームを検出することは、正しいカッｉ検出のための必要
条件ではあるが、十分条件ではないと言うことになる。
本発明の目的は、二のような従来の課題を解決し、激し
い動作のカット内での誤検出を防止して、検出感度を落
さずに、正確な動画像の変化点を通常のワークステーシ
ョンでも高速に検出することかできる動画像の変化点検
出方法を提供することにある。
［課題を解決するための手段］ 上記目的を達成するため、本発明による動画像の変化点
検出方法は、（ｉ）処理対象となる動画像をフレーム単
位で時系列に処理装置に入力すると、処理装置は、各フ
レーム単位に該画像データか有するカラーヒストグラム
を含む特徴量を計算し、特徴量と直前のフレームで計算
した特徴量との間で相関係数を求め、相関係数と過去の
フレームで求めた相関係数との間で変化率を求め、変化
率が予め定めた許容値を超えた時点を、動画像のカット
の変わり目であると判定することに特徴がある。
また、（１］）特徴量は、画像を小ブロックに分割した
場合の輝度ないしカラーのヒストグラムを含む二とにも
特徴がある。また、（ｌｌ）相関係数は、画像を小ブロ
ックに分割した場合の連続する的（ｉ　（Ａ〕し−ム相
互間の対応ブロックとうしの特ω量を比較して、比較の
結果、大きく変化したブロックの数を計数し、計数した
ブロック数を画像全体のブロック数で正規化した値とす
ることにも特σりかある。また、（１〜・）変化率は、
現在のフし−ムて求めた相関値から、１つ前のフレーム
で求めた相関値と２つ前に求めた相関値のいずれか大き
い方の相関値との差分とすることにも特徴がある。さら
に、（Ｖ）処理装置は、処理対象となる動画像をフレー
ム単位で入力し、動画像のカットの変わり目を判断した
場合、判断したフレームを識別するタイムコードと、判
断されたカットの変わジノ目の画像とを、その動画像カ
ットの索引情報として出力することにも特徴がある。
［作　　用］ 本発明においては、動画像をフレーム単位で時系列に処
理装置に入力し、画像データの特徴を表わす特徴量を各
フレーム内の区分領域（ここでは、ブー・ンクと呼ぶ）
毎に算出、し、この特徴量ごｆ丁ｎ’ｉのフレームて算
斤した特徴量との間でプロ・７り毎（二類似度を求める
。そして、類似度の低いブロワ々の個数の全ブロックに
対する割１合を相関係数として求め、この相関係数と過
去の）し−二、で求めた相関係数との間での変化イスを
算出し、この変化率か許容値を越えたときに動画像の変
わり「フと判断する。その時点のフし−ムを識別するタ
イふ＝ドとカットの変わり目の画像を、動画像カヅＩ・
の索引情報として出力する。
二のように、動画像カットの変わり目検出用の相関係数
として、フレーム内の個別ブロック毎に変化を検出し、
変化したブロックの個数を全ブロック数で正規化したも
のを用いているので、領域間での特徴量の干渉を防止す
ることができるとともに、相関係数かＯから１までの範
囲で正規化されているので、その後の処理における取り
扱いか容易になる。
また、動画像カットの変わり目を検出する場合に、過去
の相関係数との間の変イと率により判断しているので、
たとえ相関係数の値か大きくても（つまり、映像変化が
大であっても）、それか過去から継続していれば、変化
率自体は小さいので、これを誤ってカットとみなして検
出することはなくなる。すなわち、通常、動作の激しい
カットでは映像変化は大きいが、その変化率は小さいと
いう状態が継続するため、上記方法を利用すれば極めて
有効である。
［実施例］ 以下、本発明の実施例を、図面により詳細に説明する。
第１図は、本発明の一実施例を示す動画像自動索引付は
システムの全体ブロック図である。
第１図において、１０，１１．１２は処理対象となる動
画像の入出力機器であって、１０はビデオディスク装置
、１１はビデオテープレコーダ、１２はテレビチューナ
である。また、１３は動画像入出力機器の制御、および
入力光の切り換えを行うビデオコントローラ、１４はフ
レーム毎に格納されるフレームメモリ、１５はビデオコ
ントロラ１３に指示を出して制御する中央処理装置、１
６は中央処理装置１５て実行されるプログラムや、使用
されるデータを格納するメインメモリ、］７はメインメ
モリＩ６の容量を補充するための外部メモリである磁気
ディスク装置である。
動画像の入出力機器１０．１１　１２の動作的特徴とし
ては、ビデオディスク装置１０はシーケンシャルにビデ
オデータを記録するが、う〉ダムアクセスが可能であり
、ビデオテープレコーダ１】はシーケンシャルにビデオ
データを記録し、アクセスもシーケンシャルアクセスで
あるが、スロ再生が可能であり、またテレビチューナ１
２は記録が不可能であって、画像は一定速度で放送局等
から一方的に送信（故送）されてくる。
ビデオコントローラ１３は、中央処理装置１５の指令１
８に基づき、各種の動画像入出力機器ｌＯ，１１，１２
の制御を行うとともに、それらの１つを入力光として切
しノ換え接続し、動画像を取り込むことにより、１フレ
ームずつ一旦、フレームメモリ１４に記憶する。中央処
理装置１５は、フレームメモリ１４から読み出した動画
像を解析し、解析した中間データをメインメモリ１６に
旦格納した後、動画像の索引情報を作成し、それを磁気
ディスク装置Ｊ７に格納する。また、場合によりビデオ
ディスク装置１０やビデオテープレコーダ１１に書き込
むこともてきる。
このように、本発明では、特別な構成は設けておらず、
Ａ〜′機器とワークステーションの装置で容易に構成す
ることができる。
第２図は、第１図における中央処理装置の索引情報作成
処理のフコ−チャートである。
中央処理装置１５は、動画像カットの画像変化点を検出
し、これにより索引情報を作成する。
先ず初期化処理（ボックス２０）で、各種変数に初期値
を付与する。初期化処理の詳細は、第３図で述へる。
画像入力処理（ボックス２１）では、動画像を１フレー
ムたけフレームメモリ１４に取り込む。この際に、ビデ
オディスク装置１０あるいはビデオテープレコーダ１１
が入力光である場合には、そのフレームが媒体上で記憶
されているアドレスに相当する情報をタイムコードとし
て読み込み、変数ＴＭに格納する。
次に、画像前処理（ボックス２２）では、それ以降の処
理の演算量を削減するために、画像の間弓きとカラー画
素の圧縮を行う。画像の間引き処理の詳細については、
第４図および第９図で述べるヘフレーム相関係数計算処
理（ボックス２３）では、フレーム相関係数の計算を行
い、その計算結果は配列Ｄ（し）に格納する。なお、本
発明で用いられるフレーム相関係数は、フレーム間で変
化した領域の全画面中に占める割合を用いる。このよう
にすれば、フレーム相関係数はＯから１までの範囲に収
まり、画像が完全に変化すればｌ、変化がなければ０と
なる。変化領域の求め方は種々の方法があるが、単純な
画素の差分てはノイズに敏感になる。また、全画面の輝
度ヒストグラム差分では、領域どうしの輝度の干渉によ
り検出感度が悪くなる。そこで、本実施例では画面を小
ブロックに分割し、ブロック間のカラーヒストグラムの
類似度で変化ブロックを求め、これら変化ブロックの総
和を変化領域と解釈するようにしている。なお、具体的
な相関係数の計算は、第５図により述へる。
次の変化率計算処理（ボックス２４）では、相関係数の
変化率を計算した後、その計算結果を変数ＤＤＴに格納
する。具体的な相関係数の変化率の計算方法は、第６図
により詳細に述べる。
次の判断処理（ボックス２５）では、カットの変わり目
を判定する。すなわち、 ｄし ここで、βは変わり目の判定のための閾値であり、本実
施例ではβ＝０．６である。
画像変化点登録処理（ボックス２６）では、カットの変
わり目と判定した場合に、動作像カットの索引情報を作
成する。動作像カットの索引情報作成処理の詳細につい
ては、第７図および第１０図により述べる。
フレーム更新処理（ボックス２７）では、フレームを更
新する。この処理の詳細は、第８図によす述べる。
ビデオの全フレーム判定処理（ボックス２８）では、処
理すべき動画像かまた存在するか否かを判定し、またあ
る場合には、ブロック２１から繰り返す。また、なけれ
ば処理を終了する。
第３図は、第２図における初期化処理（ボックス２０）
の詳細フローチャートである。
画像変化点の個数を格納するＮの初期値を０とする（ボ
ックス２Ｏ−１）。また、変数ｔ、ｔｌ。
し２はそれぞれ現在のフレーム、１つ＋Ｉｉのフレーム
、２つ的のフレームを示す各種配列のアドレス参照用の
添字に使用する。
そして、これらのｔ、ｃｌ、ｔ２に、それぞれ０．１．
２を初期値として付与する（ボックス２Ｏ−２）。
次に、１つ前のフレームと２つ前のフレームの相関係数
Ｄ（ｕ　１）、Ｄ（ｔ、２）にＯを付与する（ボックス
２Ｏ−３）。
第９図は、第１図におけるフレームメモリ中の画像の間
引きとカラー画素値の圧縮の状態を示す図であり、第１
２図は、第９図の補助説明図である。
第９図において、１４−１は入力画像Ｐてあり、１４−
２は間引き後のカラー画像Ｑてあり、１，１３は圧縮後
のカラーコード画像Ｆである。人力画像１４−１の縦と
横の画素をそれぞれｌ／８に間引き、かつカラー識別ビ
ットをそれぞれｌ／４に圧縮する。このように、便宜上
、画素の削減を間引き、カラービットの削減を圧縮と呼
ぶことにする。圧縮後のカラーコード画像１４−３は、
入力画像１４−１に対して１　／　２５６に情報圧縮さ
れている。この圧縮された画像に対して、以降の画像処
理が行われても、情報量が少なくなっているために通常
のワークステーションでも１秒間に数フレーム以上の回
数で画像変化点が検出できる。
カラーピットの圧縮は、第１２図に示すように、Ｂ、Ｇ
、Ｒの各８ビツトの先頭２ビツトのみを取り出して、圧
縮ビットにしている。
第４図は、第２図における画像の間引き処理およびカラ
ー画素値の圧縮処理を示すフローチャトである。第４図
のうち、ホックス２２１か直像の間引き処理の具体例、
ボックス２２−２かカラー画素値の圧縮処理の具体例を
示している。
先ず、画像の間引きは、次式によｊＪ行う。
（１）画像の間引き Ｑｒ（ｔ、ｘ、ｙ）＝Ｐｒ（ｔ、ｍ＊ｘ、ｒｎ＊ｙ）Ｑ
ｇＬｔ、ｘ、　ｙ）＝Ｐｇ（ｔ、ｍ＊ｘ、　ｍ＊ｙ）Ｑ
ｂ（ｔ、ｘ、ｙ）＝Ｐｂ（ｔ、ｍ＊ｘ、ｍ＊ｙ）・・・
・・・・・・・・・　（１） ここで、Ｐは入力カラー画像、Ｑは間引き後のカラーの
画像（縮小画像と呼ぶ）、しはフレーム番号１ｍは間引
き数、木は乗算記号である。また、添字ｒ、ｇ、ｂはカ
ラ−３原色の各成分を示す。
標準の動画像では、画像サイズは６４０×４８０画素で
あるが、ここでｍは圧縮の値であって、具体的には８を
与えている。この値は、大きい程情報が圧縮されること
になるが、検出性能が低下する可能性もあるので、８の
値は実験的に性能が上がることを確認して決めたもので
ある。これにより、それ以降の処理では、演算量は１／
６４に削減される。
この場合、縮小後の画像のｘ、ｙアドレスは、Ｘについ
ては１から８０．ｙについてはｌか６６０をとる。変数
ＴＭには、上記（１）式のフレーム番号しか格納される
ことになる。また、本実施例においては、フレームメモ
リ１４に画像を順次蓄積しておく必要はない。処理に必
要なものは、フレーム番号ｔを処理している時点で、そ
のときの１枚の画像のみである。
第４図におけるブロック２２−１は、具体的な間引き処
理を示しており、間引き後のカラー画像Ｑ（縮小画像）
は、入力カラー画像Ｐのｘ、ｙについて、間引き数ｍを
掛けたものを座標とすることを示している。
（ｉｉ）カラー画素値の圧縮 Ｆ（ｔ、ｘ、ｙ）＝Ｑｒ（ｔ、ｘ、ｙ）＊ｆ＋Ｑｇ（ｔ
、ｘ、ｙ）＊ｆ＊Ｒ ＋Ｑｂ（し、Ｘ、ｙ）＊　ｆ　＊Ｒ＊Ｒ・・・・　（２
） ここで、Ｆは圧縮後のカラーコード画像、ｆは画素値の
ダイナミックレンジの圧縮係数（第９図の例では、ｆ＝
１／６４）、Ｒは圧縮後の各カラ成分のダイナミックレ
ンジ（第９図の例では、Ｒ＝４）である。
また、カラーコード画像Ｆのダイナミックレンジは、Ｒ
のダイナミックレンジを３乗した値である。また、ダイ
ナミックレンジの圧縮係数ｆは各成分について同一であ
るが、個別に設定してもよい。標準の動画像では２４ビ
ット色あるが、ここでは６ビツト色まで圧縮する（第１
２図に示すように、各カラー画素値８ビツト中の先頭２
ビツトずつ取り出す）。
第４図のボックス２２−２では、具体的なカラ画素値の
圧縮処理が示されており、各成分の上位２ビツトを切り
出して６ビツトに合成している。
すなわち、間引き処理後のカラー画像ＱにおけるＲの項
は６ビツトシフトしたデータと数値３とのＡＮＤをとっ
て切り出し、Ｇの項は１２ビツトシフトしたデータと数
値１２とのＡＮＤをとって切り出し、Ｂの項は１８ビツ
トシフトしたデータと数値４８どのＡ＼ｒ）をとって切
り出したモ、の辷しの０尺をとると、２ヒ・１１・ずつ
のＰ６ビツ１畳ニ合成されることを意味している。
第３図は、第２図におけるフレーム相関係数計算処理の
フローチャートである、 具体的な相関係数の計算は、次式、−よ各・行われる。
（ｉ）ブロック毎のヒストグラム計算 Ｇ（ｔ、ｋ　　ｘ、ｙ）＝Ｆ（ｃ、ｘ＋５：＜本ｋｘ。
ｙ＋△ｙ＊ｋｙ）　・　・　・　・　・　（３）・・・
・・・・・ｉ　　ｆ　（ｔ、Ｊｘ、ｙ）　　＝　ｉ　　
　・　・　・　・　（４）ここで、Ｇはブロック画像、
１（はブロックヒストグラム（つまり、ヒストグラムカ
ウンタ値）、Ｆ゛は圧縮後のカラーコート画像、ｋはブ
ロック通し番号、ｋＸは横方向のブロック番号、ｋ、　
ｙは縦方向のブロック番号、ΔＸはブロックの横方向の
画素数、Δｙはブロックの縦方向の画素数、１はカラー
コート番号である。具体的には、ｋｘはＯか・っ７、ｋ
　ｙはＯから５、Δｘ＝ｌＯ２Δさ＝１０ど−、ブロッ
ク通し番号には（′）から４７までの４直をとるうまた
、■はＯから６３までの値をとる。
なお、ブロック通０番号にと横方向のブロック番号ｋｘ
、縦方向のブロック番号ｋｙの関係は、ｋｋ　ｘ　’−
，８＊　ｋｙである。
（３）式では、ブロック画像Ｇの時刻りにおけるブロッ
ク番号にのＸ、ｙは、圧縮後のカラーコー画像Ｆ中のし
時刻、Ｘ＋ΔＸ＊ｈｘ、ｙ＋ふｙ＊ｋｙを切り出したこ
とを意味する。また、（４）式では、ヒストグラムカウ
ンタ■］の値は、ブロックｋにおける場所ｘ、ｙの明る
さが１であれば、ブロックの大きさ△Ｘ、Δｙについて
その内容を更新することを意味している。すなわち、第
１３図（ｂ）に示すように、分割された複数のブロック
画像Ｇの各々の画素△Ｘ、Δｙを矢印で示すように全体
的に走査して、カラーコード１であれば、その位置のヒ
ストグラムカウンタＨの値を更新する。つまり、第１３
図（ａ）に示すように、横軸を１、縦軸をＨにとったグ
ラフで、この値が１であれば、そのユの箇所のヒストグ
ラムカウンタ値トＩを更新する。このようにして、明る
さについて各ブロックについてカラーコート１のヒスミ
グラムを知ることかできる。
第５図において、ブロック２３−１．２３−２．２：３
−３は、ピストグラムを求める計算ステップを示す。ブ
ロック２３−１はヒストグラムの格納領域ＨＩＳＴの初
期化であって、Ｏを与える。
ブロック２３−２は、ブロック番号にの割り出し計算と
カラーコート１の抽出処理を行っており、それに基づい
てブロック２３−３で該当するヒストグラムを１更新す
る。この処理は、画像Ｆの各画素について１回だけ行う
ので、８０×６０−４８００回計算することになる。も
し、前処理で画像を間引いておかなかった場合には、そ
の６４倍の３０７，２００回の計算が必要となる。
（ｌ］）ブロック間のヒストグラム類似度計算Ｖ（ｔ、
に、　　１）−（）（（ｔ、、に、　　１）−Ｈ（ｔ　
−１゜ｋ、　　ｉ））／Ｈ（ｔ−１，に、　　ｉ）・　
・　（５） Ｎｃ−１ Ｎｃ　　ｉ＝０ ・　・　・　・　・　・　・　・　・　・　・　・　（
６）ここで、■はヒストグラムの正規化差分値、Ｅはヒ
ストグラム類似度、Ｎｃはカラーコード数である。すな
わち、■はヒストグラムの各要素を個別に正規化した差
分値であり、これによりヒストグラムの分布形状にかか
わらず、各カラーコートの差分値が均等な重みを持つ。
また、Ｅは■の２乗平均であって、カラーコード数Ｎｃ
の大小には依存しない。このことは、前処理で画像の圧
縮率を適当に別の値に変更した場合でも、本質的にＥの
値が変化しないことを意味している。
なお、前処理によりカラーコード数Ｎｃは６４に減少し
ており、本実施例の上記（５）式については、ｌはＯか
ら６３、ｋはＯから４７まで変化させ、全ての場合を計
算させるために、合計３０７２回計算することになる。
また、上記（６）式については、ｋはＯから４７まで変
化させるたけであるため４８回であるか、（６）式の中
でｌをＯから６Ｘ３まで変化させているため、実質的Ｃ
二は処理時間か（５）式と同じ（３０７２Ｅに比例した
値となる。もし、前処理で画像を圧縮しなかった場合（
二は、（５）（６）式ともに２の１８乗倍の１２，５８
２．９１２回となる。また、本実施例において、ヒスト
グラムＨは、時刻しと時刻ｔ−１のせいぜい２フレ一ム
分のヒストグラムを記憶しておくたけてよいため、メイ
ンメモリ１６の容量は少なくてすむ。
（ｉｉｉ）フレーム間の相関係数計算 Ｎｋ　　　ｋ＝０ ・　・　・　・　・　・　・　・　・　・　・　・　（
７）ここで、Ｄは相関係数であり、Σは変化したブロッ
クの個数である。Ｄは変化したブロックの個数をブロッ
クの総値数人にで割っているので、画面全体に対する変
化した領域の割合か近似的に求められたことになる。従
って、精度を」二げるためには、Ｎｋを増加させればよ
い。こ二では、＼に＝４８である。また、パラメータα
は、ブロックか変化巳たか否かの閾値であって、経験的
−二αＣ・９．８．とする。
これを図にすると、第１こ区（コ）に尽すよつになる。
分子ｊされた各ブロック毎にフじ一ムハ、こユつ前のフ
レームＡ、との間の変化を調へ、変化していれば１．四
−であれば○とする、二のようにして、変イししたブロ
ックの個数を全体のプロ・／り数で割算する一次に、フ
じ−ムＡ、と１つｉ＋ｊｉα〕フレームＡ、との間で同
じ処理を行う。二のようにして、順次ブロック毎の変化
を調へる。また、第１５図（ｂ）に示すように、１つ４
ｉｊのフレーム６・Ｘ。
との変化たけでなく、Ａ、と２つ前のフレーム、・Ｎ。
の変化を比較して大きい方を用いてフレームＡの変化と
の差分をとる。これにより、フレーム間のバラツキを防
丘することかできる。
第５図におけるブロック２３−４かＩ−）２３１までは
、相関係数Ｄ（し）を求めるための計算ステップである
。
先ず、ブロック２３−４で相関係数Ｄ（ｔ）をＯに設定
する。次に、小ブロックについてヒストグラムの類似度
Ｅをブロック２３−５．２３−６．２３−７で求め、ブ
ロック２３−８で６４のカラコード別に分割する。判定
ブロック２３−ｇで定の閾値を越えたときに、ブロック
２３　１０で相関係数Ｄ（し）を１つ更新する。以上の
処理を、全ての小ブロックについて行い、得られた相関
係数Ｄ（し）をブロック２３−１１で全ブロック数で割
算することにより、最終的な相関係数Ｄ（ｔ　）を求め
る。
第６図は、相関係数の変化率計算処理のフロチャートで
ある。
具体的な相関係数の変化率の計算方法を以下に示す。
（１）相関係数の変化率計算 ｔ ・　・　・　・　・　・　・　・　・　・　（８）変化
率はフレーム間の相関係数の差分により求めるが、予備
実験の結果、相関係数はフレーム間でバラツキが多い二
とかわかったため、第６図のブロック２４−１に示すよ
うに、直ＡｉＪの２フレーム分の相関係数の大きい方と
差分をとるよつにした。勿論、さらに１つ前のフレーム
を加λた３フレ一ム分の最大のものとの差分をとっても
よい。
通常、動画像カットは、最低でも１秒（３０７レム）程
度は続くことを考えると、過去０．５秒分（１５フレー
ム）までの最大値との差分を変化率としてもよい。相関
係数りを１５個程度、常時記憶しておいても、メインメ
モリ１６の負担にはならない。動画像カット内での映像
変化か数フレーム間の周期で断続している場合に、通算
の差分て求めると変化率は大きくなるが、本発明では、
過去のフレームにさらに遡って相関係数の最大値を求め
ているため、変化率の値は大きくならない。
第７図は、画像変化点登録処理のフロチャトである。
第２図のブロック２６は、カットの変わり目と判定した
場合の動画像カットの索引情報作成処理であり、第７図
はその詳細動作を示している。
先ず、ブロック２６−１で変数へを１更新し、ブロック
２６−２で現在のタイムコードが格納された変数Ｔ　Ｎ
１の値を配列Ｔｌ５ＩＥ（Ｎ）に格納した後、ブロック
２６−３でカットの変わり目の１つ前の画像Ｑ１を索引
画像格納領域ＰＥに格納し、ブロック２６−４で現在の
画像Ｑを索引画像格納領域ＰＳに格納する。これにより
、動画像カットの開始フレームと最終フレームを索引用
の縮小画像として得たことになる。
第１０図は、第１図におけるメインメモリ内の各種配列
のデータ構造の図である。
第１０図では、１００個のメモリ領域１６を示しており
、タイムコートメモリ配列ＴＩＭＥ　（１００個）１６
−１、縮小画像メモリの索引画像格納領域ＰＳ（１００
，８０，６０）１６−２．１ｉｔＸ小画像メモリの索引
画像格納領域ＰＥ（１，００，８０゜６０）１６−３、
縮小画像−時記憶メモリＱ１（８０，６０）１６−４、
相関係数時系列メモリＤ（３Ｈ６−５、ヒス）・グラム
メモリＨＩＳＴ　（２゜４８．６４）１６−７、および
各種変数メモリ１６〜８の小領域に分割されている。
本実施例では、第１０図に示すように、メインメモリ１
６に１００個までスタックできるように定義しているか
、索引画像の個数へが１．　ＯＯを越えたときには、外
部メモリの磁気ディスク装置１７に格納するようにして
もよい。
第８図は、フレーム更新処理のフローチャートである。
先ず、ブロック２７−１で変数仁１を変数ｔ２に代入す
る。次に、ブロック２７−２で変数しを変数し１に代入
する。これによって、現在のフレーム、１つ前のフレー
ム、２つ前のフレームを示す各種配列のアドレス参照用
添字がシフトしたことになり、実際のデータ転送を行わ
ずに、各種の時系列データを転送した場合と全く同じ効
果が得られる。次に、ブロック２７−３で、画像Ｑを１
つ前の画像記憶領域Ｑｌに転送する。
第１１図は、本実施例による相関係数と相関係数の変化
率の時間推移のタイムチャートである。
フレーム相関係数３０は、第１１図（ａ）に示すように
、フレーム番号Ｏから大きい番号になるに従って右側に
移る。中央部の大きい値の部分は、相関係数の大きい部
分、つまり動作の激しい画像の集合部分であって、これ
らの全てが動画像カットの変わり目ではない。一方、相
関係数の変化率３１は、第１１図（ｂ）に示すように、
Ｏを中心にして＋１と−１の間の値をとる。この相関係
数の変化率３１が、ある一定の閾値３２を越えたときの
み動画像カットの変わり目と判定するのである。
従来の直接に相関係数３０に閾値を設定する方法では、
第１１図（ａ）の中央部での動きの激しいフレームにお
いて誤検出は避けられないが、本発明のように、第１１
図（ｂ）の変化率に着目した方法では、誤検出を回避す
ることができる。
このように、本実施例では、（イ）前処理により画像の
間引きとカラー画素値の圧縮を行っているので、入力画
像に対して２５６分の１に情報が圧縮され、その結果、
変化点検出のための演算量が少なくなって、特殊なハー
ドウェアを使用せずに、通常のワークステーションでも
実用的な速度で動画像カットの変化点を検出することが
できる。
また、（ロ）相関係数として、画面を４８個の小ブロッ
クに分割し、ブロック間のカラーヒストグラムの類似度
で変化ブロックを求め、これらの変化ブロックの総和を
全ブロック数で割ったものを用いているため、ヒストグ
ラムを用いる方法のように、領域に関する情報の欠落に
よる検出感度の低下はない。
さらに、（ハ）動画像カットの変わり目である画像変化
点を最終的に判定するため、相関係数と過去数フレーム
分の最大相関係数との間の差分値がある一定の閾値を越
えたが否かを判断しているので、同一の動画像カット内
で、映像変化が連続している場合や短い周期で映像変化
が断続している場合でも、誤って画像変化点を検出して
しまうことがない。
［発明の効果］ 以上説明したように、本発明によれば、検出感度を低下
させずに、動画像の変化点を正確に検出でき、通常のワ
ークステーションでも高速に検出することが可能である
。そして、本発明により得られた変化点情報のタイムコ
ードおよび縮小画像は、ビデオ編集時の自動頭出しやビ
デオ全体を素速く参照するためのブラウジングの情報と
して有効に使用できる。
【図面の簡単な説明】
第１図は本発明の一実施例を示す動画像の自動索引付は
システムの全体ブロック図、第２図は第１図における動
画像カットの索引情報作成処理のフローチャート、第３
図は第２図における初期化処理のフローチャート、第４
図は第２図における画像前処理のフローチャート、第５
図は第２図における相関係数計算処理のフローチャート
、第６図は第２図における相関係数の変化率計算処理の
フローチャート、第７図は第２図における画像変化点登
録処理のフローチャート、第８図は第２図におけるフレ
ーム更新処理のフローチャート、第９図はフレームメモ
リ内の画像のデータ構造を示す図、第１０図はフレーム
メモリ内の各種配列のデータ構造の図、第１１図は本発
明の実施例による相関係数と相関係数の変化率の時間推
移のタイムチャート、第１２図は本発明におけるカラー
画素圧縮の原理説明図、第１３図は不発明のヒストグラ
ム計算の原理説明図、第１４図は各フレーム毎の輝度の
差分をフレーム相関係数としたときの原理説明図、第１
５図はフレーム間相関係数の原理説明図である。 １０　ビデオディスク装置、１１　ビデオテプレコーダ
、１２　ビデオチューナ、１３　ビデオコントローラ、
１４・フレームメモリ、１５中央処理装置、１６　メイ
ンメモリ、１７　磁気ディスク装置、１４−〕　入力画
像、１４−２縮小画像、１４−３：圧縮画像。 第 図 第 ■ 図 第 図 第 図 第 図 第 図 第 図 第 図 第 ［Ｆｌ １Δ−４辺Ｆ跡ね 第 図 ６ビツト 第 図 （ａ−１） （ｂ （ａ−２） （ｂ 暗 明 暗 明 第 図 （ａ） 第 図 （ａ） フレーム

Claims (1)

  1. 【特許請求の範囲】 １、連続する複数枚の画像よりなる動画像からカットの
    変わり目を検出する方法において、対象となる動画像を
    フレーム単位で時系列に処理装置に入力し、該処理装置
    では、各フレーム単位に該画像データが有するカラーヒ
    ストグラムを含む特徴量を計算し、該特徴量と直前のフ
    レームで計算した特徴量との間で相関係数を求め、該相
    関係数と過去のフレームで求めた相関係数との間で変化
    率を求め、該変化率が予め定めた許容値を超えた時点を
    、該動画像のカットの変わり目であると判定することを
    特徴とする動画像の変化点検出方法。 ２、請求項１に記載の動画像の変化点検出方法において
    、上記特徴量は、画像を小ブロックに分割した場合の輝
    度ないしカラーのヒストグラム３、請求項１に記載の動
    画像の変化点検出方法において、上記相関係数は、画像
    を小ブロックに分割した場合の連続する前後のフレーム
    相互間の対応ブロックどうしの特徴量を比較して、比較
    の結果、大きく変化したブロックの数を計数し、計数し
    たブロック数を画像全体のブロック数で正規化した値と
    することを特徴とする動画像の変化点検出方法。 ４、請求項１に記載の動画像の変化点検出方法において
    、上記変化率は、現在のフレームで求めた相関値から、
    １つ前のフレームで求めた相関値と２つ前に求めた相関
    値のいずれか大きい方の相関値との差分とすることを特
    徴とする動画像の変化点検出方法。 ５、請求項１に記載の動画像の変化点検出方法において
    、上記処理装置は、処理対象となる動画像をフレーム単
    位で入力し、該動画像のカットの変わり目を判断した場
    合、判断したフレームを識別するタイムコードと、判断
    されたカットの変わり目の画像とを、該動画像のカット
    の索引情報として出力することを特徴とする動画像の変
    化点検出方法。
JP23093090A 1990-08-31 1990-08-31 動画像の変化点検出方法 Expired - Lifetime JP2863818B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP23093090A JP2863818B2 (ja) 1990-08-31 1990-08-31 動画像の変化点検出方法
DE69120001T DE69120001T2 (de) 1990-08-31 1991-03-08 Verfahren zur Erfassung von Wechselstellen in bewegten Bildern
EP19910103619 EP0472806B1 (en) 1990-08-31 1991-03-08 Method for detecting change points in motion picture images
US07/667,647 US5083860A (en) 1990-08-31 1991-03-11 Method for detecting change points in motion picture images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP23093090A JP2863818B2 (ja) 1990-08-31 1990-08-31 動画像の変化点検出方法

Publications (2)

Publication Number Publication Date
JPH04111181A true JPH04111181A (ja) 1992-04-13
JP2863818B2 JP2863818B2 (ja) 1999-03-03

Family

ID=16915517

Family Applications (1)

Application Number Title Priority Date Filing Date
JP23093090A Expired - Lifetime JP2863818B2 (ja) 1990-08-31 1990-08-31 動画像の変化点検出方法

Country Status (4)

Country Link
US (1) US5083860A (ja)
EP (1) EP0472806B1 (ja)
JP (1) JP2863818B2 (ja)
DE (1) DE69120001T2 (ja)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09107517A (ja) * 1995-10-11 1997-04-22 Hitachi Ltd 動画像の変化点検出制御方法とそれに基づく再生停止制御方法およびそれらを用いた動画像の編集システム
JPH1186514A (ja) * 1997-09-12 1999-03-30 Hitachi Denshi Ltd 映像装置及び映像装置の状態監視方法並びに映像装置の状態監視を実行するためのプログラムを記録した記録媒体
JP2000076463A (ja) * 1998-09-03 2000-03-14 Jisedai Joho Hoso System Kenkyusho:Kk 映像ストリームの構造解析方法，構造解析過程表示方法および構造表示方法
US6084169A (en) * 1996-09-13 2000-07-04 Hitachi, Ltd. Automatically composing background music for an image by extracting a feature thereof
US6118925A (en) * 1995-11-14 2000-09-12 Hitachi Denshi Kabushiki Kaisha Method of and system for confirming program materials to be broadcasted and then broadcasting the program materials, and recording medium having recorded therein a procedure for implementing the method
US6219382B1 (en) 1996-11-25 2001-04-17 Matsushita Electric Industrial Co., Ltd. Method and apparatus for locating a caption-added frame in a moving picture signal
JP2001109884A (ja) * 1999-10-05 2001-04-20 Central Res Inst Of Electric Power Ind 画像データベース装置及び画像データベース作成検索方法
JP2001313956A (ja) * 2000-03-07 2001-11-09 Lg Electronics Inc Ｍｐｅｇ圧縮ビデオ環境における階層的混合型ショット変換検出方法
JP2004321582A (ja) * 2003-04-25 2004-11-18 Toshiba Corp 超音波診断装置及び超音波診断支援プログラム
US6925245B1 (en) 1999-06-09 2005-08-02 Hitachi, Ltd. Method and medium for recording video information
JP2005241997A (ja) * 2004-02-26 2005-09-08 Sega Corp 音声解析装置、音声解析方法及び音声解析プログラム
JP2006092328A (ja) * 2004-09-24 2006-04-06 National Institute Of Advanced Industrial & Technology 動画像時間分割処理方法および装置
JP2008124611A (ja) * 2006-11-09 2008-05-29 Nippon Hoso Kyokai <Nhk> 動画像評価装置

Families Citing this family (86)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04207878A (ja) * 1990-11-30 1992-07-29 Toshiba Corp 動画像管理装置
JP2677312B2 (ja) * 1991-03-11 1997-11-17 工業技術院長 カメラワーク検出方法
JPH0530463A (ja) * 1991-07-19 1993-02-05 Toshiba Corp 動画像管理装置
US10361802B1 (en) 1999-02-01 2019-07-23 Blanding Hovenweep, Llc Adaptive pattern recognition based control system and method
US8352400B2 (en) 1991-12-23 2013-01-08 Hoffberg Steven M Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore
US5546191A (en) * 1992-02-25 1996-08-13 Mitsubishi Denki Kabushiki Kaisha Recording and reproducing apparatus
GB9206396D0 (en) * 1992-03-24 1992-05-06 British Broadcasting Corp Video image motion measurement
EP0590759B1 (en) * 1992-08-12 1998-12-09 International Business Machines Corporation System and method for locating video segment boundaries
US5583950A (en) * 1992-09-16 1996-12-10 Mikos, Ltd. Method and apparatus for flash correlation
KR100215586B1 (ko) * 1992-11-09 1999-08-16 모리시타 요이찌 다이제스트 화상 자동생성 장치 및 다이제스트 화상 자동생성 방법
JP3134568B2 (ja) * 1993-01-13 2001-02-13 ソニー株式会社 画像記録装置
JP2518503B2 (ja) * 1993-03-08 1996-07-24 日本電気株式会社 画面切り替え検出方法
CA2114052A1 (en) * 1993-07-29 1995-01-30 Monica Medina-Puri Method of detecting scene cuts
US5614945A (en) * 1993-10-19 1997-03-25 Canon Kabushiki Kaisha Image processing system modifying image shake correction based on superimposed images
JP3340532B2 (ja) 1993-10-20 2002-11-05 株式会社日立製作所 ビデオの検索方法および装置
US5642294A (en) * 1993-12-17 1997-06-24 Nippon Telegraph And Telephone Corporation Method and apparatus for video cut detection
US6055025A (en) * 1993-12-21 2000-04-25 Lucent Technologies, Inc. Method and apparatus for detecting abrupt and gradual scene changes in image sequences
DE4344924A1 (de) * 1993-12-30 1995-08-10 Thomson Brandt Gmbh Verfahren und Vorrichtung zur Bewegungsschätzung
US5592226A (en) * 1994-01-26 1997-01-07 Btg Usa Inc. Method and apparatus for video data compression using temporally adaptive motion interpolation
GB9404091D0 (en) * 1994-03-03 1994-04-20 Snell & Wilcox Ltd Video signal processing
US5521841A (en) * 1994-03-31 1996-05-28 Siemens Corporate Research, Inc. Browsing contents of a given video sequence
US5627765A (en) * 1994-07-25 1997-05-06 Avid Technology, Inc. Method and apparatus for compressing and analyzing video and for creating a reference video
US5485611A (en) * 1994-12-30 1996-01-16 Intel Corporation Video database indexing and method of presenting video database index to a user
JP3823333B2 (ja) * 1995-02-21 2006-09-20 株式会社日立製作所 動画像の変化点検出方法、動画像の変化点検出装置、動画像の変化点検出システム
US5708846A (en) * 1995-02-24 1998-01-13 Intel Corporation System for retrieving initial data sequence corresponding to next data sequence while locating next data sequence when branch point is reached during current data sequence
JPH08249348A (ja) * 1995-03-13 1996-09-27 Hitachi Ltd 映像検索方法および装置
US5917988A (en) * 1995-04-07 1999-06-29 Sony Corporation Editing apparatus, editing method and decoding apparatus for compressed video signal
JP3367268B2 (ja) * 1995-04-21 2003-01-14 株式会社日立製作所 映像のダイジェスト作成装置及び方法
US6023520A (en) 1995-07-06 2000-02-08 Hitach, Ltd. Method and apparatus for detecting and displaying a representative image of a shot of short duration in a moving image
US5929902A (en) * 1996-02-28 1999-07-27 C-Cube Microsystems Method and apparatus for inverse telecine processing by fitting 3:2 pull-down patterns
US5956083A (en) * 1996-10-29 1999-09-21 Eastman Kodak Company Camera and method for capturing motion sequences useful for integral image element formation
US6052492A (en) * 1997-12-09 2000-04-18 Sun Microsystems, Inc. System and method for automatically generating an image to represent a video sequence
GB9815638D0 (en) * 1998-07-20 1998-09-16 Danmere Limited Identification of video storage media
US6606411B1 (en) 1998-09-30 2003-08-12 Eastman Kodak Company Method for automatically classifying images into events
US6351556B1 (en) 1998-11-20 2002-02-26 Eastman Kodak Company Method for automatically comparing content of images for classification into events
DE19859087A1 (de) * 1998-12-10 2000-06-15 Arnold & Richter Kg Verfahren zur Trennung von auf Medien wie Laufbildfilmen, Videobändern o. dgl. gespeicherten Bildfolgen in Einzelsequenzen
US6996171B1 (en) 1999-01-29 2006-02-07 Sony Corporation Data describing method and data processor
US7966078B2 (en) 1999-02-01 2011-06-21 Steven Hoffberg Network media appliance system and method
JP4146955B2 (ja) * 1999-02-15 2008-09-10 キヤノン株式会社 画像処理方法及び画像処理装置
US6904229B1 (en) * 1999-08-20 2005-06-07 Canon Kabushiki Kaisha Apparatus for recording signals on disk recording medium
US6801294B2 (en) * 1999-10-19 2004-10-05 Samsung Electronics Co., Ltd. Recording and/or reproducing apparatus and method using key frame
US6766098B1 (en) 1999-12-30 2004-07-20 Koninklijke Philip Electronics N.V. Method and apparatus for detecting fast motion scenes
US6654067B1 (en) * 1999-12-30 2003-11-25 Koninklijke Philips Electronics N.V. Finding hidden images in video based on detected proximity of cuts
US6600784B1 (en) * 2000-02-02 2003-07-29 Mitsubishi Electric Research Laboratories, Inc. Descriptor for spatial distribution of motion activity in compressed video
GB2369924A (en) * 2000-12-07 2002-06-12 Sony Uk Ltd Selecting representative video images using image properties
US6995867B2 (en) * 2001-05-21 2006-02-07 Axiohm Transaction Solutions, Inc. Color adjusted printing
US6996782B2 (en) * 2001-05-23 2006-02-07 Eastman Kodak Company Using digital objects organized according to a histogram timeline
US8028249B2 (en) 2001-05-23 2011-09-27 Eastman Kodak Company Method and system for browsing large digital multimedia object collections
US20050007452A1 (en) * 2001-09-07 2005-01-13 Mckay Therman Ward Video analyzer
BR0212546A (pt) * 2001-09-07 2006-05-23 Intergraph Hardware Tech Co método, dispositivo e produto de programa de computador para a demultiplexação de imagens de vìdeo
US6731290B2 (en) * 2001-09-28 2004-05-04 Intel Corporation Window idle frame memory compression
US6983020B2 (en) * 2002-03-25 2006-01-03 Citrix Online Llc Method and apparatus for fast block motion detection
JP2004007342A (ja) * 2002-03-29 2004-01-08 Fujitsu Ltd ダイジェスト自動生成方法
US7298895B2 (en) 2003-04-15 2007-11-20 Eastman Kodak Company Method for automatically classifying images into events
US6865297B2 (en) * 2003-04-15 2005-03-08 Eastman Kodak Company Method for automatically classifying images into events in a multimedia authoring application
DE102004011212A1 (de) * 2004-03-04 2005-09-29 Clariant International Limited Perhydropolysilazane enthaltende Beschichtungen für Metall- und Polymeroberflächen
US7557818B1 (en) 2004-10-06 2009-07-07 Apple Inc. Viewing digital images using a floating controller
US8456488B2 (en) 2004-10-06 2013-06-04 Apple Inc. Displaying digital images using groups, stacks, and version sets
US7705858B2 (en) * 2004-10-06 2010-04-27 Apple Inc. Techniques for displaying digital images on a display
US7561157B2 (en) * 2004-10-06 2009-07-14 Apple Inc. Compare mode for variable number of images
US7804508B2 (en) * 2004-10-06 2010-09-28 Apple Inc. Viewing digital images on a display using a virtual loupe
US8296441B2 (en) 2005-01-14 2012-10-23 Citrix Systems, Inc. Methods and systems for joining a real-time session of presentation layer protocol data
US8935316B2 (en) 2005-01-14 2015-01-13 Citrix Systems, Inc. Methods and systems for in-session playback on a local machine of remotely-stored and real time presentation layer protocol data
US20060159432A1 (en) * 2005-01-14 2006-07-20 Citrix Systems, Inc. System and methods for automatic time-warped playback in rendering a recorded computer session
US8230096B2 (en) 2005-01-14 2012-07-24 Citrix Systems, Inc. Methods and systems for generating playback instructions for playback of a recorded computer session
US8200828B2 (en) * 2005-01-14 2012-06-12 Citrix Systems, Inc. Systems and methods for single stack shadowing
US20060167825A1 (en) * 2005-01-24 2006-07-27 Mehmet Sayal System and method for discovering correlations among data
US7646812B2 (en) * 2005-04-01 2010-01-12 Microsoft Corporation Special predictive picture encoding using color key in source content
JP4241704B2 (ja) * 2005-09-30 2009-03-18 ブラザー工業株式会社 情報管理装置、及び、プログラム
US8078618B2 (en) 2006-01-30 2011-12-13 Eastman Kodak Company Automatic multimode system for organizing and retrieving content data files
US8150155B2 (en) * 2006-02-07 2012-04-03 Qualcomm Incorporated Multi-mode region-of-interest video object segmentation
US8265349B2 (en) 2006-02-07 2012-09-11 Qualcomm Incorporated Intra-mode region-of-interest video object segmentation
US8265392B2 (en) 2006-02-07 2012-09-11 Qualcomm Incorporated Inter-mode region-of-interest video object segmentation
US8775953B2 (en) * 2007-12-05 2014-07-08 Apple Inc. Collage display of image projects
GB2470570B (en) * 2009-05-27 2014-07-16 Snell Ltd Determining a regional shot change parameter
TWI413024B (zh) * 2009-11-19 2013-10-21 Ind Tech Res Inst 物件偵測方法及系統
US8615159B2 (en) 2011-09-20 2013-12-24 Citrix Systems, Inc. Methods and systems for cataloging text in a recorded session
JP2015046758A (ja) * 2013-08-28 2015-03-12 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US8681213B1 (en) 2013-09-05 2014-03-25 Lasergraphics Inc. Motion picture film scanner with automated failed splice recovery
US9607243B1 (en) 2014-10-10 2017-03-28 Google Inc. Time-lapsed image sequence generation
JP2019117487A (ja) * 2017-12-27 2019-07-18 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
US11426229B2 (en) 2019-02-21 2022-08-30 Medtronic Navigation, Inc. Method and apparatus for magnetic resonance imaging thermometry
US11276174B2 (en) * 2019-02-21 2022-03-15 Medtronic Navigation, Inc. Method and apparatus for magnetic resonance imaging thermometry
US11403760B2 (en) 2019-02-21 2022-08-02 Medtronic Navigation, Inc. Method and apparatus for magnetic resonance imaging thermometry
US11500932B2 (en) 2020-05-19 2022-11-15 International Business Machines Corporation Change-point driven feature selection for multi-variate time series clustering
CN114827712B (zh) * 2021-01-18 2025-03-21 中国移动通信有限公司研究院 一种视频播放检测方法、装置及电子设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0373076A (ja) * 1989-05-11 1991-03-28 Nec Corp 画像変化検出方法および画像変化検出装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2717912C3 (de) * 1977-04-22 1984-01-05 Robert Bosch Gmbh, 7000 Stuttgart Vorrichtung zum szenengerechten Aufspielen von Tonaufzeichnungen auf die Tonspur eines Tonfilms
US4606625A (en) * 1983-05-09 1986-08-19 Geshwind David M Method for colorizing black and white footage
FR2624682B2 (fr) * 1987-03-23 1990-03-30 Thomson Csf Procede et dispositif d'estimation de mouvement dans une sequence d'images animees
DE68909271T2 (de) * 1988-02-23 1994-03-24 Philips Nv Verfahren und Anordnung zum Abschätzen des Bewegungsausmasses bei einem Bildelement eines Fernsehbildes.
FR2633417B1 (fr) * 1988-06-23 1991-08-16 France Etat Procede de segmentation d'images electroniques animees, sur critere de mouvement de blocs d'images, utilisant un procede de detection de contours
US4980762A (en) * 1989-10-13 1990-12-25 Massachusetts Institute Of Technology Method and apparatus for image processing to obtain three dimensional motion and depth

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0373076A (ja) * 1989-05-11 1991-03-28 Nec Corp 画像変化検出方法および画像変化検出装置

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09107517A (ja) * 1995-10-11 1997-04-22 Hitachi Ltd 動画像の変化点検出制御方法とそれに基づく再生停止制御方法およびそれらを用いた動画像の編集システム
US6118925A (en) * 1995-11-14 2000-09-12 Hitachi Denshi Kabushiki Kaisha Method of and system for confirming program materials to be broadcasted and then broadcasting the program materials, and recording medium having recorded therein a procedure for implementing the method
US6084169A (en) * 1996-09-13 2000-07-04 Hitachi, Ltd. Automatically composing background music for an image by extracting a feature thereof
US6219382B1 (en) 1996-11-25 2001-04-17 Matsushita Electric Industrial Co., Ltd. Method and apparatus for locating a caption-added frame in a moving picture signal
US6301302B1 (en) 1996-11-25 2001-10-09 Matsushita Electric Industrial Co., Ltd. Moving picture search system cross reference to related application
JPH1186514A (ja) * 1997-09-12 1999-03-30 Hitachi Denshi Ltd 映像装置及び映像装置の状態監視方法並びに映像装置の状態監視を実行するためのプログラムを記録した記録媒体
JP2000076463A (ja) * 1998-09-03 2000-03-14 Jisedai Joho Hoso System Kenkyusho:Kk 映像ストリームの構造解析方法，構造解析過程表示方法および構造表示方法
US6925245B1 (en) 1999-06-09 2005-08-02 Hitachi, Ltd. Method and medium for recording video information
JP2001109884A (ja) * 1999-10-05 2001-04-20 Central Res Inst Of Electric Power Ind 画像データベース装置及び画像データベース作成検索方法
JP2001313956A (ja) * 2000-03-07 2001-11-09 Lg Electronics Inc Ｍｐｅｇ圧縮ビデオ環境における階層的混合型ショット変換検出方法
JP2004321582A (ja) * 2003-04-25 2004-11-18 Toshiba Corp 超音波診断装置及び超音波診断支援プログラム
JP2005241997A (ja) * 2004-02-26 2005-09-08 Sega Corp 音声解析装置、音声解析方法及び音声解析プログラム
JP2006092328A (ja) * 2004-09-24 2006-04-06 National Institute Of Advanced Industrial & Technology 動画像時間分割処理方法および装置
JP2008124611A (ja) * 2006-11-09 2008-05-29 Nippon Hoso Kyokai <Nhk> 動画像評価装置

Also Published As

Publication number Publication date
JP2863818B2 (ja) 1999-03-03
EP0472806A3 (en) 1993-01-13
DE69120001T2 (de) 1996-10-24
DE69120001D1 (de) 1996-07-11
US5083860A (en) 1992-01-28
EP0472806A2 (en) 1992-03-04
EP0472806B1 (en) 1996-06-05

Similar Documents

Publication Publication Date Title
JPH04111181A (ja) 動画像の変化点検出方法
US7466365B2 (en) Moving image processing apparatus and method, and computer readable memory
Hampapur et al. Production model based digital video segmentation
US6243419B1 (en) Scheme for detecting captions in coded video data without decoding coded video data
EP1225518B1 (en) Apparatus and method for generating object-labelled images in a video sequence
EP1382207B1 (en) Method for summarizing a video using motion descriptors
US5923365A (en) Sports event video manipulating system for highlighting movement
US5787199A (en) Apparatus for detecting a foreground region for use in a low bit-rate image signal encoder
HK165895A (en) Process and device for modifying a zone of successive images
US20070030396A1 (en) Method and apparatus for generating a panorama from a sequence of video frames
US7031385B1 (en) Method and apparatus for detecting scene change of a compressed moving-picture, and program recording medium therefor
EP0940033B1 (en) Method of processing a video stream
Lienhart et al. The MoCA workbench: Support for creativity in movie content analysis
KR20040068987A (ko) 비디오내의 추적된 오브젝트들의 궤적을 효과적으로저장하는 방법
CN102333174A (zh) 一种视频图像处理方法和装置
JP3258924B2 (ja) シーン管理装置、シーン管理方法及び記録媒体
JPH10126721A (ja) 動画像検索用情報生成装置
US6795127B1 (en) Video processing system and video processing method
US6654067B1 (en) Finding hidden images in video based on detected proximity of cuts
JP3624677B2 (ja) 動画像の特殊効果検出装置及びプログラムを記録した記録媒体
US20070061727A1 (en) Adaptive key frame extraction from video data
JP3379453B2 (ja) 字幕領域検出方法及びその装置、並びに動画像検索方法及びその装置
JP3024574B2 (ja) 動画像検索装置
JP3569391B2 (ja) 文字出現フレーム抽出装置
JP3551332B2 (ja) 目標追尾装置

Legal Events

Date Code Title Description
EXPY Cancellation because of completion of term