JPH08237549A - 自動ビデオ区分とキーフレーム抽出用システム - Google Patents

自動ビデオ区分とキーフレーム抽出用システム

Info

Publication number
JPH08237549A
JPH08237549A JP7182229A JP18222995A JPH08237549A JP H08237549 A JPH08237549 A JP H08237549A JP 7182229 A JP7182229 A JP 7182229A JP 18222995 A JP18222995 A JP 18222995A JP H08237549 A JPH08237549 A JP H08237549A
Authority
JP
Japan
Prior art keywords
difference
frame
threshold
frames
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP7182229A
Other languages
English (en)
Inventor
Hong Jiang Zhang
ジャン ザン ホン
Jian H Wu
フーア ウー ジャン
Stephen W Smoliar
ウィリアム スモリアー スティーブン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Singapore
Original Assignee
National University of Singapore
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Singapore filed Critical National University of Singapore
Publication of JPH08237549A publication Critical patent/JPH08237549A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/71—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/785—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using colour or luminescence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/147—Scene change detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Circuits (AREA)

Abstract

(57)【要約】 【目的】 鋭いブレークとゆるやかな変更とを識別し
て、ビデオシーケンスの一時的区分を個別のカメラショ
ットに自動的に行うものである。 【構成】 本発明は新しいツイン比較方法を用いるもの
で、鋭いブレークによって生成されるカメラショット
と、ディゾルブ、ワイプ、フェードイン、フェードアウ
トを含めた編集技術により生成される緩い変動を共に検
出する。更にビデオの内容の一時的な変動を分析して、
個々のショットの内容ベースのキーフレームも選択し、
且つ現在のフレームと前に選択されたキーフレームの間
の内容の差異が予め選択されたしきい値を超えるとキー
フレームを選択するものである。

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明はビデオの牽引法と情報の
記録と編集と製作に関し、特に、本発明はビデオの内容
を自動的に構文の解析をするためのシステムを考案する
ものである。
【０００２】
【従来の技術】現代の情報の世界に於いて、適切な情報
を迅速に入手する重要性は、我々が全て直面する本質的
な要素である。処理すべき情報とデータベースがそれだ
け沢山与えられるならば、我々が我々の利益のために技
術的な長所を十分に活用する方法が、本発明が意図する
ところである。世界の数多くの要件に関する情報は、多
くの場合に、ビデオ・ソースのような時間変動的な状態
で表される時に連続して管理できるにすぎない。しか
し、ビデオ・ソースの有効な活用は、これらのソースか
らの情報の容易で効果的な編成と検索を可能にする実行
可能なシステムが無いために著しく制限されている。更
に、ビデオの時間依存性の特質が、管理するのが非常に
難しい媒体にしている。貴重な情報を搭載する大量のビ
デオの大部分はインデックスされていない。これは、イ
ンデックスが、オペレータに、全体のビデオ・パッケー
ジを調べて、インデックス手段を手動で其の画面の各々
の指定することを要求するためである。明らかに、この
アプローチは、インデックスされないビデオの多さと十
分な労力と時間が無いことを考慮すると好ましいことで
ない。更に、インデックスが無いと、ビデオからの情報
検索は、オペレータにシーケンス・スキャン中にソース
を確認することを要求するが、このプロセスはテキスト
に基づくアナログ検索技術と特に比べると、低速で信頼
性が低い。従って、インデックス構造と内容のテーブル
を備えたブックと非常に似ているビデオ・パッケージを
与える必要が明らかにある。従来の技術は鋭いカメラ・
ブレークを検出する分割アルゴリズムを考案している
が、この方法はディゾルブとワイプとフェドインとフェ
ードアウトを含めた特殊な編集から生成される緩い変動
を検出しない。Ａ．ＮａｇａｓａｋａとＹ．Ｔａｎａｋ
ａに依る１９９１年のブダペストのビジュアル・データ
ベース・システムに関する第２回作業会議の議事録１１
９〜１１３頁の "対象物のための自動ビデオ・インデッ
クスとフル・ビデオ・サーチ" と、Ｙ．Ｔｏｎｏｍｕｒ
ａに依る１９９１年のシンガポールのマルチメディア・
インフォーメーション・システムに関するＩｎｔ' ｌ会
議の議事録３３３〜３４４頁の "過度の媒体システムの
ために構造化されたインフォーメーションに基づくビデ
オ処理" のような従来の技術は、セグメント境界検出方
法を考案しているが、鋭いカメラ・ブレークを検出でき
るに過ぎない。ビデオ・インデクシングの別の重要な分
野は、キーフレームと呼ばれる代表的なフレームを選択
することである。従来の技術に依って考案された、この
選択プロセスは、ショットの運動分析に基づいており、
複雑で、雑音の影響を受けやすい。
【０００３】
【課題を解決するための手段】従って、本発明の目的
は、特殊な作用に依って生成される鋭いブレークと緩い
変動を区別することに依って、ビデオ・シーケンスを個
々のカメラ・ショットに自動的に一時的に区分けするこ
とである。このような区分けは、時間消費型で退屈で低
い信頼性のプロセスである、いまオペレータに依って手
動で行われている、ビデオの内容のインデクシングの最
初のステップである。
【０００４】本発明の別の目的は、ショットを多重媒体
の状態で表現しインデックスし検索するために、個々の
ショットの内容ベースのキー・フレーム選択を提供する
ことにある。そこで、本発明は、ビデオ・ショットが其
れらの本来の媒体で表され且つ其れらの視覚的な内容に
基づいて検索できるようにして、ビデオ・ショットを解
析するための自動ビデオ内容解析器を説明する。このシ
ステムは、新規のツイン比較方法を用いて、ビデオ・シ
ーケンスを個々のカメラ・ショットに一時的に分割する
方法を提供する。この方法は、鋭いブレークに依って生
成されるカメラ・ショットと、ディゾルブとワイプとフ
ェードインとフェードアウトを含めた特殊な編集技術に
依って生成される緩い変動を共に検出する。システム
は、ビデオの内容の一時的な変動を分析して個々のショ
ットの内容ベースのキー・フレーム選択も提供し、且つ
今のフレームと前に選択されたキーフレームの間の内容
の違いがセットの予め選択されたしきい値を越えるとキ
ーフレームを選択する。
【０００５】
【実施例】種々の専門用語が本発明の記述に用いられて
いる。そこで、発明をより効果的に理解するために、こ
れらの専門用語の幾つかの定義について次に説明され
る。"セグメント" または "カット" は、１つまたは複
数のフレームから成る単一の中断されないカメラ・ショ
ットである。
【０００６】"変動" は、或るものがビデオ・シーケン
スに於いて１つのセグメントから別のセグメントに移動
する時に生じる。これは、鋭いブレーク（２つの異なる
ショットに属する２つのフレーム間で生じる）として、
またはディゾルブやワイプやフェードインとフェードア
ウトのような特殊な効果として現れ、その場合、変動は
２つ以上のフレームを横断して生じる。
【０００７】ビデオの "一時的区分" または "画面変更
検出" は、連続するショット間の境界位置を見出すこと
に依って、与えられたビデオ・シーケンスを個々のセグ
メントに一時的に区切ることである。"キーフレーム"
は、ビデオ・データベースのビデオまたはセグメントの
内容を表すために、ビデオ・セグメントから抽出される
ビデオ・フレームである。ビデオ・シーケンスから抽出
されるキーフレームの数は、ビデオ・シーケンスのフレ
ームの数より常に小さい。従って、キーフレームのシー
ケンスは、それらが抽出されるビデオ・シーケンスの抜
粋と見なされる。
【０００８】"スレショルド" （しきい値）はリミッタ
であり、それは、或る特性が、特性の境界を規定するた
めに、このリミッタに依って示される或る規定を満足し
ているかどうか調べるチェックの基準として用いられ
る。ピクセル（画像）またはスーパーピクセルが連続す
るフレームに対して変わったかどうか判定するためのペ
アワイズの比較に用いられるしきい値の値ｔは、経験的
に決定され、それは異なるビデオ・ソースに対して大幅
に変わらない。しかし、経験は、任意の違い測定基準
（次に定義される）を用いてセグメントの境界を決定す
るために用いられる、しきい値Ｔb とＴt は、或るビデ
オ・ソースから別のビデオ・ソースに変わることを示し
ている。
【０００９】"違い測定基準" は、この場合、ビデオの
内容の特性を分析するために適応される数学的な式また
は其の変形である。違い測定基準は次の事項を含んでい
る。・ペアワイズのピクセル比較であり、ここで、ピク
セルは、２つのフレームの輝度値間の違いが与えられた
スレショルドｔを越える場合に変化したと判定される。
この測定基準はピクセルの２次元座標（ｋ，ｌ）の領域
に於けるバイナリ・ファンクションＤＰi （ｋ，ｌ）と
して表され、ここで添字ｉは其の続きと比較されるフレ
ームのインデックスを示している。Ｐi （ｋ，ｌ）がフ
レームｉの座標（ｋ，ｌ）のピクセルの輝度値を示す場
合、ＤＰi （ｋ，ｌ）は次のように定めることができ
る。
【００１０】ペアワイズの比較アルゴリズムは、前述の
測定基準に従って或るフレームから次のフレームに変更
されたピクセルの数を単純にカウントする。セグメント
境界は、ピクセルの総数の与えられたパーセンテージを
上回る量（スレショルドＴとして与えられる）が変化し
た場合に表示される。次元Ｍ×Ｎのフレームのピクセル
の総数はＭ＊Ｎなので、この条件は次に示す不等式に依
って表される。・可能性比率は、２つの連続するフレー
ムに於いて対応する部分またはブロックを、それらの輝
度値の第２オーダーの統計的特性に基づいて比較したも
のである。ｍi とｍi+1 が２つの連続するフレームで与
えられた部分の中間輝度値を示すとし、Ｓi とＳi+1 が
対応する変化を示すと想定すると、比率は次のように定
義される。
【００１１】セグメント境界は、その可能性比率がスレ
ショルドｔを越えるサンプル領域の総数が十分に大きい
（ここで "十分に大きい" はフレームが区分けされる状
態に依存する）場合に必ず表示される。この測定基準
は、前述の違い測定基準よりフレームごとに微少な低速
の対象物の動きに対して鈍感になるので、カメラ・ブレ
ークと誤って判定される可能性が少なくなる。・ヒスト
グラム比較は、それがフレームの空間的な変化を無視す
るので、対象物の動きに対して敏感でない別のアルゴリ
ズムになる。Ｈi （ｊ）がｉ番目のフレームのヒストグ
ラム値を示すとする、なお、ｊはＧの可能性のあるピク
セル値の１つである。全体の違いＳＤi は次の式に依っ
て与えられる。
【００１２】セグメント境界はＳＤi が与えられたスレ
ショルドＴより大きいと表示される。・χ2 −テスト
は、ヒストグラム比較に２つのフレーム間の違いを更に
強く反映させる前述の式の修正されたバージョンであ
る。これらの前述の測定基準は、異なるビデオ・ソース
の特異性を取り入れるために異なる修正事項を備えて作
られる。従来の技術と異なって、本発明のビデオ分割
は、任意の特定の違い測定基準と単独に指定されたスレ
ショルドに自らを限定しない。そこで、それは多様性に
富んでいる。
【００１３】図１は周知のビデオ分割方法のフローチャ
ートを示す。このアルゴリズムはビデオ・シーケンスの
鋭いカットを検出する。これは、最初に、標準システム
・パラメータをブロック１０１で初期設定した後に、第
１基準フレームがブロック１０２で選択され、フレーム
Ｆi とＦi+S （離れるスキップ・ファクタＳである）間
の違いＤi がブロック１０４で選択された違い測定基準
に基づいて計算される。Ｄi が予め設定されたスレショ
ルドより大きい場合、ショットの変更が検出され、ブロ
ック１０８に進む前にブロック１０６で記録される。そ
うでない場合に、それは直接ブロック１０８に進んで新
しいフレームを作る。それが最後のフレームである場
合、分割プロセスが終了する。そうでない場合、それ
は、ブロック１０３に進んで、ビデオ・シーケンスの最
後のフレームに達するまでプロセスを繰り返す。出力
は、入力ビデオ・シーケンスから検出された各々ショッ
トの開始と終了のフレームのフレーム数と時間コードあ
るいはその両方のリストである。この方法は、図２に描
かれているようなビデオまたはフィルムのカメラ・ショ
ット間の鋭い変動を検出する際の使用に適しているだけ
である。ショット１１０とショット１１２の間の内容は
互いに完全に異なる。
【００１４】図３は本発明のビデオ内容解析システムの
概要を示すブロック図である。システムは、インタフェ
ース・ブロックのプログラム２１０と、本発明の好まれ
る実施例を実施するデータ処理モジュールのブロック２
１２と、セグメント境界とキー・フレームに付随する情
報をロギングするブロック２１４を含んでいる、コンピ
ュータ２０２を搭載している。コンピュータには、ユー
ザ・インタフェース・デバイス２０４とオプションの第
２データ記憶装置２０６と入力ビデオ・ソース２０８が
接続されている。入力ビデオ・データは、アナログまた
はデジタルの何れかであり、圧縮される場合と圧縮され
ない場合があり、任意のタイプの記憶媒体になることが
できる。このシステムは任意のタイプのビデオ／ＴＶ／
フィルム・スタンダードも受信できる。
【００１５】本発明の好適な実施例 Ａ．発明の第１実施例 図４と５には、本発明の第１実施例の特殊な効果に依っ
て実現される鋭いカットと緩い変動を共に検出できる一
時的分割を実施するためのフローチャートを示す。この
実施例は図１の前述のビデオ分割アルゴリズムと異な
る。それは、変動の開始と終了のポイントを見い出すた
めに、新規のツイン比較方法を用いて、ディゾルブとワ
イプとフェードインとフェードアウトを含めた精巧な移
行技術を検出する。Ｔｏｎｏｍｕｒａに依る従来の技術
は、フレーム間の違いの値を計算し且つ結果が指定のス
レショルドより大きい時に必ず画面変更を検出するため
に、ヒストグラムの違い測定基準を採用していた。対照
的に、本発明は、任意の特定の値が測定基準と単独に指
定されるスレショルドを用いて、自らを限定しない。新
規のツイン比較方法は、複数のスレショルドを用いて、
鋭いカメラ・ブレークと緩い変動を検出する。それは、
別の違いの比較、すなわち、図４と５に描かれている累
積された違いを導く。
【００１６】再び図４と５を見ると、ブロック３０２で
システム・パラメータを初期設定し且つブロック３０４
でフレームｉ（今のフレーム）にロードされた後に、検
出プロセスは、違いＤi を、選択された違い測定基準に
基づいてブロック３０６で計算して、前のフレームｉ−
Ｓと今のフレームｉの比較を開始する。Ｄi が予め選択
されたショット・ブレーク・スレショルドＴb より大き
くて且つＴｒａｎｓが偽の場合（すなわち、まだ変動周
期でない）、それはブロック３０８に進む。そうでない
場合、それはブロック３１４に進む。ブロック３０８
で、ΣF 、ショットのフレーム・カウントがＮsminショ
ットのフレームの最小数より大きくない場合、それは、
ブロック３１５に進む。ここで、ΣF はブロック３３６
でビデオ・シーケンスに残っているフレームを処理する
ことを続ける前に検出時に比較される２つのフレーム間
の一時的スキップ・ファクタＳだけ増加される。そうで
ない場合、カットがポイントＰ１で表示され、フレーム
Ｆs で開始しフレームＦe で終了するショットがブロッ
ク３１０で記録され、ブロック３１２で、新しいフレー
ムのスタートの初期設定になり、フレーム・カウントΣ
F をゼロにリセットし、Ｔｒａｎｓを偽にセットする。
ブロック３１４で、Ｄi は大きなスレショルドαＴb に
対してチェックされる、ここでαはユーザ同調可能パラ
メータであり且つ１より大きい。Ｄi が大きくて且つＴ
ｒａｎｓが真の場合、確認されたカットがポイントでＰ
１で表示される。そうでない場合に、それはブロック３
１６に進む。ここで、Ｔｒａｎｓが偽と見なされる、す
なわち、変動周期でない場合、Ｄi はブロック３３０で
予め設定された変動ブレーク・スレショルドＴt と比較
される。Ｄi がＴt より大きくて且つブロック３３２で
ショットのフレーム・カウントの数ΣF がショットのフ
レームの最小数Ｎsminより大きい場合、ポテンシャル変
動がＰ２で見い出され、Ｔｒａｎｓは真にセットされ、
他に関連するパラメータはブロック３３５に進む前にブ
ロック３３４で更新される。そうでない場合、それはブ
ロック３３５に進む、ここでΣF はビデオ・シーケンス
の残りのフレームの処理を続ける前にＳだけ増加され
る。しかし、ブロック３１６で、Ｔｒａｎｓが真の場
合、すなわち、それが変動周期の場合、Ｄi はＴt と更
に比較される。それが低いと、ΣF （ショットのフレー
ム・カウント）とΣta（変動シーケンスの累積する違
い）とΣtf（変動プロセスのフレーム・カウント）は、
ビデオ・シーケンスの残りのフレームの処理を続ける前
にブロック３１７で更新される。そうでない場合、それ
は、今のフレームｉとポテンシャル変動の開始フレーム
Ｆp の間、すなわち、今のフレームの画像特長ｆi とポ
テンシャル変動フレームの画像特長ｆp の間の違いＤa
の計算に進む。ブロック３１８で、Ｄa がＴb より大き
くない或いはΣta／ΣtfがγＴt （ここでγ≧１）より
大きくない場合、それはブロック３２０に進む。そうで
ない場合、変動の終端はポイントＰ３で連続して検出さ
れる。そこで、Ｆe ＝Ｆp で開始しＦs で終了する変動
はブロック３２４と３２６で関連するパラメータを再び
初期設定する前にブロック３２２で表示されて記録さ
れ、ビデオ・シーケンスの次のフレームの処理を続け
る。ブロック３２０で、変動の周期で失敗したフレーム
・カウントの数Σtmが変動の失敗の最大許容数Ｎtmmax
より小さくない場合、今の変動は、偽として見い出さ
れ、ポイントＰ４でブロック３２８で失敗したと見なさ
れる。そうでない場合、ΣtmとΣtaとΣtFは、ブロック
３３６に進む前に、更新される、すなわち、まだ変動周
期にある。ここで、今のフレームの位置は、処理する次
のフレームの開始時に、予め設定されたスキップ・ファ
クタＳだけ増加される。それがシーケンスのフレームの
終端に達していなかった場合、ブロック３０４からプロ
セスを繰り返す。
【００１７】図４と５に図示されるフローチャートは、
図８に図示されるディゾルブのような緩い変動を検出で
きる。初期場面３４０は、３４２と３４４と３４６の別
の場面に依って、ゆっくりと重ね合わされ、その新しい
場面に依って最終的に十分に占められる。効果的に、前
述のアルゴリズムの動作は、ビデオ・シーケンスの変動
シーケンスのこれらの最初と最後のフレームを検出す
る。図９は、フレームごとの違いの値の例を図示し、３
５０と３５２の鋭いカットに対応する高いピークと、代
表的なディゾルブなシーケンス３５４に対応する中間ピ
ークのシーケンスを示している。
【００１８】図４／５に図示される単一パスのアプロー
チはスレショルド値以外の任意の情報を利用できない欠
点を備えているので、このアプローチはこれらの値の選
択に大きく依存する。更に、処理速度も遅くなる。処理
時間を短縮する直接的なアプローチは、比較の分解能を
和らげる、すなわち、各々フレームのピクセルの総数の
サブセットだけ調べることである。しかし、これは、サ
ブセットが小さすぎる場合に、空間的な詳細部の損失
（空間領域を調べる際に）が或るセグメント境界の検出
に失敗する結果になるので、明らかに危険である。更な
る改善は高速処理を共に与える新規の多重パス・アプロ
ーチを採用して実現され、改善の成果は、セグメント境
界を検出する際のスキップ・ファクタのサイズとパス数
と同じオーダーの精度に依存する。最初のパスに於い
て、分解能は、ポテンシャル・セグメント境界を高速で
検出するために一時的に犠牲にされる。すなわち、ビデ
オ分割プロセスの "スキップ・ファクタ" Ｓが導かれ
る。スキップ・ファクタが大きければ大きいほど、分解
能は低下する。（このスキップ・ファクタは、一般的に
前後のフローチャートの説明で用いられたものより大き
いことに注目すべきである）。例えば、１０のスキップ
・ファクタは、入力ビデオ・シーケンスから１０のフレ
ームの１つだけ調べて、比較の数（従って、付随する処
理時間）を同じファクタだけ減少することを意味してい
る。この処理で、図４／５と６／７で説明された緩い変
動のツイン比較は適用されない。代わりに、小さい値の
Ｔb が用いられ、Ｔb より大きい違いをもつ全てのフレ
ームがポテンシャル・セグメント境界として検出され
る。低いスレショルドと大きいスキップ・ファクタのた
めに、カメラ・ブレークと緩い変動の両方だけでなく、
カメラまたは対象物の動きに起因する或る人為的な結果
が検出される。スレショルドのもとでの偽の検出は、実
際の境界が失われない限り認められる。第２のパスに於
いて、全ての計算はこれらのポテンシャル境界の近くに
制限され、ツイン比較が適用される。高められた一時的
（および空間的）な分解能は全ての境界（カメラ・ブレ
ークと緩い変動の両方）を更に正確に位置設定するため
に用いられるので、最初のパスから生じるポテンシャル
・ショット境界の位置設定の低い精度の欠点が補われ
る。別の特長は、多重パス方法で実現され、オプション
であり、異なる違い測定基準が結果の秘密性を高めるた
めに異なるパスに適用される。
【００１９】Ｂ．発明の第２実施例 本発明の第２実施例は、セグメント境界を決定するため
に用いられるスレショルド値、特に、スレショルド
Ｔb 、ショット・ブレーク・スレショルド、Ｔt 、変動
ブレーク・スレショルドの決定に関連する。それは、こ
れらのスレショルド値を選択する時に、それらが或るビ
デオ・ソースから別のビデオ・ソースにかけて変わるこ
とが示されているので最も重要である。 "厳しい" スレ
ショルドは、偽の変動がシステムに依って偽って受け取
られることを難しくするが、真の変動を偽って拒絶する
恐れがある。逆に、 "緩い" スレショルドは、変動が確
実に受け取られることを可能にするが、偽の変動を偽っ
て受け取る恐れがある。
【００２０】本発明では、スレショルドＴb の自動選択
は、与えられたビデオ・シーケンスの全体または一部に
於けるフレームごとの違いの統計に基づいている。ビデ
オ・シーケンスにカメラ・ショットの変更またはカメラ
の動きがないと想定すると、フレームごとの違いの値
は、３つの雑音源、すなわち、初期アナログ・ビデオ信
号のデジタル化からの雑音、ビデオ生成装置に依って誘
導された雑音、僅かの対象物が完全にまだ残っていると
いう物理的な事実から生じる雑音にだけ起因する。全て
の３つの雑音源はランダムであると想定される。従っ
て、フレームごとの違いの分布は、２つの部分、すなわ
ち、鋭いカットと緩い変動に依って誘導される違いとラ
ンダムな雑音の合計に分解できる。雑音に起因する違い
は変動と関連しない。そこで、Ｔb はＴb ＝μ＋ａαと
して定義され、ここで、αは標準偏差であり、μはフレ
ーム間の中間的な違いであり、ａは同調可能なパラメー
タであり、ａ＞２である。他のスレショルド、すなわ
ち、Ｔt は、緩い変動を検出するために用いられ、Ｔt
＝ｂＴb として定義され、ここで、ｂは実施された実験
に基づいて０．１〜０．５の範囲になる。 Ｃ．発明の第３実施例 図１０と１１は、本発明の第３実施例、ビデオの内容の
一時的な変動を用いる自動内容ベース・キー・フレーム
抽出方法を示す。システム・パラメータをブロック５０
２で初期設定した後に、フレームｉ−Ｓとｉの間の違い
Ｄi が、ブロック５０６で選択された違い測定基準に基
づいて計算されて累積される。この累積された違いΣk
がポテンシャル・キー・フレームのスレショルドＴk を
越えると、それはフラグを１にセットし、ポテンシャル
・キー・フレームがブロック５０９で検出され、ブロッ
ク５１０に進み、そこで、更なる検証が、選択された違
い測定基準に基づいて、今のフレームｉと記録された最
後のキー・フレームＦk の間の違いＤa を計算して行わ
れる。ブロック５１１で、Ｄa がキー・フレームのスレ
ショルドＴd より大きい場合、ブロック５１２で、今の
フレームＦi は今のキー・フレームとして記録され、Ｆ
k を今のフレームとして、Σk をゼロに、前のキー・フ
レームの画像の特長ｆk を今の画像の特長として再び初
期設定することが、ビデオ・シーケンスのフレームの終
端に達していない場合に、ブロック５０４から再びプロ
セスを繰り返す前に行われる。そうでない場合、ブロッ
ク５１１で、Ｄa がＴd より大きくない場合、それは次
のフレームの分析に進む。
【００２１】図１０と１１に図示されるキー・フレーム
抽出方法は従来の技術と異なる。従来の技術は、キー・
フレームを抽出する数学的機能を用いて、調査される対
象物の位置とサイズのトレースに大きく依存する運動分
析を用いる。この方法は、それが正確な運動フィールド
検出と複雑な画像湾曲に依存するので、低速であるばか
りでなく現実的でない。これに対して、本発明は図１０
／１１に図示されるビデオの内容の一時的な変動に純粋
に基づいてキー・フレームを抽出する。これらのキー・
フレームは、そこで、ビデオ内容のインデックスと検索
に使用できる。
【００２２】好適な実施例の動作 図１２と１３は、図３のビデオ解析器の好適な実施例の
動作のフローチャートを示す。違い測定基準の選択後
に、ブロック６０２で要求されるシステム・パラメータ
だけでなく、ユーザまたはデフォルトに依って、フレー
ムの内容比較に用いられる画像の特長を、システムはビ
デオ・シーケンスで解析器にロードし、それを其れが行
われていなかった場合にデジタル化する。連続するビデ
オ・フレーム間の違いＤi は、選択された違い測定基準
に基づいてブロック６０８で計算される。Ｄi がショッ
ト・ブレーク・スレショルドＴb を越え、Ｔｒａｎｓが
偽で（すなわち変動周期でない）、ショットのフレーム
・カウントの数ΣF がショットのフレームの最小限度に
予め設定された数Ｎsminより大きい場合、カットがポイ
ントＰ１で表示され、Ｆs で開始しＦe で終了するショ
ットが記録され、検出プロセスはビデオ・シーケンスの
次のフレームの処理を続ける。しかし、ブロック６１２
で、ΣF がＮsminより大きくない場合、キー・フレーム
がブロック６１４で記録される。ブロック６１０で、条
件が真でなく且つブロック６１８で条件がまだ真でない
場合、更なるチェックがブロック６２０で要求される。
このチェックに於いて、Ｔｒａｎｓが真でなく且つブロ
ック６４６でＤi がＴt より大きくない場合、それは、
ブロック６４０に進み、そこで、前のキー・フレーム後
の累積の違いΣk がＤi だけ増加されて、ブロック６４
１に進む。ここで、累積の違いがＴb より大きくない場
合、それはブロック６３８に進む。そうでない場合、そ
れは、ブロック６５０に進んで、特長ｆi とｆp の間の
違いＤa を計算する。ブロック６４４で、ショットのフ
レーム・カウントの数ΣF が単一のショットに許容可能
なフレームの最小限の数Ｎsminより大きい場合、ポテン
シャル変動がＰ２で見い出されるので、Ｔｒａｎｓは真
にセットされ、他に関連するパラメータはブロック６４
２で更新される。そうでない場合、それはブロック６４
０に進む。ブロック６５２に戻り、Ｄa がδＴb より大
きい場合、キー・フレームがポイントＰ５で検出されて
ブロック６４８で適正に記録される。そうでない場合、
それはブロック６３８に進み、そこで、ΣF はビデオ・
シーケンスに残っているフレームの処理を続ける前にＳ
だけ増加される。しかし、ブロック６２０で、Ｔｒａｎ
ｓが真、すなわち、ポテンシャル変動位相であり、ブロ
ック６２２で、Ｄi が変動ブレーク・スレショルドＴt
より小さい場合、更なる区別がブロック６２４で今の特
長ｆi と前の特長ｆp の違いＤa を計算して行われる。
ブロック６２６でＤa がβＤi （ここでβ≧２）より大
きい、またはポテンシャル変動のフレーム間のＤi の平
均Σta／ΣtFがγＴt （ここでγ≧１）より大きい場
合、変動はポイントＰ３で確認される。フレームＦs で
開始しフレームＦe で終了するショット（＝ｉ−ΣtF）
は、ブロック６３０で関連するパラメータの再初期設定
前にブロック６２８で記録される。しかし、ブロック６
２６で、条件が真でなく、且つブロック６３２で、失敗
したフレーム・カウントの数Σtmが変動の失敗の最大許
容数Ｎtmmax より小さくない場合、偽の変動がポイント
Ｐ４で表示され、それに伴い、Ｔｒａｎｓはブロック６
４０に進む前に偽にセットされる。ブロック６３２で、
しかし、条件が満足される場合、それはブロック６３６
と６４０に進み、そこで、それがビデオ・シーケンス内
の穴のフレームの処理を続ける前に調整される。ブロッ
ク６２２で、条件が適合しない場合、それはブロック６
２１に進み、そこで、確認されたパラメータはビデオ・
シーケンスの次のフレームの処理に進む前に其れに伴っ
て調整される。出力データは、各々ショットのキー・フ
レームだけでなく、開始と終了のフレームのフレーム数
または時間コードあるいはその両方を含んでいる。
【００２３】
【発明の効果】本発明は特に図１〜１５を参照しながら
説明されてきたが、図表は、図解だけのものであり発明
の制限として行われたものでないことが理解されるべき
である。更に、本発明の方法は、画像情報の分析が要求
される数多くの応用事例に用途を備えていることが明ら
かである。数多くの変更と修正が前述の発明の精神と範
囲を逸脱せずに当業者に依って実施されることも考えら
れる。
【図面の簡単な説明】
【図１】周知のビデオ分割方法のフローチャートを示
す。
【図２】ビデオ・シーケンスの代表的な鋭いカットの例
を示す。
【図３】本発明のシステムを解析するビデオの内容の概
要を示すブロック図である。
【図４】本発明の特別な効果に依って実現される鋭いカ
ットと緩い変動を共に検出できる一時的分割を実施する
ためのフローチャートを示す。
【図５】本発明の特別な効果に依って実現される鋭いカ
ットと緩い変動を共に検出できる一時的分割を実施する
ためのフローチャートを示す。
【図６】本発明の特別な効果に依って実現される鋭いカ
ットと緩い変動を共に検出できる一時的分割を実施する
ためのフローチャートを示す。
【図７】本発明の特別な効果に依って実現される鋭いカ
ットと緩い変動を共に検出できる一時的分割を実施する
ためのフローチャートを示す。
【図８】ビデオ・シーケンスに見受けられる代表的なデ
ィゾルブな変動の例を示す。
【図９】高いピークが鋭いカットに対応し且つ中間ピー
クのシーケンスが代表的なディゾルブ・シーケンスに対
応する、フレームごとの違いの例を示す。
【図１０】本発明のキー・フレームを抽出するためのフ
ローチャートを示す。
【図１１】本発明のキー・フレームを抽出するためのフ
ローチャートを示す。
【図１２】自動的にビデオを分割し且つ図３のビデオ解
析器に従ってキー・フレームを抽出するためのシステム
のフローチャートを示す。
【図１３】自動的にビデオを分割し且つ図３のビデオ解
析器に従ってキー・フレームを抽出するためのシステム
のフローチャートを示す。
【図１４】自動的にビデオを分割し且つ図３のビデオ解
析器に従ってキー・フレームを抽出するためのシステム
のフローチャートを示す。
【図１５】自動的にビデオを分割し且つ図３のビデオ解
析器に従ってキー・フレームを抽出するためのシステム
のフローチャートを示す。
─────────────────────────────────────────────────────
【手続補正書】
【提出日】平成７年１１月８日
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】図面の簡単な説明
【補正方法】変更
【補正内容】
【図面の簡単な説明】
【図１】周知のビデオ分割方法のフローチャートを示
す。
【図２】ビデオ・シーケンスの代表的な鋭いカットの例
を示す図面に代わる写真である。
【図３】本発明のシステムを解析するビデオの内容の概
要を示すブロック図である。
【図４】本発明の特別な効果に依って実現される鋭いカ
ットと緩い変動を共に検出できる一時的分割を実施する
ためのフローチャートを示す。
【図５】本発明の特別な効果に依って実現される鋭いカ
ットと緩い変動を共に検出できる一時的分割を実施する
ためのフローチャートを示す。
【図６】本発明の特別な効果に依って実現される鋭いカ
ットと緩い変動を共に検出できる一時的分割を実施する
ためのフローチャートを示す。
【図７】本発明の特別な効果に依って実現される鋭いカ
ットと緩い変動を共に検出できる一時的分割を実施する
ためのフローチャートを示す。
【図８】ビデオ・シーケンスに見受けられる代表的なデ
ィゾルブな変動の例を示す図面に代わる写真である。
【図９】高いピークが鋭いカットに対応し且つ中間ピー
クのシーケンスが代表的なディゾルブ・シーケンスに対
応する、フレームごとの違いの例を示す。
【図１０】本発明のキー・フレームを抽出するためのフ
ローチャートを示す。
【図１１】本発明のキー・フレームを抽出するためのフ
ローチャートを示す。
【図１２】自動的にビデオを分割し且つ図３のビデオ解
析器に従ってキー・フレームを抽出するためのシステム
のフローチャートを示す。
【図１３】自動的にビデオを分割し且つ図３のビデオ解
析器に従ってキー・フレームを抽出するためのシステム
のフローチャートを示す。
【図１４】自動的にビデオを分割し且つ図３のビデオ解
析器に従ってキー・フレームを抽出するためのシステム
のフローチャートを示す。
【図１５】自動的にビデオを分割し且つ図３のビデオ解
析器に従ってキー・フレームを抽出するためのシステム
のフローチャートを示す。
フロントページの続き (72)発明者 ジャン フーア ウー シンガポール国，シンガポール 1027，ジ ム モー ロード ナンバー06−33，ブロ ック 15 (72)発明者 スティーブン ウィリアム スモリアー シンガポール国，シンガポール 1027，ジ ャランハイタム マニス 90

Claims (18)

    【特許請求の範囲】
  1. 【請求項１】 画像が最初に記憶される媒体を修正せず
    に、動いている複数の画像を解析するためのシステムに
    おいて、前記画像は複数のシーケンスのフレームに更に
    区分されるものであって、前記画像のシーケンスを表わ
    す少なくとも１つのキーフレームを選択するための方法
    は、 （ａ）連続する画像フレーム間の差異の測定基準または
    差異の測定基準の集合を決定する段階であって、該差異
    の測定基準は選択された画像の特長に対して対応するし
    きい価を有するもの； （ｂ）内容の差異（Ｄi ）を導出する段階であって、該
    Ｄi は前記選択された画像の特長と前記差異の測定基準
    として基づく２つの現在の画像フレーム間の差異であ
    り、該２つの現在の画像フレーム間の間隔は、前記の画
    像フレームが分析される分解能を規定するスキップ係数
    Ｓで調整可能であるもの； （ｃ）全ての２つの前記の連続フレーム間のＤi を、そ
    の合計が所定のポテンシャルキーのしきい値Ｔk を超え
    るまで集積する段階； （ｄ）差異Ｄa を計算する段階であって、該Ｄa は前記
    の差異の測定基準に基づいて現在のフレームと前のキー
    フレームの間の差異、または現在のフレームと前のキー
    ・フレームがない場合に、該差異の測定基準に基づく前
    記シーケンスの最初のフレームとの間の差異であり、該
    現在のフレームはＤa が所定のキーフレームのしきい値
    Ｔd を超える場合に該キーフレームになるもの；および （ｅ）終端フレームに達するまで（ａ）から（ｄ）まで
    の各段階を継続する段階；を具備し、 それにより画像のシーケンスを索引するためのキーフレ
    ームが自動的に識別され捕捉されることを特徴とする、
    画像のシーケンスを表わす少なくとも１つのキーフレー
    ムを選択する方法。
  2. 【請求項２】 動いている複数の画像を、該画像が最初
    に記録される媒体を修正せずに解析するためのシステム
    に於いて、該画像は複数のフレーム系列に更に分割され
    るものであって、該画像の少なくとも１つの系列を個々
    のカメラショットに区分するための方法は： （ａ）連続する画像フレーム間の差異測定基準または差
    異測定基準の集合を決定する段階であって、該差異の測
    定基準は対応するショット遮断用しきい値Ｔbを有する
    もの； （ｂ）内容の差異（Ｄi ）を導出する段階であって、該
    Ｄi は前記差異の測定基準に基づく２つの現在の画像フ
    レーム間の差異であり、前記の２つの今の画像フレーム
    間の間隔は、前記の画像フレームが分析される分解能を
    規定するスキップ係数Ｓで調整可能であるもの； （ｃ）Ｄi が前記のしきい値Ｔb を越える場合に鋭いカ
    ットを表明する段階； （ｄ）前記Ｄi が変動しきい値Ｔt を越えるが、前記の
    ショット遮断しきい値Ｔb より低い場合に、ポテンシャ
    ル変動の開始フレームを検出する段階； （ｅ）累積された差異を検証することに依ってポテンシ
    ャル変動の終了するフレームを検出する段階であって、
    該累積された差異は、前記の選択された差異の測定基準
    に基づくもの；および （ｆ）終端フレームに到達するまで（ａ）から（ｅ）ま
    での各段階を続ける段階；を具備し、それにより個々の
    カメラ・ショットを有する画像のシーケンスは少なくと
    も１つのパスに於いて自動的に識別され、区分けされる
    ことを特徴とする、画像の少なくとも１つの系列を個々
    のカメラショットに区分する方法。
  3. 【請求項３】 各段階２（ａ）から２（ｆ）までの処理
    速度は上記多重パス方法で高速化され、前記の多重パス
    方法は、 （ａ）最初のパスに於いて、任意の実際の境界が検出さ
    れずに通過することを許可することなく、ポテンシャル
    区分の境界の位置を瞬時に識別するために、実質的によ
    り大きいスキップ係数Ｓとより低いショット・ブレーク
    のしきい値Ｔbを選別することに依って、分解能を一時
    的に低下させる段階；および （ｂ）後続のパスに於いて、分解能は高められ且つ全て
    の計算は前記のポテンシャル区分境界の近くに制限さ
    れ、それによりカメラ・ブレークと緩い変動が共に更に
    識別される段階；のように少なくとも２つの段階を具備
    するものである、特許請求の範囲第２項に記載のビデオ
    区分の方法。
  4. 【請求項４】 前記の多重パス方法は結果の秘密性を高
    めるために異なるパスにおける異なる差異の測定基準を
    採用できるものである、特許請求の範囲第３項に記載の
    ビデオ区分のための方法。
  5. 【請求項５】 前記の最初のパスは段階４（ａ）から４
    （ｆ）までに適用されないものである、特許請求の範囲
    第３項に記載のビデオ区分のための方法。
  6. 【請求項６】 前記後続のパスは段階４（ａ）から４
    （ｆ）までに適用されるものである、特許請求の範囲第
    ３項に記載のビデオ区分のための方法。
  7. 【請求項７】 動いている複数の画像を、画像が最初に
    記録される媒体を修正せずに解析するためのシステムに
    於いて、前記の画像は複数のフレームのシーケンスに更
    に分割されるものであって、上記画像の少なくとも１つ
    のシーケンスを個々のカメラショットに区分し且つ前記
    の画像のシーケンスを表わす少なくとも１つのキーフレ
    ームを選択するための方法は、 （ａ）連続する画像フレーム間の差異測定基準または差
    異測定基準の集合を決定する段階であって、該差異の測
    定基準は対応するショットブレークのしきい値Ｔb を有
    するもの； （ｂ）内容の差異（Ｄi ）を導出する段階であって、前
    記のＤi は前記の差異測定基準に基づく２つの今の画像
    フレーム間の差異であり、前記の２つの現在の画像フレ
    ーム間の間隔は、前記の画像フレームが分析される分解
    能を規定するスキップ係数Ｓで調整可能であるもの； （ｃ）Ｄi が前記のしきい値Ｔb を越える場合に鋭いカ
    ットを表示する段階； （ｄ）前記のＤi が変動しきい値Ｔt を越えるが、前記
    のショットブレークのしきい値Ｔb より低い場合に、ポ
    テンシャル変動の開始フレームを検出する段階； （ｅ）累積された差異を検証してポテンシャル変動の終
    了フレームを検出する段階であって、該累積された差異
    は前記の選択された差異の測定基準に基づくもの； （ｆ）終端フレームに到達するまで（ａ）から（ｅ）ま
    での段階を継続する段階； （ｇ）内容の差異（Ｄi ）を導出する段階であって、前
    記のＤi は前記の差異の測定基準に基づく２つの現在の
    画像フレーム間の差異であり、又前記の２つの現在の画
    像フレーム間の間隔は、前記の画像フレームが分析され
    る分解能を規定するスキップ係数Ｓで調整可能であるも
    の； （ｈ）全ての２つの前記の連続するフレーム間のＤ
    i を、その合計が所定のポテンシャルキーのしきい値Ｔ
    k を越えるまで累積する段階； （ｉ）差異Ｄa を計算する段階であって、該Ｄa は、前
    記の差異測定基準に基づいて現在のフレームと前のキー
    フレームの間、または現在のフレームと前のキー・フレ
    ームがない場合の前記の差異測定基準に基づく前記のシ
    ーケンスの最初のフレームとの間の差異であり、現在の
    フレームは、Ｄa が所定のキーフレームのしきい値Ｔd
    を越える場合にキーフレームになるもの；および （ｊ）終端フレームに到達するまで（ａ）から（ｉ）ま
    での段階を継続する段階；を具備し、それにより個々の
    カメラショットを有する画像のシーケンスは自動的に識
    別されて区分され、画像のシーケンスを索引するキーフ
    レームは少なくとも１つのパスに於いて識別され捕捉さ
    れるもの；を具備することを特徴とする前記の方法。
  8. 【請求項８】 前記のショット・ブレークしきい値Ｔb
    はフレームごとの差異の平均μの合計とフレームごとの
    差異の標準偏差の倍数ａを含んでいる、特許請求の範囲
    第７項に記載のビデオ区分のための方法。
  9. 【請求項９】 差異測定基準がヒストグラム比較である
    時に前記の倍数ａは、５と６の間の値を有するものであ
    る、特許請求の範囲第８項に記載のビデオ区分のための
    方法。
  10. 【請求項１０】 前記の変動しきい値Ｔt は、前記のシ
    ョット・ブレークのしきい値Ｔb の倍数ｂの合計を含ん
    でいる、特許請求の範囲第２項又は第７項のいずれかに
    記載のビデオ区分のための方法。
  11. 【請求項１１】 前記の倍数ｂは０．１と０．５の間の
    値を有するものである、特許請求の範囲第１０項に記載
    のビデオ区分のための方法。
  12. 【請求項１２】 変動の終了は、 （ａ）Ｄi が変動しきい値Ｔt より小さい、 （ｂ）ポテンシャル変動の開始フレームと今のフレーム
    の間で累積されたＤiがしきい値Ｔb を越えるか、また
    は変動時の２つの連続するフレーム間の平均Ｄi がしき
    い値Ｔt の倍数βより高い場合に確認されるものであ
    る、特許請求の範囲第２項又は第７項のいずれかに記載
    のビデオ区分のための方法。
  13. 【請求項１３】 前記の倍数βは１．０より大きいもの
    である、特許請求の範囲第１２項に記載のビデオ区分の
    ための方法。
  14. 【請求項１４】 変動の終了はそれにもかかわらず、２
    つごとのＤt 間の僅かな数の連続するフレームが明確に
    スレショルドＴt より低い時に請求項９の段階（ａ）と
    （ｂ）に適合しない場合であっても確認され、前記の数
    の連続するフレームは変動が適合されない前にユーザ同
    調可能公差まで変動に於いて許容されるものである、特
    許請求の範囲第２項又は第７項のいずれかに記載のビデ
    オ区分のための方法。
  15. 【請求項１５】 ユーザ同調可能の公差は、フレーム・
    シーケンスがスキップ係数Ｓ＝１でサンプル抽出される
    場合に３個のフレームより大きい、すなわち、Ｎtmmax
    が３より大きいか等しいものである、特許請求の範囲第
    １４項に記載のビデオ区分のための方法。
  16. 【請求項１６】 ポテンシャル変動のフレームの開始
    は、今のショットのフレームの数がデフォルト（省略
    値）数より大きい場合にだけセットされ、前記のデフォ
    ルト数は一般的に５つのフレームである、すなわち、Ｎ
    sminは５より大きいか等しいものである、特許請求の範
    囲第２項又は第７項のいずれかに記載のビデオ区分のた
    めの方法。
  17. 【請求項１７】 前記のポテンシャル・キーのしきい値
    Ｔk はカットしきい値Ｔb と等しいか大きくなるように
    選択される、特許請求の範囲第２項又は第７項のいずれ
    かに記載のキーフレームの選択方法。
  18. 【請求項１８】 前記のキーフレームのしきい値Ｔd は
    カットしきい値Ｔbに比例するが、より小さくなるよう
    に選択されるものである、特許請求の範囲第２項又は第
    ７項のいずれかに記載のキーフレームの選択方法。
JP7182229A 1994-06-27 1995-06-27 自動ビデオ区分とキーフレーム抽出用システム Pending JPH08237549A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US08/266,216 US5635982A (en) 1994-06-27 1994-06-27 System for automatic video segmentation and key frame extraction for video sequences having both sharp and gradual transitions
US266216 1994-06-27

Publications (1)

Publication Number Publication Date
JPH08237549A true JPH08237549A (ja) 1996-09-13

Family

ID=23013660

Family Applications (1)

Application Number Title Priority Date Filing Date
JP7182229A Pending JPH08237549A (ja) 1994-06-27 1995-06-27 自動ビデオ区分とキーフレーム抽出用システム

Country Status (3)

Country Link
US (1) US5635982A (ja)
EP (1) EP0690413A3 (ja)
JP (1) JPH08237549A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001527344A (ja) * 1997-12-23 2001-12-25 サーノフ コーポレイション ビデオーケンスにおける転換の検出
WO2007138858A1 (ja) 2006-05-25 2007-12-06 Nec Corporation 映像の特殊効果検出装置、特殊効果検出方法、特殊効果検出プログラム及び映像再生装置
JP2010183290A (ja) * 2009-02-04 2010-08-19 Olympus Corp 画像処理装置、画像処理プログラムおよび画像処理方法
CN113537171A (zh) * 2021-09-16 2021-10-22 北京易航远智科技有限公司 一种slam地图的划分方法

Families Citing this family (204)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5903454A (en) * 1991-12-23 1999-05-11 Hoffberg; Linda Irene Human-factored interface corporating adaptive pattern recognition based controller apparatus
US10361802B1 (en) 1999-02-01 2019-07-23 Blanding Hovenweep, Llc Adaptive pattern recognition based control system and method
US8352400B2 (en) 1991-12-23 2013-01-08 Hoffberg Steven M Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore
JP3519134B2 (ja) * 1994-08-10 2004-04-12 富士通株式会社 ソフトウェア使用量測定装置およびマルチメディア情報出力装置
JPH08204967A (ja) * 1995-01-20 1996-08-09 Nec Corp データ符号化装置
JP3823333B2 (ja) * 1995-02-21 2006-09-20 株式会社日立製作所 動画像の変化点検出方法、動画像の変化点検出装置、動画像の変化点検出システム
AU5027796A (en) 1995-03-07 1996-09-23 Interval Research Corporation System and method for selective recording of information
US6661838B2 (en) * 1995-05-26 2003-12-09 Canon Kabushiki Kaisha Image processing apparatus for detecting changes of an image signal and image processing method therefor
US5835163A (en) * 1995-12-21 1998-11-10 Siemens Corporate Research, Inc. Apparatus for detecting a cut in a video
US5911008A (en) * 1996-04-30 1999-06-08 Nippon Telegraph And Telephone Corporation Scheme for detecting shot boundaries in compressed video data using inter-frame/inter-field prediction coding and intra-frame/intra-field coding
US8107015B1 (en) * 1996-06-07 2012-01-31 Virage, Incorporated Key frame selection
TW303555B (en) * 1996-08-08 1997-04-21 Ind Tech Res Inst Digital data detecting method
EP1455516A3 (en) * 1996-10-31 2006-03-22 Sensormatic Electronics Corporation Intelligent video information management system
US6956573B1 (en) * 1996-11-15 2005-10-18 Sarnoff Corporation Method and apparatus for efficiently representing storing and accessing video information
US5893062A (en) 1996-12-05 1999-04-06 Interval Research Corporation Variable rate video playback with synchronized audio
US6263507B1 (en) * 1996-12-05 2001-07-17 Interval Research Corporation Browser for use in navigating a body of information, with particular application to browsing information represented by audiovisual data
US5936299A (en) * 1997-03-13 1999-08-10 International Business Machines Corporation Substrate contact for integrated spiral inductors
US6058210A (en) * 1997-09-15 2000-05-02 Xerox Corporation Using encoding cost data for segmentation of compressed image sequences
US6119123A (en) * 1997-12-02 2000-09-12 U.S. Philips Corporation Apparatus and method for optimizing keyframe and blob retrieval and storage
US5956026A (en) * 1997-12-19 1999-09-21 Sharp Laboratories Of America, Inc. Method for hierarchical summarization and browsing of digital video
US20050028194A1 (en) * 1998-01-13 2005-02-03 Elenbaas Jan Hermanus Personalized news retrieval system
JP3738939B2 (ja) * 1998-03-05 2006-01-25 Ｋｄｄｉ株式会社 動画像のカット点検出装置
US6845176B1 (en) * 1998-03-17 2005-01-18 Sharp Laboratories Of America, Inc. System and method for on-line computation and storage of scene histograms in an image acquisition appliance
AU3051299A (en) * 1998-03-31 1999-10-18 Mate - Media Access Technologies Ltd. Method of selecting key-frames from a video sequence
US6393054B1 (en) 1998-04-20 2002-05-21 Hewlett-Packard Company System and method for automatically detecting shot boundary and key frame from a compressed video data
KR100327103B1 (ko) * 1998-06-03 2002-09-17 한국전자통신연구원 사용자의조력및물체추적에의한영상객체분할방법
US6473095B1 (en) * 1998-07-16 2002-10-29 Koninklijke Philips Electronics N.V. Histogram method for characterizing video content
KR100305591B1 (ko) * 1998-07-22 2001-11-30 오길록 관절점기반동작정보를사용한동영상검색방법
US6389168B2 (en) * 1998-10-13 2002-05-14 Hewlett Packard Co Object-based parsing and indexing of compressed video streams
US6466205B2 (en) * 1998-11-19 2002-10-15 Push Entertainment, Inc. System and method for creating 3D models from 2D sequential image data
US6342904B1 (en) 1998-12-17 2002-01-29 Newstakes, Inc. Creating a slide presentation from full motion video
US6892351B2 (en) * 1998-12-17 2005-05-10 Newstakes, Inc. Creating a multimedia presentation from full motion video using significance measures
US6252975B1 (en) * 1998-12-17 2001-06-26 Xerox Corporation Method and system for real time feature based motion analysis for key frame selection from a video
FR2789196B1 (fr) * 1999-01-28 2001-03-30 Univ Paris Curie Procede de generation de descriptions de documents multimedia
US6782049B1 (en) * 1999-01-29 2004-08-24 Hewlett-Packard Development Company, L.P. System for selecting a keyframe to represent a video
US7966078B2 (en) 1999-02-01 2011-06-21 Steven Hoffberg Network media appliance system and method
SG92628A1 (en) * 1999-02-13 2002-11-19 Newstakes Inc A method and apparatus for converting video to multiple mark-up-language presentations
US6493042B1 (en) * 1999-03-18 2002-12-10 Xerox Corporation Feature based hierarchical video segmentation
US7184100B1 (en) * 1999-03-24 2007-02-27 Mate - Media Access Technologies Ltd. Method of selecting key-frames from a video sequence
US6331859B1 (en) * 1999-04-06 2001-12-18 Sharp Laboratories Of America, Inc. Video skimming system utilizing the vector rank filter
US6681058B1 (en) * 1999-04-15 2004-01-20 Sarnoff Corporation Method and apparatus for estimating feature values in a region of a sequence of images
US6993789B1 (en) 1999-04-23 2006-01-31 Sharp Laboratories Of America DTV data service application and receiver mechanism
US6807306B1 (en) * 1999-05-28 2004-10-19 Xerox Corporation Time-constrained keyframe selection method
SE9902328A0 (sv) * 1999-06-18 2000-12-19 Ericsson Telefon Ab L M Förfarande och system för att alstra sammanfattad video
US8464302B1 (en) 1999-08-03 2013-06-11 Videoshare, Llc Method and system for sharing video with advertisements over a network
WO2001010126A1 (en) * 1999-08-03 2001-02-08 Videoshare, Inc. Method and system for sharing video with advertisements over a network
US7092620B1 (en) 1999-08-05 2006-08-15 Hewlett-Packard Development Company, L.P. Converting analog video data into digital form
KR100634671B1 (ko) * 1999-08-13 2006-10-13 주식회사 케이티 고정밀도의 실시간 점진적 장면경계 검출기 및 그 방법
KR100370247B1 (ko) * 1999-08-26 2003-01-29 엘지전자 주식회사 등장인물 관계 기반 동영상 검색 방법
US7509580B2 (en) 1999-09-16 2009-03-24 Sharp Laboratories Of America, Inc. Audiovisual information management system with preferences descriptions
US7155735B1 (en) 1999-10-08 2006-12-26 Vulcan Patents Llc System and method for the broadcast dissemination of time-ordered data
US7020351B1 (en) 1999-10-08 2006-03-28 Sarnoff Corporation Method and apparatus for enhancing and indexing video and audio signals
WO2001028238A2 (en) * 1999-10-08 2001-04-19 Sarnoff Corporation Method and apparatus for enhancing and indexing video and audio signals
US7653925B2 (en) * 1999-11-17 2010-01-26 Ricoh Company, Ltd. Techniques for receiving information during multimedia presentations and communicating the information
US7299405B1 (en) 2000-03-08 2007-11-20 Ricoh Company, Ltd. Method and system for information management to facilitate the exchange of ideas during a collaborative effort
US6976032B1 (en) * 1999-11-17 2005-12-13 Ricoh Company, Ltd. Networked peripheral for visitor greeting, identification, biographical lookup and tracking
US7016540B1 (en) * 1999-11-24 2006-03-21 Nec Corporation Method and system for segmentation, classification, and summarization of video images
US6549643B1 (en) * 1999-11-30 2003-04-15 Siemens Corporate Research, Inc. System and method for selecting key-frames of video data
US8051446B1 (en) 1999-12-06 2011-11-01 Sharp Laboratories Of America, Inc. Method of creating a semantic video summary using information from secondary sources
US7110454B1 (en) * 1999-12-21 2006-09-19 Siemens Corporate Research, Inc. Integrated method for scene change detection
US6654067B1 (en) 1999-12-30 2003-11-25 Koninklijke Philips Electronics N.V. Finding hidden images in video based on detected proximity of cuts
US6766098B1 (en) * 1999-12-30 2004-07-20 Koninklijke Philip Electronics N.V. Method and apparatus for detecting fast motion scenes
US6757682B1 (en) 2000-01-28 2004-06-29 Interval Research Corporation Alerting users to items of current interest
WO2001067772A2 (en) 2000-03-09 2001-09-13 Videoshare, Inc. Sharing a streaming video
US6952212B2 (en) * 2000-03-24 2005-10-04 Telefonaktiebolaget Lm Ericsson (Publ) Frame decimation for structure from motion
WO2001078492A2 (en) * 2000-04-13 2001-10-25 The Trustees Of Columbia University In The City Of New York Method and apparatus for processing echocardiogram video images
FR2807902B1 (fr) * 2000-04-17 2002-10-25 Thomson Multimedia Sa Procede de detection de changement de plan dans une succession d'images video
US7334191B1 (en) 2000-05-09 2008-02-19 International Business Machines Corporation Segmentation and detection of representative frames in video sequences
US8028314B1 (en) 2000-05-26 2011-09-27 Sharp Laboratories Of America, Inc. Audiovisual information management system
US6882793B1 (en) 2000-06-16 2005-04-19 Yesvideo, Inc. Video processing system
US7733521B1 (en) 2000-07-05 2010-06-08 Lexmark International, Inc. Printer apparatus with selectable photo enhancement project and settings storage dynamically definable user interface and functions and template definition
US20020051077A1 (en) * 2000-07-19 2002-05-02 Shih-Ping Liou Videoabstracts: a system for generating video summaries
US6724933B1 (en) * 2000-07-28 2004-04-20 Microsoft Corporation Media segmentation system and related methods
AU767645B2 (en) * 2000-08-02 2003-11-20 Canon Kabushiki Kaisha Method of selecting a video key frame for use in small devices
US6711587B1 (en) 2000-09-05 2004-03-23 Hewlett-Packard Development Company, L.P. Keyframe selection to represent a video
US8020183B2 (en) 2000-09-14 2011-09-13 Sharp Laboratories Of America, Inc. Audiovisual management system
AUPR133700A0 (en) * 2000-11-09 2000-11-30 Mediaware Solutions Pty Ltd Transition templates for compressed digital video and method of generating same
EP1354318A1 (en) * 2000-12-22 2003-10-22 Muvee Technologies Pte Ltd System and method for media production
US20020108112A1 (en) * 2001-02-02 2002-08-08 Ensequence, Inc. System and method for thematically analyzing and annotating an audio-visual sequence
US20030038796A1 (en) * 2001-02-15 2003-02-27 Van Beek Petrus J.L. Segmentation metadata for audio-visual content
US6721361B1 (en) * 2001-02-23 2004-04-13 Yesvideo.Com Video processing system including advanced scene break detection methods for fades, dissolves and flashes
US20020176604A1 (en) * 2001-04-16 2002-11-28 Chandra Shekhar Systems and methods for determining eye glances
US7904814B2 (en) 2001-04-19 2011-03-08 Sharp Laboratories Of America, Inc. System for presenting audio-video content
EP1251689B1 (en) * 2001-04-20 2008-09-24 THOMSON multimedia Process for detecting a change of shot in a succession of video images
FR2824690B1 (fr) * 2001-05-10 2003-12-12 Sagem Decodeur de television numerique avec moyens de sequencage d'informations video et procede associe
KR100411342B1 (ko) * 2001-05-22 2003-12-18 엘지전자 주식회사 비디오 텍스트 합성 키프레임 생성방법
US7143354B2 (en) 2001-06-04 2006-11-28 Sharp Laboratories Of America, Inc. Summarization of baseball video content
US7499077B2 (en) * 2001-06-04 2009-03-03 Sharp Laboratories Of America, Inc. Summarization of football video content
US7203620B2 (en) 2001-07-03 2007-04-10 Sharp Laboratories Of America, Inc. Summarization of video content
US7089496B2 (en) * 2001-07-20 2006-08-08 Hewlett-Packard Development Company, L.P. System and method for scene detection information storage
JP2003046977A (ja) * 2001-07-31 2003-02-14 Matsushita Electric Ind Co Ltd 中継サーバ
BR0212546A (pt) 2001-09-07 2006-05-23 Intergraph Hardware Tech Co método, dispositivo e produto de programa de computador para a demultiplexação de imagens de vìdeo
WO2003028377A1 (en) * 2001-09-14 2003-04-03 Vislog Technology Pte Ltd. Apparatus and method for selecting key frames of clear faces through a sequence of images
US20030219232A1 (en) 2001-10-01 2003-11-27 Shu Lin System and method for identifying data on a storage medium
US7474698B2 (en) 2001-10-19 2009-01-06 Sharp Laboratories Of America, Inc. Identification of replay segments
US7123769B2 (en) * 2001-11-09 2006-10-17 Arcsoft, Inc. Shot boundary detection
US20030131362A1 (en) * 2002-01-09 2003-07-10 Koninklijke Philips Electronics N.V. Method and apparatus for multimodal story segmentation for linking multimedia content
US7120873B2 (en) * 2002-01-28 2006-10-10 Sharp Laboratories Of America, Inc. Summarization of sumo video content
US7408598B2 (en) 2002-02-20 2008-08-05 Planar Systems, Inc. Light sensitive display with selected interval of light sensitive elements
US7009663B2 (en) * 2003-12-17 2006-03-07 Planar Systems, Inc. Integrated optical light sensitive active matrix liquid crystal display
US7053967B2 (en) 2002-05-23 2006-05-30 Planar Systems, Inc. Light sensitive display
US7023503B2 (en) * 2002-02-20 2006-04-04 Planar Systems, Inc. Image sensor with photosensitive thin film transistors
WO2003075207A2 (en) * 2002-03-01 2003-09-12 Planar Systems, Inc. Reflection resistant touch screens
US8214741B2 (en) 2002-03-19 2012-07-03 Sharp Laboratories Of America, Inc. Synchronization of video and data
US6993182B2 (en) * 2002-03-29 2006-01-31 Koninklijke Philips Electronics N.V. Method and apparatus for detecting scene changes in video using a histogram of frame differences
US20030202110A1 (en) * 2002-04-30 2003-10-30 Owens James W. Arrangement of images
US7035435B2 (en) * 2002-05-07 2006-04-25 Hewlett-Packard Development Company, L.P. Scalable video summarization and navigation system and method
US7047494B2 (en) * 2002-05-07 2006-05-16 Hewlett-Packard Development Company, L.P. Scalable video summarization
EP1509882A4 (en) * 2002-05-20 2009-03-04 Konan Technology Inc SCENE CHANGE DETECTOR ALGORITHM IN IMAGE SEQUENCE
US6985623B2 (en) * 2002-06-10 2006-01-10 Pts Corporation Scene change detection by segmentation analysis
KR100460222B1 (ko) * 2002-06-17 2004-12-04 엘지전자 주식회사 멀티미디어 스트림에 대한 구조적 인덱스 정보 기술 방법, 진행형 비디오 인덱싱 방법 및 시스템
US7383508B2 (en) * 2002-06-19 2008-06-03 Microsoft Corporation Computer user interface for interacting with video cliplets generated from digital video
GB0215624D0 (en) * 2002-07-05 2002-08-14 Colthurst James R Razor head
MXPA05000558A (es) * 2002-07-16 2005-04-19 Nokia Corp Metodo de acceso aleatorio y renovacion gradual de imagen en codificacion de video.
US7657836B2 (en) 2002-07-25 2010-02-02 Sharp Laboratories Of America, Inc. Summarization of soccer video content
US20040024780A1 (en) * 2002-08-01 2004-02-05 Koninklijke Philips Electronics N.V. Method, system and program product for generating a content-based table of contents
US7483624B2 (en) * 2002-08-30 2009-01-27 Hewlett-Packard Development Company, L.P. System and method for indexing a video sequence
US7657907B2 (en) 2002-09-30 2010-02-02 Sharp Laboratories Of America, Inc. Automatic user profiling
US6963378B2 (en) * 2002-11-01 2005-11-08 Motorola, Inc. Method and apparatus for reduction of visual content
US7219241B2 (en) * 2002-11-30 2007-05-15 Intel Corporation Method for managing virtual and actual performance states of logical processors in a multithreaded processor using system management mode
US7006945B2 (en) 2003-01-10 2006-02-28 Sharp Laboratories Of America, Inc. Processing of video content
US7027513B2 (en) * 2003-01-15 2006-04-11 Microsoft Corporation Method and system for extracting key frames from video using a triangle model of motion based on perceived motion energy
KR20040065928A (ko) * 2003-01-16 2004-07-23 삼성전자주식회사 동영상 출력기능을 갖는 프린터 및 그 제어방법
WO2004066609A2 (en) * 2003-01-23 2004-08-05 Intergraph Hardware Technologies Company Video content parser with scene change detector
US20080084374A1 (en) * 2003-02-20 2008-04-10 Planar Systems, Inc. Light sensitive display
CN1754382A (zh) * 2003-02-21 2006-03-29 皇家飞利浦电子股份有限公司 镜头切变检测
US7212666B2 (en) 2003-04-01 2007-05-01 Microsoft Corporation Generating visually representative video thumbnails
EP1645127B1 (en) 2003-07-08 2010-05-19 Panasonic Corporation Contents storage system, home server apparatus, information supply apparatus, integrated circuit, and program
US7660512B2 (en) * 2003-10-16 2010-02-09 Microsoft Corporation Systems and methods for managing frame rates during multimedia playback
US7689712B2 (en) 2003-11-26 2010-03-30 Ricoh Company, Ltd. Techniques for integrating note-taking and multimedia information
AU2004233453B2 (en) 2003-12-03 2011-02-17 Envysion, Inc. Recording a sequence of images
NZ536913A (en) 2003-12-03 2006-09-29 Safehouse Internat Inc Displaying graphical output representing the topographical relationship of detectors and their alert status
GB2408885B (en) * 2003-12-03 2006-02-15 Safehouse Internat Inc Displaying graphical output
US7664292B2 (en) * 2003-12-03 2010-02-16 Safehouse International, Inc. Monitoring an output from a camera
US20050134749A1 (en) * 2003-12-19 2005-06-23 Adiel Abileah Reflection resistant display
EP1557837A1 (en) * 2004-01-26 2005-07-27 Sony International (Europe) GmbH Redundancy elimination in a content-adaptive video preview system
KR100590537B1 (ko) * 2004-02-18 2006-06-15 삼성전자주식회사 복수 영상의 요약 방법 및 장치
US7594245B2 (en) 2004-03-04 2009-09-22 Sharp Laboratories Of America, Inc. Networked video devices
US8356317B2 (en) 2004-03-04 2013-01-15 Sharp Laboratories Of America, Inc. Presence based technology
US8949899B2 (en) 2005-03-04 2015-02-03 Sharp Laboratories Of America, Inc. Collaborative recommendation system
US20050228849A1 (en) * 2004-03-24 2005-10-13 Tong Zhang Intelligent key-frame extraction from a video
US7843512B2 (en) * 2004-03-31 2010-11-30 Honeywell International Inc. Identifying key video frames
US7773139B2 (en) 2004-04-16 2010-08-10 Apple Inc. Image sensor with photosensitive thin film transistors
US20060239347A1 (en) * 2005-04-25 2006-10-26 Ashish Koul Method and system for scene change detection in a video encoder
US7760956B2 (en) 2005-05-12 2010-07-20 Hewlett-Packard Development Company, L.P. System and method for producing a page using frames of a video stream
US7554576B2 (en) * 2005-06-20 2009-06-30 Ricoh Company, Ltd. Information capture and recording system for controlling capture devices
US8805929B2 (en) * 2005-06-20 2014-08-12 Ricoh Company, Ltd. Event-driven annotation techniques
US8689253B2 (en) 2006-03-03 2014-04-01 Sharp Laboratories Of America, Inc. Method and system for configuring media-playing sets
KR100827229B1 (ko) * 2006-05-17 2008-05-07 삼성전자주식회사 비디오 검색 장치 및 방법
EP1914994A1 (en) * 2006-10-17 2008-04-23 Mitsubishi Electric Information Technology Centre Europe B.V. Detection of gradual transitions in video sequences
DE102007063635A1 (de) * 2007-03-22 2009-04-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zur zeitlichen Segmentierung eines Videos in Videobildfolgen und zur Auswahl von Keyframes für das Auffinden von Bildinhalten unter Einbeziehung einer Subshot-Detektion
US7995901B2 (en) 2007-03-23 2011-08-09 Eastman Kodak Company Facilitating video clip identification from a video sequence
JP5147308B2 (ja) * 2007-06-20 2013-02-20 オリンパス株式会社 画像抽出装置および画像抽出プログラム
DE102007028175A1 (de) 2007-06-20 2009-01-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Automatisiertes Verfahren zur zeitlichen Segmentierung eines Videos in Szenen unter Berücksichtigung verschiedener Typen von Übergängen zwischen Bildfolgen
US20090132339A1 (en) * 2007-11-21 2009-05-21 Microsoft Corporation Signature-Based Advertisement Scheduling
US20090133060A1 (en) * 2007-11-21 2009-05-21 Microsoft Corporation Still-Frame Content Navigation
JP4507129B2 (ja) * 2008-06-06 2010-07-21 ソニー株式会社 追尾点検出装置および方法、プログラム、並びに記録媒体
US8811771B2 (en) 2008-08-22 2014-08-19 Adobe Systems Incorporated Content aware slideshows
US20100153995A1 (en) * 2008-12-12 2010-06-17 At&T Intellectual Property I, L.P. Resuming a selected viewing channel
CN101499085B (zh) * 2008-12-16 2012-07-04 北京大学 快速提取关键帧的方法和装置
AU2008261195B2 (en) * 2008-12-23 2010-09-09 Canon Kabushiki Kaisha Video object fragmentation detection and management
JP2010165052A (ja) * 2009-01-13 2010-07-29 Canon Inc 画像処理装置及び画像処理方法
US8380866B2 (en) * 2009-03-20 2013-02-19 Ricoh Company, Ltd. Techniques for facilitating annotations
US9565479B2 (en) * 2009-08-10 2017-02-07 Sling Media Pvt Ltd. Methods and apparatus for seeking within a media stream using scene detection
US20110051010A1 (en) * 2009-08-27 2011-03-03 Rami Jiossy Encoding Video Using Scene Change Detection
US20110191679A1 (en) * 2010-02-02 2011-08-04 Futurewei Technologies, Inc. System and Method for Online Media Preview
JP5583992B2 (ja) * 2010-03-09 2014-09-03 パナソニック株式会社 信号処理装置
EP2599083B1 (en) 2010-07-26 2016-01-27 Koninklijke Philips N.V. Determining representative images for a video
US9171578B2 (en) * 2010-08-06 2015-10-27 Futurewei Technologies, Inc. Video skimming methods and systems
US9602849B2 (en) 2010-09-17 2017-03-21 Futurewei Technologies, Inc. Method and apparatus for scrub preview services
US9310923B2 (en) 2010-12-03 2016-04-12 Apple Inc. Input device for touch sensitive devices
US8990690B2 (en) 2011-02-18 2015-03-24 Futurewei Technologies, Inc. Methods and apparatus for media navigation
WO2012143764A1 (en) 2011-04-20 2012-10-26 Empire Technology Development Llc Full-reference computation of mobile content quality of experience in real-time
US8928635B2 (en) 2011-06-22 2015-01-06 Apple Inc. Active stylus
US9329703B2 (en) 2011-06-22 2016-05-03 Apple Inc. Intelligent stylus
US8638320B2 (en) 2011-06-22 2014-01-28 Apple Inc. Stylus orientation detection
CN102685398B (zh) * 2011-09-06 2014-08-13 天脉聚源(北京)传媒科技有限公司 一种新闻视频场景生成方法
WO2013097227A1 (en) 2011-12-31 2013-07-04 Nokia Corporation Causing elements to be displayed
CN102752569B (zh) * 2012-06-27 2016-08-10 杭州天视智能系统有限公司 一种基于视频分析的视频播放方法及其系统
US8995823B2 (en) 2012-07-17 2015-03-31 HighlightCam, Inc. Method and system for content relevance score determination
US9176604B2 (en) 2012-07-27 2015-11-03 Apple Inc. Stylus device
US9652090B2 (en) 2012-07-27 2017-05-16 Apple Inc. Device for digital communication through capacitive coupling
US9557845B2 (en) 2012-07-27 2017-01-31 Apple Inc. Input device for and method of communication with capacitive devices through frequency variation
US10048775B2 (en) 2013-03-14 2018-08-14 Apple Inc. Stylus detection and demodulation
US20140267193A1 (en) * 2013-03-14 2014-09-18 Smart Technologies Ulc Interactive input system and method
JP6135220B2 (ja) * 2013-03-18 2017-05-31 富士通株式会社 動画処理装置、動画処理方法および動画処理プログラム
CN103279473A (zh) * 2013-04-10 2013-09-04 深圳康佳通信科技有限公司 海量视频内容检索方法、系统及移动终端
US9939935B2 (en) 2013-07-31 2018-04-10 Apple Inc. Scan engine for touch controller architecture
US9799376B2 (en) 2014-09-17 2017-10-24 Xiaomi Inc. Method and device for video browsing based on keyframe
US10061450B2 (en) 2014-12-04 2018-08-28 Apple Inc. Coarse scan and targeted active mode scan for touch
US10223358B2 (en) 2016-03-07 2019-03-05 Gracenote, Inc. Selecting balanced clusters of descriptive vectors
US11256923B2 (en) * 2016-05-12 2022-02-22 Arris Enterprises Llc Detecting sentinel frames in video delivery using a pattern analysis
US10474277B2 (en) 2016-05-31 2019-11-12 Apple Inc. Position-based stylus communication
US11915722B2 (en) * 2017-03-30 2024-02-27 Gracenote, Inc. Generating a video presentation to accompany audio
NL2022812B1 (en) * 2019-03-26 2020-10-02 Teletrax B V A computer controlled method of operating a training tool and a training tool for classifying annotated events in content of data stream.
US11688076B2 (en) * 2019-10-25 2023-06-27 Fujifilm North America Corporation Systems and methods for producing a flipbook
US11093755B2 (en) 2019-11-19 2021-08-17 International Business Machines Corporation Video segmentation based on weighted knowledge graph
CN112016437B (zh) * 2020-08-26 2023-02-10 中国科学院重庆绿色智能技术研究院 一种基于人脸视频关键帧的活体检测方法
US12153764B1 (en) 2020-09-25 2024-11-26 Apple Inc. Stylus with receive architecture for position determination
CN113989531A (zh) * 2021-10-29 2022-01-28 北京市商汤科技开发有限公司 一种图像处理方法、装置、计算机设备和存储介质
CN115376052B (zh) * 2022-10-26 2023-04-07 山东百盟信息技术有限公司 一种基于关键帧采样和多尺度稠密网络的长视频分类方法
CN116258995B (zh) * 2023-03-29 2026-01-02 上海哔哩哔哩科技有限公司 视频转场识别方法、装置、计算设备及计算机存储介质
CN116563308A (zh) * 2023-05-09 2023-08-08 中国矿业大学 联合超像素分割与孪生网络的sar影像端到端变化检测方法
KR20260040226A (ko) * 2023-06-12 2026-03-24 선하우스, 엘엘씨 비디오 변화 효과

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5245436A (en) * 1992-02-14 1993-09-14 Intel Corporation Method and apparatus for detecting fades in digital video sequences

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001527344A (ja) * 1997-12-23 2001-12-25 サーノフ コーポレイション ビデオーケンスにおける転換の検出
WO2007138858A1 (ja) 2006-05-25 2007-12-06 Nec Corporation 映像の特殊効果検出装置、特殊効果検出方法、特殊効果検出プログラム及び映像再生装置
JP2010183290A (ja) * 2009-02-04 2010-08-19 Olympus Corp 画像処理装置、画像処理プログラムおよび画像処理方法
US8723935B2 (en) 2009-02-04 2014-05-13 Olympus Corporation Image processing device, computer readable storage medium storing image processing program and image processing method
CN113537171A (zh) * 2021-09-16 2021-10-22 北京易航远智科技有限公司 一种slam地图的划分方法

Also Published As

Publication number Publication date
EP0690413A3 (en) 1996-07-31
EP0690413A2 (en) 1996-01-03
US5635982A (en) 1997-06-03

Similar Documents

Publication Publication Date Title
JPH08237549A (ja) 自動ビデオ区分とキーフレーム抽出用システム
US7184100B1 (en) Method of selecting key-frames from a video sequence
KR100591470B1 (ko) 비디오 시퀀스의 변환 검출
CN112990191A (zh) 一种基于字幕视频的镜头边界检测与关键帧提取方法
US7376274B2 (en) Method and apparatus for use in video searching
Gargi et al. Performance characterization and comparison of video indexing algorithms
CN101398855A (zh) 一种视频关键帧提取方法和系统
KR101709085B1 (ko) 컨볼루션 신경망을 이용한 샷 경계 검출 방법 및 장치
CN101543075A (zh) 视频序列中渐变的检测
WO2017114211A1 (zh) 用于对视频场景切换进行检测的方法和装置
Wang et al. A novel video caption detection approach using multi-frame integration
KR100741300B1 (ko) 비디오 시퀀스 구조의 자동 추출 방법
US6995805B1 (en) Method and system for scene change detection
US20110033115A1 (en) Method of detecting feature images
Hanjalic et al. Template-based detection of anchorperson shots in news programs
Truong et al. Improved fade and dissolve detection for reliable video segmentation
KR20090028788A (ko) 키 프레임 추출 방법 및 시스템
CN102301697A (zh) 视频签名产生设备
JP2003503971A (ja) ビデオシーケンスの構造の自動抽出方法
WO1999051022A1 (en) Method of selecting key-frames from a video sequence
Wei et al. Robust approach to video segmentation using compressed data
US20070061727A1 (en) Adaptive key frame extraction from video data
Kim et al. An efficient graphical shot verifier incorporating visual rhythm
Li et al. Model based video segmentation
Bezerra A longest common subsequence approach to detect cut and wipe video transitions

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20040420