JP2000308008A - ビデオのセグメント重要度を決定する方法及びフレーム・セットを限定領域にパックする方法 - Google Patents
ビデオのセグメント重要度を決定する方法及びフレーム・セットを限定領域にパックする方法Info
- Publication number
- JP2000308008A JP2000308008A JP2000064869A JP2000064869A JP2000308008A JP 2000308008 A JP2000308008 A JP 2000308008A JP 2000064869 A JP2000064869 A JP 2000064869A JP 2000064869 A JP2000064869 A JP 2000064869A JP 2000308008 A JP2000308008 A JP 2000308008A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- video
- importance
- frames
- shot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/73—Querying
- G06F16/738—Presentation of query results
- G06F16/739—Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
- G06V20/47—Detecting features for summarising video content
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S707/00—Data processing: database and file management or data structures
- Y10S707/99931—Database or file accessing
- Y10S707/99933—Query processing, i.e. searching
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S707/00—Data processing: database and file management or data structures
- Y10S707/99941—Database schema or data structure
- Y10S707/99944—Object-oriented database structure
- Y10S707/99945—Object-oriented database structure processing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Television Signal Processing For Recording (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
(57)【要約】
【課題】 ビデオの各々のショットの重要度を決定し、
重要度に基づいてビデオ要約を生成し、重要度に基づい
て代表フレームのサイズを変更し限定領域にパックす
る。 【解決手段】 重要度の測定値が、ビデオのセグメント
化された部分について計算される。重要度の測定値は、
最も重要なセグメントを選択して、選択されたセグメン
トについての代表フレームを生成することによって、ビ
デオ要約を生成するために使用することができる。閾値
処理を行うプロセスは、フレームによって表されるべき
ショット或いはセグメントの予め決められた数、或い
は、実行中に生成される適切な数を供給するために、重
要度スコアに適用される。次いで、代表フレームは、ビ
デオ要約にパックされる。パックされるべきフレームの
サイズは、それらの重要度の測定値によって予め決めら
れ、使用可能空間に従って調整される。
重要度に基づいてビデオ要約を生成し、重要度に基づい
て代表フレームのサイズを変更し限定領域にパックす
る。 【解決手段】 重要度の測定値が、ビデオのセグメント
化された部分について計算される。重要度の測定値は、
最も重要なセグメントを選択して、選択されたセグメン
トについての代表フレームを生成することによって、ビ
デオ要約を生成するために使用することができる。閾値
処理を行うプロセスは、フレームによって表されるべき
ショット或いはセグメントの予め決められた数、或い
は、実行中に生成される適切な数を供給するために、重
要度スコアに適用される。次いで、代表フレームは、ビ
デオ要約にパックされる。パックされるべきフレームの
サイズは、それらの重要度の測定値によって予め決めら
れ、使用可能空間に従って調整される。
Description
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、ビデオ或いは動画
の要約(summary)に関する。特に、本発明は、ビデオか
ら各々のショット或いはセグメントの重要度を決定する
ことに関する。また本発明は、要約中の各々のセグメン
ト或いはショットの重要度を強調するか、或いは、重要
視しないような構成にパック（即ち、構成）された、ビ
デオ或いは動画の要約を生成或いは印刷することにも関
する。更に本発明は、要約を表示するために最低コスト
のパッキングしか必要でないように、異なったサイズに
されたフレームをビデオ要約にパック（最小の重み付け
をされたリサイズ量（即ち、最少のフレームを最小の重
み付けをされたリサイズ量で異なったサイズに摺ること
によってパックする））するための方法に関する。また
更に、ビデオブラウジングシステムへのインタフェース
として最低コストでパックされたビデオ要約を使用する
ことに関する。
の要約(summary)に関する。特に、本発明は、ビデオか
ら各々のショット或いはセグメントの重要度を決定する
ことに関する。また本発明は、要約中の各々のセグメン
ト或いはショットの重要度を強調するか、或いは、重要
視しないような構成にパック（即ち、構成）された、ビ
デオ或いは動画の要約を生成或いは印刷することにも関
する。更に本発明は、要約を表示するために最低コスト
のパッキングしか必要でないように、異なったサイズに
されたフレームをビデオ要約にパック（最小の重み付け
をされたリサイズ量（即ち、最少のフレームを最小の重
み付けをされたリサイズ量で異なったサイズに摺ること
によってパックする））するための方法に関する。また
更に、ビデオブラウジングシステムへのインタフェース
として最低コストでパックされたビデオ要約を使用する
ことに関する。
【０００２】
【従来の技術】ビデオの使用及びビデオを介してのイベ
ントの蓄積及び通信が増加すると（インターネット通
信、テレビジョン帯域（即ち、テレビジョン放送の周波
数帯域）及びチャンネルの増加、ニュース放送における
ビデオの使用の増加等）、ビデオユーザ及び管理者は、
最も効率的な方法で、ビデオを格納し、アクセスし、重
要なシーン或いはフレームを決定し、そして要約すると
いう付加的な作業に直面する。
ントの蓄積及び通信が増加すると（インターネット通
信、テレビジョン帯域（即ち、テレビジョン放送の周波
数帯域）及びチャンネルの増加、ニュース放送における
ビデオの使用の増加等）、ビデオユーザ及び管理者は、
最も効率的な方法で、ビデオを格納し、アクセスし、重
要なシーン或いはフレームを決定し、そして要約すると
いう付加的な作業に直面する。
【０００３】「ショット」は、時間及び視覚空間におい
て一般的には連続的であるビデオ或いは動画のセグメン
トである。一般的には、カットに対応する大きなフレー
ム差或いはショット境界を見つけることによって、ビデ
オをその構成要素のショットに自動的にセグメント化す
る技術は存在する。多くの分野において、既存のビデ
オ、動画、或いは放送の要約或いは「スキム(skim)」を
自動的に生成することが所望される。これは、ビデオの
冗長な情報を選択的に廃棄するか或いは重要視しないこ
によって行うことができる。例えば、繰り返されるショ
ットは、それらが既に示されたショットに類似している
場合には、含める必要はない（すなわち、繰り返される
或いは共通のシーンのような重要でない情報は廃棄す
る）。
て一般的には連続的であるビデオ或いは動画のセグメン
トである。一般的には、カットに対応する大きなフレー
ム差或いはショット境界を見つけることによって、ビデ
オをその構成要素のショットに自動的にセグメント化す
る技術は存在する。多くの分野において、既存のビデ
オ、動画、或いは放送の要約或いは「スキム(skim)」を
自動的に生成することが所望される。これは、ビデオの
冗長な情報を選択的に廃棄するか或いは重要視しないこ
によって行うことができる。例えば、繰り返されるショ
ットは、それらが既に示されたショットに類似している
場合には、含める必要はない（すなわち、繰り返される
或いは共通のシーンのような重要でない情報は廃棄す
る）。
【０００４】
【発明が解決しようとする課題】ＡＴＴ研究所のシャラ
レイ（Ｓｈａｈｒａｒａｙ）らは、ビデオのＨＴＭＬ表
現のためにキーフレームを使用することを研究してい
る。彼らは、冗長さを減らすために、キーフレームの数
を減らすことについて特別な考慮なしに各ショットから
一つのキーフレームを抽出している。キーフレームは一
様なサイズとされ、クローズドキャプションデータから
抽出されたテキストと共にコラム内に単純にレイアウト
される。彼らの研究には、パックするための努力は組み
込まれていない。
レイ（Ｓｈａｈｒａｒａｙ）らは、ビデオのＨＴＭＬ表
現のためにキーフレームを使用することを研究してい
る。彼らは、冗長さを減らすために、キーフレームの数
を減らすことについて特別な考慮なしに各ショットから
一つのキーフレームを抽出している。キーフレームは一
様なサイズとされ、クローズドキャプションデータから
抽出されたテキストと共にコラム内に単純にレイアウト
される。彼らの研究には、パックするための努力は組み
込まれていない。
【０００５】タニグチ（Ｔａｎｉｇｕｃｈｉ）らは、パ
ンして得られたビデオを合成することによって形成され
た大きな画像である「パノラマ」の２Ｄパッキングを使
用してビデオを要約した。彼らの方法においては、キー
フレームは、全てのショットから抽出され、ビデオの内
容の２Ｄ表現のために使用された。フレームは、冗長さ
を減らす目的では選択されなかった。彼らのパッキング
手順は、幾分か準最適であり、結果として生じる合成物
に白い空間を残している。
ンして得られたビデオを合成することによって形成され
た大きな画像である「パノラマ」の２Ｄパッキングを使
用してビデオを要約した。彼らの方法においては、キー
フレームは、全てのショットから抽出され、ビデオの内
容の２Ｄ表現のために使用された。フレームは、冗長さ
を減らす目的では選択されなかった。彼らのパッキング
手順は、幾分か準最適であり、結果として生じる合成物
に白い空間を残している。
【０００６】イェン（Ｙｅｕｎｇ）らは、ビデオの各シ
ョット毎に「ドミナンススコア(dominance score)」を
使用してビデオの絵で表した要約を作成したが、このよ
うなスコアをどのように実施するか、及び、それをどの
ように使用するかについての詳細は、アドホック(ad ho
c)である。また絵で表した要約には、フレームの時間的
な順序がしばしば無視されるポスター状の表現に関して
のみ使用することが可能である特定された所定の構造が
用いられている。
ョット毎に「ドミナンススコア(dominance score)」を
使用してビデオの絵で表した要約を作成したが、このよ
うなスコアをどのように実施するか、及び、それをどの
ように使用するかについての詳細は、アドホック(ad ho
c)である。また絵で表した要約には、フレームの時間的
な順序がしばしば無視されるポスター状の表現に関して
のみ使用することが可能である特定された所定の構造が
用いられている。
【０００７】ビデオの内容をブラウジングするための作
られた幾つかの他のツールが公知であるが、不十分な要
約を提供するだけであるか、或いは、単にビデオを「そ
のままの」シーケンスで表示するだけである。
られた幾つかの他のツールが公知であるが、不十分な要
約を提供するだけであるか、或いは、単にビデオを「そ
のままの」シーケンスで表示するだけである。
【０００８】
【課題を解決するための手段】本発明者らは、ビデオ要
約が生成される効率を高めるためには、ショット或いは
セグメントの重要度の量的な測定が必要であるというこ
とを理解した。そのような量的な測定は、ビデオのどの
ショット或いはセグメントが最も意味があるかを決定す
るために使用することができる。また、本発明者らは、
計算或いは数式によって客観的に決定され、これによ
り、ショット或いはセグメントの選択プロセスを自動化
することができる場合には量的な測定が最良であること
も理解した。
約が生成される効率を高めるためには、ショット或いは
セグメントの重要度の量的な測定が必要であるというこ
とを理解した。そのような量的な測定は、ビデオのどの
ショット或いはセグメントが最も意味があるかを決定す
るために使用することができる。また、本発明者らは、
計算或いは数式によって客観的に決定され、これによ
り、ショット或いはセグメントの選択プロセスを自動化
することができる場合には量的な測定が最良であること
も理解した。
【０００９】これに加えて、本発明者らは、量的な測定
は、最も重要なショット或いはセグメントのみを有する
ビデオ要約を生成するために使用することもでき、ま
た、代表フレーム（キーフレームとしても参照される）
のサイズを増やすか減らすかのいずれかによって、要約
のどのショット或いはセグメントを強調する（より重要
な情報（とする））か、或いは、重要視しない（より重
要でない情報（とする））かを決定する際に使用するこ
とができるということも理解した。
は、最も重要なショット或いはセグメントのみを有する
ビデオ要約を生成するために使用することもでき、ま
た、代表フレーム（キーフレームとしても参照される）
のサイズを増やすか減らすかのいずれかによって、要約
のどのショット或いはセグメントを強調する（より重要
な情報（とする））か、或いは、重要視しない（より重
要でない情報（とする））かを決定する際に使用するこ
とができるということも理解した。
【００１０】更に、本発明者らは、要約のために選択さ
れた、強調された及び重要視されなかったショット或い
はセグメントの各々の効率的な２Ｄ表現のためのパッキ
ング方法を決定した。このように、ショットの重要度が
決定されると、二次元の静止表現は、重要度に相関的に
サイズが決められた各々のショット或いはセグメントに
ついて代表キーフレームを効率的にパックすることによ
って構成することができる。
れた、強調された及び重要視されなかったショット或い
はセグメントの各々の効率的な２Ｄ表現のためのパッキ
ング方法を決定した。このように、ショットの重要度が
決定されると、二次元の静止表現は、重要度に相関的に
サイズが決められた各々のショット或いはセグメントに
ついて代表キーフレームを効率的にパックすることによ
って構成することができる。
【００１１】したがって、本発明の目的は、ビデオのシ
ョット或いはセグメントの重要度を決定する方法であっ
て、ビデオを複数のショット或いは関連する複数のフレ
ームにセグメント化するステップと、各々のショット或
いはセグメントごとに重要度の量を計算するステップと
を含む方法を提供することである。セグメント化するス
テップは、共通の属性及び合致基準或いはアルゴリズム
の少なくとも一つに基づいて、ビデオのフレームをクラ
スタ化するステップも含む。
ョット或いはセグメントの重要度を決定する方法であっ
て、ビデオを複数のショット或いは関連する複数のフレ
ームにセグメント化するステップと、各々のショット或
いはセグメントごとに重要度の量を計算するステップと
を含む方法を提供することである。セグメント化するス
テップは、共通の属性及び合致基準或いはアルゴリズム
の少なくとも一つに基づいて、ビデオのフレームをクラ
スタ化するステップも含む。
【００１２】本発明の別の目的は、ビデオを要約する方
法であって、ビデオの構成要素のショットの重要度を決
定するステップと、それらの重要度に基づいて要約で使
用されるべき構成要素のショット或いはセグメントを選
択して、選択された構成要素のショットから代表フレー
ムを抽出するステップと、代表フレームをビデオ要約中
に提示するステップとを含む方法を提供することであ
る。提示するステップは、フレームが抽出されるショッ
トの重要度と要約の表示のための所定の限定領域の空間
の量とに基づいて各々の代表フレームのサイズを決定
し、代表フレームを所定の限定領域にパックするステッ
プとを含む。
法であって、ビデオの構成要素のショットの重要度を決
定するステップと、それらの重要度に基づいて要約で使
用されるべき構成要素のショット或いはセグメントを選
択して、選択された構成要素のショットから代表フレー
ムを抽出するステップと、代表フレームをビデオ要約中
に提示するステップとを含む方法を提供することであ
る。提示するステップは、フレームが抽出されるショッ
トの重要度と要約の表示のための所定の限定領域の空間
の量とに基づいて各々の代表フレームのサイズを決定
し、代表フレームを所定の限定領域にパックするステッ
プとを含む。
【００１３】また本発明の目的は、フレームのシーケン
スを限定領域にパックするための方法であって、フレー
ムシーケンスを限定領域に適合させるステップと、限定
領域ごとに最低コストを有するフレームシーケンスを選
択するステップとを含む方法を提供することである。
スを限定領域にパックするための方法であって、フレー
ムシーケンスを限定領域に適合させるステップと、限定
領域ごとに最低コストを有するフレームシーケンスを選
択するステップとを含む方法を提供することである。
【００１４】また本発明の目的は、ビデオ要約を見るた
めのインターフェースを提供することである。インター
フェースは、要約の各々のフレームについてビデオの開
始点或いは（開始）部分にリンクされた参照符号と共に
印刷されたビデオ要約を有する紙、或いは、ビデオの一
つ以上の開始点或いは（開始）部分に対応するリンクを
備えたウェブベースのインターフェースとすることがで
きるが、これらに限定されるものではない。本発明の第
１の態様は、ビデオのセグメント重要度を決定する方法
であって、ビデオを少なくとも一つの関連するフレーム
にセグメント化するステップと、各々のセグメントごと
に重要度の量を計算するステップと、を含む。本発明の
第２の態様は、第１の態様において、前記セグメント化
するステップは、少なくとも一つのクラスタを作り出す
ために、共通の属性及び合致基準の少なくとも一つに基
づいてビデオのフレームをクラスタ化するステップと、
ビデオを同じクラスタのフレームのセグメントに分割す
るステップと、を含む。本発明の第３の態様は、第２の
態様において、前記クラスタ化するステップは、ビデオ
の各フレームを階層的なツリーの葉に配置するステップ
であって、ツリーのルートノードはビデオの全てのフレ
ームを含む最大クラスタである該ステップと、前記階層
的なツリーの中間ノードであるクラスタを生成するため
に、共通の属性及び合致基準の少なくとも一つに基づい
て関連するフレームをショットに結合するステップと、
を含む。本発明の第４の態様は、第２の態様において、
前記合致基準は、各構成要素のショット間の時間の近接
度、空間の近接度、色の近接度、最小距離、カラーヒス
トグラム距離、及び、変換係数距離の少なくとも一つを
評価するステップと、評価するステップの所定の閾値に
合致する構成要素のショットを結合するステップと、を
含む。本発明の第５の態様は、第１の態様において、前
記計算するステップは、各クラスタの重みを計算するス
テップと、各々のショットの特徴及びその対応するクラ
スタの重みに基づいてビデオの各々の個別のショットの
重要度を決定するステップと、を含む。本発明の第６の
態様は、第５の態様において、前記各クラスタの重みを
計算するステップは、以下の式を含む少なくとも１つの
式に基づいてクラスタの重みを決定するステップを有す
る。
めのインターフェースを提供することである。インター
フェースは、要約の各々のフレームについてビデオの開
始点或いは（開始）部分にリンクされた参照符号と共に
印刷されたビデオ要約を有する紙、或いは、ビデオの一
つ以上の開始点或いは（開始）部分に対応するリンクを
備えたウェブベースのインターフェースとすることがで
きるが、これらに限定されるものではない。本発明の第
１の態様は、ビデオのセグメント重要度を決定する方法
であって、ビデオを少なくとも一つの関連するフレーム
にセグメント化するステップと、各々のセグメントごと
に重要度の量を計算するステップと、を含む。本発明の
第２の態様は、第１の態様において、前記セグメント化
するステップは、少なくとも一つのクラスタを作り出す
ために、共通の属性及び合致基準の少なくとも一つに基
づいてビデオのフレームをクラスタ化するステップと、
ビデオを同じクラスタのフレームのセグメントに分割す
るステップと、を含む。本発明の第３の態様は、第２の
態様において、前記クラスタ化するステップは、ビデオ
の各フレームを階層的なツリーの葉に配置するステップ
であって、ツリーのルートノードはビデオの全てのフレ
ームを含む最大クラスタである該ステップと、前記階層
的なツリーの中間ノードであるクラスタを生成するため
に、共通の属性及び合致基準の少なくとも一つに基づい
て関連するフレームをショットに結合するステップと、
を含む。本発明の第４の態様は、第２の態様において、
前記合致基準は、各構成要素のショット間の時間の近接
度、空間の近接度、色の近接度、最小距離、カラーヒス
トグラム距離、及び、変換係数距離の少なくとも一つを
評価するステップと、評価するステップの所定の閾値に
合致する構成要素のショットを結合するステップと、を
含む。本発明の第５の態様は、第１の態様において、前
記計算するステップは、各クラスタの重みを計算するス
テップと、各々のショットの特徴及びその対応するクラ
スタの重みに基づいてビデオの各々の個別のショットの
重要度を決定するステップと、を含む。本発明の第６の
態様は、第５の態様において、前記各クラスタの重みを
計算するステップは、以下の式を含む少なくとも１つの
式に基づいてクラスタの重みを決定するステップを有す
る。
【数２】 ここで、Ｗiはクラスタｉの計算された重みであり、Ｓi
はクラスタｉの全てのショットの全体の長さであり、Ｃ
はビデオのクラスタの数である。本発明の第７の態様
は、第６の態様において、各クラスタ内の各ショットの
重要度を決定する前記ステップは、以下の式を含む少な
くとも１つの式に基づいて各ショットの重要度を計算す
るステップ、を含む。
はクラスタｉの全てのショットの全体の長さであり、Ｃ
はビデオのクラスタの数である。本発明の第７の態様
は、第６の態様において、各クラスタ内の各ショットの
重要度を決定する前記ステップは、以下の式を含む少な
くとも１つの式に基づいて各ショットの重要度を計算す
るステップ、を含む。
【数３】 ここで、Ｉjはショットｊの重要度、Ｌjはショットｊの
長さ、Ｗkはショットｊが属するクラスタｋの計算され
た重みである。本発明の第８の態様は、ビデオの内容を
要約する方法であって、ビデオの構成要素のショットの
重要度を決定するステップと、構成要素のショットから
代表フレームを選択するステップと、代表フレームが選
択される構成要素のショットの重要度に基づいて要約中
の選択された代表フレームを提示するステップと、を含
むビデオのセグメント重要度を決定する方法である。本
発明の第９の態様は、第８の態様において、各々の個々
のショットの特性と個々のショットを含むクラスタの重
みに基づいてビデオの構成要素のショットに閾値処理を
行うステップを更に含む。本発明の第１０の態様は、第
９の態様において、前記閾値処理を行うステップが、い
ずれかの選択されなかったショットより高い重要度レベ
ルを有するショットと、少なくとも所定の重要度の値を
有するショットの所定の数の少なくとも一つを選択する
ステップと、全ての選択されなかったショットを廃棄す
るステップとを含む。本発明の第１１の態様は、第８の
態様において、前記選択するステップは、各々のショッ
トの最初のフレーム、各々のショットを特徴付けるフレ
ーム、各々のショットの全てのフレームの図心に最も近
いフレーム、顔が存在するフレーム、動きの欠如及び徴
候のいずれか一方を有するフレームの少なくとも一つを
含む式に基づいて各々のショットから代表フレームを選
択するステップ、を含む。本発明の第１２の態様は、第
８の態様において、前記提示するステップは、各フレー
ムの重要度及び要約の表示のための所定の限定領域内の
空間の量に基づいて、各代表フレームのサイズを決定す
るステップと、代表フレームを所定の限定領域の中にパ
ックするステップとを含む。本発明の第１３の態様は、
第１２の態様において、前記サイズを決めるステップ
は、代表フレームが選択される構成要素のショットの重
要度に基づいて各々の代表フレームのサイズを決定する
ステップと、各フレームのサイズを前記要約の所定の限
界領域の空き空間に適合するように調整するステップ
と、を含む。本発明の第１４の態様は、第８の態様にお
いて、前記要約は、前記要約のプリントアウトと、各々
のコードがビデオの少なくとも一つの代表フレームに関
連している少なくとも一つのコードのセットと、を含む
紙インターフェースを含み、各々のコードがビデオのセ
グメント及び開始マーカの少なくとも一つへのインデッ
クスを供給する。本発明の第１５の態様は、第８の態様
において、前記要約は、前記要約の表示と、各々のリン
クが選択された代表フレームの少なくとも一つに関連し
ている少なくとも一つのリンクのセットと、を含むウェ
ブインターフェースを含み、各々のリンクがビデオのセ
グメント及び開始マーカの少なくとも一つにアクセスす
る。本発明の第１６の態様は、フレームセットを限定領
域にパックする方法であって、フレームシーケンスを限
定領域に適合させるステップと、限定領域について最小
のコストを有するフレームシーケンスを選択するステッ
プと、を含む。本発明の第１７の態様は、第１６の態様
において、前記適合させるステップは、行高さのセット
から行高さ（ｒ）を割り当てるステップと、限定領域を
高さ（ｒ）を有する行に分割するステップと、行高さ
（ｒ）を有する限定領域に適合するフレームシーケンス
を生成するステップと、前記行高さのセットの各々につ
いて、前記割り当てるステップ、前記分割するステッ
プ、及び、前記生成するステップを繰り返すステップ
と、を含む。本発明の第１８の態様は、第１７の態様に
おいて、前記適合させるステップは、各々の行高さ
（ｒ）について生成された最低コストのフレームシーケ
ンスを低コストのシーケンスのセットに配置するステッ
プを含み、前記選択するステップは、前記低コストのフ
レームシーケンスのセットから最低コストのフレームシ
ーケンスを選択するステップを含む。本発明の第１９の
態様は、第１７の態様において、前記分割するステップ
は、限定領域を、前記フレームのセットの最小フレーム
の高さの倍数である行高さ（ｒ）を有するグリッドに分
割するステップを含む。本発明の第２０の態様は、第１
６の態様において、前記適合させるステップは、限定領
域を少なくとも一つのグリッドのセットに分割するステ
ップと、最低コストのフレームシーケンスを各々のグリ
ッドに適合させるステップとを含み、前記選択するステ
ップは、 各々のグリッドから最低コストのフレームシ
ーケンスに基づいて限定領域のフレームシーケンスを選
択するステップを含む。本発明の第２１の態様は、第２
０の態様において、最低コストのフレームシーケンスを
適合させる前記ステップは、前記グリッドのセットのグ
リッドを選択するステップと、行高さのセットから選択
されたグリッドの行高さ（ｒ）を割り当てるステップ
と、行高さ（ｒ）を備えた選択されたグリッドに適合す
るフレームシーケンスを生成するステップと、行高さ
（ｒ）を備えた選択されたグリッドについての最低コス
トを有する生成されたフレームシーケンスを低コストの
フレームシーケンスのセットに配置するステップと、行
高さのセットの各々の残りの行高さについて前記生成す
るステップ及び前記配置するステップを実行するステッ
プと、低コストのフレームシーケンスのセットから最低
コストのフレームシーケンスを選択するステップと、各
々の残りのグリッドについて、前記割り当てるステッ
プ、前記生成するステップ、前記配置するステップ、前
記実行するステップ、及び、最低コストのフレームシー
ケンスを選択するステップを繰り返すステップと、を含
む。本発明の第２２の態様は、第２１の態様において、
前記フレームシーケンスを生成するステップは、前記フ
レームのセットのフレームの数及び順序に一致する最低
コストのフレームシーケンスにわたってフレームの数及
び順序を維持するステップを含む。本発明の第２３の態
様は、第２１の態様において、前記生成するステップ
は、フレームが生成された順序と等価な前記フレームシ
ーケンスのフレームの順序を維持するステップ、を含
む。本発明の第２４の態様は、第２１の態様において、
前記生成するステップは、選択されたグリッドの行の白
い空間の最初の白い空間に適合させるために各々のフレ
ームのサイズを変えるステップ、を含む。本発明の第２
５の態様は、第２１の態様において、前記分割するステ
ップは、限定領域をＷのグリッド間隔を有する少なくと
も一つのグリッドのセットに分割するステップを含み、
前記生成するステップは、選択されたグリッドのグリ
ッド空間の白い空間の最初の白い空間に適合させるため
に各々のフレームのサイズを変えるステップを含む。本
発明の第２６の態様は、第２１の態様において、前記配
置するステップは、以下の式を使用して、前記生成する
ステップによって生成された各々のシーケンスのコスト
ｄ（ｑ，ｂ，ｅ）を計算するステップを含む。
長さ、Ｗkはショットｊが属するクラスタｋの計算され
た重みである。本発明の第８の態様は、ビデオの内容を
要約する方法であって、ビデオの構成要素のショットの
重要度を決定するステップと、構成要素のショットから
代表フレームを選択するステップと、代表フレームが選
択される構成要素のショットの重要度に基づいて要約中
の選択された代表フレームを提示するステップと、を含
むビデオのセグメント重要度を決定する方法である。本
発明の第９の態様は、第８の態様において、各々の個々
のショットの特性と個々のショットを含むクラスタの重
みに基づいてビデオの構成要素のショットに閾値処理を
行うステップを更に含む。本発明の第１０の態様は、第
９の態様において、前記閾値処理を行うステップが、い
ずれかの選択されなかったショットより高い重要度レベ
ルを有するショットと、少なくとも所定の重要度の値を
有するショットの所定の数の少なくとも一つを選択する
ステップと、全ての選択されなかったショットを廃棄す
るステップとを含む。本発明の第１１の態様は、第８の
態様において、前記選択するステップは、各々のショッ
トの最初のフレーム、各々のショットを特徴付けるフレ
ーム、各々のショットの全てのフレームの図心に最も近
いフレーム、顔が存在するフレーム、動きの欠如及び徴
候のいずれか一方を有するフレームの少なくとも一つを
含む式に基づいて各々のショットから代表フレームを選
択するステップ、を含む。本発明の第１２の態様は、第
８の態様において、前記提示するステップは、各フレー
ムの重要度及び要約の表示のための所定の限定領域内の
空間の量に基づいて、各代表フレームのサイズを決定す
るステップと、代表フレームを所定の限定領域の中にパ
ックするステップとを含む。本発明の第１３の態様は、
第１２の態様において、前記サイズを決めるステップ
は、代表フレームが選択される構成要素のショットの重
要度に基づいて各々の代表フレームのサイズを決定する
ステップと、各フレームのサイズを前記要約の所定の限
界領域の空き空間に適合するように調整するステップ
と、を含む。本発明の第１４の態様は、第８の態様にお
いて、前記要約は、前記要約のプリントアウトと、各々
のコードがビデオの少なくとも一つの代表フレームに関
連している少なくとも一つのコードのセットと、を含む
紙インターフェースを含み、各々のコードがビデオのセ
グメント及び開始マーカの少なくとも一つへのインデッ
クスを供給する。本発明の第１５の態様は、第８の態様
において、前記要約は、前記要約の表示と、各々のリン
クが選択された代表フレームの少なくとも一つに関連し
ている少なくとも一つのリンクのセットと、を含むウェ
ブインターフェースを含み、各々のリンクがビデオのセ
グメント及び開始マーカの少なくとも一つにアクセスす
る。本発明の第１６の態様は、フレームセットを限定領
域にパックする方法であって、フレームシーケンスを限
定領域に適合させるステップと、限定領域について最小
のコストを有するフレームシーケンスを選択するステッ
プと、を含む。本発明の第１７の態様は、第１６の態様
において、前記適合させるステップは、行高さのセット
から行高さ（ｒ）を割り当てるステップと、限定領域を
高さ（ｒ）を有する行に分割するステップと、行高さ
（ｒ）を有する限定領域に適合するフレームシーケンス
を生成するステップと、前記行高さのセットの各々につ
いて、前記割り当てるステップ、前記分割するステッ
プ、及び、前記生成するステップを繰り返すステップ
と、を含む。本発明の第１８の態様は、第１７の態様に
おいて、前記適合させるステップは、各々の行高さ
（ｒ）について生成された最低コストのフレームシーケ
ンスを低コストのシーケンスのセットに配置するステッ
プを含み、前記選択するステップは、前記低コストのフ
レームシーケンスのセットから最低コストのフレームシ
ーケンスを選択するステップを含む。本発明の第１９の
態様は、第１７の態様において、前記分割するステップ
は、限定領域を、前記フレームのセットの最小フレーム
の高さの倍数である行高さ（ｒ）を有するグリッドに分
割するステップを含む。本発明の第２０の態様は、第１
６の態様において、前記適合させるステップは、限定領
域を少なくとも一つのグリッドのセットに分割するステ
ップと、最低コストのフレームシーケンスを各々のグリ
ッドに適合させるステップとを含み、前記選択するステ
ップは、 各々のグリッドから最低コストのフレームシ
ーケンスに基づいて限定領域のフレームシーケンスを選
択するステップを含む。本発明の第２１の態様は、第２
０の態様において、最低コストのフレームシーケンスを
適合させる前記ステップは、前記グリッドのセットのグ
リッドを選択するステップと、行高さのセットから選択
されたグリッドの行高さ（ｒ）を割り当てるステップ
と、行高さ（ｒ）を備えた選択されたグリッドに適合す
るフレームシーケンスを生成するステップと、行高さ
（ｒ）を備えた選択されたグリッドについての最低コス
トを有する生成されたフレームシーケンスを低コストの
フレームシーケンスのセットに配置するステップと、行
高さのセットの各々の残りの行高さについて前記生成す
るステップ及び前記配置するステップを実行するステッ
プと、低コストのフレームシーケンスのセットから最低
コストのフレームシーケンスを選択するステップと、各
々の残りのグリッドについて、前記割り当てるステッ
プ、前記生成するステップ、前記配置するステップ、前
記実行するステップ、及び、最低コストのフレームシー
ケンスを選択するステップを繰り返すステップと、を含
む。本発明の第２２の態様は、第２１の態様において、
前記フレームシーケンスを生成するステップは、前記フ
レームのセットのフレームの数及び順序に一致する最低
コストのフレームシーケンスにわたってフレームの数及
び順序を維持するステップを含む。本発明の第２３の態
様は、第２１の態様において、前記生成するステップ
は、フレームが生成された順序と等価な前記フレームシ
ーケンスのフレームの順序を維持するステップ、を含
む。本発明の第２４の態様は、第２１の態様において、
前記生成するステップは、選択されたグリッドの行の白
い空間の最初の白い空間に適合させるために各々のフレ
ームのサイズを変えるステップ、を含む。本発明の第２
５の態様は、第２１の態様において、前記分割するステ
ップは、限定領域をＷのグリッド間隔を有する少なくと
も一つのグリッドのセットに分割するステップを含み、
前記生成するステップは、選択されたグリッドのグリ
ッド空間の白い空間の最初の白い空間に適合させるため
に各々のフレームのサイズを変えるステップを含む。本
発明の第２６の態様は、第２１の態様において、前記配
置するステップは、以下の式を使用して、前記生成する
ステップによって生成された各々のシーケンスのコスト
ｄ（ｑ，ｂ，ｅ）を計算するステップを含む。
【数４】 ここで、ｑはフレームシーケンス（ｑiはフレームシー
ケンスｑのｉ番目の要素）、ｂは開始フレーム、ｅは終
了フレーム、ｊは要約マーカ、ｃはコスト関数、ｆはフ
レームサイズ、ｗは重要度関数である。本発明の第２７
の態様は、第１６の態様において、選択されたフレーム
シーケンスをウェブページに表示するステップと、選択
されたフレームシーケンスの少なくとも一つのフレーム
を、リンクされたフレームに関連するビデオの表示及び
他の情報の少なくとも一つの表示のために、セグメン
ト、開始ポイント、及びメニューオプションの一つにリ
ンクさせるステップと、を更に含む。本発明の第２８の
態様は、第１６の態様において、選択されたフレームシ
ーケンスを、紙及び他の媒体の少なくとも一つを有する
タブレットに転送するステップと、選択されたフレーム
シーケンスの少なくとも一つのフレームを、リンクされ
たフレームに関連するコード参照情報にリンクさせるス
テップと、を更に含む。
ケンスｑのｉ番目の要素）、ｂは開始フレーム、ｅは終
了フレーム、ｊは要約マーカ、ｃはコスト関数、ｆはフ
レームサイズ、ｗは重要度関数である。本発明の第２７
の態様は、第１６の態様において、選択されたフレーム
シーケンスをウェブページに表示するステップと、選択
されたフレームシーケンスの少なくとも一つのフレーム
を、リンクされたフレームに関連するビデオの表示及び
他の情報の少なくとも一つの表示のために、セグメン
ト、開始ポイント、及びメニューオプションの一つにリ
ンクさせるステップと、を更に含む。本発明の第２８の
態様は、第１６の態様において、選択されたフレームシ
ーケンスを、紙及び他の媒体の少なくとも一つを有する
タブレットに転送するステップと、選択されたフレーム
シーケンスの少なくとも一つのフレームを、リンクされ
たフレームに関連するコード参照情報にリンクさせるス
テップと、を更に含む。
【００１５】本発明の一層完全な理解及び本発明に付随
する利点が容易に得られるように、添付の図面と関連し
て本発明を考察する際に、以下の詳細な説明を参照する
ことによって一層良く理解される。
する利点が容易に得られるように、添付の図面と関連し
て本発明を考察する際に、以下の詳細な説明を参照する
ことによって一層良く理解される。
【００１６】
【発明の実施の形態】本発明は、ショット或いはセグメ
ントの重要度の測定を提示する。直接の用途は、重要な
ショット或いはセグメントからのキーフレームは印刷さ
れるが、重要でないものは印刷されないビデオ要約を印
刷することである。本実施態様においては、重要でない
キーフレームは、小さなサイズで印刷され、「コミック
ブック」或いは「マンガ」レイアウトになる。新規の方
法は、異なったサイズにされたキーフレームを効率的に
パックするために提示される。
ントの重要度の測定を提示する。直接の用途は、重要な
ショット或いはセグメントからのキーフレームは印刷さ
れるが、重要でないものは印刷されないビデオ要約を印
刷することである。本実施態様においては、重要でない
キーフレームは、小さなサイズで印刷され、「コミック
ブック」或いは「マンガ」レイアウトになる。新規の方
法は、異なったサイズにされたキーフレームを効率的に
パックするために提示される。
【００１７】一般的には、カットに対応する大きなフレ
ーム差、或いは、ショット境界を見つけることによっ
て、自動的にビデオをその構成要素のショットにセグメ
ント化するための多くの技術が存在する。検出される
と、類似のショット（例えば、類似のカメラアングル或
いは対象物）が一つのショット或いはクラスタであると
見做せるように、類似性によってショットをクラスタ化
することができる。例えば、カメラが二人の俳優の間を
繰り返し交互に行き来するフィルムダイアログは、一般
的には、各俳優について一つである二つのクラスタから
成る。
ーム差、或いは、ショット境界を見つけることによっ
て、自動的にビデオをその構成要素のショットにセグメ
ント化するための多くの技術が存在する。検出される
と、類似のショット（例えば、類似のカメラアングル或
いは対象物）が一つのショット或いはクラスタであると
見做せるように、類似性によってショットをクラスタ化
することができる。例えば、カメラが二人の俳優の間を
繰り返し交互に行き来するフィルムダイアログは、一般
的には、各俳優について一つである二つのクラスタから
成る。
【００１８】セグメント化されると、ショットは類似性
によってクラスタ化することができる。ビデオをショッ
トに予めセグメント化することなく、クラスタを決定す
ることもできる。ここで使用された方法は、最初にビデ
オの各々のフレーム（或いは、サブサンプルされた表
現）が独自のクラスタに割り当てられる階層的なクラス
タ化である。クラスタの数は、二つのクラスタメンバフ
レームの全ての組み合わせの間の最小距離に基づいて、
各々のステップにおいて二つの最も近いクラスタを相互
に併合することによって減少する。フレーム間の距離を
比較するために、カラーヒストグラム距離或いは変換係
数距離のような多数の技術が利用可能である。階層的ク
ラスタ化により、個々のフレームがツリーの葉の上にあ
るようなツリー構造とされた表現になる。
によってクラスタ化することができる。ビデオをショッ
トに予めセグメント化することなく、クラスタを決定す
ることもできる。ここで使用された方法は、最初にビデ
オの各々のフレーム（或いは、サブサンプルされた表
現）が独自のクラスタに割り当てられる階層的なクラス
タ化である。クラスタの数は、二つのクラスタメンバフ
レームの全ての組み合わせの間の最小距離に基づいて、
各々のステップにおいて二つの最も近いクラスタを相互
に併合することによって減少する。フレーム間の距離を
比較するために、カラーヒストグラム距離或いは変換係
数距離のような多数の技術が利用可能である。階層的ク
ラスタ化により、個々のフレームがツリーの葉の上にあ
るようなツリー構造とされた表現になる。
【００１９】ツリーのルートノードは全てのフレームか
ら成る最大クラスタである。各々のノードの子は、ノー
ドを形成するために併合されるサブクラスタであり、葉
に至るまで細かくなる。併合されたクラスタ間の距離が
各々のノードと共に格納される場合には、閾値処理によ
ってクラスタ化の所望の数を選択するためにその距離を
使用することができる。それ以下ではフレームが同じク
ラスタの中にあると見做される閾距離を設定することに
より、一つ（ツリーのルート）と多数のフレーム（ツリ
ーの葉）との間で数を調整することができる。
ら成る最大クラスタである。各々のノードの子は、ノー
ドを形成するために併合されるサブクラスタであり、葉
に至るまで細かくなる。併合されたクラスタ間の距離が
各々のノードと共に格納される場合には、閾値処理によ
ってクラスタ化の所望の数を選択するためにその距離を
使用することができる。それ以下ではフレームが同じク
ラスタの中にあると見做される閾距離を設定することに
より、一つ（ツリーのルート）と多数のフレーム（ツリ
ーの葉）との間で数を調整することができる。
【００２０】クラスタの最適数は、ビデオのタイプ及び
長さに依存する。クラスタが選択されると、各々のフレ
ームにはその対応するクラスタのラベルが付けられる。
セグメント或いはショットは、同じクラスタ内のフレー
ムのシーケンスによって規定される。ビデオにＣ個のク
ラスタがあり、正規化されたクラスタ重みの測定値がク
ラスタｉについてＷiであるとすると、以下のように計
算される。
長さに依存する。クラスタが選択されると、各々のフレ
ームにはその対応するクラスタのラベルが付けられる。
セグメント或いはショットは、同じクラスタ内のフレー
ムのシーケンスによって規定される。ビデオにＣ個のク
ラスタがあり、正規化されたクラスタ重みの測定値がク
ラスタｉについてＷiであるとすると、以下のように計
算される。
【数５】 ここで、Ｓiは、クラスタ内の全てのショット或いはセ
グメントの長さを合計することによって求められた、ク
ラスタｉ内の全てのショット或いはセグメントの長さの
合計である。Ｗiは、クラスタｉ内にあるビデオ全体に
対するショット或いはセグメントの割合である。
グメントの長さを合計することによって求められた、ク
ラスタｉ内の全てのショット或いはセグメントの長さの
合計である。Ｗiは、クラスタｉ内にあるビデオ全体に
対するショット或いはセグメントの割合である。
【００２１】ショット或いはセグメントは、それが長く
且つ稀である場合には、すなわち、それが大部分の他の
ショット或いはセグメントに似ていない場合には重要で
ある。このようにショット或いはセグメントの長さをク
ラスタ重みの逆数で重み付けすることにより、ショット
或いはセグメントの重要度の測定値が生じる。このよう
に（クラスタｋにおける）ショットｊの重要度Ｉは、以
下の通りである。
且つ稀である場合には、すなわち、それが大部分の他の
ショット或いはセグメントに似ていない場合には重要で
ある。このようにショット或いはセグメントの長さをク
ラスタ重みの逆数で重み付けすることにより、ショット
或いはセグメントの重要度の測定値が生じる。このよう
に（クラスタｋにおける）ショットｊの重要度Ｉは、以
下の通りである。
【数６】 ここで、Ｌjは、ショットｊの長さである。
【００２２】重要度の測定値は、ショットが長い場合に
は大きくなり、クラスタ重みが大きい場合（ショットが
一般的であることを意味する）には小さくなる。また重
要度は、カラーヒストグラムの差、画素差、或いは、変
換係数差として計算されたショットを開始する変化の大
きさのような他の要因によっても重み付けされる。これ
により、先行するショットから大きく異なっていない場
合には、ショットの重要度は減少する。
は大きくなり、クラスタ重みが大きい場合（ショットが
一般的であることを意味する）には小さくなる。また重
要度は、カラーヒストグラムの差、画素差、或いは、変
換係数差として計算されたショットを開始する変化の大
きさのような他の要因によっても重み付けされる。これ
により、先行するショットから大きく異なっていない場
合には、ショットの重要度は減少する。
【００２３】対数関数の中の定数１は、ショット長とク
ラスタ重みとの間のトレードオフを制御するための重み
付け係数αで置き換えることができる。
ラスタ重みとの間のトレードオフを制御するための重み
付け係数αで置き換えることができる。
【数７】
【００２４】αの値が大きいと、クラスタ重みが重要度
にあまり寄与しないことを意味し、αを小さくすること
は、重要度の測定値に対するクラスタ重みの寄与を増や
すことである。或るショットカテゴリーを優先的に重み
付けすることがしばしば必要である。例えば人物のクロ
ーズアップは、ワイドの群衆ショットよりも優先される
かもしれない。重要度の重みは、増幅係数を含ませるこ
とによって、これを反映させるために修正することがで
きる。
にあまり寄与しないことを意味し、αを小さくすること
は、重要度の測定値に対するクラスタ重みの寄与を増や
すことである。或るショットカテゴリーを優先的に重み
付けすることがしばしば必要である。例えば人物のクロ
ーズアップは、ワイドの群衆ショットよりも優先される
かもしれない。重要度の重みは、増幅係数を含ませるこ
とによって、これを反映させるために修正することがで
きる。
【数８】
【００２５】Ａtは、カテゴリーｔについての所定の増
幅因子である（例えば、カテゴリーｔは、一層優位に重
み付けされるクローズアップ、或いは、一層少なく重み
付けされる群衆シーン或いはモーションとすることがで
きる）。Ｐt（Ｓj）は、ショットＳjがカテゴリーｔに
属する確率の推定値である。式（３）及び式（４）は、
以下の式（５）に示されるように、ショット長と個々の
クラスタの両方の重み付けができるように、結合するこ
とができる。
幅因子である（例えば、カテゴリーｔは、一層優位に重
み付けされるクローズアップ、或いは、一層少なく重み
付けされる群衆シーン或いはモーションとすることがで
きる）。Ｐt（Ｓj）は、ショットＳjがカテゴリーｔに
属する確率の推定値である。式（３）及び式（４）は、
以下の式（５）に示されるように、ショット長と個々の
クラスタの両方の重み付けができるように、結合するこ
とができる。
【数９】
【００２６】幾つかの図面にわたって同様な参照番号が
同一或いは対応する部分を示す図面、特にその図１をこ
こで参照すると、ビデオクリップのセグメントについて
の計算された重要度の値を表すグラフが例示されてい
る。ビデオクリップは、階層的クラスタ化によって、各
々がグラフ上のポイントによって表される６９個のセグ
メント或いはショットに分割された。各々のポイントに
ついての重要度の値は、殆ど無視できるもの（例えば、
ポイント２４）から約０．３（ポイント１８参照）の高
さであるものまである。
同一或いは対応する部分を示す図面、特にその図１をこ
こで参照すると、ビデオクリップのセグメントについて
の計算された重要度の値を表すグラフが例示されてい
る。ビデオクリップは、階層的クラスタ化によって、各
々がグラフ上のポイントによって表される６９個のセグ
メント或いはショットに分割された。各々のポイントに
ついての重要度の値は、殆ど無視できるもの（例えば、
ポイント２４）から約０．３（ポイント１８参照）の高
さであるものまである。
【００２７】各々のショットについての重要度が計算さ
れると、ビデオの要約を作り出すことができる。構成さ
れると、代表的な静止フレーム或いはキーフレームは、
各々のショットに関連する。これは、例えば、ショット
の最初のフレームを抽出することによって、或いは、更
に洗練された方法では、ショットの特徴を最も良く表し
ているフレームを見つけることによって行うことができ
る。例えば、最良の選択は、（上述したようなクラスタ
化における距離計量を使用して）全てのショットフレー
ムの図心に最も近いフレームとすることができる。代表
的なフレームを選択するために多数の基準、例えば、顔
検出器による顔の存在、動きの欠如、或いは、他の理由
が利用可能である。
れると、ビデオの要約を作り出すことができる。構成さ
れると、代表的な静止フレーム或いはキーフレームは、
各々のショットに関連する。これは、例えば、ショット
の最初のフレームを抽出することによって、或いは、更
に洗練された方法では、ショットの特徴を最も良く表し
ているフレームを見つけることによって行うことができ
る。例えば、最良の選択は、（上述したようなクラスタ
化における距離計量を使用して）全てのショットフレー
ムの図心に最も近いフレームとすることができる。代表
的なフレームを選択するために多数の基準、例えば、顔
検出器による顔の存在、動きの欠如、或いは、他の理由
が利用可能である。
【００２８】ショットに重要度のラベルが付されるとき
には、重要度の値は、ショットの所望の数、したがっ
て、要約についてのキーフレームを選択するための閾値
に従うことができる。フレームが選択されると、ビデオ
シーケンスの絵で表されたアブストラクトを形成するた
めに、フレームを一次元以上の次元にレイアウトするこ
とができる。「コミックブック」フォーマットのような
印刷された概要のためには、二次元が最も適切であろ
う。連続的な表現或いはオーバーレイ特性を組み込んだ
他のフォーマットも同様に使用することができる。
には、重要度の値は、ショットの所望の数、したがっ
て、要約についてのキーフレームを選択するための閾値
に従うことができる。フレームが選択されると、ビデオ
シーケンスの絵で表されたアブストラクトを形成するた
めに、フレームを一次元以上の次元にレイアウトするこ
とができる。「コミックブック」フォーマットのような
印刷された概要のためには、二次元が最も適切であろ
う。連続的な表現或いはオーバーレイ特性を組み込んだ
他のフォーマットも同様に使用することができる。
【００２９】重要度のスコアに閾値処理を行うことによ
り、表示すべきフレームの所望の数を適切なレベルにす
ることができる。レイアウトを容易にするために、フレ
ームは、おそらくそれらの重要度のスコアに依存して、
より小さな或いはより大きなサイズで表示することがで
きる。例えば、これにより、図２Ａに示されるような結
果となる。「主要な」ショットＩ及びＪ（それらは高い
重要度のスコアを有するので主要である）は、フルサイ
ズのフレームによって表される。ショットＫ及びＬはセ
クションを共有しなければならないが、これはそれらが
重要でない場合には不合理ではない。
り、表示すべきフレームの所望の数を適切なレベルにす
ることができる。レイアウトを容易にするために、フレ
ームは、おそらくそれらの重要度のスコアに依存して、
より小さな或いはより大きなサイズで表示することがで
きる。例えば、これにより、図２Ａに示されるような結
果となる。「主要な」ショットＩ及びＪ（それらは高い
重要度のスコアを有するので主要である）は、フルサイ
ズのフレームによって表される。ショットＫ及びＬはセ
クションを共有しなければならないが、これはそれらが
重要でない場合には不合理ではない。
【００３０】閾値処理を行うプロセス自体は、異なった
方法で実行することができる。例えば、重要度の値は、
０．１５以上を選択することができ、少なくとも０．１
５のスコアをもつセグメントが、要約のために選択され
る。別の方法として、ショットの最適数を、例えば４に
決定することができ、四つのみのセグメントが残るまで
閾値レベルを高くする（本質的に四つの最も高いスコア
のセグメントを選択する）。
方法で実行することができる。例えば、重要度の値は、
０．１５以上を選択することができ、少なくとも０．１
５のスコアをもつセグメントが、要約のために選択され
る。別の方法として、ショットの最適数を、例えば４に
決定することができ、四つのみのセグメントが残るまで
閾値レベルを高くする（本質的に四つの最も高いスコア
のセグメントを選択する）。
【００３１】これらの技術を図１のチャートに適用する
と、閾値を０．１５にするとビデオ要約のために単一セ
グメントが選択されることになる。この別の方法の技術
を使用すると、要約のレイアウトのために四つのフレー
ム（キーフレーム）が残すために、閾値は約０．１２に
下げられる。
と、閾値を０．１５にするとビデオ要約のために単一セ
グメントが選択されることになる。この別の方法の技術
を使用すると、要約のレイアウトのために四つのフレー
ム（キーフレーム）が残すために、閾値は約０．１２に
下げられる。
【００３２】またフレームサイズも重要度のスコアに閾
値処理を行うことによって選択される。例えば、三つの
フレームサイズが指定されたと仮定する。重要度のスコ
アが閾値よりも大きく最大スコアまでの距離の１／３よ
り小さい場合には、最小サイズのキーフレームが使用さ
れる。最大スコアまでの距離の１／３より大きく最大ス
コアまでの距離の２／３より小さいセグメントについて
は、最小のサイズの２倍のサイズのキーフレームが選択
される。最大スコアと最大スコアまでの距離の２／３と
の間のセグメントは最大サイズのキーフレームを使用す
る。
値処理を行うことによって選択される。例えば、三つの
フレームサイズが指定されたと仮定する。重要度のスコ
アが閾値よりも大きく最大スコアまでの距離の１／３よ
り小さい場合には、最小サイズのキーフレームが使用さ
れる。最大スコアまでの距離の１／３より大きく最大ス
コアまでの距離の２／３より小さいセグメントについて
は、最小のサイズの２倍のサイズのキーフレームが選択
される。最大スコアと最大スコアまでの距離の２／３と
の間のセグメントは最大サイズのキーフレームを使用す
る。
【００３３】適切な制約条件が与えられると、異なった
サイズとされたキーフレームシーケンスは、ユーザの介
入なしに合理的なページ（或いは、他の）レイアウトに
変えることができるので、レイアウトプロセスは自動化
することができる。理想的には、ユーザは、ページの
数、ページ当たりのセクションの数、及び、キーフレー
ムサイズの許容範囲のような少数のパラメータを指定す
ることだけが必要となる。上記の例においては（図２
Ａ）、二つのキーフレームサイズのみの範囲であるが、
他のパラメータの指定も勿論可能である。
サイズとされたキーフレームシーケンスは、ユーザの介
入なしに合理的なページ（或いは、他の）レイアウトに
変えることができるので、レイアウトプロセスは自動化
することができる。理想的には、ユーザは、ページの
数、ページ当たりのセクションの数、及び、キーフレー
ムサイズの許容範囲のような少数のパラメータを指定す
ることだけが必要となる。上記の例においては（図２
Ａ）、二つのキーフレームサイズのみの範囲であるが、
他のパラメータの指定も勿論可能である。
【００３４】したがって、図３に示されるように全体の
プロセスを例示することができる。ビデオをフレーム３
１５に分割するためにビデオ３００が分割器３１０に供
給される。フレーム３１５は、セグメント１…ｎ ３２
５を作り出すための上述されたプロセス（クラスタ化、
階層ツリー等）のいずれかを使用することができるセグ
メンタ３２０に供給される（別の方法として、ビデオ３
００は、構成要素のショットに分割され、次いで、セグ
メンター３２０に供給され、或いは、ビデオ３００は、
セグメンター３２０に直接供給される）。次いで、セグ
メント或いはショットは、各々のセグメント或いはショ
ットごとに重要度の量を計算する重要度計算機３３０に
供給される。次いで、セレクタ３４０は、各々のセグメ
ント或いはショットから代表フレームを選択する。代表
フレームが選択されると、パッキング装置３５０は、デ
ィスプレイ／インターフェース３５５のために重要度に
従ってフレームサイズを変えて効率的な配置にパックす
る。
プロセスを例示することができる。ビデオをフレーム３
１５に分割するためにビデオ３００が分割器３１０に供
給される。フレーム３１５は、セグメント１…ｎ ３２
５を作り出すための上述されたプロセス（クラスタ化、
階層ツリー等）のいずれかを使用することができるセグ
メンタ３２０に供給される（別の方法として、ビデオ３
００は、構成要素のショットに分割され、次いで、セグ
メンター３２０に供給され、或いは、ビデオ３００は、
セグメンター３２０に直接供給される）。次いで、セグ
メント或いはショットは、各々のセグメント或いはショ
ットごとに重要度の量を計算する重要度計算機３３０に
供給される。次いで、セレクタ３４０は、各々のセグメ
ント或いはショットから代表フレームを選択する。代表
フレームが選択されると、パッキング装置３５０は、デ
ィスプレイ／インターフェース３５５のために重要度に
従ってフレームサイズを変えて効率的な配置にパックす
る。
【００３５】フレームをショットから選択することが可
能であるとすると、空間を効率的に埋め、且つ、元のビ
デオシーケンスを良好に表すフレームサイズのシーケン
スを見つけるというレイアウト問題が減る。一致の程度
を規定するために適切なコスト関数を使用することがで
きる。しかしながら、空間のサイズに従ってあり得るシ
ーケンスの数は非常に大きく増加するので、最適なシー
ケンスを見つけることは困難である。
能であるとすると、空間を効率的に埋め、且つ、元のビ
デオシーケンスを良好に表すフレームサイズのシーケン
スを見つけるというレイアウト問題が減る。一致の程度
を規定するために適切なコスト関数を使用することがで
きる。しかしながら、空間のサイズに従ってあり得るシ
ーケンスの数は非常に大きく増加するので、最適なシー
ケンスを見つけることは困難である。
【００３６】最適な或いは最適に近いレイアウトを見つ
けるために、ダイナミックプログラミング（ＤＰ）及び
グリーディ(greedy)アルゴリズムのような既存の技術を
使用することができる。ダイナミックプロセッシング
は、この種の問題についての最適解を見つけることが保
証されているが、多大な努力と面倒な調整が必要であ
る。グリーディアルゴリズムは、比較的簡単であるが、
合理的な結果を作り出すのに失敗することがある。新規
のパッキング方法がここで紹介される。それはＤＰより
も適用するのが簡単であり、純粋なグリーディストラテ
ギー(strategy)よりも良好な解を供給する。
けるために、ダイナミックプログラミング（ＤＰ）及び
グリーディ(greedy)アルゴリズムのような既存の技術を
使用することができる。ダイナミックプロセッシング
は、この種の問題についての最適解を見つけることが保
証されているが、多大な努力と面倒な調整が必要であ
る。グリーディアルゴリズムは、比較的簡単であるが、
合理的な結果を作り出すのに失敗することがある。新規
のパッキング方法がここで紹介される。それはＤＰより
も適用するのが簡単であり、純粋なグリーディストラテ
ギー(strategy)よりも良好な解を供給する。
【００３７】この方法は、全体の空間の特定の「ブロッ
ク」或いはサブ領域をパックするためのフレームの最良
のシーケンスを選択するので「ブロック網羅型(exhaust
ive)」して説明される。最良のシーケンスは、特定のブ
ロックについてレイアウトの全ての組み合わせを探索す
ることによって見つけられる。ブロックは、比較的少な
いので、これは組み合わせは爆発せず（即ち、組み合わ
せの数が処理限界を超えることなく）、したがって、最
適なレイアウトが単純なツリー探索を含む簡単な技術で
見つけられる。
ク」或いはサブ領域をパックするためのフレームの最良
のシーケンスを選択するので「ブロック網羅型(exhaust
ive)」して説明される。最良のシーケンスは、特定のブ
ロックについてレイアウトの全ての組み合わせを探索す
ることによって見つけられる。ブロックは、比較的少な
いので、これは組み合わせは爆発せず（即ち、組み合わ
せの数が処理限界を超えることなく）、したがって、最
適なレイアウトが単純なツリー探索を含む簡単な技術で
見つけられる。
【００３８】パックされるべき空間は、グリッドの一つ
のユニットが最小のフレームサイズを保持するように、
グリッドに分割される。これは、フレームを以下のよう
にレイアウトするために使用される。すなわち、一つの
「行ブロック」或いはグリッドを横切る列の行が一度に
パックされる。ブロックごとの一致スコアは、その高さ
に応じて変化する。特定のブロックごとの高さは、パッ
キングスコアによって決定されたような最良のパッキン
グを作り出す。行ブロックがフレームにパックされる
と、全てのフレームがパックされるまで、更なる行ブロ
ックが相互に考慮される。
のユニットが最小のフレームサイズを保持するように、
グリッドに分割される。これは、フレームを以下のよう
にレイアウトするために使用される。すなわち、一つの
「行ブロック」或いはグリッドを横切る列の行が一度に
パックされる。ブロックごとの一致スコアは、その高さ
に応じて変化する。特定のブロックごとの高さは、パッ
キングスコアによって決定されたような最良のパッキン
グを作り出す。行ブロックがフレームにパックされる
と、全てのフレームがパックされるまで、更なる行ブロ
ックが相互に考慮される。
【００３９】以下のように仮定する。 ・最小フレームサイズの倍数として表されたフレームサ
イズ（本実施態様においては、これは上記のようなショ
ット重要度スコアから決定されるが、任意のサイズの割
り当てを使用することができる）ｆ1，ｆ2，…，ｆNの
シーケンスｆiは、Ｋ値（ｓ1，ｓ2，…，ｓK）の一つを
採る。 ・Ｍ値（ｒ1，ｒ2，…，ｒM）として、ブロック行高さ
の許容可能な範囲を選択する。例えば、最小フレームサ
イズの２或いは3 倍の行高さが許容可能である場合に
は、Ｍ＝２，ｒ1＝２，ｒ2＝３である。ブロック幅を固
定された値ｗに設定する。 ・フレームｘを利用可能な残りの空間ｙに配置するコス
トである関数ｃ（ｘ，ｙ）。一般的なコスト関数は、ｘ
とｙのサイズ差とすることができる。例えば、フレーム
を２ｘ２のサイズから1 ｘ１のセルに適合させるために
縮小する必要がある場合には、コストは１である。サイ
ズ変更を行わない場合はコストはゼロである。コスト関
数は、実際の領域差を反映するために二次にすることが
でき、或いは、あらゆる任意のコスト関数も使用可能で
ある。 ・空間埋め規則。一般的な規則は、列重視、すなわち、
上から下、そして、左から右である。これは、フレーム
が優先的にパックされる順序である。図２Ｂに示される
例は、最大ブロック高さが３であり、ブロック幅が８で
あるときの一般的な場合を示す。
イズ（本実施態様においては、これは上記のようなショ
ット重要度スコアから決定されるが、任意のサイズの割
り当てを使用することができる）ｆ1，ｆ2，…，ｆNの
シーケンスｆiは、Ｋ値（ｓ1，ｓ2，…，ｓK）の一つを
採る。 ・Ｍ値（ｒ1，ｒ2，…，ｒM）として、ブロック行高さ
の許容可能な範囲を選択する。例えば、最小フレームサ
イズの２或いは3 倍の行高さが許容可能である場合に
は、Ｍ＝２，ｒ1＝２，ｒ2＝３である。ブロック幅を固
定された値ｗに設定する。 ・フレームｘを利用可能な残りの空間ｙに配置するコス
トである関数ｃ（ｘ，ｙ）。一般的なコスト関数は、ｘ
とｙのサイズ差とすることができる。例えば、フレーム
を２ｘ２のサイズから1 ｘ１のセルに適合させるために
縮小する必要がある場合には、コストは１である。サイ
ズ変更を行わない場合はコストはゼロである。コスト関
数は、実際の領域差を反映するために二次にすることが
でき、或いは、あらゆる任意のコスト関数も使用可能で
ある。 ・空間埋め規則。一般的な規則は、列重視、すなわち、
上から下、そして、左から右である。これは、フレーム
が優先的にパックされる順序である。図２Ｂに示される
例は、最大ブロック高さが３であり、ブロック幅が８で
あるときの一般的な場合を示す。
【００４０】上記のように仮定すると、パッキング方法
は、一つの行ブロックについてパッキングを最適化する
三つの入れ子になったループから成る。外側ループは、
全ての可能性のある行高さ（ｒ1，ｒ2，…，ｒM）にわ
たっている。中間ループは、行ブロックを合致するでき
るだけ多くのフレームにパックして、シーケンスを作
る。内側ループは、全ての行高さｒ，可能性のあるフレ
ームシーケンスｉ及びｊについて、コストを累計する。
これらのプロセスは、以下にステップ１〜７で説明され
る。 １．開始フレームｓを１に設定する。 ２．行高さｒをＭ値（ｒ1，ｒ2，．．．，ｒM）の一つ
に設定する。 ３．「行ブロック」に合致する全てのフレームシーケン
ス｛ｑ1，ｑ2，．．．，ｑLr｝を。見つける。 ４．上記のシーケンスから、ｓとｓ＋ｎ1の間の元のシ
ーケンスの一部分に合致する長さｎ1のシーケンスｑ1を
見つける。ここで、
は、一つの行ブロックについてパッキングを最適化する
三つの入れ子になったループから成る。外側ループは、
全ての可能性のある行高さ（ｒ1，ｒ2，…，ｒM）にわ
たっている。中間ループは、行ブロックを合致するでき
るだけ多くのフレームにパックして、シーケンスを作
る。内側ループは、全ての行高さｒ，可能性のあるフレ
ームシーケンスｉ及びｊについて、コストを累計する。
これらのプロセスは、以下にステップ１〜７で説明され
る。 １．開始フレームｓを１に設定する。 ２．行高さｒをＭ値（ｒ1，ｒ2，．．．，ｒM）の一つ
に設定する。 ３．「行ブロック」に合致する全てのフレームシーケン
ス｛ｑ1，ｑ2，．．．，ｑLr｝を。見つける。 ４．上記のシーケンスから、ｓとｓ＋ｎ1の間の元のシ
ーケンスの一部分に合致する長さｎ1のシーケンスｑ1を
見つける。ここで、
【数１０】 ｆiは、元のシーケンスのｉ番目のフレームサイズを示
す。ｑijは、シーケンスｑiのｊ番目の要素である。ｗi
は、付加的な重み付け係数である。 ５．最良の行高さｒ及び長さｎの対応するシーケンスｑ
を見つけるために２及び３を繰り返す。これはこの行ブ
ロックについての最適パッキングである。 ６．ｓをｎだけ増やす。 ７．ｓが元のシーケンスの長さであるＮに達するまで２
から６を繰り返す（全てのフレームがパックされる）。
す。ｑijは、シーケンスｑiのｊ番目の要素である。ｗi
は、付加的な重み付け係数である。 ５．最良の行高さｒ及び長さｎの対応するシーケンスｑ
を見つけるために２及び３を繰り返す。これはこの行ブ
ロックについての最適パッキングである。 ６．ｓをｎだけ増やす。 ７．ｓが元のシーケンスの長さであるＮに達するまで２
から６を繰り返す（全てのフレームがパックされる）。
【００４１】上記のステップ２は、１）ｊ番目の要素が
Ｋ値（ｓ1，ｓ2，…、ｓK）の一つである１からｒｘＷ
の長さの全てのシーケンスを網羅的に生成し、そして、
２）「行ブロック」に合致しない全ての生成シーケンス
を除去することによって行われる。例えば、 １）ブロック高さが２である場合には、３要素を含むシ
ーケンスは合致せず、 ２）ブロック幅Ｗが８であり、最大行高さが３である場
合には、３より長い全ての３ｓのシーケンスは合致しな
い。考慮すべき可能性のある（ｒｘＷ）Kシーケンスが
あるけれども、ｒ、Ｗ、及びＫは非常に小さいので、効
率は大きな問題ではない。
Ｋ値（ｓ1，ｓ2，…、ｓK）の一つである１からｒｘＷ
の長さの全てのシーケンスを網羅的に生成し、そして、
２）「行ブロック」に合致しない全ての生成シーケンス
を除去することによって行われる。例えば、 １）ブロック高さが２である場合には、３要素を含むシ
ーケンスは合致せず、 ２）ブロック幅Ｗが８であり、最大行高さが３である場
合には、３より長い全ての３ｓのシーケンスは合致しな
い。考慮すべき可能性のある（ｒｘＷ）Kシーケンスが
あるけれども、ｒ、Ｗ、及びＫは非常に小さいので、効
率は大きな問題ではない。
【００４２】図４は、上述したプロセスのフロー例を示
すフローチャートである。図4 は、外側ループ４０５／
４４５の初期変数を設定して、ブロックに合致させるべ
きフレームの開始位置を維持するステップ４００を含
む。内側ループ４１０／４３０は、各々の可能性のある
行ブロック高さごとにフレームシーケンスを生成し、コ
ストアルゴリズムｄ（ｑi，ｓ，ｓ＋ｎi-1）は、各々の
行ブロックを合致させるためのコストを決定するために
使用される。各々の行高さについて最小シーケンスを決
定した後に、行ブロック全体についての最小が選択さ
れ、プロセスは繰り返す。
すフローチャートである。図4 は、外側ループ４０５／
４４５の初期変数を設定して、ブロックに合致させるべ
きフレームの開始位置を維持するステップ４００を含
む。内側ループ４１０／４３０は、各々の可能性のある
行ブロック高さごとにフレームシーケンスを生成し、コ
ストアルゴリズムｄ（ｑi，ｓ，ｓ＋ｎi-1）は、各々の
行ブロックを合致させるためのコストを決定するために
使用される。各々の行高さについて最小シーケンスを決
定した後に、行ブロック全体についての最小が選択さ
れ、プロセスは繰り返す。
【００４３】繰り返しプロセスは、以前の最小行ブロッ
クに合致する最後のフレームの後のフレームから始ま
る。全てのフレームがパックされた後に、ステップ４５
０でプロセスが完了する。表１は、図４のフローチャー
トで使用された用語を示す。
クに合致する最後のフレームの後のフレームから始ま
る。全てのフレームがパックされた後に、ステップ４５
０でプロセスが完了する。表１は、図４のフローチャー
トで使用された用語を示す。
【表１】
【００４４】この「行ブロック」パッキング手続きの結
果の例が図５に図示される。図の上部における矩形１ａ
〜５ａは、重要度によってサイズが変えられた元のフレ
ームシーケンスを示す。図の下部は、高さが３で幅が８
の行ブロックにパックされたフレームを示す（ここで
は、矩形１ｂ〜５ｂとして図示される）。フレーム５ｂ
のサイズは、最小の白空間でより良好なパッキングを行
うために（影が付された矩形で示された）元のものより
拡大される。
果の例が図５に図示される。図の上部における矩形１ａ
〜５ａは、重要度によってサイズが変えられた元のフレ
ームシーケンスを示す。図の下部は、高さが３で幅が８
の行ブロックにパックされたフレームを示す（ここで
は、矩形１ｂ〜５ｂとして図示される）。フレーム５ｂ
のサイズは、最小の白空間でより良好なパッキングを行
うために（影が付された矩形で示された）元のものより
拡大される。
【００４５】
【実施例】本発明者らは、ビデオテープに記録されたス
タッフミーティングに対して上述された方法をテストし
た。ビデオは、約５０分の長さで、実際のカメラ切り換
えの間をカウントすると、４９個の実際のショットから
成る。１５秒毎にビデオから静止フレームが抽出され、
計量距離として、高分散ＤＣＴ係数のユークリッド距離
を使用して、５１個のクラスタにクラスタ化された。時
折、同じショットからのフレームが、カメラの移動や室
内光の変化のような大きな変化のために、異なったクラ
スタに分割された。結果として、ビデオ全体は、９２個
のセグメントに分割された。上述したように、各々のセ
グメントについて、重要度の測定値が、その長さ及びク
ラスタ重みに基づいて計算された。
タッフミーティングに対して上述された方法をテストし
た。ビデオは、約５０分の長さで、実際のカメラ切り換
えの間をカウントすると、４９個の実際のショットから
成る。１５秒毎にビデオから静止フレームが抽出され、
計量距離として、高分散ＤＣＴ係数のユークリッド距離
を使用して、５１個のクラスタにクラスタ化された。時
折、同じショットからのフレームが、カメラの移動や室
内光の変化のような大きな変化のために、異なったクラ
スタに分割された。結果として、ビデオ全体は、９２個
のセグメントに分割された。上述したように、各々のセ
グメントについて、重要度の測定値が、その長さ及びク
ラスタ重みに基づいて計算された。
【００４６】静止概要を生成するために、高い重要度ス
コアを有するビデオセグメントが選択された。（式２の
重み付けしない計算を使用して）最大スコアの８分の１
より高いスコアを有するセグメントが選択された。減ら
されたＤＣＴ係数のユークリッド距離を再度使用して、
選択された各々のセグメント毎に、セグメント平均に最
も近いフレームが代表フレームとして抽出された。フレ
ームは、それらの元のセグメントの重要度の測定値に従
ってサイズが決定されるので、高い重要度のフレームは
大きかった。
コアを有するビデオセグメントが選択された。（式２の
重み付けしない計算を使用して）最大スコアの８分の１
より高いスコアを有するセグメントが選択された。減ら
されたＤＣＴ係数のユークリッド距離を再度使用して、
選択された各々のセグメント毎に、セグメント平均に最
も近いフレームが代表フレームとして抽出された。フレ
ームは、それらの元のセグメントの重要度の測定値に従
ってサイズが決定されるので、高い重要度のフレームは
大きかった。
【００４７】現在の実施態様においては、所与のフレー
ムの重要度が最大の８分の１と４分の１の間であった場
合には、最小フレームサイズが割り当てられる。最大の
４分の１より大きく半分より小さいスコアのフレーム
は、最小サイズの２倍のサイズにされ、２分の１より大
きいスコアのフレームは、最小サイズの３倍の大きさの
サイズにされた。概略のフレームサイズのパーセンテー
ジは、経験的に決定される閾値によって設定することが
できる。例えば、全ての表示されたフレームの半分が最
大サイズであることが望まれる場合には、上側閾値は、
（幾つかのフレームはパッキング方法によってサイズが
変更されることになるが）累計重要度スコアから決定す
ることができる。
ムの重要度が最大の８分の１と４分の１の間であった場
合には、最小フレームサイズが割り当てられる。最大の
４分の１より大きく半分より小さいスコアのフレーム
は、最小サイズの２倍のサイズにされ、２分の１より大
きいスコアのフレームは、最小サイズの３倍の大きさの
サイズにされた。概略のフレームサイズのパーセンテー
ジは、経験的に決定される閾値によって設定することが
できる。例えば、全ての表示されたフレームの半分が最
大サイズであることが望まれる場合には、上側閾値は、
（幾つかのフレームはパッキング方法によってサイズが
変更されることになるが）累計重要度スコアから決定す
ることができる。
【００４８】フレームサイズを割り当てた後に、冗長な
フレームを更に除去するために、以下の二つの手続きが
適用される。二つの手続きは、除去がなくなるまで繰り
返して適用される。
フレームを更に除去するために、以下の二つの手続きが
適用される。二つの手続きは、除去がなくなるまで繰り
返して適用される。
【００４９】［トリミング分岐］２つの連続するフレー
ムが同じクラスタからのものである場合には、より小さ
なフレームが除去される。両方のフレームが同じサイズ
を有する場合には、後に現れるフレームが除去され、先
に現れるフレームが拡大される。
ムが同じクラスタからのものである場合には、より小さ
なフレームが除去される。両方のフレームが同じサイズ
を有する場合には、後に現れるフレームが除去され、先
に現れるフレームが拡大される。
【００５０】［孤立部の除去］各々１フレームだけ離れ
た同じクラスタからの三つのフレームが見つかった場合
には、中間のフレームが最小のフレームであり、中間の
フレームが除去される。
た同じクラスタからの三つのフレームが見つかった場合
には、中間のフレームが最小のフレームであり、中間の
フレームが除去される。
【００５１】我々のサンプルビデオの場合には、サイズ
１，２，３の抽出されたフレームの数は、それぞれ、９
個，１３個，２個であった。我々は重要度スコアに対し
て簡単なフレームサイズの割り当てを選択したが、連続
可変サイズを含む多くの他の割り当てが可能である。異
なったサイズとされたフレームが、前述された方法を使
用してパックされた。結果は図６に示されており、この
パッキングについては、２４個のフレームの中の６個の
みがサイズの調整が必要であった。上記の要約は、テキ
スト注釈、タイトル、或いは、フレームと一緒にトラン
スクリプション(transcription)を表示することのよう
な、任意の数の方法で強化することができる。テキスト
は、見だし或いは台詞の吹き出しとして各々のフレーム
にスーパーインポーズして表示することができる。フレ
ームは、例えば、色が付いた境界を使用して、特別な時
間或いはインデックスマークを示すために、ハイライト
することができる。フレームは、例えば、弱いコントラ
スト（退色した）或いは色（グレイスケール）で表示す
ることにより、重要度或いは他のスコアによって、重要
視しない様にすることができる。
１，２，３の抽出されたフレームの数は、それぞれ、９
個，１３個，２個であった。我々は重要度スコアに対し
て簡単なフレームサイズの割り当てを選択したが、連続
可変サイズを含む多くの他の割り当てが可能である。異
なったサイズとされたフレームが、前述された方法を使
用してパックされた。結果は図６に示されており、この
パッキングについては、２４個のフレームの中の６個の
みがサイズの調整が必要であった。上記の要約は、テキ
スト注釈、タイトル、或いは、フレームと一緒にトラン
スクリプション(transcription)を表示することのよう
な、任意の数の方法で強化することができる。テキスト
は、見だし或いは台詞の吹き出しとして各々のフレーム
にスーパーインポーズして表示することができる。フレ
ームは、例えば、色が付いた境界を使用して、特別な時
間或いはインデックスマークを示すために、ハイライト
することができる。フレームは、例えば、弱いコントラ
スト（退色した）或いは色（グレイスケール）で表示す
ることにより、重要度或いは他のスコアによって、重要
視しない様にすることができる。
【００５２】［ビデオの紙インターフェース］上述され
た方法は、紙ユーザインターフェースを使用するビデオ
データベースシステムに容易に適用することができる。
ビデオデータベースの各々のビデオは、説明された方法
を使用して要約され、元のビデオを示すコード化された
情報と共に印刷される。図７は、各々の印刷されたフレ
ーム（例えば、６１０）、及び対応するコード化された
情報６１５についての紙インターフェースを例示する。
た方法は、紙ユーザインターフェースを使用するビデオ
データベースシステムに容易に適用することができる。
ビデオデータベースの各々のビデオは、説明された方法
を使用して要約され、元のビデオを示すコード化された
情報と共に印刷される。図７は、各々の印刷されたフレ
ーム（例えば、６１０）、及び対応するコード化された
情報６１５についての紙インターフェースを例示する。
【００５３】情報は、テキスト、グリフ(gryph)コード
或いはバーコードを含む多くの方法のいずれかを使用し
てコード化することができる。また、要約のフレーム
は、フレームによって表されたショットの開始時間を示
すタイムコードでラベルをつけることができる。各々の
フレームについてのタイムコードは、各フレームの下
方、或いは、実際のフレーム画像の中にコード化され
て、対応するどこにでも配置することができ,或いは、
呼び出し或いは図形的な指示を有することもできること
は明らかである。
或いはバーコードを含む多くの方法のいずれかを使用し
てコード化することができる。また、要約のフレーム
は、フレームによって表されたショットの開始時間を示
すタイムコードでラベルをつけることができる。各々の
フレームについてのタイムコードは、各フレームの下
方、或いは、実際のフレーム画像の中にコード化され
て、対応するどこにでも配置することができ,或いは、
呼び出し或いは図形的な指示を有することもできること
は明らかである。
【００５４】図８は、システムの一般的な実施態様を例
示する。基本的な構成要素は、ハンドヘルドグリフスキ
ャナ７００、グリフデコードユニット７１０及びビデオ
記録装置７２０及び再生装置７３０である。ユーザは、
紙要約に印刷されたグリフコードを走査することによっ
て所望のビデオを選択する。次いで、そのビデオからの
特定のショットは、代表フレームに添付されたグリフを
走査することによって選択することができる。別方とし
て、グリフは、ビデオとショットの両方をコード化する
ことができる。デコーダは、走査されたグラフコードを
デコードし、デコーダからの出力はビデオデータベース
に送られ、ビデオが検索されて指定された位置から再生
される。ビデオは、選択されたキーフレームが提示して
いるセグメントの最初から始めることができ、或いは、
選択された代表フレームが抽出されたポイントにおいて
始めることができる。他の印刷されたグリフは、例え
ば、音量或いは再生のような他の表現態様を制御するこ
とができる。
示する。基本的な構成要素は、ハンドヘルドグリフスキ
ャナ７００、グリフデコードユニット７１０及びビデオ
記録装置７２０及び再生装置７３０である。ユーザは、
紙要約に印刷されたグリフコードを走査することによっ
て所望のビデオを選択する。次いで、そのビデオからの
特定のショットは、代表フレームに添付されたグリフを
走査することによって選択することができる。別方とし
て、グリフは、ビデオとショットの両方をコード化する
ことができる。デコーダは、走査されたグラフコードを
デコードし、デコーダからの出力はビデオデータベース
に送られ、ビデオが検索されて指定された位置から再生
される。ビデオは、選択されたキーフレームが提示して
いるセグメントの最初から始めることができ、或いは、
選択された代表フレームが抽出されたポイントにおいて
始めることができる。他の印刷されたグリフは、例え
ば、音量或いは再生のような他の表現態様を制御するこ
とができる。
【００５５】ビデオは、ショット重要度の測定値を強調
するために再生のしながら修正することができる。例え
ば、音量を下げたり再生速度を上げたりすることによっ
て、より重要でないショットを重要視しないようにする
ことができる。特定の閾値より重要度の低いショットは
全体的にスキップすることができ、要約或いは「ビデオ
スキム」になる。複数のフレーム及びそれらの対応する
ショットは、個人的なビデオ要約を生成するためにユー
ザによって選択することができる。この動作のために、
ユーザは、フレームを選択する前後に専用のコードを走
査しなければならないかもしれない。この手順は、シス
テムのボタンを押すことによって置き換えることができ
る。スキャナがハンドヘルドであることは必須ではな
く、代わりにフラットベッドスキャナを使用することが
できる。その場合には、グリフコードの代わりにチェッ
クボックスをフレームに添付することができ、ユーザ
は、一つ以上のチェックボックスをマーキングすること
によってショットを特定することになる。（例図７）
するために再生のしながら修正することができる。例え
ば、音量を下げたり再生速度を上げたりすることによっ
て、より重要でないショットを重要視しないようにする
ことができる。特定の閾値より重要度の低いショットは
全体的にスキップすることができ、要約或いは「ビデオ
スキム」になる。複数のフレーム及びそれらの対応する
ショットは、個人的なビデオ要約を生成するためにユー
ザによって選択することができる。この動作のために、
ユーザは、フレームを選択する前後に専用のコードを走
査しなければならないかもしれない。この手順は、シス
テムのボタンを押すことによって置き換えることができ
る。スキャナがハンドヘルドであることは必須ではな
く、代わりにフラットベッドスキャナを使用することが
できる。その場合には、グリフコードの代わりにチェッ
クボックスをフレームに添付することができ、ユーザ
は、一つ以上のチェックボックスをマーキングすること
によってショットを特定することになる。（例図７）
【００５６】［ウェブベースのインターフェース］紙に
加えて、上記の機能の多くはウェブベースのビデオユー
ザインターフェースのために使用することができる。ビ
デオ要約は前記の通り構成することができるが、紙より
はむしろハイパーテキストの形態で表現される。ユーザ
は、列記されたビデオの名称或いは機能的に等価な表現
をクリックすることによってビデオ要約を生成すること
ができる。要約におけるフレームのサイズ及び数のよう
な種々のパラメータは、要求に応じて指定することがで
きる。生成された要約は、ウェブブラウザでの表示のた
めにクライアントに送り返され、或いは、紙の形態で印
刷される。これは少なくとも二つの方法で行うことがで
きる。一つの方法は、サーバにおいて完全なビットマッ
プとされた画像を生成して、それをクライアントに送る
ことである。別の方法は、サーバから画像ファイルとレ
イアウト情報を送って、クライアントに要約を組み立て
させることである。
加えて、上記の機能の多くはウェブベースのビデオユー
ザインターフェースのために使用することができる。ビ
デオ要約は前記の通り構成することができるが、紙より
はむしろハイパーテキストの形態で表現される。ユーザ
は、列記されたビデオの名称或いは機能的に等価な表現
をクリックすることによってビデオ要約を生成すること
ができる。要約におけるフレームのサイズ及び数のよう
な種々のパラメータは、要求に応じて指定することがで
きる。生成された要約は、ウェブブラウザでの表示のた
めにクライアントに送り返され、或いは、紙の形態で印
刷される。これは少なくとも二つの方法で行うことがで
きる。一つの方法は、サーバにおいて完全なビットマッ
プとされた画像を生成して、それをクライアントに送る
ことである。別の方法は、サーバから画像ファイルとレ
イアウト情報を送って、クライアントに要約を組み立て
させることである。
【００５７】またサーバは、開始時間及び期間、キーフ
レームインデックス、及び、レイアウト情報のような全
ての適切なショット情報を含むテーブルを生成すること
もできる。このテーブルは、サーバ側或いはクライアン
ト側のどちらでも保持することができる。要約上でマウ
スクリックが検出されたときには、クリック位置をテー
ブルを介してマッピングすることによって指定されたビ
デオ及びショットを決定することができる。次いで、開
始時間を決定することができ、ビデオプレイヤを起動す
るために使用することができる。このように、ユーザ
は、要約を見ることによってビデオの内容を通してスキ
ミングし、クリックされたフレームに対応するビデオの
位置或いはセグメントから再生されるべきビデオについ
てのトリガである要約中の任意のフレームをクリックす
ることによって詳細に入り始める（即ち、詳細を見る）
ことができる。
レームインデックス、及び、レイアウト情報のような全
ての適切なショット情報を含むテーブルを生成すること
もできる。このテーブルは、サーバ側或いはクライアン
ト側のどちらでも保持することができる。要約上でマウ
スクリックが検出されたときには、クリック位置をテー
ブルを介してマッピングすることによって指定されたビ
デオ及びショットを決定することができる。次いで、開
始時間を決定することができ、ビデオプレイヤを起動す
るために使用することができる。このように、ユーザ
は、要約を見ることによってビデオの内容を通してスキ
ミングし、クリックされたフレームに対応するビデオの
位置或いはセグメントから再生されるべきビデオについ
てのトリガである要約中の任意のフレームをクリックす
ることによって詳細に入り始める（即ち、詳細を見る）
ことができる。
【００５８】前述の紙インターフェースと同様な外見を
有するウェブインターフェースの例が図９に示される。
有するウェブインターフェースの例が図９に示される。
【００５９】本発明は、コンピュータ技術分野の当業者
にとって明らかであるように、本開示の教示に従ってプ
ログラムされた従来の汎用或いは専用デジタルコンピュ
ータ或いはマイクロプロセッサを使用して簡便に実施す
ることができる。
にとって明らかであるように、本開示の教示に従ってプ
ログラムされた従来の汎用或いは専用デジタルコンピュ
ータ或いはマイクロプロセッサを使用して簡便に実施す
ることができる。
【００６０】適切なソフトウェアコーディングは、ソフ
トウェア技術分野の当業者にとって明らかであるよう
に、本開示の教示に基づいて、熟練したプログラマによ
って容易に用意することができる。また本発明は、当業
者にとって容易に明らかであるように、用途特定集積回
路の用意によって、或いは、従来の構成要素回路の適切
なネットワークの相互接続によって、実施することもで
きる。
トウェア技術分野の当業者にとって明らかであるよう
に、本開示の教示に基づいて、熟練したプログラマによ
って容易に用意することができる。また本発明は、当業
者にとって容易に明らかであるように、用途特定集積回
路の用意によって、或いは、従来の構成要素回路の適切
なネットワークの相互接続によって、実施することもで
きる。
【００６１】本発明は、本発明のプロセスのいずれかを
実行するようにコンピュータをプログラムするために使
用することができる、その内部に格納された命令を有す
る一つの（或いは複数の）記憶媒体であるコンピュータ
プログラム製品を含む。蓄積媒体は、フロッピディス
ク、光ディスク、ＤＶＤ、ＣＤ−ＲＯＭ、マイクロドラ
イブ、及び光磁気ディスクを含む任意のタイプのディス
ク、ＲＯＭ、ＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＤＲ
ＡＭ、ＶＲＡＭ、フラッシュメモリ装置、磁気或いは光
カード、（分子(molecular)ＩＣを含む）ナノシステ
ム、或いは、命令及び／又はデータを格納するのに適し
た任意のタイプの媒体或いはデバイスを含むことができ
るが、これらに限定されるものではない。
実行するようにコンピュータをプログラムするために使
用することができる、その内部に格納された命令を有す
る一つの（或いは複数の）記憶媒体であるコンピュータ
プログラム製品を含む。蓄積媒体は、フロッピディス
ク、光ディスク、ＤＶＤ、ＣＤ−ＲＯＭ、マイクロドラ
イブ、及び光磁気ディスクを含む任意のタイプのディス
ク、ＲＯＭ、ＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＤＲ
ＡＭ、ＶＲＡＭ、フラッシュメモリ装置、磁気或いは光
カード、（分子(molecular)ＩＣを含む）ナノシステ
ム、或いは、命令及び／又はデータを格納するのに適し
た任意のタイプの媒体或いはデバイスを含むことができ
るが、これらに限定されるものではない。
【００６２】本発明は、コンピュータが読み取り可能な
一つの（或いは複数の）媒体のいずれか一つに格納され
て、汎用／専用コンピュータ或いはマイクロプロセッサ
のハードウェアの両方を制御するための、また、コンピ
ュータあるいはマイクロプロセッサが、本発明の結果を
使用して、人間であるユーザ或いは他のメカニズムと相
互作用できるようにようにするためのソフトウェアを含
む。そのようなソフトウェアは、デバイスドライバ、オ
ペレイティングシステム、及び、ユーザアプリケーショ
ンを含むことができるが、これらに限定されるものでは
ない。最後に、そのようなコンピュータが読み取り可能
な媒体は、更に、上述したように、本発明を実行するた
めのソフトウェアを含む。
一つの（或いは複数の）媒体のいずれか一つに格納され
て、汎用／専用コンピュータ或いはマイクロプロセッサ
のハードウェアの両方を制御するための、また、コンピ
ュータあるいはマイクロプロセッサが、本発明の結果を
使用して、人間であるユーザ或いは他のメカニズムと相
互作用できるようにようにするためのソフトウェアを含
む。そのようなソフトウェアは、デバイスドライバ、オ
ペレイティングシステム、及び、ユーザアプリケーショ
ンを含むことができるが、これらに限定されるものでは
ない。最後に、そのようなコンピュータが読み取り可能
な媒体は、更に、上述したように、本発明を実行するた
めのソフトウェアを含む。
【００６３】汎用／専用コンピュータ或いはマイクロプ
ロセッサのプログラミング（ソフトウェア）に含まれる
のは、ビデオのセグメント化、ショットの重要度の計
算、クラスタ化、パッキング、及び、本発明のプロセス
に従った結果の表示、記憶、或いは、通信を含む本発明
の教示を実施するためのソフトウェアモジュールである
が、これに限定されるものではない。
ロセッサのプログラミング（ソフトウェア）に含まれる
のは、ビデオのセグメント化、ショットの重要度の計
算、クラスタ化、パッキング、及び、本発明のプロセス
に従った結果の表示、記憶、或いは、通信を含む本発明
の教示を実施するためのソフトウェアモジュールである
が、これに限定されるものではない。
【００６４】明らかに、本発明の修正及び変形が上記の
教示を考慮して可能である。したがって、それは添付の
特許請求の範囲内であることが理解されるべきであり、
本発明は、ここに特に説明されたものとはべつのもので
実施することができる。
教示を考慮して可能である。したがって、それは添付の
特許請求の範囲内であることが理解されるべきであり、
本発明は、ここに特に説明されたものとはべつのもので
実施することができる。
【図１】 ビデオ提示における各々のセグメント或いは
ショットごとの重要度計算のグラフである。
ショットごとの重要度計算のグラフである。
【図２】 （Ａ）は重要度に基づいてサイズが決定され
パックされたフレームを示し、（Ｂ）はパッキングのた
めの行ブロックの例を示す。
パックされたフレームを示し、（Ｂ）はパッキングのた
めの行ブロックの例を示す。
【図３】 セグメント化、クラスタ化、及びパッキング
装置のブロック図である。
装置のブロック図である。
【図４】 パッキングプロセスを説明するフローチャー
トである。
トである。
【図５】 白空間を最小化するための再サイズ決定によ
るパックされたフレームシーケンスの例示である。
るパックされたフレームシーケンスの例示である。
【図６】 重要度に基づいたパッキングから得られるビ
デオ要約製品である。
デオ要約製品である。
【図７】 本発明に従ってレイアウトされたビデオフレ
ームの紙要約である。
ームの紙要約である。
【図８】 ビデオ紙要約を使用するための装置レイアウ
トの例示である。
トの例示である。
【図９】 本発明に従ったビデオ要約ウェブインターフ
ェースの例示である。
ェースの例示である。
３００ ビデオ ３１０ 分割器 ３２０ セグメンター ３００ 重要度計算機 ３４０ セレクタ ３５０ パッキング装置 ３５５ 表示／インターフェース
───────────────────────────────────────────────────── フロントページの続き (72)発明者 リン ディー． ウィルコックス アメリカ合衆国 94028 カリフォルニア 州 ポートラ ヴァレイ ホアーキン ロ ード 45
Claims (23)
- 【請求項１】 ビデオのセグメント重要度を決定する方
法であって、 ビデオを少なくとも一つの関連するフレームにセグメン
ト化するステップと、 各々のセグメントごとに重要度の量を計算するステップ
と、を含むビデオのセグメント重要度を決定する方法。 - 【請求項２】 前記セグメント化するステップは、 少なくとも一つのクラスタを作り出すために、共通の属
性及び合致基準の少なくとも一つに基づいてビデオのフ
レームをクラスタ化するステップと、 ビデオを同じクラスタのフレームのセグメントに分割す
るステップと、を含む請求項１に記載のビデオのセグメ
ント重要度を決定する方法。 - 【請求項３】 前記クラスタ化するステップは、 ビデオの各フレームを階層的なツリーの葉に配置するス
テップであって、ツリーのルートノードはビデオの全て
のフレームを含む最大クラスタである該ステップと、 前記階層的なツリーの中間ノードであるクラスタを生成
するために、共通の属性及び合致基準の少なくとも一つ
に基づいて関連するフレームをショットに結合するステ
ップと、を含む請求項２に記載のビデオのセグメント重
要度を決定する方法。 - 【請求項４】 前記合致基準は、 各構成要素のショット間の時間の近接度、空間の近接
度、色の近接度、最小距離、カラーヒストグラム距離、
及び、変換係数距離の少なくとも一つを評価するステッ
プと、 評価するステップの所定の閾値に合致する構成要素のシ
ョットを結合するステップと、を含む請求項２に記載の
ビデオのセグメント重要度を決定する方法。 - 【請求項５】 前記計算するステップは、 各クラスタの重みを計算するステップと、 各々のショットの特徴及びその対応するクラスタの重み
に基づいてビデオの各々の個別のショットの重要度を決
定するステップと、を含む請求項１に記載のビデオのセ
グメント重要度を決定する方法。 - 【請求項６】 ビデオの構成要素のショットの重要度を
決定するステップと、 構成要素のショットから代表フレームを選択するステッ
プと、 代表フレームが選択される構成要素のショットの重要度
に基づいて要約中の選択された代表フレームを提示する
ステップと、を含むビデオの内容を要約する方法。 - 【請求項７】 各々の個々のショットの特性と個々のシ
ョットを含むクラスタの重みに基づいてビデオの構成要
素のショットに閾値処理を行うステップを更に含む請求
項６に記載のビデオの内容を要約する方法。 - 【請求項８】 前記閾値処理を行うステップが、 いずれかの選択されなかったショットより高い重要度レ
ベルを有するショットと、少なくとも所定の重要度の値
を有するショットの所定の数の少なくとも一つを選択す
るステップと、 全ての選択されなかったショットを廃棄するステップと
を含む請求項７に記載のビデオの内容を要約する方法。 - 【請求項９】 前記選択するステップは、 各々のショットの最初のフレーム、各々のショットを特
徴付けるフレーム、各々のショットの全てのフレームの
図心に最も近いフレーム、顔が存在するフレーム、動き
の欠如及び徴候のいずれか一方を有するフレームの少な
くとも一つを含む式に基づいて各々のショットから代表
フレームを選択するステップ、を含む請求項６に記載の
ビデオの内容を要約する方法。 - 【請求項１０】 前記提示するステップは、 各フレームの重要度及び要約の表示のための所定の限定
領域内の空間の量に基づいて、各代表フレームのサイズ
を決定するステップと、 代表フレームを所定の限定領域の中にパックするステッ
プとを含む請求項６に記載のビデオの内容を要約する方
法。 - 【請求項１１】 前記要約は、 前記要約のプリントアウトと、 各々のコードがビデオの少なくとも一つの代表フレーム
に関連している少なくとも一つのコードのセットと、を
含む紙インターフェースを含み、 各々のコードがビデオのセグメント及び開始マーカの少
なくとも一つへのインデックスを供給する請求項６に記
載のビデオの内容を要約する方法。 - 【請求項１２】 前記要約は、 前記要約の表示と、 各々のリンクが選択された代表フレームの少なくとも一
つに関連している少なくとも一つのリンクのセットと、
を含むウェブインターフェースを含み、 各々のリンクがビデオのセグメント及び開始マーカの少
なくとも一つにアクセスする請求項６に記載のビデオの
内容を要約する方法。 - 【請求項１３】 フレームセットを限定領域にパックす
る方法であって、 フレームシーケンスを限定領域に適合させるステップ
と、 限定領域について最小のコストを有するフレームシーケ
ンスを選択するステップと、を含むフレームセットを限
定領域にパックする方法。 - 【請求項１４】 前記適合させるステップは、 行高さのセットから行高さ（ｒ）を割り当てるステップ
と、 限定領域を高さ（ｒ）を有する行に分割するステップ
と、 行高さ（ｒ）を有する限定領域に適合するフレームシー
ケンスを生成するステップと、 前記行高さのセットの各々について、前記割り当てるス
テップ、前記分割するステップ、及び、前記生成するス
テップを繰り返すステップと、を含む請求項１３に記載
のフレームセットを限定領域にパックする方法。 - 【請求項１５】 前記適合させるステップは、 限定領域を少なくとも一つのグリッドのセットに分割す
るステップと、 最低コストのフレームシーケンスを各々のグリッドに適
合させるステップとを含み、 前記選択するステップは、 各々のグリッドから最低コストのフレームシーケンスに
基づいて限定領域のフレームシーケンスを選択するステ
ップを含む、請求項１３に記載のフレームセットを限定
領域にパックする方法。 - 【請求項１６】 最低コストのフレームシーケンスを適
合させる前記ステップは、 前記グリッドのセットのグリッドを選択するステップ
と、 行高さのセットから選択されたグリッドの行高さ（ｒ）
を割り当てるステップと、 行高さ（ｒ）を備えた選択されたグリッドに適合するフ
レームシーケンスを生成するステップと、 行高さ（ｒ）を備えた選択されたグリッドについての最
低コストを有する生成されたフレームシーケンスを低コ
ストのフレームシーケンスのセットに配置するステップ
と、 行高さのセットの各々の残りの行高さについて前記生成
するステップ及び前記配置するステップを実行するステ
ップと、 低コストのフレームシーケンスのセットから最低コスト
のフレームシーケンスを選択するステップと、 各々の残りのグリッドについて、前記割り当てるステッ
プ、前記生成するステップ、前記配置するステップ、前
記実行するステップ、及び、最低コストのフレームシー
ケンスを選択するステップを繰り返すステップと、を含
む請求項１５に記載のフレームセットを限定領域にパッ
クする方法。 - 【請求項１７】 前記フレームシーケンスを生成するス
テップは、前記フレームのセットのフレームの数及び順
序に一致する最低コストのフレームシーケンスにわたっ
てフレームの数及び順序を維持するステップを含む請求
項１６に記載のフレームセットを限定領域にパックする
方法。 - 【請求項１８】 前記生成するステップは、 フレームが生成された順序と等価な前記フレームシーケ
ンスのフレームの順序を維持するステップ、を含む請求
項１６に記載のフレームセットを限定領域にパックする
方法。 - 【請求項１９】 前記生成するステップは、 選択されたグリッドの行の白い空間の最初の白い空間に
適合させるために各々のフレームのサイズを変えるステ
ップ、を含む請求項１６に記載のフレームセットを限定
領域にパックする方法。 - 【請求項２０】 前記分割するステップは、限定領域を
Ｗのグリッド間隔を有する少なくとも一つのグリッドの
セットに分割するステップを含み、 前記生成するステップは、 選択されたグリッドのグリッド空間の白い空間の最初の
白い空間に適合させるために各々のフレームのサイズを
変えるステップを含む請求項１６に記載のフレームセッ
トを限定領域にパックする方法。 - 【請求項２１】 前記配置するステップは、 以下の式を使用して、前記生成するステップによって生
成された各々のシーケンスのコストｄ（ｑ，ｂ，ｅ）を
計算するステップを含む請求項１６に記載のフレームセ
ットを限定領域にパックする方法。 【数１】 ここで、 ｑはフレームシーケンス（ｑiはフレームシーケンスｑ
のｉ番目の要素）、 ｂは開始フレーム、 ｅは終了フレーム、 ｊは要約マーカ、 ｃはコスト関数、 ｆはフレームサイズ、 ｗは重要度関数 である。 - 【請求項２２】 選択されたフレームシーケンスをウェ
ブページに表示するステップと、 選択されたフレームシーケンスの少なくとも一つのフレ
ームを、リンクされたフレームに関連するビデオの表示
及び他の情報の少なくとも一つの表示のために、セグメ
ント、開始ポイント、及びメニューオプションの一つに
リンクさせるステップと、を更に含む請求項１３に記載
のフレームセットを限定領域にパックする方法。 - 【請求項２３】 選択されたフレームシーケンスを、紙
及び他の媒体の少なくとも一つを有するタブレットに転
送するステップと、 選択されたフレームシーケンスの少なくとも一つのフレ
ームを、リンクされたフレームに関連するコード参照情
報にリンクさせるステップと、を更に含む請求項１３に
記載のフレームセットを限定領域にパックする方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US267529 | 1999-03-12 | ||
| US09/267,529 US6535639B1 (en) | 1999-03-12 | 1999-03-12 | Automatic video summarization using a measure of shot importance and a frame-packing method |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007074829A Division JP4321613B2 (ja) | 1999-03-12 | 2007-03-22 | ビデオの内容を要約する方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000308008A true JP2000308008A (ja) | 2000-11-02 |
| JP3968942B2 JP3968942B2 (ja) | 2007-08-29 |
Family
ID=23019167
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000064869A Expired - Fee Related JP3968942B2 (ja) | 1999-03-12 | 2000-03-09 | ビデオの内容を要約する方法 |
| JP2007074829A Expired - Lifetime JP4321613B2 (ja) | 1999-03-12 | 2007-03-22 | ビデオの内容を要約する方法 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007074829A Expired - Lifetime JP4321613B2 (ja) | 1999-03-12 | 2007-03-22 | ビデオの内容を要約する方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6535639B1 (ja) |
| JP (2) | JP3968942B2 (ja) |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003087728A (ja) * | 2001-06-26 | 2003-03-20 | Pioneer Electronic Corp | 映像情報要約装置、映像情報要約方法および映像情報要約処理プログラム |
| EP1376583A2 (en) | 2002-06-19 | 2004-01-02 | Microsoft Corporation | System and method for automatically authoring video compositions using video clips |
| JP2005039626A (ja) * | 2003-07-16 | 2005-02-10 | Casio Comput Co Ltd | 画像印刷装置、画像印刷システム及びプログラム |
| JP2005525034A (ja) * | 2002-05-07 | 2005-08-18 | ヒューレット−パッカード デベロップメント カンパニー エル．ピー． | スケーラブルなビデオ要約およびナビゲーションのシステムおよび方法 |
| JP2005524916A (ja) * | 2002-05-07 | 2005-08-18 | ヒューレット−パッカード デベロップメント カンパニー エル．ピー． | スケーラブルなビデオの要約化 |
| JP2005293577A (ja) * | 2004-03-31 | 2005-10-20 | Fuji Xerox Co Ltd | ビデオ領域の高凝縮ビジュアル・サマリを生成する方法、装置及びプログラム |
| JP2006164254A (ja) * | 2004-11-12 | 2006-06-22 | Fuji Xerox Co Ltd | 映像検索結果を提示するためのシステム、装置、方法、およびプログラム |
| JP2007013951A (ja) * | 2005-06-17 | 2007-01-18 | Fuji Xerox Co Ltd | アクションキーフレーム内における複数のビデオフレーム全体にわたる動作を視覚化する方法とそのためのインタフェース |
| JP2007233709A (ja) * | 2006-03-01 | 2007-09-13 | Fujifilm Corp | カテゴリ重要度設定装置および方法、画像重要度設定装置および方法並びにプログラム |
| JP2007528622A (ja) * | 2003-06-27 | 2007-10-11 | ケーティー・コーポレーション | ファジー基盤特性支援ベクターを利用した動画自動要約装置及び方法 |
| JP2009065680A (ja) * | 2000-12-21 | 2009-03-26 | Koninkl Philips Electronics Nv | 映像番組のマルチメディア要約を提供するシステム及び方法 |
| JP2009282997A (ja) * | 2003-03-21 | 2009-12-03 | Fuji Xerox Co Ltd | レイアウト画像の作成方法、レイアウト画像決定システム及びプログラム |
| JP2011040154A (ja) * | 2010-09-17 | 2011-02-24 | Sony Corp | 情報処理装置、情報処理方法、およびプログラム |
| JP2011151510A (ja) * | 2010-01-20 | 2011-08-04 | Canon Inc | 表示制御装置、方法及びプログラム並びに記録媒体 |
| US8180199B2 (en) | 2005-07-13 | 2012-05-15 | Sony Corporation | Playback apparatus, playback method, program for playback method, and recording medium recorded with program for playback method thereon |
| KR101536930B1 (ko) * | 2014-01-07 | 2015-07-15 | 서울과학기술대학교 산학협력단 | 동영상을 요약하는 방법 및 동영상 요약기, 그리고 이를 이용한 동영상 만화 정보 서비스 방법 |
| US9899061B2 (en) | 2013-12-27 | 2018-02-20 | Fuji Xerox Co., Ltd. | Representative frame selecting system and non-transitory computer readable medium |
| KR20190093722A (ko) * | 2018-01-08 | 2019-08-12 | 삼성전자주식회사 | 전자장치, 그 제어방법 및 컴퓨터프로그램제품 |
| JP2020162138A (ja) * | 2015-09-16 | 2020-10-01 | 富士ゼロックス株式会社 | 情報処理装置及びプログラム |
| WO2022230777A1 (ja) * | 2021-04-27 | 2022-11-03 | 国立大学法人東京大学 | 情報処理方法、コンピュータ読み取り可能な非一時的な記憶媒体及び情報処理装置 |
Families Citing this family (181)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7596755B2 (en) * | 1997-12-22 | 2009-09-29 | Ricoh Company, Ltd. | Multimedia visualization and integration environment |
| US7954056B2 (en) * | 1997-12-22 | 2011-05-31 | Ricoh Company, Ltd. | Television-based visualization and navigation interface |
| US7134074B2 (en) * | 1998-12-25 | 2006-11-07 | Matsushita Electric Industrial Co., Ltd. | Data processing method and storage medium, and program for causing computer to execute the data processing method |
| US6236395B1 (en) * | 1999-02-01 | 2001-05-22 | Sharp Laboratories Of America, Inc. | Audiovisual information management system |
| WO2001003429A2 (en) * | 1999-07-06 | 2001-01-11 | Koninklijke Philips Electronics N.V. | Automatic extraction method of the structure of a video sequence |
| US7313808B1 (en) | 1999-07-08 | 2007-12-25 | Microsoft Corporation | Browsing continuous multimedia content |
| US7293280B1 (en) * | 1999-07-08 | 2007-11-06 | Microsoft Corporation | Skimming continuous multimedia content |
| US7424677B2 (en) * | 1999-09-16 | 2008-09-09 | Sharp Laboratories Of America, Inc. | Audiovisual information management system with usage preferences |
| US6677961B1 (en) * | 1999-09-24 | 2004-01-13 | Lg Electronics, Inc. | Method and apparatus for identifying a predetermined number of representative data pieces from within a selected data segment |
| US7020351B1 (en) * | 1999-10-08 | 2006-03-28 | Sarnoff Corporation | Method and apparatus for enhancing and indexing video and audio signals |
| WO2001028238A2 (en) * | 1999-10-08 | 2001-04-19 | Sarnoff Corporation | Method and apparatus for enhancing and indexing video and audio signals |
| US7299405B1 (en) | 2000-03-08 | 2007-11-20 | Ricoh Company, Ltd. | Method and system for information management to facilitate the exchange of ideas during a collaborative effort |
| US6976032B1 (en) * | 1999-11-17 | 2005-12-13 | Ricoh Company, Ltd. | Networked peripheral for visitor greeting, identification, biographical lookup and tracking |
| US7653925B2 (en) * | 1999-11-17 | 2010-01-26 | Ricoh Company, Ltd. | Techniques for receiving information during multimedia presentations and communicating the information |
| US7016540B1 (en) * | 1999-11-24 | 2006-03-21 | Nec Corporation | Method and system for segmentation, classification, and summarization of video images |
| US7286724B2 (en) * | 1999-12-06 | 2007-10-23 | Hyundai Curitel, Inc. | Method and apparatus for searching, browsing and summarizing moving image data using fidelity for tree-structure moving image hierarchy |
| KR100371513B1 (ko) * | 1999-12-06 | 2003-02-07 | 주식회사 팬택앤큐리텔 | 계층적 동영상 트리구조에서의 에지에 저장하는 키프레임의 충실도를 이용한 효율적인 동영상 요약 및 브라우징 장치 및 방법 |
| AUPQ464099A0 (en) * | 1999-12-14 | 2000-01-13 | Canon Kabushiki Kaisha | Emotive editing system |
| US6868440B1 (en) * | 2000-02-04 | 2005-03-15 | Microsoft Corporation | Multi-level skimming of multimedia content using playlists |
| JP3810268B2 (ja) * | 2000-04-07 | 2006-08-16 | シャープ株式会社 | オーディオビジュアルシステム |
| US8028314B1 (en) | 2000-05-26 | 2011-09-27 | Sharp Laboratories Of America, Inc. | Audiovisual information management system |
| US7051271B1 (en) * | 2000-05-31 | 2006-05-23 | Fuji Xerox Co., Ltd. | Method, system and article of manufacture for linking a video to a scanned document |
| US6697523B1 (en) * | 2000-08-09 | 2004-02-24 | Mitsubishi Electric Research Laboratories, Inc. | Method for summarizing a video using motion and color descriptors |
| US8020183B2 (en) * | 2000-09-14 | 2011-09-13 | Sharp Laboratories Of America, Inc. | Audiovisual management system |
| US7253919B2 (en) * | 2000-11-30 | 2007-08-07 | Ricoh Co., Ltd. | Printer with embedded retrieval and publishing interface |
| GB2372658A (en) * | 2001-02-23 | 2002-08-28 | Hewlett Packard Co | A method of creating moving video data from a static image |
| US20030061610A1 (en) * | 2001-03-27 | 2003-03-27 | Errico James H. | Audiovisual management system |
| US6907570B2 (en) * | 2001-03-29 | 2005-06-14 | International Business Machines Corporation | Video and multimedia browsing while switching between views |
| US7904814B2 (en) * | 2001-04-19 | 2011-03-08 | Sharp Laboratories Of America, Inc. | System for presenting audio-video content |
| CA2386303C (en) | 2001-05-14 | 2005-07-05 | At&T Corp. | Method for content-based non-linear control of multimedia playback |
| FR2825814B1 (fr) * | 2001-06-07 | 2003-09-19 | Commissariat Energie Atomique | Procede de creation automatique d'une base de donnees images interrogeable par son contenu semantique |
| US20030121040A1 (en) * | 2001-07-02 | 2003-06-26 | Ferman A. Mufit | Audiovisual management system |
| US7296231B2 (en) * | 2001-08-09 | 2007-11-13 | Eastman Kodak Company | Video structuring by probabilistic merging of video segments |
| KR20030026529A (ko) * | 2001-09-26 | 2003-04-03 | 엘지전자 주식회사 | 키프레임 기반 비디오 요약 시스템 |
| US7474698B2 (en) * | 2001-10-19 | 2009-01-06 | Sharp Laboratories Of America, Inc. | Identification of replay segments |
| US7203380B2 (en) * | 2001-11-16 | 2007-04-10 | Fuji Xerox Co., Ltd. | Video production and compaction with collage picture frame user interface |
| US7149957B2 (en) | 2001-11-19 | 2006-12-12 | Ricoh Company, Ltd. | Techniques for retrieving multimedia information using a paper-based interface |
| US20040181815A1 (en) * | 2001-11-19 | 2004-09-16 | Hull Jonathan J. | Printer with radio or television program extraction and formating |
| US8539344B2 (en) * | 2001-11-19 | 2013-09-17 | Ricoh Company, Ltd. | Paper-based interface for multimedia information stored by multiple multimedia documents |
| US7415670B2 (en) * | 2001-11-19 | 2008-08-19 | Ricoh Co., Ltd. | Printer with audio/video localization |
| US8635531B2 (en) * | 2002-02-21 | 2014-01-21 | Ricoh Company, Ltd. | Techniques for displaying information stored in multiple multimedia documents |
| US7743347B2 (en) * | 2001-11-19 | 2010-06-22 | Ricoh Company, Ltd. | Paper-based interface for specifying ranges |
| US7788080B2 (en) * | 2001-11-19 | 2010-08-31 | Ricoh Company, Ltd. | Paper interface for simulation environments |
| US7747655B2 (en) * | 2001-11-19 | 2010-06-29 | Ricoh Co. Ltd. | Printable representations for time-based media |
| US7424129B2 (en) * | 2001-11-19 | 2008-09-09 | Ricoh Company, Ltd | Printing system with embedded audio/video content recognition and processing |
| US7314994B2 (en) | 2001-11-19 | 2008-01-01 | Ricoh Company, Ltd. | Music processing printer |
| US7703044B2 (en) | 2001-11-19 | 2010-04-20 | Ricoh Company, Ltd. | Techniques for generating a static representation for time-based media information |
| US7495795B2 (en) | 2002-02-21 | 2009-02-24 | Ricoh Company, Ltd. | Interface for printing multimedia information |
| US7861169B2 (en) * | 2001-11-19 | 2010-12-28 | Ricoh Co. Ltd. | Multimedia print driver dialog interfaces |
| US8214741B2 (en) * | 2002-03-19 | 2012-07-03 | Sharp Laboratories Of America, Inc. | Synchronization of video and data |
| FR2841423A1 (fr) * | 2002-06-25 | 2003-12-26 | Koninkl Philips Electronics Nv | Procede de detection d'artefacts de bloc |
| US7657907B2 (en) * | 2002-09-30 | 2010-02-02 | Sharp Laboratories Of America, Inc. | Automatic user profiling |
| JP4112968B2 (ja) * | 2002-12-26 | 2008-07-02 | 富士通株式会社 | ビデオテキスト処理装置 |
| US7006945B2 (en) | 2003-01-10 | 2006-02-28 | Sharp Laboratories Of America, Inc. | Processing of video content |
| US20040197088A1 (en) * | 2003-03-31 | 2004-10-07 | Ferman Ahmet Mufit | System for presenting audio-video content |
| US7206773B2 (en) | 2003-04-11 | 2007-04-17 | Ricoh Company, Ltd | Techniques for accessing information captured during a presentation using a paper document handout for the presentation |
| US7266568B1 (en) * | 2003-04-11 | 2007-09-04 | Ricoh Company, Ltd. | Techniques for storing multimedia information with source documents |
| KR100609154B1 (ko) * | 2003-05-23 | 2006-08-02 | 엘지전자 주식회사 | 비디오 콘텐츠 재생 방법 및 장치 |
| US7275159B2 (en) * | 2003-08-11 | 2007-09-25 | Ricoh Company, Ltd. | Multimedia output device having embedded encryption functionality |
| US20050071763A1 (en) * | 2003-09-25 | 2005-03-31 | Hart Peter E. | Stand alone multimedia printer capable of sharing media processing tasks |
| US7511846B2 (en) * | 2003-09-25 | 2009-03-31 | Ricoh Co., Ltd. | Printer having embedded functionality for printing time-based media |
| US7864352B2 (en) * | 2003-09-25 | 2011-01-04 | Ricoh Co. Ltd. | Printer with multimedia server |
| US7528976B2 (en) * | 2003-09-25 | 2009-05-05 | Ricoh Co., Ltd. | Stand alone printer with hardware/software interfaces for sharing multimedia processing |
| US7505163B2 (en) * | 2003-09-25 | 2009-03-17 | Ricoh Co., Ltd. | User interface for networked printer |
| US7570380B2 (en) * | 2003-09-25 | 2009-08-04 | Ricoh Company, Ltd. | Printer user interface |
| JP2005108230A (ja) * | 2003-09-25 | 2005-04-21 | Ricoh Co Ltd | オーディオ／ビデオコンテンツ認識・処理機能内蔵印刷システム |
| US7440126B2 (en) * | 2003-09-25 | 2008-10-21 | Ricoh Co., Ltd | Printer with document-triggered processing |
| US7528977B2 (en) | 2003-09-25 | 2009-05-05 | Ricoh Co., Ltd. | Printer with hardware and software interfaces for peripheral devices |
| US8077341B2 (en) * | 2003-09-25 | 2011-12-13 | Ricoh Co., Ltd. | Printer with audio or video receiver, recorder, and real-time content-based processing logic |
| US7508535B2 (en) * | 2003-09-25 | 2009-03-24 | Ricoh Co., Ltd. | Stand alone multimedia printer with user interface for allocating processing |
| US7372991B2 (en) * | 2003-09-26 | 2008-05-13 | Seiko Epson Corporation | Method and apparatus for summarizing and indexing the contents of an audio-visual presentation |
| US20050111041A1 (en) * | 2003-11-25 | 2005-05-26 | Nokia Corporation | Rendering electronic presentations to printed surface |
| US7689712B2 (en) | 2003-11-26 | 2010-03-30 | Ricoh Company, Ltd. | Techniques for integrating note-taking and multimedia information |
| EP1538536A1 (en) * | 2003-12-05 | 2005-06-08 | Sony International (Europe) GmbH | Visualization and control techniques for multimedia digital content |
| US7079142B2 (en) * | 2004-01-14 | 2006-07-18 | Fuji Xerox Co., Ltd. | Systems and methods for creating and updating an interactive 3D visualization of media indices |
| EP1557837A1 (en) * | 2004-01-26 | 2005-07-27 | Sony International (Europe) GmbH | Redundancy elimination in a content-adaptive video preview system |
| US7340678B2 (en) * | 2004-02-12 | 2008-03-04 | Fuji Xerox Co., Ltd. | Systems and methods for creating an interactive 3D visualization of indexed media |
| KR100590537B1 (ko) * | 2004-02-18 | 2006-06-15 | 삼성전자주식회사 | 복수 영상의 요약 방법 및 장치 |
| US8356317B2 (en) | 2004-03-04 | 2013-01-15 | Sharp Laboratories Of America, Inc. | Presence based technology |
| US7594245B2 (en) * | 2004-03-04 | 2009-09-22 | Sharp Laboratories Of America, Inc. | Networked video devices |
| US8949899B2 (en) * | 2005-03-04 | 2015-02-03 | Sharp Laboratories Of America, Inc. | Collaborative recommendation system |
| JP2005277531A (ja) * | 2004-03-23 | 2005-10-06 | Seiko Epson Corp | 動画像処理装置 |
| JP2005277981A (ja) * | 2004-03-26 | 2005-10-06 | Seiko Epson Corp | 画像処理のための対象画像の選択 |
| US7603615B2 (en) * | 2004-03-30 | 2009-10-13 | Ricoh Co., Ltd. | Multimedia projector-printer |
| US8274666B2 (en) * | 2004-03-30 | 2012-09-25 | Ricoh Co., Ltd. | Projector/printer for displaying or printing of documents |
| US7818444B2 (en) | 2004-04-30 | 2010-10-19 | Move Networks, Inc. | Apparatus, system, and method for multi-bitrate content streaming |
| JP2008504594A (ja) * | 2004-06-22 | 2008-02-14 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | マルチメディア・アイテムを選択する方法及び装置、携帯型の選好記憶装置 |
| FR2875662A1 (fr) * | 2004-09-17 | 2006-03-24 | Thomson Licensing Sa | Procede de visualisation de document audiovisuels au niveau d'un recepteur, et recepteur apte a les visualiser |
| US7783106B2 (en) * | 2004-11-12 | 2010-08-24 | Fuji Xerox Co., Ltd. | Video segmentation combining similarity analysis and classification |
| US7551312B1 (en) * | 2005-03-17 | 2009-06-23 | Ricoh Co., Ltd. | Annotable document printer |
| US7760956B2 (en) * | 2005-05-12 | 2010-07-20 | Hewlett-Packard Development Company, L.P. | System and method for producing a page using frames of a video stream |
| US7996771B2 (en) * | 2005-06-17 | 2011-08-09 | Fuji Xerox Co., Ltd. | Methods and interfaces for event timeline and logs of video streams |
| US8089563B2 (en) * | 2005-06-17 | 2012-01-03 | Fuji Xerox Co., Ltd. | Method and system for analyzing fixed-camera video via the selection, visualization, and interaction with storyboard keyframes |
| US7623677B2 (en) * | 2005-06-17 | 2009-11-24 | Fuji Xerox Co., Ltd. | Methods and interfaces for visualizing activity across video frames in an action keyframe |
| US8805929B2 (en) * | 2005-06-20 | 2014-08-12 | Ricoh Company, Ltd. | Event-driven annotation techniques |
| US7554576B2 (en) * | 2005-06-20 | 2009-06-30 | Ricoh Company, Ltd. | Information capture and recording system for controlling capture devices |
| KR100703801B1 (ko) * | 2005-10-21 | 2007-04-06 | 삼성전자주식회사 | Ａｖ 태스크 계산 방법, ａｖ 태스크 계산을 위한 요약정보 제공 방법 및 이를 위한 장치 |
| US20070226624A1 (en) * | 2006-02-23 | 2007-09-27 | Peker Kadir A | Content-based video summarization using spectral clustering |
| US8689253B2 (en) * | 2006-03-03 | 2014-04-01 | Sharp Laboratories Of America, Inc. | Method and system for configuring media-playing sets |
| EP1999646A1 (en) * | 2006-03-03 | 2008-12-10 | Koninklijke Philips Electronics N.V. | Method and device for automatic generation of summary of a plurality of images |
| US8699806B2 (en) * | 2006-04-12 | 2014-04-15 | Google Inc. | Method and apparatus for automatically summarizing video |
| JP2008003968A (ja) * | 2006-06-23 | 2008-01-10 | Fuji Xerox Co Ltd | 情報処理システム、情報処理方法及びプログラム |
| US20080019661A1 (en) * | 2006-07-18 | 2008-01-24 | Pere Obrador | Producing output video from multiple media sources including multiple video sources |
| US20080019669A1 (en) * | 2006-07-18 | 2008-01-24 | Sahra Reza Girshick | Automatically editing video data |
| US8229156B1 (en) | 2006-08-08 | 2012-07-24 | Google Inc. | Using curve invariants to automatically characterize videos |
| EP2057631A2 (en) * | 2006-08-25 | 2009-05-13 | Koninklijke Philips Electronics N.V. | Method and apparatus for automatically generating a summary of a multimedia content item |
| JP2010505176A (ja) * | 2006-09-27 | 2010-02-18 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | サマリ生成方法 |
| US8000533B2 (en) * | 2006-11-14 | 2011-08-16 | Microsoft Corporation | Space-time video montage |
| US8788938B2 (en) * | 2007-01-19 | 2014-07-22 | Hewlett-Packard Development Company, L.P. | Web-based video browsing |
| US8918714B2 (en) * | 2007-04-11 | 2014-12-23 | Adobe Systems Incorporated | Printing a document containing a video or animations |
| CN101079065B (zh) * | 2007-06-25 | 2012-07-04 | 腾讯科技（深圳）有限公司 | 一种显示含有组图的图片的方法及系统 |
| US8503523B2 (en) * | 2007-06-29 | 2013-08-06 | Microsoft Corporation | Forming a representation of a video item and use thereof |
| JP4811433B2 (ja) * | 2007-09-05 | 2011-11-09 | ソニー株式会社 | 画像選択装置、画像選択方法、およびプログラム |
| US20090133060A1 (en) * | 2007-11-21 | 2009-05-21 | Microsoft Corporation | Still-Frame Content Navigation |
| US8630497B2 (en) * | 2007-11-27 | 2014-01-14 | Intelliview Technologies Inc. | Analyzing a segment of video |
| US8150169B2 (en) * | 2008-09-16 | 2012-04-03 | Viewdle Inc. | System and method for object clustering and identification in video |
| US8380866B2 (en) * | 2009-03-20 | 2013-02-19 | Ricoh Company, Ltd. | Techniques for facilitating annotations |
| US9190110B2 (en) | 2009-05-12 | 2015-11-17 | JBF Interlude 2009 LTD | System and method for assembling a recorded composition |
| US8861935B2 (en) * | 2009-08-26 | 2014-10-14 | Verizon Patent And Licensing Inc. | Systems and methods for enhancing utilization of recorded media content programs |
| US11232458B2 (en) | 2010-02-17 | 2022-01-25 | JBF Interlude 2009 LTD | System and method for data mining within interactive multimedia |
| US8599316B2 (en) * | 2010-05-25 | 2013-12-03 | Intellectual Ventures Fund 83 Llc | Method for determining key video frames |
| US8786597B2 (en) | 2010-06-30 | 2014-07-22 | International Business Machines Corporation | Management of a history of a meeting |
| US9171578B2 (en) | 2010-08-06 | 2015-10-27 | Futurewei Technologies, Inc. | Video skimming methods and systems |
| US8687941B2 (en) | 2010-10-29 | 2014-04-01 | International Business Machines Corporation | Automatic static video summarization |
| US9271035B2 (en) | 2011-04-12 | 2016-02-23 | Microsoft Technology Licensing, Llc | Detecting key roles and their relationships from video |
| RU2484529C1 (ru) * | 2012-03-21 | 2013-06-10 | Общество с ограниченной ответственностью "Синезис" | Способ ранжирования видеоданных |
| US9246741B2 (en) * | 2012-04-11 | 2016-01-26 | Google Inc. | Scalable, live transcoding with support for adaptive streaming and failover |
| US8914452B2 (en) | 2012-05-31 | 2014-12-16 | International Business Machines Corporation | Automatically generating a personalized digest of meetings |
| US9116924B2 (en) | 2013-01-14 | 2015-08-25 | Xerox Corporation | System and method for image selection using multivariate time series analysis |
| CN105052157A (zh) | 2013-01-15 | 2015-11-11 | 图象公司 | 图像帧复用方法及系统 |
| TWI543610B (zh) * | 2013-02-01 | 2016-07-21 | 宏達國際電子股份有限公司 | 電子裝置及其影像選擇方法 |
| CN105075244A (zh) * | 2013-03-06 | 2015-11-18 | 汤姆逊许可公司 | 视频的图示概要 |
| US10373470B2 (en) | 2013-04-29 | 2019-08-06 | Intelliview Technologies, Inc. | Object detection |
| USD751587S1 (en) * | 2013-04-30 | 2016-03-15 | Microsoft Corporation | Display screen with graphical user interface |
| US9159367B2 (en) | 2013-08-19 | 2015-10-13 | Nvidia Corporation | Automatic playback of one or more excerpt(s) of a video sequence on a data processing device |
| US20150055832A1 (en) * | 2013-08-25 | 2015-02-26 | Nikolay Vadimovich PTITSYN | Method for video data ranking |
| US9330171B1 (en) * | 2013-10-17 | 2016-05-03 | Google Inc. | Video annotation using deep network architectures |
| JPWO2015125815A1 (ja) * | 2014-02-20 | 2017-03-30 | シャープ株式会社 | 映像編集装置 |
| CA2847707C (en) | 2014-03-28 | 2021-03-30 | Intelliview Technologies Inc. | Leak detection |
| US9653115B2 (en) | 2014-04-10 | 2017-05-16 | JBF Interlude 2009 LTD | Systems and methods for creating linear video from branched video |
| US10943357B2 (en) | 2014-08-19 | 2021-03-09 | Intelliview Technologies Inc. | Video based indoor leak detection |
| WO2016038522A1 (en) | 2014-09-08 | 2016-03-17 | Google Inc. | Selecting and presenting representative frames for video previews |
| US9792957B2 (en) | 2014-10-08 | 2017-10-17 | JBF Interlude 2009 LTD | Systems and methods for dynamic video bookmarking |
| US9626584B2 (en) * | 2014-10-09 | 2017-04-18 | Adobe Systems Incorporated | Image cropping suggestion using multiple saliency maps |
| US11412276B2 (en) | 2014-10-10 | 2022-08-09 | JBF Interlude 2009 LTD | Systems and methods for parallel track transitions |
| US20160127807A1 (en) * | 2014-10-29 | 2016-05-05 | EchoStar Technologies, L.L.C. | Dynamically determined audiovisual content guidebook |
| CN107005676A (zh) * | 2014-12-15 | 2017-08-01 | 索尼公司 | 信息处理方法、影像处理装置和程序 |
| KR102306538B1 (ko) * | 2015-01-20 | 2021-09-29 | 삼성전자주식회사 | 콘텐트 편집 장치 및 방법 |
| KR101650153B1 (ko) * | 2015-03-19 | 2016-08-23 | 네이버 주식회사 | 만화 데이터 편집 방법 및 만화 데이터 편집 장치 |
| JP2016189507A (ja) * | 2015-03-30 | 2016-11-04 | 富士フイルム株式会社 | 画像処理装置、画像処理方法、プログラムおよび記録媒体 |
| US10582265B2 (en) | 2015-04-30 | 2020-03-03 | JBF Interlude 2009 LTD | Systems and methods for nonlinear video playback using linear real-time video players |
| US10235466B2 (en) * | 2015-06-24 | 2019-03-19 | International Business Machines Corporation | Profile driven presentation content displaying and filtering |
| US10460765B2 (en) | 2015-08-26 | 2019-10-29 | JBF Interlude 2009 LTD | Systems and methods for adaptive and responsive video |
| US10248864B2 (en) | 2015-09-14 | 2019-04-02 | Disney Enterprises, Inc. | Systems and methods for contextual video shot aggregation |
| US9805269B2 (en) | 2015-11-20 | 2017-10-31 | Adobe Systems Incorporated | Techniques for enhancing content memorability of user generated video content |
| US11128853B2 (en) | 2015-12-22 | 2021-09-21 | JBF Interlude 2009 LTD | Seamless transitions in large-scale video |
| US11164548B2 (en) | 2015-12-22 | 2021-11-02 | JBF Interlude 2009 LTD | Intelligent buffering of large-scale video |
| KR20170098079A (ko) * | 2016-02-19 | 2017-08-29 | 삼성전자주식회사 | 전자 장치 및 전자 장치에서의 비디오 녹화 방법 |
| US11856271B2 (en) | 2016-04-12 | 2023-12-26 | JBF Interlude 2009 LTD | Symbiotic interactive video |
| US11050809B2 (en) * | 2016-12-30 | 2021-06-29 | JBF Interlude 2009 LTD | Systems and methods for dynamic weighting of branched video paths |
| CA3079559C (en) | 2017-10-17 | 2026-06-02 | Verily Life Sciences Llc | Systems and methods for segmenting surgical videos |
| US10497397B2 (en) * | 2017-12-01 | 2019-12-03 | International Business Machines Corporation | Generating video-notes from videos using machine learning |
| EP3731073A4 (en) * | 2017-12-22 | 2021-02-24 | Sony Corporation | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM |
| US10257578B1 (en) | 2018-01-05 | 2019-04-09 | JBF Interlude 2009 LTD | Dynamic library display for interactive videos |
| US10311913B1 (en) * | 2018-02-22 | 2019-06-04 | Adobe Inc. | Summarizing video content based on memorability of the video content |
| US10777228B1 (en) | 2018-03-22 | 2020-09-15 | Gopro, Inc. | Systems and methods for creating video edits |
| US10679069B2 (en) | 2018-03-27 | 2020-06-09 | International Business Machines Corporation | Automatic video summary generation |
| US11601721B2 (en) | 2018-06-04 | 2023-03-07 | JBF Interlude 2009 LTD | Interactive video dynamic adaptation and user profiling |
| US11348235B2 (en) | 2019-03-22 | 2022-05-31 | Verily Life Sciences Llc | Improving surgical video consumption by identifying useful segments in surgical videos |
| US11490047B2 (en) | 2019-10-02 | 2022-11-01 | JBF Interlude 2009 LTD | Systems and methods for dynamically adjusting video aspect ratios |
| CN111310657B (zh) * | 2020-02-14 | 2023-07-07 | 北京远特科技股份有限公司 | 驾驶员人脸监控方法、装置、终端和计算机可读存储介质 |
| US11245961B2 (en) | 2020-02-18 | 2022-02-08 | JBF Interlude 2009 LTD | System and methods for detecting anomalous activities for interactive videos |
| US12096081B2 (en) | 2020-02-18 | 2024-09-17 | JBF Interlude 2009 LTD | Dynamic adaptation of interactive video players using behavioral analytics |
| US12047637B2 (en) | 2020-07-07 | 2024-07-23 | JBF Interlude 2009 LTD | Systems and methods for seamless audio and video endpoint transitions |
| US11882337B2 (en) | 2021-05-28 | 2024-01-23 | JBF Interlude 2009 LTD | Automated platform for generating interactive videos |
| US12549818B2 (en) | 2021-08-31 | 2026-02-10 | JBF Interlude 2009 LTD | Shader-based dynamic video manipulation |
| US12155897B2 (en) | 2021-08-31 | 2024-11-26 | JBF Interlude 2009 LTD | Shader-based dynamic video manipulation |
| US11934477B2 (en) | 2021-09-24 | 2024-03-19 | JBF Interlude 2009 LTD | Video player integration within websites |
| US12260639B2 (en) | 2021-11-12 | 2025-03-25 | International Business Machines Corporation | Annotating a video with a personalized recap video based on relevancy and watch history |
| US12645348B2 (en) * | 2022-04-29 | 2026-06-02 | GTEL Advisors, LLC | Automatic incident compilation system |
| US12541948B2 (en) * | 2023-10-12 | 2026-02-03 | Roku, Inc. | Frame classification to generate target media content |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5210799A (en) * | 1991-03-28 | 1993-05-11 | Texas Instruments Incorporated | System and method for ranking and extracting salient contours for target recognition |
| US5243149A (en) * | 1992-04-10 | 1993-09-07 | International Business Machines Corp. | Method and apparatus for improving the paper interface to computing systems |
| US5325449A (en) * | 1992-05-15 | 1994-06-28 | David Sarnoff Research Center, Inc. | Method for fusing images and apparatus therefor |
| US5606655A (en) * | 1994-03-31 | 1997-02-25 | Siemens Corporate Research, Inc. | Method for representing contents of a single video shot using frames |
| US5664227A (en) | 1994-10-14 | 1997-09-02 | Carnegie Mellon University | System and method for skimming digital audio/video data |
| US5708767A (en) | 1995-02-03 | 1998-01-13 | The Trustees Of Princeton University | Method and apparatus for video browsing based on content and structure |
| US5821945A (en) * | 1995-02-03 | 1998-10-13 | The Trustees Of Princeton University | Method and apparatus for video browsing based on content and structure |
| US5920856A (en) * | 1997-06-09 | 1999-07-06 | Xerox Corporation | System for selecting multimedia databases over networks |
| US6282454B1 (en) * | 1997-09-10 | 2001-08-28 | Schneider Automation Inc. | Web interface to a programmable controller |
-
1999
- 1999-03-12 US US09/267,529 patent/US6535639B1/en not_active Expired - Lifetime
-
2000
- 2000-03-09 JP JP2000064869A patent/JP3968942B2/ja not_active Expired - Fee Related
-
2007
- 2007-03-22 JP JP2007074829A patent/JP4321613B2/ja not_active Expired - Lifetime
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009065680A (ja) * | 2000-12-21 | 2009-03-26 | Koninkl Philips Electronics Nv | 映像番組のマルチメディア要約を提供するシステム及び方法 |
| JP2003087728A (ja) * | 2001-06-26 | 2003-03-20 | Pioneer Electronic Corp | 映像情報要約装置、映像情報要約方法および映像情報要約処理プログラム |
| JP2005525034A (ja) * | 2002-05-07 | 2005-08-18 | ヒューレット−パッカード デベロップメント カンパニー エル．ピー． | スケーラブルなビデオ要約およびナビゲーションのシステムおよび方法 |
| JP2005524916A (ja) * | 2002-05-07 | 2005-08-18 | ヒューレット−パッカード デベロップメント カンパニー エル．ピー． | スケーラブルなビデオの要約化 |
| EP1376583A2 (en) | 2002-06-19 | 2004-01-02 | Microsoft Corporation | System and method for automatically authoring video compositions using video clips |
| JP2009282997A (ja) * | 2003-03-21 | 2009-12-03 | Fuji Xerox Co Ltd | レイアウト画像の作成方法、レイアウト画像決定システム及びプログラム |
| JP2007528622A (ja) * | 2003-06-27 | 2007-10-11 | ケーティー・コーポレーション | ファジー基盤特性支援ベクターを利用した動画自動要約装置及び方法 |
| JP2005039626A (ja) * | 2003-07-16 | 2005-02-10 | Casio Comput Co Ltd | 画像印刷装置、画像印刷システム及びプログラム |
| JP2005293577A (ja) * | 2004-03-31 | 2005-10-20 | Fuji Xerox Co Ltd | ビデオ領域の高凝縮ビジュアル・サマリを生成する方法、装置及びプログラム |
| JP2011129137A (ja) * | 2004-03-31 | 2011-06-30 | Fuji Xerox Co Ltd | 画像領域の高凝縮要約画像を生成する方法 |
| JP2006164254A (ja) * | 2004-11-12 | 2006-06-22 | Fuji Xerox Co Ltd | 映像検索結果を提示するためのシステム、装置、方法、およびプログラム |
| JP2007013951A (ja) * | 2005-06-17 | 2007-01-18 | Fuji Xerox Co Ltd | アクションキーフレーム内における複数のビデオフレーム全体にわたる動作を視覚化する方法とそのためのインタフェース |
| US8180199B2 (en) | 2005-07-13 | 2012-05-15 | Sony Corporation | Playback apparatus, playback method, program for playback method, and recording medium recorded with program for playback method thereon |
| JP2007233709A (ja) * | 2006-03-01 | 2007-09-13 | Fujifilm Corp | カテゴリ重要度設定装置および方法、画像重要度設定装置および方法並びにプログラム |
| JP2011151510A (ja) * | 2010-01-20 | 2011-08-04 | Canon Inc | 表示制御装置、方法及びプログラム並びに記録媒体 |
| JP2011040154A (ja) * | 2010-09-17 | 2011-02-24 | Sony Corp | 情報処理装置、情報処理方法、およびプログラム |
| US9899061B2 (en) | 2013-12-27 | 2018-02-20 | Fuji Xerox Co., Ltd. | Representative frame selecting system and non-transitory computer readable medium |
| KR101536930B1 (ko) * | 2014-01-07 | 2015-07-15 | 서울과학기술대학교 산학협력단 | 동영상을 요약하는 방법 및 동영상 요약기, 그리고 이를 이용한 동영상 만화 정보 서비스 방법 |
| JP2020162138A (ja) * | 2015-09-16 | 2020-10-01 | 富士ゼロックス株式会社 | 情報処理装置及びプログラム |
| KR20190093722A (ko) * | 2018-01-08 | 2019-08-12 | 삼성전자주식회사 | 전자장치, 그 제어방법 및 컴퓨터프로그램제품 |
| US11386665B2 (en) | 2018-01-08 | 2022-07-12 | Samsung Electronics Co., Ltd. | Display apparatus, server, system and information-providing methods thereof |
| KR102542788B1 (ko) * | 2018-01-08 | 2023-06-14 | 삼성전자주식회사 | 전자장치, 그 제어방법 및 컴퓨터프로그램제품 |
| WO2022230777A1 (ja) * | 2021-04-27 | 2022-11-03 | 国立大学法人東京大学 | 情報処理方法、コンピュータ読み取り可能な非一時的な記憶媒体及び情報処理装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2007228604A (ja) | 2007-09-06 |
| JP4321613B2 (ja) | 2009-08-26 |
| JP3968942B2 (ja) | 2007-08-29 |
| US6535639B1 (en) | 2003-03-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3968942B2 (ja) | ビデオの内容を要約する方法 | |
| Girgensohn et al. | A semi-automatic approach to home video editing | |
| US5821945A (en) | Method and apparatus for video browsing based on content and structure | |
| US7149755B2 (en) | Presenting a collection of media objects | |
| US8055080B2 (en) | Album generating apparatus, album generating method and computer readable medium | |
| US8416332B2 (en) | Information processing apparatus, information processing method, and program | |
| US8098896B2 (en) | Album generating apparatus, album generating method and computer readable medium | |
| US7471827B2 (en) | Automatic browsing path generation to present image areas with high attention value as a function of space and time | |
| US7600183B2 (en) | System and method for data publication through web pages | |
| US6492998B1 (en) | Contents-based video story browsing system | |
| US7916894B1 (en) | Summary of a video using faces | |
| US7702996B2 (en) | Apparatus and method for converting multimedia contents | |
| JP3793142B2 (ja) | 動画像加工方法及び装置 | |
| US7487524B2 (en) | Method and apparatus for presenting content of images | |
| US7904815B2 (en) | Content-based dynamic photo-to-video methods and apparatuses | |
| CN110139159A (zh) | 视频素材的处理方法、装置及存储介质 | |
| US20070101266A1 (en) | Video summary description scheme and method and system of video summary description data generation for efficient overview and browsing | |
| US20040054542A1 (en) | Automatic generation of multimedia presentation | |
| US20030048289A1 (en) | Assembling verbal narration for digital display images | |
| CN101689394A (zh) | 用于视频索引和视频概要的方法和系统 | |
| JP2000298498A (ja) | オーディオ・ビジュアル記録物をセグメント化する方法およびコンピュータ記憶媒体、並びにコンピュータシステム | |
| EP1222634A4 (en) | DESCRIPTION OF A VIDEO ABSTRACT AND SYSTEM AND METHOD FOR PRODUCING DATA DESCRIBED ABOVE FOR A DETAILED AND GENERAL OVERVIEW | |
| CN112989115B (zh) | 待推荐视频的筛选控制方法及装置 | |
| US20180077362A1 (en) | Method, System, and Apparatus for Operating a Kinetic Typography Service | |
| JP4496690B2 (ja) | 映像情報レコメンドシステム、方法及び装置、並びに、映像情報レコメンドプログラム及びプログラムの記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040126 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060328 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060418 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060619 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060822 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061023 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070123 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070322 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20070418 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070515 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070528 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110615 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110615 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120615 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130615 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130615 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140615 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |