JPH06253255A - 映像インデックス表示装置 - Google Patents

Abstract

(57)【要約】 【目的】本発明は、連続した複数のシーンから構成され
る映像から得られた複数のインデックス画像を、各シー
ン内で得られたインデックス画像が一目で分かり、映像
内容を容易に把握することを可能にする表示を行なう。 【構成】連続するフレーム画像によって構成されるデジ
タル動画像から、シーン変化に当たるフレーム画像をイ
ンデックス画像として検出するシーン変化検出部２と、
デジタル動画像から特徴的なフレーム画像をインデック
ス画像として検出する特徴フレーム検出部４と、シーン
変化検出部２によって検出されたインデックス画像と、
特徴フレーム検出部４によって検出されたインデックス
画像を、シーン毎に管理するシーン変化管理部３と、シ
ーン変化管理部３によって管理されるインデックス画像
の関係を表現する形態でインデックス画像を表示するイ
ンデックス表示部６を有している。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ビデオカメラなどで撮
影した映像を編集する、あるいは撮影した映像から必要
な部分のみを抽出する際に、映像から抽出された数枚の
代表フレーム画像をインデックス画像として表示する映
像インデックス表示装置に関する。

【０００２】

【従来の技術】従来、ビデオカメラなどで撮影した映像
を編集する、あるいは撮影した映像から必要な部分のみ
を抽出する際には、映像から抽出された複数枚の代表フ
レーム画像をインデックス画像として編集画面上に時間
を追って表示し、それらのインデックス画像を追ってい
くことで必要な部分の検索を行なっている。インデック
ス画像としては、例えば映像中のシーンチェンジした部
分や、１シーン内の特徴的な部分のフレーム画像が抽出
される。

【０００３】しかしながら、この方式によるインデック
ス画像表示方式では、連続する複数のシーンにより構成
される映像から抽出された複数のインデックス画像が、
単に時間を追って並べられただけであるため、各々のイ
ンデックス画像間の関係が不明瞭となっている。このた
め、同一シーン内から得られたインデックス画像間のつ
ながりと、複数のシーン間のつながりとの境を区別する
ことができず、映像の内容を把握するのに不十分であっ
た。

【０００４】

【発明が解決しようとする課題】このように従来の映像
インデックス表示方式では、インデックス画像が、単に
時間を追って表示されるだけであったために、インデッ
クス画像間のつながりと、シーン間のつながりとの境を
区別することができず、表示画面中から十分に映像の内
容を把握することができなかった。

【０００５】本発明は前記のような点に鑑みてなされた
もので、連続した複数のシーンから構成される映像から
得られた複数のインデックス画像を、各シーン内で得ら
れたインデックス画像が一目で分かり、映像内容を容易
に把握することを可能にする表示を行なう映像インデッ
クス表示装置を提供することを目的とする。

【０００６】

【課題を解決するための手段】本発明は、複数のシーン
を含む映像中から１シーン当り１つ以上のインデックス
画像を抽出し、同インデックス画像を各シーン毎に、シ
ーン中に含まれるインデックス画像間の関係を表現する
形態によって表示することを特徴とする。

【０００７】また、前記映像中からシーン変化に当たる
フレーム画像を検出することにより連続する複数のシー
ンから構成される映像をシーン単位に分割して管理する
管理手段と、各シーン内から特徴的なフレーム画像をイ
ンデックス画像として検出する検出手段とを具備して構
成する。

【０００８】また本発明は、連続するフレーム画像によ
って構成されるデジタル動画像から、シーン変化に当た
るフレーム画像をインデックス画像として検出するシー
ン変化検出手段と、前記デジタル動画像から特徴的なフ
レーム画像をインデックス画像として検出する特徴フレ
ーム検出手段と、前記シーン変化検出手段によって検出
されたインデックス画像と、前記特徴フレーム検出手段
によって検出されたインデックス画像を、シーン毎に管
理するシーン変化管理手段と、前記シーン変化管理手段
によって管理されるインデックス画像の関係を表現する
形態で、前記インデックス画像を表示するインデックス
表示手段とを具備して構成する。

【０００９】また、前記インデックス表示手段は、シー
ン中の代表的なインデックス画像である各シーン毎の代
表インデックス画像に対して、各シーン中に含まれるイ
ンデックス画像を前記デジタル動画像における出現順に
従う配列によって、従属させる形態で表示することを特
徴とする。

【００１０】

【作用】このような構成によれば、対象とする連続した
複数のシーンから構成される映像から得られたインデッ
クス画像を階層的、あるいはシーンの代表とすべきイン
デックス画像のみが編集画面上に表示されるような形態
で表示することにより、編集画面上のインデックス画像
を見ることで容易に映像の内容を把握することが可能と
なり、必要とする映像部分を効率良く検索することがで
きる。

【００１１】

【実施例】以下、図面を参照して本発明の一実施例を説
明する。図１は本発明の一実施例に係わる映像インデッ
クス表示装置の構成を示すブロック図である。図１に示
すように、映像インデックス表示装置は、デジタル動画
像入力部１、シーン変化検出部２、シーン変化管理部
３、特徴フレーム検出部４、素材管理部５、インデック
ス表示部６、動作制御部７、操作部８、記録部９によっ
て構成されている。

【００１２】デジタル動画像入力部１は、ビデオカメラ
等によって撮影した映像の信号をデジタル化することに
よって生成された、連続するフレーム画像によって構成
されるデジタル動画像を入力するものである。

【００１３】シーン変化検出部２は、デジタル動画像入
力部１によって入力されたデジタル動画像からシーン変
化を検出し、シーン変化部分のフレーム画像と共にシー
ン番号を、シーン変化管理部３に出力する。ここで、シ
ーンの変化部分とは、画面の切換わりの部分であっても
良いし、映像中に特徴的な物体が現れた部分としても良
い。

【００１４】シーン変化管理部３は、シーン変化検出部
２によって検出されたシーン変化部分のフレーム画像
（インデックス画像）及びシーン番号と、後述する特徴
フレーム検出部４によって、映像を検索する際に有効な
特徴的なフレーム画像であるとして検出された特徴フレ
ーム画像（インデックス画像）を入力し、１シーン内に
含まれるインデックス画像毎に管理するものである。

【００１５】特徴フレーム検出部４は、デジタル動画像
入力部１によって入力されたデジタル動画像について、
後述する素材管理部５に格納されている形状パターンを
を用いて、映像を検索する際に有効となる特徴的なフレ
ーム画像をインデックス画像として検出し、シーン変化
検出部３に出力するものである。

【００１６】素材管理部５は、特徴フレーム検出部４に
おいて特徴フレームを検出するために用いられる形状パ
ターンを格納するためのものである。形状パターンは、
特徴的なフレーム画像を検出するためのもので、例えば
表示装置に表示された表示画面を映像中から検索する必
要がある場合には、表示装置の表示画面枠のパターンを
形状パターンとして格納しておく。これにより、表示装
置が撮影されたフレーム画像をインデックス画像として
検出することができる。

【００１７】インデックス表示部６は、シーン変化検出
部２及び特長フレーム検出部４によって検出されたイン
デックス画像や、シーン変化管理部３によって管理され
たインデックス画像群に関する後述する所定の表示形態
をもった編集用画面を表示するものである。

【００１８】動作制御部７は、インデックス表示部６に
表示された編集用画面に対する、後述する操作部８を介
しての編集指示に応じて、後述する記録部９におけるイ
ンデックス画像群の編集や、インデックス表示の形態の
変更等の動作を制御するものである。

【００１９】操作部８は、インデックス表示部６に表示
されたインデックス群に対する編集指示を入力するため
のもので、マンマシンインターフェイスを司るものであ
る。操作部８を介して入力された編集指示は、動作制御
部７によってインデックス表示部６及び記録部９に対し
て実現される。

【００２０】記録部９は、シーン変化管理部３によって
シーン毎に管理されたインデックス画像群を記録してお
くためのものである。記録部９に記録された情報は、操
作部８から入力された編集指示に応じて変更される。

【００２１】次に、同実施例の動作について説明する。
まず、デジタル動画像入力部１により入力されたデジタ
ル動画像は、シーン変化検出部２、及び特徴フレーム検
出部４に送られる。

【００２２】シーン変化検出部２は、デジタル動画像か
らシーンの検出を行なう。このシーン変化検出部におけ
るシーン変化検出方法としては、例えばフレーム画像間
の差分を取ることによって検出したり、あるいは「ＤＣ
Ｔ変換係数を用いたシーンチェンジ自動検出法」富士敦
史、森和宏、田村正文、1992年電子情報通信学会春期大
会、Ｄ-529、pp7-271 に記載された技術を用いることが
できる。この技術は、ＪＰＥＧ（Joint Photographic E
xperts Groupe ）方式の画像圧縮過程で得られる情報の
うち、直流（ＤＣ）成分計数がＤＣＴ（Discrete cosin
e transform ）ブロック内画像の平均輝度に相当するこ
とに注目し、その値を用いてシーンチェンジ検出を行な
うことにより、動きの激しいシーンから動きの少ないシ
ーンへの変化や、動きの少ないシーンから動きの激しい
シーンへの変化などのシーンチェンジを的確に検出する
ことができるものである。シーン変化検出部２によりシ
ーン変化が検出されると、検出されたフレーム画像やシ
ーン番号などの情報はシーン変化管理部３によって管理
される。

【００２３】一方、特徴フレーム検出部４は、デジタル
動画像（連続するフレーム画像）について、素材管理部
５に格納されている形状パターンとのマッチングを行な
い、インデックス画像にできる特徴フレームを検出す
る。

【００２４】シーン変化管理部３は、シーン変化検出部
２及び特徴フレーム検出部４によって検出されたインデ
ックス画像についてシーン毎に管理し、これにより得ら
れるインデックス画像情報をインデックス表示部６へ出
力して編集画面上に表示させると共に、記録部９に記録
させる。

【００２５】ここでは、例えば図２に示すようにして、
インデックス画像が検出されたものとする。すなわち、
３つのシーン（シーンＡ，Ｂ，Ｃ）が検出され、この３
シーン中から１０枚のインデックス画像（Index#1 〜In
dex#10）が検出されたものとする。なお、Index#1 はシ
ーンＡのシーンチェンジ部分で検出されたインデックス
画像であり、同様にして、Index#2 はシーンＢ、Index#
3 はシーンＣのインデックス画像である。また、Index#
4 〜Index#6 は、シーンＡ内のインデックス画像であ
り、Index#7 〜Index#8 はシーンＢ、Index#9 〜Index#
10はシーンＣ内に含まれている。ここで、本実施例にお
けるシーン変化管理のための動作の詳細について、図３
に示すフローチャートを参照しながら説明する。

【００２６】まず、シーン変化検出部２は、デジタル動
画像入力部１からｋ番目のフレーム画像を読み込み（ス
テップＳ１）、このフレーム画像に対してシーン変化検
出を行なう（ステップＳ２）。

【００２７】この結果、シーン変化部分としてフレーム
画像が検出された場合（ステップＳ３）、シーン変化管
理部３は、それまで保持していたｎ−１番目のシーンに
関係するインデックス画像を、インデックス表示部６に
表示させる（ステップＳ４）。また、シーン変化管理部
３は、パラメータの値を更新する（ステップＳ５，Ｓ
６）。ここでパラメータとは、シーン番号（シーンｎ
ｏ．）ｎ、及びシーン内番号（シーン内ｎｏ．）ｍであ
る。ここでは、シーン番号の値ｎを１更新し、シーン内
番号をｍ＝０とする。（なお、ｎの初期値＝０とす
る）。シーン変化管理部３は、ｎ番目のシーンＡの先頭
フレーム画像を、検出映像インデックス化し（ステップ
Ｓ７）、インデックス画像Index#1 として保持する。

【００２８】次に、最終フレームまで処理が終了してい
なければ（ステップＳ１３）、次フレーム画像の読み込
みを行なう（ステップＳ１４，Ｓ１）。ステップＳ２の
シーン変化検出において、読み込んだフレーム画像がシ
ーン変化部分に該当しなかった場合（ステップＳ３）、
特徴フレーム検出部４は、特徴フレームであるかどうか
の検出を行なう（ステップＳ８）。

【００２９】この結果、特徴フレームであった場合、シ
ーン変化管理部３は、シーン番号属性（シーンｎｏ．属
性）をｎ、シーン内番号の値ｍを更新する（ステップＳ
１０，Ｓ１１）。すなわち、検出したフレーム画像を検
出映像インデックス化し、このインデックス画像をｎ番
目のシーンの中のｍ番目のインデックスとして保持する
（ステップＳ１２）。

【００３０】以上のような処理を繰り返すことにより、
次のｎ＋１番目のシーンＢが検出されるまでに、シーン
番号１のシーンＡ内に、シーンの代表インデックス画像
となるシーン番号０のインデックス画像Index#1 と、シ
ーン内番号１〜３のインデックス画像Index#4 〜Index#
6 が抽出される。

【００３１】この結果、図２に示すような、複数シーン
から構成される映像の場合、Index#4 〜Index#6 は、In
dex#1 をシーンＡ（シーン番号１）の代表インデックス
画像として持つグループ、Index#7 〜Index#8 は、Inde
x#2 をシーンＢ（シーン番号２）の代表インデックス画
像として持つグループ、Index#9 〜Index#10は、Index#
3 をシーンＣ（シーン番号３）の代表インデックス画像
として持つグループとして、それぞれ管理される。

【００３２】次に、シーン毎に管理されたインデックス
画像をインデックス表示部６の編集画面上に表示する形
態の例について説明する。まず第１の形態について図４
〜図６を用いて説明する。

【００３３】図４は、シーン毎に得られたインデックス
画像を、シーン毎に先頭フレームから得られたインデッ
クス画像、例えばシーンＡについてはIndex#1 を代表イ
ンデックス画像とし、その下にシーンＡ内から得られた
インデックス画像を時間を追って（時間軸に添って）表
示する例を示している。

【００３４】この表示であれば、映像のおおまかな流れ
は、代表インデックス画像Index#1〜Index#3 を追って
いくことで把握することができ、シーン内の流れは各シ
ーン内のインデックス画像のつながりを追うことで把握
することができる。

【００３５】また、図４に示すような、最初の表示段階
において、例えばシーンＡでは代表インデックス画像と
して、シーンの先頭フレームからのインデックス画像In
dex#1 が割り当てられている。この代表インデックス画
像を、同一シーン内の他のインデックス画像に変更する
ことができる。

【００３６】この際、代表インデックス画像の変更の指
示、変更対象とする代表インデックス画像の指定、新た
な代表インデックス画像となるインデックス画像の指定
等が、操作部８から入力される。動作制御部７は、操作
部８からの入力に応じて、表示画面の変更、及び記憶部
９内のインデックス画像間の関係等を変更する。

【００３７】この結果、例えば図５に示すように、代表
インデックス画像が変更される。図５では、シーンＡに
ついて、Index#5 が新しく代表インデックス画像として
選択され、前のIndex#1 と置き換えられて表示されてい
る。そして、Index#1 が他の二つのインデックス画像In
dex#4 、Index#6 と共に、時間を追う順に配列し直して
表示されている。同様に、シーンＢについては、Index#
8 が新しく代表インデックス画像として選択され、表示
が変更されている。

【００３８】また、図５に示すように、新たな代表イン
デックス画像が選択されて、不要になった先頭フレーム
のインデックス画像のように、不要なインデックス画像
については削除することができる。

【００３９】この場合も、操作部８から削除の指示、及
び対象とするインデックス画像の指定等が入力される。
図６は、図５においてIndex#5 、Index#8 が新しく代表
インデックス画像として選択されたため、前のIndex#1
，Index#2 を不要なインデックス画像として削除した
表示例を示している。

【００４０】次に第２の形態について図７〜図９を用い
て説明する。図７（ａ）は、最初の表示段階の表示例を
示している。図７（ａ）は、シーン毎に得られたインデ
ックス画像をシーン毎に積み重ねた形状で表示してい
る。一番上に表示されているインデックス画像が、その
シーンの代表インデックス画像となる。

【００４１】この編集画面から、例えばシーンＡの内容
を知りたいときは、シーンＡの一番上に表示しているIn
dex#1 が、操作部８の操作によってカーソルにより指示
される。この場合、インデックス表示部６は、図７
（ｂ）に示すように、シーンＡで抽出されたインデック
ス画像Index#4 〜Index#6 を時間軸に添って表示する。
ここで、Index#1 が再び指示されると、図７（ａ）に示
す、シーン毎にまとまりの表示に戻す。

【００４２】図８は代表インデックス画像を変更する場
合の表示例である。図７（ｂ）に示すように表示された
状態で、新たなインデックス画像としてIndex#5 が選択
されると、図８（ａ）に示すように、前のIndex#1 と置
き換えて、代表インデックス画像を変更して表示する。
そして、Index#1 が他の二つのインデックス画像Index#
4 、Index#6 と共に、時間を追う順に配列し直して表示
されている。この表示状態で、Index#5 が選択される
と、図８（ｂ）に示すように、インデックス画像をシー
ン毎にまとめた表示にする。

【００４３】図９はインデックス画像を削除する場合の
表示例である。例えば図８（ａ）に示す編集画面で、In
dex#5 が新しく代表インデックス画像として選択され、
前のIndex#1 が不要となった場合には、操作部８からIn
dex#1 の削除が指示されると、図９（ａ）に示すよう
に、インデックス画像Index#1 を削除した表示に変更す
る。この表示状態で、Index#5 が選択されると、図９
（ｂ）に示すように、インデックス画像をシーン毎にま
とめた表示にする。図９（ａ）に示すように、シーンＡ
に含まれるインデックス画像が３面分に変更された形態
で表示されている。

【００４４】このようにして、連続した複数のシーンか
ら構成される映像を編集する際に、映像から得られた様
々なインデックス画像をシーンごとに関連あるものをま
とめて表示するので、各々のインデックス画像のシーン
内での意味的なつながりが明確になり、かつ、全体の流
れを把握することが容易になる。また、映像中から得ら
れたシーンを代表する代表インデックス画像を、編集画
面上に効率よく配置することにより、映像全体の内容の
把握を容易にすることができる。

【００４５】

【発明の効果】以上のように本発明によれば、連続する
複数のシーンから構成される映像から得られた複数のイ
ンデックス画像をシーン毎にまとめて編集画面上に表示
することにより、そのインデックス画像を追うことで必
要とするシーンの検索を容易に行なうことができる。ま
た、インデックス画像間のつながりと、シーン間のつな
がりとの境を容易に区別することができ、表示画面中か
ら映像の内容を十分に把握することができるようになる
ものである。

【図面の簡単な説明】

【図１】本発明の一実施例に係わるインデックス画像表
示装置の構成を示すブロック図。

【図２】複数シーンから構成される映像の一例を示す
図。

【図３】本実施例におけるシーン変化管理のための動作
の詳細を説明するためのフローチャート。

【図４】本実施例における第１の形態による編集画面例
を示す図。

【図５】本実施例における第１の形態による編集画面で
代表インデックス画像を変更する操作を説明するための
図。

【図６】本実施例における第１の形態による編集画面で
インデックス画像を削除する操作を説明するための図。

【図７】本実施例における第２の形態による編集画面例
を示す図。

【図８】本実施例における第２の形態による編集画面で
代表インデックス画像を変更する操作を説明するための
図。

【図９】本実施例における第２の形態による編集画面で
インデックス画像を削除する操作を説明するための図。

【符号の説明】

１…デジタル動画像入力部、２…シーン変化検出部、３
…シーン変化管理部、４…特徴フレーム検出部、５…素
材管理部、６…インデックス表示部、７…動作制御部、
８…操作部、９…記録部。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁵ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｈ０４Ｎ 7/18 Ｕ

Claims (4)

【特許請求の範囲】
1. 【請求項１】 複数のシーンを含む映像中から１シーン
   当り１つ以上のインデックス画像を抽出し、同インデッ
   クス画像を各シーン毎に、シーン中に含まれるインデッ
   クス画像間の関係を表現する形態によって表示すること
   を特徴とする映像インデックス表示装置。
2. 【請求項２】 前記映像中からシーン変化に当たるフレ
   ーム画像を検出することにより、連続する複数のシーン
   から構成される映像をシーン単位に分割して管理する管
   理手段と、 各シーン内から特徴的なフレーム画像をインデックス画
   像として検出する検出手段と、 を具備したことを特徴とする請求項１記載の映像インデ
   ックス表示装置。
3. 【請求項３】 連続するフレーム画像によって構成され
   るデジタル動画像から、シーン変化に当たるフレーム画
   像をインデックス画像として検出するシーン変化検出手
   段と、 前記デジタル動画像から特徴的なフレーム画像をインデ
   ックス画像として検出する特徴フレーム検出手段と、 前記シーン変化検出手段によって検出されたインデック
   ス画像と、前記特徴フレーム検出手段によって検出され
   たインデックス画像を、シーン毎に管理するシーン変化
   管理手段と、 前記シーン変化管理手段によって管理されるインデック
   ス画像の関係を表現する形態で、前記インデックス画像
   を表示するインデックス表示手段と、 を具備したことを特徴とする映像インデックス表示装
   置。
4. 【請求項４】 前記インデックス表示手段は、シーン中
   の代表的なインデックス画像である各シーン毎の代表イ
   ンデックス画像に対して、各シーン中に含まれるインデ
   ックス画像を前記デジタル動画像における出現順に従う
   配列によって、従属させる形態で表示することを特徴と
   する請求項３記載の映像インデックス表示装置。