JPH11308567A - ページ表示機能付きレイアウト映像編集方法及び装置及びそのプログラムを記録した記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 各映像素材の一部から映像内容把握支援出力
物を制作し、対応する映像から自動的に映像を編集する
システムを構築する。 【解決手段】 入力映像０を幾つかの映像区間１に映像
区間分割段階２０により分割する。この映像区間１に対
しインデクス情報となる代表画像２を映像代表画像出力
段階２１にて出力する。代表画像２を元に編集者１０は
指示１１を与え、代表画像レイアウト段階２２により素
材を編集し、映像内容把握の支援出力物となるレイアウ
ト結果３を得る。このレイアウト結果３に基づき映像編
集段階２３で映像を編集する。レイアウト結果３上の代
表画像に対し代表画像減少段階２４により代表画像の関
係を評価して代表画像数を減少させる。これにより得ら
れる減少代表画像５は、代表画像表示段階２５におい
て、編集者や利用者である視聴者１４に表示１３を経て
視聴される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、撮影や、ネットワ
ークを介して取得した映像を解析し、編集する際に映像
編集を容易にするシステムに関するものである。

【０００２】

【従来の技術】小型ビデオカメラと、ビデオデッキの普
及から、一般の人々が映像を記録、撮影することは非常
に多くなっている。

【０００３】しかし、映像の編集は、その内容を視聴
し、把握する必要があり、かつ、繰り返し映像を視聴す
るなどの反復作業を必要とするため困難な作業を伴い、
ほとんどの人々が編集作業を行っていないという事情が
ある。

【０００４】いくつかの問題点があると思われるが、第
１には撮影した映像の内容を把握することが困難であ
り、従来の編集機が時間情報の制約を大きく受けるもの
であり、シーケンシャルなアクセスしか許されず、ラン
ダムにアクセスできないなどの問題点を抱えていたた
め、編集作業に多大な労力と時間を必要としていたため
と思われる。また、第２には、映像の視聴は、時間的な
拘束が強く与えられるため、せっかく編集が行われても
映像を第３者に視聴させる機会が少なく、障害となって
いたと考えられる。

【０００５】映像編集を促進させるためには、 １．映像編集作業が容易であること。

【０００６】２．映像編集作業の結果、制作された映像
の内容がどのようなものか理解しやすく、かつ、視聴し
やすくなっていること。

【０００７】の２点が必要であると考えられる。

【０００８】上述の問題点を解析するためにいくつかの
従来方法が提案されている。

【０００９】第１の問題点である映像編集におけるシー
ケンシャルアクセスの問題点を解決するために、ノンリ
ニア編集機の利用が盛んになっている。これは、映像を
デジタル動画像化し、ハードディスクに編集中の作業を
記録することでランダムアクセスを可能にし、容易な編
集作業を実現している。このノンリニア編集機はすでに
いくつか有名なものが提案されており、そのインタフェ
ースはタイムラインを表示し、映像アイコンをタイムラ
インにそって表示していくというものに事実上規格化さ
れているといってよい。これは映像という時間方向への
情報を全て空間方向に展開して表示するものである。そ
の有名な例として、Ａｖｉｄ社 Ｍｅｄｉａ Ｃｏｍｐ
ｏｓｅｒやＡｄｏｂｅ社のＰｒｅｍｉｅｒｅ等のシリー
ズが存在する。これらの方法は一般化しており既に放送
や映像プロダクションにおいても利用されているが、要
求されるハードウェアに強力なものが必要とされるため
一般の人々が扱うには困難が伴う。そこでより映像編集
を一般化するためには、こうした場所などの制約を妨げ
ることなく映像編集作業が可能なものが望ましい。

【００１０】一方、第２の問題点を解決するために、映
像の内容を簡単に把握し、かつ、視聴させる一つの提案
として、映像情報のカット点の情報を抽出し、表示した
り、カメラワーク情報を抽出し、カメラワークの作用分
だけ画像をずらせることで、カメラ全体の画像を作成し
たものを画面上ないしは紙の上に配置して、表示するな
どの方法がいくつか提案されている（Ｙｕｋｉｎｏｂｕ
Ｔａｎｉｇｕｔｉ，Ｙｏｓｈｉｎｏｂｕ Ｔｏｎｏｍ
ｕｒａ，「Ｐａｎｏｒａｍａ Ｅｘｃｅｒｐｔｓ：Ｅｘ
ｔｒａｃｔｉｎｇ ａｎｄ ｐａｃｋｉｎｇ Ｐａｎｏ
ｒａｍａｓ ｆｏｒ Ｖｉｄｅｏ Ｂｒｏｗｓｉｎｇ」
１９９６ ＡＣＭ Ｍｕｌｔｉｍｅｄｉａ９７…
［１］）。

【００１１】

【発明が解決しようとする課題】しかしながら、これら
の従来方法は個別の問題解決しかできない。単純に組み
合わせるだけでも、ある程度、問題点を解決できるもの
が製作可能であることは期待できるものの、従来方法
［１］は、内容の機械的な理解にはある程度有効である
が、それ自体では魅力的なインタフェースではなく、編
集者が編集に利用する場合などには有効であっても、利
用者への視聴を促すものではない。これは、編集された
映像から、機械的な特徴等を選び出すことを行っている
からである。従って、視聴者にとっては、どれが必要
で、どれが不必要な映像なのかが分かりずらく、視聴者
の積極的な視聴につながっていかなかったのである。

【００１２】また、映像は上述したように、空間方向だ
けでなく時間方向への展開を必要とされる。映像の１フ
レームの画像というのは狭い範囲であるため、時間方向
への展開を行い、被写体に対する画角、アングル等を切
り替えることで、映像における演出を行っていた。従っ
て、上述の従来方法［１］に示すように機械的にショッ
トチェンジ点を表示していくと、表示される映像の個数
が多くなり、一本の映像作品から、視聴したい箇所を取
り出す際に問題になることが知られている。これは、映
像編集時に生じるショットチェンジ等を基準とした映像
内容の表示密度と、内容把握支援出力物に求められる映
像内容の密度の間に差が生じているため、映像からの機
械的な特徴量に基づいたものが、すなわち内容把握支援
出力物と等価なものにならないことを示している。

【００１３】しかし、映像の編集者にとっては、映像編
集作業を終了したあとに、さらに映像の視聴を魅力的な
ものにさせるような映像の内容把握のための支援ツール
である内容把握支援出力物を映像に加えて生成すること
は、本来映像の編集作業だけで終わった作業に、さらに
別のコンテンツを作る必要が生じるため、大変面倒な作
業を伴い、これまで以上の労力が要求されるという問題
があげられる。

【００１４】したがって、映像編集を行うと自動的に内
容把握支援出力物を作ってくれるシステムか、内容把握
支援出力物を作っていると自動的に映像を編集してくれ
るシステムか、のいずれかのシステムがあれば、こうし
た問題が解決できると思われる。

【００１５】そこで、本発明では、各映像素材の一部か
ら、映像内容把握支援出力物を制作すると、対応する映
像から自動的に映像が編集及び生成されるシステムを構
築することを課題とする。さらに、映像制作に求められ
る映像内容の密度と、内容把握出力物に求められる映像
内容の密度との差をうめることも考慮したシステムを構
築することを課題とする。

【００１６】

【課題を解決するための手段】上記の課題を解決するた
めの手段として、本発明を以下に列記する。

【００１７】（１）の発明は、映像素材をレイアウトし
て出力し、その出力結果を基に映像素材に対して編集作
業を行いつつ、レイアウトした映像素材を表示し、出力
するページ表示機能付きレイアウト映像編集方法であっ
て、映像素材を区間単位に分割する映像区間分割段階
と、該分割された映像区間毎に代表画像を出力する代表
画像出力段階と、該代表画像をレイアウトすることでレ
イアウト結果を得る代表画像レイアウト段階と、該レイ
アウト結果に応じて映像を自動編集する映像編集段階
と、該レイアウト結果に用いられた代表画像同士を、代
表画像の大きさ、形状、代表画像と対応つけられている
映像区間の長さ等の代表画像の特徴に応じて、関連付け
によって代表画像の個数を減少させて減少代表画像を生
成する代表画像減少段階と、該減少代表画像を表示する
代表画像表示段階と、を具備することを特徴とするペー
ジ表示機能付きレイアウト映像編集方法である。

【００１８】（２）の発明は、映像素材をレイアウトし
たレイアウト結果を基に映像素材に対して編集作業を行
いつつ、レイアウトした映像素材を表示し、出力するペ
ージ表示機能付きレイアウト映像編集方法であって、レ
イアウト結果に応じて映像を自動編集する映像編集段階
と、該レイアウト結果に用いられた代表画像同士を、代
表画像の大きさ、形状、代表画像と対応つけられている
映像区間の長さ等の代表画像の特徴に応じて、関連付け
によって代表画像の個数を減少させて減少代表画像を生
成する代表画像減少段階と、該減少代表画像を表示する
代表画像表示段階と、を具備することを特徴とするペー
ジ表示機能付きレイアウト映像編集方法である。

【００１９】（３）の発明は、映像素材をレイアウトし
て出力し、その出力結果を基に映像素材に対して編集作
業を行いつつ、レイアウトした映像素材を表示し、出力
するページ表示機能付きレイアウト映像編集装置であっ
て、映像素材を区間単位に分割する映像区間分割手段
と、該分割された映像区間毎に代表画像を出力する代表
画像出力手段と、該代表画像をレイアウトすることでレ
イアウト結果を得る代表画像レイアウト手段と、該レイ
アウト結果に応じて映像を自動編集する映像編集手段
と、該レイアウト結果に用いられた代表画像同士を、代
表画像の大きさ、形状、代表画像と対応つけられている
映像区間の長さ等の代表画像の特徴に応じて、関連付け
によって代表画像の個数を減少させて減少代表画像を生
成する代表画像減少手段と、該減少代表画像を表示する
代表画像表示手段と、を具備することを特徴とするペー
ジ表示機能付きレイアウト映像編集装置である。

【００２０】（４）の発明は、映像素材をレイアウトし
たレイアウト結果を基に映像素材に対して編集作業を行
いつつ、レイアウトした映像素材を表示し、出力するペ
ージ表示機能付きレイアウト映像編集装置であって、レ
イアウト結果に応じて映像を自動編集する映像編集手段
と、該レイアウト結果に用いられた代表画像同士を、代
表画像の大きさ、形状、代表画像と対応つけられている
映像区間の長さ等の代表画像の特徴に応じて、関連付け
によって代表画像の個数を減少させて減少代表画像を生
成する代表画像減少手段と、該減少代表画像を表示する
代表画像表示手段と、を具備することを特徴とするペー
ジ表示機能付きレイアウト映像編集装置である。

【００２１】（５）の発明は、上記（１）または（２）
に記載のページ表示機能付きレイアウト映像編集方法で
の各段階をコンピュータで実現するためのプログラム
を、該コンピュータが読み取り可能な記録媒体に記録し
たことを特徴とするページ表示機能付きレイアウト映像
編集プログラムを記録した記録媒体である。

【００２２】本発明においては、映像素材から一部の情
報を抽出して詳細な内容把握出力物を構成しつつ、その
内容把握出力物の情報に従って、あるいはすでに構成さ
れた内容把握出力物の情報に従って、映像を編集、生成
する。さらに、内容把握出力物をより扱いやすくするた
めに、内容把握出力物の内容を減少させるように加工
し、表示する。

【００２３】

【発明の実施の形態】本発明によるページ表示機能付き
レイアウト映像編集方法及び装置の具体的な実施の形態
について以下に説明する。

【００２４】図１に、本発明の一実施形態例によるペー
ジ表示機能付きレイアウト映像編集方法の処理フロー図
を示す。

【００２５】入力映像０から、編集及び加工された映像
４の素材となる映像素材を生成するために、映像をいく
つかの映像区間１に映像区間分割段階２０によって分割
する。

【００２６】この映像区間に対して、映像編集の際のイ
ンデクス情報となる代表画像２を映像代表画像出力段階
２１にて出力する。

【００２７】代表画像２を元に利用者である編集者１０
は、指示１１を与えて代表画像レイアウト段階２２によ
って素材を編集し、レイアウト結果３を得る。このレイ
アウト結果３は、生成する映像の内容を把握するための
支援出力物となるものであり、かつ、このレイアウト結
果３に基づいて映像を実際に編集する。

【００２８】レイアウト結果上の代表画像に対し、代表
画像減少段階２４によって、代表画像の関係を評価して
代表画像の個数を減少させる。これにより減少代表画像
５を得る。代表画像が減少するのに従って代表画像と対
応していた映像区間との間の対応も変化する。従って、
減少代表画像と編集された映像との間の対応も変化す
る。

【００２９】一方、減少代表画像を編集者やその他の利
用者に表示するために、代表画像表示段階２５にて、視
聴者１４に対し、表示１３を経て視聴させる。

【００３０】なお、入力映像０は、コンピュータが解析
可能なデジタル映像であれば良く、ＭＰＥＧやＪＰＥＧ
等の圧縮符号化されていても構わない。その時間及び空
間方向へのパラメータは任意で構わない。また、デジタ
ル映像でない場合には、アナログ映像データをキャプチ
ャツール等によるデジタル化する機能を映像区間分割段
階２０に備えていても構わない。映像区間１について
も、同様の特性が反映される。

【００３１】代表画像は、各映像区間を元にしており、
映像区間から得られる特徴量に応じてさまざまな代表画
像が生成される。最も簡単なものは、ショットチェンジ
直後のフレームをそのまま用いる場合であるが、ショッ
トチェンジ直後である必要はなく、ショットチェンジ直
前や、ショットチェンジと次のショットチェンジのちょ
うど真ん中のものや、最も明度の高いもの、色相の高い
もの等のフレームを選択することで、代表画像とするこ
ともできる。また、カメラワークの開始、終了、カメラ
ワークが最大に行われているフレームを選択しても良い
し、手ぶれや、被写体の急激な動きが急な部分を取り除
いた場合や、それらの開始、終了時のフレーム、動き被
写体の有無、動き被写体の有無に応じて動き被写体の出
現、消滅等のフレームといったフレームをそのまま利用
することもできる。また、抽出されたカメラワーク情報
を元にカメラワークの動きずれを計測し、そのずれだけ
時系列画像をずらしていくことで生成される高精細画像
等の画像を利用しても構わない。この高精細画像中に動
き被写体が存在する場合には、動き被写体をこの高精細
画像中に貼り付けたものも可能とする。これらの代表画
像は、それぞれ映像のある時間区間の内容を元に生成さ
れるものであり、映像の一部の内容を反映したものであ
る。これら、代表画像には、それを作成した映像の一部
を代表させる意味を持たせておくこととし、リンクを与
えておく。なお、リンクは一対一対応である必要は必ず
しもない。さまざまな条件によって、複数のリンクが存
在しても良いし、また、入れ子になっていても構わな
い。

【００３２】代表画像が生成されたレイアウトによっ
て、映像と対応した代表画像を配置し、編集者が望む映
像を生成する。この際レイアウトとは、ただ順番に選択
し、ある定められたフィールドに配置するだけでなく、
拡大、縮小、伸縮、回転などの空間的な加工や、明度、
色相などの変更に加えて、字幕、擬音、マンガにおける
セリフ、等のテキスト情報を付加してもこうしたレイア
ウトの一部である。また、代表画像の解像度を変更した
り、一部ないし全てを透明化しても構わない。これら
は、いずれもマンガを製作するために必要な加工であ
り、編集者の映像製作に対する意図を表現する重要な加
工となる。

【００３３】レイアウトに際して代表画像は、ある電子
ページ上に配置されていくことになる。ここで、このペ
ージは、電子化された仮想的なフィールドである。その
ページサイズ、形状、色等は任意で構わない。もちろ
ん、均一なページにしても構わない。このページ上に配
置する場所は、任意で構わない。左から右へ、上から下
へというルールや、左から右、下から上といったアレン
ジは自由に行って構わない。

【００３４】複数の代表画像が選択され、加工され、配
置されることで、これらの映像の一部を利用したレイア
ウト結果を得ることができる。レイアウト結果は、映像
素材の内容から生成され、その映像の内容を反映した代
表画像の情報を元に生成された内容把握支援出力物であ
り、レイアウト結果には、セリフ、擬音等の情報が入れ
込まれたものであり、レイアウト結果から大体の内容が
把握できるものである。

【００３５】映像編集段階２３では、レイアウト結果３
を元に、レイアウト中の代表画像に対応する映像区間１
を、配置した順番に映像をつないで編集する。また、も
しテキスト情報などや、編集時に対する指示があらかじ
め与えられていれば、それに対応した指示を反映して映
像の編集を行う。これにより編集された映像４が得られ
る。この編集された映像４を映像表示段階２６に投入
し、視聴者１４に表示１３により視聴させる。

【００３６】一方、レイアウト結果３は編集された映像
の内容把握を支援する出力物となり、編集者１０に対し
て表示１２が行われるが、このレイアウト結果３では、
内容把握を支援する出力物を基に、映像を編集するため
に使用したものであるため、映像の内容を反映している
が、映像の密度と内容把握に必要な各映像内容の表示密
度は異なる。一般には、編集する映像のすべてのショッ
ト数よりも、少ない個数の代表画像が存在すれば十分で
あるといわれている。そこで、代表画像間の関係をみ
て、代表画像の個数を減少させる。この処理を代表画像
減少段階２４にて行う。ここでは、各代表画像に対し
て、その大きさ、形状、代表画像とリンクしている映像
区間長さを、絶対評価、または、同一電子ページ内に限
定した相対評価で評価し、代表画像関係を変化させる。
例えば、巨大な代表画像に隣接する小さな代表画像は、
巨大な代表画像一つに、巨大な代表画像と小さな代表画
像の双方に対応する映像区間を対応付け、小さな代表画
像を消去させるものである。この処理の結果、内容把握
支援出力物であるレイアウト結果上では、代表画像の個
数が減少することになる。代表画像を減少することによ
って得られたレイアウト結果である減少代表画像５を代
表画像表示段階２５または映像表示段階２６に投入し、
視聴者１４に表示１３により視聴させる。

【００３７】次に、図２に、本発明の一実施形態例によ
る装置構成を実現するためのブロック図を表示する。

【００３８】入力映像３０から、編集された映像３４の
素材となる映像素材を生成するために、映像をいくつか
の映像区間３１に映像区間分割手段５０によって分割す
る。

【００３９】この映像区間に対して、映像編集の際のイ
ンデクス情報となる代表画像３２を映像代表画像出力手
段５１にて出力する。

【００４０】代表画像３２を元に利用者である編集者４
０は、指示４１を与えて代表画像レイアウト手段５２に
よって素材を編集し、レイアウト結果３３を得る。この
レイアウト結果は、生成する映像の内容を把握するため
の支援出力物となるものであり、かつ、このレイアウト
結果３３に基づいて映像を実際に編集する。レイアウト
結果３３を映像編集手段５３に送り、素材となった映像
区間１に対して処理を行うことで編集された映像３４を
得ることができる。

【００４１】一方、レイアウト結果３３上の代表画像に
対し、代表画像減少手段５４によって、代表画像の個数
を減少させ、減少代表画像３５を得る。視聴者４４は、
この減少代表画像及びレイアウト結果を代表画像表示手
段５５による表示４３を介して、一方で編集された映像
３４を映像表示手段５６による表示４３を介して、視聴
する。なお、代表画像が減少しても編集された映像その
ものは変化しないため、各代表画像に対応つけられた映
像区間と代表画像との間の関係が変化するのみにとどま
る。この代表画像減少手段５４及び対応つけられる編集
された映像３４及び代表画像表示手段５５の関係につい
ては詳細を後述する。

【００４２】入力映像３０は、コンピュータが解析可能
なデジタル映像であれば良く、ＭＰＥＧやＪＰＥＧ等の
圧縮符号化されていても構わない。その時間及び空間方
向へのパラメータは任意で構わない。また、デジタル映
像でない場合には、アナログ映像データをキャプチャツ
ール等によるデジタル化する機能を５０に備えていても
構わない。映像区間３１についても、同様の特性が反映
される。

【００４３】代表画像は、各映像区間を元にしており、
映像区間から得られる特徴量に応じてさまざまな代表画
像が生成される。最も簡単なものは、ショットチェンジ
直後のフレームをそのまま用いる場合であるが、ショッ
トチェンジ直後である必要はなく、ショットチェンジ直
前や、ショットチェンジと次のショットチェンジのちょ
うど真ん中のものや、最も明度の高いもの、色相の高い
もの等のフレームを選択することで、代表画像とするこ
ともできる。また、カメラワークの開始、終了、カメラ
ワークが最大に行われているフレームを選択しても良い
し、手ぶれや、被写体の急激な動きが急な部分を取り除
いた場合や、それらの開始、終了時のフレーム、動き被
写体の有無、動き被写体の有無に応じて動き被写体の出
現、消滅等のフレームといったフレームをそのまま利用
することもできる。また、抽出されたカメラワーク情報
を元にカメラワークの動きずれを計測し、そのずれだけ
時系列画像をずらしていくことで生成される高精細画像
等の画像を利用しても構わない。この高精細画像中に動
き被写体が存在する場合には、動き被写体をこの高精細
画像中に貼り付けたものも可能とする。これらの代表画
像は、各映像区間の内容を元に生成されるものであり、
映像の一部の内容を反映したものである。これら、代表
画像には、それを作成した映像の一部を代表させる意味
を持たせておくこととし、リンクを与えておく。なお、
リンクは一対一対応である必要は必ずしもない。さまざ
まな条件によって、複数のリンクが存在しても良いし、
また、入れ子になっていても構わない。

【００４４】編集者の指示を基に代表画像をレイアウト
する。このレイアウト処理では、映像と対応した代表画
像を配置し、編集者が希望する映像を生成する。この際
レイアウトとは、ただ順番に選択し、ある定められたフ
ィールドに配置するだけでなく、拡大、縮小、伸縮、回
転などの空間的な加工や、明度、色相などの変更に加え
て、字幕、擬音、例えばマンガ制作におけるセリフにあ
たるもの等のテキスト情報を付加してもよく、これらは
レイアウトの一部である。また、代表画像の解像度を変
更したり、一部ないし全てを透明化しても構わない。こ
れらは、いずれもマンガを製作するために必要な加工で
あり、編集者の映像製作に対する意図を表現する重要な
加工となる。

【００４５】レイアウトに際して代表画像は、ある電子
ページ上に配置されていくことになる。ここでこのペー
ジは、電子化された仮想的なフィールドである。そのペ
ージサイズ、形状、色等は任意で構わない。もちろん、
均一なページにしても構わない。このページの上に配置
する場所は、任意で構わない。左から右へ、上から下へ
というルールや、左から右、下から上といったアレンジ
は自由に行って構わない。

【００４６】複数の代表画像が選択され、加工され、配
置されることで、これらの映像の一部を利用したレイア
ウト結果を得ることができる。レイアウト結果は、映像
素材の内容から生成され、その映像の内容を反映した代
表画像の情報を元に生成された内容把握支援出力物であ
り、レイアウト結果には、セリフ、擬音等の情報を入れ
込み、代表画像を見るだけで大体の内容が把握できるも
のである。

【００４７】この代表画像をレイアウトしたレイアウト
結果から、レイアウト結果上の代表画像に対応する映像
区間を、配置した順番に映像をつないで編集する。ま
た、もしテキスト情報などや、編集時に対する指示があ
らかじめ与えられていればそれに対応した指示を反映し
て映像の編集を行う。これにより編集された映像が得ら
れるのである。

【００４８】図３には、レイアウト結果から制作された
映像との関係を示している。（ａ）はレイアウト結果で
あり、各方形の形状は代表画像を示している。各代表画
像の下にある小さな数字は、それぞれレイアウトの順番
を示している。なお、６番目の代表画像は、カメラワー
クなどの動きがある場合、同一シーンにおける移動のず
れを意識して張り合わせた高精細画像の一例である。こ
のレイアウト結果から映像編集手段５３に基づいて対応
する映像区間を編集した結果が（ｂ）に示す編集された
映像区間である。それぞれ代表区間の番号と、映像区間
の番号が対応している。

【００４９】一方で、レイアウト結果に対し、代表画像
減少手段５４を介して代表画像の個数を減少させ、減少
代表画像３５を得る。ここでは、定められたルールに従
って、代表画像を見直し、減少させる。この処理は、代
表画像の形状、大きさ、代表画像に対応する映像区間長
さ等を比較し、代表画像同士の評価を行う。この評価
は、絶対的な評価によっても良いし、同一ページ上の相
対的な評価を元にしても良い。

【００５０】代表画像同士の評価の結果、代表画像が減
少したことによって得られる減少代表画像３５を基に代
表画像表示手段５５によって視聴者４４に対して表示４
３を行う。視聴者４４は、表示された減少代表画像とレ
イアウト結果を基に、希望する代表画像に対応する映像
区間を探し出し、映像を表示し、視聴する。映像そのも
のの表示はレイアウトした結果の上で再生しても良い
し、電子モニター上の別のウインドウでも良いし、他の
独立したモニター上で表示しても良い。なお、レイアウ
ト結果の表示は、視聴者４４の必要に応じてさらに変化
しても良いものとする。

【００５１】以下に、代表画像減少手段と、それによる
代表画像間関係が変化した例を示す。

【００５２】その第一の例が図４に示すように、隣接す
る代表画像同士を比較し、時間的に後から出現する小さ
い代表画像は直前に出現する大きな代表画像に吸収され
る、小さな代表画像を除去するというルールに基づくも
のである。すなわち、まず、（ａ）に示すレイアウト結
果上の代表画像１０１〜１０４が存在し、対応して
（ｃ）編集された映像区間が存在する。（ｃ）の横方向
の長さは映像区間の時間長を示しているものとする。こ
の図４の例では、ここで大小関係を基に同一ページ内の
隣接する画像間の関係から大きい代表画像１０３に小さ
い代表画像１０４が吸収され、（ｂ）変化した代表画像
関係が得られる。このとき表示されるレイアウト結果
は、代表画像１０４がなくなった状態となる。しかし、
一方で編集された映像そのものに変化はなく、代表画像
と映像区間との対応が変化するのみである。代表画像１
０３に対応するものは、（ｄ）に示すように映像区間２
０３と２０４の２つの区間が対応する。

【００５３】第二の例として、図５では、同一ページ
で、一つの代表画像を選択するというルールに従った場
合であり、（ａ）のレイアウト結果でのページ中の最大
の代表画像に他の代表画像が吸収され、除去され、結
果、（ｂ）に示した一つの代表画像１０３が得られ、
（ｄ）に示すように映像区間２０１〜２０４が、全てそ
の代表画像１０３に対応づけられていることを示す。

【００５４】第三の例として、図６は、同一ページで一
つの代表画像を選択する際に、代表画像の特徴量より
も、対応づけられた映像区間の情報を基に、代表画像の
構成を変化した例である。この例では、（ｂ）のように
選択された代表画像１０４は（ａ）のレイアウト結果で
の他の代表画像と比較して小さいものの、（ｃ）の映像
区間長さを基に、最も長い映像区間２０４に対応する代
表画像１０４を選択して、ページ上の代表画像を変化さ
せていることを示す。

【００５５】もちろん、図４〜図６の例で示したルール
以外の別個のルールを設けても構わない。例えば、大き
な代表画像ではなく、小さな代表画像を選択したり、代
表画像に対して、字幕などのテキスト情報が付加されて
いる場合にはそれらを優先したり、また、テキスト情報
が複数存在する場合にはテキスト情報の文字の数、面積
を優先したり、等の処理である。

【００５６】また、ページ間での処理を行うことももち
ろん可能である。ページ毎に代表画像が１つになるよう
に、他の代表画像を除去し、ページごとの代表画像同士
を評価して、ページそのものを減少するという処理も可
能である。

【００５７】また、除去する、あるいは選択する代表画
像を特徴量により自動判別するのではなく、編集者から
の指示によって変化させるようにしても良い。

【００５８】なお、図４では、同一ページ上での代表画
像４個を代表画像３個にし、図５、図６は、代表画像４
個を代表画像１個としている。こうした代表画像の個数
の変化は、固定にしても良いし、編集者の利用要求に応
じて変化しても構わない。各ページに代表画像１個とす
るのであれば、大きさ、面積、平均明度、対応する映像
区間など評価すべき特徴量が最大の代表画像をそれぞれ
選択して、他の代表画像は除去し、除去された代表画像
に対応する区間は全て最大の代表画像に対応させれば良
い。２個の場合には、各特徴量に基づく最大のものと次
のものを選択し、他の代表画像を除去し、除去された代
表画像に対応していた映像区間は、除去されなかった代
表画像のいずれかに対応つければ良い。映像区間の対応
付けを行う場合には、対応する映像区間同士の中で、最
も時間的に近い代表画像に対応つけるようにすれば良
い。

【００５９】編集者からの指示によって、ページ毎に減
少する代表画像の枚数を限定しても良いし、複数のペー
ジを含む中で代表画像の個数を限定する等の処理を行っ
ても良い。複数ページに渡る場合には、評価する特徴量
の大きなものから個数分をページとは無関係に選択し、
対応付けを行えば良い。

【００６０】代表画像表示手段では、減少代表画像乃
至、レイアウト結果を表示することが可能である。この
切り替えは、利用者の指示によって行う。また、利用者
の指示を察知し、自動的に行うなどの処理を行っても良
い。

【００６１】本実施形態例を視聴者が利用する際の利用
方法の例を図７に示す。

【００６２】利用者は、まず（ａ）に示すように、ペー
ジ毎に１枚の代表画像に集約されたものを内容把握表示
手段によって視聴する。ここで視聴したいページ（ｂ）
を絞る。ついでページ上の代表画像１枚に存在していた
が除去された代表画像（ｃ）の一部乃至全てを表示す
る。全て表示する場合は、レイアウト結果を表示してい
ることになる。視聴者は、この代表画像群４０１〜４０
５の中から希望する代表画像４０２を選択し、４０２に
対応する映像区間５０２（ｄ）を視聴することができ
る。除去された代表画像を表示させる同一ページ上に表
示させる手段は、代表画像は、１枚か全部かではなく、
ある程度のレベルを指定して、２枚、３枚という中間レ
ベルで表示しても良い。図７のサービスイメージに従え
ば、適切な映像の内容の密度に沿って映像を視聴するこ
とが可能となる。

【００６３】以上、ページ機能付きレイアウト映像編集
装置について、説明を加えてきた。上述の実施形態例に
対し、いろいろなアレンジを加えることは容易に類推出
来、それらも本発明の範囲内である。このインタフェー
スは内容把握支援出力物を編集すると同時に自動的に映
像を生成するというアプローチをとっており、映像と、
映像の内容を紹介するレイアウト出力とを生成できると
いう特徴がある。この方法により、編集者はよりわかり
やすく、利用者はより視聴しやすい環境を構築すること
ができる。

【００６４】なお、この方法をコンピュータプログラム
で記載し、記録メディアと、映像等の保存メディアと、
プログラムを読み取り、実行するコンピュータが存在す
れば、本発明を実施することも可能である。その際、コ
ンピュータプログラムは、例えば、ＦＤ（フロッピーデ
ィスク）や、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶ
Ｄ、リムーバブルディスクなどの記録媒体に記録して提
供し、配布することが可能である。

【００６５】

【発明の効果】本発明は、映像編集において、利用者が
簡単に内容把握出力物と映像とを生成し、映像を扱いや
すくすることを可能とする。また、内容把握出力物にお
いて、レイアウトした代表画像の特徴量から、代表画像
を評価し、重要と思われる代表画像を選別することで、
より重要な映像区間を探しやすくなるという効果を有
し、映像の利用の促進に有効となる。

【図面の簡単な説明】

【図１】本発明の一実施形態例によるページ表示機能付
きレイアウト映像編集方法の処理フロー図である。

【図２】本発明の一実施形態例による装置構成を実現す
るためのブロック図である。

【図３】上記実施形態例でのレイアウト結果からの映像
編集の例を示す図である。

【図４】（１），（２）は、上記実施形態例での代表画
像減少手段の処理による代表画像間関係が変化した第一
の例を示す図である。

【図５】（１），（２）は、上記実施形態例での代表画
像減少手段の処理による代表画像間関係が変化した第二
の例を示す図である。

【図６】（１），（２）は、上記実施形態例での代表画
像減少手段の処理による代表画像間関係が変化した第三
の例を示す図である。

【図７】上記実施形態例を視聴者が利用する際の利用方
法の例を示す図である。

【符号の説明】

１…映像区間 ２…代表画像 ３…レイアウト結果 ４…編集された映像 ５…減少代表画像 ２０…映像区間分割段階 ２１…映像代表画像出力段階 ２２…代表画像レイアウト段階 ２３…映像編集段階 ２４…代表画像減少段階 ２５…代表画像表示段階 ２６…映像表示段階 ３１…映像区間 ３２…代表画像 ３３…レイアウト結果 ３４…編集された映像 ３５…減少代表画像 ５０…映像区間分割手段 ５１…映像代表画像出力手段 ５２…代表画像レイアウト手段 ５３…映像編集手段 ５４…代表画像減少手段 ５５…代表画像表示手段 ５６…映像表示手段

Claims (5)

【特許請求の範囲】
1. 【請求項１】 映像素材をレイアウトして出力し、その
   出力結果を基に映像素材に対して編集作業を行いつつ、
   レイアウトした映像素材を表示し、出力するページ表示
   機能付きレイアウト映像編集方法であって、 映像素材を区間単位に分割する映像区間分割段階と、 該分割された映像区間毎に代表画像を出力する代表画像
   出力段階と、 該代表画像をレイアウトすることでレイアウト結果を得
   る代表画像レイアウト段階と、 該レイアウト結果に応じて映像を自動編集する映像編集
   段階と、 該レイアウト結果に用いられた代表画像同士を、代表画
   像の大きさ、形状、代表画像と対応つけられている映像
   区間の長さ等の代表画像の特徴に応じて、関連付けによ
   って代表画像の個数を減少させて減少代表画像を生成す
   る代表画像減少段階と、 該減少代表画像を表示する代表画像表示段階と、 を具備することを特徴とするページ表示機能付きレイア
   ウト映像編集方法。
2. 【請求項２】 映像素材をレイアウトしたレイアウト結
   果を基に映像素材に対して編集作業を行いつつ、レイア
   ウトした映像素材を表示し、出力するページ表示機能付
   きレイアウト映像編集方法であって、 レイアウト結果に応じて映像を自動編集する映像編集段
   階と、 該レイアウト結果に用いられた代表画像同士を、代表画
   像の大きさ、形状、代表画像と対応つけられている映像
   区間の長さ等の代表画像の特徴に応じて、関連付けによ
   って代表画像の個数を減少させて減少代表画像を生成す
   る代表画像減少段階と、 該減少代表画像を表示する代表画像表示段階と、 を具備することを特徴とするページ表示機能付きレイア
   ウト映像編集方法。
3. 【請求項３】 映像素材をレイアウトして出力し、その
   出力結果を基に映像素材に対して編集作業を行いつつ、
   レイアウトした映像素材を表示し、出力するページ表示
   機能付きレイアウト映像編集装置であって、 映像素材を区間単位に分割する映像区間分割手段と、 該分割された映像区間毎に代表画像を出力する代表画像
   出力手段と、 該代表画像をレイアウトすることでレイアウト結果を得
   る代表画像レイアウト手段と、 該レイアウト結果に応じて映像を自動編集する映像編集
   手段と、 該レイアウト結果に用いられた代表画像同士を、代表画
   像の大きさ、形状、代表画像と対応つけられている映像
   区間の長さ等の代表画像の特徴に応じて、関連付けによ
   って代表画像の個数を減少させて減少代表画像を生成す
   る代表画像減少手段と、 該減少代表画像を表示する代表画像表示手段と、 を具備することを特徴とするページ表示機能付きレイア
   ウト映像編集装置。
4. 【請求項４】 映像素材をレイアウトしたレイアウト結
   果を基に映像素材に対して編集作業を行いつつ、レイア
   ウトした映像素材を表示し、出力するページ表示機能付
   きレイアウト映像編集装置であって、 レイアウト結果に応じて映像を自動編集する映像編集手
   段と、 該レイアウト結果に用いられた代表画像同士を、代表画
   像の大きさ、形状、代表画像と対応つけられている映像
   区間の長さ等の代表画像の特徴に応じて、関連付けによ
   って代表画像の個数を減少させて減少代表画像を生成す
   る代表画像減少手段と、 該減少代表画像を表示する代表画像表示手段と、 を具備することを特徴とするページ表示機能付きレイア
   ウト映像編集装置。
5. 【請求項５】 請求項１または請求項２に記載のページ
   表示機能付きレイアウト映像編集方法での各段階をコン
   ピュータで実現するためのプログラムを、該コンピュー
   タが読み取り可能な記録媒体に記録した、 ことを特徴とするページ表示機能付きレイアウト映像編
   集プログラムを記録した記録媒体。