JPH04237284A

JPH04237284A - 映像内容圧縮表示処理方法

Info

Publication number: JPH04237284A
Application number: JP3020519A
Authority: JP
Inventors: Seita Otsuji; 清太大辻; Shinichi Shiwa; 志和　新一; Yuji Oba; 有二大庭
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: NTT Inc
Priority date: 1991-01-21
Filing date: 1991-01-21
Publication date: 1992-08-25
Anticipated expiration: 2014-11-22
Also published as: JP2980387B2

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、映像の内容を短時間
に把握するための表示を行う映像内容圧縮表示処理方法
に関するものである。更に詳しく言えば例えば映画の予
告編などのカタログ作成などの如く映像情報を要約し内
容圧縮を行うようにし、ビデオテープレコーダやビデオ
ディスクなどの既存する大量の映像情報を、短時間に把
握するための映像内容圧縮表示処理方法に関するもので
ある。

【０００２】

【従来の技術】文章の場合には、漢字などを飛ばし見て
いくことで素早く内容を把握することがある程度可能で
ある。また、文章は要約することが、映像に比べて容易
である。さらに文字情報は記号であって、コンピュータ
などでの検索処理などにかかりやすい。

【０００３】それに対し、動画映像の場合には飛ばし見
が難しい。そのため、従来の方法としては、再生速度を
上げて再生時間を短縮した早送りと、見る人がその速度
をある程度変えられる可変速再生とを行うしかなかった
。また画像の場合には、機械による意味理解が困難で、
要約も難しい。検索のためのキーを付けにくいので、文
字の場合のように容易には検索処理が行えない。ただ動画像の場合には、人間が目印になる信号をあるフ
レームにあらかじめ付けておき、それをたよりに検索す
る方法などが使われている。また、或る種のＶＴＲにお
いては、検索のための信号を録画開始時に自動的にビデ
オテープに記録して、録画開始点の検索を効率化するも
のもある。

【０００４】

【発明が解決しようとする課題】早送りによる動画飛ば
し見は、実現が容易で見る側の操作も簡単だが、映像内
容の如何にかかわらず高速に表示されるため、内容を見
落とすことがあった。また動きの激しい動画の場合には
大変見づらい表示になるため疲れやすく、長時間の早見
は実用的ではなかった。以上の問題を解決するためには
再生速度を下げなくてはならず、これは本来の早送りの
操作と矛盾することになった。またこれらの理由からあ
まり再生速度を上げられないため、表示時間の短縮が難
しかった。

【０００５】変速再生の時には、動きの激しさや、興味
の度合いに応じて見る人が再生速度を調節することが出
来たが、その調整をすべて人間がやらなくてはならない
。これはまず操作自体面倒である。次に調節者は表示画
面を見て再生速度を決めるので、その調節能力は調節者
の認識能力に左右される。調節者が見落とせばそれを救
う方法はなかった。見落としを無くすためには、速度を
遅めに調節するか、かなりの精神集中を行うしかなく、
これは早見に要する時間を増加させ、また疲労させるこ
とになった。さらに、調節者が認識してから調節方法を
判定し、実際に調節を行うため、調節は必ず遅れを生じ
、頻繁に逆方向再生を行う必要があった。これ自体早見
時間を増加させ、また精神的にもいらいらする原因とな
った。

【０００６】また、検索のための信号を動画像にあらか
じめ付与する方法は、その信号を人間が付けなければな
らず、その処理が面倒で、また時間のかかるものであっ
た。そのためこの方法は、映画などをＶＴＲやＬＤ（レ
ーザーディスク）など同じ動画像を大量に作成する場合
、または個人的に頻繁に見る特定の動画映像に対する場
合以外では、ほとんど実用的ではなかった。また信号を
付ける場所が付ける人の主観に左右されるという問題も
あった。本発明の目的は、動画映像の中身を短時間に把
握したい場合、以上述べたような従来の方法では短時間
に把握するのが困難であるという問題を、動画の内容変
化に応じた表示を行うことで解決しようとするものであ
る。

【０００７】

【課題を解決するための手段】図１は本発明の原理構成
図を示す。図中の符号は次のものを表している。即ち、
１は映像媒体で、ビデオテープ、ＬＤなどの映像ソース
である。またはＨＤ（ハードディスク）や光磁気ディス
クなどの蓄積装置に蓄えられた映像データでもよい。２
は映像媒体１を再生する再生装置で、ビデオデッキ、Ｌ
Ｄプレーヤーなどである。この装置は外部の指示にした
がって、任意のフレームを表示したり、現在の表示フレ
ーム番号をコンピュータに送ることが出来る機能を有す
る。これはＨＤや光磁気ディスクなどの蓄積装置と、そ
れに蓄えられた映像データを画像処理装置３や後述する
表示装置６に送れるような映像信号に変換する復号化装
置からなるものでもよい。３は画像処理装置で、再生装
置２から送られた映像信号を受け取り、そこから明度分
布などの情報を取り出し、コンピュータに送る事の出来
るものである。４はコンピュータで、画像処理装置３か
ら送られた情報や、再生装置２から送られた情報や、人
間からの指示情報を受け取り、それらを格納することが
出来る。またそれらの情報をあるアルゴリズムにしたが
って処理し、再生装置２を操作する方法を決定し、その
指示情報を再生装置２に送ることが出来る。また５は変
化量データファイルであって変化量のデータを格納する
。

【０００８】本発明の場合には、動画映像の飛ばし見の
一手方法である可変速再生を、半自動化するようにして
いる。まず、早見したい動画像のフレーム間変化量をあ
らかじめ画像処理装置３により計測しておく。つぎに、
そのデータを元に、表示重要性の大きい所は低速、少な
いところは高速で再生するような速度コントロール用の
データを作成して変化量データファイル５に格納する。そして早見の際に、作成したコントロールデータを既定
値として動画像を可変速再生表示する。

【０００９】

【作用】　　　　あらかじめ機械に動画映像を下見させ
、変化量を測定しておくことにより、動画のどの部分に
どのような種類の変化が多いかの情報が得られる。これ
により、早見表示装置は早見をする人の要求条件に適し
た再生速度コントロールデータを作成する事が可能とな
る。このことにより、早見をしたい場合、動画を内容変化に
応じた高速表示することが可能となり、ある動画の内容
を短時間に把握出来、効率化が図られる。

【００１０】

【実施例】図２は表示を行う場合の構成を説明する図で
ある。図中の符号２，４，５は図１に対応している。ま
た６は表示装置で、再生装置２からの映像信号を表示す
る。７は動画の早見を行う人間で、コンピュータ４に対
し指示を送り、また表示装置６の表示を見ることが出来
る。

【００１１】図１に示した如くまず、動画映像から内容
変化情報を取り出す。内容を早見したい映像の入った映
像媒体１を、再生装置２で再生し、その画像を、画像処
理装置３に送り、画像処理装置３は、動画の変化量を検
出して出力する。コンピュータ４は、この結果を再生装
置２の再生しているフレーム番号の情報とあわせて、変
化量のデータを作成し、変化量データとして変化量デー
タファイル５に格納している。

【００１２】次に、この映像の早見を行う。まず変化量
データをコンピュータ４に入力する。コンピュータ４は
変化量データから、変化量に応じた、再生装置２をコン
トロールするためのファイルを作成する。次にコンピュ
ータ４は、見る人７からの詳しさの度合いなどの要求を
入力してそのコントロールファイルを変更する。これは
、再生前でも、再生途中でも構わない。そして最終的に
得られたコントロール方法に従って再生装置２をコント
ロールするための再生コントロール情報を生成すること
により、映像変化量に応じた可変速再生を行う。再生時
に使用する再生装置２は、変化量抽出時に使用したもの
と必ずしも同じものである必要はない。

【００１３】次に動画映像から内容圧縮表示に必要な情
報の取り出し方の一例について説明する。

【００１４】（Ａ）フレーム間の画素単位の輝度変化量
まず、画像処理装置３は、再生装置２から１フレーム分
の画像（画像（ｎ）とする）を受け取り、その画像を図
示していないメモリに格納する。次のフレームの画像（
画像（ｎ＋１））が再生装置２から送られてくると、画
像（ｎ）と画像（ｎ＋１）との各画素の輝度の差の絶対
値を計算する。このことによりフレーム間差分画像が得
られる。図３はフレーム間の画素単位の輝度変化情報を
得る態様を示している。図示のフレーム間差分画像につ
いてその差分量の合計を計算することにより、フレーム
間の画素単位の輝度変化量の情報が得られる。

【００１５】（Ｂ）フレーム間のフレーム単位の輝度変
化量図４はフレーム間のフレーム単位の輝度変化情報を
得る態様を示している。メモリに格納された画像（ｎ）
に対して輝度の分布（ヒストグラム）を計算する（Ｈ（
ｎ）とする）。次に画像（ｎ＋１）の輝度ヒストグラム
（Ｈ（ｎ＋１））を同様に計算し、Ｈ（ｎ）とＨ（ｎ＋
１）との差分の絶対値を計算する。これにより、フレー
ム間のフレーム単位の輝度変化量の情報が得られる。

【００１６】次に映像から取り出した情報を使って、再
生速度をコントロールする方法について説明する。図５
はコントロールファイルを得る態様を示している。

【００１７】コンピュータ４は画像処理装置３から変化
量のデータを、再生装置２からのフレーム番号情報と共
に受け取っているので、動画の各フレームについての変
化量情報を持っている。

【００１８】まず、フレーム間の画素単位の輝度変化量
は、画面内の物体の動きに敏感である。逆に動きが少な
ければ、フェードイン、フェードアウトなどについては
あまり出ないという特徴がある。そこで、動きの少ない
ところは飛ばし、動きの多いところはゆっくり見たい場
合に、この変化量を表示重要性の高いものと解釈する。

【００１９】フレーム間のフレーム単位の輝度変化量は
、画面内での物体の移動には比較的鈍感で、フレーム全
体の輝度分布傾向が変化するような場合に大きな値が出
る。そこで、画面内の動きより、場面の変化を注意して
見たい場合、この変化量を表示重要性の高いものと解釈
する。

【００２０】このようにして計算された表示重要性を、
表示時間に反映させて可変速表示する。まず、コンピュ
ータ４は、早見をする人７から、表示重要性に寄与する
変化量の重み付けと、早見の全体の表示時間を入力して
もらう。コンピュータは、各変化量を重み付けに応じて
和を取り、表示重要性を計算する。次に再生時間から平
均再生速度（各フレームの表示時間）を算出し、それを
表示重要性に応じて増減する。図示のコントロールファ
イルはこの結果を表している。

【００２１】即ち、平均再生速度は、総フレームに対し
て１００秒を要することと早見時間１０秒とにもとづい
て、１００秒／１０秒＝１０倍速として得られる。表示重要性は、変化量の重み付けとし
て５：１が指示されたことから、（画素単位変化量）×５＋（フレーム単位変化量）×１
として得られる。そして、平均再生速度に相当する表示
重要性は、表示重要性についての全フレームの和を３０
０（フレーム）で割り算する。このようにして得られた
結果にもとづいて、各フレームの表示時間が（各フレー
ムの表示重要性）／（平均再生速度に相当する表示重要
性）として得られる。

【００２２】この時、一般の動画映像では１秒間に表示
できるフレーム数が限られているので、それより高速に
は表示できない。例えばＮＴＳＣ信号では１／３０秒以
下の表示は出来ない（偶数フィールド、奇数フィールド
を別のフレームとして扱った場合は１／６０秒）。表示
重要性を表示時間とした場合、この最短表示時間以下に
なったものについては、１）表示を省略する。２）最短表示時間に対する割合に相当する確率で表示す
るかどうかを判定する。３）最小表示時間単位（例えば１／３０秒）で四捨五入
する。などの方法を用いる。

【００２３】また、変化量の評価方法としては、変化量
を積算し、あるしきい値を越えたときに、その前に表示
した画像から推測が出来ない程画像が変わったとして表
示する方法も考えられる。

【００２４】再生装置２が指定したフレームを、指定し
た時間間隔で表示出来ない場合には、あらかじめ見る人
が早見時間などを指示し、それに基づいて選んだフレー
ムを追記型ＬＤや、駒撮り可能なＶＴＲなどに駒撮りし
、それを再生する。この場合、厳密な意味では対話的に
早見の詳しさを変えることは出来ないが、早見用に編集
された動画を一定速で早送り、スロー再生することが出
来れば、その速度を変えることで疑似的には調節可能で
ある。

【００２５】

【発明の効果】この発明によれば、映像の表示重要性が
少ないところでは高速で飛ばし、多いところではゆっく
り見せると言う方法をとったため、単位時間当たりの情
報量を平滑化することが出来、単なる早送りよりも内容
把握の効率を上げることが可能になる。また、表示重要
性は変化量の重み付けを変更したり、実際の表示時間へ
の反映を変えることで早見の目的に合わせて調整するこ
とが出来、また早見全体にかかる時間も、平均再生速度
を増減することで変更することが出来るので、早見を行
う人の要求する詳しさの度合い、希望する早見時間に応
じた柔軟な表示が可能となる。またこの変更は、再生装
置の速度制御能力の許す範囲で、一般の可変速再生のよ
うに再生時に対話的に変更できるので、見ているうちに
より詳しく見たくなった場合でも、その要求に応じられ
る。また、早見用に編集されたものは、動画のカタログ
としても使用できるので、ビデオテープやＬＤの冒頭に
入れたり、動画概要の要約と考えて動画本体の代わりに
カタログとして受け渡したりすることも出来る。

【図面の簡単な説明】

【図１】本発明の原理構成図である。

【図２】表示を行う場合の構成を説明する図である。

【図３】フレーム間の画素単位の輝度変化情報を得る態
様を示す図である。

【図４】フレーム間のフレーム単位の輝度変化情報を得
る態様を示す図である。

【図５】コントロールファイルを得る態様を示す図であ
る。

【符号の説明】

１　　映像媒体２　　再生装置３　　画像処理装置４　　コンピュータ５　　変化量データファイル６　　表示装置７　　人間

Claims

【特許請求の範囲】

【請求項１】　　映像媒体を再生装置にて再生して表示
する表示処理方法において、再生された映像信号にもと
づいて明度分布を含む情報を取り出した上で、映像の変
化量に対応した変化量データを抽出し、当該変化量デー
タと、外部から指示された指示情報とにもとづいて、各
フレームについての表示時間を設定し、当該表示時間に
対応して表示を行うようにしたことを特徴とする映像内
容圧縮表示処理方法。
【請求項２】　　上記変化量データは、フレーム間の画
素単位の輝度変化量で与えられる情報と、フレーム間の
フレーム単位の輝度変化量で与えられる情報とを有する
ことを特徴とする請求項１記載の映像内容圧縮表示処理
方法。
【請求項３】　　上記変化量データにもとづいて表示重
要性を計算しておき、早見についての指示された情報を
用いて、各フレームの表示時間を抽出してコントロール
ファイルを得るようにしたことを特徴とする請求項１記
載の映像内容圧縮表示処理方法。