JP2000350165A - 動画像記録再生装置 - Google Patents

Abstract

(57)【要約】 【課題】 ユーザのお気に入りのシーンの代表画像を用
いて、録画された動画の内容の要約情報を表示する動画
像記録再生装置を提供する。 【解決手段】 動画像の録画、及び再生処理を行う録画
再生部１１０と、録画再生部１１０を制御する制御部１
２０と、動画像を格納する動画記憶装置３１と、制御部
１２０が使用する制御情報を格納する制御情報記憶部１
３０とを備え、録画すべき動画をシーンの変化毎に分割
し、分割した各シーンから、代表画面を選出し、ユーザ
入力操作種別に基づいて、各シーンの重要度を判別し、
重要度の高いシーンの代表画面を、画像要約情報として
表示する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ビデオプレイヤ
ー、デジタルビデオディスク・プレイヤー等の動画像記
録再生装置、特に録画された動画像の要約情報を表示す
る動画像記録再生装置に関する。

【０００２】

【従来の技術】動画等を記憶する媒体が大容量化される
に伴い、動画の録画、及び再生を行う録画再生装置は、
長時間の動画を大量に録画できるようになった。このた
め、録画再生装置のユーザは、該録画再生装置に録画さ
れている全画像の内容を把握することは困難である。従
って、ユーザは、該録画再生装置に記憶されている大量
の画像から、所望の動画を探し出すために多大な労力を
必要とする。この労力を軽減するものとして、記憶して
いる動画の要約情報を表示する機能を有する録画再生装
置がある。ユーザは、記憶している画像の要約情報を得
ることにより、所望の動画の検索を簡便に行うことがで
き、また、不要な動画を消去するような場合等、記憶さ
れた動画の保存管理も簡便に行うことができる。

【０００３】このような動画の要約情報を表示する方法
として、記憶された動画の中から特定の代表画面（以下
「動画代表画面」という。）を選択して表示する方法が
ある。この方法は、録画時に、動画を複数のシーン毎に
分割し、各シーンの内容を表す代表画面（以下、「シー
ン代表画面」という。）を選択し、各シーンの重要度を
シーンの属性情報（以下、「シーン属性」という。）に
基づいて決定し、重要度の高いシーンのシーン代表画面
を動画の要約情報として表示するものである。動画を自
動的にシーンに分割する方法として、連続する動画のフ
レーム間での符号量の変化を監視して、該変化が所定の
しきい値以上であるフレームをシーン変化のフレームと
判断し、シーン変化のフレーム毎に上記動画を分割する
方法がある（特開平６−１３３３０５号）。

【０００４】シーン代表画面を選択する方法として、そ
のシーン中の画像情報や音声情報に基づいて、そのシー
ンを代表する画面を選択する方法がある（特開平１０−
３２７７３号）。例えば、そのシーン中において、画像
情報に含まれる輝度信号の変化が最も大きく、かつ、音
声強度が最大であるフレームを、そのシーンのシーン代
表画面として選択する。

【０００５】シーンの重要度を決定する方法として、シ
ーン中の輝度信号の平均値、音声強度の平均値、及び継
続時間などの画像特性に基づいて、シーンの重要度を決
定する方法がある（特開平１０−３２７７３号）。この
方法では、最も印象的なシーン、すなわち、輝度信号の
平均値、及び音声強度の平均値が高く、かつ、継続時間
の長いシーンを、最も印象的なシーンであると判断す
る。

【０００６】また、シーンの重要度を決定する方法とし
て、シーン代表画面をサムネイル画像として、該サムネ
イル画像に対応するシーンの頭出し再生を行った回数を
記憶して、その回数に基づいてシーンの重要度を判断す
る方法もある（特開平８−４４７５８号）。

【０００７】

【発明が解決しようとする課題】しかし、上記のような
方法により定められた動画の要約情報は、必ずしもユー
ザの嗜好を反映して、シーンの重要度が決定されるとは
限らない。従って、要約情報として表示される動画代表
画面が、ユーザの記憶に残っているものではない場合が
多く、このため、ユーザは、要約情報を参照しても、録
画されている動画の内容を十分に把握することができな
い。

【０００８】具体的には、上記シーン代表画面を選択す
る方法（特開平１０−３２７７３号）は、動画情報に含
まれる信号の変化等の画面特性にのみ基づいてシーンの
重要度を判断するものであるため、ユーザの視聴頻度等
の好みがまったく反映されない。また、上記シーンの重
要度を決定する方法（特開平８−４４７５８号）は、各
シーンの重要度を、頭出し再生された頻度に基づいて判
断するものであるが、ユーザは、お気に入りのシーンか
らいくらかマージンをとったシーンから、すなわち、お
気に入りのシーンの少し前から再生する場合が多く、そ
のような場合は、頭出し再生頻度に基づいて重要と判断
されたシーンと、ユーザのお気に入りのシーンとが一致
しない。

【０００９】本発明は、上記問題に鑑みてなされたもの
であり、ユーザのお気に入りのシーンの代表画像を用い
て、録画された動画像の内容の要約情報を表示すること
のできる動画像記録再生装置を提供するものである。

【００１０】

【課題を解決するための手段】本発明の請求項１に係る
動画像記録再生装置は、ユーザの入力操作に基づいて、
動画像の記録、及び再生を行い、かつ、記録された動画
像の要約情報を該動画像に含まれる画面を用いて表す動
画像記録再生装置であって、動画像の録画、及び、種々
の再生速度，再生方向，画像精度の異なる方法での再生
を行う録画再生手段と、上記動画像を格納する動画記憶
手段と、上記動画像を複数のシーンに分割し、該分割し
た各シーンに含まれる画面のうちから、各シーンを代表
する画面を選択するシーン検出手段と、上記動画像に対
して、ユーザが入力操作した上記各再生方法に対応し
て、上記各シーン毎の各再生方法の実行回数を含む再生
履歴を作成する制御手段と、上記再生履歴を格納する制
御情報記憶手段とを備え、上記制御手段は、上記再生履
歴に基づいて、ユーザが画像精度を高く、かつ高頻度で
再生したシーンに基づいて各シーンの優先順位を決定
し、該優先順位に基づいて、要約情報として表示すべき
上記シーンを代表する画面を選択するものとしたもので
ある。

【００１１】また、本発明（請求項２）は、請求項１記
載の動画像記録再生装置において、上記制御手段は、録
画した動画像に対して、ユーザが入力操作した上記各再
生方法の実行回数を記録し、該実行回数を再生方法の種
類に応じて重み付けをして、上記各再生方法毎の総和を
算出し、該総和に基づいて、上記各シーンの優先順位を
決定するものとしたものである。

【００１２】また、本発明（請求項３）は、請求項２記
載の動画像記録再生装置において、上記制御手段は、上
記総和の算出における重み付けを、再生速度の遅い再生
方法を再生速度の速い再生方法より重要とし、再生方向
が順方向の再生を再生方向が逆方向の再生より重要と
し、高画質の再生方法を低品質の再生方法より重要とし
て、行うものとしたものである。

【００１３】

【発明の実施の形態】（実施の形態１）

【００１４】以下、本発明の実施の形態に係る動画像記
録再生装置について説明する。図１は、本実施の形態に
係る動画像記録再生装置を説明するためのブロック図で
あり、該装置の構成を示している。図において、１００
は上記動画像記録再生装置であり、該動画像記録再生装
置１００は、動画像の録画、及び再生処理を行う録画再
生部１１０と、各装置を制御する制御部１２０と、動画
像を格納する動画記憶装置３１と、上記制御部１２０が
使用する制御情報を格納する制御情報記憶部１３０とか
らなる。上記録画再生部１１０は、動画を入力するため
の画像入力装置１３と、入力された動画を上記動画記憶
装置３１に記録する録画装置１４と、動画記憶装置３１
に格納されている動画を再生する再生装置１２と、再生
された動画を表示するための信号を出力する表示出力装
置１１とからなる。

【００１５】制御部１２０は、動画像を複数のシーンに
分割し、該分割した各シーンに含まれる画面のうちか
ら、各シーンを代表する画面を選択するシーン検出装置
２２と、ユーザ入力操作を受付ける制御情報入力装置２
３と、制御バス１４０を介して各装置を制御する制御装
置２１とからなる。制御情報記憶装置１３０は、録画さ
れる動画のシーン毎の属性情報であるシーン属性を格納
するシーン属性記憶装置３２と、記録される動画毎の属
性情報である動画属性を格納する動画属性記憶装置３３
とからなる。

【００１６】以下、本動画像記録再生装置１００の動作
について説明する。本動画像記録再生装置１００に入力
される動画の入力信号３００は、ディジタル放送信号、
アナログ放送信号等であるが、以下の説明では、ディジ
タル放送信号が入力された場合について説明する。ディ
ジタル放送信号は、番組を構成する動画、音声、及びテ
キスト情報をＭＰＥＧ（Moving Picture Experts Grou
p）方式等の圧縮技術により符号化した後、固定長のト
ランスポートパケットに分解し、変調したものである。

【００１７】上記ディジタル放送信号が入力信号３００
として入力され、画像入力装置１３は、該入力信号の復
調・誤り訂正を行い、トランスポートパケット列（トラ
ンスポートストリーム）に復元して出力する。録画装置
１４は、制御装置２１が出力する制御情報に基づいて、
上記トランスポートストリームから録画すべきトランス
ポートパケットのみを抽出して、動画記憶装置３１に記
録する。同時に、録画装置１４は、該トランスポートパ
ケットの複製をシーン検出装置２２にも出力する。

【００１８】再生装置１２は、制御装置２１が出力する
制御情報に基づいて、再生すべき動画のトランスポート
ストリームを動画記憶装置３１から読み出して復号し、
ビデオ信号、及び音声信号を生成する。表示出力装置１
１は、該ビデオ信号、及び音声信号にディジタル／アナ
ログ変換等の信号変換を施して、テレビ信号（出力信号
３０１）として出力する。シーン検出装置２２は、録画
する動画のシーン変化を監視することにより、分割すべ
きシーンを検出する。

【００１９】すなわち、シーン検出装置２２は、録画装
置１４が出力するトランスポートストリームを復号し、
該復号したフレームと、現在の処理以前に保持したフレ
ーム、すなわち、前回のシーン変化時のフレームとを比
較する。具体的には、二つのフレームを画素単位で比較
してその差分を算出し、その差分の総和を変化量とし
て、所定のしきい値と比較する。該変化量がしきい値よ
り大きければシーンに変化があったと判定する。このよ
うな、動画のシーン変化の検出方法は、特開平９−２２
４２１６号に記載されている。

【００２０】さらに、シーン検出装置２２は、動画をシ
ーンの変化毎に分割し、分割した各シーンから、代表画
面を選出する。代表画面の選出方法には、各シーンの先
頭のフレームを選択する方法、各シーン中で最も音声強
度の高いフレームを選択する方法等があるが、いずれの
方法を採用してもよい。このようにして、シーン検出装
置２２は、シーンに変化があったと判定した際に、その
シーンの動画記憶装置３１での格納位置と、そのシーン
の代表画面とを制御装置２１に通知する。

【００２１】次に、制御装置２１の動作を図３を用いて
説明する。図３は、本実施の形態１に係る制御装置の動
作を説明するためのフローチャートである。制御装置２
１は、制御情報入力装置２３が新たなユーザ入力操作を
受付けていないかを監視し（ステップ２０１）、制御情
報入力装置２３が新たなユーザ入力操作を受付けた場合
には、その操作種別に応じた制御手順を実行する（ステ
ップ２０２）。ユーザ入力操作の種別には、録画開始，
通常再生，スロー再生，高速再生，逆再生，静止，再生
終了等があり、ここでは、ユーザ入力操作が、録画開始
４１、各種再生４３〜４７、メニュー表示４９、シーン
検索４２である場合について、順に説明する。

【００２２】ユーザ入力操作が、録画開始４１である場
合には、制御装置２１は、録画対象の番組を録画装置１
４に通知する。これにより、録画装置１４が起動する
（ステップ２０４）。その後、制御装置２１は、シーン
検出装置２２から通知された各シーンの格納場所、及び
シーン代表画面をシーン属性としてシーン属性記憶装置
３２に記録し、シーン属性を作成する（ステップ２０
５）。ここで、シーン属性には、ユーザ入力操作に応じ
て、各シーンの再生履歴が記録されるが、この再生履歴
は録画時にはすべて初期状態にある。

【００２３】ユーザ入力操作が、通常再生４３，スロー
再生４４，高速再生４５，逆再生４６，静止４７のいず
れかである場合には、制御装置２１は、これら各種再生
操作を参照して、再生対象となる動画の識別情報と再生
方法とを再生装置１２に通知する。これにより、再生装
置１２が起動する（ステップ２０６）。また、制御装置
２１は、現在再生されているシーンの再生履歴を更新す
る（ステップ２０７）。

【００２４】ユーザ入力操作が、メニュー表示４９であ
る場合には、制御装置２１は、動画属性を更新する（ス
テップ２０９）。動画属性とは、動画の重要シーン等を
表したものであり、重要シーンは、分割された各シーン
のうちの重要度の高いものである。重要度は、上記再生
履歴に基づいて決定される。シーン属性記憶装置３２に
は、再生履歴として、各再生方法毎の実行回数が記録さ
れており、各再生方法に応じた重み付けをしてシーンの
重要度を決定する。例えば、ユーザは自分の好みのシー
ンほど詳細に見ると考えられるので、各再生方法毎の重
み付けを「逆再生５９ ＜ 高速再生５８ ＜ 通常再生５
７ ＜ スロー再生５６ ＜ 静止再生５５」の順で設定
し、シーン毎に各再生方法の実行回数にその重みを掛け
た値の総和を算出し、その結果に基づいて、シーンの重
要度を決定する。動画属性の更新をした後、制御装置２
１は、その動画属性に基づいてメニュー画面を作成する
（ステップ２１０）。メニュー画面は、記録されている
動画のタイトル情報を一覧表示したものである。タイト
ル情報は、最終再生日時等の他に、動画内容の要約情報
として動画を代表する動画代表画面を含むものである。
動画の要約情報は、一つの動画代表画面を表示するもの
としても、重要なシーン群のシーン代表画面をスライド
表示するものとしてもよい。

【００２５】ユーザ入力操作が、シーン検索操作４２で
ある場合には、制御装置２１は、シーン検索処理を実行
する（ステップ２０３）。すなわち、記録された動画の
各シーンのシーン代表画面からサムネイル画像を作成
し、該サムネイル画像の一覧を表示出力装置１１に送
る。ユーザは、表示されたサムネイル画像の一覧から所
望のシーンを選択する。該選択に基づいて、制御装置２
２は、そのシーンの格納位置から通常再生を行う。ユー
ザは、サムネイル画像の表示方法として、記録された動
画中の出現順序に対応した順で表示する方法と、シーン
の重要度に基づいて表示する方法とを選択することがで
きる。動画中のシーンの数が多くなるほど、ユーザは、
一覧表示されたサムネイル画像中から所望の画像を選択
することが困難になる。従って、そのような場合には、
シーンの重要度に基づいてサムネイル画像を表示する方
法を選択するほうが、シーン検索は容易である。

【００２６】図２は、シーン検出装置が、動画記憶装置
に格納された動画を、複数のシーンに分割し、各シーン
毎の代表画面を選択した場合の一例、並びにシーン属
性、及び動画属性の一例を示す図である。図において、
動画記憶装置３１は、動画１ａを格納しており、該動画
１ａは、シーン検出装置２２により、シーン２ａ，シー
ン２ｂ，…に分割され、シーン２ａの代表画面として代
表画面５１ａが、シーン２ｂの代表画面として代表画面
５１ｂが選出されている。シーン属性５０には、シーン
名、代表画面、格納場所、再生履歴等が記録されてい
る。ここで、動画記憶装置３１におけるシーン２ａの格
納場所はアドレス７４００、シーン２ｂの格納場所はア
ドレス０１２０である。また、各シーン毎に、再生履歴
５３として、各再生方法毎の、すなわち、静止５５，ス
ロー５６，通常５７，高速５８，逆再生５９毎の、実行
回数が記録されている。動画の録画時には、再生履歴５
３は、すべて初期状態にある。図においては、シーン２
ａの再生は、通常５７が１回、高速５８が１回であり、
シーン２ｂの再生は、スロー５６が１回、通常５７が３
回である。

【００２７】動画属性６０は、上記シーン属性５０に基
づいて更新される。再生履歴は、各再生方法に応じた重
み付けをして評価する。図では、各再生方法毎の重みを
「逆再生５９ ＜ 高速５８ ＜ 通常５７ ＜ スロー５６
＜ 静止５５」の順で設定しているので、シーン２ａよ
りシーン２ｂの方が重要度５４が高くなる。これは、シ
ーン２ｂが、シーン２ａより詳細に、かつ高頻度で再生
されていることを示す。従って、動画属性６０では、重
要シーン６２にシーン２ｂが選択され、動画代表画面６
３にシーン２ｂの代表画面５１ｂが選択される。

【００２８】ユーザが、上記メニュー表示４９を指示し
た場合には、メニュー画面には、最終再生日時等の他
に、動画内容の要約情報として動画代表画面５１ｂが表
示される。一方、ユーザが、上記シーン検索操作４２を
指示した場合には、動画１ａの各シーン２ａ，２ｂのシ
ーン代表画面５１ａ，５１ｂがサムネイル画像として表
示され、ユーザは、表示されたサムネイル画像の一覧か
ら所望のシーンを選択する。

【００２９】このように、本実施の形態に係る動画像記
録再生装置によれば、動画像の録画、及び再生処理を行
う録画再生部１１０と、該録画再生部１１０を制御する
制御部１２０と、動画像を格納する動画記憶装置３１
と、上記制御部１２０が使用する制御情報を格納する制
御情報記憶部１３０とを備え、録画すべき動画をシーン
の変化毎に分割し、分割した各シーンから、代表画面を
選出し、ユーザ入力操作種別に基づいて、各シーンの重
要度を判別し、重要度の高いシーンの代表画面を、画像
要約情報として表示するようにしたので、ユーザは、自
分の好みが反映された要約情報に基づいて、録画された
動画の内容を容易に理解することができ、画像の検索が
容易となる。

【００３０】なお、本実施の形態に係る動画像記録再生
装置では、録画すべき動画をシーン変化に基づいて分割
し、分割された各シーン単位で再生履歴を管理するもの
としたが、どの程度の細かさで動画を分割するかは再生
履歴の管理の細かさと処理コストとの間のトレードオフ
で自由に設定することができ、これを変更しても、本実
施の形態と同様の効果を得ることができる。例えば、再
生履歴を詳細に管理する場合には、１フレーム単位で動
画を分割するようにしてもよい。一方、再生履歴を管理
するための処理コストを低くしたい場合には、数シーン
を１単位として動画を分割するようにしてもよい。

【００３１】また、本実施の形態では、入力される映像
信号がディジタル放送信号である場合についてのみ説明
したが、本実施の形態に係る録画再生装置は、該映像信
号がアナログ放送信号、又はＲＧＢ信号等の場合であっ
ても、同様の効果を得ることができる。

【００３２】

【発明の効果】このように、本発明の請求項１に係る動
画像記録再生装置によれば、ユーザの入力操作に基づい
て、動画像の記録、及び再生を行い、かつ、記録された
動画像の要約情報を該動画像に含まれる画面を用いて表
す動画像記録再生装置であって、動画像の録画、及び、
種々の再生速度，再生方向，画像精度の異なる方法での
再生を行う録画再生手段と、上記動画像を格納する動画
記憶手段と、上記動画像を複数のシーンに分割し、該分
割した各シーンに含まれる画面のうちから、各シーンを
代表する画面を選択するシーン検出手段と、上記動画像
に対して、ユーザが入力操作した上記各再生方法に対応
して、上記各シーン毎の各再生方法の実行回数を含む再
生履歴を作成する制御手段と、上記再生履歴を格納する
制御情報記憶手段とを備え、上記制御手段は、上記再生
履歴に基づいて、ユーザが画像精度を高く、かつ高頻度
で再生したシーンに基づいて各シーンの優先順位を決定
し、該優先順位に基づいて、要約情報として表示すべき
上記シーンを代表する画面を選択するものとしたので、
ユーザは、自分の好みが反映された要約情報に基づい
て、録画された動画の内容を容易に理解することがで
き、動画像の検索が容易となる。

【００３３】また、本発明（請求項２）によれば、請求
項１記載の動画像記録再生装置において、上記制御手段
は、録画した動画像に対して、ユーザが入力操作した上
記各再生方法の実行回数を記録し、該実行回数を再生方
法の種類に応じて重み付けをして、上記各再生方法毎の
総和を算出し、該総和に基づいて、上記各シーンの優先
順位を決定するものとしたので、ユーザは、自分の好み
が反映された要約情報に基づいて、録画された動画の内
容を容易に理解することができ、動画像の検索が容易と
なる。

【００３４】また、本発明（請求項３）によれば、請求
項２記載の動画像記録再生装置において、上記制御手段
は、上記総和の算出における重み付けを、再生速度の遅
い再生方法を再生速度の速い再生方法より重要とし、再
生方向が順方向の再生を再生方向が逆方向の再生より重
要とし、高画質の再生方法を低品質の再生方法より重要
として、行うものとしたので、ユーザは、自分の好みが
反映された要約情報に基づいて、録画された動画の内容
を容易に理解することができ、動画像の検索が容易とな
る。

【図面の簡単な説明】

【図１】 本発明の実施の形態１に係る動画像記録再生
装置の構成を説明するためのブロック図である。

【図２】 シーン検出装置が、動画記憶装置３１に格納
された動画を、複数のシーンに分割し、各シーン毎の代
表画面を選択した場合の一例、並びにシーン属性、及び
動画属性の一例を示す図である。

【図３】 本発明の実施の形態１に係る制御装置の動作
を説明するためのフローチャートである。

【符号の説明】 １１ 表示出力装置 １２ 再生装置 １３ 画像入力装置 １４ 録画装置 １００ 動画像記録再生装置 １１０ 録画再生部 １２０ 制御部 １３０ 制御情報記憶部 ３１ 動画記憶装置 ３２ シーン属性記憶装置 ３３ 動画属性記憶装置

Claims (3)

【特許請求の範囲】
1. 【請求項１】 ユーザの入力操作に基づいて、動画像の
   記録、及び再生を行い、かつ、記録された動画像の要約
   情報を該動画像に含まれる画面を用いて表す動画像記録
   再生装置であって、 動画像の録画、及び、種々の再生速度，再生方向，画像
   精度の異なる方法での再生を行う録画再生手段と、 上記動画像を格納する動画記憶手段と、上記動画像を複
   数のシーンに分割し、該分割した各シーンに含まれる画
   面のうちから、各シーンを代表する画面を選択するシー
   ン検出手段と、上記動画像に対して、ユーザが入力操作
   した上記各再生方法に対応して、上記各シーン毎の各再
   生方法の実行回数を含む再生履歴を作成する制御手段
   と、 上記再生履歴を格納する制御情報記憶手段とを備え、上
   記制御手段は、上記再生履歴に基づいて、ユーザが画像
   精度を高く、かつ高頻度で再生したシーンに基づいて各
   シーンの優先順位を決定し、該優先順位に基づいて、要
   約情報として表示すべき上記シーンを代表する画面を選
   択するものである、 ことを特徴とする動画像記録再生装置。
2. 【請求項２】 請求項１記載の動画像記録再生装置にお
   いて、 上記制御手段は、録画した動画像に対して、ユーザが入
   力操作した上記各再生方法の実行回数を記録し、該実行
   回数を再生方法の種類に応じて重み付けをして、上記各
   再生方法毎の総和を算出し、該総和に基づいて、上記各
   シーンの優先順位を決定するものである、 ことを特徴とする動画像記録再生装置。
3. 【請求項３】 請求項２記載の動画像記録再生装置にお
   いて、 上記制御手段は、上記総和の算出における重み付けを、
   再生速度の遅い再生方法を再生速度の速い再生方法より
   重要とし、再生方向が順方向の再生を再生方向が逆方向
   の再生より重要とし、高画質の再生方法を低品質の再生
   方法より重要として、行うことを特徴とする動画像記録
   再生装置。