JP2000235637A

JP2000235637A - 画像処理システム及び画像処理方法

Info

Publication number: JP2000235637A
Application number: JP3651199A
Authority: JP
Inventors: Hirotaka Shiiyama; 弘隆椎山
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1999-02-15
Filing date: 1999-02-15
Publication date: 2000-08-29

Abstract

(57)【要約】【課題】たとえ動画像であっても、所望の画像の内容
を短時間にかつ的確に確認することができる画像処理装
置を提供する。【解決手段】画像処理部１０は、動画像データの複数
の画像フレーム間の類似度を計算し、計算した類似度に
基づきシーンの変わり目フレームを決定し、シーンの変
わり目フレームと直前のフレームの類似度の低いフレー
ムを優先して、特定時間分のフレームをマージする事に
より動画像データのダイジェスト動画の自動編集・作成
をなう。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像処理システム
及び画像処理方法に関するものである。

【０００２】

【従来の技術】従来、動画像が自分の見たいものかどう
かを判断するには倍速再生を行なったり、早送りを行な
って再生していた。

【０００３】

【発明が解決しようとする課題】しかし、いずれの方法
であっても再生には面倒な操作をしなければならず、再
生される画像の質も問題であり、ユーザにとって不便な
事が多かった。

【０００４】本発明は係る課題を解決することを目的と
してなされたもので、動画像の内容を短時間にかつ的確
に確認あるいはこれを用いてみたい動画像を検索する手
段をユーザーに与えることを目的とする。

【０００５】

【課題を解決するための手段】本発明は、上記目的を達
成する一手段として、例えば以下の構成を備える。

【０００６】即ち、動画像データの複数の画像フレーム
間の類似度を計算する計算手段と、前記計算手段で計算
した類似度に基づきシーンの変わり目フレームを決定す
る決定手段と、シーンの変わり目で区切られたシーン中
において、特定時間分のフレームをマージする事により
動画像データのダイジェスト動画の自動編集・作成を行
なう動画手段とを備えることを特徴とする。

【０００７】そして例えば、ブランクシーンの検出を行
なう検出手段と、前記検出手段が検出する動画の先頭の
ブランクシーンを除いた最初の画像フレームは必ずダシ
ーンの変わり目とする例外処理を行う例外処理手段とを
備えることを特徴とする。

【０００８】また例えば、前記例外処理手段は、更に前
記検出手段が検出する動画の最後のブランクシーンを除
いた最後の画像フレームは必ずダシーンの変わり目とす
る例外処理を行うことを特徴とする。あるいは、２つの
シーンの変わり目フレームが近接してその時間差が前記
特定時間より短い場合には、前のシーンの変わり目フレ
ームから、後のシーンの変わり目フレームからの特定時
間分のフレームまでを２つのシーンの変わり目フレーム
のマージ結果とすることを特徴とする。

【０００９】さらに例えば、マージするシーンの変わり
目からある特定時間以内に次のシーンの変わり目が来る
ような場合には、ある特定時間内のフレームをマージす
るのではなく、次のシーンの変わり目フレームまでのみ
をマージすることを特徴とする。

【００１０】また例えば、ダイジェスト動画の出来上が
りの長さの目標を与えるモードを指定された場合には、
全動画の変わり目フレームを先に求め、ダイジェストへ
マージする処理は、変わり目フレームと直前フレームと
の類似度の低いものから優先的に行ない、与えられた目
標時間付近の長さのダイジェストを作成することを特徴
とする。

【００１１】さらに例えば、シーンチェンジが少ないた
めにダイジェスト動画が指定した長さよりあるしきい値
以上短くなる場合には、シーンを追加する特定時間を暫
時長くして与えられた目標時間付近の長さに近いダイジ
ェスト動画を作成することを特徴とする。あるいは、特
にシーンチェンジが検出されない動画においては、先頭
にブランクシーンがある場合はこれを除外して最初の非
ブランクフレームから与えられた目標時間まで切り出
し、これをダイジェスト動画とすることを特徴とする。

【００１２】また、動画像データの複数の画像フレーム
間の類似度を計算し、計算した類似度に基づきシーンの
変わり目フレームを決定し、変わり目フレームから特定
時間分のフレームをマージする事により動画像データの
ダイジェスト動画の自動編集・作成を行なう手段を備え
ることを特徴とする。

【００１３】

【発明の実施の形態】以下、図面を参照して、本発明に
係る一発明の実施の形態例を詳細に説明する。本実施の
形態例では、動画像が自分の見たいものかどうかを簡単
な制御で高速に、しかも確実に判断可能とするために、
以下に説明する動画ダイジェストデータ作成アルゴリズ
ムに従った動画処理を行って高品位なダイジェスト動画
を自動生成し、ユーザが観たい動画であるかどうかを瞬
時に判断可能とする。

【００１４】更に、その長さの制限を与える必要のある
システム、ソフトウエアの場合には、ダイジェスト動画
の目標時間長を指定可能することにより、動画データの
ヘッダや記憶媒体のＦＡＴ等のデータ領域サイズに制約
があるような場合でも格納可能なダイジェスト動画を生
成可能とする。

【００１５】本実施の形態例の画像処理を実現する画像
処理装置の構成を図１に示す。図１は本発明に係る一発
明の実施の形態例の画像処理装置の構成を示すブロック
図である。

【００１６】図１において、１０はアルゴリズム記録部
５０に記録されている後述する画像処理アルゴリズムに
従って画像入力部２０より入力される画像、例えば動画
を処理する画像処理部、２０は動画などを入力する画像
入力部である。

【００１７】また、３０は画像処理部１０の処理画像な
どを表示する表示部、４０は画像処理部１０の処理画像
などを記録出力する出力部であり、例えばファイル化さ
れた処理画像情報を記録させることができる。５０は画
像処理部１０における画像処理で利用する画像処理アル
ゴリズムや必要な制御手順を記録しているアルゴリズム
記録部、６０は画像処理部１０で処理する画像データを
記憶可能な画像メモリである。

【００１８】画像処理部１０は、画像フレーム間類似度
計算部１１、シーンチェンジ判定部１２、ダイジェスト
用シーン決定部１３、ダイジェスト動画作成部１４等を
有する。

【００１９】以上の構成を備える本実施の形態例の画像
処理部１０は、図２に示す画像処理アルゴリズムに従っ
てダイジェスト動画の自動作成処理を行う。図２は本実
施の形態例のダイジェスト動画の自動作成処理の概略構
成を示す図である。

【００２０】本実施の形態例のダイジェスト動画の自動
作成処理においては、まず画像入力部２０から確認する
べき動画情報を選択して入力する。確認するべき動画情
報が入力されると、画像処理部１０での動画確認用処理
を開始し、図２の処理に移行する。

【００２１】まずステップＳ１において、ダイジェスト
作成対象の動画から１フレームずつ取り出す処理を行な
い、処理するべき残りフレームが有るか否かを判断す
る。そして、残りフレームが有ればステップＳ２に進
み、画像フレーム間類似度計算部１１によって取り出し
たフレームと過去のフレーム群との類似度計算を行な
う。この過去のフレーム群とは、単数のフレームの場合
も複数のフレームの場合もあり、特にそのアルゴリズム
を限定しない。

【００２２】続いてステップＳ４に進み、このフレーム
間類似度計算結果に基づき、シーンチェンジ判定部１２
によるシーンチェンジ判定処理が行なわれる。続いてス
テップＳ５において判定の結果、シーンチェンジでなか
った場合（シーン区間中であった場合）にはステップＳ
１に戻る。

【００２３】一方、ステップＳ５においてシーンチェン
ジと判定した場合にはステップＳ６に進み、そのフレー
ムをシーン開始フレームとして記憶し、そのシーンチェ
ンジの激しさの度合いを表す類似度（または距離）、及
びそのシーンがブランクシーンであるかどうかの情報を
記憶する。そしてステップＳ１に戻る。

【００２４】この情報をシーンチェンジ情報と称す。こ
のシーンチェンジ情報は例えばメモリ７０に記憶され
る。シーンチェンジ情報の例を図５に示す。図５に示す
ように、シーンチェンジ番号（シーンチェンジＩＤ）毎
に開始フレーム、終了フレーム、激しさ度等が関連付け
て記憶される。

【００２５】そして、次のシーンチェンジ検出において
は、ステップＳ６における処理ではその一つ前のフレー
ムを先のシーンの終了フレームとしてシーンチェンジ情
報に反映する。もちろん、動画の最後まで処理を行なっ
たときには、最後のシーンチェンジ情報の終了フレーム
にはその動画の最終フレーム番号が入る。

【００２６】以上の処理を動画中の全てのフレームに対
して行い、その結果としてその動画中の全てのシーンチ
ェンジフレームとそのシーンチェンジの激しさの度合い
を表す類似度（または距離）、ブランクシーンであるか
の平均情報等を得ることができる。

【００２７】以上の処理は、動画像を表示部３０等の動
画出力デバイスへ登録する時点で行なっておくと、下記
に述べる処理のみをダイジェスト作成時に行なえばよい
ので、ダイジェスト生成がほぼリアルタイムに行なえ便
利である。

【００２８】一方、ステップＳ１において、残りフレー
ムが無い場合にはステップＳ７に進み、ダイジェスト用
シーン決定前処理を実行して、例えば表示部３０に表示
して確認する動画のダイジェスト用シーンを決定する。
続いてステップＳ８でダイジェスト動画自動作成処理を
行ってダイジェスト動画を作成して例えば画像メモリ６
０に格納する。

【００２９】その後、生成したダイジェスト動画を再生
して例えば表示部３０より表示させる処理あるいはファ
イル化して出力部４０に出力するダイジェスト動画再生
又はファイル化処理を行なえばよい。

【００３０】次に、図２のステップＳ７におけるダイジ
ェスト用シーン決定前処理の詳細を図３のフローチャー
トを参照して説明する。図３は図２のステップＳ７のダ
イジェスト用シーン決定前処理の詳細を説明するための
フローチャートである。

【００３１】まずステップＳ１１において、フレーム番
号、フレーム間類似度（距離）、ブランクフレームの有
無を示すシーンチェンジ情報群を受け取る。次のステッ
プＳ１２において、ブランクシーンに関するシーンチェ
ンジ情報を除外する。続いてステップＳ１３において、
残りのシーンチェンジから、時系列的に見て先頭および
末尾のシーンチェンジを決定し、これを先の残りのシー
ンチェンジ情報から削除し、これらの先頭および末尾の
シーンチェンジ情報は別領域へ記憶する。

【００３２】次にステップＳ１４において、シーンチェ
ンジの激しさの度合いを表す類似度（または距離）に基
づき、シーンチェンジの激しさの大きい物からシーンチ
ェンジ情報をソートする。類似度で言えば小さいものか
らソートする事となるし、距離で言えば大きいものから
ソートする事となる。

【００３３】以上の説明において、もちろん、上記のブ
ランクシーン削除、類似度（または距離）に基づくソー
ト、時系列的に見て先頭および末尾のシーンチェンジを
決定し、これを先の残りのシーンチェンジ情報から削除
し、これらの先頭および末尾のシーンチェンジ情報は別
領域へ記憶する処理が並行して行なう事も当然考えられ
る。

【００３４】次に、図２のステップＳ８におけるダイジ
ェスト動画作成処理の詳細を図４のフローチャートを参
照して説明する。図４は図２のステップＳ３のダイジェ
スト動画作成処理の詳細を説明するためのフローチャー
トである。

【００３５】図４に示すダイジェスト動画作成処理で
は、以下のアルゴリズムに基づき、部分シーンをダイジ
ェストへマージして行くが、その中間情報としてフレー
ム区間情報を作成してゆき、目標の時間に達した段階で
ダイジェスト用シーン決定前処理を終了し、実際にフレ
ーム区間情報に基づきフレームを取りだしてマージする
ことによりダイジェストを生成する。

【００３６】まずステップＳ２１で、１シーンの長さ
（ＴＳ）とダイジェストの長さＴＤを指定する。各シー
ンチェンジフレームから、人間の視覚特性に基づき最適
な１シーン時間を決定する。この時間をＴＳ秒とする。
これは、様々な心理学的な実験に基づくもので、この時
間長に関しては特に限定しないが、数秒オーダーのもの
である。続いてステップＳ２２において、別領域へ格納
していた先頭のシーンチェンジ情報を取得し、先頭のシ
ーンチェンジからＴＳ秒分のフレームまでのフレーム区
間情報を記憶する。

【００３７】図６にフレーム区間情報の一例を示す。図
６に示すように、フレーム区間情報は動画中でユニーク
なシーン番号とシーンチェンジに相当する開始フレーム
番号とそのシーンの最後の終了フレーム番号から構成さ
れている。

【００３８】次にステップＳ２３で、シーンチェンジ情
報のソートした結果を用いて、ソート結果のシーンチェ
ンジ情報群の先頭からシーンチェンジ情報を取り出し、
フレーム区間情報へ反映して合計時間を計算する。そし
てステップＳ２４でシーンチェンジ情報が終了したか否
かを調べる。シーンチェンジ情報が終了していればステ
ップＳ２５に進み、フレーム区間情報に追加する処理に
おいてシーンチェンジが少ないため追加処理がおわって
しまう事を検知し、それを知らせるシーンチェンジが少
ないというステータスと実際にダイジェストが何秒にな
ったか（残り時間）を通知してリターンする。

【００３９】一方、ステップＳ２４でシーンチェンジ情
報が終了でない場合にはステップＳ２６に進み、合計時
間が（ＴＤ）未満か否かを調べる。合計時間が（ＴＤ）
−（ＴＳ）未満の場合にはステップＳ２７に進み、シー
ンチェンジ情報のソートした結果を用いて、ソート結果
のシーンチェンジ情報群の次の順位の部分シーン情報を
取り出し、フレーム区間情報へ反映して合計時間を計算
してステップＳ２４に戻る。

【００４０】なお、ステップＳ２７の処理においてフレ
ーム区間情報に追加する際に、フレーム区間情報と重複
するフレームを追加する様なケースが希に起きる。これ
は、例えば隣接するシーンのシーンチェンジフレームの
間隔がＴＳ秒以下である場合である。この様な場合に
は、シーンの重複を排除する様に考慮してフレーム区間
情報を更新してゆく。その例を図７に示す。

【００４１】また、フレーム区間情報に追加する際に、
追加するシーンの長さがＴＳ秒以下の場合には図８に示
すように、追加するシーンの終了フレームまでのみ追加
する。

【００４２】上位側から指定されたダイジェストの長さ
はＴＤ秒であり、ステップＳ２４からステップＳ２７の
処理をフレーム区間情報の総フレームの占める時間が
（ＴＤ−ＴＳ）秒を超えない範囲で行なう。そして合計
時間が（ＴＤ）−（２×ＴＳ）を超えるとステップＳ２
６よりステップＳ２８に進み、別領域へ格納していた末
尾シーンチェンジ情報を取得して、末尾シーンチェンジ
からＴＳ秒分のフレームまでをフレーム区間情報へ格納
し、処理成功というステータスと残り時間を通知する。
そしてリターンする。

【００４３】以上の説明において、シーンチェンジが少
ないためダイジェストが短くなる場合でダイジェストの
総時間がＴＤ秒よりあるしきい値ＴＨ秒以上短かくなっ
てしまった場合には、部分シーンの長さをＴＳから暫時
長くして図３のダイジェスト動画作成処理を再度実行
し、指定された時間長に近づける方法も考えられる。こ
の様な再処理を行なったとしても、上述した制御を行え
ば処理コストを極めて小さく抑えることができ、問題を
生じない。

【００４４】また、最悪シーンチェンジが存在しない場
合には、動画の先頭からブランクシーンを除いたものを
Ｔ秒間取り出す例外処理を行なうと効率が良い。そし
て、最後にダイジェストを得る前処理に基づき、実際に
動画データからフレーム区間情報に基づきフレームを取
り出し、ダイジェスト動画を生成終了する。

【００４５】以上の処理を実際の処理の流れに従って説
明すると以下の様になる。

【００４６】最も簡単な実施例を挙げると、前のフレー
ムと現在のフレームに対して、夫々のフレームを図９に
示すように縦横に複数のブロック分割を行ない、それぞ
れのブロックに関してＲＧＢの平均値を算出しておき、
前のフレームと現在のフレームの対応するブロック同士
のＲＧＢ各チャンネルの差の二乗和を求めこれをシーン
チェンジの激しさの度合いを表すフレーム間類似性距離
とし、これが小さいほど類似しており、大きいほど類似
していない、即ちシーンチェンジである可能性が大きい
と取る方法がある。

【００４７】その計算式の一例を以下に示す。

【００４８】

【数１】

【００４９】但し、ｉ：処理中のブロックをあらわす。

【００５０】Ｋ：分割ブロック数Ｐ１iR：直前のフレームのｉ番目のブロックのＲチャン
ネルの平均値Ｐ１iG：直前のフレームのｉ番目のブロックのＧチャン
ネルの平均値Ｐ１iB：直前のフレームのｉ番目のブロックのＢチャン
ネルの平均値Ｐ２iR：現在のフレームのｉ番目のブロックのＲチャン
ネルの平均値Ｐ２iG：現在のフレームのｉ番目のブロックのＧチャン
ネルの平均値Ｐ２iB：現在のフレームのｉ番目のブロックのＢチャン
ネルの平均値このフレーム間類似度計算結果に基づき、シーンチェン
ジ判定部１２は、シーンチェンジの有無を判定し、シー
ンチェンジと判定した場合には、シーンチェンジＩＤ、
そのフレームをシーン開始フレームとして記憶し、その
シーンチェンジの激しさの度合いを表す類似度（または
距離）、及びそのシーンがブランクシーンであるかどう
かの情報（シーンチェンジ情報）を記憶する。

【００５１】また、次のシーンチェンジ検出で、その一
つ前のフレームを先のシーンの終了フレームとしてシー
ンチェンジ情報に反映する。もちろん、動画の最後まで
処理を行なったときには、最後のシーンチェンジ情報の
終了フレームにはその動画の最終フレーム番号が入る。
このシーンチェンジ情報の例が上述した図５である。

【００５２】更に、各シーンチェンジフレームから、人
間の視覚特性に基づき目にちらつかない程度の最適な部
分シーン長を決定する。この時間をＴＳ秒とする。これ
は、様々な心理学的な実験に基づくもので、この時間長
に関しては特に限定しないが、実験の結果２秒前後の値
を用いると良い結果が得られることが分かった。そし
て、別領域へ格納していた先頭のシーンチェンジからＴ
Ｓ秒分のフレームまでのフレーム区間情報を記憶する。

【００５３】この様にして、動画中の全てのフレームに
対して行い、その結果としてその動画中の全てのシーン
チェンジフレームとそのシーンチェンジの激しさの度合
いを表す類似度（または距離）、ブランクシーンである
かを得る。

【００５４】上記までの処理は、動画像を画像メモリ６
０へ登録する時点で行なっておくと、下記に述べる処理
のみをダイジェスト作成時に行なえばよいので、ダイジ
ェスト生成がほぼリアルタイムに行なえ便利である。

【００５５】また、図３に示すダイジェスト用シーン決
定前処理においては、シーンチェンジ情報から、ブラン
クシーンに関するシーンチェンジ情報を除外して、残り
のシーンチェンジから、時系列的に見て先頭および末尾
のシーンチェンジを決定し、これを先の残りのシーンチ
ェンジ情報から削除し、これらの先頭および末尾のシー
ンチェンジ情報は別領域へ記憶する。

【００５６】次に、シーンチェンジの激しさの大きい物
からシーンチェンジ情報をソートした結果を用いて、シ
ーンチェンジの激しさの大きい物から順にそのシーンチ
ェンジからＴ秒分のフレームまでをフレーム区間情報へ
マージして行く。

【００５７】その際、フレーム区間情報に追加する際
に、フレーム区間情報と重複するフレームを追加する様
なケースが希に起きる。これは、例えば隣接するシーン
のシーンチェンジフレームの間隔がＴＳ秒以下である場
合である。

【００５８】図４に示すフレーム区間情報は、動画中で
ユニークなシーン番号とシーンチェンジに相当する開始
フレーム番号とそのシーンの最後の終了フレーム番号お
よびフレーム間類似度から構成されているため、以下
の、アルゴリズムに基づき、部分シーンをダイジェスト
へマージして行くことができるが、本実施の形態例で
は、その中間情報としてフレーム区間情報を作成してゆ
き、目標の時間に達した段階でダイジェスト用シーン決
定前処理を終了し、実際にフレーム区間情報に基づきフ
レームを取りだしてマージすることによりダイジェスト
を生成している。

【００５９】従来、動画像が自分の見たいものかどうか
を判断するには倍速再生を行なったり、早送りを行なっ
て再生するなど、ユーザにとって不便な事が多かった
が、以上に説明した本実施の形態例によれば、高品位な
ダイジェスト動画を自動生成する事が可能でありユーザ
が観たい動画であるかどうかを瞬時に判断可能となる。

【００６０】更にダイジェスト動画の長さの制限を自由
に与える事が可能であるから、興味がありそうであれば
更に長いダイジェスト動画を見て判断をするなど、他段
階的な使い方が可能である。

【００６１】また、ダイジェスト動画の目標時間長を指
定可能することにより、動画データのヘッダや記憶媒体
のＦＡＴ等のデータ領域サイズに制約があるような場合
でも格納可能なダイジェスト動画を生成する事が可能と
なる。

【００６２】［他の実施の形態例］以上の説明した実施
の形態例では、シーンチェンジの検出法について、直前
のフレーム群と現在のフレームの画像分割ブロックごと
の平均色のＲＧＢチャンネル値の差の二乗和を用いた
が、特にそのアルゴリズムを限定するものではない。ま
た上述した実施の形態例においては、シーンチェンジか
ら例えば２秒のフレームを合成してゆく方法を述べた
が、その長さはこれに限定するものではない。

【００６３】なお、本発明は、複数の機器（例えばホス
トコンピュータ、インタフェイス機器、リーダ、プリン
タなど）から構成されるシステムに適用しても、一つの
機器からなる装置（例えば、複写機、ファクシミリ装置
など）に適用してもよい。

【００６４】また、本発明の目的は、前述した実施形態
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体（または記録媒体）を、システムあるい
は装置に供給し、そのシステムあるいは装置のコンピュ
ータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納された
プログラムコードを読み出し実行することによっても、
達成されることは言うまでもない。この場合、記憶媒体
から読み出されたプログラムコード自体が前述した実施
形態の機能を実現することになり、そのプログラムコー
ドを記憶した記憶媒体は本発明を構成することになる。
また、コンピュータが読み出したプログラムコードを実
行することにより、前述した実施形態の機能が実現され
るだけでなく、そのプログラムコードの指示に基づき、
コンピュータ上で稼働しているオペレーティングシステ
ム（ＯＳ）などが実際の処理の一部または全部を行い、
その処理によって前述した実施形態の機能が実現される
場合も含まれることは言うまでもない。

【００６５】さらに、記憶媒体から読み出されたプログ
ラムコードが、コンピュータに挿入された機能拡張カー
ドやコンピュータに接続された機能拡張ユニットに備わ
るメモリに書込まれた後、そのプログラムコードの指示
に基づき、その機能拡張カードや機能拡張ユニットに備
わるＣＰＵなどが実際の処理の一部または全部を行い、
その処理によって前述した実施形態の機能が実現される
場合も含まれることは言うまでもない。

【００６６】本発明を上記記憶媒体に適用する場合、そ
の記憶媒体には、先に説明した（図２，３，４に示す）
フローチャートに対応するプログラムコードが格納され
ることになる。

【００６７】

【発明の効果】以上説明したように本発明によれば、ユ
ーザが観たい動画であるかどうかを瞬時に判断するため
に、高品位なダイジェスト動画を自動生成することがで
きる。更にその長さの制限を与える必要のあるシステ
ム、ソフトウエアの場合であっても、ダイジェスト動画
の目標時間長を指定することができ、動画データのヘッ
ダや記憶媒体のデータ領域サイズに制約があるような場
合でも格納可能なダイジェスト動画を生成することがで
きる。

【図面の簡単な説明】

【図１】本発明に係る一発明の実施の形態例の画像処理
装置の構成を示すブロック図である。

【図２】本実施の形態例のダイジェスト動画の自動作成
処理の概略構成を示す図である。

【図３】図２のステップＳ７に示すダイジェスト用シー
ン決定前処理の詳細を説明するためのフローチャートで
ある。

【図４】図２のステップＳ８のダイジェスト動画作成処
理の詳細を説明するためのフローチャートである。

【図５】本実施の形態例におけるシーンチェンジ情報を
説明するための図である。

【図６】本実施の形態例におけるフレーム区間情報の一
例を示す図である。

【図７】本実施の形態例におけるシーンの重複を排除す
るフレーム区間情報の更新の一例を示す図である。

【図８】本実施の形態例におけるシーンの重複を排除す
るフレーム区間情報の更新の他の例を示す図である。

【図９】本実施の形態例におけるフレームの複数のブロ
ック分割の一例を示す図である。

【符号の説明】

１０画像処理部２０画像入力部３０表示部４０出力部５０アルゴリズム記録部６０画像メモリ１１画像フレーム間類似度計算部１２シーンチェンジ判定部１３ダイジェスト用シーン決定部１４ダイジェスト動画作成部

Claims

【特許請求の範囲】

【請求項１】動画像データの複数の画像フレーム間の
類似度を計算する計算手段と、前記計算手段で計算した類似度に基づきシーンの変わり
目フレームを決定する決定手段と、シーンの変わり目で区切られたシーン中において、特定
時間分のフレームをマージする事により動画像データの
ダイジェスト動画の自動編集・作成を行なう動画手段と
を備えることを特徴とする画像処理システム。
【請求項２】ブランクシーンの検出を行なう検出手段
と、前記検出手段が検出する動画の先頭のブランクシーンを
除いた最初の画像フレームは必ずダシーンの変わり目と
する例外処理を行う例外処理手段とを備えることを特徴
とする請求項１記載の画像処理システム。
【請求項３】前記例外処理手段は、更に前記検出手段
が検出する動画の最後のブランクシーンを除いた最後の
画像フレームは必ずダシーンの変わり目とする例外処理
を行うことを特徴とする請求項２記載の画像処理システ
ム。
【請求項４】２つのシーンの変わり目フレームが近接
してその時間差が前記特定時間より短い場合には、前の
シーンの変わり目フレームから、後のシーンの変わり目
フレームからの特定時間分のフレームまでを２つのシー
ンの変わり目フレームのマージ結果とすることを特徴と
する請求項３記載の画像処理システム。
【請求項５】マージするシーンの変わり目からある特
定時間以内に次のシーンの変わり目が来るような場合に
は、ある特定時間内のフレームをマージするのではな
く、次のシーンの変わり目フレームまでのみをマージす
ることを特徴とする請求項４記載の画像処理システム。
【請求項６】ダイジェスト動画の出来上がりの長さの
目標を与えるモードを指定された場合には、全動画の変
わり目フレームを先に求め、ダイジェストへマージする
処理は、変わり目フレームと直前フレームとの類似度の
低いものから優先的に行ない、与えられた目標時間付近
の長さのダイジェストを作成することを特徴とする請求
項５記載の画像処理システム。
【請求項７】シーンチェンジが少ないためにダイジェ
スト動画が指定した長さよりあるしきい値以上短くなる
場合には、シーンを追加する特定時間を暫時長くして与
えられた目標時間付近の長さに近いダイジェスト動画を
作成することを特徴とする請求項６記載の画像処理シス
テム。
【請求項８】特にシーンチェンジが検出されない動画
においては、先頭にブランクシーンがある場合はこれを
除外して最初の非ブランクフレームから与えられた目標
時間まで切り出し、これをダイジェスト動画とすること
を特徴とする請求項７記載の画像処理システム。
【請求項９】動画像データの複数の画像フレーム間の
類似度を計算し、計算した類似度に基づきシーンの変わ
り目フレームを決定し、変わり目フレームから特定時間
分のフレームをマージする事により動画像データのダイ
ジェスト動画の自動編集・作成を行なうことを特徴とす
る画像処理方法。
【請求項１０】ブランクシーンを検出し、動画の先頭
のブランクシーンを除いた最初の画像フレームは必ずシ
ーンチェンジとする例外処理を行うことを特徴とする請
求項９記載の画像処理方法。
【請求項１１】更に動画の最後のブランクシーンを除
いた最後の画像フレームは必ずシーンチェンジとする例
外処理を行うことを特徴とする請求項１０記載の画像処
理方法。
【請求項１２】２つのシーンの変わり目フレームが近
接してその時間差が前記特定時間より短い場合には、前
のシーンの変わり目フレームから、後のシーンの変わり
目フレームからの特定時間分のフレームまでを２つのシ
ーンの変わり目フレームのマージ結果とすることを特徴
とする請求項１１記載の画像処理方法。
【請求項１３】マージするシーンの変わり目からある
特定時間以内に次のシーンの変わり目が来るような場合
には、ある特定時間内のフレームをマージするのではな
く、次のシーンの変わり目フレームまでのみをマージす
ることを特徴とする請求項１２記載の画像処理方法。
【請求項１４】ダイジェスト動画の出来上がりの長さ
の目標を与えるモードを指定された場合には、全動画の
変わり目フレームを先に求め、ダイジェストへマージす
る処理は、変わり目フレームと直前フレームとの類似度
の低いものから優先的に行ない、与えられた目標時間付
近の長さのダイジェストを作成することを特徴とする請
求項１３記載の画像処理方法。
【請求項１５】シーンチェンジが少ないためにダイジ
ェスト動画が指定した長さよりあるしきい値以上短くな
る場合には、シーンを追加する特定時間を暫時長くして
与えられた目標時間付近の長さに近いダイジェスト動画
を作成することを特徴とする請求項１４記載の画像処理
方法。
【請求項１６】特にシーンチェンジが検出されない動
画においては、先頭にブランクシーンがある場合はこれ
を除外して最初の非ブランクフレームから与えられた目
標時間まで切り出し、これをダイジェスト動画とするこ
とを特徴とする請求項１５記載の画像処理方法。
【請求項１７】前記請求項１乃至請求項１６のいずれ
か１項に記載の機能を実現するコンピュータプログラム
列。
【請求項１８】前記請求項１乃至請求項１６のいずれ
か１項に記載の機能を実現するコンピュータプログラム
を記憶したコンピュータ可読記録媒体。