JPH06339109A

JPH06339109A - シーン変化検出方法、その装置および動画像編集装置

Info

Publication number: JPH06339109A
Application number: JP12716993A
Authority: JP
Inventors: Yukie Goshima; 雪絵五島; Makoto Fujimoto; 眞藤本
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1993-05-28
Filing date: 1993-05-28
Publication date: 1994-12-06

Abstract

(57)【要約】【目的】画面内部の動きに影響されないでシーン変化
の判定ができるシーン変化検出方法とその装置、及び画
像内容の把握し易いブラウジングや、正確なテープ位置
合わせの可能な動画像編集装置を提供すること。【構成】固定ブロック及び移動ブロックを設定するブ
ロック位置設定部11と、前フレームの固定ブロックのヒ
ストグラム及び後フレームの移動ブロックのヒストグラ
ムを算出するヒストグラム算出部12と、それらヒストグ
ラム間の相関値を算出する相関値算出部14と、算出され
た相関値のうち最も高い相関値を固定ブロック毎に求め
るマッチング部15と、求めた相関値のうち高い方からの
所定個数の相関値に基づき、全画面相関値を算出する全
画面相関算出部16と、全画面相関値に基づき、シーン変
化有りと判定するシーン変化判定部17とを備える。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ビデオテープなどの動
画像の編集に関して、動画像のシーンが大きく変化する
フレームを検出するシーン変化検出方法とその装置、お
よびシーン変化のフレームを用いてブラウジングの表
示、シーン毎の再生・録画・早送り・巻き戻し、動画像
のダイジェスト版の自動生成などを行う動画像編集装置
に関するものである。

【０００２】

【従来の技術】近年のビデオカメラの普及、マルチメデ
ィアの動向に伴い、ビデオテープや光ディスクなどの動
画像をユーザが編集する機会が増えている。例えば、Ｔ
Ｖ番組のダイジェスト版を作成したり、自分で撮影した
テープを必要な部分だけつなぎあわせたり、順序を入れ
替えたりして別のテープにダビングする、などの編集で
ある。

【０００３】従来、録画などのダイジェスト版を自動的
に作成する方式としては、ユーザが各フレーム画像の重
要度合（優先度）を判断し、優先度がしきい値より高い
フレーム画像をダイジェスト版として記録する方法が提
案されている（例えば特開平３−９０９６８号）。

【０００４】しかしながら、ユーザが画像の優先度を判
断するには、テープのどのあたりにどんな画像が記録さ
れているか把握したり、あるいはダイジェストとして記
録する画像の範囲を決めるためにテープの位置合わせを
したりするなどの作業が必要であり、従来の早送り、巻
き戻し、再生などの単純な機能だけでは手間がかかって
いた。

【０００５】そこで、動画像の切れ目（以後シーン変化
と呼ぶ）を見つけてそれを基に、ブラウジングやテープ
の位置合わせの作業を簡単化しようとした装置が提案さ
れている。例えば、特開平2-184181の動画像編集装置
は、動画像の照度や音量・色調などからシーン変化を検
出し、ユーザによるボタン入力操作で次のシーン変化ま
での早送り・再生や前のシーン変化までの巻き戻しなど
を行っている。

【０００６】また、映像信号からシーン変化を自動的に
検出する方法としては、例えば特開平3-214364に開示さ
れている方法がある。これは、全画面の輝度レベルのヒ
ストグラムを隣接フレーム間で比較し、ヒストグラム差
分の絶対値の総和が所定の値を越える場合にシーンの変
化有りと判定するものである。

【０００７】また、他のシーン変化検出方法としては、
画面を複数のブロックに分割し、全画面のヒストグラム
ではなく、ブロック毎にヒストグラムを比較する方法も
ある。（例えば長坂、田中，”カラービデオ映像にお
ける自動索引付け法と物体探索法”，情報処理学会論文
誌 Vol.33, No.4 (1992)）。以下、上記手法の動作を簡
単に説明する。

【０００８】図５は、隣接フレーム間でヒストグラムを
比較するブロックの位置関係を示す図であり、時刻ｔ＝
τ及びｔ＝(τ＋１)の画像のフレームをそれぞれ１６個
のブロックに分割したものである。以後、この１６個の
ブロックを固定ブロックと呼び、水平方向に左からＸ番
目、垂直方向に上からＹ番目のブロックを（Ｘ，Ｙ）固
定ブロックと呼ぶことにする（１≦Ｘ,Ｙ≦４）。ま
た、時刻ｔのフレームの（Ｘ，Ｙ）固定ブロックの色ヒ
ストグラムを hist(ｔ,Ｘ,Ｙ,ｃ)と記述する。ただし、
画像中の色は６４色種に量子化されており、 hist(ｔ,
Ｘ,Ｙ,ｃ)は、ブロック内でｃ番目の色を持つ画素の数
を示す。

【０００９】まず、図５に示すように、２枚のフレーム
のそれぞれ同じ位置の固定ブロックの色ヒストグラムを
比較する。ここではヒストグラムの比較方法としてχ2
検定を用いる。時刻τ のフレームの（Ｘ,Ｙ）固定ブロ
ックに関して、以下のように評価値 kai(τ,Ｘ,Ｙ)を求
める。

【００１０】

【数１】

【００１１】（数１）により１６個の固定ブロックに対
して評価値を求め、次に１６個の評価値のうち小さいも
のの８つの評価値の総和を求め、最終評価値Ｓとする。
簡単のため、最終評価値の導出方法を（数２）のように
書く。

【００１２】

【数２】

【００１３】このようにして求められた最終評価値Ｓが
所定のしきい値より大きいとき、ｔ＝τとｔ＝τ＋１の
フレームの間でシーンが変化した、と判定する。

【００１４】

【発明が解決しようとする課題】以上のシーン変化の判
定において、シーン変化のあったフレームだけを過不足
なく検出するには、シーン変化以外の画像変動、例えば
画面内の被写体の移動・変形が起きてもフレーム間の相
関が高い、と判定できるような評価値が必要である。

【００１５】しかしながら、従来のシーン変化検出方法
には以下の課題がある。

【００１６】一方の、全画面のヒストグラムを隣接フレ
ーム間で比較する方法では、全画面のヒストグラムが変
化しない限り、相関が高いと判定されるため、被写体が
移動してもシーン変化有りと誤検出されない範囲が広
い。しかし、被写体の面積変動があったり、物体の存在
した場所から新しい背景が出てきた場合、それが画面の
一部であっても全画面のヒストグラムに少なからず影響
を与えてしまう。その結果、局所的な画像変動でもシー
ン変化ありと誤判定される場合が出てくる。

【００１７】もう一方の、画面を分割したブロック毎に
ヒストグラムを比較する方法では、相関の高いブロック
を全体の半分だけ選んで最終的な評価値を計算するた
め、局所的な画像変動のブロックは除外されるためそれ
による影響を受けない。しかし、物体移動の許容範囲が
ブロック内部に限定されるので、例えば画面内で大面積
を占める物体が異ブロックにまたがって移動する場合、
その移動距離が小さくても、相関の低いブロックが多く
なるため、結果的にシーン変化有りと誤判定される可能
性がある。

【００１８】以上のように、従来のシーン変化検出方法
では、画像変動の場合にもシーン変化有りと誤検出する
ため、シーン変化を単位とした動画像編集装置において
ブラウジングやテープの位置合わせなどが正確に行えな
いという課題がある。

【００１９】本発明は、従来のシーン変化検出方法のこ
のような課題を考慮し、画面内部の動きに影響されない
でシーン変化の判定ができるシーン変化検出方法とその
装置、及び画像内容の把握し易いブラウジングや、正確
なテープ位置合わせの可能な動画像編集装置を提供する
ことを目的とするものである。

【００２０】

【課題を解決するための手段】請求項１の本発明は、第
１のフレーム画像を複数の第１固定ブロックに分割し、
また、第２のフレーム画像を、第１固定ブロックの分割
の仕方と同じように、第２固定ブロックに分割し、その
第２固定ブロック毎に、その第２固定ブロックと同じ大
きさの移動ブロックを複数個第２固定ブロック近傍の所
定領域内に、第２固定ブロックと重なり又は重ならない
状態で設定し、第１固定ブロック内の画像に関する所定
の画像情報を算出し、また、その第１固定ブロックに対
応する第２固定ブロックに関する複数個の移動ブロック
内のそれぞれの画像情報を算出し、第１固定ブロックの
画像情報と移動ブロックの画像情報との間の相関値をそ
れぞれ算出し、その算出された相関値の中の最大値を、
その第１固定ブロックのブロック相関値とし、そのブロ
ック相関値を第１固定ブロック全てに対して求め、それ
に基づいて、フレーム画像のシーン変化があるかどうか
を判定するシーン変化検出方法である。

【００２１】請求項５の本発明は、第１のフレーム画像
を複数の第１固定ブロックに分割し、また、第２のフレ
ーム画像を、第１固定ブロックの分割の仕方と同じよう
に、第２固定ブロックに分割し、その第２固定ブロック
毎に、その第２固定ブロックと同じ大きさの移動ブロッ
クを複数個第２固定ブロック近傍の所定領域内に、第２
固定ブロックと重なり又は重ならない状態で設定するブ
ロック設定手段と、第１固定ブロック内の画像に関する
所定の画像情報を算出し、また、その第１固定ブロック
に対応する第２固定ブロックに関する複数個の移動ブロ
ック内のそれぞれの画像情報を算出するヒストグラム算
出手段と、第１固定ブロックの画像情報と移動ブロック
の画像情報との間の相関値をそれぞれ算出し、その算出
された相関値の中の最大値を、その第１固定ブロックの
ブロック相関値とし、そのブロック相関値を第１固定ブ
ロック全てに対して求めるブロック相関値算出手段と、
そのブロック相関値算出手段により求められたブロック
相関値に基づき、フレーム画像にシーン変化があるかど
うかを判定するシーン変化判定手段とを備えたシーン変
化検出装置である。

【００２２】請求項６の本発明は、動画像のフレーム画
像を格納する動画像格納手段と、その格納された画像フ
レームのシーン変化を検出する請求項５のシーン変化検
出装置と、その検出されたシーン変化が生じた動画像の
フレーム位置情報を格納するシーン変化格納手段と、そ
の格納されたフレーム位置情報に応じて、フレーム画像
を表示する動画像表示手段とを備えた動画像編集装置で
ある。

【００２３】

【作用】本発明は、第１固定ブロック内の画像に関する
所定の画像情報を算出し、また、その第１固定ブロック
に対応する第２固定ブロックに関する複数個の移動ブロ
ック内のそれぞれの画像情報を算出し、第１ブロックの
画像情報と移動ブロックの画像情報との間の相関値をそ
れぞれ算出し、その算出された相関値の中の最大値を、
その第１固定ブロックのブロック相関値とし、そのブロ
ック相関値を第１固定ブロック全てに対して求め、それ
に基づいて、フレーム画像のシーン変化があると判定す
るので、シーン変化の判定における局所的な画像変動の
影響を抑制できる。

【００２４】また本発明は、動画像格納手段が動画像の
フレーム画像を格納し、シーン変化検出装置が格納され
た画像フレームのシーン変化を検出し、シーン変化格納
手段が検出されたシーン変化の生じた動画像のフレーム
位置情報を格納し、動画像表示手段が格納されたフレー
ム位置情報に応じて、フレーム画像を表示する。

【００２５】

【実施例】以下に、本発明をその実施例を示す図面に基
づいて説明する。

【００２６】図１は、本発明にかかる一実施例のシーン
変化検出装置の機能ブロックを示す図であり、図２は、
本実施例における隣接フレーム間でヒストグラムを比較
するブロックの位置関係を示す図であり（従来例の図５
に対応している）、図３は、本実施例においてヒストグ
ラム計算を行うブロックの中心位置を黒点で示した図で
ある。

【００２７】まず、本実施例のシーン変化検出方法につ
いて図２を用いて説明する。本手法は従来手法とは異な
り、ｔ＝τのフレームの各固定ブロックと、ｔ＝(τ＋
１)のフレームの、各固定ブロック周辺にある複数のブ
ロックとの間で相関計算を行う。ただし、ここで周辺と
は、各固定ブロックから上下左右方向に１ブロック分だ
け広げた領域とする。例えば図２は、ｔ＝τのフレーム
の（２，３）固定ブロックがｔ＝(τ＋１)のフレームで
相関計算を行うブロックの一例を点線の長方形で示して
いる。ここで、太線の大きな長方形は、（２，３）固定
ブロックの周辺領域であり、ブロックが存在し得る範囲
を示している。

【００２８】このとき、固定ブロックと上記範囲内で存
在し得る全てのブロックとの間で相関計算をする必要は
ないので、相関計算に用いるブロックを所定間隔で間引
く。ここでは、存在範囲内で水平・垂直方向にそれぞれ
１／５Ｖ，１／５Ｈ（Ｈ、Ｖをそれぞれ１ブロックの水
平、垂直方向の長さとする）の間隔でサンプリングした
標本点を中心位置にもつブロックを選ぶ。例えば図２の
（２，３）固定ブロックと対応するブロックは、１２１
個（＝１１×１１）となる。以後、ｔ＝τのフレームの
（Ｘ，Ｙ）固定ブロックと相関計算を行う、ｔ＝(τ＋
１)のフレームのブロックを（Ｘ，Ｙ）固定ブロックに
関する移動ブロックと呼ぶ。

【００２９】以上のようにｔ＝τのフレームの各固定ブ
ロックは、各固定ブロックに関する移動ブロック全てに
対してそれぞれ相関計算を行い、そのうち最も相関が高
い移動ブロックとの相関値を、各固定ブロックに関する
評価値とする。その後の処理は従来手法と同様に、１６
個の固定ブロックに関する評価値に基づいて最終評価値
を求め、その最終評価値をシーン変化の判定に利用す
る。

【００３０】次に、本発明のシーン変化検出方法を実現
するためのシーン変化検出装置の構成例を図１を用いて
説明する。

【００３１】図１において、１０は入力画像信号が入力
されるビデオ信号入力端子、１１はヒストグラム計算を
するブロックの位置を出力するブロック位置設定部であ
り、図３の黒点で示される座標を、所定時間間隔で順次
出力する。ただし、図３の黒点は、水平・垂直方向に１
／５Ｈ，１／５Ｖの間隔でサンプリングされており、ブ
ロックの中心座標に対応する。以後、ブロック位置設定
部で設定された位置のブロックをマスクブロック（すな
わち、マスクブロックは、固定ブロック及び移動ブロッ
クの位置に対応して設定されるブロックである）と呼
ぶ。

【００３２】１２は、入力された映像信号から、ブロッ
ク位置設定部１１で指定されたマスクブロックの色ヒス
トグラムを算出するヒストグラム算出部である。

【００３３】１３は、ヒストグラム算出部１２により算
出された固定ブロック内のヒストグラムを記憶するヒス
トグラム蓄積部であり、固定ブロック毎に、直前のフレ
ーム用メモリ（Ａ）と、現在処理中のフレームの一時記
憶用メモリ（Ｂ）の２個のメモリを持っている。

【００３４】１４は、ヒストグラム蓄積部１３に蓄えら
れた直前フレームの固定ブロック内のヒストグラムと、
ヒストグラム算出部１２により算出された移動ブロック
のヒストグラムとの間の相関計算を行う相関値算出部で
ある。各固定ブロックに対応して１６個のユニットから
なり、マスクブロックが各固定ブロック周辺のブロック
存在範囲内にあるようなユニットだけが相関計算を行
う。ここで相関値は、ヒストグラム差分の絶対値の総和
を用いて計算するものとする。

【００３５】１５は、相関値算出部１４により算出され
た相関値のうち、固定ブロックと最も相関の高いマスク
ブロックとの相関値（ブロック相関値）をそれぞれ出力
するマッチング部であり、固定ブロックに対応して１６
個のユニットからなる。

【００３６】１６は、マッチング部１５から入力された
１６個の相関値（ブロック相関値）のうち、相関の高い
方から８個の相関値を選び、その和を全画面相関値とし
て出力する全画面相関算出部である。

【００３７】１７は、所定のしきい値と全画面相関算出
部１６の出力を比較し、シーン変化有り、無しを判定す
るシーン変化判定部であり、１８は、そのシーン変化判
定部１７からの処理結果を出力する出力端子である。

【００３８】ここで、前述のブロック位置設定部１１が
ブロック設定手段であり、ヒストグラム算出部１２及び
ヒストグラム蓄積部１３がヒストグラム算出手段を構成
し、相関値算出部１４及びマッチング部１５がブロック
相関値算出手段を構成し、全画面相関算出部１６及びシ
ーン変化判定部１７がシーン変化判定手段を構成してい
る。

【００３９】次に、上記実施例の動作について説明す
る。

【００４０】今、入力端子１０からはｔ＝τのフレーム
に関する映像信号が入力されているものとし、ヒストグ
ラム蓄積部１３の直前のフレーム用メモリ（Ａ）には、
ｔ＝(τ−１)のフレームに関する固定ブロック内のヒス
トグラムが記録されている状態とする。

【００４１】まず、ブロック位置設定部１１は、図３の
左上の黒点を選びその座標（ｘ0 ，ｙ0 ）を出力する。
ヒストグラム算出部１２は入力された映像信号を用い
て、（ｘ0，ｙ0）を中心座標とするマスクブロックを設
定し、ブロック内部の色ヒストグラムを算出する。

【００４２】次に、ヒストグラム蓄積部１３では、ブロ
ック位置設定部１１からマスクブロックの位置（ｘ0，
ｙ0）を入力し、１６個の固定ブロックのいずれかと位
置が等しいかどうか調べる。位置の等しい固定ブロック
がある場合、その固定ブロックに対応する一時記憶用メ
モリ（Ｂ）の内容を更新するため、ヒストグラム算出部
１２から出力されるヒストグラムを記録する。今、マス
クブロックの中心座標（ｘ0 ，ｙ0 ）は（１，１）固定
ブロックの中心座標と一致するので、（１，１）固定ブ
ロックに対応するヒストグラム蓄積部１３の一時記憶用
メモリ（Ｂ）の内容が更新される。

【００４３】次に、相関値算出部１４は、まずブロック
位置設定部１１からマスクブロックの位置（ｘ0，ｙ0）
を入力し、マスクブロックが、周辺のブロック存在範囲
に含まれるような固定ブロックを選ぶ。マスクブロック
位置が（ｘ0，ｙ0）の場合、ブロック存在範囲にマスク
ブロックを含むような固定ブロックは、（１，１）、
（１，２）、（２，１）、（２，２）の４つである。選
ばれた固定ブロックに対応するユニットは、ヒストグラ
ム算出部１２からマスクブロックのヒストグラムと、ヒ
ストグラム蓄積部１３の直前のフレーム用メモリ（Ａ）
から固定ブロックのヒストグラムを入力し、２つのヒス
トグラム間の相関値を求める。

【００４４】その後、マッチング部１５では、固定ブロ
ック毎に相関値算出部１４から入力された相関値を記憶
する。

【００４５】以上の処理が終了すると、ブロック位置設
定部１１は図３に示すように、別の黒点を選びその座標
（ｘ1，ｙ0）を出力する。ヒストグラム算出部１２、ヒ
ストグラム蓄積部１３、相関値算出部１４は（ｘ0，ｙ
0）の時と同様の処理を行う。そうすると、マッチング
部１５では、入力された相関値と、すでに記憶されてい
る相関値とを比較し、相関値の大きい方だけを記憶す
る。初めて相関値が入力されたユニットは、その相関値
を記憶する。

【００４６】このように、ブロック位置設定部１１が出
力するマスクブロックの座標に対して、ヒストグラム算
出部１２、ヒストグラム蓄積部１３、相関値算出部１
４、マッチング部１５の処理を次々に行う。結果とし
て、図３の全ての黒点に対する処理が終了した時点で、
マッチング部１５の１６個のユニットには、固定ブロッ
クと最も相関の高いマスクブロックとの相関値がそれぞ
れ固定ブロック毎に記憶されていることになる。

【００４７】全ての黒点に対する処理が終了すると、ブ
ロック位置設定部１１は、ヒストグラム蓄積部１３とマ
ッチング部１５に処理終了を知らせる信号を送る。ヒス
トグラム蓄積部１３は、処理終了の信号が入力される
と、全ての直前フレーム用メモリ（Ａ）の内容が、対応
する一時記憶用メモリ（Ｂ）の値により更新される。

【００４８】一方、マッチング部１５は、全画面相関算
出部１６に対して、各固定ブロックに関する相関値を出
力し、全画面相関算出部１６は、相関の高い方から８個
の相関値を選び、その和を全画面相関値として出力す
る。

【００４９】そうすると、シーン変化判定部１７では、
所定のしきい値と全画面相関算出部１６の出力の全画面
相関値とを比較し、全画面相関値がしきい値より小さい
とき、シーン変化有りと判定し、出力端子１８から判定
結果を出力する。

【００５０】以上が１つのフレームに対する処理であ
る。以後のフレームに対しても同様の処理を行い、順
次、シーン変化があるかどうかの判定結果を出力する。

【００５１】以上説明したように、ブロック内のヒスト
グラムの相関を調べる際、同じ位置のブロック同志では
なく、近傍で最も相関が高い位置のブロックとのヒスト
グラムの相関を求めることにより、ブロックの境界付近
で被写体が移動しても相関が高いと判定できる。従っ
て、局所的な画像変動の影響を抑えたままで、シーン変
化ありと判定されないで被写体が移動できる範囲を拡張
することができ、従来のブロック内ヒストグラムを用い
たシーン変化検出方法の、局所的な画像変動の影響が少
ないという利点を保持したまま、シーン変化の誤検出、
検出漏れを減少できる。又、これにより、編集作業を行
う際にシーン変化を正確に見つけることができ、ブラウ
ジングやテープの位置合わせなど編集作業の効率を向上
させることができる。

【００５２】なお、上記実施例では、ヒストグラムの相
関計算方法として、ヒストグラム差分の絶対値の総和を
用いたが、これに限らず、例えば従来手法で行われてい
るようにχ2検定等を用いてもよい。

【００５３】また、上記実施例では、画像情報として色
レベルのヒストグラムを用いて相関計算を行ったが、こ
れに限らず、例えば輝度レベル等のヒストグラムを用い
ても良い。

【００５４】また、上記実施例では、固定ブロック近傍
の所定領域である固定ブロックの周辺領域のブロックが
存在し得る範囲を、固定ブロックに隣接する固定ブロッ
クで構成される範囲としたが（図２参照）、領域の範囲
はこれに限定されるものではない。

【００５５】また、上記実施例では、移動ブロックの設
定を水平・垂直方向にそれぞれ１／５Ｖ，１／５Ｈの間
隔に取ったが、この間隔に限定されるものではない。

【００５６】また、上記実施例では、全画面相関値を求
めるのに全部（１６個）のブロック相関値のうちその半
数（８個）を用いたが、これに限らず、例えば全部、又
は６個等何個を用いてもよい。

【００５７】また、上記実施例では、画面を１６個のブ
ロックに分割したが、分割数はこれに限定されるもので
はない。

【００５８】また、上記実施例では、固定ブロックのヒ
ストグラムを前フレームから算出し、移動ブロックのヒ
ストグラムを後フレームから算出する構成としたが、こ
れとは逆に、固定ブロックのヒストグラムを後フレーム
から算出し、移動ブロックのヒストグラムを前フレーム
から算出する構成としてもよい。

【００５９】また、上記実施例では、第１固定ブロック
のブロック相関値は、求められた、前記第１固定ブロッ
クの画像情報と前記移動ブロックの画像情報との間の相
関値の中の最大値であったが、本発明はこれに限らず、
最大値と２番目に大きい値との平均値等、他の方法で得
た値であってもよい。

【００６０】また、上記実施例では、隣接するフレーム
同士を比較する構成としたが、これに限らず、何個か離
れたフレーム同士を比較するようにしてもよい。

【００６１】また、上記実施例では、各処理部を専用の
ハードウェアにより構成したが、これに代えて、同様の
機能をコンピュータを用いてソフトウェア的に実現して
もよい。

【００６２】次に、図４に示す本発明におけるシーン変
化検出方法（又は装置）を用いた動画像編集装置の一実
施例について説明する。本実施例の動画像編集装置は、
動画像の映像信号からシーン変化を検出して、シーン変
化とシーン変化の間の一塊の動画像を代表する画像を表
示することにより、ブラウジングの作業を容易にするも
のである。

【００６３】図４において、動画像記憶部１は、ビデオ
テープ又は光ディスクなどから構成される動画像格納手
段であり、動画像の映像信号や同期信号などが記録され
ている。操作入力部２は、ブラウジング開始、シーン変
化検出開始などの作業の命令をユーザが入力するための
入力装置である。画像出力部３は、ディスプレイなどの
出力装置に画像を表示する動画像表示手段である。シー
ン変化検出部５は、本発明のシーン変化検出方法を用い
て、動画像記憶部１の動画像の映像信号からシーン変化
を検出するシーン変化検出装置である。シーン変化記憶
部６は、シーン変化検出部５からの処理結果を基に、シ
ーンの冒頭のフレーム番号を記憶するシーン変化格納手
段である。制御部４は、前述の動画像記憶部１、操作入
力部２、画像出力部３、シーン変化検出部５、シーン変
化記憶部６の間の信号のやりとりを制御するものであ
る。

【００６４】次に、上記実施例の動画像編集装置の動作
について説明する。

【００６５】いま、操作入力部２においてシーン変化検
出開始のボタン入力の信号が検知されると、動画像記憶
部１の全てのシーン変化を検出し、それをシーン変化記
憶部６に蓄える処理が始まる。

【００６６】まず、制御部４は、動画像記憶部１の映像
信号をシーン変化検出部５に伝送する。シーン変化検出
部５では、前述した本発明のシーン変化検出方法を用い
てシーン変化を検出し、その検出結果によりシーン冒頭
のフレーム番号がシーン変化記憶部６に記録される。以
上の処理を動画像記憶部１に記憶されている全てのフレ
ーム、又は指定した範囲のフレームに対して行い、その
中の全てのシーン変化がシーン変化記憶部６に記憶され
た時点で処理を終了する。

【００６７】この状態で、操作入力部２でブラウジング
開始のボタン入力の信号が検知されると、シーン冒頭の
画像をディスプレイ上に表示する処理が行われる。ま
ず、制御部４はシーン変化記憶部６で記録されたフレー
ム番号を参照し、動画像記憶部１を制御して対応するフ
レームを検索し、そのフレームの映像信号を画像出力部
３へ伝送する。画像出力部３は、複数の画像がアイコン
の形で同時に表示できるように設定されてあり、伝送さ
れた画像をディスプレイ上に表示する。

【００６８】以上説明したように、本発明のシーン変化
検出方法で求めた変化点を基に、シーン冒頭の画像を表
示することにより、画像をシーン毎に過不足無く見るこ
とができ、動画像の内容を効率よく簡単に把握すること
が可能になる。すなわち、ブラウジングで同じシーンの
画像が何度も表示されたり、次のシーン冒頭までの早送
りでシーンの変化点を飛ばしてしまう、などの問題が起
きず、効率の良い編集が可能となる。

【００６９】なお、上記実施例では、シーン冒頭の画像
だけを表示すると説明したが、これに限らず、例えば、
シーン冒頭から所定時間経過したフレームを選んだり、
シーン期間中の真ん中のフレームを選ぶ等により表示す
るようにしてもよい。

【００７０】また、上記実施例では、全てのシーン変化
をアイコンの形で同時に表示する方法を説明したが、こ
れに限らず、シーン毎に複数のフレームを選んで、ダイ
ジェストのように順次表示するようにしてもよい。

【００７１】また、上記実施例では、ブラウジングする
ために、シーンを代表する画像を表示する構成として説
明したが、これに限らず、図４と同様の構成で、シーン
冒頭までの巻き戻し、次のシーンまでの再生・早送りな
どのテープの位置合わせの作業を行う構成としてもよ
い。

【００７２】

【発明の効果】以上述べたところから明らかなように本
発明は、画面内部の動きに影響されないでシーン変化の
判定ができるという長所を有する。

【００７３】また本発明は、画像フレームのシーン変化
を検出するシーン変化検出装置を備えた動画像編集装置
であるので、画像内容の把握し易いブラウジングや、正
確なテープ位置合わせができるという利点がある。

【図面の簡単な説明】

【図１】本発明にかかる一実施例のシーン変化検出装置
の機能ブロック図である。

【図２】同実施例における隣接フレーム間でヒストグラ
ムを比較するブロックの位置関係を示す図である。

【図３】同実施例におけるヒストグラム計算を行うブロ
ックの中心位置を黒点で示した図である。

【図４】本発明にかかる一実施例の動画像編集装置の構
成を示すブロック図である。

【図５】従来のシーン変化検出方法における隣接フレー
ム間でヒストグラムを比較するブロックの位置関係を示
す図である。

【符号の説明】

１動画像記憶部２操作入力部３画像出力部４制御部５シーン変化検出部６シーン変化記憶部１１ブロック位置設定部１２ヒストグラム算出部１３ヒストグラム蓄積部１４相関値算出部１５マッチング部１６全画面相関算出部１７シーン変化判定部

Claims

【特許請求の範囲】

【請求項１】第１のフレーム画像を複数の第１固定ブ
ロックに分割し、また、第２のフレーム画像を、前記第
１固定ブロックの分割の仕方と同じように、第２固定ブ
ロックに分割し、その第２固定ブロック毎に、その第２
固定ブロックと同じ大きさの移動ブロックを複数個前記
第２固定ブロック近傍の所定領域内に、前記第２固定ブ
ロックと重なり又は重ならない状態で設定し、前記第１
固定ブロック内の画像に関する所定の画像情報を算出
し、また、その第１固定ブロックに対応する前記第２固
定ブロックに関する複数個の前記移動ブロック内のそれ
ぞれの前記画像情報を算出し、前記第１固定ブロックの
画像情報と前記移動ブロックの画像情報との間の相関値
をそれぞれ算出し、その算出された相関値からその第１
固定ブロックのブロック相関値を求め、そのブロック相
関値を前記第１固定ブロック全てに対して求め、それに
基づいて、前記フレーム画像のシーン変化があるかどう
かを判定することを特徴とするシーン変化検出方法。
【請求項２】第１固定ブロックのブロック相関値は、
求められた、前記第１固定ブロックの画像情報と前記移
動ブロックの画像情報との間の相関値の中の最大値であ
ることを特徴とする請求項１記載のシーン変化検出方
法。
【請求項３】ブロック相関値を前記第１固定ブロック
全てに対して求めた後、前記ブロック相関値のうち高い
方から所定個数を抽出し、その抽出されたブロック相関
値に基づき、全画面に対する相関値を代表する全画面相
関値を求め、その全画面相関値が所定の閾値より低い場
合に、前記フレーム画像のシーン変化があると判定する
ことを特徴とする請求項１、又は２記載のシーン変化検
出方法。
【請求項４】所定の画像情報は、色信号又は輝度信号
であることを特徴とする請求項１、又は２記載のシーン
変化検出方法。
【請求項５】第１のフレーム画像を複数の第１固定ブ
ロックに分割し、また、第２のフレーム画像を、前記第
１固定ブロックの分割の仕方と同じように、第２固定ブ
ロックに分割し、その第２固定ブロック毎に、その第２
固定ブロックと同じ大きさの移動ブロックを複数個前記
第２固定ブロック近傍の所定領域内に、前記第２固定ブ
ロックと重なり又は重ならない状態で設定するブロック
設定手段と、前記第１固定ブロック内の画像に関する所
定の画像情報を算出し、また、その第１固定ブロックに
対応する前記第２固定ブロックに関する複数個の前記移
動ブロック内のそれぞれの前記画像情報を算出するヒス
トグラム算出手段と、前記第１固定ブロックの画像情報
と前記移動ブロックの画像情報との間の相関値をそれぞ
れ算出し、その算出された相関値の中の最大値を、その
第１固定ブロックのブロック相関値とし、そのブロック
相関値を前記第１固定ブロック全てに対して求めるブロ
ック相関値算出手段と、そのブロック相関値算出手段に
より求められたブロック相関値に基づき、前記フレーム
画像にシーン変化があるかどうかを判定するシーン変化
判定手段とを備えたことを特徴とするシーン変化検出装
置。
【請求項６】動画像のフレーム画像を格納する動画像
格納手段と、その格納された画像フレームのシーン変化
を検出する請求項５の前記シーン変化検出装置と、その
検出されたシーン変化が生じた動画像のフレーム位置情
報を格納するシーン変化格納手段と、その格納されたフ
レーム位置情報に応じて、前記フレーム画像を表示する
動画像表示手段とを備えたことを特徴とする動画像編集
装置。