JPH11252501A

JPH11252501A - 動画像の特殊効果検出装置

Info

Publication number: JPH11252501A
Application number: JP10051797A
Authority: JP
Inventors: Akio Nagasaka; 晃朗長坂; Takafumi Miyatake; 孝文宮武
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1998-03-04
Filing date: 1998-03-04
Publication date: 1999-09-17
Anticipated expiration: 2018-03-04
Also published as: JP3624677B2

Abstract

(57)【要約】【課題】カメラの動きや映像中の物体の動きと区別し
て、ワイプだけを検出する。【解決手段】対象となる動画像を、常に過去ｍフレーム
分のフレーム画像を記憶する画像バッファ手段と、入力
フレームのヒストグラムを含む特徴量を計算する手段
と、上記特徴量とｍフレーム分過去のフレームにおける
特徴量との第１の相関を求める手段と、過去ｍフレーム
分の間に色または輝度に変化があった画素について、そ
の画素の変化前後の色または輝度全体から得られる統計
量の間で第２の相関を求める手段を有する処理装置に、
フレーム単位で時系列に入力し、第１と第２の相関がそ
れぞれ予め定めた許容範囲外となったとき、ワイプによ
る場面の変わり目と判定し、上記またはその近傍を含む
区間を抽出する手段を設ける。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ビデオや映画等の
動画像を短時間で概要把握を行うための早見方法に係
り、特にビデオテープやビデオディスクに格納された動
画像からカット（１台のカメラで撮影された途切れのな
い動画像区間）間のワイプ（連続するカットＡ，Ｂがあ
るとき、そのカットの変わり目において、画面における
Ａの画像の占める面積が減少すると同時にＢの画像の占
める面積が徐々に増大する特殊映像効果）を検出する動
画像の特殊効果検出装置に関する。

【０００２】

【従来の技術】近年、通常のテレビ放送に加えて、衛星
放送やケーブルテレビなどが普及しつつあり、放送の多
チャンネル化が進行している。今後、情報ハイウエイと
称される広帯域の通信基盤が整備されれば、放送の配信
が容易になり、現状よりもさらに多くの放送業者が参入
して、多チャンネル化が加速されると考えられる。

【０００３】こうした大量に放送される情報の中から、
視聴者個人個人にとって有用な情報と無用な情報とを区
別し、選択することは非常に手間と時間のかかる作業で
ある。そのため、映像内容を手早く把握するための要約
情報（ダイジェスト）を効率よく作成する技術の研究が
進められている。ダイジェストを作成するにあたって最
も基本的かつ不可欠な処理は、映像中から重要な場面を
選び出すことである。このような重要な場面を選び出す
方法としては、すでに様々な方法が提案されているが、
たとえば、発明者らによる特開平9−65287号では、カッ
トの変わり目や、人物や字幕の有無といった、映像中の
各種のイベント点の組み合わせに着目する方法について
述べている。特に、デゾルブやワイプなどの特殊効果
は、映像の制作者が何らかの効果を期待して付与したも
のであるから、その付与された付近に重要場面がある可
能性が高い。実際、スポーツ番組では、シーンのリプレ
イからの切り替わりの際に広く用いられており、リプレ
イされたシーンは、得点シーンや好プレイシーンといっ
た明らかな重要場面となっている。

【０００４】

【発明が解決しようとする課題】特殊効果にはデゾルブ
とワイプの２種類があるが、両者とも時間をかけて徐々
にカットが移り変わるという共通の性質があり、ある程
度時間間隔を空けてサンプリングした２枚のフレーム画
像(動画を構成する１コマの画像)を比較すれば、その差
異が大きいことを判断基準にして検出が可能である。し
かし、このような手法では、デゾルブとワイプの区別が
つかないばかりか、パンやズームといったカメラの動き
によって映像が変化した場合も検出するため、過剰検出
が多過ぎて実用的ではないという問題点がある。そのた
め、前者のデゾルブについては、発明者らをはじめとし
て、デゾルブに固有の特徴を用いることで過剰検出を抑
えた検出手法が発表されている。しかし、後者のワイプ
については、ARUN HAMPAPUR,RAMESH JAIN AND TERRY E
WEYMOUTH,“Production Model Based Digital VideoSeg
mentation”, Multimedia Tools and Applications, Vo
l.1, pp.9−46(1995)で、動きがない理想状態のシーン
の切り替わりを対象にした、ワイプに特化した検出方法
が提案されているものの、動きを考慮した安定した検出
手法は存在しない。

【０００５】本発明の目的は、カメラの動きや映像中の
物体の動きと区別して、ワイプだけを正しく検出するた
めの手法を実現することにある。

【０００６】

【課題を解決するための手段】上記の目的を達成するた
め、対象となる動画像をフレーム単位で時系列に処理装
置に入力し、上記処理装置では、常に過去ｍフレーム分
のフレーム画像を記憶するための画像バッファ手段と、
入力フレームのヒストグラムを含む特徴量を計算する手
段と、上記特徴量とｍフレーム分過去のフレームにおけ
る上記特徴量との第１の相関を求める手段と、過去ｍフ
レーム分の間に色または輝度に変化があった画素につい
て、その変化前の画素の色または輝度全体から得られる
統計量と、変化後の画素の色または輝度全体から得られ
る統計量との間で第２の相関を求める手段とを有し、第
１と第２の相関がそれぞれ予め定めた許容範囲外となっ
た時点で、ワイプによる場面の変わり目があったと判定
し、上記時点またはその近傍を含む区間を抽出する手段
を設ける。

【０００７】また、必要に応じて、上記第２の相関をｍ
フレーム分記憶する手段と、ｍフレーム分の相関の総和
をもってワイプによる場面の変わり目かどうかを判定す
る手段、カット点を検出し、カット点が過去ｍフレーム
内に発生した場合にはそれまでに求めた相関を初期値に
戻す手段、過去ｍフレーム分の間に色または輝度に変化
があった画素の数が単調に増加しない場合にはワイプに
よる場面の変わり目としない手段、画素の色または輝度
が短いフレーム間隔に変化してまた元の値に戻るような
場合は変化と見なさない手段、上記第１の相関に加え
て、入力フレームにおける特徴量とｍ＋δフレーム分過
去のフレームにおける特徴量との間の相関も求め、相関
の高いほうを改めて第１の相関とする手段を設ける。

【０００８】本発明によれば、従来のデゾルブに加え
て、ワイプを含む特殊映像効果による場面の変わり目
を、カメラの動きや物体の大きな動きの影響を小さく抑
えて検出できるため、そうした特殊効果に相前後して流
される重要な場面を精度よく抽出できる。

【０００９】

【発明の実施の形態】図１は、本発明を実現するための
システム構成の概略ブロック図の一例である。１はＣＲ
Ｔ等のディスプレイ装置であり、コンピュータ４の出力
画面を表示する。コンピュータ４に対する命令は、キー
ボードやポインティングデバイス等の入力装置５を使っ
て行うことができる。１０の動画像再生装置は、地上波
放送や衛星放送，ケーブルテレビなどの放送番組を受信
するためのチューナ装置、または光ディスクやビデオテ
ープ等に記録された動画像を再生するための装置であ
る。

【００１０】動画像再生装置から出力される映像信号
は、逐次、３のＡ／Ｄ変換器によってデジタル画像デー
タに変換され、コンピュータに送られる。コンピュータ
内部では、デジタル画像データは、インタフェース８を
介してメモリ９に入り、メモリ９に格納されたプログラ
ムに従って、ＣＰＵ７によって処理される。１０が扱う
動画像の各フレームに、動画像の先頭から順に番号（フ
レーム番号）が割り付けられている場合には、フレーム
番号を制御線２によって動画像再生装置に送ることで、
当該場面の動画像を呼び出して再生することができる。
また、処理の必要に応じて、各種情報を外部情報記憶装
置６に蓄積することができる。メモリ９には、以下に説
明する処理によって作成される各種のデータが格納さ
れ、必要に応じて参照される。

【００１１】以下では、特殊映像効果によるカット変化
の一つであるワイプを検出する方法について詳細に説明
する。

【００１２】図２は、図１で示したシステム上で実行さ
れる、動画像のワイプ検出プログラムのフローチャート
の一例である。プログラムはメモリ９に格納され、ＣＰ
Ｕ７は、まず最初に初期化処理として、プログラムの実
行に必要な各種の変数を初期値に設定し（２００）、メ
インループ（２０２〜２６０）に入る。メインループは
処理終了が指示されるまで繰り返される。

【００１３】メインループでは、まず処理２０２で、動
画像再生装置１０が出力するフレーム画像ｆ（ｎ）の取
り込みを行う。ここでｎは、処理開始から入力されたｎ
番目のフレームという意味を表すためのカウンタであ
り、２６０で１つずつ増やされる。

【００１４】２０４から２５８の処理では、ワイプに特
有の特徴の検出を行っている。ここで、ワイプは、図３
に示すように、カットの変わり目の前後でＢのように、
前後のカットのフレーム画像ＡとＣの一部分が互いに混
在する区間を持つカット変化である。ＢにおけるＡとＣ
の面積比率は、ワイプ開始時のＡが１００％、Ｃが０％
の状態から、時間をかけて比率が逆転してゆき、最終的
にＡが０％、Ｃが100％になった時点でワイプが完了す
る。この例のワイプの場合、シーンＡにおいて撮影カメ
ラが横に動いて画面が変化した、いわゆるパンと、動き
の様子からは区別しにくいことがわかる。そこで、動き
に影響されないワイプ固有の特徴として、次の３点を考
える。

【００１５】１）ワイプ区間中に新しく現れる画像部分
は、それまでの画像との類似性が低い。

【００１６】２）ワイプ区間中に新しく現れた画像部分
と、それまでの画像との境界では色差が大きい。

【００１７】３）ワイプ区間の開始時と終了時のフレー
ム画像の類似性は低い。

【００１８】１）に関して、自然界にある風景は色彩的
になめらかに連続しているものがほとんどであり、カメ
ラの動きによって新たに画面に入ってきた画像部分は、
それまでの画像と色彩的に非常に類似している。看板や
建物などといった直線的な人工物が新しく入ってくるよ
うなシーンでも、新たに画面に入ってくる画像部分に占
めるそれらの面積比率は多くが小さく、統計的には色彩
が非常に類似したものとなる。ところが、ワイプによっ
て新しく入ってきた画像部分は、そもそも異なるシーン
の一部分が挿入されたものであるため、明らかに画像の
類似性が低い。

【００１９】また、２）に関して、ワイプによって新た
に挿入される画像部分と、挿入を受ける側の画像との境
界（図３のフレーム画像Ｂ中においては、人と車の画像
間を区切る縦棒付近）では、境界を挟んで隣接する画素
の間の色（あるいは輝度）の差異が非常に大きくなる。
このように人工的な明確な断層は、１）と同様の理由か
ら、自然画像中には存在しにくいため、ワイプが発生し
ていることを示す大きな特徴となる。これらの２点に着
目することで、カメラの動きによる変化との区別が可能
になる。

【００２０】最後の３）は、映像内での被写体の大きな
動きとワイプとを区別するための特徴である。被写体
は、その背景との間に明確な境界を持ち、また、それが
大きく動くと、被写体の陰に隠されていた背景が新たに
現れるなど、場合によっては１）と２）で挙げたワイプ
の特徴を満たしてしまう。しかし、被写体の動きの場合
は、同じシーン内であるから、画面全体の統計的な色彩
としては、動きの前後で大きな違いは見られないので、
これによって被写体の動きとワイプとを区別できる。但
し、動きの前後では、被写体の移動など構図や背景に変
化は生じているので、画像の位置に依存しない統計的特
徴量の比較で画面全体の比較を行う必要はある。

【００２１】ワイプには、画像が挿入される位置や移り
変わりの様式によって様々なパターンがあるが、上で挙
げた３つの特徴は、いずれの場合も普遍に成立する。

【００２２】次に、図２にしたがい、より具体的にワイ
プ検出アルゴリズムについて説明する。まず処理２０４
では、２０２で入力されたフレーム画像のヒストグラム
Ｈ（ｎ）が計算される。ここでｎは、先述のようにフレ
ーム番号を表わし、各フレームに対応してヒストグラム
が各々作成されることを意味する。ヒストグラムは、１
枚のフレーム画像全体における、同じ色を示す画素の出
現頻度を求めたものである。

【００２３】例えば、ＲＧＢ各２ビット６４色の色ヒス
トグラムを作成する場合、フレームの各画素のＲＧＢカ
ラー値をそのＲＧＢ各上位２ビットのみで表現した６ビ
ット６４色に縮退し、６４色のそれぞれについて、縮退
によってその色を示す画素の数をカウントする。この場
合、色ヒストグラムは配列Ｈ（ｎ，ｉ）で表すこともで
き、ｉは０から６３の値をとる。例えば、ｉが０のとき
の度数Ｈ（ｎ，０）は、ＲＧＢカラー値の上位２ビット
がＲＧＢ各々全て０である画素がフレーム中に幾つある
かを示している。

【００２４】このように、ヒストグラムは色の画面上で
の分布状態を反映しないため、画面内での動きや、部分
的な変化があっても安定した値をとる特徴がある。ここ
で計算したヒストグラムは、後述するように、上記３）
の特徴を検出するために用いる。

【００２５】続く処理２０６〜２１０では、まず新たに
入ってきた画像領域の分布状況を記憶するためのバッフ
ァＢ（ｎ）を０で初期化する。Ｂ（ｎ）は、入力したフ
レーム画像ｆ（ｎ）と同じサイズｗ×ｈを持つ二次元配
列であり、フレーム画像上の座標(ｘ，ｙ)に対応するセ
ルはＢ（ｎ，ｘ，ｙ）と表現することにする。Ｂ（ｎ，
ｘ，ｙ）は、０か１の値をとり、１のときに、そのセル
に対応する座標（ｘ，ｙ）の画素が、新たに入ってきた
画像領域を構成していることを示す。

【００２６】そして、処理２１２〜２２０では、最新の
フレーム画像ｆ（ｎ）の各画素について逐一調べてい
き、直前に入力されたフレーム画像ｆ（ｎ−１）におけ
る同一座標（ｘ，ｙ）に位置する画素との色（あるいは
輝度）の差が閾値ｔｈ１以上で、かつ、ｆ（ｎ）上での
４近傍、すなわち、（ｘ−δ，ｙ），（ｘ＋δ，ｙ），
（ｘ，ｙ−δ），（ｘ，ｙ＋δ）に位置する画素の中
に、色（あるいは輝度）の差が閾値ｔｈ２以上の画素が
一つ以上ある場合には、その座標（ｘ，ｙ）に対応する
Ｂ（ｎ，ｘ，ｙ）に１を代入する。

【００２７】このとき、単純に輝度のみではなく、色の
差で閾値判定を行う場合には、たとえばＲＧＢ各成分ご
とに輝度の差が一つでもｔｈ１（あるいはｔｈ２）を超
えるか否かを判定する。また、ここで４近傍に位置する
画素との間で差異があること、すなわちエッジとなって
いることを条件としているのは、エッジと関係のない変
化画素の数を抑制することで、前述の２）の特徴であ
る、前画像と挿入画像の領域境界に発生する断層を構成
する画素（これらは当然エッジになる）の全体に占める
相対的な比率を高め、ワイプの特徴がより顕現化しやす
いようにするためである。この場合、単にエッジを求め
るものであるから、４近傍に限定される必要はなく、８
近傍で調べて求めても一向に構わない。

【００２８】以上のようにして、０と１からなるビット
マップＢ（ｎ）を作成した後、過去ｍフレーム分のＢ
（ｎ）についてビット演算による論理和をとり、その結
果を表すビットマップＢ０を求める（２２２〜２３
６）。このＢ０が、ｍフレーム分の間に挿入された可能
性のある全画像領域を表わすことになる。ここで、ｍは
ワイプを検出するための処理上の探索範囲を示し、概ね
８から１５の値をとると実験的に良好な結果が得られ
る。個々のフレーム画像に関連する各種の情報を記憶す
るバッファ容量は、ｍフレーム分あればよい。

【００２９】以上の処理の中で、単純にｍフレーム分離
れた２枚のフレーム画像間での変化からＢ０を求めなか
ったのは、ｍフレーム分離れると、物体やカメラによる
動きの幅が非常に大きくなり、遠く離れた領域の色が移
動してくることで、動きに起因した変化の大きな画素が
増えてしまうためである。本実施例のように連続するフ
レーム間で比べた場合、動きの幅が小さいので、同じ色
彩を持つ領域内での変化が多く、動きに起因する変化画
素の数は統計的に抑えられる。ワイプの場合には、異な
る画像が挿入される原理上、短い時間間隔であっても変
化の大きな画素は多い。

【００３０】次に、２０４で求めたヒストグラムＨ
（ｎ）と、ｍフレーム分過去のフレーム画像ｆ（ｎ−
ｍ）におけるヒストグラムＨ（ｎ−ｍ）との間で相違度
Ｄ１を計算する（２３８）。相違度Ｄ１は、例えば、カ
イ二乗検定等の計算式により求めることができる。

【００３１】これによって、過去ｍフレーム分の区間内
にワイプがある可能性があるかどうかを調べる。先述の
３）の特徴で挙げたように、ワイプはカットの切り替わ
りであるから、ワイプがあると色彩的にも大きな変化が
生ずることを利用している。このとき、相違度Ｄ１が閾
値ｔｈ３よりも大きければ（２４０）、ワイプがある可
能性が高いとして、先述の１）の特徴が現れているか否
かを調べる処理に移行する。

【００３２】まず処理２４２では、最新のフレーム画像
ｆ（ｎ）について、Ｂ０（ｘ，ｙ）＝１を満たす画素の
みをサンプリングしてヒストグラムＨｃを作成する。ヒ
ストグラム作成のための画素がＢ０によって限定される
以外は、基本的にＨ(ｎ)と同様の作成方法である。続く
２４４では、ｍフレーム分過去のフレーム画像ｆ（ｎ−
ｍ）について、同様にＢ０（ｘ，ｙ）＝１を満たす画素
のみをサンプリングしてヒストグラムＨｃ′を作成す
る。そして、ＨｃとＨｃ′の間の相違度Ｄ２(ｎ)を計算
する（２４６）。Ｂ０は、前述のように、過去ｍフレー
ム分の間に新たに現れた領域を表わすビットマップであ
るから、Ｄ２（ｎ）は、新たに入ってきた画像領域と、
それまでの画像領域との間の相違度を示している。Ｄ２
（ｎ）が閾値ｔｈ４以上のときには（２４８）、過去ｍ
フレーム分のＤ２の総和をとり、評価値evalを得る（２
５０〜２５４）。evalが閾値ｔｈ５より大きいときには
（２５６）、ワイプ区間にあるとして検出時処理２５８
を行う。

【００３３】ワイプ検出時処理２５８は、ワイプの検出
をトリガーにして、リプレイシーンを特定して記憶した
りといったアプリケーション的な処理である。ここで、
過去ｍフレーム分のＤ２の総和をとったのは、ワイプ区
間では、Ｄ２の値が連続的に大きな値をとることが多
く、また逆に、動きによる変化の場合には断片的なこと
が多く、総和をとることでさらに区別がつきやすくなる
ためである。過剰検出を許しても感度を高めたい場合に
は、処理２５０〜２５４は不要である。以上で説明した
アルゴリズムの基本的な考え方を示した概略図を図４に
示しておく。

【００３４】上記のアルゴリズムによって、ワイプを検
出できるが、さらに検出精度を向上させるために、いく
つかの条件を加えることができる。

【００３５】ワイプは、徐々に画面が変化し、最終的に
全画面が切り替わる映像効果であるから、一定時間に渡
って様子を追うと、前画像と挿入画像との間の境界線
は、その軌跡が全画面を覆い尽くすようにワイプの進行
とともに移動する。ワイプ区間においては、Ｂ０で示さ
れる変化領域には、一定時間分の境界線の軌跡が含まれ
ている。軌跡はワイプの始まりには一部分にしかなく、
ワイプの進行にともない画面全体に広がっていくから、
Ｂ０で示される変化領域の面積は、ワイプ区間であれば
単調に増加する傾向がある。これを条件にすることで、
ワイプであることを、さらに限定することができる。こ
れは、Ｂ０における１の総数を一定時間分記憶してお
き、その総数が単調増加するかどうかを調べればよい。

【００３６】また、図２に示したアルゴリズムでは、そ
の原理上、過去ｍフレーム分の間にカット点が存在する
場合にも、誤ってワイプとして検出されてしまう問題点
がある。カット点とワイプとを明確に区別するために、
カット点は別の手法で独立して検出を行い、カット点が
検出されたときには、ワイプ検出用の各種変数をリセッ
トして、ワイプとして検出しないようにする。この場合
のカット検出には、従来からある手法をそのまま用いる
ことができる。

【００３７】カット点と同様に問題となる映像変化とし
て、フラッシュなどの瞬間的なノイズの発生がある。フ
ラッシュは、最大数フレームの微少時間の間、画面全体
や一部が白くなる現象であり、画面全体に及ぶフラッシ
ュは、白くなる際に１回、元の映像に戻る際に１回の計
２回のカット点が極めて短い時間間隔で連続するため、
その特徴から検出ができる。このようにしてフラッシュ
が検出された場合、上述のカット点のときと同様にリセ
ットして、ワイプとして検出しないようにする。

【００３８】しかしながら、このような手法だけでは、
画面の一部のみにフラッシュが発生した場合には対応で
きない。しかも、フラッシュが発生した部分は、そのま
ま変化領域としてＢ（ｎ）に反映するので、ワイプ検出
の精度に強く影響を与える。

【００３９】そこで、Ｂ（ｎ）を求める際には、図２の
処理２１６と２１８の条件文にさらに加えて、フラッシ
ュである可能性の高い画素（ｘ，ｙ）については、変化
領域としては計上しない、すなわち、Ｂ（ｎ，ｘ，ｙ）
＝０のままとするという条件を追加する。フラッシュで
ある可能性の高い画素は、ｆ（ｎ−δ）における色（あ
るいは輝度）と、ｆ（ｎ）における色（あるいは輝度）
とが閾値ｔｈ６以上で、なおかつｆ（ｎ−δ）における
色（あるいは輝度）と、ｆ（ｎ＋δ）における色（ある
いは輝度）とが閾値ｔｈ７以下の場合として表すことが
できる。

【００４０】また、部分フラッシュのもう一つの問題と
して、図２におけるＤ１が大きくなり、ワイプである可
能性が高いとして不必要に処理２４２〜２５８を行って
しまい、過剰検出の危険度が高まることがある。そこ
で、Ｈ（ｎ）と、ｍフレーム前のフレームｆ（ｎ−ｍ）
のヒストグラムＨ（ｎ−ｍ）との間の相違度Ｄ１に加え
て、ｍ＋δフレーム前のヒストグラムＨ（ｎ−ｍ−δ）
とＨ（ｎ）との相違度Ｄ１′を求め、いずれか小さいほ
うをＤ１として処理２４０を行ってもよい。これによっ
て、フラッシュで乱された画像を回避して正しい相違度
Ｄ１が求められることになる。

【００４１】上記で述べた手法によりワイプを検出する
ことで、特にスポーツ中継のハイライトシーンが容易に
見つけられるようになる。リプレイシーンからの切り替
わりの際には、多くの場合、映像が一度静止画状態にな
ってから、ワイプがかかるという演出上の特徴があるた
め、静止画状態も合わせて検出し、その直後にワイプが
検出された場合に、リプレイシーンからの切り替わりが
あったと組み合わせで判定するようにしてもよい。静止
画状態の検出は、変化領域Ｂ０がしばらくの間、すべて
０、または１があっても少数の状態が続くことで容易に
検出可能である。これによって、ハイライトシーンの検
出がより精度よく行える。

【００４２】

【発明の効果】本発明によれば、カメラや被写体の動き
に影響されることなく的確に特殊効果が検出できるの
で、特殊効果に着目した重要な場面の選択が可能にな
り、ダイジェスト映像が自動で作成できる効果がある。
また、カット点の検出による自動インデクシングを基本
にした映像ハンドリングシステムにおいても、これまで
難しかったワイプ点の検出が可能になるので、精度の高
いインデクスが提供可能となる。

【図面の簡単な説明】

【図１】本発明の実施例を実現するためのシステム構成
のブロック図。

【図２】ワイプの検出を行うプログラムのフローチャー
ト。

【図３】ワイプの概念を表す説明図。

【図４】本発明のアルゴリズムの基本的な考え方を示し
た説明図。

【符号の説明】

１…ディスプレイ、２…制御信号線、３…Ａ／Ｄ変換
器、４…コンピュータ、５…入力装置、６…外部情報記
憶装置、７…ＣＰＵ、８…接続インタフェース、９…メ
モリ、１０…動画像再生装置、１１…キーボード。

Claims

【特許請求の範囲】

【請求項１】連続する複数枚の画像よりなる動画像か
ら、ワイプを含む特殊映像効果の場面の変わり目を検出
する方法において、対象となる動画像をフレーム単位で
時系列に処理装置に入力し、上記処理装置では、常に過
去ｍフレーム分のフレーム画像を記憶するための画像バ
ッファ手段と、入力フレームのヒストグラムを含む特徴
量を計算する手段と、上記特徴量とｍフレーム分過去の
フレームにおける上記特徴量との第１の相関を求める手
段と、過去ｍフレーム分の間に色または輝度に有意な変
化があった画素について、その変化前の画素の色または
輝度全体から得られる統計量と、変化後の画素の色また
は輝度全体から得られる統計量との間で第２の相関を求
める手段とを有し、第１と第２の相関がそれぞれ予め定
めた許容範囲外となった時点で、ワイプによる場面の変
わり目があったと判定し、上記区間またはその近傍を抽
出することを特徴とする動画像の特殊効果検出装置。
【請求項２】請求項１記載の装置において、上記第２の
相関をｍフレーム分記憶する手段と、ｍフレーム分の相
関の総和をもってワイプによる場面の変わり目かどうか
を判定する手段とを設けたことを特徴とする動画像の特
殊効果検出装置。
【請求項３】請求項１記載の装置において、カット点を
検出し、カット点が過去ｍフレーム内に発生した場合に
はそれまでに求めた相関を初期値に戻す手段を設けたこ
とを特徴とする動画像の特殊効果検出装置。
【請求項４】請求項１記載の装置において、過去ｍフレ
ーム分の間に色または輝度に有意な変化があった画素と
は、最新のフレームにおいて近傍に色または輝度の差が
大きい画素が存在する画素でもあることを特徴とする動
画像の特殊効果検出装置。
【請求項５】請求項１記載の装置において、過去ｍフレ
ーム分の間に色または輝度に変化があった画素の数が、
ある特定の区間内において単調に増加する場合にのみ、
上記区間をワイプによる場面の変わり目であると判定す
る手段を設けたことを特徴とする動画像の特殊効果検出
装置。
【請求項６】請求項１記載の装置において、過去ｍフレ
ーム分の間に色または輝度に有意な変化があった画素と
は、画素の色または輝度が短いフレーム間隔の間に変化
してまた元の値に戻るような画素ではないことを特徴と
する動画像の特殊効果検出装置。
【請求項７】請求項１記載の装置において、上記第１の
相関に加えて、入力フレームにおける特徴量とｍ＋δフ
レーム分過去のフレームにおける特徴量との間の相関も
求め、相関の高いほうを改めて第１の相関とする手段を
設けたことを特徴とする動画像の特殊効果検出装置。
【請求項８】請求項１記載の装置において、ワイプによ
る場面の変わり目があったと判定したときに、その瞬間
または近傍のフレーム画像を抽出して、その近傍のシー
ンを代表するデータとして記憶装置に記録する手段を設
けたことを特徴とする動画像の特殊効果検出装置。
【請求項９】請求項１記載の装置において、ワイプによ
る場面の変わり目があったと判定したときに、その瞬間
または近傍のフレームのアドレス情報を記憶装置に記録
する手段を設けたことを特徴とする動画像の特殊効果検
出装置。