JP2000242795A

JP2000242795A - 映像差分検出装置、映像差分検出方法およびこの方法を記録した記録媒体

Info

Publication number: JP2000242795A
Application number: JP11047660A
Authority: JP
Inventors: Hiroyuki Arai; 啓之新井; Hidekatsu Kuwano; 秀豪桑野; Masaharu Kurakake; 正治倉掛; Toshiaki Sugimura; 利明杉村
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: NTT Inc
Priority date: 1999-02-25
Filing date: 1999-02-25
Publication date: 2000-09-08

Abstract

(57)【要約】（修正有）【課題】マスタ映像とそれを部分的に編集して作られ
た派生映像との差分の検出、および同じマスタ映像から
派生した異なる派生映像同士の差分を検出し分類するこ
とができる映像差分検出装置および方法を提供する。【解決手段】基準映像と対象映像をフレーム画像の系
列に展開し（Ｓ１）、両映像のフレーム系列について時
間的なずれを検出・補正することで両映像の時間的対応
をとり（Ｓ２）、両映像のフレーム画像について空間的
なずれを検出・補正することで両映像の空間的対応をと
り（Ｓ３）、両映像のフレーム画像の全てについて局所
画像マッチングを行うことによりフレーム画像間の差分
の有無を検出し（Ｓ４）、差分の検出されたフレーム画
像が連続する時区間を両映像の差分フレーム区間として
検出する（Ｓ５）。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、映像情報を管理・
検索するための映像管理・検索システムに係り、特に映
像中に挿入された文字等の部分画像を検出する装置およ
び方法に関するものである。

【０００２】

【従来の技術】映像情報を効率的に管理し、自由に取り
出して利用できる映像管理・検索システムへの期待が高
まっている。これまでにもＣＭ映像等を検知・分類する
手法・装置が複数提案されているが、これらはいずれも
高速な映像マッチングを実現するために、映像情報を空
間的あるいは時間的に平均化した特徴量を用いている。

【０００３】

【発明が解決しようとする課題】放送映像では、番組オ
ープニング映像やコマーシャル映像などの共通のマスタ
映像に対し、出演者や期間限定情報、部分オブジェクト
等の部分画像を挿入して作成さるものがある。

【０００４】このような同じマスタ映像を部分的に編集
して作られた派生映像を分類対象とする場合のように、
比較対象となる映像同士の差異が小さい場合、従来のシ
ステムでは、映像がもつ特徴量の平均化処理によりその
差異が失われてしまいこれらを同一のものと判断してし
まう場合が多くなってしまう。

【０００５】従って、従来手法では同じ基準映像を部分
的に編集して作られた派生映像を区別する場合には適用
できなかった。

【０００６】本発明の目的は、従来手法では実現が困難
であった、マスタ映像とそれを部分的に編集して作られ
た派生映像との差分の検出、および同じマスタ映像から
派生した異なる派生映像同士の差分を検出し分類するこ
とができる映像差分検出装置および方法を提供すること
にある。

【０００７】

【課題を解決するための手段】上記目的を達成するた
め、本発明の映像差分検出装置は、映像データまたは映
像信号をフレーム画像の系列としてメモリ上に展開する
第１の手段と、二つのフレーム画像の系列同士を時間的
にずらしながら画像マッチングを行い、そのマッチング
評価値が最小となる時間的なずれを二つの映像の時間的
なずれとして検出し補正する第２の手段と、算出された
時間的なずれを補正した上で、二つのフレーム画像同士
の空間的なずらしマッチングを行い、そのマッチング評
価値が最小となる空間的なずれを二つの映像の空間的な
ずれとして検出し補正する第３の手段と、時間的なずれ
および空間的なずれを補正した上で、対応する二つのフ
レーム画像系列の画像同士について局所画像マッチング
を行うことによりフレーム画像間の差分の有無を検出す
る第４の手段と、差分のあるとされたフレーム画像が連
続する時区間を差分フレーム区間として検出する第５の
手段と、上記第１から第５の手段を制御する第６の手段
を有することを特徴とする。

【０００８】また、前記第２の手段は、２つのフレーム
画像の系列の一方を連続する一定時間毎の部分系列に分
割する第７の手段と、２つのフレーム画像間の差分値を
算出する第８の手段と、前記第７および第８の手段を制
御して時間的なずれを検出・補正する第９の手段とを用
いて実現することを特徴とする。

【０００９】また、前記第２の手段は、フレーム画像を
小ブロックに分割する第１０の手段と、画像中の小ブロ
ック内の色ヒストグラムを算出する第１１の手段と、色
ヒストグラム同士の差分値を算出する第１２の手段と、
前記第１０から第１２の手段を制御し、画像間の差分値
を算出する第１３の手段とを用いて実現することを特徴
とする。

【００１０】また、前記第３の手段は、画像の横走査線
および縦走査線ごとの色のラインヒストグラムを算出す
る第１４の手段と、二つの画像の対応する走査線をずら
しながら走査線同士の色ヒストグラムの差分値を算出す
る第１５の手段と、前記第１４および第１５の手段を制
御して画像間の表示位置のずれを検出・補正する第１６
の手段とを用いて実現することを特徴とする。

【００１１】また、前記第４の手段は、フレーム画像を
一定サイズの部分ブロック画像に分割する第１７の手段
と、二つの部分ブロック内の同じ位置にある全ての画素
どうしの色の差分値を算出する第１８の手段と、この第
１８の手段で算出された差分値が予め決められた一定値
以上である画素のブロック画像内における縦方向および
横方向のランレングスを算出する第１９の手段と、この
第１９の手段で得られた閾値以上の値を持つランレング
スの合計値を算出する第２０の手段と、前記第１７から
第２０の手段とを制御してフレーム間差分の有無を検出
する第２１の手段を用いて実現することを特徴とする。

【００１２】また、上記目的を達成するため、本発明の
映像差分検出方法は、２つの映像間の部分的な差分を自
動的に検出する方法であって、２つの映像をそれぞれフ
レーム画像の系列に展開し、一方を基準映像もう一方を
対象映像とし、基準映像のフレーム系列と対象映像のフ
レーム系列について時間的にずらしながら、対応するそ
れぞれのフレーム画像同士の画像マッチングを行い、フ
レーム系列全体としてマッチングの評価値が最も小さく
なる時間的なずれを基準映像と対象映像の時間的なずれ
として検出し、その時間的なずれを補正し基準映像と対
象映像の時間的対応をとり、時間的な対応関係の取れた
基準映像と対象映像のフレーム画像について縦および横
方向の空間的なずらしマッチングを行い、フレーム画像
全体としてマッチングの評価値が最も小さくなる空間的
なずれを基準映像と対象映像の空間的なずれとして検出
し、その空間的なずれを補正し基準映像と対象映像の空
間的対応をとり、時間的な対応関係および空間的な対応
関係がとれた基準映像のフレーム画像と対象映像のフレ
ーム画像の全てについて局所画像マッチングを行うこと
によりフレーム画像間の差分の有無を検出し、差分の検
出されたフレーム画像が連続する時区間を基準映像と対
象映像の差分フレーム区間として検出することを特徴と
する。

【００１３】また、前記基準映像と対象映像の時間的な
ずれを検出・補正する処理は、展開された基準映像のフ
レーム画像系列を連続する一定時間毎の部分系列に分割
し、各部分系列内において時間的に隣接する全ての２つ
のフレーム画像間の差分値を算出し、各部分系列内で差
分値が最も大きいフレーム画像の対を検出し、その差分
値が一定値以上であるフレーム画像の対の一方のフレー
ム画像を当該部分系列の代表フレーム画像として選択
し、基準映像の全ての代表フレーム画像と対応する対象
映像のフレーム画像とを時間的にずらしながらマッチン
グを行い、マッチングの評価値が最も小さくなる時間的
なずれを基準映像と対象映像の時間的なずれとして検出
し、補正することを特徴とする。

【００１４】また、前記基準映像と対象映像の時間的な
ずれを検出・補正する処理は、フレーム画像を空間的に
分割した小ブロック毎の色ヒストグラムを特徴量とし、
ブロック毎に色ヒストグラム同士の差分値を算出し、全
てのブロックに関する差分値の合計を画像同士の差分値
とし、基準映像の全てのフレーム画像と対応する対象映
像のフレーム画像とを時間的にずらしながらマッチング
を行い、マッチングの評価値が最も小さくなる時間的な
ずれを基準映像と対象映像の時間的なずれとして検出
し、補正することを特徴とする。

【００１５】また、前記基準映像と対象映像の空間的な
ずれを検出・補正する処理は、縦方向のずれを検出する
際には画像の横走査線ごと、横方向のずれを検出する際
には画像の縦走査線ごとの色ヒストグラムを特徴量とし
て算出し、対応する走査線をずらしながら走査線同士の
色ヒストグラム同士の差分値を算出し、全てのブロック
の差分値の合計を画像同士の差分値とし、その差分値が
最も小さくなる空間的なずれを基準映像と対象映像の空
間的なずれとして検出し、補正することを特徴とする。

【００１６】また、前記基準映像のフレーム画像と対象
映像のフレーム画像のフレーム画像間差分を検出する処
理は、それぞれのフレーム画像を一定サイズの部分ブロ
ックに分割し、それぞれ位置の対応する部分ブロック同
士において、同じ位置にある全ての画素どうしの色の差
分値を算出し、差分値が予め決められた一定値以上であ
る画素を求め、各部分ブロックにおけるそれらの画素の
縦方向および横方向のランレングスを求め、予め決めら
れた閾値以上の値を持つランレングス値の合計を各ブロ
ック毎に求め、ランレングス値の合計が一定値以上であ
るブロックを差分ブロックとして検出し、検出された差
分ブロックの数の合計が予め設定された閾値以上になる
場合に、基準映像のフレーム画像と対象映像のフレーム
画像の間に差分があると判断することを特徴とする。

【００１７】また、上記目的を達成するため、本発明の
映像差分検出方法を記録した記録媒体は、映像差分検出
方法における処理手順をコンピュータに実行させるため
のプログラムを、該コンピュータが読み取り可能な記録
媒体に記録したことを特徴とする。

【００１８】

【発明の実施の形態】以下に詳細に説明する本発明の装
置および方法は、市販されているパーソナルコンピュー
タの演算、記憶、表示機能を用いて実現することができ
る。もちろん専用のハードウェアとして実現することも
可能である。

【００１９】本発明の基本的な処理手順を図１に示し、
これに対応する基本的な装置構成図を図２に示す。ま
た、以下に説明する実施形態は、マスタ映像と、マスタ
映像を部分的に変更した派生映像との比較、または同じ
マスタ映像を持つ派生映像同士の比較を行い、変更され
た差分フレーム区間を検出するためのものである。な
お、映像の部分的な変更としては、図３に示すように、
（ａ）テロップの追加表示、オブジェクト挿入等、映像
中の空間的な一部が変更される場合、（ｂ）映像の時間
系列のうち一部の部分系列が同じ長さの別の映像に差し
替えられる場合、（ｃ）映像の時間系列のうち一部の部
分系列が異なる長さの別の映像に差し替えられる場合、
の３種類およびそれらの組み合わせとして分類できる。
以下の説明では上記の（ａ）、（ｂ）の場合を対象とし
ているが、（ｃ）の場合へも拡張可能であることを示
す。

【００２０】また、処理対象となる映像データは、ＭＰ
ＥＧ（ＭｏｔｉｏｎＰｉｃｔｕｒｅＥｘｐｅｒｔｓＧｒ
ｏｕｐ）等の映像ファイル、ＶＴＲ装置等のＮＴＳＣ信
号出力、放送電波等様々な形態を持つ。しかし、このよ
うな映像データを計算機上に入力する技術は既に開発さ
れているので、本発明においては既存の映像入力手段を
用いるものとする。

【００２１】図１又は図２において、映像をフレーム画
像系列に展開する処理Ｓ１または展開部１は、比較する
２つの映像データを入力し、それぞれを連続するフレー
ム画像系列としてメモリ上に展開する。

【００２２】この時点において、２つのフレーム画像系
列には二つの不確定性が存在する。その１つは画像の入
力（開始）のタイミングのずれによって生じる時間的な
ずれである。もう１つは、映像が録画・再生されたりす
る度に生じるトラッキングのずれ（表示位置のずれ）で
ある。

【００２３】本発明では、映像の部分的な差異を検出す
ることを目的としており、後述するように、フレーム画
像同士の画素レベルの照合を行う。従って、時間的なず
れを処理Ｓ２または検出・補正部２で検出および補正
し、空間的なずれを処理Ｓ３または検出・補正部３で検
出および補正する。

【００２４】まず、時間的なずれを補正する方法を説明
する。本手法で対象とするのは、マスタ映像と、マスタ
映像を部分的に変更した派生映像、または同じマスタ映
像を持つ派生映像同士との比較を前提としているため、
映像の多くの部分は共通であると考えて良い。なお、下
記の説明は上記分類における（ａ）、（ｂ）を対象とす
る。

【００２５】このような場合、最も単純な手法として、
一方のフレーム画像系列を基準として固定し、もう一方
のフレーム画像系列を１フレームずつずらしながら、フ
レーム画像同士の差分値を算出し、全フレームにおける
差分値が最小となった場合に、それぞれのフレーム画像
系列が時間的に一致したと判断することができる。

【００２６】なお、以上の処理を全フレームに対して行
うと、（全フレーム数×考えられるずれ幅）回の差分値
計算が必要になり、計算量が膨大になってしまう。ま
た、比較する映像の多くの部分が時間的に変化の少ない
（極端な例は静止画の集まりのような）場合には、前述
した全フレームの差分値の和は最小値付近でも大きな変
化がなく、ノイズの量によっては、誤った時間的なずれ
幅を算出してしまうことも考えられる。そこで、処理量
の削減および精度の向上を目的として以下の処理または
装置構成とする。

【００２７】図４は、時間的なずれの検出・補正処理を
示し、これに対応する装置構成を図５に示す。さらに、
図６及び図７に分割して詳細な処理フローを示し、図８
に代表フレームの選択例を示す。

【００２８】まず、一方のフレーム画像系列を基準系
列、もう一方のフレーム画像系列を対象系列とし、基準
系列を予め定めておいた一定の長さ（枚数）の部分系列
に分割する（処理Ｓ２１）。そしてその部分系列内にお
いて隣接する全ての画像同士の差分値を計算し、その値
が部分系列内で最大となる画像の対のうち、前の方の画
像をその部分系列（ｎ）の代表フレーム画像Ｒ（ｎ）と
して選出する（処理Ｓ２２）。なお、画像同士の差分値
の算出方法は後の段落で詳細に説明する。

【００２９】このようにして得られる代表フレームＲ
（ｎ）は、後ろのフレームとの差分値の大きい場所とい
うことになる。通常、このようなフレーム画像はシーン
チェンジや動きの激しいシーンに相当する。そして、こ
の基準系列から得られた全ての代表フレームＲ（ｎ）
と、時間的なずれ幅を仮定した上で対応する対象系列の
フレーム画像との差分値を算出し、それらの和が最小に
なる時のずれ幅を、それぞれのフレーム系列間の時間的
なずれとして検出する（処理Ｓ２３）。

【００３０】このように、代表フレームのみを用いてマ
ッチングすることにより、計算量は（全フレーム数十
（代表フレーム数×考えられるずれ幅））となり大幅に
削減される。さらに、前後どの差分値の大きい代表フレ
ームのみを用いているため、差分値の和は、正しい時間
ずれ幅のところで急峻に変化するようになり、精度も向
上することが期待される。

【００３１】なお、以上の処理を装置化した図５では、
画像を部分系列に分割するモジュール（分割部７）と、
指定した２つのフレーム画像間の差分値を算出するモジ
ュール（算出部８）、およびこれらの処理を適正に制御
する制御部９とを用いることにより実現することができ
る。

【００３２】図９は、上で述べた処理における画像同士
の差分値の算出方法を示し、これに対応する装置構成を
図１０に示す。さらに、図１１と図１２に分割した詳細
な処理フローを示す。

【００３３】ここで行う画像同士の差分値の算出は、画
像の空間的な表示位置が少し（数画素程度）ずれている
可能性を考慮し、表示位置にあまり敏感でない方法でな
ければならない。表示位置の小さなずれににあまり敏感
でなくかつある程度の識別力を持った差分値の算出方法
として、想定される表示位置のずれと比べて十分大きい
サイズの部分ブロックに画像を分割し（処理Ｓ２４）、
ブロック内で平均化した（正確には空間的な情報の縮退
した）特徴量を算出し（処理Ｓ２５）、ブロック毎の特
徴量の差分値を求める（処理Ｓ２６）。

【００３４】特徴量としては、ブロック内の色のヒスト
グラムや色の平均値などを用いることができる。複数の
画素の色ヒストグラムＨ（Ｒ，Ｇ，Ｂ）（ＲＧＢ表色系
を用いた場合）は、各画素の色（Ｒｉ，Ｇｉ，Ｂｉ）に
対応するビンの値Ｈ（Ｒｉ，Ｇｉ，Ｂｉ）の値をひとつ
ずつカウントアップしていくことにより算出できる。

【００３５】ヒストグラム同士の差分値を算出する方法
としては、ＨｉｓｔｏｇｒａｍＩｎｔｅｒｓｅｃｔｉ
ｏｎ法が一般的であり、本手法においても適用できる。
これは２つのヒストグラムについて、同じ色を指定する
ビンのカウント数のうち小さい方の値を、全ての色のビ
ンについて足し合わせたものをヒストグラム間の差分値
とするものである。

【００３６】参考文献：（ＭＪＳｗａｉｎａｎｄ
ＤＨＢａｌｌａｒｄ「ＩｎｄｅｘｉｎｇｖｉａＣ
ｏｌｏｒＨｉｓｔｏｇｒａｍｓ」Ｐｒｏｃ．”Ｉｍａ
ｇｅＵｎｄｅｒ−ｓｔａｎｄｉｎｇＷｏｒｋｓｈｏ
ｐ”，ｐｐ.623−630，１９９０）また、複数の画素（ｎ画素）の色の平均値は、例えばＲ
ＧＢ表色系を用いた場合（ΣＲｉ／ｎ、ΣＧｉ／ｎ、Σ
Ｂｉ／ｎ）とすることにより簡単に求められる（Σは画
素ｉに関する和、ｎは画素数）。また、色同士の距離は
ｒ値、ｇ値、ｂ値同士の差分を求めそれらを加算するこ
とにより求められる。

【００３７】これに従い、ブロック内の全画素色の平均
値を求め、その平均値同士の距離をブロック同士の差分
値として算出することができる。なお、これ以降の全て
の説明におけるヒストグラム間の差分値の算出処理は、
色の平均値の差分値の算出に置き換えることが可能であ
る。

【００３８】以上の処理（Ｓ２４〜Ｓ２６）を装置化し
た図１０では、画像を部分ブロックに分割するモジュー
ル（分割部１０）と、画像のブロック内のヒストグラム
を算出するモジュール（算出部１１）、ヒストグラム間
の差分値を算出するモジュール（差分値算出部１２）、
およびこれらの処理を適正に制御する制御部１３とを用
いることにより実現することができる。

【００３９】なお、前述した（ｃ）の「映像の時間系列
のうち一部の部分系列が異なる長さの別の映像に差し替
えられる場合」が想定されるケースへの拡張方法を示
す。まず、基準映像および対象映像中のカット点を検出
し、それぞれの映像をカット点で区切られる部分映像系
列（ショット）に分割する。そしてショットの先頭フレ
ーム同士の画像マッチングを行うことにより、基準映像
と対象映像のショットの対応関係をとる。この際、対応
するショットが見つからなかった場合にはそのショット
自体を差分フレーム区間とする。その後は、個々のショ
ットを基準映像および対象映像とすれば、それ以外の処
理は上記の（ａ）、（ｂ）の場合と全く同様にして行う
ことができる。

【００４０】なお、カット点の検出は既存の手法・装置
（文献；長坂晃朗、田中譲「カラービデオ映像における
自動索引付け法と物体探索法」情報処理学会論文詩Ｖｏ
ｌ．３３，Ｎｏ.4，ｐｐ543−550，Ａｐｒ.1992．を参
照）を用いるものとする。

【００４１】図１３は、空間的なずれを算出する方法を
示し、これに対応する装置構成を図１４に示す。さら
に、図１５と図１６に分割した詳細な処理フローを示
す。

【００４２】空間的なずれの算出は、前述の時間のずれ
幅の検出および補正をした上で行うものとする。空間的
なずれ幅は、２つの画像系列における対応する画像同士
を空間的にずらしながらマッチングすることにより算出
することができる。ただし、編集等により変更された区
間におけるフレーム画像、つまり異なるフレーム画像を
用いると正しく算出できない。

【００４３】前述の時間的なずれ幅の検出処理におい
て、時間的に２つの画像系列が一致した時の個々の代表
フレームの差分値のうち、差分値の小さいものは、基準
系列と対象系列とで同じ画像になっている可能性が高
い。逆に差分値の大きい場合は、別の画像になっている
可能性が高くなる。そこで、前述の時間的なずれ幅の検
出処理において、時間的に２つの画像系列が一致した時
のフレーム間の差分値を見て、最も小さい値を持つ代表
フレーム（または小さい値から一定数ピックアップした
複数の代表フレーム）を用いて空間的な位置すれの検出
を行う。以上により、基準系列と対象系列とで同じフレ
ーム画像になっているとして、以下のずらしマッチング
を行う。

【００４４】画像の空間的なずれ幅を算出する手法とし
て最も単純な方法は全画素の画素同士の色マッチングを
行い、その総和を差分値として、その差分値を考えられ
る全ての縦方向および横方向のずれ幅の組み合わせに対
して算出するという方法が考えられる。しかしこの場
合、（画像の幅×画像の高さ×想定される縦方向のずれ
幅×想定される横方向のずれ幅）回の色マッチングを行
う必要があり、処理量が膨大になってしまう。そこで、
平均化した特徴量を用い、かつ縦方向のずれ幅と横方向
のずれ幅を個別に算出する方法を用いる。

【００４５】図１３において、縦方向のずれ幅を算出す
る場合には画像の横走査線（ライン）毎の色ヒストグラ
ムを特徴量として用いる。まず、基準画像と対象画像の
全横ラインについて走査線毎の色ヒストグラムの差分値
を算出する（処理Ｓ３１）。そして基準画像と対象画像
のラインの対応を少しずつずらしながら、走査線毎の色
ヒストグラムの差分値を算出し、その差分値の総和が最
も小さくなった時のずれ幅が、基準画像と対象画像と縦
方向のずれ幅であると判定される（処理Ｓ３２）。な
お、横方向のずれ幅を計算する場合は、縦方向の走査線
のヒストグラムを用いて同様に行うことができる。

【００４６】これにより処理は、ラインヒストグラム作
成と、（画像の高さ×想定される縦方向のずれ幅＋画像
の幅×想定される横方向のずれ幅）回のヒストグラムマ
ッチングを行うだけで良くなるため、処理量は大幅に削
減される。

【００４７】なお、以上の処理を装置化した図１４で
は、画像のライン内のヒストグラムを算出するモジュー
ル（算出部１４）、ヒストグラム間の差分値を算出する
モジュール（差分値算出部１５）、およびこれらの処理
を適正に制御する制御部１６とを用いることにより実現
することができる。

【００４８】図１７は、フレーム間差分の検出処理を示
し、これに対応する装置構成を図１８に示す。さらに、
図１９に処理フローを、この詳細フローを図２０と図２
１に分割して示す。さらにまた、図２２に差分検出例を
示す。

【００４９】フレーム間差分の検出処理は、基準映像と
対象映像の対応するフレーム画像同士を比較し、オブジ
ェクトの挿入等の差分があるかどうかを調べる。一般
に、マスタ映像に部分画像した場合およびマスタ映像の
部分的な時区間を別の映像で差し替えた場合、その区間
のフレーム画像において何らかの色の違いが必ず存在す
るはずである。従って、差分検出に利用する特徴量はフ
レーム間で位置的に対応する個々の画素同士の色差分を
利用する。一方、我々が処理対象としている映像（ＮＴ
ＳＣ信号等）には、録画装置や計算機に映像を取り込む
際の環境の違いに起因する色レベルの変動やノイズ成分
の量の違いによる映像間の差分も存在する。

【００５０】そのため、単に対応画素間の色差分の総和
を評価しただけでは、個々の対応画素間の差分値の大小
情報や空間的な位置情報が失われるため、色レベルの変
動やノイズによる差分と挿入画像による差分が十分に区
別できない場合がある。したがって、これらを明確に区
別する評価値が必要となる。

【００５１】色レベルの変動は画像全体に及び、対応同
素間の色差分の総和をとった場合は大きな値となるが、
個々の対応画素間の色の変動は少ないのに対し、文字、
部分オブジェクト等の挿入画像中の個々の対応画素間の
色には大きな差がある場合が多い。また、ノイズ成分は
画像内に微小領域として散在するのに対し、挿入画像は
画像内に一定以上の面積を持った連結成分としてして存
在する。これらの特徴に注目した差分の検出方法を以下
に示す。

【００５２】図１７において、フレーム画像間の差分の
有無の検出は以下の手順で行う。

【００５３】（処理Ｓ４１）フレーム画像を予め決めて
おいたサイズの複数の部分ブロックに分割する。

【００５４】（処理Ｓ４２）フレーム間でブロック内の
同じ位置に存在する画素同士の色差分値を計算し、一定
値以上の色差分値を持つ画素を検出する。

【００５５】（処理Ｓ４３）画像を水平方向、垂直方向
に走査し、上記の処理Ｓ４１で検出した高差分値を持つ
画素のランレングス（走査線上で連続している画素の連
結長）を計算する。

【００５６】（処理Ｓ４４）上記の処理Ｓ４３で求めた
縦方向および横方向のランレングスの部分ブロック内の
総和が一定値以上の場合、そのブロックは差分ブロック
と判定される。なお、この際、ランレングスの値が予め
設定しておいた閾値より小さいランレングスは加算しな
いものとする。

【００５７】以上の処理を全ブロックについて行い、検
出された差分ブロック数の総和が予め設定された閾値を
より大きくなった場合、そのフレーム間には差分がある
と判定される。なお、上記の差分ブロック数の総和が非
常に大きい場合には、フレーム画像全体が別の画像で差
し替えられていると判断することができる。

【００５８】また、以上の処理を装置化した図１８で
は、画像を部分ブロックに分割するモジュール（分割部
１７）、対応画素の色値の差分値を算出するモジュール
（算出部１８）、算出された差分値の大きい画素のブロ
ック内でのランレングスを求めるモジュール（算出部１
９）、算出されたランレングスの合計を算出するモジュ
ール（算出部２０）、およびこれらの処理を適正に制御
してフレーム画像間の差分の有無を判定する制御部２１
とを用いることにより実現することができる。

【００５９】以上に述べた全ての処理Ｓ１〜Ｓ４を全て
のフレームに対して行い、差分フレーム区間の検出処理
Ｓ５、検出部５により、差分フレームが時間的に連続す
る区間を差分フレーム区間として検出する。

【００６０】なお、本発明は、図１等に示した検出方
法、図２等に示した装置構成の一部又は全部をコンピュ
ータプログラムで記載してそれを実行できるようにし、
それをコンピュータが読み取り可能な記録媒体、例え
ば、ＦＤ（フロッピー（登録商標）ディスク）や、Ｍ
Ｏ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブ
ルディスクなどに記録して提供し、配布することが可能
である。

【００６１】

【発明の効果】以上のとおり、本発明によれば、２つの
映像をそれぞれフレーム画像の系列に展開し、基準映像
のフレーム系列と対象映像の時間的なずれを検出・補正
することで基準映像と対象映像の時間的対応をとり、さ
らに基準映像と対象映像のフレーム画像について空間的
なずれを検出・補正することで基準映像と対象映像の空
間的な対応をとり、この基準映像のフレーム画像と対象
映像のフレーム画像の全てについてフレーム画像間の差
分の有無を検出し、差分の検出されたフレーム画像が連
続する時区間を基準映像と対象映像の差分フレーム区間
として検出するようにしたため、マスタ映像とそれを部
分的に編集して作られた派生映像との差分の検出、およ
び同じマスタ映像から派生した異なる派生映像同士の差
分を検出し分類することができる。これに伴い、多くの
派生映像を持ちうるＣＭ映像等の分類管理や、映像の改
ざんによる著作権の侵害の検出等を自動的・効率的に行
うことができる。

【図面の簡単な説明】

【図１】本発明の基本的な検出方法を示す処理フロー。

【図２】本発明の基本的な装置構成を示すブロック図。

【図３】本発明におけるマスタ画像から生成される派生
映像の例。

【図４】本発明における時間的なずれの検出・補正処理
フロー。

【図５】本発明における時間的なずれの検出・補正の装
置構成を示すブロック図。

【図６】図４の詳細な分割処理フロー。

【図７】図４の詳細な分割処理フロー。

【図８】本発明における代表フレームの選択処理例。

【図９】本発明における時間的なずれの検出・補正処理
フロー。

【図１０】本発明における時間的なずれの検出・補正の
装置構成を示すブロック図。

【図１１】図９の詳細な分割処理フロー。

【図１２】図９の詳細な分割処理フロー。

【図１３】本発明における空間的なずれの検出・補正処
理フロー。

【図１４】本発明における空間的なずれの検出・補正の
装置構成を示すブロック図。

【図１５】図１３の詳細な分割処理フロー。

【図１６】図１３の詳細な分割処理フロー。

【図１７】本発明におけるフレーム間差分の検出処理フ
ロー。

【図１８】本発明におけるフレーム間差分の検出装置構
成を示すブロック図。

【図１９】図１７の詳細な処理フロー。

【図２０】図１９の詳細な分割処理フロー。

【図２１】図１９の詳細な分割処理フロー。

【図２２】本発明におけるフレーム画像間の差分検出処
理例。

【符号の説明】

１…フレーム画像系列展開部２…時間的ずれ検出・補正部３…空間的ずれ検出・補正部４…フレーム間差分検出部５…差分フレーム間検出部６…全体制御部７…画像系列分割部８…画像間差分値算出部９、１３、１６、２１…制御部１０、１７…画像ブロック分割部１１…ブロックヒストグラム算出部１２…ヒストグラム差分値算出部１４…ラインヒストグラム算出部１５…ヒストグラム差分算出部１８…画素間差分値算出部１９…ランレングス算出部２０…ランレングス合計値算出部

───────────────────────────────────────────────────── フロントページの続き (72)発明者倉掛正治東京都新宿区西新宿３丁目19番２号日本電信電話株式会社内 (72)発明者杉村利明東京都新宿区西新宿３丁目19番２号日本電信電話株式会社内Ｆターム(参考） 5C023 AA11 AA18 AA34 AA40 BA01 CA01 CA05 DA04 DA08 5L096 AA02 AA06 FA35 GA08 GA19 GA36 JA11 JA18 MA07

Claims

【特許請求の範囲】

【請求項１】映像データまたは映像信号をフレーム画
像の系列としてメモリ上に展開する第１の手段と、二つ
のフレーム画像の系列同士を時間的にずらしながら画像
マッチングを行い、そのマッチング評価値が最小となる
時間的なずれを二つの映像の時間的なずれとして検出し
補正する第２の手段と、算出された時間的なずれを補正
した上で、二つのフレーム画像同士の空間的なずらしマ
ッチングを行い、そのマッチング評価値が最小となる空
間的なずれを二つの映像の空間的なずれとして検出し補
正する第３の手段と、時間的なずれおよび空間的なずれ
を補正した上で、対応する二つのフレーム画像系列の画
像同士について局所画像マッチングを行うことによりフ
レーム画像間の差分の有無を検出する第４の手段と、差
分のあるとされたフレーム画像が連続する時区間を差分
フレーム区間として検出する第５の手段と、上記第１か
ら第５の手段を制御する第６の手段を有することを特徴
とする映像差分検出装置。
【請求項２】前記第２の手段は、２つのフレーム画像
の系列の一方を連続する一定時間毎の部分系列に分割す
る第７の手段と、２つのフレーム画像間の差分値を算出
する第８の手段と、前記第７および第８の手段を制御し
て時間的なずれを検出・補正する第９の手段とを用いて
実現することを特徴とする請求項１に記載の映像差分検
出装置。
【請求項３】前記第２の手段は、フレーム画像を小ブ
ロックに分割する第１０の手段と、画像中の小ブロック
内の色ヒストグラムを算出する第１１の手段と、色ヒス
トグラム同士の差分値を算出する第１２の手段と、前記
第１０から第１２の手段を制御し、画像間の差分値を算
出する第１３の手段とを用いて実現することを特徴とす
る請求項１に記載の映像差分検出装置。
【請求項４】前記第３の手段は、画像の横走査線およ
び縦走査線ごとの色のラインヒストグラムを算出する第
１４の手段と、二つの画像の対応する走査線をずらしな
がら走査線同士の色ヒストグラムの差分値を算出する第
１５の手段と、前記第１４および第１５の手段を制御し
て画像間の表示位置のずれを検出・補正する第１６の手
段とを用いて実現することを特徴とする請求項１〜３の
いずれか１に記載の映像差分検出装置。
【請求項５】前記第４の手段は、フレーム画像を一定
サイズの部分ブロック画像に分割する第１７の手段と、
二つの部分ブロック内の同じ位置にある全ての画素どう
しの色の差分値を算出する第１８の手段と、この第１８
の手段で算出された差分値が予め決められた一定値以上
である画素のブロック画像内における縦方向および横方
向のランレングスを算出する第１９の手段と、この第１
９の手段で得られた閾値以上の値を持つランレングスの
合計値を算出する第２０の手段と、前記第１７から第２
０の手段とを制御してフレーム間差分の有無を検出する
第２１の手段を用いて実現することを特徴とする請求項
１〜４のいずれか１に記載の映像差分検出装置。
【請求項６】２つの映像間の部分的な差分を自動的に
検出する方法であって、２つの映像をそれぞれフレーム画像の系列に展開し、一
方を基準映像もう一方を対象映像とし、基準映像のフレ
ーム系列と対象映像のフレーム系列について時間的にず
らしながら、対応するそれぞれのフレーム画像同士の画
像マッチングを行い、フレーム系列全体としてマッチン
グの評価値が最も小さくなる時間的なずれを基準映像と
対象映像の時間的なずれとして検出し、その時間的なず
れを補正し基準映像と対象映像の時間的対応をとり、時
間的な対応関係の取れた基準映像と対象映像のフレーム
画像について縦および横方向の空間的なずらしマッチン
グを行い、フレーム画像全体としてマッチングの評価値
が最も小さくなる空間的なずれを基準映像と対象映像の
空間的なずれとして検出し、その空間的なずれを補正し
基準映像と対象映像の空間的対応をとり、時間的な対応
関係および空間的な対応関係がとれた基準映像のフレー
ム画像と対象映像のフレーム画像の全てについて局所画
像マッチングを行うことによりフレーム画像間の差分の
有無を検出し、差分の検出されたフレーム画像が連続す
る時区間を基準映像と対象映像の差分フレーム区間とし
て検出することを特徴とする映像差分検出方法。
【請求項７】前記基準映像と対象映像の時間的なずれ
を検出・補正する処理は、展開された基準映像のフレーム画像系列を連続する一定
時間毎の部分系列に分割し、各部分系列内において時間
的に隣接する全ての２つのフレーム画像間の差分値を算
出し、各部分系列内で差分値が最も大きいフレーム画像
の対を検出し、その差分値が一定値以上であるフレーム
画像の対の一方のフレーム画像を当該部分系列の代表フ
レーム画像として選択し、基準映像の全ての代表フレー
ム画像と対応する対象映像のフレーム画像とを時間的に
ずらしながらマッチングを行い、マッチングの評価値が
最も小さくなる時間的なずれを基準映像と対象映像の時
間的なずれとして検出し、補正することを特徴とする請
求項６に記載の映像差分検出方法。
【請求項８】前記基準映像と対象映像の時間的なずれ
を検出・補正する処理は、フレーム画像を空間的に分割した小ブロック毎の色ヒス
トグラムを特徴量とし、ブロック毎に色ヒストグラム同
士の差分値を算出し、全てのブロックに関する差分値の
合計を画像同士の差分値とし、基準映像の全てのフレー
ム画像と対応する対象映像のフレーム画像とを時間的に
ずらしながらマッチングを行い、マッチングの評価値が
最も小さくなる時間的なずれを基準映像と対象映像の時
間的なずれとして検出し、補正することを特徴とする請
求項６に記載の映像差分検出方法。
【請求項９】前記基準映像と対象映像の空間的なずれ
を検出・補正する処理は、縦方向のずれを検出する際には画像の横走査線ごと、横
方向のずれを検出する際には画像の縦走査線ごとの色ヒ
ストグラムを特徴量として算出し、対応する走査線をず
らしながら走査線同士の色ヒストグラム同士の差分値を
算出し、全てのブロックの差分値の合計を画像同士の差
分値とし、その差分値が最も小さくなる空間的なずれを
基準映像と対象映像の空間的なずれとして検出し、補正
することを特徴とする請求項６〜８のいずれか１に記載
の映像差分検出方法。
【請求項１０】前記基準映像のフレーム画像と対象映
像のフレーム画像のフレーム画像間差分を検出する処理
は、それぞれのフレーム画像を一定サイズの部分ブロックに
分割し、それぞれ位置の対応する部分ブロック同士にお
いて、同じ位置にある全ての画素どうしの色の差分値を
算出し、差分値が予め決められた一定値以上である画素
を求め、各部分ブロックにおけるそれらの画素の縦方向
および横方向のランレングスを求め、予め決められた閾
値以上の値を持つランレングス値の合計を各ブロック毎
に求め、ランレングス値の合計が一定値以上であるブロ
ックを差分ブロックとして検出し、検出された差分ブロ
ックの数の合計が予め設定された閾値以上になる場合
に、基準映像のフレーム画像と対象映像のフレーム画像
の間に差分があると判断することを特徴とする請求項６
〜９のいずれか１に記載の映像差分検出方法。
【請求項１１】請求項６〜１０に記載の映像差分検出
方法における処理手順をコンピュータに実行させるため
のプログラムを、該コンピュータが読み取り可能な記録
媒体に記録したことを特徴とする映像差分検出方法を記
録した記録媒体。