JPH09200768A

JPH09200768A - 動画像処理方法および装置

Info

Publication number: JPH09200768A
Application number: JP8003599A
Authority: JP
Inventors: Shinichiro Koga; 慎一郎古賀; Yoshihiro Ishida; 良弘石田; Takeshi Namigata; 健波潟
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1996-01-12
Filing date: 1996-01-12
Publication date: 1997-07-31

Abstract

(57)【要約】【課題】ユーザに大きな負担をかけることなく適切な
閾値を算出できるようにする。【解決手段】映像の変化を検出し、そのデータ量を削
減して出力する際に、上記映像変化の検出に用いるため
の１つまたは複数種類の閾値を、入力される静止状態の
動画像および動状態の動画像に基づいて算出する閾値算
出工程１を備え、ユーザが変化がないと考える静止状態
の動画像における閾値毎のエラー率と、ユーザが変化し
ていると考える動状態の動画像における閾値毎のエラー
率とを加えたものを算出して、静止状態の動画像および
動状態の動画像を入力するだけで最適な閾値を決定する
ことができるようにする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は動画像処理方法およ
び装置に係わり、特に、監視領域の映像を伝送したり蓄
積したりする監視装置やＴＶ会議装置、或いは動画を扱
う汎用計算機などに用いて好適なものである。

【０００２】

【従来の技術】従来から、道路監視や夜間監視などの監
視分野において、テレビカメラなどで撮影した監視領域
の映像を遠隔地に伝送してモニタリングしたり、或いは
蓄積装置に蓄積したりすることにより、監視にかかるコ
ストを削減する装置が用いられている。

【０００３】また、近年では、ＴＶ会議などのように、
監視を目的としなくても、通信網（ＷＡＮやＬＡＮ）を
通して遠隔地どうしで映像を送信したり、蓄積したりす
ることが多く行われるようになっている。さらに、汎用
計算機の性能の向上に伴い、単に動画を表示することか
ら動画の送信や蓄積が汎用計算機上でも行えるようにな
ってきている。

【０００４】また、映像の変化検出方法に関して、従来
から多くの方法が提案されている。比較的簡便なものと
して、画像間の差分により変化領域を検出する方法が提
案されている（佐久間、伊藤、増田、「フレーム間差分
を用いた侵入物体検出法」、テレビジョン学会技術報
告、vol.14, Ｎo49,pp. 1-6,1990年などを参照）。

【０００５】上記画像の差分による映像の変化を検出す
る方法としては、予め撮影した背景画像と現在の画像と
の差分により検出する方法、或いは近接するフレーム間
の差分により変化領域を検出する方法等が代表的な方法
である。

【０００６】上記フレーム間の差分により変化領域を検
出する方法として、監視領域の映像をＶＴＲに録画する
装置において、映像の変化を検出し、映像が変化した時
だけ映像をＶＴＲに録画するようにする装置が提案され
ている（例えば、特開平２−２４８６号公報）。

【０００７】また、本出願人は既に、図１５に示すよう
に、変化を検出した最新の画像（送信、蓄積、表示を行
った画像）と現在の画像とを比較することにより映像の
変化を検出する方法を提案している。これにより、背景
画像を予め用意する必要がなく、また、映像の変化が緩
やかであっても検出が可能である。

【０００８】

【発明が解決しようとする課題】上記映像変化検出方法
などでは、映像データ中のノイズなどを考慮し、変化量
が一定の値（閾値）を越えた時には、映像に変化があっ
たと検出する方法が一般的である。

【０００９】しかし、上記閾値は、映像の質（ノイズの
量）やシーンの内容（シーンの明るさ）により、最適な
閾値が異なる場合が多い。また、カメラやＡ／Ｄ変換器
などの性能やカメラの設置場所に応じて閾値を変更しな
ければならない場合が多かった。

【００１０】このため、従来は適切な閾値を決定する作
業が面倒であり、ユーザは閾値を何度も変えながら映像
の変化検出結果を見て適切な閾値をその都度決定しなけ
ればならず、煩雑な作業が多く必要であった。

【００１１】本発明は上述の問題点にかんがみ、ユーザ
に大きな負担をかけることなく適切な閾値を算出して設
定できるようにすることを目的とする。

【００１２】

【課題を解決するための手段】本発明の動画像処理方法
は、映像の変化を検出し、そのデータ量を削減して出力
するようにした動画像処理方法であって、入力される静
止状態の動画像および動状態の動画像に基づいて、映像
変化の検出に用いるための１つまたは複数種類の閾値を
算出する閾値算出工程を備えることを特徴としている。

【００１３】また、本発明の他の特徴とするところは、
上記静止状態の動画像および動状態の動画像から各閾値
でのエラー率を作成して１つまたは複数種類の閾値を算
出することを特徴としている。

【００１４】また、本発明のその他の特徴とするところ
は、上記静止状態の動画像および動状態の動画像でのエ
ラー率を各閾値毎に合計して１つまたは複数種類の閾値
を算出することを特徴としている。

【００１５】また、本発明のその他の特徴とするところ
は、上記静止状態の動画像および動状態の動画像でのエ
ラー率に重み付けして各閾値毎に合計することにより、
検出もれ防止または誤検出防止を優先した１つまたは複
数種類の閾値を算出することを特徴としている。

【００１６】また、本発明のその他の特徴とするところ
は、上記検出もれ防止または誤検出防止の優先をユーザ
が段階的に指定することを特徴としている。

【００１７】また、本発明のその他の特徴とするところ
は、上記静止状態の動画像および動状態の動画像から作
成した各閾値でのエラー率から、エラー率が最小となる
１つまたは複数種類の閾値を算出することを特徴として
いる。

【００１８】また、本発明のその他の特徴とするところ
は、上記静止状態の動画像および動状態の動画像から作
成した各閾値でのエラー率から、エラー率がある値以下
である１つまたは複数種類の閾値の範囲を算出し、上記
算出した閾値の範囲からユーザが１つまたは複数種類の
閾値を指定することを特徴としている。

【００１９】また、本発明のその他の特徴とするところ
は、映像変化の検出に用いるための１つまたは複数種類
の閾値を、静止状態の動画像および動状態の動画像に基
づいて算出する閾値算出工程と、撮像手段により撮像さ
れた映像または記録装置に格納してある映像から、所定
の静止画像を入力画像として入力する画像入力工程と、
上記入力画像と、変化が検出された最新変化画像とを比
較して映像の変化を検出する変化検出工程と、上記変化
が検出された最新変化画像を蓄積する最新変化画像蓄積
工程と、上記入力画像のうち、変化が検出された画像を
出力する画像出力工程を備えることを特徴としている。

【００２０】また、本発明のその他の特徴とするところ
は、上記閾値算出工程は、１つまたは複数種類の閾値を
算出することを特徴としている。

【００２１】また、本発明の動画像処理装置の特徴とす
るところは、映像の変化を検出し、映像のデータ量を削
減して出力するようにした動画像処理装置であって、映
像変化の検出に用いるための１つまたは複数種類の閾値
を、静止状態の動画像および動状態の動画像に基づいて
算出する閾値算出手段を具備することを特徴としてい
る。

【００２２】また、本発明の動画像処理装置の他の特徴
とするところは、映像変化の検出に用いるための１つま
たは複数種類の閾値を、静止状態の動画像および動状態
の動画像に基づいて算出する閾値算出手段と、検出もれ
防止または誤検出防止の優先をユーザが段階的に指示す
るための優先指示手段とを備えることを特徴としてい
る。

【００２３】また、本発明の動画像処理装置のその他の
特徴とするところは、映像変化の検出に用いるための１
つまたは複数種類の閾値を、静止状態の動画像および動
状態の動画像に基づいて算出する閾値算出手段と、上記
閾値算出手段が算出した閾値の範囲から、ユーザが所定
の閾値を指示するようにするための閾値指示手段を備え
ることを特徴としている。

【００２４】また、本発明の動画像処理装置のその他の
特徴とするところは、映像変化の検出に用いるための１
つまたは複数種類の閾値を、静止状態の動画像および動
状態の動画像に基づいて算出する閾値算出手段と、撮像
手段により撮像された映像または記録装置に格納されて
いる映像から静止画像を入力する画像入力手段と、上記
入力画像と、変化を検出した最新変化画像とを比較する
ことにより映像の変化を検出する変化検出手段と、上記
最新変化画像を蓄積するための最新変化画像蓄積手段
と、上記入力画像のうち、変化を検出した画像のみを出
力する画像出力手段を備えることを特徴としている。

【００２５】また、本発明の動画像処理装置のその他の
特徴とするところは、上記閾値算出手段は、１つまたは
複数種類の閾値を算出することを特徴としている。

【００２６】

【作用】本発明は上記技術手段よりなるので、入力され
る静止状態の動画像および動状態の動画像に基づいて、
映像変化の検出に用いるための１つまたは複数種類の閾
値が算出されるので、ユーザは静止状態の動画像と動状
態の動画像を入力するだけで最適な閾値を算出して設定
することが可能となる。

【００２７】また、本発明の他の特徴によれば、ユーザ
が変化がないと考える静止状態の動画像における閾値毎
のエラー率と、ユーザが変化していると考える動状態の
動画像における閾値毎のエラー率とを加えたもの、すな
わち、静止状態の動画像において変化を検出する割合
と、動状態の動画像において変化を検出しない割合とを
加えたものを算出して１つまたは複数種類の閾値を算出
するので、例えば上記エラー率が最小となる閾値を自動
的に求めて適切な閾値を算出することができるようにな
る。

【００２８】また、本発明のその他の特徴によれば、ユ
ーザが誤検出防止優先の指定をした場合には、動状態の
エラー率分布よりも静止状態のエラー率分布に重みをか
けて加え、ユーザが変化検出もれ防止優先の指定をした
場合には、静止状態のエラー率分布よりも動状態のエラ
ー率分布に重みをかけて加えて、１つまたは複数種類の
閾値を算出するので、検出もれ防止優先または誤検出防
止優先のどちらの要求にも適切に応じることが可能とな
る。

【００２９】また、本発明のその他の特徴によれば、エ
ラー率が低い閾値範囲をユーザに提示するようにして、
最終的な閾値をユーザが選択できるようにすることが可
能となり、誤検出防止優先や検出もれ防止優先の指定を
ユーザがきめ細かく設定することが可能となる。

【００３０】

【発明の実施の形態】以下、本発明の動画像処理方法お
よび装置の実施形態を図面を参照して説明する。まず、
第１の実施形態について説明する。

【００３１】図１は、本発明を動画像処理方法に適用し
た代表的な構成例を説明するための図である。図１にお
いて、閾値算出工程１は、静止状態の動画像と動状態の
動画像から最適な閾値を算出する。

【００３２】画像入力工程２は、ビデオカメラで得られ
る映像やディスク装置に格納してあるデジタル動画像等
の映像から静止画像（以下、入力画像と呼ぶ）を獲得す
る。

【００３３】変化検出工程３は、画像入力工程２で入力
された入力画像と変化を検出した最新の画像（以下、最
新変化画像と呼ぶ）とを比較するとともに、その比較結
果に上記閾値算出工程１で算出した閾値を用いて映像の
変化を検出する。

【００３４】変化検出判断工程４は、上記変化検出工程
３で映像の変化を検出したか否かを判断する工程であ
り、上記変化検出工程３で映像の変化を検出した場合
は、最新変化画像蓄積工程５へと処理を移行し、また、
変化を検出できなかった場合は画像入力工程２へと処理
を戻すようにする。

【００３５】最新変化画像蓄積工程５は、上記変化検出
工程３で変化を検出した時に、入力画像を最新変化画像
として蓄積する。画像出力工程６は、上記変化検出工程
３で変化を検出した時に、入力画像を通信路（ＷＡＮや
ＬＡＮ）に出力して送信したり、画像蓄積装置へ供給し
て蓄積したり、画像表示装置に供給して表示したりす
る。

【００３６】処理終了判断工程７は、処理終了の指示が
ユーザにより行われているか否かを判断する工程であ
り、処理終了の指示が行われていない場合には上述した
画像入力工程２に再び戻り、処理終了の指示が行われて
いる場合には処理を終了する。

【００３７】図２は、図１で説明した処理を行う動画像
処理装置の構成例を表す機能ブロック図であり、図３
は、図２に示した構成を実現するハードウェア例であ
る。図３において、２００１はＣＰＵ、２００２はディ
スク装置、２００３はディスクＩ／Ｏ、２００４はＲＯ
Ｍ（リードオンリーメモリ）、２００５はビデオキャプ
チャー装置である。

【００３８】また、２００６はＲＡＭ（ランダムアクセ
スメモリ）、２００７は上記した各ブロックを接続する
バス、２００８はビデオカメラであり、２００９はＷＡ
Ｎ（ワイドエリアネットワーク）やＬＡＮ（ローカルエ
リアネットワーク）へとつながる通信装置であり、２０
１０はＶＴＲ装置である。

【００３９】図２において、画像入力手段１００１は、
ビデオカメラ２００８で得られる映像やディスク装置２
０００２に格納してあるデジタル動画像等から静止画像
を獲得し、入力画像蓄積手段１００４に格納する。

【００４０】例えば、図３においては、ＲＯＭ２００４
またはＲＡＭ２００６上のプログラムにより動作するＣ
ＰＵ２００１の制御により、ビデオカメラ２００８また
はＶＴＲ装置２０１０の映像からビデオキャプチャー装
置２００５で静止画像( 入力画像) を獲得し、ＲＡＭ２
００６に格納する。

【００４１】または、ＲＯＭ２００４またはＲＡＭ２０
０６に格納されているプログラムによって動作するＣＰ
Ｕ２００１の制御により、ディスク装置２００２に格納
してあるデジタル動画像から静止画像( 入力画像）を読
み込みＲＡＭ２００６に格納するようにしてもよい。

【００４２】なお、図３には示していないが、ＲＯＭ２
００４またはＲＡＭ２００６に格納されているプログラ
ムにより動作するＣＰＵ２００１の制御により、静止画
像(入力画像) をデジタルスチルカメラで撮影してＲＡ
Ｍ２００６に格納するようにしてよい。また、複数の画
像入力手段を設けるようにしてもよい。

【００４３】変化検出手段１００２は、入力画像蓄積手
段１００４に蓄積した入力画像と、最新変化画像蓄積手
段１００５に蓄積した最新変化画像とを比較することに
より、映像の変化を検出する。

【００４４】上記変化検出手段１００２により映像の変
化を検出した場合は、上記入力画像蓄積手段１００４に
蓄積した入力画像を最新変化画像蓄積手段１００５に蓄
積する。上記変化検出手段１００２は、例えば図３にお
いて、ＲＯＭ２００４またはＲＡＭ２００６上のプログ
ラムにより動作するＣＰＵ２００１と、ワークメモリと
して使用するＲＡＭ２００６、またはディスク装置２０
０２で構成することができる。もちろん、それぞれ専用
のＣＰＵ、ＲＡＭ、ディスク装置をそれぞれ設けて構成
したり、専用のハードウェアにより構成したりすること
もできる。

【００４５】画像出力手段１００３は、上記変化検出手
段１００２において映像の変化を検出した時に、入力画
像蓄積手段１００４に蓄積した入力画像を通信路（ＷＡ
ＮやＬＡＮ）に出力して送信したり、上記入力画像蓄積
装置１００４へ出力して蓄積したり、画像表示装置（図
示せず）に表示したりする。

【００４６】例えば、図３においては、ＲＯＭ２００４
またはＲＡＭ２００６上のプログラムにより動作するＣ
ＰＵ２００１の制御により、通信装置２００９を通じて
ＷＡＮやＬＡＮに送信する。

【００４７】または、ＲＯＭ２００４またはＲＡＭ２０
０６上のプログラムにより動作するＣＰＵ２００１の制
御により、デジタル動画像の一部としてディスク装置２
００２に格納する。ここで、ディスク装置２００２は、
ＬＡＮなどのネットワークを通して利用可能なものでも
かまわない。

【００４８】また、図３には示していないが、静止画像
をディスプレイ上の同じ部分に連続的に表示することに
より、動画像を表示する画像出力手段でも構成すること
ができる。なお、画像出力手段を複数個設けるようにし
てもよい。

【００４９】入力画像蓄積手段１００４、最新変化画像
蓄積手段１００５は、例えば、図３において、ＲＡＭ２
００６またはディスク装置２００２で構成することがで
きる。もちろん、専用の記憶装置でそれぞれの手段を構
成するようにしてもよい。

【００５０】閾値算出手段１００６は、静止状態の動画
像と動状態の動画像を入力した時の変化検出手段１００
２の検出結果から閾値を算出する。閾値算出手段１００
６は、例えば図３において、ＲＯＭ２００４またはＲＡ
Ｍ２００６上のプログラムにより動作するＣＰＵ２００
１とワークメモリとして使用するＲＡＭ２００６、また
はディスク装置２００２で構成することができる。この
場合も、それぞれ専用のＣＰＵ、ＲＡＭ、ディスク装置
等により構成したり、専用のハードウェアにより構成し
たりしてもよい。

【００５１】以下、図１の各工程１〜７について、図２
の構成図を参照しながら詳細に説明する。＜閾値算出工程＞閾値算出工程１は、閾値算出手段１０
０６において、静止状態の動画像と動状態の動画像とを
入力した時の変化検出手段１００２の検出結果から閾値
を算出する工程である。

【００５２】図４に、閾値算出工程１の詳細な構成図を
示す。また、閾値算出工程１の動作を説明する様子を図
５に示す。図４において、静止状態のエラー率分布算出
工程１０１は、ビデオカメラ２００８またはＶＴＲ装置
２０１０から静止状態の動画像（ユーザが変化がないと
考える動画像) を入力し、閾値を変えながら変化検出を
行い、静止状態のエラー率分布( 各閾値において、静止
状態の動画像に対して変化を検出する割合の分布)を算
出する。例えば、図５（ａ）に示すようなエラー率の分
布を算出する。

【００５３】図４において、動状態のエラー率分布算出
工程１０２は、ビデオカメラ２００８またはＶＴＲ装置
２０１０から動状態の動画像（ユーザが変化していると
考える動画像) を入力し、閾値を変えながら変化検出を
行い、動状態のエラー率分布（各閾値において、動状態
の動画像に対して変化を検出しない割合の分布) を算出
する。例えば、図５（ｂ）に示すようなエラー率の分布
を算出する。

【００５４】図４において、合計エラー率分布算出工程
１０３は、静止状態のエラー率分布算出工程１０１と動
状態のエラー率分布算出工程１０２で算出した静止状態
のエラー率分布および動状態のエラー率分布を各閾値毎
に加え、合計エラー率分布を算出する。

【００５５】例えば、図５（ａ）に示すような静止状態
のエラー率分布、図５（ｂ）に示すような動状態のエラ
ー率分布、図５（ｃ）に示す合計エラー率分布（太線)
を算出する。なお、ここでは、静止状態のエラー率分布
と動状態のエラー率分布を同じ重みで加える例で説明し
た。

【００５６】しかし、ユーザの使用目的によっては、誤
検出（静止状態のエラー率に対応）防止よりも変化検出
もれ（動状態のエラー率に対応）防止を優先したい場合
や、その逆の場合も想定できる。

【００５７】このため、静止状態のエラー率分布と動状
態のエラー率分布に不均等な重みをかけて加えても構わ
ない。ここで、エラー率分布にかける重みは、予めＲＯ
Ｍ２００４またはＲＡＭ２００６、またはディスク装置
２００２に書き込んだ値を用いても構わない。

【００５８】また、図示していないディスプレイ装置と
ポインティング装置とを組み合わせたユーザインターフ
ェイスなどを用いたユーザの誤検出防止優先（静止状態
のエラー率を低くするのに対応）や、変化検出もれ防止
優先（動状態のエラー率を低くするのに対応）の指定に
基づき、加える重みを決めても構わない。

【００５９】例えば、ユーザが誤検出防止優先の指定を
した場合は、静止状態のエラー率分布に動状態のエラー
率分布よりも重みをかけて加える（静止状態のエラー率
分布を２倍などにして加えるなど）。ユーザが変化検出
もれ防止優先の指定をした場合は、動状態のエラー率分
布に静止状態のエラー率分布よりも重みをかけて加える
（動状態のエラー率分布を２倍などにして加えるな
ど）。また、ユーザの誤検出防止優先や検出もれ防止優
先の指定を、段階的に行えるようにして、指定の段階に
応じて重みを変えても構わない。

【００６０】図４において、最小エラー率閾値算出工程
１０４は、合計エラー率分布算出工程１０３で算出した
合計エラー率分布において、エラー率が最小となる閾値
を算出し、それを最適な閾値とする。例えば図５（ｃ）
に示すような合計エラー率分布の場合、図５（ｃ）に示
す最小値を算出する。

【００６１】なお、ここではエラー率が最小となる閾値
を適切な閾値として算出したが、エラー率が低い閾値範
囲( 例えば、エラー率が最小エラー率の２倍などのある
値以下である閾値の範囲) をユーザに提示し、図示して
いないディスプレイ装置とポインティング装置とを組み
合わせて、ユーザが最終的な閾値を選択するようにして
もよい。この場合、ユーザの負担は多少増えるが、誤検
出防止優先や検出もれ防止優先の指定をユーザがきめ細
か設定することができる利点が得られる。

【００６２】ここで、静止状態のエラー率分布算出工程
１０１で静止状態のエラー率分布を、動状態のエラー率
分布算出工程１０２で動状態のエラー率分布を算出する
ため、ＲＯＭ２００４またはＲＡＭ２００６上のプログ
ラムにより動作するＣＰＵ２００１で実行する手順の一
例を、図６のフローチャートに示す。なお、ここでは、
以下に述べる変化検出工程３で用いる閾値が１つの場合
を例にして述べる。

【００６３】ステップＳ５０１は、静止状態の動画像ま
たは動状態の動画像を入力し、設定した閾値で、例えば
以下で説明する画像入力工程２、変化検出工程３、最新
変化画像蓄積工程５からなる変化検出処理を行う。

【００６４】ステップＳ５０２は、各閾値でのエラー率
( 静止状態の動画像において変化を検出する割合、また
は動状態の動画像において変化を検出しない割合) をＲ
ＡＭ２００６またはディスク装置２００２へ格納する。

【００６５】ステップＳ５０３では、全ての閾値でステ
ップＳ５０１からステップＳ５０２を行ったか否かを判
定する。そして、全ての閾値で処理が終わったと判定し
た場合は図６に示す処理を終了する。また、全ての閾値
で処理が終わってないと判定した場合は、ステップＳ５
０４に進む。

【００６６】ステップＳ５０４では、ステップＳ５０１
で行う変化検出処理で用いる閾値を変更して( 増やし
て) ステップＳ５０１に戻る。ここで、閾値を１つ刻み
に増す例で説明しているが、精度が低くてもよいから高
速に閾値を求めたい場合は、２つ以上の幾つか刻みで閾
値を増やしても構わない。このようにして、静止状態の
エラー率分布算出工程で静止状態のエラー率分布を算出
し、動状態のエラー率分布算出工程で動状態のエラー率
分布を算出する。

【００６７】なお、しきい値の初期値は、図６のフロー
チャートで示される処理を開始させる前に、静止状態の
エラー率分布算出工程および動状態のエラー率分布算出
工程において、エラー率を測定するしきい値の値の範囲
の最小値に設定される（初期化される）ものとする。

【００６８】＜画像入力工程＞画像入力工程２は、ビデ
オカメラで得られる映像、ディスク装置に格納してある
デジタル動画像、デジタルスチルカメラ等から静止画像
を獲得し、入力画像蓄積手段１００４に格納する。

【００６９】＜変化検出工程＞変化検出工程３は、入力
画像蓄積手段１００４に蓄積した入力画像と、最新変化
画像蓄積手段１００５に蓄積した最新変化画像とを比較
することにより、映像の変化を検出する。図７に、変化
検出工程３において、ＲＯＭ２００４またはＲＡＭ２０
０６上のプログラムにより動作するＣＰＵ２００１で実
行する処理手順の一例を示す。

【００７０】この処理は、入力画像と最新変化画像にお
いて対応する画素間の画素値差分（絶対値）を算出し、
画像全体の画素値差分値の合計がある値以上であれば、
入力画像は最新変化画像と比べて変化していると判断す
る処理、すなわち、映像が変化したと判断する処理であ
る。

【００７１】ここで、図８に示すように、画素値差分の
算出は画像の各画素をラスタ順に処理するものとし、処
理途中の画素値差分の合計を合計変化量と呼ぶ。もちろ
ん、各画素を並列に処理してもかまわない。

【００７２】図７において、ステップＳ１０１では、合
計変化量を０に初期化する。次のステップＳ１０２で
は、処理を行っている画素( 以下、注目画素と呼ぶ) 間
の画素値差分を算出する。

【００７３】画素値差分は、例えば、入力画像が２値画
像であれば、注目画素の値が異なる場合は１とし、同じ
場合は０とする。また、入力画像が濃淡画像であれば、
例えば、注目画素の値の差の絶対値とする。さらに、入
力画像がカラー画像であれば、例えば、注目画素のＲＧ
Ｂ値のそれぞれの差の絶対値を算出し、それぞれの差の
絶対値を合計した値とする。

【００７４】ステップＳ１０３では、ステップＳ１０２
で算出した画素値差分を合計変化量に加える。ステップ
Ｓ１０４では、合計変化量が予め設定した値（閾値) よ
り大きいか否かを判断し、大きければ、映像に変化があ
ったとして、図７に示すフローチャートを終了する。ま
た、大きくなかったと判断した場合には、ステップＳ１
０５に処理を進める。

【００７５】ステップＳ１０５では、全ての画素を処理
したか否かを判定する。そして、全ての画素を処理した
場合は、映像に変化がなかったとして処理を終了する。
ステップＳ１０６では、処理する画素を( 注目画素を)
次の画素に移してステップＳ１０２に戻る。

【００７６】＜変化検出判断工程＞変化検出判断工程４
は、上記変化検出工程３において映像の変化が検出され
たか否かを判断する工程であり、映像の変化が検出され
た場合には処理を最新変化画像蓄積工程５に進め、ま
た、映像の変化が検出されなかった場合には処理を上述
した画像入力工程２に戻す処理を行う。

【００７７】＜最新変化画像蓄積工程＞最新変化画像蓄
積工程５は、変化検出工程３で変化を検出した時に、画
像入力工程２で入力して入力画像蓄積手段１００４に蓄
積している入力画像を最新変化画像として最新変化画像
蓄積手段１００５へ蓄積する。

【００７８】＜処理終了判断工程＞処理終了判断工程７
は、処理終了の指示がユーザにより行われているか否か
を判断するものであり、通信装置２００９を介してユー
ザが処理終了の指示を行っていない場合には上述した画
像入力工程２に再び戻り、処理終了の指示が行われてい
る場合には処理を終了する。

【００７９】＜画像出力工程＞画像出力工程６は、変化
検出工程３において映像の変化を検出した時に、入力画
像蓄積手段１００４に蓄積してある入力画像を通信装置
２００９などを通して通信路（ＷＡＮやＬＡＮ）に出力
して送信したり、画像蓄積装置２００２などへ出力して
蓄積したり、表示装置に表示したりする。

【００８０】次に、本発明の第２の実施形態を説明す
る。本実施形態では、第１の実施形態における変化検出
工程３を２つの閾値を用いた方法で実現した場合の閾値
算出工程１の実現例を示す。

【００８１】図９に、変化検出工程３において、ＲＯＭ
２００４またはＲＡＭ２００６上のプログラムにより動
作するＣＰＵ２００１で実行する処理フローチャートの
一例を示す。この処理は、入力画像と最新変化画像にお
いて対応する画素間の画素値差分（絶対値）を算出し、
この画素値差分がある値以上であれば、注目画素は変化
しているとする（以下、変化した画素を変化画素と呼
ぶ）。

【００８２】さらに、入力画像においてこの変化画素の
数がある値以上であれば、入力画像は最新変化画像と比
べて変化していると判断する。すなわち、映像が変化し
たと判断する。なお、第１の実施形態と同様に変化画素
の判定は、図８に示したように、画像の各画素をラスタ
順に処理するものとし、処理途中の変化画素の合計を変
化画素数と呼ぶ。もちろん、各画素を並列に処理するよ
うにしてもかまわない。

【００８３】図９において、ステップＳ２０１では、変
化画素数を０に初期化する。ステップＳ２０２では、処
理を行っている画素( 以下、注目画素と呼ぶ) 間の画素
値差分を第１の実施形態と同様の方法で算出する。ステ
ップＳ２０３では、ステップＳ２０２で算出した画素値
差分が予め設定した値( 第１の閾値) より大きいか否か
を判定する。そして、第１の閾値より大きければステッ
プＳ２０４へ処理を進め、その反対に第１の閾値より大
きくなければステップＳ２０６の処理へジャンプする。

【００８４】ステップＳ２０４では、変化画素数を１つ
増やす。次に、ステップＳ２０５では、変化画素数が予
め設定した値( 第２の閾値）より大きいか否かを判断す
る。この場合、映像に変化があったとして、図９に示す
フローチャートの処理を終了する。また、大きくなかっ
たと判断した場合には、ステップＳ２０６に処理を進め
る。

【００８５】ステップＳ２０６は、全ての画素を処理し
たか否かを判定する。全ての画素を処理した場合は、映
像に変化がなかったとして、図７に示したフローチャー
トの処理を終了する。全ての画素を処理していない場合
は、ステップＳ２０７に処理を進める。ステップＳ２０
７においては、処理を( 注目画素を) 次の画素に移して
ステップＳ２０２に戻る。

【００８６】＜閾値算出工程＞以上説明したように、変
化検出工程３を２つの閾値を用いる方法で実現した場合
の、閾値算出工程１について、以下に述べる。このよう
な場合も、第１の実施形態と同様に図４で示した方法で
閾値算出工程１を実現できる。ただし、閾値を２つ用い
るので、図５に示した合計エラー率分布は例えば、図１
０に示すような分布となる。

【００８７】また、静止状態のエラー率分布算出工程１
０１で静止状態のエラー率分布を算出する方法、動状態
のエラー率分布算出工程１０２で動状態のエラー率分布
を算出するための方法も異なる。以下、ＲＯＭ２００４
またはＲＡＭ２００６上のプログラムにより動作するＣ
ＰＵ２００１で実行する処理の一例を、図１１のフロー
チャートに示す。

【００８８】図１１において、ステップＳ６０１は、静
止状態の動画像または動状態の動画像を入力するととも
に、設定した閾値で変化検出処理を行う。例えば、今ま
でに説明した画像入力工程２、変化検出工程３、最新変
化画像蓄積工程５からなる変化検出処理を行う。

【００８９】ステップＳ６０２は、各閾値の組み合わせ
でのエラー率( 静止状態の動画像において変化を検出す
る割合、または動状態の動画像において変化を検出しな
い割合) をＲＡＭ２００６またはディスク装置２００２
へ格納する。

【００９０】ステップＳ６０３は、ステップＳ６０１か
らステップＳ６０２の処理を第１の閾値で全て行ったか
否かを判定し、第１の閾値で処理が全て終わった場合は
ステップＳ６０５に進み、一方、第１の閾値で全ての処
理が終わっていない場合は、ステップＳ６０４に進む。

【００９１】ステップＳ６０４では、ステップＳ６０１
で行う変化検出処理で用いる第１の閾値を変え（増やし
て）、その後、ステップＳ６０１に進む。第１の実施形
態と同様に第１の閾値の刻み幅は、任意の数で構わな
い。

【００９２】ステップＳ６０５は、ステップＳ６０１か
らステップＳ６０４の処理を第２の閾値で全て行ったか
否かを判定し、全ての処理が終わった場合には、図１１
に示す処理を終了する。また、全ての処理が終わってい
ない場合にはステップＳ６０６に進む。

【００９３】ステップＳ６０６では、ステップＳ６０１
で行う変化検出処理で用いる第１の閾値を元に戻し、第
２の閾値を増やしてステップＳ６０１に進む。同様に第
２の閾値の刻み幅も、任意の数で構わない。このように
して、静止状態のエラー率分布算出工程１０１で静止状
態のエラー率分布を算出し、動状態のエラー率分布算出
工程１０２で動状態のエラー率分布を算出する。

【００９４】なお、第１のしきい値、第２のしきい値共
に、図１１のフローチャートで示される処理が実行され
る前のステップで、それぞれ測定する値の範囲の最小値
に初期化されるものとする。

【００９５】次に、本発明の第３の実施形態を説明す
る。本実施形態では、第１の実施形態における変化検出
工程３を３つの閾値を用いた方法で実現した場合の閾値
算出工程１の実現例を示す。

【００９６】図１２に、変化検出工程３において、ＲＯ
Ｍ２００４またはＲＡＭ２００６上のプログラムにより
動作するＣＰＵ２００１で実行する処理手順の一例を示
す。この処理は、入力画像および最新変化画像を図１３
に示すように複数のブロックに分割し、ブロックごとに
変化を検出するようにしている。

【００９７】各ブロックでは、第２の実施形態同様に、
入力画像と最新変化画像において対応する画素間の画素
値差分（絶対値）を算出し、この画素値差分がある値以
上であれば注目画素は変化しているとする。

【００９８】さらに、各ブロックにおいてこの変化画素
の数がある値以上であれば、ブロックは変化していると
すると判断する。最終的には、変化ブロック数がある値
以上であった時、入力画像は最新変化画像と比べて変化
していると判断する。

【００９９】すなわち、映像が変化したと判断する。各
ブロック内での画素値差分の算出は図１３（ａ）、
（ｂ）に示すように、各画素をラスタ順に処理するもの
とし、ブロックもラスタ順に処理するものとする。ま
た、処理途中のブロック内の変化画素数の合計を変化画
素数、変化ブロックの合計を変化ブロック数と呼ぶ。も
ちろん、各画素またはブロックを並列に処理してもかま
わない。

【０１００】図１２において、ステップＳ４０１におい
ては、変化ブロック数を０に初期化する。ステップＳ４
０２では、変化画素数を０に初期化する。ステップＳ４
０３では、第１の実施形態と同様に、注目画素間の画素
値差分を算出する。

【０１０１】ステップＳ４０４では、ステップＳ４０３
で算出した画素値差分が予め設定した値( 第１の閾値）
より大きいか否かを判断し、大きければ、注目画素に変
化があったとして、ステップＳ４０５に処理を進める。
また、大きくなかった場合は、ステップＳ４０７の処理
にジャンプする。

【０１０２】ステップＳ４０５では、変化画素数を１つ
増やす。ステップＳ４０６では変化画素数が予め設定し
た値( 第２の閾値）より大きいか否かを判断し、大きけ
れば、注目ブロックに変化があったとしてステップＳ４
０８に処理を進める。また、大きくなかった場合は、ス
テップＳ４０７に処理を進める。

【０１０３】ステップＳ４０７では、ブロック内の全て
の画素を処理したか判定する。この判定の結果、全ての
画素を処理した場合はステップＳ４１２へ処理を進め、
全ての画素を処理していない場合にはステップＳ４１１
に進む。

【０１０４】ステップＳ４０８では、変化ブロック数に
１を加える。ステップＳ４０９では、変化ブロック数が
予め設定した値( 第３の閾値）より大きいか否かを判断
し、大きければ、映像に変化があったとして、図１２に
示すフローチャートの処理を終了する。また、大きくな
かった場合は、ステップＳ４１０に処理を進める。

【０１０５】ステップＳ４１０では、全てのブロックを
処理したか否かを判定する。そして、全てのブロックを
処理した場合は映像に変化がなかったとして、図１２に
示すフローチャートの処理を終了する。一方、全てのブ
ロックの処理が終わっていない場合には、ステップＳ４
１２に進む。

【０１０６】ステップＳ４１１では、処理を( 注目画素
を) 次の画素に移し、その後、ステップＳ４０３に戻
る。ステップＳ４１２では、処理を( 注目ブロックを)
次のブロックに移し、その後、ステップＳ４０２に戻
る。

【０１０７】＜閾値算出工程＞以上、説明したように、
変化検出工程３を３つの閾値を用いる方法で実現した場
合の、閾値算出工程１について、以下に述べる。このよ
うな場合も、上述した第１の実施形態と同様に、図４で
示した方法で閾値算出工程１を実現することができる。
ただし、第２の実施形態と同様に閾値を３つ用いるの
で、図５に示した合計エラー率分布とは異なるエラー率
分布となる。

【０１０８】ここでは、合計エラー率分布の図は省略す
る。また、静止状態のエラー率分布算出工程１０１で静
止状態のエラー率分布を、動状態のエラー率分布算出工
程１０２で動状態のエラー率分布を算出するための方法
も異なる。以下、ＲＯＭ２００４またはＲＡＭ２００６
上のプログラムにより動作するＣＰＵ２００１で実行す
る。

【０１０９】次に、処理手順の一例を、図１４に示す。
ステップＳ７０１は、静止状態の動画像または動状態の
動画像を入力するとともに、設定した閾値で、例えば今
までに説明した画像入力工程２、変化検出工程３、最新
変化画像蓄積工程５からなる変化検出処理を行う。

【０１１０】ステップＳ７０２は、各閾値の組み合わせ
でのエラー率( 静止状態の動画像において変化を検出す
る割合、または動状態の動画像において変化を検出しな
い割合) をＲＡＭ２００６またはディスク装置２００２
へ格納する。

【０１１１】ステップＳ７０３は、ステップＳ７０１か
らステップＳ７０２の処理を第１の閾値で全て行ったか
否かを判定し、処理が終わっていない場合にはステップ
Ｓ７０４に進み、処理が終わった場合にはステップＳ７
０５に進む。

【０１１２】ステップＳ７０４では、ステップＳ７０１
で行う変化検出処理で用いる第１の閾値を変えて（増や
して）ステップＳ７０１に進む。なお、第１の実施形態
と同様に、第１の閾値の刻み幅は、任意の数でかまわな
い。

【０１１３】ステップＳ７０５は、ステップＳ７０１か
らステップＳ７０４の処理を第２の閾値で全て行ったか
否かを判定し、処理が終わった場合はステップＳ７０７
へ進み、処理が終わっていない場合はステップＳ７０６
に進む。

【０１１４】ステップＳ７０６では、ステップＳ７０１
で行う変化検出処理で用いる第１の閾値を元にに戻し、
第２の閾値を増やしてステップＳ７０１に進む。同様
に、第２の閾値の刻み幅も任意の数でかまわない。

【０１１５】ステップＳ７０７は、ステップＳ７０１か
らステップＳ７０６の処理を第３の閾値で全て行ったか
否かを判定し、処理が終わった場合は図１４に示す処理
を終了し、処理が終わっていない場合はステップＳ７０
８に進む。

【０１１６】ステップＳ７０８では、ステップＳ７０１
で行う変化検出処理で用いる第１の閾値と第２の閾値を
元に戻し、第３の閾値を増やしてステップＳ７０１に進
む。同様に第３の閾値の刻み幅も、任意の数でかまわな
い。このようにして、静止状態のエラー率分布算出工程
１０１で静止状態のエラー率分布を、動状態のエラー率
分布算出工程１０２で動状態のエラー率分布を算出す
る。

【０１１７】なお、第１のしきい値、第２のしきい値、
第３のしきい値の全ては、共に、図１４のフローチャー
トで示される処理が実行される前のステップで、それぞ
れ測定する値の範囲の最小値に初期化されるものとす
る。

【０１１８】

【発明の効果】本発明は上述したように、本発明によれ
ば、入力される静止状態の動画像および動状態の動画像
に基づいて、映像変化の検出に用いるための１つまたは
複数種類の閾値を算出するようにしたので、ユーザは静
止状態の動画像と動状態の動画像を入力するだけで最適
な閾値を算出して設定することができる。

【０１１９】また、本発明の他の特徴によれば、ユーザ
が変化がないと考える静止状態の動画像における閾値毎
のエラー率と、ユーザが変化していると考える動状態の
動画像における閾値毎のエラー率とを加えたもの、すな
わち、静止状態の動画像において変化を検出する割合
と、動状態の動画像において変化を検出しない割合とを
加えたものを算出して１つまたは複数種類の閾値を算出
するようにしたので、例えば上記エラー率が最小となる
閾値を自動的に求めて適切な閾値を算出することができ
る。

【０１２０】また、本発明のその他の特徴によれば、ユ
ーザが誤検出防止優先の指定をした場合には、動状態の
エラー率分布よりも静止状態のエラー率分布に重みをか
けて加え、ユーザが変化検出もれ防止優先の指定をした
場合には、静止状態のエラー率分布よりも動状態のエラ
ー率分布に重みをかけて加えて、１つまたは複数種類の
閾値を算出するようにしたので、検出もれ防止優先また
は誤検出防止優先のどちらの要求にも応じることができ
る。

【０１２１】また、本発明のその他の特徴によれば、エ
ラー率が低い閾値範囲をユーザに提示するようにして、
最終的な閾値をユーザが選択できるようにすることがで
き、誤検出防止優先や検出もれ防止優先の指定をユーザ
がきめ細かく設定することができるようになる。

【図面の簡単な説明】

【図１】本発明の代表的な処理手順を示すフローチャー
トである。

【図２】本発明を適用した動画像処理装置の構成例を示
すブロック図である。

【図３】本発明を適用した動画像処理装置のハードウェ
アの実現例を示す構成図である。

【図４】閾値算出工程の詳細な処理の一例を示すフロー
チャートである。

【図５】エラー率分布の一例を示す特性図である。

【図６】静止状態のエラー率分布算出工程または動状態
のエラー率分布算出工程の処理の一例を示すフローチャ
ートである。

【図７】変化検出工程の処理を示すフローチャートであ
る。

【図８】画素の処理順序を説明する図である。

【図９】変化検出工程の処理を説明するフローチャート
である。

【図１０】エラー率分布の例を示す図である。

【図１１】静止状態のエラー率分布算出工程または動状
態のエラー率分布算出工程の処理の一例を示すフローチ
ャートである。

【図１２】変化検出工程の処理の一例を示すフローチャ
ートである。

【図１３】ブロックの分割例、および画素の処理順序と
ブロックの処理順序を説明する図である。

【図１４】変化検出工程の処理の一例を示すフローチャ
ートである。

【図１５】変化検出方法の概略を説明する図である。

【符号の説明】

１閾値算出工程２画像入力工程３変化検出工程４最新変化画像蓄積工程５画像出力工程１０１静止状態のエラー率分布算出工程１０２動状態のエラー率分布算出工程１０３合計エラー率分布算出工程１０４最小エラー率閾値算出工程１００１画像入力手段１００２変化検出手段１００３画像出力手段１００４入力画像蓄積手段１００５最新変化画像蓄積手段１００６閾値算出手段

Claims

【特許請求の範囲】

【請求項１】映像の変化を検出し、そのデータ量を削
減して出力するようにした動画像処理方法であって、上記映像の変化を検出するために用いる１つまたは複数
種類の閾値を静止状態の動画像および動状態の動画像に
基づいて算出する閾値算出工程を備えることを特徴とす
る動画像処理方法。
【請求項２】上記静止状態の動画像および動状態の動
画像から各閾値でのエラー率を作成して１つまたは複数
種類の閾値を算出するようにしたことを特徴とする請求
項１に記載の動画像処理方法。
【請求項３】上記静止状態の動画像および動状態の動
画像でのエラー率を各閾値毎に合計して１つまたは複数
種類の閾値を算出するようにしたことを特徴とする請求
項１または２の何れか１項に記載の動画像処理方法。
【請求項４】上記静止状態の動画像および動状態の動
画像でのエラー率に重み付けを行って各閾値毎に合計す
ることにより、検出もれ防止または誤検出防止を優先し
た１つまたは複数種類の閾値を算出するようにしたこと
を特徴とする請求項１〜３のいずれか１項に記載の動画
像処理方法。
【請求項５】上記検出もれ防止または誤検出防止の優
先をユーザが段階的に指定するようにしたことを特徴と
する請求項４に記載の記載の動画像処理方法。
【請求項６】上記静止状態の動画像および動状態の動
画像から作成した各閾値でのエラー率から、エラー率が
最小となる１つまたは複数種類の閾値を算出するように
したことを特徴とする請求項１〜５の何れか１項に記載
の動画像処理方法。
【請求項７】上記静止状態の動画像および動状態の動
画像から作成した各閾値でのエラー率から、エラー率が
ある値以下である１つまたは複数種類の閾値の範囲を算
出し、上記算出した閾値の範囲からユーザが１つまたは
複数種類の閾値を指定するようにしたことを特徴とする
請求項１〜６の何れか１項に記載の動画像処理方法。
【請求項８】映像変化の検出に用いるための１つまた
は複数種類の閾値を静止状態の動画像および動状態の動
画像に基づいて算出する閾値算出工程と、映像供給源から供給される映像から、所定の静止画像を
取得するとともに、上記取得した画像を入力画像として
入力する画像入力工程と、上記入力画像と、変化が検出された最新変化画像とを比
較して映像の変化を検出する変化検出工程と、上記変化が検出された最新変化画像を蓄積する最新変化
画像蓄積工程と、上記入力画像のうち、変化が検出された画像を出力する
画像出力工程とを備えることを特徴とする動画像処理方
法。
【請求項９】上記閾値算出工程は、１つまたは複数種
類の閾値を算出するようにしたことを特徴とする請求項
８に記載の動画像処理方法。
【請求項１０】映像の変化を検出し、そのデータ量を
削減して出力するようにした動画像処理装置であって、上記映像変化の検出に用いるための１つまたは複数種類
の閾値を、静止状態の動画像および動状態の動画像に基
づいて算出する閾値算出手段を具備することを特徴とす
る動画像処理装置。
【請求項１１】映像の変化を検出し、そのデータ量を
削減して出力するようにした動画像処理装置であって、映像変化の検出に用いるための１つまたは複数種類の閾
値を、静止状態の動画像および動状態の動画像に基づい
て算出する閾値算出手段と、検出もれ防止または誤検出防止の優先をユーザが段階的
に指示するようにするための優先指示手段とを備えるこ
とを特徴とする動画像処理装置。
【請求項１２】映像の変化を検出し、そのデータ量を
削減して出力するようにした動画像処理装置であって、映像変化の検出に用いるための１つまたは複数種類の閾
値を、静止状態の動画像および動状態の動画像に基づい
て算出する閾値算出手段と、上記閾値算出手段が算出した閾値の範囲から、ユーザが
所定の閾値を指示するようにするための閾値指示手段を
備えることを特徴とする動画像処理装置。
【請求項１３】映像の変化を検出し、そのデータ量を
削減して出力するようにした動画像処理装置であって、映像変化の検出に用いるための１つまたは複数種類の閾
値を、静止状態の動画像および動状態の動画像に基づい
て算出する閾値算出手段と、映像供給源より供給される映像から静止画像を入力する
画像入力手段と、上記入力画像と、変化を検出した最新変化画像とを比較
することにより映像の変化を検出する変化検出手段と、上記最新変化画像を蓄積するための最新変化画像蓄積手
段と、上記入力画像のうち、変化を検出した画像を出力するよ
うにする画像出力手段とを備えることを特徴とする動画
像処理装置。
【請求項１４】上記閾値算出手段は、１つまたは複数
種類の閾値を算出することを特徴とする請求項１０〜１
３の何れか１項に記載の動画像処理装置。