JP3677192B2 - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP3677192B2 JP3677192B2 JP2000117302A JP2000117302A JP3677192B2 JP 3677192 B2 JP3677192 B2 JP 3677192B2 JP 2000117302 A JP2000117302 A JP 2000117302A JP 2000117302 A JP2000117302 A JP 2000117302A JP 3677192 B2 JP3677192 B2 JP 3677192B2
- Authority
- JP
- Japan
- Prior art keywords
- recording
- change
- image
- moving image
- transmission
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING SYSTEMS, e.g. PERSONAL CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING SYSTEMS, e.g. PERSONAL CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
- G08B13/19604—Image analysis to detect motion of the intruder, e.g. by frame subtraction involving reference image or background adaptation with time to compensate for changing conditions, e.g. reference image update on detection of light level change
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING SYSTEMS, e.g. PERSONAL CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19665—Details related to the storage of video surveillance data
- G08B13/19669—Event triggers storage or change of storage policy
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING SYSTEMS, e.g. PERSONAL CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19665—Details related to the storage of video surveillance data
- G08B13/19676—Temporary storage, e.g. cyclic memory, buffer storage on pre-alarm
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/147—Scene change detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Television Signal Processing For Recording (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、動画像を撮影して記録又は伝送する画像処理装置に関し、より詳細には、監視システムや動物、植物などの生態の観察などに用いた場合に好適な、記録／伝送の開始、終了を入力画像の変化に従って、自動的に制御する自動撮影機能を備えた画像処理装置に関するものである。
【０００２】
【従来の技術】
近年、画像のディジタル信号処理技術、ディジタル符号化技術の進歩、発展により、画像機器のディジタル化が進展している。画像記録装置の分野でも、ディジタルビデオカメラやディジタルスチルカメラなどが普及しており、これらの機器では、入力された画像信号はまずディジタル化され、符号化などの信号処理から媒体への記録までの処理において、画像信号は全てディジタル情報として取り扱われている。
【０００３】
このように、画像機器内部でディジタル信号処理が行われることが一般的になると、符号化、記録フォーマットへの変換などの該機器の本来の目的のために必要となる機能以外にも信号処理機能を追加して、様々な機能を実現することが容易となる。
【０００４】
それらの追加機能の代表的なものとして、セキュリティ管理や動植物の生態観察などの監視システムに用いられる自動撮影機能がある。これは、例えばセキュリティ管理においては、カメラなどの撮像手段を、監視対象に向けて常設しておき、侵入者や異常の発生などによって、画像内容が変化したことを検出し、変化があった際の画像を記録、もしくはセンタ装置などへ伝送することによって、異常の通知、侵入者の特定、状況の把握／確認などに用いると共に、記録容量、伝送コストなどを節約する機能である。
【０００５】
また、生態観察の例では、対象となる動物などが出現した画像のみを記録、伝送したり、植物の開花、昆虫の脱皮などゆっくりと変化する現象の画像を数秒〜数十秒間隔で記録、伝送したりする機能が実現される。
【０００６】
上述のような監視システムへの応用では、アプリケーションの性格上、使用者が常時機器を操作することはできないため、重要となる要素技術は、入力画像信号から画像の内容が変化したことを検出する技術と、その検出結果に従って、画像の記録、伝送を自動制御する技術である。
【０００７】
ところで、画像、特に動画像はデータ量が非常に多いため、記録、伝送を行う際には、通常は符号化により情報量を圧縮している。一般的に動画像の符号化では、フレーム／フィールド間予測を用いて画面間で変化があった情報のみを抽出して利用している。
【０００８】
従って、ある画面に対しては、予測の際に参照した以前の画面からの差分情報のみが符号化データとして記録、伝送される。また、画面間での予測の際には、画面を分割した局所領域ごとに予測参照画面からの動きを検出して、この動きを補正する処理が併用される。
【０００９】
このような処理は、動き補償と呼ばれる。また、局所領域の動きは、動きの水平成分の大きさと垂直成分の大きさとから成る２次元ベクトル値として表すことができるため、動きベクトルと呼ばれる。
【００１０】
このように、動画像の符号化処理では、入力画像信号において画面が変化した成分を抽出して、これを処理の対象としている。これは、上述の監視カメラシステムにおける画像の変化の検出と同等な技術のため、動画像符号化における処理を流用、あるいは、共用した監視カメラシステムが実現されている。
【００１１】
このような従来の監視カメラシステムとしては、例えば、特開平6-153199号公報、特開平10-285542号公報、特開平10-322682号公報、特開平11-18076号公報などに記載の装置が知られている。これらの従来技術について、以下に説明する。
【００１２】
特開平6-153199号公報には、状態変化検出手段において、入力画像情報または圧縮処理が行われた後の圧縮画像情報に基づいて状態変化を検出し、変化が検出されると、伝送手段を起動して、状態が変化した前後の圧縮画像情報を監視ステーションなどに伝送する監視装置が提案されている。
【００１３】
さらに、該公報においては、状態変化検出手段として、赤外線センサやレーザビームを用いて人の侵入を感知するものの他に、最新の圧縮画像と基準圧縮画像、もしくは、圧縮前の入力画像と基準画像との画素ごとの差分に基づいて、状態の変化を検出することが開示されている。
【００１４】
尚、画素ごとの単なる差分ではなく、画像をブロックに分割して、各ブロックについてブロック内の全画素の輝度値を累算して、該累算値の画像毎の変化量から物体の有無を検出する方法が、例えば特開平9-251541号公報にて開示されている。
【００１５】
次に、特開平10-285542号公報には、入力画像のうち所定の画像を記憶手段に記憶しておき、入力画像と前記所定の画像とを比較手段で比較して、比較の結果に対応して前記入力画像の録画の開始または停止を制御する録画装置が提案されている。
【００１６】
また、該公報においては、比較手段として、前記所定の画像を予測参照画像として、前記入力画像における動きベクトルを検出し、該動きベクトルに従って動き補償した後の残差を閾値と比較すること、及び、前記動きベクトル検出と前記動き補償には、画像の圧縮符号化手段における当該処理部を共用することが開示されている。
【００１７】
尚、圧縮符号化処理の際の離散コサイン変換による演算結果より得られる画像フレームのトータルあるいはブロックアクティビティの差分を検出して、映像の動き、あるいは、動きベクトルを検出する方法は、例えば特開平6-165181号公報にて開示されている。
【００１８】
また、特開平10-322682号公報には、動きベクトル検出手段において、入力動画像と前フレームの画像との間で動きベクトルを検出し、該動きベクトルを基に、入力動画像を動画像符号化部で符号化処理すると共に、動物体検出部において、動きベクトルのノルム(大きさ)が閾値以上となるブロックの割合が予め定められた範囲内にある場合に動物体が検出されたと判定して、ISDN回線接続を行って入力画像を伝送する遠隔動画像監視装置が提案されている。
【００１９】
さらに、特開平11-18076号公報には、映像信号を一定間隔ごとに間欠記録するタイムラプス記録の機能を備えた映像記録装置において、映像データ変換部において入力映像信号をMPEG画像圧縮によって符号化して、MPEG画像圧縮情報から映像データの動きが検出されると、その時間帯の映像信号はタイムラプス記録ではなく、連続する動画として詳細記録させる映像記録装置が提案されている。
【００２０】
【発明が解決しようとする課題】
上述した従来の監視システムにおいては、侵入者や異常の発生などを検知して通報することを主な目的としていたため、基準画像、または、初期入力画像などと比較して状態変化が検出された画像のみを記録、伝送するように構成されていた。
【００２１】
セキュリティ管理システムなどのアプリケーションでは、通常、監視対象は特定されているので、基準画像の内容は既知であり、変化の無い状態の画像を記録、伝送することには意味が無かったため、上述のような構成でも充分であった。
【００２２】
しかしながら、状態変化が検出された画像だけを記録すると、記録された画像は変化だけを捉えたぎこちないものとなってしまう。また、侵入者の動作が小さく、画像の変化が少ない場合は、その画像は記録されない、という問題があった。
【００２３】
さらに、自動撮影機能が起動された後、自動撮影が終了するまで、画像に変化が無かった場合には、画像、及び、付帯情報の記録を一切行わないように特別な制御をする必要がある、という問題があった。
【００２４】
また、特開平6-153199号公報に記載のものや、特開平10-322682号公報に記載のもののように、画像の状態変化に従って伝送手段を起動すると、状態変化が大きい状態と小さい状態とが交互に繰り返すような場合に、回線の接続と切断の処理を頻繁に行う必要があり、処理が煩雑となるばかりでなく、接続の度に接続手順におけるネゴシエーション遅延、初期伝送遅延などが生じる、という問題があった。
【００２５】
さらに、特開平6-153199号公報に記載のもののように、状態変化が検出された前後、特に変化が起こる以前の画像に遡って画像情報を伝送する場合には、変化の発生に備えて、常に入力もしくは符号化画像情報を保持しておくための記憶手段を設ける必要があり、また、状態変化を検出した後、以前の画像情報から伝送を始めることによる大きな遅延が生じてしまう、という問題があった。
【００２６】
そしてまた、該公報に記載のものにおいては、状態変化が検出された時点の前後に位置する所定の期間の画像を一塊として扱っているに過ぎず、変化が生じた後、伝送中に画像で再び変化があった場合に、後に生じた変化が検出されないか、または、たとえ検出されたとしても、すでに伝送中の状態にあり、後の変化に対応する画像情報を追加して伝送することが出来ない、という問題もあった。
【００２７】
さらに、画像の状態変化の検出方法に関して、特開平6-153199号公報や、特開平9-251541号公報に記載のもののように、画像間での画素値の差分を用いると、確実に変化が検出できる反面、入力画像に含まれる雑音、照明や明るさの変化、背景や風景がわずかにゆれている画像など、本来、変化として記録したくない画像も変化と検出してしまう、という問題があった。
【００２８】
また、特開平10-285542号公報に記載されているように、画像を圧縮符号化処理する際の動き補償予測後の予測誤差を変化の検出に用いる場合には、動き補償予測が効果的に働くと、画像には動きが含まれるにも関わらず予測誤差は小さくなるなど、予測誤差の大小が必ずしも画像に含まれる変化の度合いを表してはいない、という問題がある。
【００２９】
一方で、特開平10-322682号公報に記載のもののように、動きベクトルを用いて画像の変化を検出する場合、利用する動きベクトルは、あくまで画像符号化処理を目的として検出されたものを共用するため、画像の正確な動きを表現しているとは限らず、また、画像の複雑な変化や、色や明るさの変動を伴う動きなどは、動きとして検出できないため、画像の状態変化とは判定されなくなってしまう、という問題があった。
【００３０】
また、上述したように画像の記録、伝送の開始と停止を、装置が自動的に制御すると、ユーザが外部から装置の動作状態、即ち、現在記録、伝送中であるか、停止中であるか、を容易には判別できない。そのため、従来はビューファインダ、モニタなど入力画像の表示部に動作状態を示す文字、あるいはマーカなどを重畳して表示していた。
【００３１】
しかしながら、監視システムなどへの応用においては、画像記録／伝送装置は監視対象に向けて常設しておき、ユーザは離れた位置にいることが通常である。即ち、ユーザがビューファインダ、モニタなどを観察していることはないため、これらに状態表示を行ったとしても、ユーザは容易には判別できず、離れた位置からは装置の動作状態が識別できない、という問題があった。
【００３２】
本発明は、上記課題に鑑みてなされたものであり、入力画像の変化を検出して、画像の記録／伝送の開始、停止を制御する自動撮影機能を実現する際に、自動撮影の起動時には即座に記録／伝送を開始すると共に、画像の変化が小さいと判定されてから画像の変化が大きいと判定されることなく所定の時間が経過した後に、記録／伝送を停止することにより、状態変化が検出された画像に加えて、変化する前や、変化しなくなった後の背景画像、風景画像なども一連の画像として記録／伝送することが可能な画像処理装置を提供することを目的とする。
【００３３】
また、画面間における同一位置の画素値の差分と動きベクトルの大きさとの両方を用いて画像に変化があったか否かを判定して、画像に含まれる様々な状態変化に対応することによって、一般のユーザが、普通の動画撮影と同様な感覚で、様々な用途に応じて利用できるように、より自然な画像としての記録／伝送が可能な画像処理装置を提供することを目的とする。
【００３４】
さらに、新たに複雑な処理を追加することなく、簡単な処理のみで、確実に画像の変化を検出して、記録／伝送の開始、停止を制御することができる画像処理装置を提供することを目的とする。
【００３５】
そしてまた、記録中、伝送中、あるいは停止中などの動作状態を、離れた位置からも容易に判別することができる画像処理装置を提供することを目的とする。
【００３７】
【課題を解決するための手段】
本願の第１の発明は、入力された動画像データの画面間での変化を検出して、変化が小さい状態から変化が大きい状態に移ったことを示す第１の制御信号と、変化が大きい状態から変化が小さい状態に移ったことを示す第２の制御信号とを出力する変化検出手段と、前記第１の制御信号及び前記第２の制御信号に従って、入力動画像データの記録／伝送の開始、停止を制御する動作制御手段とを備えた画像処理装置であって、前記動作制御手段は、記録／伝送の開始、停止を制御する動作が起動されると直ちに入力動画像データの記録／伝送を開始すると共に、その後、任意に設定可能な時間 T2 が経過するまで前記第１の制御信号の入力が無かった時に、前記入力動画像データの記録／伝送を停止するように制御し、かつ、記録／伝送中の状態において、前記第２の制御信号が入力された後、任意に設定可能な時間 T1 が経過するまで前記第１の制御信号の入力が無かった時に、前記入力動画像データの記録／伝送を停止するように制御することを特徴とする。
【００３９】
本願の第２の発明は、前記第１の発明に係る画像処理装置において、前記時間T1と前記時間T2とは、それぞれ異なる値に設定されていることを特徴とする。
【００４０】
本願の第３の発明は、前記第１又は第２のいずれかの発明に係る画像処理装置において、前記変化検出手段は、入力された動画像データの画面を所定の大きさのブロックに分割して、該ブロックに含まれる画素について画面間での輝度値の差分２乗和が所定の閾値S1以上であるか、または、前記ブロックに対する動きベクトルの長さが所定の閾値V1以上であるブロックの数をカウントする第１のカウント手段と、前記差分２乗和が所定の閾値S2以上であるか、または、前記動きベクトルの長さが所定の閾値V2以上であるブロックの数をカウントする第２のカウント手段とを有し、前記第１の制御信号は、前記第１のカウント手段の出力が所定の閾値C1以上であることに基づいて出力され、前記第２の制御信号は、前記第２のカウント手段の出力が所定の閾値C2以下であることに基づいて出力されることを特徴とする。
【００４１】
本願の第４の発明は、前記第３の発明に係る画像処理装置において、前記閾値S1、前記閾値V1、前記閾値C1と、前記閾値S2、前記閾値V2、前記閾値C2とは、それぞれ異なる値に設定されていることを特徴とする。
【００４２】
本願の第５の発明は、前記第１乃至４のいずれかの発明に係る画像処理装置において、入力された動画像データの画面を所定の領域に分割して、前記各領域についてフレームメモリに格納された参照画面との間で動き補償予測を行って、予測誤差と、前記各領域の動きベクトルと、画面間での前記領域内画素の輝度値の差分２乗和とを出力する動き補償予測手段と、前記予測誤差を符号化して符号化動画像データを出力する予測誤差符号化手段とを設け、前記変化検出手段は、前記動きベクトルと前記差分２乗和とから画面間での変化を検出して、変化が小さい状態から変化が大きい状態に移ったことを示す第１の制御信号と、変化が大きい状態から変化が小さい状態に移ったことを示す第２の制御信号とを出力することを特徴とする。
【００４３】
本願の第６の発明は、前記第５の発明に係る画像処理装置において、前記フレームメモリには、入力動画像データを記録中の状態では、前記動き補償予測手段から出力される予測画面と、前記予測誤差符号化手段から出力される予測誤差の復号結果とを加算した局部復号画像が格納され、記録が停止中の状態では、入力動画像データの画面が格納されることを特徴とする。
【００４４】
本願の第７の発明は、前記第１乃至６のいずれかの発明に係る画像処理装置において、前記動作制御手段による入力動画像データの記録／伝送の開始、停止の制御に従って、記録／伝送動作中であることを装置外部に告知する告知手段を設けたことを特徴とする。
【００４５】
本願の第８の発明は、前記第７の発明に係る画像処理装置において、前記告知手段は、ＬＥＤもしくはランプを点灯することによって、記録／伝送動作中であることを表示することを特徴とする。
【００４６】
本願の第９の発明は、前記第７の発明に係る画像処理装置において、前記告知手段は、記録／伝送動作の開始時、及び／または、記録／伝送動作の停止時に、音を発することによって、動作状態が変化したことを報知することを特徴とする。
【００５０】
【発明の実施の形態】
以下、本発明の画像処理装置の一実施形態を、例えば画像記録装置について、図１乃至図５とともに詳細に説明する。
【００５１】
図１は本実施形態の画像記録装置における概略構成を示すブロック図である。図１において、入力動画像データは、画像を撮像するカメラ部11あるいは外部入力から入力される。該入力動画像データは、動画像符号化部12で圧縮符号化されて、符号化動画像データが出力される。
【００５２】
前記動画像符号化部12での符号化方式には、例えば、ITU-T勧告H.261、H.262、 H.263、H.26L、ISO標準11172-2(MPEG-1)、13818-2(MPEG-2)、14496-2(MPEG-4)などの動画像符号化方式や、非標準の独自方式に従った処理が行われ、これらの方式での規定に合致した形式の符号化動画像データが出力される。前記符号化動画像データは、記録制御部17へ送られ、記録媒体18へ格納される。
【００５３】
この時、前記記録制御部17では、前記符号化動画像データを所定の形式に従って記録媒体18へ記録するために、符号化動画像データをパケット化するなどの整形処理、音声データとの多重化処理などが行われると共に、ヘッダ、フッタ、インデックス、タイトル、属性情報などの制御情報が生成され、前記符号化動画像データと一緒に、記録媒体18の所定の場所に所定の形式で格納される。
【００５４】
記録媒体18は、ビデオテープなどのテープメディア、光ディスクや磁気ディスクなどのディスクメディア、ＩＣカード、メモリカードなどのカードメディアのいずれでも良く、前記符号化動画像データ、前記制御情報が格納される形式は、それぞれのメディアに応じた記録フォーマット、ファイルフォーマットなどに従うものとする。
【００５５】
前記記録制御部17は、動作が起動されると、直ちに、新たな符号化動画像データを記録するための前記制御情報の生成と記録、新規動画像ファイルの作成などの処理を行うことが可能に構成されている。
【００５６】
これは、本実施形態の画像記録装置では、動作起動後に最初の動画像データを記録するように、動作制御部14から必ず開始制御信号が出力されるためである。
【００５７】
このことは、動作が起動されても入力動画像データに変化が検出されなかった場合には、符号化動画像データの記録を行わない上記従来例とは異なる、本実施形態の画像記録装置における特徴の一つである。
【００５８】
前記動画像符号化部12からは、入力動画像データを圧縮符号化処理する際に得られた動きベクトル、画面間の画素値の差分２乗和などが出力されて、変化検出部13へ送られる。
【００５９】
変化検出部13は、前記動画像符号化部12から入力された前記情報を用いて、入力動画像データにおける画像の変化を検出して、動作制御部14へ制御信号を出力する。
【００６０】
該制御信号は、画像が変化の小さい状態から変化の大きい状態へ移ったことを示す第１制御信号、あるいは、画像が変化の大きい状態から変化の小さい状態へ移ったことを示す第２制御信号のいずれかである。
【００６１】
動作制御部14は、前記変化検出部13からの制御信号に基づいて、前記動画像符号化部12、記録制御部17へ記録の開始制御信号、停止制御信号を出力する。
【００６２】
該開始制御信号、停止制御信号は、前記動画像符号化部12での圧縮符号化処理と、符号化動画像データの出力動作と、前記記録制御部17での符号化動画像データの記録媒体18への記録動作との開始、停止をそれぞれ指示するものである。前記変化検出部13、前記動作制御部14の詳細な動作の説明は後述する。
【００６３】
また、前記動作制御部14は、前記開始制御信号、前記停止制御信号を告知部16へも出力する。該告知部16では、入力された前記制御信号に従って、ＬＥＤやランプ等の点灯、あるいは、発音などの手段によって、画像記録装置の動作状態を装置外部へ告知する。
【００６４】
この告知の手段として、ＬＥＤやランプを用いる場合には、前記告知部16は、前記開始制御信号が入力された時に点灯、前記停止制御信号が入力された時に消灯させ、記録動作中はＬＥＤやランプを点灯させておくことによって告知を行う。これらの動作を逆にして、記録中は消灯、停止中は点灯させるようにしても良い。
【００６５】
また、２色発光ＬＥＤなどの手段を用いる場合には、各部における処理そのものが起動されていない非動作状態の時は消灯、停止中は緑色点灯、記録中は赤色点灯させるようにしても良い。
【００６６】
一方、告知の手段として、音を用いる場合には、前記告知部16は、前記開始制御信号、及び／または、前記停止制御信号が入力された時点で、ブザーを鳴動する、「ピー」などの信号音、パルス音信号でスピーカを駆動するなどによって、動作状態が変化したことを装置外部へ告知する。
【００６７】
これ以外にも、一般ユーザ向けであれば「記録を開始します」、セキュリティ監視システムであれば、「異常を発見しました」、「侵入者です」などの音声信号を発することもできる。
【００６８】
システム制御部15は、ボタンやスイッチの操作など、ユーザや外部からの指示を受け付けて、前記各モジュールでの処理の起動、終了など、画像記録装置全体の制御を行う。
【００６９】
また、前記動作制御部14は、前記変化検出部13からの前記制御信号による入力動画像データの変化に基づいた記録の開始、停止の制御以外に、入力動画像データを間欠的に記録する、いわゆるタイムラプス記録も制御する。
【００７０】
この場合、動作制御部14は、前記動画像符号化部12及び前記記録制御部17に対して、数秒などの適当な時間間隔をおいて、１乃至複数の所望の画面だけ入力動画像データを符号化、記録するように制御する。
【００７１】
この制御は、前記適当な間隔で前記開始制御信号を発行して、前記所望した数の画面後に前記停止制御信号を発行することにより行うこともできるし、前記所望の画面数のみ符号化、記録することをパラメータとして指定した前記開始制御信号を前記適当な間隔で発行することにより行うことができる。
【００７２】
このように、前記動作制御部14が、タイムラプス記録を制御する場合も、上述の場合と同様、動作制御部14からの前記開始制御信号、前記停止制御信号に従って、前記告知部16が画像記録装置の動作状態を装置外部へ告知する。
【００７３】
以上説明したとおり、本実施形態においては、変化検出部13で、入力された動画像データにおける画面間での変化を検出して、第１制御信号と第２制御信号とを出力する。前記第１制御信号は、画像の変化が小さい状態から変化が大きい状態に移ったことが検出された時に出力される。前記第２制御信号は、画像の変化が大きい状態から変化が小さい状態に移ったことが検出された時に出力される。
【００７４】
前記第１制御信号及び前記第２制御信号は、動作制御部14に入力される。動作制御部14は、ユーザの操作などの外部からの指示によって、制御動作が起動されると、入力動画像データの記録を開始するように制御する。
【００７５】
これは、動画像符号化部12に対して、入力動画像データを符号化して、符号化動画像データを出力する処理を開始するように指示すると共に、記録制御部17に対して、動画像符号化部12から出力される符号化動画像データを記録媒体18へ記録するように指示することによって行う。
【００７６】
この後、予め定められた時間T2の間、前記変化検出部13からの前記第１制御信号の入力が無かった場合、動作制御部14は、入力動画像データの記録を停止するように制御する。
【００７７】
これは、上記とは逆に、動画像符号化部12に対しては、入力動画像データの符号化と符号化動画像データの出力とを停止するように指示すると共に、記録制御部17に対しては、符号化動画像データの記録媒体18への記録動作を停止するように指示することによって行う。
【００７８】
また、記録停止中に、前記変化検出部13から、前記動作制御部14に前記第１制御信号が入力されると、動作制御部14は、制御動作が起動された場合の上述の動作と同様に、入力動画像データの記録を開始するように制御する。
【００７９】
こうして、記録中の状態になると、動作制御部14は、前記変化検出部13から入力される第２制御信号を待ち続ける。そして、前記動作制御部14に前記第２制御信号が入力されると、予め定められた時間T1の間、前記変化検出部13からの前記第１制御信号の入力が無かった場合、動作制御部14は、入力動画像データの記録を停止するように制御する。
【００８０】
この記録を停止する制御は、上述の動作と同様である。ここで、前記時間T1と前記時間T2とは、異なる値を独立に設定可能である。また、この前記時間T1と前記時間T2とは、工場出荷時にメーカが任意に設定したものであっても、ユーザが任意に可変して設定できるものであっても良い。
【００８１】
さらに、前記動作制御部14は、入力動画像データの記録を開始するように制御する時に、告知部16に対して、記録を開始することを通知する。また、前記動作制御部14は、入力動画像データの記録を停止するように制御する時にも、告知部14に対して、記録を停止することを通知する。
【００８２】
前記告知部14は、これらの通知を受けて、記録開始時にはＬＥＤ、ランプなどを点灯し、記録停止時にはこれを消灯するなどして、動作状態を外部へ告知する動作を行う。
【００８３】
尚、告知部14は、ＬＥＤやランプを点灯、消灯すると同時、あるいは、それらの代わりに音を発することによって、記録の開始、記録の停止を告知することもできる。
【００８４】
ここで、音を発するタイミングは、その音を含めて記録したい場合は、動画像符号化部12、記録制御部17の動作開始後の適当なタイミング、前記の音を記録したくない場合には、動画像符号化部12、記録制御部17の動作開始直前とすれば良い。
【００８５】
次に、本実施形態の画像記録装置における動画像符号化部12の概略構成を図２に示す。尚、図２において、変化検出部13、動作制御部14は、図１とともに上述したものと同様である。
【００８６】
動画像符号化部12は、入力動画像データの符号化対象画面と参照画面との間で動きベクトルの検出、動き補償予測を行って予測誤差を出力する動き補償予測部21と、予測誤差を符号化して符号化動画像データを出力する予測誤差符号化部22と、参照画面を格納しておくフレームメモリ部23と、動画像符号化部12の各部を制御する符号化制御部24とから構成されている。
【００８７】
前記動き補償予測部21は、入力動画像データの符号化対象画面と、フレームメモリ部23から読み出した参照画面との間でフレーム／フィールド間予測を行って、参照画面に含まれる情報から、符号化対象画面に対する予測値を作成する。
【００８８】
そして、符号化対象画面の各画素に対して、予測値との差分を予測誤差として出力する。前記フレーム／フィールド間予測においては、単純に、符号化対象画面の画素に対して、参照画面中で同一位置にある画素の値を予測値とする以外に、動画像データに含まれる動きを考慮して、動きを補正する動き補償予測が用いられる。
【００８９】
前記動き補償予測では、まず、符号化対象画面を所定の大きさの領域、例えば16×16画素、8×8画素などから成る矩形領域、であるブロックに分割する。そして、参照画面内で各ブロックの予測値として適切なブロックを探索する。
【００９０】
一般的には、この探索は参照画面中の予め設定された範囲内で、ブロックの位置を少しずつ動かして、当該位置のブロックが予測値として適切か否かを判定することによって行っている。
【００９１】
適切であることの判定基準には、ブロック内の各画素値の差分２乗和、差分絶対値和などが用いられる。このようにして、符号化対象画面のあるブロックに対し、参照画面内で当該ブロックの予測値として探索されたブロックの位置のずれは、動きベクトルとして表現される。
【００９２】
また、前記動き補償予測部21では、各ブロックについて動き補償の有り、無し(動きベクトルをゼロとして、同一位置のブロックを予測値とする)、あるいは、画面間の予測を行わずに符号化対象画面の当該ブロックの画素値そのものを符号化対象とする(フレーム内モード、イントラモードと呼ばれる)か、の判定処理が行われる。
【００９３】
この判定処理では、各ブロックについて、動き補償の有無に関しては、動き補償無しの誤差エネルギー(ブロック内画素値の差分２乗和、差分絶対値和など)と、動き補償後の誤差エネルギーとの比較、画面間の予測を行うか否かに関しては、動き補償無しあるいは動き補償予測後の誤差エネルギーと、ブロック内画素のエネルギー(画素値の２乗和など)との比較を行う。
【００９４】
前記動き補償予測部21は、上述のような処理の過程で得られた符号化対象画面の各ブロックに対する動きベクトル、動き補償無し(動きベクトル＝０)の誤差エネルギー(参照画面の同一位置のブロックとの画素値の差分２乗和)などを変化検出部13へ出力する。
【００９５】
また、予測誤差符号化部22は、前記動き補償予測部21から出力される予測誤差、あるいは、イントラモードのブロックについては画素値そのものに対して、ＤＣＴなどの直交変換、変換係数の量子化、量子化結果であるインデックスの可変長符号化などの処理を行って符号化動画像データを出力する。
【００９６】
前記符号化動画像データには、画像そのものの符号化結果である可変長符号化後の符号語の他に、画面サイズ、画面番号、符号化方法の識別などを含むヘッダ情報や、量子化幅、選択した符号化モードを示す属性情報、前記動き補償予測部21で予測に用いた動きベクトル値、などの情報も含まれている。
【００９７】
このため、前記予測誤差符号化部22において、前記符号化動画像データを作成するために必要なこれらの情報は、前記動き補償予測部21、符号化制御部24などから入力される。
【００９８】
また、現在の符号化対象画面の符号化結果は、次の符号化対象画面に対する予測の参照画面として利用する。このため、前記予測誤差符号化部22では、符号化した予測誤差を自分自身で復号する処理を行い、予測誤差の復号結果を出力する。
【００９９】
前記出力された予測誤差の復号結果は、前記動き補償予測部21から出力された当該符号化対象画面に対する予測値と加算されて、符号化対象画面の復号結果である復号画面が作成される。
【０１００】
該復号画面は、動画像符号化部12が、画像再生装置などの動画像復号化手段において、出力される符号化動画像データを復号した時に得られる画像を想定して、前記動画像符号化部12の内部で作成したものであり、局部復号画像と呼ばれる。
【０１０１】
現在の符号化対象画面に対する局部復号画像は、次の符号化対象画面での予測の参照画面として利用するため、フレームメモリ部23に格納する。
【０１０２】
符号化制御部24は、動画像符号化部12内の上述した各部の制御を行う。前記符号化制御部24は、入力動画像データの符号化処理において必要となる量子化幅などのパラメータの決定と指示、符号化対象とする画面のフレーム間隔の指定、などの制御のほかに、各部の処理動作の起動、終了などの動作の制御も行う。
【０１０３】
符号化制御部24には、動作制御部14から、動画像符号化部12での処理動作の起動、終了の制御、符号化処理の開始制御信号、停止制御信号が入力される。
【０１０４】
符号化制御部24は、前記動作制御部14から、処理動作の起動が指示されると、前記動き補償予測部21、前記フレームメモリ部23が処理を開始するように起動し、前記予測誤差符号化部22は起動しない。
【０１０５】
これは、この段階では、動き補償予測部21が、変化検出部13へ動きベクトル、ブロック内画素値の差分２乗和などを求めて出力するためと、それに伴ってフレームメモリ部23は参照画面を格納し、前記動き補償予測部21へ供給するために、それぞれ処理を起動しなければならないが、実際の符号化処理は必要ないため、予測誤差符号化部22を起動する必要は無い。
【０１０６】
また、前記動き補償予測部21での処理は、前記動きベクトル、前記差分２乗和を変化検出部13へ出力すれば十分であるため、該動き補償予測部21でのすべての処理を行う必要は無い。
【０１０７】
この時、予測誤差符号化部22は処理を行っておらず、前記局部復号画像は得られないため、参照画面として局部復号画像を利用することはできない。そのため、符号化制御部24は、入力動画像データの画面を、次の対象画面の動き補償予測における参照画面としてフレームメモリ部23へ格納するように、該フレームメモリ部23の入力を切り替えておく。
【０１０８】
また、前記動き補償予測部21が前記動きベクトル、前記差分２乗和を求める処理の対象とする画面は、入力動画像データの全ての画面でも良いし、実際に符号化処理を行う際と同様に、入力動画像データからいくつかの画面を間引いて駒落としした画面であっても良い。
【０１０９】
一般に、動画像の符号化処理においては、動き補償予測処理にかかる処理量が非常に多く、全体の処理に占める割合も大きいため、前記動き補償予測部21は、所定の駒落としを行った後の動画像データの画面に対してのみ実時間処理が行えるように設計される。
【０１１０】
このような場合には、前記後者の駒落としした後の画面を処理する方法が採用される。尚、フレームメモリ部23に格納する画面は、処理の対象となった画面でも良いし、駒落としされて処理されなかった画面であっても良い。
【０１１１】
次に、動作制御部14から、開始制御信号が入力されると、符号化制御部24は、上記に加えて、前記動き補償予測部21のすべての処理と、予測誤差符号化部22での処理を起動して、入力動画像データを符号化処理して符号化動画像データを出力するように制御する。
【０１１２】
ここで、フレームメモリ部23には、局部復号画像が格納されるように、その入力を切り替える。従って、動き補償予測部21は、フレームメモリ部23に格納された局部復号画像を参照画面として、通常の符号化処理における動き補償予測処理が可能となる。
【０１１３】
この後、動作制御部14から、停止制御信号が入力されると、符号化制御部24は、予測誤差符号化部22、動き補償予測部21での不要な処理を停止し、フレームメモリ部23の入力を入力動画像データの画面とするように切り替える制御を行い、動画像符号化部12は上述した処理の起動後の状態に戻る。
【０１１４】
以上説明したとおり、本実施形態においては、前記動画像符号化部12が、入力動画像データの符号化対象画面と参照画面との間で、動きベクトル検出、動き補償予測などを行う動き補償予測部21と、予測誤差を符号化する予測誤差符号化部12と、参照画面を格納しておくフレームメモリ部23とを含んでいる。
【０１１５】
前記予測誤差符号化部22は、動画像符号化部12が符号化処理を行っている時に動作して、符号化動画像データを出力する。一方、動き補償予測部21は、動画像符号化部12が符号化処理を行っていない間も動作しており、検出された動きベクトル、及び、対象画面と参照画面とで同一位置のブロック間での画素の輝度値の差分２乗和を、前記変化検出部13へ出力する。
【０１１６】
前記差分２乗和は、動き補償を行わない、即ち、動きベクトルがゼロの場合の画面間差分として計算したものである。前記変化検出部13は、動き補償予測部21からの動きベクトル、差分２乗和を用いて、画像の変化を検出する。
【０１１７】
ここで、フレームメモリ部23には、前記動き補償予測部21での予測参照画面が格納されている。次の入力画面の予測において、参照するためにフレームメモリ部23に格納される画像は、動画像符号化部12が符号化動作中の場合は、動画像符号化部12における現在の符号化対象画面の局部復号画像、動画像符号化部12が動作停止中の場合は、符号化処理を施していない入力動画像データの画面である。
【０１１８】
このように、変化検出部13で用いる動きベクトル、差分２乗和の検出には、動画像符号化部12の一部の処理部を共用している。従って、入力画像の変化を検出するために必要となる新たな処理を追加することなく、画像の変化に応じた記録の開始、停止の自動制御機能を、容易に実現することが可能である。
【０１１９】
図４に前記動作制御部14における状態遷移を示す。尚、図４において、状態間の遷移を示す矢印に付してある説明は、“／”の前が当該状態遷移の契機となる信号の入力やイベントの発生を示し、“／”の後が状態遷移に伴って出力される信号やその際に行われる処理を示している。
【０１２０】
動作制御部14は、何の動作も行っていない非動作状態41と、前記動画像符号化部12での符号化処理、前記記録制御部17での記録媒体18への記録を行っている記録中状態43と、起動されてはいるが、符号化処理、記録は行っていない停止中状態42と、前記記録中状態43と同様に符号化処理、記録を行ってはいるが、前記停止中状態42へ移行するまでの時間待ちを行っている停止待ち状態44との四つの状態を持ち、これらを管理している。
【０１２１】
次に、図４に従って、動作制御部14の動作を説明する。また、動作制御部14の制御動作に従った符号化処理、記録の開始、停止の様子の例を、図３に示す。
【０１２２】
動作制御部14は、画像記録装置の電源投入直後など、該動作制御部14の制御に基づく符号化、記録動作、いわゆる自動記録モード、が起動されていない場合は、非動作状態41にある。
【０１２３】
ユーザが画像記録装置のボタンの押下、スイッチの切り替えなどの操作を行う、あるいは、装置外部からの制御信号、コマンド信号の入力などによって、動作制御部14の動作(自動記録モード)の起動が指示されると、動作制御部14は、前記動画像符号化部12の前記符号化制御部24、前記記録制御部17に対して起動制御信号を出力して動作の起動を指示する。
【０１２４】
引き続き、動作制御部14は、前記動画像符号化部12の前記符号化制御部24、前記記録制御部17に対して開始制御信号を出力して、符号化処理、記録の開始を指示する。動作制御部14は、時間待ちのタイマの値を時間T2にセットして、停止待ち状態44へ移行する。
【０１２５】
ここで、前記タイマは、時間の経過に従って、値が減算されるタイマである。このような処理により、本実施形態の画像記録装置では、起動直後から、図３に示す初期画面記録区間31のT2時間分の画像が必ず記録される。これは、上記従来例には見られない本実施形態の画像記録装置の特徴の一つである。
【０１２６】
次に、停止待ち状態44において、前記タイマが満了、即ち、タイマにセットされた時間が経過して、タイマ値がゼロになると、動作制御部44は、前記動画像符号化部12の前記符号化制御部24、前記記録制御部17に対して停止制御信号を出力して、符号化処理、記録の停止を指示する。そして、画像の符号化、記録が停止され、動作制御部14は、停止中状態42へ移行する。
【０１２７】
前記停止中状態42において、変化検出部13から画像の変化が大きい状態に移ったことを示す第１制御信号が入力されると、動作制御部14は、前記動画像符号化部12の前記符号化制御部24、前記記録制御部17に対して開始制御信号を出力して、符号化処理、記録の開始を指示して、記録中状態43へ移行する。
【０１２８】
前記記録中状態43においては、動作制御部14は、タイマによる経過時間の監視を行っていないことが、前記停止待ち状態44との違いである。記録中状態43において、変化検出部13から画像の変化が小さい状態に移ったことを示す第２制御信号が入力されると、動作制御部14は、タイマの値を時間T1にセットして停止待ち状態44へ移行する。
【０１２９】
この時、開始制御信号、停止制御信号などの外部への出力は行われず、動作制御部14の内部状態が変化するのみである。このようにして、図３に示す画像の変化の大きい区間32と引き続くT1時間分の画像が記録される。
【０１３０】
また、前記停止待ち状態44において、変化検出部13から第１制御信号が入力されると、動作制御部14は、記録の対象とすべき変化の大きい動画像データが入力されたと判定して、記録中状態43へ移行する。この時、停止待ち状態44で使用していたタイマは、移行先の記録中状態43では、もはや使用しないため、タイマを停止しておく。
【０１３１】
そしてまた、前記停止待ち状態44では、符号化、記録の処理は既に実行中であり、処理を継続すれば良いため、開始制御信号、停止制御信号などは出力しない。
【０１３２】
このような例が、図３における区間33及び区間34である。画像の変化が大きい区間である区間33及び区間34の間には、本来、記録の対象とならない画像の変化が小さいT1時間以下の長さの区間が存在している。それにも関わらず、本実施形態の画像記録装置では、区間33の初めから、区間34が終了してT1時間が経過するまでの画像が記録される。
【０１３３】
区間33の終わりで変化検出部13から第２制御信号が出力されると、動作制御部14はタイマ値をT1にセットして停止待ち状態44へ移行する。ここで、タイマ満了前、つまりT1時間経過以前に、区間34の初めで変化検出部13から第１制御信号が出力されると、動作制御部14は記録中状態43へ移行して、記録を継続する。
【０１３４】
上記従来例では、区間33と区間34との間は記録されず、区間33の終わりと区間34の初めとが繋がって記録されるため、つなぎ目において動きや変化が不自然に変化する画像となったり、記録の開始、停止の頻繁な切り替えが発生したりしていたが、本実施形態の画像記録装置においては、連続した画像が記録され、頻繁な切り替えも発生しない。
【０１３５】
前記停止中状態42、記録中状態43、停止待ち状態44のそれぞれの状態において、ユーザが画像記録装置のボタンの押下、スイッチの切り替えなどの操作を行う、あるいは、装置外部からの制御信号、コマンド信号の入力などによって、動作制御部14の動作(自動記録モード)の終了が指示されると、動作制御部14は、前記動画像符号化部12の前記符号化制御部24、前記記録制御部17に対して終了制御信号を出力して動作の終了を指示する。
【０１３６】
これに従って、動画像符号化部12、記録制御部17、動作制御部14は、記録中の画像の終端など、動作を終結するための処理を行い、処理動作を終了する。動作制御部14は、非動作状態41へ移行する。
【０１３７】
上述の説明において、時間T1と時間T2とは独立して設定され、異なる値でも同一の値でも良い。また、時間T1と時間T2との大小関係も、用途や目的に応じて任意に設定することができる。
【０１３８】
ここで、T1 = T2 = 0に設定すれば、変化が大きい区間32、33、34の画像のみが記録されることとなり、従来の監視システムなどにおける画像記録装置と同様な動作となる。また、T1 = 0、T2≠0に設定すれば、変化が大きい区間32、33、34の画像に加えて、それらの最初に初期画像、基準画像を追加した画像が記録される。
【０１３９】
図５に、変化検出部13での処理を示すフローチャートを示す。変化検出部13は、第１制御信号、第２制御信号にそれぞれ対応する画像の変化が小さい状態から大きい状態への移行、画像の変化が大きい状態から変化が小さい状態への移行、を管理するための状態変数を内部に保持している。
【０１４０】
まず、変化検出部13の処理が開始されると、状態変数に、画像の変化が小さい状態であることを示す「変化未検出」を設定する(ステップS1)。次に入力動画像データの処理対象画面、１画面分の処理を開始する。まず、カウンタの値を０にリセットする(ステップS2)。
【０１４１】
そして、ブロックに対する動きベクトル値(ステップS3)、ブロック内画素の輝度値に対する差分２乗和(ステップS5)が入力される。前記ステップS3で入力された動きベクトル値は、２次元のベクトル量であるから、これから評価に用いる動きベクトルの大きさを求める(ステップS4)。
【０１４２】
動きベクトル値を、MV=(Vx, Vy)とすると、求める動きベクトルの大きさ(長さ)MVlは、例えば、
MVl = (Vx 2 + Vy 2)1/2
として計算される。
【０１４３】
上述したように、動きベクトル値としては、動画像符号化部12の動き補償予測部21で求められたものを用いている。例えば、動き補償予測部21において、動きベクトルの情報量増加による符号化効率低下を考慮したレート・歪特性最適化探索法によって動きベクトルが求められる場合には、動き補償予測部21において最適と判定された動きベクトルが画像の動きを適切に表現しているとは限らないが、変化検出部13では該動きベクトルをそのまま用いるか、あるいは、動き補償予測部21での探索中に誤差最小となった動きベクトルを符号化処理に用いるものとは別に変化検出部13へ出力する。
【０１４４】
また、動き補償予測部21で、動きベクトル探索の処理量を削減するために、ステップサーチなど簡略化した探索手法が用いられる場合には、該手法で求められた動きベクトルを変化検出部13へ出力し、変化検出部13で用いる動きベクトルを求めるために処理量が増加することを避ける。
【０１４５】
さらに、画面全体の動きを表すグローバル動きベクトルと局所的な動きを表す局所動きベクトルを別に探索するグローバル動き補償などの手法が用いられる場合には、変化検出部13に対して、前記両方の動きベクトルを出力して、変化検出部13では、グローバル動きベクトルに局所動きベクトルを加算して用いるか、前記局所動きベクトルのみを出力して用いるか、のいずれかとする。後者の方法は、カメラにパン、ズームなどの動きがあっても、画像中の局所的な変化のみを検出したい場合に有効である。
【０１４６】
次に、変化検出部13の内部状態変数に従って処理が分かれる(ステップS6)。状態変数が「変化未検出」の場合、前記ステップS4で求めた動きベクトルの大きさMVlを閾値V1と比較する(ステップS7)。
【０１４７】
MVlがV1以上の場合には、カウンタの値を１インクリメントする(ステップS9)。MVlがV1より小さかった場合には、差分２乗和を閾値S1と比較する(ステップS8)。
【０１４８】
ここで、差分２乗和がS1以上であった場合には、ステップS9へ進んで、カウンタを１インクリメントする。前記ステップS3からステップS9間での処理を、画面内のすべてのブロックについて繰り返す(ステップS10)。
【０１４９】
１画面分のすべてのブロックについて処理が終了すると、カウンタの値を閾値C1と比較する(ステップS11)。ここで、カウンタの値は、対象画面の中で、参照画面との変化が大きいと判定されたブロックの数、即ち、動きベクトルの大きさが閾値V1以上、または、差分２乗和が閾値S1以上となるブロックの数、を表している。
【０１５０】
カウンタの値が、閾値C1以上であった場合は、画像として変化が大きいと判定して、変化検出部13は、第１制御信号を出力する(ステップS12)。そして、変化検出部13の内部状態変数を「変化検出済」に設定しておく(ステップS13)。これで対象画面に対する処理が終了したため、ステップS2に戻って次の対象画面の処理を行う。
【０１５１】
図５のフローチャートでは、ステップS10、ステップS11において、１画面のすべてのブロックについての処理が終了したと判断されてから、カウンタ値を閾値C1と比較している。
【０１５２】
しかし、カウンタの値が変更されるのは、ステップS9において、単純に１ずつインクリメントされる場合のみであり、画面の途中のブロックであっても、ステップS9の後でカウンタ値を閾値C1と比較して、C1以上であればステップS12へ進むようにして、対象画面の残っているブロックの処理を省略することもできる。
【０１５３】
また、画面の途中のブロックにおいて、残りのブロックのすべてが、ステップS7またはステップS8でYesと判定されて、ステップS9でカウントされたとしても、画面内の全ブロックの処理終了時に、カウンタ値がC1以上とはならないことが確定した時点(例えば、現在のカウント＜C1−残りのブロック数)で当該画面の処理を終了し、ステップS2へ戻るようにすることもできる。
【０１５４】
そしてまた、前記ステップS4では、動きベクトルの大きさを求めるために平方根の計算を行っていたが、MVl 2 = (Vx 2 + Vy 2)を判定に用いることとして、平方根の計算を使わないようにすることもできる。
【０１５５】
この時、ステップS7での閾値V1と等価な閾値として、V1 2 を用いれば良く、ステップS7では、前記MVl 2と前記閾値V1 2 とを比較する。このようにすれば、一般に処理の負担が大きい平方根の計算が不要となり、処理時間の短縮、処理の簡略化、処理量の低減を図ることができる。
【０１５６】
さらに、ステップS5、ステップS8では、前記動画像符号化部12の前記動き補償予測部21から差分２乗和を出力して、変化検出部13での処理に用いているが、差分２乗和以外にも、対象画面のブロックと参照画面のブロックとの間で、ブロック内画素値の差分の総和やエネルギーを表現した特徴量であれば、差分絶対値和、周波数成分または視覚特性などで重み付けしたエネルギーなどを利用することができる。
【０１５７】
ところで、前記ステップS6で、変化検出部13内部の状態変数が「変化検出済」であった場合には、ステップS14へ進む。ステップS14〜ステップS20の処理は、前記ステップS7〜ステップS13の処理とほぼ同様である。
【０１５８】
これらの違いは、ステップS14の閾値がV1ではなくV2を用いること、ステップS15の閾値がS1ではなくS2を用いること、ステップS18での閾値としてC1ではなくC2を用いて、カウント値が閾値Ｃ 2 以下か否かの比較を行うこと、ステップS19で第２制御信号を出力すること、ステップS20で状態変数を「変化未検出」に設定することである。
【０１５９】
前記ステップS7〜ステップS13では、入力動画像データでの画像の変化が小さい状態において、大きな変化が生じたことを検出する処理を行っている一方、前記ステップS14〜ステップS20での処理は、これとは逆に、画像の変化が大きい状態で、変化が小さくなったことを検出することに対応する。
【０１６０】
ここで、前記閾値V1、S1、C1と、前記閾値V2、S2、C2とは、独立して設定することができるため、V1とV2、S1とS2、C1とC2は用途や目的に応じて異なる値、もしくは、同一の値に設定することができる。
【０１６１】
例えば、侵入者の出現など、比較的大きな変化のみを検出するためには、V1、S1、C1を大きな値とすれば良く、逆に、ごくわずかな変化でも検出できるようにするには、V1、S1、C1を小さな値とする。
【０１６２】
また、記録の停止の契機となる第２制御信号を出力するための判定条件についても、V2、S2、C2の値によって、適当に設定することが可能である。これらの値は、前記V1、S1、C1の値と独立である。
【０１６３】
図５のフローチャートにおいては、状態変数に従って前記ステップS6で処理の分岐を行うようにしたが、例えば、処理を分岐させずにステップS7、ステップS8、ステップS11で、状態変数によって使用する閾値の値を切り替えるようにすることもできるし、１画面の処理の初めであるステップS2の直前で分岐するなど、上述の処理と等価な処理結果が得られれば、処理の順序などを限定するものではない。
【０１６４】
さらに、前記ステップS10、ステップS17で、対象画面内のすべてのブロックを処理対象とするようにしたが、例えば、画面の端のブロックは処理に用いないようにすることもできる。
【０１６５】
このようにすると、画面の上下左右の端など、画像信号のタイミングジッタ、撮像時の雑音、インタレース形式からプログレッシブ形式に変換した画像における走査線のちらつきなどによる変化検出部13での処理への影響を避けることができる。
【０１６６】
従って、これらの雑音が誤って画像の変化として検出されないようになり、雑音を含む入力動画像データに対しても、正しく確実に画像の変化を検出することができるようになる。
【０１６７】
以上説明したとおり、本実施形態においては、変化検出部13には、動画像符号化部12から、入力された動画像データの画面を所定の大きさに分割したブロックに対する動きベクトル値、及び、画面間で同一位置のブロックに対する画素の輝度値の差分２乗和が入力される。
【０１６８】
変化検出部13は、画像の変化が小さい状態から変化が大きい状態に移ったことを検出する際に、前記各ブロックについて、差分２乗和と予め定められた閾値S1、動きベクトルの長さと予め定められた閾値V1とを比較する。
【０１６９】
この比較を画面内のすべてのブロックについて行い、差分２乗和が閾値S1以上、または、動きベクトルの長さが閾値V1以上であるブロックの数をカウントする。該カウント結果が予め定められた閾値C1以上であった場合、第１制御信号を出力する。
【０１７０】
また、画像の変化が大きい状態から変化が小さい状態に移ったことを検出する時には、差分２乗和が閾値S2以上、または、動きベクトルの長さが閾値V2以上であるブロックの数をカウントして、カウント結果が閾値C2以下であった場合に、第２制御信号を出力する。
【０１７１】
尚、これまでの説明では、主に動画像データを記録する場合について述べてきたが、本実施形態の画像記録装置は、画像に加えて音声データも記録するように構成しても良い。
【０１７２】
この場合、入力音声データに対しても、入力動画像データと同様、動作制御部14からの開始制御信号、停止制御信号などに従って、符号化、記録などの処理が開始、停止される。
【０１７３】
音声データの場合、画像と比較して情報量が少ないため、圧縮符号化処理を行わずに、入力された音声データをそのまま記録する場合もある。また、記録の開始、停止時点における画像と音声の同期を保つため、同時に発生、入力された動画像データ、音声データから記録を開始し、同時に発生、入力された動画像データ、音声データで記録を停止するように、符号化処理、記録などが制御される。
【０１７４】
また、動画像データと音声データとの両方を記録媒体18へ記録するため、記録制御部17は、記録媒体18での記録フォーマット、ファイルフォーマットに従って符号化動画像データ、(符号化)音声データの多重化処理を行う。
【０１７５】
また、上述の一実施形態においては、本発明を画像記録装置に応用した場合の例について述べたが、例えば、変化があった動画像データを、伝送路を介してセンタ装置や相手端末などへ送出する画像伝送装置に応用することも可能である。
【０１７６】
この場合、記録制御部17は、回線の接続、通信プロトコル処理、符号化動画像データの伝送用フォーマットへの成形などを行う通信制御部に、記録媒体18は、通信回線などの伝送路に、それぞれ置き換えられる。その他の構成は、上述した本発明の一実施形態に係る画像記録装置と同様である。
【０１７７】
この時、変化検出部13で、入力された動画像データに変化があったと判定されて、動作制御部14から開始制御信号が出力されると、通信制御部は、回線の接続を行って通信相手へ符号化動画像データを送出する。
【０１７８】
ここで、前記通信制御部が行う回線の接続は、発呼などの物理的な回線接続処理でも良いし、伝送路としてＬＡＮのようなコネクションレス型のネットワークを用いる場合には、論理的な接続を行えば良い。
【０１７９】
また、パケット交換網のように動作停止中は物理的な接続は保持されたまま、データ送出を行っていない場合には、接続手順を明示的に実行する必要はないが、通信制御部は、動作制御部14から出力される開始制御信号に従って、動画像符号化部12から出力された符号化動画像データを順次送出することとなる。
【０１８０】
そしてまた、変化検出部13で、入力された動画像データの変化が小さくなったと判定された後、動作制御部14から停止制御信号が出力されると、通信制御部は、上記とは逆に回線の切断を行って通信相手への符号化動画像データの送出を停止する。
【０１８１】
この回線の切断は、画像伝送装置が接続されている伝送路の種類に応じて、物理的、あるいは、論理的な接続の切断処理であるのは、上述の説明と同様である。
【０１８２】
【発明の効果】
本願請求項１に記載の発明は、画像の変化が小さくなったことが検出されてから、予め定められた時間が経過した後に、記録／伝送を停止するよう制御するため、変化が生じた画像に引き続いて、侵入者や異常が解消、もしくは、観察対象が動作停止、消失した後の背景画像、風景画像などまで、変化が発生してから解消するまでの一連の画像を記録／伝送することができる。従って、自然な流れの画像が得られると共に、変化が解消したことが記録／伝送された画像上で確認できる。
【０１８３】
また、侵入者があった時、該侵入者が一時的に動作を停止した場合などにも、記録／伝送を続けることができるため、監視対象の状況を確実に把握することが可能な画像が得られる。
【０１８４】
さらに、複数の状態変化を一連の画像として記録／伝送する際にも、それらの間に変化が無い様子を挟んだ画像を記録／伝送することが可能であるため、自然な画像が得られるばかりでなく、記録／伝送された画像において、途中に侵入者や異常が解消した状態があったことを確認することができる。
【０１８５】
特に、変化の大きい状態と小さい状態とが繰り返すような画像においても、記録／伝送の開始と停止を頻繁に切り替えることなく、連続した画像として扱うことができる。
【０１８６】
従って、複雑で細かな制御が不要となり、流れや動き、変化が自然な画像を記録／伝送することが可能となり、特に、画像を伝送する場合には、回線の接続に伴って生じる接続遅延、ネゴシエーション遅延、初期伝送遅延などを避けることができる。
【０１８７】
このように、記録／伝送の停止を遅らせるために必要となる処理は、変化が小さいことが検出された後、タイマなどによって、所定の時間T1待たせることで、簡単に実現することができるため、容易に実装することが可能である。そのため、処理に必要となるハードウェア、ソフトウェアの増加がほとんど無く、小型、携帯型の機器においても、手軽に実装することができる。
【０１８８】
さらに、本願請求項１に記載の発明は、動作制御手段により記録／伝送の開始、停止を制御する動作が起動されると、初期状態として、まず記録／伝送を開始するように制御するため、変化が生じる前の監視、観察対象となる背景、風景などのいわゆる基準画像を、最初に記録／伝送しておくことができる。
【０１８９】
従って、後に変化が検出された画像が、記録／伝送された際に、どのような変化が生じたかを一連の画像の中で確認することが可能となる。これは、特に、監視対象が予め特定されているセキュリティ管理システムのようなものではなく、一般の画像を対象とした場合でも、記録／伝送された画像によって、変化が無い状態と変化が生じた状態を共に確認することができるため、予め監視対象に関する知識をもっていなくても、変化の様子や状況を正しく認識することができる。
【０１９０】
このように、変化が無い状態の画像から、変化が発生した画像へ、連続した画像として記録／伝送することが可能であるため、自然な流れの画像を得ることができる。
【０１９１】
また、記録／伝送の制御動作が起動されると、後に画像に変化が生じなかったとしても、最初の画像だけは必ず記録／伝送される。このため、記録／伝送された画像が存在することによって、監視、観察を行ったが、変化が生じなかったという事実を画像による記録／伝送として残すことができる。
【０１９２】
さらに、画像に変化が生じなかった場合には、画像及び付帯情報の記録を行わないように記録途中の情報や、一時的な記録内容を完全に削除するなどの特別な制御が不要となり、前記制御動作の起動時には、必ず、記録領域の確保、付帯情報の記録、伝送リンク確立など予備的な回線接続などを行うように構成すればよく、処理が簡単になる。
【０１９３】
このために必要となる処理は、前記制御に基づく記録動作が起動された後、直ちに記録／伝送を開始しておき、タイマなどによって、所定の時間T2待ってから記録／伝送を停止する制御を追加することで、簡単に実現することができるため、容易に実装することが可能である。そのため、処理に必要となるハードウェア、ソフトウェアの増加がほとんど無く、小型、携帯型の機器においても、手軽に実装することができる。
【０１９４】
さらに、本願請求項１に記載の発明は、変化が生じる前の背景、風景などの画像から始まって、変化が起こった様子、再び変化の無い状態に戻った画像が、一つの連続した画像として、記録／伝送されるため、途中で開始、停止を行うことによって画像の流れや動き、変化などが不連続になったり、不自然になったりすることによる違和感が非常に小さく、より自然な画像を得ることができる。
【０１９５】
本願請求項２に記載の発明は、動作起動時最初に必ず画像を記録／伝送する時間T2と、画像の状態変化が検出された後、変化が小さくなったと判定された後も記録／伝送を続ける時間T1とを異なる値に設定することが可能であるため、これらの時間として用途や目的に応じた適当な値を選択して利用することができる。
【０１９６】
例えば、一旦画像の変化が検出されると、記録／伝送を中断せずに、次に変化が生じるまで記録を続けるように時間T1のみを大きな値に設定したり、基準画像となる初期画像をきっちりと記録／伝送しておきたい場合には、時間T2のみを大きな値にしたりするなど、自由な使い分けができる。
【０１９７】
このように、画像処理装置の応用範囲が広がり、かつ、様々なユーザ、アプリケーションに対して、適切な内容の画像を記録／伝送することができるようになる。
【０１９８】
本願請求項３に記載の発明は、入力された画像における画面間の画素値の差分と、動きベクトルの大きさとの両方に基づいて、画像の変化を検出するため、これらをそれぞれ単独で用いた場合と比較して、両方の利点を有効に活用し、かつ、欠点を補い合って、確実に画像の変化を検出することができるようになる。
【０１９９】
具体的には、動きベクトルを用いて画像の変化を検出しているため、画像中で被写体の動きなどがあった場合に、被写体あるいは動いている領域の大きさが小さかったとしても、変化として検出することができる。
【０２００】
また、画面間の画素値の差分を利用することによって、画像に何らかの変化が生じて、画素値が変動した場合も、確実に変化として検出することができる。加えて、画像の複雑な変化や、色や明るさの変動を伴う動きなど、動きベクトルでは検出できない変化も検出することができるようになる。
【０２０１】
さらに、入力画像に含まれる雑音、照明や明るさの変化、背景や風景がわずかにゆれている画像など、本来、変化として判定したくない画像では、画面間の差分を評価する際の閾値S1、S2を大きな値に設定して、これらが変化と検出されないようにしておき、併用する動きベクトルの評価によって、変化を検出することが可能となる。
【０２０２】
このように、様々な画像や、目的、入力条件に応じて、画像中で変化している部分は少ないが、動きの大きい場合、動きとしては検出することができないが、全体が変化している場合などの両方に適用可能で、柔軟かつ確実に画像の変化を検出することができるようになる。
【０２０３】
本願請求項４に記載の発明は、記録／伝送を開始するように判定する条件と、記録／伝送を停止するように判定する条件とを、それぞれ異なるように設定することができるため、これらの条件を用途や目的に応じて変更することが可能である。
【０２０４】
例えば、侵入者等の観察対象が出現した場合など、比較的変化が大きい画像に対して、記録／伝送を開始すると判定し、その後、観察対象の動きがあまり大きくなくても観察を続けるように、記録／伝送の停止を判定する閾値を小さくして、判定条件を厳しくすることもできる。
【０２０５】
逆に、ごくわずかな変化でも、まずは記録／伝送を開始するようにしておき、大きな変化がなければ、記録／伝送を停止するような判定条件に設定することもできる。また、記録／伝送の開始を判定する閾値と、停止を判定する閾値を同じ値として、これらの条件を同一とすることも容易である。
【０２０６】
このように、目的や、用途、対象とする画像の内容に応じて、適切な判定閾値を設定して、記録／伝送の開始、停止を制御することが可能になるため、画像処理装置の応用範囲が広がり、様々なアプリケーションに利用して、目的に見合った条件で画像の変化を検出することができるようになる。
【０２０７】
本願請求項５に記載の発明は、入力動画像データを記録／伝送するために符号化処理する際の動き補償予測処理で求められる動きベクトルと、画面間の画素値の差分とを用いて画像の変化を検出するようにしているため、画像の変化の検出に必要な特徴量を求めるために、新たな処理を追加する必要が無い。
【０２０８】
画像の変化を検出するために必要となる処理は、前記動きベクトルや、前記差分２乗和を閾値と比較するなどの非常に簡単な処理だけであり、これらの追加による処理量の増加はほとんど無視できる。このため、携帯型の機器など、小型、低消費電力などが求められる場合にも、容易に実装することができる。
【０２０９】
さらに、動画像の符号化手段を備えた一般に広く普及している画像処理装置に対して、上記の簡単な処理を追加するだけで、画像の変化に応じた記録／伝送の開始、停止の自動制御機能を持たせることが容易となる。従って、これらの装置でディジタル画像処理を行っていることのメリットを最大限に発揮して、簡単に機能の追加、拡張が行えることによる用途展開、普及拡大を図ることができる。
【０２１０】
本願請求項６に記載の発明は、符号化、記録／伝送中の処理動作中と停止中とでフレームメモリを共用することができる。特に、フレームメモリなどのメモリの量は、機器への実装における実装面積、コスト、消費電力などに与える影響が大きいため、動画像符号化処理のための前記フレームメモリを共用して、メモリ量を増加させずに記録／伝送の自動制御機能を追加できることは、装置の小型化、経済化、低消費電力化において非常に有用である。
【０２１１】
また、フレームメモリの入力を切り替える機能を追加するだけで実現できるため、非常に簡単な変更ですみ、動き補償予測手段は、記録／伝送の動作中、停止中の状態に関わらず、常に前記フレームメモリから参照画面を読み出せば良いため、通常の動画像符号化処理のための動き補償予測処理部をそのまま利用することができる。
【０２１２】
さらに、記録／伝送の停止中は、入力動画像データの画面をそのままフレームメモリに格納するため、予測誤差符号化部での局部復号処理が必要なく、前記予測誤差符号化部の処理を完全に停止して、消費電力の削減などを図ることができる。
【０２１３】
本願請求項７に記載の発明は、告知手段によって画像処理装置が記録中／伝送中であるか、停止中であるかの動作状態を告知することが可能であるので、ユーザは装置の動作状態を離れた位置から容易に判別することができるようになる。
【０２１４】
すなわち、装置とは離れた位置にいるユーザに対しても、動作状態を告知することができるため、ユーザは画像処理装置の状態を確認するために該装置のビューファインダ、モニタ画面などを見る必要はない。従って、被写体の動きや変化に従って、記録／伝送の開始、停止が目的に沿って正しく制御されているか否かを、容易に確認することができる。
【０２１５】
さらには、ユーザ自身が被写体となって、画像処理装置の状態を確認しながら、自分の画像を撮影したり、写真機のセルフタイマーの代わりに動きや変化などによって記録／伝送を開始させてその状態を確認したり、停止中に被写体を移動させておいて、記録／伝送された画像でアニメーションを作成したり、などのように、いわゆる監視システム向けではない画像処理装置の新たな応用分野への展開を図ることが可能となる。
【０２１６】
本願請求項８に記載の発明は、ＬＥＤもしくはランプの点灯によって、記録中／伝送中であることを告知することができるため、視認性が高く、ユーザは遠く離れた位置からも容易に装置の動作状態を認知することが可能となる。
【０２１７】
特に、ＬＥＤを用いた場合、非常に小型で、消費電力もほとんど必要ないため、告知手段を設けることによるコスト、消費電力、大きさの増加がほとんど無く、機構やデザインなどの実装上の制約もほとんど無い。従って、小型、携帯型機器に好適であり、簡単に実装することができる。
【０２１８】
本願請求項９に記載の発明は、音を発することによって、記録／伝送が開始されたこと、停止されたことを告知することができるため、ユーザは画像処理装置を視認していなくても、容易に動作状態の変化を認知することが可能となる。
【０２１９】
すなわち、装置を部屋の隅や隠れた場所に設置するなど、監視システムにおいてしばしば行われる設置方法においても、動作状態の認識が可能である。このため、上述のユーザ自身が被写体となる場合などにも、ユーザが装置の方を向いている必要が無く、横顔や後ろ姿などの画像を撮影することが可能となる。
【０２２０】
また、告知手段より発した音が、画像と共に記録／伝送されるように、記録／伝送の動作開始直後のタイミングで告知するようにすれば、記録／伝送の開始と停止の繰り返しが連続して記録／伝送された画像において、前記告知の音を識別することによって、記録／伝送が開始された位置、即ち、数回の繰り返しのつなぎ目を、後から容易に特定することが可能になる。
【０２２７】
また、本願発明においてその実施形態に示したように、入力動画像データを間欠的に記録／伝送するタイムラプス記録／伝送を行っている際に、記録／伝送するタイミングを告知することによって、ユーザは離れた位置から、装置がいつ記録／伝送を行っているかを容易に判別することが可能になる。
【０２２８】
すなわち、装置とは離れた位置にいるユーザに対しても、記録／伝送タイミングを告知することができるため、記録／伝送のタイミングを確認しながら、その間の停止中に被写体を移動させておいて、記録／伝送された画像でアニメーションを作成したりすることが簡単に行えるようになる。
【０２２９】
また、ユーザ自身が被写体となって、写真機のセルフタイマー撮影のように自分の画像を撮影する際にも、記録／伝送のタイミングを容易かつ明確に認識することができるため、目的通りの画像を確実に記録／伝送することができるようになり、失敗することも少なくなる。
【０２３０】
これらによって、監視システムなどの特殊用途向けだけではなく、一般ユーザが様々な目的で手軽に利用できるようになり、画像処理装置の新たな応用展開を図ることが可能となる。
【図面の簡単な説明】
【図１】本発明の画像処理装置の一実施形態における概略構成例を示すブロック図である。
【図２】本発明の画像処理装置の一実施形態における主要部の構成例を示すブロック図である。
【図３】本発明の画像処理装置の一実施形態による記録の開始、停止の動作例を示す説明図である。
【図４】本発明の画像処理装置の一実施形態における動作制御部の状態遷移例を示す説明図である。
【図５】本発明の画像処理装置の一実施形態における変化検出部の動作例を示すフローチャートである。
【符号の説明】
１１ カメラ部
１２ 動画像符号化部
１３ 変化検出部
１４ 動作制御部
１５ システム制御部
１６ 告知部
１７ 記録制御部
１８ 記録媒体
２１ 動き補償予測部
２２ 予測誤差符号化部
２３ フレームメモリ部
２４ 符号化制御部
【発明の属する技術分野】
本発明は、動画像を撮影して記録又は伝送する画像処理装置に関し、より詳細には、監視システムや動物、植物などの生態の観察などに用いた場合に好適な、記録／伝送の開始、終了を入力画像の変化に従って、自動的に制御する自動撮影機能を備えた画像処理装置に関するものである。
【０００２】
【従来の技術】
近年、画像のディジタル信号処理技術、ディジタル符号化技術の進歩、発展により、画像機器のディジタル化が進展している。画像記録装置の分野でも、ディジタルビデオカメラやディジタルスチルカメラなどが普及しており、これらの機器では、入力された画像信号はまずディジタル化され、符号化などの信号処理から媒体への記録までの処理において、画像信号は全てディジタル情報として取り扱われている。
【０００３】
このように、画像機器内部でディジタル信号処理が行われることが一般的になると、符号化、記録フォーマットへの変換などの該機器の本来の目的のために必要となる機能以外にも信号処理機能を追加して、様々な機能を実現することが容易となる。
【０００４】
それらの追加機能の代表的なものとして、セキュリティ管理や動植物の生態観察などの監視システムに用いられる自動撮影機能がある。これは、例えばセキュリティ管理においては、カメラなどの撮像手段を、監視対象に向けて常設しておき、侵入者や異常の発生などによって、画像内容が変化したことを検出し、変化があった際の画像を記録、もしくはセンタ装置などへ伝送することによって、異常の通知、侵入者の特定、状況の把握／確認などに用いると共に、記録容量、伝送コストなどを節約する機能である。
【０００５】
また、生態観察の例では、対象となる動物などが出現した画像のみを記録、伝送したり、植物の開花、昆虫の脱皮などゆっくりと変化する現象の画像を数秒〜数十秒間隔で記録、伝送したりする機能が実現される。
【０００６】
上述のような監視システムへの応用では、アプリケーションの性格上、使用者が常時機器を操作することはできないため、重要となる要素技術は、入力画像信号から画像の内容が変化したことを検出する技術と、その検出結果に従って、画像の記録、伝送を自動制御する技術である。
【０００７】
ところで、画像、特に動画像はデータ量が非常に多いため、記録、伝送を行う際には、通常は符号化により情報量を圧縮している。一般的に動画像の符号化では、フレーム／フィールド間予測を用いて画面間で変化があった情報のみを抽出して利用している。
【０００８】
従って、ある画面に対しては、予測の際に参照した以前の画面からの差分情報のみが符号化データとして記録、伝送される。また、画面間での予測の際には、画面を分割した局所領域ごとに予測参照画面からの動きを検出して、この動きを補正する処理が併用される。
【０００９】
このような処理は、動き補償と呼ばれる。また、局所領域の動きは、動きの水平成分の大きさと垂直成分の大きさとから成る２次元ベクトル値として表すことができるため、動きベクトルと呼ばれる。
【００１０】
このように、動画像の符号化処理では、入力画像信号において画面が変化した成分を抽出して、これを処理の対象としている。これは、上述の監視カメラシステムにおける画像の変化の検出と同等な技術のため、動画像符号化における処理を流用、あるいは、共用した監視カメラシステムが実現されている。
【００１１】
このような従来の監視カメラシステムとしては、例えば、特開平6-153199号公報、特開平10-285542号公報、特開平10-322682号公報、特開平11-18076号公報などに記載の装置が知られている。これらの従来技術について、以下に説明する。
【００１２】
特開平6-153199号公報には、状態変化検出手段において、入力画像情報または圧縮処理が行われた後の圧縮画像情報に基づいて状態変化を検出し、変化が検出されると、伝送手段を起動して、状態が変化した前後の圧縮画像情報を監視ステーションなどに伝送する監視装置が提案されている。
【００１３】
さらに、該公報においては、状態変化検出手段として、赤外線センサやレーザビームを用いて人の侵入を感知するものの他に、最新の圧縮画像と基準圧縮画像、もしくは、圧縮前の入力画像と基準画像との画素ごとの差分に基づいて、状態の変化を検出することが開示されている。
【００１４】
尚、画素ごとの単なる差分ではなく、画像をブロックに分割して、各ブロックについてブロック内の全画素の輝度値を累算して、該累算値の画像毎の変化量から物体の有無を検出する方法が、例えば特開平9-251541号公報にて開示されている。
【００１５】
次に、特開平10-285542号公報には、入力画像のうち所定の画像を記憶手段に記憶しておき、入力画像と前記所定の画像とを比較手段で比較して、比較の結果に対応して前記入力画像の録画の開始または停止を制御する録画装置が提案されている。
【００１６】
また、該公報においては、比較手段として、前記所定の画像を予測参照画像として、前記入力画像における動きベクトルを検出し、該動きベクトルに従って動き補償した後の残差を閾値と比較すること、及び、前記動きベクトル検出と前記動き補償には、画像の圧縮符号化手段における当該処理部を共用することが開示されている。
【００１７】
尚、圧縮符号化処理の際の離散コサイン変換による演算結果より得られる画像フレームのトータルあるいはブロックアクティビティの差分を検出して、映像の動き、あるいは、動きベクトルを検出する方法は、例えば特開平6-165181号公報にて開示されている。
【００１８】
また、特開平10-322682号公報には、動きベクトル検出手段において、入力動画像と前フレームの画像との間で動きベクトルを検出し、該動きベクトルを基に、入力動画像を動画像符号化部で符号化処理すると共に、動物体検出部において、動きベクトルのノルム(大きさ)が閾値以上となるブロックの割合が予め定められた範囲内にある場合に動物体が検出されたと判定して、ISDN回線接続を行って入力画像を伝送する遠隔動画像監視装置が提案されている。
【００１９】
さらに、特開平11-18076号公報には、映像信号を一定間隔ごとに間欠記録するタイムラプス記録の機能を備えた映像記録装置において、映像データ変換部において入力映像信号をMPEG画像圧縮によって符号化して、MPEG画像圧縮情報から映像データの動きが検出されると、その時間帯の映像信号はタイムラプス記録ではなく、連続する動画として詳細記録させる映像記録装置が提案されている。
【００２０】
【発明が解決しようとする課題】
上述した従来の監視システムにおいては、侵入者や異常の発生などを検知して通報することを主な目的としていたため、基準画像、または、初期入力画像などと比較して状態変化が検出された画像のみを記録、伝送するように構成されていた。
【００２１】
セキュリティ管理システムなどのアプリケーションでは、通常、監視対象は特定されているので、基準画像の内容は既知であり、変化の無い状態の画像を記録、伝送することには意味が無かったため、上述のような構成でも充分であった。
【００２２】
しかしながら、状態変化が検出された画像だけを記録すると、記録された画像は変化だけを捉えたぎこちないものとなってしまう。また、侵入者の動作が小さく、画像の変化が少ない場合は、その画像は記録されない、という問題があった。
【００２３】
さらに、自動撮影機能が起動された後、自動撮影が終了するまで、画像に変化が無かった場合には、画像、及び、付帯情報の記録を一切行わないように特別な制御をする必要がある、という問題があった。
【００２４】
また、特開平6-153199号公報に記載のものや、特開平10-322682号公報に記載のもののように、画像の状態変化に従って伝送手段を起動すると、状態変化が大きい状態と小さい状態とが交互に繰り返すような場合に、回線の接続と切断の処理を頻繁に行う必要があり、処理が煩雑となるばかりでなく、接続の度に接続手順におけるネゴシエーション遅延、初期伝送遅延などが生じる、という問題があった。
【００２５】
さらに、特開平6-153199号公報に記載のもののように、状態変化が検出された前後、特に変化が起こる以前の画像に遡って画像情報を伝送する場合には、変化の発生に備えて、常に入力もしくは符号化画像情報を保持しておくための記憶手段を設ける必要があり、また、状態変化を検出した後、以前の画像情報から伝送を始めることによる大きな遅延が生じてしまう、という問題があった。
【００２６】
そしてまた、該公報に記載のものにおいては、状態変化が検出された時点の前後に位置する所定の期間の画像を一塊として扱っているに過ぎず、変化が生じた後、伝送中に画像で再び変化があった場合に、後に生じた変化が検出されないか、または、たとえ検出されたとしても、すでに伝送中の状態にあり、後の変化に対応する画像情報を追加して伝送することが出来ない、という問題もあった。
【００２７】
さらに、画像の状態変化の検出方法に関して、特開平6-153199号公報や、特開平9-251541号公報に記載のもののように、画像間での画素値の差分を用いると、確実に変化が検出できる反面、入力画像に含まれる雑音、照明や明るさの変化、背景や風景がわずかにゆれている画像など、本来、変化として記録したくない画像も変化と検出してしまう、という問題があった。
【００２８】
また、特開平10-285542号公報に記載されているように、画像を圧縮符号化処理する際の動き補償予測後の予測誤差を変化の検出に用いる場合には、動き補償予測が効果的に働くと、画像には動きが含まれるにも関わらず予測誤差は小さくなるなど、予測誤差の大小が必ずしも画像に含まれる変化の度合いを表してはいない、という問題がある。
【００２９】
一方で、特開平10-322682号公報に記載のもののように、動きベクトルを用いて画像の変化を検出する場合、利用する動きベクトルは、あくまで画像符号化処理を目的として検出されたものを共用するため、画像の正確な動きを表現しているとは限らず、また、画像の複雑な変化や、色や明るさの変動を伴う動きなどは、動きとして検出できないため、画像の状態変化とは判定されなくなってしまう、という問題があった。
【００３０】
また、上述したように画像の記録、伝送の開始と停止を、装置が自動的に制御すると、ユーザが外部から装置の動作状態、即ち、現在記録、伝送中であるか、停止中であるか、を容易には判別できない。そのため、従来はビューファインダ、モニタなど入力画像の表示部に動作状態を示す文字、あるいはマーカなどを重畳して表示していた。
【００３１】
しかしながら、監視システムなどへの応用においては、画像記録／伝送装置は監視対象に向けて常設しておき、ユーザは離れた位置にいることが通常である。即ち、ユーザがビューファインダ、モニタなどを観察していることはないため、これらに状態表示を行ったとしても、ユーザは容易には判別できず、離れた位置からは装置の動作状態が識別できない、という問題があった。
【００３２】
本発明は、上記課題に鑑みてなされたものであり、入力画像の変化を検出して、画像の記録／伝送の開始、停止を制御する自動撮影機能を実現する際に、自動撮影の起動時には即座に記録／伝送を開始すると共に、画像の変化が小さいと判定されてから画像の変化が大きいと判定されることなく所定の時間が経過した後に、記録／伝送を停止することにより、状態変化が検出された画像に加えて、変化する前や、変化しなくなった後の背景画像、風景画像なども一連の画像として記録／伝送することが可能な画像処理装置を提供することを目的とする。
【００３３】
また、画面間における同一位置の画素値の差分と動きベクトルの大きさとの両方を用いて画像に変化があったか否かを判定して、画像に含まれる様々な状態変化に対応することによって、一般のユーザが、普通の動画撮影と同様な感覚で、様々な用途に応じて利用できるように、より自然な画像としての記録／伝送が可能な画像処理装置を提供することを目的とする。
【００３４】
さらに、新たに複雑な処理を追加することなく、簡単な処理のみで、確実に画像の変化を検出して、記録／伝送の開始、停止を制御することができる画像処理装置を提供することを目的とする。
【００３５】
そしてまた、記録中、伝送中、あるいは停止中などの動作状態を、離れた位置からも容易に判別することができる画像処理装置を提供することを目的とする。
【００３７】
【課題を解決するための手段】
本願の第１の発明は、入力された動画像データの画面間での変化を検出して、変化が小さい状態から変化が大きい状態に移ったことを示す第１の制御信号と、変化が大きい状態から変化が小さい状態に移ったことを示す第２の制御信号とを出力する変化検出手段と、前記第１の制御信号及び前記第２の制御信号に従って、入力動画像データの記録／伝送の開始、停止を制御する動作制御手段とを備えた画像処理装置であって、前記動作制御手段は、記録／伝送の開始、停止を制御する動作が起動されると直ちに入力動画像データの記録／伝送を開始すると共に、その後、任意に設定可能な時間 T2 が経過するまで前記第１の制御信号の入力が無かった時に、前記入力動画像データの記録／伝送を停止するように制御し、かつ、記録／伝送中の状態において、前記第２の制御信号が入力された後、任意に設定可能な時間 T1 が経過するまで前記第１の制御信号の入力が無かった時に、前記入力動画像データの記録／伝送を停止するように制御することを特徴とする。
【００３９】
本願の第２の発明は、前記第１の発明に係る画像処理装置において、前記時間T1と前記時間T2とは、それぞれ異なる値に設定されていることを特徴とする。
【００４０】
本願の第３の発明は、前記第１又は第２のいずれかの発明に係る画像処理装置において、前記変化検出手段は、入力された動画像データの画面を所定の大きさのブロックに分割して、該ブロックに含まれる画素について画面間での輝度値の差分２乗和が所定の閾値S1以上であるか、または、前記ブロックに対する動きベクトルの長さが所定の閾値V1以上であるブロックの数をカウントする第１のカウント手段と、前記差分２乗和が所定の閾値S2以上であるか、または、前記動きベクトルの長さが所定の閾値V2以上であるブロックの数をカウントする第２のカウント手段とを有し、前記第１の制御信号は、前記第１のカウント手段の出力が所定の閾値C1以上であることに基づいて出力され、前記第２の制御信号は、前記第２のカウント手段の出力が所定の閾値C2以下であることに基づいて出力されることを特徴とする。
【００４１】
本願の第４の発明は、前記第３の発明に係る画像処理装置において、前記閾値S1、前記閾値V1、前記閾値C1と、前記閾値S2、前記閾値V2、前記閾値C2とは、それぞれ異なる値に設定されていることを特徴とする。
【００４２】
本願の第５の発明は、前記第１乃至４のいずれかの発明に係る画像処理装置において、入力された動画像データの画面を所定の領域に分割して、前記各領域についてフレームメモリに格納された参照画面との間で動き補償予測を行って、予測誤差と、前記各領域の動きベクトルと、画面間での前記領域内画素の輝度値の差分２乗和とを出力する動き補償予測手段と、前記予測誤差を符号化して符号化動画像データを出力する予測誤差符号化手段とを設け、前記変化検出手段は、前記動きベクトルと前記差分２乗和とから画面間での変化を検出して、変化が小さい状態から変化が大きい状態に移ったことを示す第１の制御信号と、変化が大きい状態から変化が小さい状態に移ったことを示す第２の制御信号とを出力することを特徴とする。
【００４３】
本願の第６の発明は、前記第５の発明に係る画像処理装置において、前記フレームメモリには、入力動画像データを記録中の状態では、前記動き補償予測手段から出力される予測画面と、前記予測誤差符号化手段から出力される予測誤差の復号結果とを加算した局部復号画像が格納され、記録が停止中の状態では、入力動画像データの画面が格納されることを特徴とする。
【００４４】
本願の第７の発明は、前記第１乃至６のいずれかの発明に係る画像処理装置において、前記動作制御手段による入力動画像データの記録／伝送の開始、停止の制御に従って、記録／伝送動作中であることを装置外部に告知する告知手段を設けたことを特徴とする。
【００４５】
本願の第８の発明は、前記第７の発明に係る画像処理装置において、前記告知手段は、ＬＥＤもしくはランプを点灯することによって、記録／伝送動作中であることを表示することを特徴とする。
【００４６】
本願の第９の発明は、前記第７の発明に係る画像処理装置において、前記告知手段は、記録／伝送動作の開始時、及び／または、記録／伝送動作の停止時に、音を発することによって、動作状態が変化したことを報知することを特徴とする。
【００５０】
【発明の実施の形態】
以下、本発明の画像処理装置の一実施形態を、例えば画像記録装置について、図１乃至図５とともに詳細に説明する。
【００５１】
図１は本実施形態の画像記録装置における概略構成を示すブロック図である。図１において、入力動画像データは、画像を撮像するカメラ部11あるいは外部入力から入力される。該入力動画像データは、動画像符号化部12で圧縮符号化されて、符号化動画像データが出力される。
【００５２】
前記動画像符号化部12での符号化方式には、例えば、ITU-T勧告H.261、H.262、 H.263、H.26L、ISO標準11172-2(MPEG-1)、13818-2(MPEG-2)、14496-2(MPEG-4)などの動画像符号化方式や、非標準の独自方式に従った処理が行われ、これらの方式での規定に合致した形式の符号化動画像データが出力される。前記符号化動画像データは、記録制御部17へ送られ、記録媒体18へ格納される。
【００５３】
この時、前記記録制御部17では、前記符号化動画像データを所定の形式に従って記録媒体18へ記録するために、符号化動画像データをパケット化するなどの整形処理、音声データとの多重化処理などが行われると共に、ヘッダ、フッタ、インデックス、タイトル、属性情報などの制御情報が生成され、前記符号化動画像データと一緒に、記録媒体18の所定の場所に所定の形式で格納される。
【００５４】
記録媒体18は、ビデオテープなどのテープメディア、光ディスクや磁気ディスクなどのディスクメディア、ＩＣカード、メモリカードなどのカードメディアのいずれでも良く、前記符号化動画像データ、前記制御情報が格納される形式は、それぞれのメディアに応じた記録フォーマット、ファイルフォーマットなどに従うものとする。
【００５５】
前記記録制御部17は、動作が起動されると、直ちに、新たな符号化動画像データを記録するための前記制御情報の生成と記録、新規動画像ファイルの作成などの処理を行うことが可能に構成されている。
【００５６】
これは、本実施形態の画像記録装置では、動作起動後に最初の動画像データを記録するように、動作制御部14から必ず開始制御信号が出力されるためである。
【００５７】
このことは、動作が起動されても入力動画像データに変化が検出されなかった場合には、符号化動画像データの記録を行わない上記従来例とは異なる、本実施形態の画像記録装置における特徴の一つである。
【００５８】
前記動画像符号化部12からは、入力動画像データを圧縮符号化処理する際に得られた動きベクトル、画面間の画素値の差分２乗和などが出力されて、変化検出部13へ送られる。
【００５９】
変化検出部13は、前記動画像符号化部12から入力された前記情報を用いて、入力動画像データにおける画像の変化を検出して、動作制御部14へ制御信号を出力する。
【００６０】
該制御信号は、画像が変化の小さい状態から変化の大きい状態へ移ったことを示す第１制御信号、あるいは、画像が変化の大きい状態から変化の小さい状態へ移ったことを示す第２制御信号のいずれかである。
【００６１】
動作制御部14は、前記変化検出部13からの制御信号に基づいて、前記動画像符号化部12、記録制御部17へ記録の開始制御信号、停止制御信号を出力する。
【００６２】
該開始制御信号、停止制御信号は、前記動画像符号化部12での圧縮符号化処理と、符号化動画像データの出力動作と、前記記録制御部17での符号化動画像データの記録媒体18への記録動作との開始、停止をそれぞれ指示するものである。前記変化検出部13、前記動作制御部14の詳細な動作の説明は後述する。
【００６３】
また、前記動作制御部14は、前記開始制御信号、前記停止制御信号を告知部16へも出力する。該告知部16では、入力された前記制御信号に従って、ＬＥＤやランプ等の点灯、あるいは、発音などの手段によって、画像記録装置の動作状態を装置外部へ告知する。
【００６４】
この告知の手段として、ＬＥＤやランプを用いる場合には、前記告知部16は、前記開始制御信号が入力された時に点灯、前記停止制御信号が入力された時に消灯させ、記録動作中はＬＥＤやランプを点灯させておくことによって告知を行う。これらの動作を逆にして、記録中は消灯、停止中は点灯させるようにしても良い。
【００６５】
また、２色発光ＬＥＤなどの手段を用いる場合には、各部における処理そのものが起動されていない非動作状態の時は消灯、停止中は緑色点灯、記録中は赤色点灯させるようにしても良い。
【００６６】
一方、告知の手段として、音を用いる場合には、前記告知部16は、前記開始制御信号、及び／または、前記停止制御信号が入力された時点で、ブザーを鳴動する、「ピー」などの信号音、パルス音信号でスピーカを駆動するなどによって、動作状態が変化したことを装置外部へ告知する。
【００６７】
これ以外にも、一般ユーザ向けであれば「記録を開始します」、セキュリティ監視システムであれば、「異常を発見しました」、「侵入者です」などの音声信号を発することもできる。
【００６８】
システム制御部15は、ボタンやスイッチの操作など、ユーザや外部からの指示を受け付けて、前記各モジュールでの処理の起動、終了など、画像記録装置全体の制御を行う。
【００６９】
また、前記動作制御部14は、前記変化検出部13からの前記制御信号による入力動画像データの変化に基づいた記録の開始、停止の制御以外に、入力動画像データを間欠的に記録する、いわゆるタイムラプス記録も制御する。
【００７０】
この場合、動作制御部14は、前記動画像符号化部12及び前記記録制御部17に対して、数秒などの適当な時間間隔をおいて、１乃至複数の所望の画面だけ入力動画像データを符号化、記録するように制御する。
【００７１】
この制御は、前記適当な間隔で前記開始制御信号を発行して、前記所望した数の画面後に前記停止制御信号を発行することにより行うこともできるし、前記所望の画面数のみ符号化、記録することをパラメータとして指定した前記開始制御信号を前記適当な間隔で発行することにより行うことができる。
【００７２】
このように、前記動作制御部14が、タイムラプス記録を制御する場合も、上述の場合と同様、動作制御部14からの前記開始制御信号、前記停止制御信号に従って、前記告知部16が画像記録装置の動作状態を装置外部へ告知する。
【００７３】
以上説明したとおり、本実施形態においては、変化検出部13で、入力された動画像データにおける画面間での変化を検出して、第１制御信号と第２制御信号とを出力する。前記第１制御信号は、画像の変化が小さい状態から変化が大きい状態に移ったことが検出された時に出力される。前記第２制御信号は、画像の変化が大きい状態から変化が小さい状態に移ったことが検出された時に出力される。
【００７４】
前記第１制御信号及び前記第２制御信号は、動作制御部14に入力される。動作制御部14は、ユーザの操作などの外部からの指示によって、制御動作が起動されると、入力動画像データの記録を開始するように制御する。
【００７５】
これは、動画像符号化部12に対して、入力動画像データを符号化して、符号化動画像データを出力する処理を開始するように指示すると共に、記録制御部17に対して、動画像符号化部12から出力される符号化動画像データを記録媒体18へ記録するように指示することによって行う。
【００７６】
この後、予め定められた時間T2の間、前記変化検出部13からの前記第１制御信号の入力が無かった場合、動作制御部14は、入力動画像データの記録を停止するように制御する。
【００７７】
これは、上記とは逆に、動画像符号化部12に対しては、入力動画像データの符号化と符号化動画像データの出力とを停止するように指示すると共に、記録制御部17に対しては、符号化動画像データの記録媒体18への記録動作を停止するように指示することによって行う。
【００７８】
また、記録停止中に、前記変化検出部13から、前記動作制御部14に前記第１制御信号が入力されると、動作制御部14は、制御動作が起動された場合の上述の動作と同様に、入力動画像データの記録を開始するように制御する。
【００７９】
こうして、記録中の状態になると、動作制御部14は、前記変化検出部13から入力される第２制御信号を待ち続ける。そして、前記動作制御部14に前記第２制御信号が入力されると、予め定められた時間T1の間、前記変化検出部13からの前記第１制御信号の入力が無かった場合、動作制御部14は、入力動画像データの記録を停止するように制御する。
【００８０】
この記録を停止する制御は、上述の動作と同様である。ここで、前記時間T1と前記時間T2とは、異なる値を独立に設定可能である。また、この前記時間T1と前記時間T2とは、工場出荷時にメーカが任意に設定したものであっても、ユーザが任意に可変して設定できるものであっても良い。
【００８１】
さらに、前記動作制御部14は、入力動画像データの記録を開始するように制御する時に、告知部16に対して、記録を開始することを通知する。また、前記動作制御部14は、入力動画像データの記録を停止するように制御する時にも、告知部14に対して、記録を停止することを通知する。
【００８２】
前記告知部14は、これらの通知を受けて、記録開始時にはＬＥＤ、ランプなどを点灯し、記録停止時にはこれを消灯するなどして、動作状態を外部へ告知する動作を行う。
【００８３】
尚、告知部14は、ＬＥＤやランプを点灯、消灯すると同時、あるいは、それらの代わりに音を発することによって、記録の開始、記録の停止を告知することもできる。
【００８４】
ここで、音を発するタイミングは、その音を含めて記録したい場合は、動画像符号化部12、記録制御部17の動作開始後の適当なタイミング、前記の音を記録したくない場合には、動画像符号化部12、記録制御部17の動作開始直前とすれば良い。
【００８５】
次に、本実施形態の画像記録装置における動画像符号化部12の概略構成を図２に示す。尚、図２において、変化検出部13、動作制御部14は、図１とともに上述したものと同様である。
【００８６】
動画像符号化部12は、入力動画像データの符号化対象画面と参照画面との間で動きベクトルの検出、動き補償予測を行って予測誤差を出力する動き補償予測部21と、予測誤差を符号化して符号化動画像データを出力する予測誤差符号化部22と、参照画面を格納しておくフレームメモリ部23と、動画像符号化部12の各部を制御する符号化制御部24とから構成されている。
【００８７】
前記動き補償予測部21は、入力動画像データの符号化対象画面と、フレームメモリ部23から読み出した参照画面との間でフレーム／フィールド間予測を行って、参照画面に含まれる情報から、符号化対象画面に対する予測値を作成する。
【００８８】
そして、符号化対象画面の各画素に対して、予測値との差分を予測誤差として出力する。前記フレーム／フィールド間予測においては、単純に、符号化対象画面の画素に対して、参照画面中で同一位置にある画素の値を予測値とする以外に、動画像データに含まれる動きを考慮して、動きを補正する動き補償予測が用いられる。
【００８９】
前記動き補償予測では、まず、符号化対象画面を所定の大きさの領域、例えば16×16画素、8×8画素などから成る矩形領域、であるブロックに分割する。そして、参照画面内で各ブロックの予測値として適切なブロックを探索する。
【００９０】
一般的には、この探索は参照画面中の予め設定された範囲内で、ブロックの位置を少しずつ動かして、当該位置のブロックが予測値として適切か否かを判定することによって行っている。
【００９１】
適切であることの判定基準には、ブロック内の各画素値の差分２乗和、差分絶対値和などが用いられる。このようにして、符号化対象画面のあるブロックに対し、参照画面内で当該ブロックの予測値として探索されたブロックの位置のずれは、動きベクトルとして表現される。
【００９２】
また、前記動き補償予測部21では、各ブロックについて動き補償の有り、無し(動きベクトルをゼロとして、同一位置のブロックを予測値とする)、あるいは、画面間の予測を行わずに符号化対象画面の当該ブロックの画素値そのものを符号化対象とする(フレーム内モード、イントラモードと呼ばれる)か、の判定処理が行われる。
【００９３】
この判定処理では、各ブロックについて、動き補償の有無に関しては、動き補償無しの誤差エネルギー(ブロック内画素値の差分２乗和、差分絶対値和など)と、動き補償後の誤差エネルギーとの比較、画面間の予測を行うか否かに関しては、動き補償無しあるいは動き補償予測後の誤差エネルギーと、ブロック内画素のエネルギー(画素値の２乗和など)との比較を行う。
【００９４】
前記動き補償予測部21は、上述のような処理の過程で得られた符号化対象画面の各ブロックに対する動きベクトル、動き補償無し(動きベクトル＝０)の誤差エネルギー(参照画面の同一位置のブロックとの画素値の差分２乗和)などを変化検出部13へ出力する。
【００９５】
また、予測誤差符号化部22は、前記動き補償予測部21から出力される予測誤差、あるいは、イントラモードのブロックについては画素値そのものに対して、ＤＣＴなどの直交変換、変換係数の量子化、量子化結果であるインデックスの可変長符号化などの処理を行って符号化動画像データを出力する。
【００９６】
前記符号化動画像データには、画像そのものの符号化結果である可変長符号化後の符号語の他に、画面サイズ、画面番号、符号化方法の識別などを含むヘッダ情報や、量子化幅、選択した符号化モードを示す属性情報、前記動き補償予測部21で予測に用いた動きベクトル値、などの情報も含まれている。
【００９７】
このため、前記予測誤差符号化部22において、前記符号化動画像データを作成するために必要なこれらの情報は、前記動き補償予測部21、符号化制御部24などから入力される。
【００９８】
また、現在の符号化対象画面の符号化結果は、次の符号化対象画面に対する予測の参照画面として利用する。このため、前記予測誤差符号化部22では、符号化した予測誤差を自分自身で復号する処理を行い、予測誤差の復号結果を出力する。
【００９９】
前記出力された予測誤差の復号結果は、前記動き補償予測部21から出力された当該符号化対象画面に対する予測値と加算されて、符号化対象画面の復号結果である復号画面が作成される。
【０１００】
該復号画面は、動画像符号化部12が、画像再生装置などの動画像復号化手段において、出力される符号化動画像データを復号した時に得られる画像を想定して、前記動画像符号化部12の内部で作成したものであり、局部復号画像と呼ばれる。
【０１０１】
現在の符号化対象画面に対する局部復号画像は、次の符号化対象画面での予測の参照画面として利用するため、フレームメモリ部23に格納する。
【０１０２】
符号化制御部24は、動画像符号化部12内の上述した各部の制御を行う。前記符号化制御部24は、入力動画像データの符号化処理において必要となる量子化幅などのパラメータの決定と指示、符号化対象とする画面のフレーム間隔の指定、などの制御のほかに、各部の処理動作の起動、終了などの動作の制御も行う。
【０１０３】
符号化制御部24には、動作制御部14から、動画像符号化部12での処理動作の起動、終了の制御、符号化処理の開始制御信号、停止制御信号が入力される。
【０１０４】
符号化制御部24は、前記動作制御部14から、処理動作の起動が指示されると、前記動き補償予測部21、前記フレームメモリ部23が処理を開始するように起動し、前記予測誤差符号化部22は起動しない。
【０１０５】
これは、この段階では、動き補償予測部21が、変化検出部13へ動きベクトル、ブロック内画素値の差分２乗和などを求めて出力するためと、それに伴ってフレームメモリ部23は参照画面を格納し、前記動き補償予測部21へ供給するために、それぞれ処理を起動しなければならないが、実際の符号化処理は必要ないため、予測誤差符号化部22を起動する必要は無い。
【０１０６】
また、前記動き補償予測部21での処理は、前記動きベクトル、前記差分２乗和を変化検出部13へ出力すれば十分であるため、該動き補償予測部21でのすべての処理を行う必要は無い。
【０１０７】
この時、予測誤差符号化部22は処理を行っておらず、前記局部復号画像は得られないため、参照画面として局部復号画像を利用することはできない。そのため、符号化制御部24は、入力動画像データの画面を、次の対象画面の動き補償予測における参照画面としてフレームメモリ部23へ格納するように、該フレームメモリ部23の入力を切り替えておく。
【０１０８】
また、前記動き補償予測部21が前記動きベクトル、前記差分２乗和を求める処理の対象とする画面は、入力動画像データの全ての画面でも良いし、実際に符号化処理を行う際と同様に、入力動画像データからいくつかの画面を間引いて駒落としした画面であっても良い。
【０１０９】
一般に、動画像の符号化処理においては、動き補償予測処理にかかる処理量が非常に多く、全体の処理に占める割合も大きいため、前記動き補償予測部21は、所定の駒落としを行った後の動画像データの画面に対してのみ実時間処理が行えるように設計される。
【０１１０】
このような場合には、前記後者の駒落としした後の画面を処理する方法が採用される。尚、フレームメモリ部23に格納する画面は、処理の対象となった画面でも良いし、駒落としされて処理されなかった画面であっても良い。
【０１１１】
次に、動作制御部14から、開始制御信号が入力されると、符号化制御部24は、上記に加えて、前記動き補償予測部21のすべての処理と、予測誤差符号化部22での処理を起動して、入力動画像データを符号化処理して符号化動画像データを出力するように制御する。
【０１１２】
ここで、フレームメモリ部23には、局部復号画像が格納されるように、その入力を切り替える。従って、動き補償予測部21は、フレームメモリ部23に格納された局部復号画像を参照画面として、通常の符号化処理における動き補償予測処理が可能となる。
【０１１３】
この後、動作制御部14から、停止制御信号が入力されると、符号化制御部24は、予測誤差符号化部22、動き補償予測部21での不要な処理を停止し、フレームメモリ部23の入力を入力動画像データの画面とするように切り替える制御を行い、動画像符号化部12は上述した処理の起動後の状態に戻る。
【０１１４】
以上説明したとおり、本実施形態においては、前記動画像符号化部12が、入力動画像データの符号化対象画面と参照画面との間で、動きベクトル検出、動き補償予測などを行う動き補償予測部21と、予測誤差を符号化する予測誤差符号化部12と、参照画面を格納しておくフレームメモリ部23とを含んでいる。
【０１１５】
前記予測誤差符号化部22は、動画像符号化部12が符号化処理を行っている時に動作して、符号化動画像データを出力する。一方、動き補償予測部21は、動画像符号化部12が符号化処理を行っていない間も動作しており、検出された動きベクトル、及び、対象画面と参照画面とで同一位置のブロック間での画素の輝度値の差分２乗和を、前記変化検出部13へ出力する。
【０１１６】
前記差分２乗和は、動き補償を行わない、即ち、動きベクトルがゼロの場合の画面間差分として計算したものである。前記変化検出部13は、動き補償予測部21からの動きベクトル、差分２乗和を用いて、画像の変化を検出する。
【０１１７】
ここで、フレームメモリ部23には、前記動き補償予測部21での予測参照画面が格納されている。次の入力画面の予測において、参照するためにフレームメモリ部23に格納される画像は、動画像符号化部12が符号化動作中の場合は、動画像符号化部12における現在の符号化対象画面の局部復号画像、動画像符号化部12が動作停止中の場合は、符号化処理を施していない入力動画像データの画面である。
【０１１８】
このように、変化検出部13で用いる動きベクトル、差分２乗和の検出には、動画像符号化部12の一部の処理部を共用している。従って、入力画像の変化を検出するために必要となる新たな処理を追加することなく、画像の変化に応じた記録の開始、停止の自動制御機能を、容易に実現することが可能である。
【０１１９】
図４に前記動作制御部14における状態遷移を示す。尚、図４において、状態間の遷移を示す矢印に付してある説明は、“／”の前が当該状態遷移の契機となる信号の入力やイベントの発生を示し、“／”の後が状態遷移に伴って出力される信号やその際に行われる処理を示している。
【０１２０】
動作制御部14は、何の動作も行っていない非動作状態41と、前記動画像符号化部12での符号化処理、前記記録制御部17での記録媒体18への記録を行っている記録中状態43と、起動されてはいるが、符号化処理、記録は行っていない停止中状態42と、前記記録中状態43と同様に符号化処理、記録を行ってはいるが、前記停止中状態42へ移行するまでの時間待ちを行っている停止待ち状態44との四つの状態を持ち、これらを管理している。
【０１２１】
次に、図４に従って、動作制御部14の動作を説明する。また、動作制御部14の制御動作に従った符号化処理、記録の開始、停止の様子の例を、図３に示す。
【０１２２】
動作制御部14は、画像記録装置の電源投入直後など、該動作制御部14の制御に基づく符号化、記録動作、いわゆる自動記録モード、が起動されていない場合は、非動作状態41にある。
【０１２３】
ユーザが画像記録装置のボタンの押下、スイッチの切り替えなどの操作を行う、あるいは、装置外部からの制御信号、コマンド信号の入力などによって、動作制御部14の動作(自動記録モード)の起動が指示されると、動作制御部14は、前記動画像符号化部12の前記符号化制御部24、前記記録制御部17に対して起動制御信号を出力して動作の起動を指示する。
【０１２４】
引き続き、動作制御部14は、前記動画像符号化部12の前記符号化制御部24、前記記録制御部17に対して開始制御信号を出力して、符号化処理、記録の開始を指示する。動作制御部14は、時間待ちのタイマの値を時間T2にセットして、停止待ち状態44へ移行する。
【０１２５】
ここで、前記タイマは、時間の経過に従って、値が減算されるタイマである。このような処理により、本実施形態の画像記録装置では、起動直後から、図３に示す初期画面記録区間31のT2時間分の画像が必ず記録される。これは、上記従来例には見られない本実施形態の画像記録装置の特徴の一つである。
【０１２６】
次に、停止待ち状態44において、前記タイマが満了、即ち、タイマにセットされた時間が経過して、タイマ値がゼロになると、動作制御部44は、前記動画像符号化部12の前記符号化制御部24、前記記録制御部17に対して停止制御信号を出力して、符号化処理、記録の停止を指示する。そして、画像の符号化、記録が停止され、動作制御部14は、停止中状態42へ移行する。
【０１２７】
前記停止中状態42において、変化検出部13から画像の変化が大きい状態に移ったことを示す第１制御信号が入力されると、動作制御部14は、前記動画像符号化部12の前記符号化制御部24、前記記録制御部17に対して開始制御信号を出力して、符号化処理、記録の開始を指示して、記録中状態43へ移行する。
【０１２８】
前記記録中状態43においては、動作制御部14は、タイマによる経過時間の監視を行っていないことが、前記停止待ち状態44との違いである。記録中状態43において、変化検出部13から画像の変化が小さい状態に移ったことを示す第２制御信号が入力されると、動作制御部14は、タイマの値を時間T1にセットして停止待ち状態44へ移行する。
【０１２９】
この時、開始制御信号、停止制御信号などの外部への出力は行われず、動作制御部14の内部状態が変化するのみである。このようにして、図３に示す画像の変化の大きい区間32と引き続くT1時間分の画像が記録される。
【０１３０】
また、前記停止待ち状態44において、変化検出部13から第１制御信号が入力されると、動作制御部14は、記録の対象とすべき変化の大きい動画像データが入力されたと判定して、記録中状態43へ移行する。この時、停止待ち状態44で使用していたタイマは、移行先の記録中状態43では、もはや使用しないため、タイマを停止しておく。
【０１３１】
そしてまた、前記停止待ち状態44では、符号化、記録の処理は既に実行中であり、処理を継続すれば良いため、開始制御信号、停止制御信号などは出力しない。
【０１３２】
このような例が、図３における区間33及び区間34である。画像の変化が大きい区間である区間33及び区間34の間には、本来、記録の対象とならない画像の変化が小さいT1時間以下の長さの区間が存在している。それにも関わらず、本実施形態の画像記録装置では、区間33の初めから、区間34が終了してT1時間が経過するまでの画像が記録される。
【０１３３】
区間33の終わりで変化検出部13から第２制御信号が出力されると、動作制御部14はタイマ値をT1にセットして停止待ち状態44へ移行する。ここで、タイマ満了前、つまりT1時間経過以前に、区間34の初めで変化検出部13から第１制御信号が出力されると、動作制御部14は記録中状態43へ移行して、記録を継続する。
【０１３４】
上記従来例では、区間33と区間34との間は記録されず、区間33の終わりと区間34の初めとが繋がって記録されるため、つなぎ目において動きや変化が不自然に変化する画像となったり、記録の開始、停止の頻繁な切り替えが発生したりしていたが、本実施形態の画像記録装置においては、連続した画像が記録され、頻繁な切り替えも発生しない。
【０１３５】
前記停止中状態42、記録中状態43、停止待ち状態44のそれぞれの状態において、ユーザが画像記録装置のボタンの押下、スイッチの切り替えなどの操作を行う、あるいは、装置外部からの制御信号、コマンド信号の入力などによって、動作制御部14の動作(自動記録モード)の終了が指示されると、動作制御部14は、前記動画像符号化部12の前記符号化制御部24、前記記録制御部17に対して終了制御信号を出力して動作の終了を指示する。
【０１３６】
これに従って、動画像符号化部12、記録制御部17、動作制御部14は、記録中の画像の終端など、動作を終結するための処理を行い、処理動作を終了する。動作制御部14は、非動作状態41へ移行する。
【０１３７】
上述の説明において、時間T1と時間T2とは独立して設定され、異なる値でも同一の値でも良い。また、時間T1と時間T2との大小関係も、用途や目的に応じて任意に設定することができる。
【０１３８】
ここで、T1 = T2 = 0に設定すれば、変化が大きい区間32、33、34の画像のみが記録されることとなり、従来の監視システムなどにおける画像記録装置と同様な動作となる。また、T1 = 0、T2≠0に設定すれば、変化が大きい区間32、33、34の画像に加えて、それらの最初に初期画像、基準画像を追加した画像が記録される。
【０１３９】
図５に、変化検出部13での処理を示すフローチャートを示す。変化検出部13は、第１制御信号、第２制御信号にそれぞれ対応する画像の変化が小さい状態から大きい状態への移行、画像の変化が大きい状態から変化が小さい状態への移行、を管理するための状態変数を内部に保持している。
【０１４０】
まず、変化検出部13の処理が開始されると、状態変数に、画像の変化が小さい状態であることを示す「変化未検出」を設定する(ステップS1)。次に入力動画像データの処理対象画面、１画面分の処理を開始する。まず、カウンタの値を０にリセットする(ステップS2)。
【０１４１】
そして、ブロックに対する動きベクトル値(ステップS3)、ブロック内画素の輝度値に対する差分２乗和(ステップS5)が入力される。前記ステップS3で入力された動きベクトル値は、２次元のベクトル量であるから、これから評価に用いる動きベクトルの大きさを求める(ステップS4)。
【０１４２】
動きベクトル値を、MV=(Vx, Vy)とすると、求める動きベクトルの大きさ(長さ)MVlは、例えば、
MVl = (Vx 2 + Vy 2)1/2
として計算される。
【０１４３】
上述したように、動きベクトル値としては、動画像符号化部12の動き補償予測部21で求められたものを用いている。例えば、動き補償予測部21において、動きベクトルの情報量増加による符号化効率低下を考慮したレート・歪特性最適化探索法によって動きベクトルが求められる場合には、動き補償予測部21において最適と判定された動きベクトルが画像の動きを適切に表現しているとは限らないが、変化検出部13では該動きベクトルをそのまま用いるか、あるいは、動き補償予測部21での探索中に誤差最小となった動きベクトルを符号化処理に用いるものとは別に変化検出部13へ出力する。
【０１４４】
また、動き補償予測部21で、動きベクトル探索の処理量を削減するために、ステップサーチなど簡略化した探索手法が用いられる場合には、該手法で求められた動きベクトルを変化検出部13へ出力し、変化検出部13で用いる動きベクトルを求めるために処理量が増加することを避ける。
【０１４５】
さらに、画面全体の動きを表すグローバル動きベクトルと局所的な動きを表す局所動きベクトルを別に探索するグローバル動き補償などの手法が用いられる場合には、変化検出部13に対して、前記両方の動きベクトルを出力して、変化検出部13では、グローバル動きベクトルに局所動きベクトルを加算して用いるか、前記局所動きベクトルのみを出力して用いるか、のいずれかとする。後者の方法は、カメラにパン、ズームなどの動きがあっても、画像中の局所的な変化のみを検出したい場合に有効である。
【０１４６】
次に、変化検出部13の内部状態変数に従って処理が分かれる(ステップS6)。状態変数が「変化未検出」の場合、前記ステップS4で求めた動きベクトルの大きさMVlを閾値V1と比較する(ステップS7)。
【０１４７】
MVlがV1以上の場合には、カウンタの値を１インクリメントする(ステップS9)。MVlがV1より小さかった場合には、差分２乗和を閾値S1と比較する(ステップS8)。
【０１４８】
ここで、差分２乗和がS1以上であった場合には、ステップS9へ進んで、カウンタを１インクリメントする。前記ステップS3からステップS9間での処理を、画面内のすべてのブロックについて繰り返す(ステップS10)。
【０１４９】
１画面分のすべてのブロックについて処理が終了すると、カウンタの値を閾値C1と比較する(ステップS11)。ここで、カウンタの値は、対象画面の中で、参照画面との変化が大きいと判定されたブロックの数、即ち、動きベクトルの大きさが閾値V1以上、または、差分２乗和が閾値S1以上となるブロックの数、を表している。
【０１５０】
カウンタの値が、閾値C1以上であった場合は、画像として変化が大きいと判定して、変化検出部13は、第１制御信号を出力する(ステップS12)。そして、変化検出部13の内部状態変数を「変化検出済」に設定しておく(ステップS13)。これで対象画面に対する処理が終了したため、ステップS2に戻って次の対象画面の処理を行う。
【０１５１】
図５のフローチャートでは、ステップS10、ステップS11において、１画面のすべてのブロックについての処理が終了したと判断されてから、カウンタ値を閾値C1と比較している。
【０１５２】
しかし、カウンタの値が変更されるのは、ステップS9において、単純に１ずつインクリメントされる場合のみであり、画面の途中のブロックであっても、ステップS9の後でカウンタ値を閾値C1と比較して、C1以上であればステップS12へ進むようにして、対象画面の残っているブロックの処理を省略することもできる。
【０１５３】
また、画面の途中のブロックにおいて、残りのブロックのすべてが、ステップS7またはステップS8でYesと判定されて、ステップS9でカウントされたとしても、画面内の全ブロックの処理終了時に、カウンタ値がC1以上とはならないことが確定した時点(例えば、現在のカウント＜C1−残りのブロック数)で当該画面の処理を終了し、ステップS2へ戻るようにすることもできる。
【０１５４】
そしてまた、前記ステップS4では、動きベクトルの大きさを求めるために平方根の計算を行っていたが、MVl 2 = (Vx 2 + Vy 2)を判定に用いることとして、平方根の計算を使わないようにすることもできる。
【０１５５】
この時、ステップS7での閾値V1と等価な閾値として、V1 2 を用いれば良く、ステップS7では、前記MVl 2と前記閾値V1 2 とを比較する。このようにすれば、一般に処理の負担が大きい平方根の計算が不要となり、処理時間の短縮、処理の簡略化、処理量の低減を図ることができる。
【０１５６】
さらに、ステップS5、ステップS8では、前記動画像符号化部12の前記動き補償予測部21から差分２乗和を出力して、変化検出部13での処理に用いているが、差分２乗和以外にも、対象画面のブロックと参照画面のブロックとの間で、ブロック内画素値の差分の総和やエネルギーを表現した特徴量であれば、差分絶対値和、周波数成分または視覚特性などで重み付けしたエネルギーなどを利用することができる。
【０１５７】
ところで、前記ステップS6で、変化検出部13内部の状態変数が「変化検出済」であった場合には、ステップS14へ進む。ステップS14〜ステップS20の処理は、前記ステップS7〜ステップS13の処理とほぼ同様である。
【０１５８】
これらの違いは、ステップS14の閾値がV1ではなくV2を用いること、ステップS15の閾値がS1ではなくS2を用いること、ステップS18での閾値としてC1ではなくC2を用いて、カウント値が閾値Ｃ 2 以下か否かの比較を行うこと、ステップS19で第２制御信号を出力すること、ステップS20で状態変数を「変化未検出」に設定することである。
【０１５９】
前記ステップS7〜ステップS13では、入力動画像データでの画像の変化が小さい状態において、大きな変化が生じたことを検出する処理を行っている一方、前記ステップS14〜ステップS20での処理は、これとは逆に、画像の変化が大きい状態で、変化が小さくなったことを検出することに対応する。
【０１６０】
ここで、前記閾値V1、S1、C1と、前記閾値V2、S2、C2とは、独立して設定することができるため、V1とV2、S1とS2、C1とC2は用途や目的に応じて異なる値、もしくは、同一の値に設定することができる。
【０１６１】
例えば、侵入者の出現など、比較的大きな変化のみを検出するためには、V1、S1、C1を大きな値とすれば良く、逆に、ごくわずかな変化でも検出できるようにするには、V1、S1、C1を小さな値とする。
【０１６２】
また、記録の停止の契機となる第２制御信号を出力するための判定条件についても、V2、S2、C2の値によって、適当に設定することが可能である。これらの値は、前記V1、S1、C1の値と独立である。
【０１６３】
図５のフローチャートにおいては、状態変数に従って前記ステップS6で処理の分岐を行うようにしたが、例えば、処理を分岐させずにステップS7、ステップS8、ステップS11で、状態変数によって使用する閾値の値を切り替えるようにすることもできるし、１画面の処理の初めであるステップS2の直前で分岐するなど、上述の処理と等価な処理結果が得られれば、処理の順序などを限定するものではない。
【０１６４】
さらに、前記ステップS10、ステップS17で、対象画面内のすべてのブロックを処理対象とするようにしたが、例えば、画面の端のブロックは処理に用いないようにすることもできる。
【０１６５】
このようにすると、画面の上下左右の端など、画像信号のタイミングジッタ、撮像時の雑音、インタレース形式からプログレッシブ形式に変換した画像における走査線のちらつきなどによる変化検出部13での処理への影響を避けることができる。
【０１６６】
従って、これらの雑音が誤って画像の変化として検出されないようになり、雑音を含む入力動画像データに対しても、正しく確実に画像の変化を検出することができるようになる。
【０１６７】
以上説明したとおり、本実施形態においては、変化検出部13には、動画像符号化部12から、入力された動画像データの画面を所定の大きさに分割したブロックに対する動きベクトル値、及び、画面間で同一位置のブロックに対する画素の輝度値の差分２乗和が入力される。
【０１６８】
変化検出部13は、画像の変化が小さい状態から変化が大きい状態に移ったことを検出する際に、前記各ブロックについて、差分２乗和と予め定められた閾値S1、動きベクトルの長さと予め定められた閾値V1とを比較する。
【０１６９】
この比較を画面内のすべてのブロックについて行い、差分２乗和が閾値S1以上、または、動きベクトルの長さが閾値V1以上であるブロックの数をカウントする。該カウント結果が予め定められた閾値C1以上であった場合、第１制御信号を出力する。
【０１７０】
また、画像の変化が大きい状態から変化が小さい状態に移ったことを検出する時には、差分２乗和が閾値S2以上、または、動きベクトルの長さが閾値V2以上であるブロックの数をカウントして、カウント結果が閾値C2以下であった場合に、第２制御信号を出力する。
【０１７１】
尚、これまでの説明では、主に動画像データを記録する場合について述べてきたが、本実施形態の画像記録装置は、画像に加えて音声データも記録するように構成しても良い。
【０１７２】
この場合、入力音声データに対しても、入力動画像データと同様、動作制御部14からの開始制御信号、停止制御信号などに従って、符号化、記録などの処理が開始、停止される。
【０１７３】
音声データの場合、画像と比較して情報量が少ないため、圧縮符号化処理を行わずに、入力された音声データをそのまま記録する場合もある。また、記録の開始、停止時点における画像と音声の同期を保つため、同時に発生、入力された動画像データ、音声データから記録を開始し、同時に発生、入力された動画像データ、音声データで記録を停止するように、符号化処理、記録などが制御される。
【０１７４】
また、動画像データと音声データとの両方を記録媒体18へ記録するため、記録制御部17は、記録媒体18での記録フォーマット、ファイルフォーマットに従って符号化動画像データ、(符号化)音声データの多重化処理を行う。
【０１７５】
また、上述の一実施形態においては、本発明を画像記録装置に応用した場合の例について述べたが、例えば、変化があった動画像データを、伝送路を介してセンタ装置や相手端末などへ送出する画像伝送装置に応用することも可能である。
【０１７６】
この場合、記録制御部17は、回線の接続、通信プロトコル処理、符号化動画像データの伝送用フォーマットへの成形などを行う通信制御部に、記録媒体18は、通信回線などの伝送路に、それぞれ置き換えられる。その他の構成は、上述した本発明の一実施形態に係る画像記録装置と同様である。
【０１７７】
この時、変化検出部13で、入力された動画像データに変化があったと判定されて、動作制御部14から開始制御信号が出力されると、通信制御部は、回線の接続を行って通信相手へ符号化動画像データを送出する。
【０１７８】
ここで、前記通信制御部が行う回線の接続は、発呼などの物理的な回線接続処理でも良いし、伝送路としてＬＡＮのようなコネクションレス型のネットワークを用いる場合には、論理的な接続を行えば良い。
【０１７９】
また、パケット交換網のように動作停止中は物理的な接続は保持されたまま、データ送出を行っていない場合には、接続手順を明示的に実行する必要はないが、通信制御部は、動作制御部14から出力される開始制御信号に従って、動画像符号化部12から出力された符号化動画像データを順次送出することとなる。
【０１８０】
そしてまた、変化検出部13で、入力された動画像データの変化が小さくなったと判定された後、動作制御部14から停止制御信号が出力されると、通信制御部は、上記とは逆に回線の切断を行って通信相手への符号化動画像データの送出を停止する。
【０１８１】
この回線の切断は、画像伝送装置が接続されている伝送路の種類に応じて、物理的、あるいは、論理的な接続の切断処理であるのは、上述の説明と同様である。
【０１８２】
【発明の効果】
本願請求項１に記載の発明は、画像の変化が小さくなったことが検出されてから、予め定められた時間が経過した後に、記録／伝送を停止するよう制御するため、変化が生じた画像に引き続いて、侵入者や異常が解消、もしくは、観察対象が動作停止、消失した後の背景画像、風景画像などまで、変化が発生してから解消するまでの一連の画像を記録／伝送することができる。従って、自然な流れの画像が得られると共に、変化が解消したことが記録／伝送された画像上で確認できる。
【０１８３】
また、侵入者があった時、該侵入者が一時的に動作を停止した場合などにも、記録／伝送を続けることができるため、監視対象の状況を確実に把握することが可能な画像が得られる。
【０１８４】
さらに、複数の状態変化を一連の画像として記録／伝送する際にも、それらの間に変化が無い様子を挟んだ画像を記録／伝送することが可能であるため、自然な画像が得られるばかりでなく、記録／伝送された画像において、途中に侵入者や異常が解消した状態があったことを確認することができる。
【０１８５】
特に、変化の大きい状態と小さい状態とが繰り返すような画像においても、記録／伝送の開始と停止を頻繁に切り替えることなく、連続した画像として扱うことができる。
【０１８６】
従って、複雑で細かな制御が不要となり、流れや動き、変化が自然な画像を記録／伝送することが可能となり、特に、画像を伝送する場合には、回線の接続に伴って生じる接続遅延、ネゴシエーション遅延、初期伝送遅延などを避けることができる。
【０１８７】
このように、記録／伝送の停止を遅らせるために必要となる処理は、変化が小さいことが検出された後、タイマなどによって、所定の時間T1待たせることで、簡単に実現することができるため、容易に実装することが可能である。そのため、処理に必要となるハードウェア、ソフトウェアの増加がほとんど無く、小型、携帯型の機器においても、手軽に実装することができる。
【０１８８】
さらに、本願請求項１に記載の発明は、動作制御手段により記録／伝送の開始、停止を制御する動作が起動されると、初期状態として、まず記録／伝送を開始するように制御するため、変化が生じる前の監視、観察対象となる背景、風景などのいわゆる基準画像を、最初に記録／伝送しておくことができる。
【０１８９】
従って、後に変化が検出された画像が、記録／伝送された際に、どのような変化が生じたかを一連の画像の中で確認することが可能となる。これは、特に、監視対象が予め特定されているセキュリティ管理システムのようなものではなく、一般の画像を対象とした場合でも、記録／伝送された画像によって、変化が無い状態と変化が生じた状態を共に確認することができるため、予め監視対象に関する知識をもっていなくても、変化の様子や状況を正しく認識することができる。
【０１９０】
このように、変化が無い状態の画像から、変化が発生した画像へ、連続した画像として記録／伝送することが可能であるため、自然な流れの画像を得ることができる。
【０１９１】
また、記録／伝送の制御動作が起動されると、後に画像に変化が生じなかったとしても、最初の画像だけは必ず記録／伝送される。このため、記録／伝送された画像が存在することによって、監視、観察を行ったが、変化が生じなかったという事実を画像による記録／伝送として残すことができる。
【０１９２】
さらに、画像に変化が生じなかった場合には、画像及び付帯情報の記録を行わないように記録途中の情報や、一時的な記録内容を完全に削除するなどの特別な制御が不要となり、前記制御動作の起動時には、必ず、記録領域の確保、付帯情報の記録、伝送リンク確立など予備的な回線接続などを行うように構成すればよく、処理が簡単になる。
【０１９３】
このために必要となる処理は、前記制御に基づく記録動作が起動された後、直ちに記録／伝送を開始しておき、タイマなどによって、所定の時間T2待ってから記録／伝送を停止する制御を追加することで、簡単に実現することができるため、容易に実装することが可能である。そのため、処理に必要となるハードウェア、ソフトウェアの増加がほとんど無く、小型、携帯型の機器においても、手軽に実装することができる。
【０１９４】
さらに、本願請求項１に記載の発明は、変化が生じる前の背景、風景などの画像から始まって、変化が起こった様子、再び変化の無い状態に戻った画像が、一つの連続した画像として、記録／伝送されるため、途中で開始、停止を行うことによって画像の流れや動き、変化などが不連続になったり、不自然になったりすることによる違和感が非常に小さく、より自然な画像を得ることができる。
【０１９５】
本願請求項２に記載の発明は、動作起動時最初に必ず画像を記録／伝送する時間T2と、画像の状態変化が検出された後、変化が小さくなったと判定された後も記録／伝送を続ける時間T1とを異なる値に設定することが可能であるため、これらの時間として用途や目的に応じた適当な値を選択して利用することができる。
【０１９６】
例えば、一旦画像の変化が検出されると、記録／伝送を中断せずに、次に変化が生じるまで記録を続けるように時間T1のみを大きな値に設定したり、基準画像となる初期画像をきっちりと記録／伝送しておきたい場合には、時間T2のみを大きな値にしたりするなど、自由な使い分けができる。
【０１９７】
このように、画像処理装置の応用範囲が広がり、かつ、様々なユーザ、アプリケーションに対して、適切な内容の画像を記録／伝送することができるようになる。
【０１９８】
本願請求項３に記載の発明は、入力された画像における画面間の画素値の差分と、動きベクトルの大きさとの両方に基づいて、画像の変化を検出するため、これらをそれぞれ単独で用いた場合と比較して、両方の利点を有効に活用し、かつ、欠点を補い合って、確実に画像の変化を検出することができるようになる。
【０１９９】
具体的には、動きベクトルを用いて画像の変化を検出しているため、画像中で被写体の動きなどがあった場合に、被写体あるいは動いている領域の大きさが小さかったとしても、変化として検出することができる。
【０２００】
また、画面間の画素値の差分を利用することによって、画像に何らかの変化が生じて、画素値が変動した場合も、確実に変化として検出することができる。加えて、画像の複雑な変化や、色や明るさの変動を伴う動きなど、動きベクトルでは検出できない変化も検出することができるようになる。
【０２０１】
さらに、入力画像に含まれる雑音、照明や明るさの変化、背景や風景がわずかにゆれている画像など、本来、変化として判定したくない画像では、画面間の差分を評価する際の閾値S1、S2を大きな値に設定して、これらが変化と検出されないようにしておき、併用する動きベクトルの評価によって、変化を検出することが可能となる。
【０２０２】
このように、様々な画像や、目的、入力条件に応じて、画像中で変化している部分は少ないが、動きの大きい場合、動きとしては検出することができないが、全体が変化している場合などの両方に適用可能で、柔軟かつ確実に画像の変化を検出することができるようになる。
【０２０３】
本願請求項４に記載の発明は、記録／伝送を開始するように判定する条件と、記録／伝送を停止するように判定する条件とを、それぞれ異なるように設定することができるため、これらの条件を用途や目的に応じて変更することが可能である。
【０２０４】
例えば、侵入者等の観察対象が出現した場合など、比較的変化が大きい画像に対して、記録／伝送を開始すると判定し、その後、観察対象の動きがあまり大きくなくても観察を続けるように、記録／伝送の停止を判定する閾値を小さくして、判定条件を厳しくすることもできる。
【０２０５】
逆に、ごくわずかな変化でも、まずは記録／伝送を開始するようにしておき、大きな変化がなければ、記録／伝送を停止するような判定条件に設定することもできる。また、記録／伝送の開始を判定する閾値と、停止を判定する閾値を同じ値として、これらの条件を同一とすることも容易である。
【０２０６】
このように、目的や、用途、対象とする画像の内容に応じて、適切な判定閾値を設定して、記録／伝送の開始、停止を制御することが可能になるため、画像処理装置の応用範囲が広がり、様々なアプリケーションに利用して、目的に見合った条件で画像の変化を検出することができるようになる。
【０２０７】
本願請求項５に記載の発明は、入力動画像データを記録／伝送するために符号化処理する際の動き補償予測処理で求められる動きベクトルと、画面間の画素値の差分とを用いて画像の変化を検出するようにしているため、画像の変化の検出に必要な特徴量を求めるために、新たな処理を追加する必要が無い。
【０２０８】
画像の変化を検出するために必要となる処理は、前記動きベクトルや、前記差分２乗和を閾値と比較するなどの非常に簡単な処理だけであり、これらの追加による処理量の増加はほとんど無視できる。このため、携帯型の機器など、小型、低消費電力などが求められる場合にも、容易に実装することができる。
【０２０９】
さらに、動画像の符号化手段を備えた一般に広く普及している画像処理装置に対して、上記の簡単な処理を追加するだけで、画像の変化に応じた記録／伝送の開始、停止の自動制御機能を持たせることが容易となる。従って、これらの装置でディジタル画像処理を行っていることのメリットを最大限に発揮して、簡単に機能の追加、拡張が行えることによる用途展開、普及拡大を図ることができる。
【０２１０】
本願請求項６に記載の発明は、符号化、記録／伝送中の処理動作中と停止中とでフレームメモリを共用することができる。特に、フレームメモリなどのメモリの量は、機器への実装における実装面積、コスト、消費電力などに与える影響が大きいため、動画像符号化処理のための前記フレームメモリを共用して、メモリ量を増加させずに記録／伝送の自動制御機能を追加できることは、装置の小型化、経済化、低消費電力化において非常に有用である。
【０２１１】
また、フレームメモリの入力を切り替える機能を追加するだけで実現できるため、非常に簡単な変更ですみ、動き補償予測手段は、記録／伝送の動作中、停止中の状態に関わらず、常に前記フレームメモリから参照画面を読み出せば良いため、通常の動画像符号化処理のための動き補償予測処理部をそのまま利用することができる。
【０２１２】
さらに、記録／伝送の停止中は、入力動画像データの画面をそのままフレームメモリに格納するため、予測誤差符号化部での局部復号処理が必要なく、前記予測誤差符号化部の処理を完全に停止して、消費電力の削減などを図ることができる。
【０２１３】
本願請求項７に記載の発明は、告知手段によって画像処理装置が記録中／伝送中であるか、停止中であるかの動作状態を告知することが可能であるので、ユーザは装置の動作状態を離れた位置から容易に判別することができるようになる。
【０２１４】
すなわち、装置とは離れた位置にいるユーザに対しても、動作状態を告知することができるため、ユーザは画像処理装置の状態を確認するために該装置のビューファインダ、モニタ画面などを見る必要はない。従って、被写体の動きや変化に従って、記録／伝送の開始、停止が目的に沿って正しく制御されているか否かを、容易に確認することができる。
【０２１５】
さらには、ユーザ自身が被写体となって、画像処理装置の状態を確認しながら、自分の画像を撮影したり、写真機のセルフタイマーの代わりに動きや変化などによって記録／伝送を開始させてその状態を確認したり、停止中に被写体を移動させておいて、記録／伝送された画像でアニメーションを作成したり、などのように、いわゆる監視システム向けではない画像処理装置の新たな応用分野への展開を図ることが可能となる。
【０２１６】
本願請求項８に記載の発明は、ＬＥＤもしくはランプの点灯によって、記録中／伝送中であることを告知することができるため、視認性が高く、ユーザは遠く離れた位置からも容易に装置の動作状態を認知することが可能となる。
【０２１７】
特に、ＬＥＤを用いた場合、非常に小型で、消費電力もほとんど必要ないため、告知手段を設けることによるコスト、消費電力、大きさの増加がほとんど無く、機構やデザインなどの実装上の制約もほとんど無い。従って、小型、携帯型機器に好適であり、簡単に実装することができる。
【０２１８】
本願請求項９に記載の発明は、音を発することによって、記録／伝送が開始されたこと、停止されたことを告知することができるため、ユーザは画像処理装置を視認していなくても、容易に動作状態の変化を認知することが可能となる。
【０２１９】
すなわち、装置を部屋の隅や隠れた場所に設置するなど、監視システムにおいてしばしば行われる設置方法においても、動作状態の認識が可能である。このため、上述のユーザ自身が被写体となる場合などにも、ユーザが装置の方を向いている必要が無く、横顔や後ろ姿などの画像を撮影することが可能となる。
【０２２０】
また、告知手段より発した音が、画像と共に記録／伝送されるように、記録／伝送の動作開始直後のタイミングで告知するようにすれば、記録／伝送の開始と停止の繰り返しが連続して記録／伝送された画像において、前記告知の音を識別することによって、記録／伝送が開始された位置、即ち、数回の繰り返しのつなぎ目を、後から容易に特定することが可能になる。
【０２２７】
また、本願発明においてその実施形態に示したように、入力動画像データを間欠的に記録／伝送するタイムラプス記録／伝送を行っている際に、記録／伝送するタイミングを告知することによって、ユーザは離れた位置から、装置がいつ記録／伝送を行っているかを容易に判別することが可能になる。
【０２２８】
すなわち、装置とは離れた位置にいるユーザに対しても、記録／伝送タイミングを告知することができるため、記録／伝送のタイミングを確認しながら、その間の停止中に被写体を移動させておいて、記録／伝送された画像でアニメーションを作成したりすることが簡単に行えるようになる。
【０２２９】
また、ユーザ自身が被写体となって、写真機のセルフタイマー撮影のように自分の画像を撮影する際にも、記録／伝送のタイミングを容易かつ明確に認識することができるため、目的通りの画像を確実に記録／伝送することができるようになり、失敗することも少なくなる。
【０２３０】
これらによって、監視システムなどの特殊用途向けだけではなく、一般ユーザが様々な目的で手軽に利用できるようになり、画像処理装置の新たな応用展開を図ることが可能となる。
【図面の簡単な説明】
【図１】本発明の画像処理装置の一実施形態における概略構成例を示すブロック図である。
【図２】本発明の画像処理装置の一実施形態における主要部の構成例を示すブロック図である。
【図３】本発明の画像処理装置の一実施形態による記録の開始、停止の動作例を示す説明図である。
【図４】本発明の画像処理装置の一実施形態における動作制御部の状態遷移例を示す説明図である。
【図５】本発明の画像処理装置の一実施形態における変化検出部の動作例を示すフローチャートである。
【符号の説明】
１１ カメラ部
１２ 動画像符号化部
１３ 変化検出部
１４ 動作制御部
１５ システム制御部
１６ 告知部
１７ 記録制御部
１８ 記録媒体
２１ 動き補償予測部
２２ 予測誤差符号化部
２３ フレームメモリ部
２４ 符号化制御部
Claims (9)
- 入力された動画像データの画面間での変化を検出して、変化が小さい状態から変化が大きい状態に移ったことを示す第１の制御信号と、変化が大きい状態から変化が小さい状態に移ったことを示す第２の制御信号とを出力する変化検出手段と、
前記第１の制御信号及び前記第２の制御信号に従って、入力動画像データの記録／伝送の開始、停止を制御する動作制御手段とを備えた画像処理装置であって、
前記動作制御手段は、記録／伝送の開始、停止を制御する動作が起動されると直ちに入力動画像データの記録／伝送を開始すると共に、その後、任意に設定可能な時間 T2 が経過するまで前記第１の制御信号の入力が無かった時に、前記入力動画像データの記録／伝送を停止するように制御し、かつ、記録／伝送中の状態において、前記第２の制御信号が入力された後、任意に設定可能な時間T1が経過するまで前記第１の制御信号の入力が無かった時に、前記入力動画像データの記録／伝送を停止するように制御することを特徴とする画像処理装置。 - 前記請求項１に記載の画像処理装置において、
前記時間T1と前記時間T2とは、それぞれ異なる値に設定されていることを特徴とする画像処理装置。 - 前記請求項１又は２に記載の画像処理装置において、
前記変化検出手段は、入力された動画像データの画面を所定の大きさのブロックに分割して、該ブロックに含まれる画素について画面間での輝度値の差分２乗和が所定の閾値S1以上であるか、または、前記ブロックに対する動きベクトルの長さが所定の閾値V1以上であるブロックの数をカウントする第１のカウント手段と、
前記差分２乗和が所定の閾値S2以上であるか、または、前記動きベクトルの長さが所定の閾値V2以上であるブロックの数をカウントする第２のカウント手段とを有し、
前記第１の制御信号は、前記第１のカウント手段の出力が所定の閾値C1以上であることに基づいて出力され、前記第２の制御信号は、前記第２のカウント手段の出力が所定の閾値C2以下であることに基づいて出力されることを特徴とする画像処理装置。 - 前記請求項３に記載の画像処理装置において、
前記閾値S1、前記閾値V1、前記閾値C1と、前記閾値S2、前記閾値V2、前記閾値C2とは、それぞれ異なる値に設定されていることを特徴とする画像処理装置。 - 前記請求項１乃至４のいずれかに記載の画像処理装置において、
入力された動画像データの画面を所定の領域に分割して、前記各領域についてフレームメモリに格納された参照画面との間で動き補償予測を行って、予測誤差と、前記各領域の動きベクトルと、画面間での前記領域内画素の輝度値の差分２乗和とを出力する動き補償予測手段と、
前記予測誤差を符号化して符号化動画像データを出力する予測誤差符号化手段とを設け、
前記変化検出手段は、前記動きベクトルと前記差分２乗和とから画面間での変化を検出して、変化が小さい状態から変化が大きい状態に移ったことを示す第１の制御信号と、変化が大きい状態から変化が小さい状態に移ったことを示す第２の制御信号とを出力することを特徴とする画像処理装置。 - 前記請求項５に記載の画像処理装置において、
前記フレームメモリには、入力動画像データを記録／伝送中の状態では、前記動き補償予測手段から出力される予測画面と、前記予測誤差符号化手段から出力される予測誤差の復号結果とを加算した局部復号画像が格納され、記録／伝送が停止中の状態では、入力動画像データの画面が格納されることを特徴とする画像伝送装置。 - 前記請求項１乃至６のいずれかに記載の画像処理装置において、
前記動作制御手段による入力動画像データの記録／伝送の開始、停止の制御に従って、記録／伝送動作中であることを装置外部に告知する告知手段を設けたことを特徴とする画像処理装置。 - 前記請求項７に記載の画像処理装置において、
前記告知手段は、ＬＥＤもしくはランプを点灯することによって、記録／伝送動作中であることを表示することを特徴とする画像処理装置。 - 前記請求項７に記載の画像処理装置において、
前記告知手段は、記録／伝送動作の開始時、及び／または、記録／伝送動作の停止時に、音を発することによって、動作状態が変化したことを報知することを特徴とする画像処理装置。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000117302A JP3677192B2 (ja) | 2000-04-19 | 2000-04-19 | 画像処理装置 |
| EP20010303548 EP1148715A1 (en) | 2000-04-19 | 2001-04-19 | Image processing apparatus with automatic image pickup feature |
| US09/838,668 US6928232B2 (en) | 2000-04-19 | 2001-04-19 | Image processing apparatus with automatic image pickup feature |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000117302A JP3677192B2 (ja) | 2000-04-19 | 2000-04-19 | 画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001309354A JP2001309354A (ja) | 2001-11-02 |
| JP3677192B2 true JP3677192B2 (ja) | 2005-07-27 |
Family
ID=18628636
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000117302A Expired - Fee Related JP3677192B2 (ja) | 2000-04-19 | 2000-04-19 | 画像処理装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US6928232B2 (ja) |
| EP (1) | EP1148715A1 (ja) |
| JP (1) | JP3677192B2 (ja) |
Families Citing this family (51)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2378338A (en) * | 2001-07-31 | 2003-02-05 | Hewlett Packard Co | Automatic identification of features of interest within a video signal |
| US20040086152A1 (en) * | 2002-10-30 | 2004-05-06 | Ramakrishna Kakarala | Event detection for video surveillance systems using transform coefficients of compressed images |
| KR20040084517A (ko) * | 2003-03-28 | 2004-10-06 | 삼성전자주식회사 | 동영상 휴대 전화기를 이용한 보안 감시 시스템 |
| US8824553B2 (en) * | 2003-05-12 | 2014-09-02 | Google Inc. | Video compression method |
| US8264576B2 (en) * | 2007-03-05 | 2012-09-11 | DigitalOptics Corporation Europe Limited | RGBW sensor array |
| US7639889B2 (en) | 2004-11-10 | 2009-12-29 | Fotonation Ireland Ltd. | Method of notifying users regarding motion artifacts based on image analysis |
| US8417055B2 (en) * | 2007-03-05 | 2013-04-09 | DigitalOptics Corporation Europe Limited | Image processing method and apparatus |
| US8180173B2 (en) | 2007-09-21 | 2012-05-15 | DigitalOptics Corporation Europe Limited | Flash artifact eye defect correction in blurred images using anisotropic blurring |
| US7636486B2 (en) | 2004-11-10 | 2009-12-22 | Fotonation Ireland Ltd. | Method of determining PSF using multiple instances of a nominally similar scene |
| US8199222B2 (en) * | 2007-03-05 | 2012-06-12 | DigitalOptics Corporation Europe Limited | Low-light video frame enhancement |
| US9160897B2 (en) * | 2007-06-14 | 2015-10-13 | Fotonation Limited | Fast motion estimation method |
| US8989516B2 (en) * | 2007-09-18 | 2015-03-24 | Fotonation Limited | Image processing method and apparatus |
| JP4371859B2 (ja) * | 2004-03-09 | 2009-11-25 | 日本電気株式会社 | 動画情報伝送方法および装置 |
| US7639888B2 (en) * | 2004-11-10 | 2009-12-29 | Fotonation Ireland Ltd. | Method and apparatus for initiating subsequent exposures based on determination of motion blurring artifacts |
| US8013909B2 (en) * | 2004-12-29 | 2011-09-06 | Nokia Corporation | Method and apparatus for adjusting exposure in digital imaging |
| US8705614B2 (en) * | 2005-04-04 | 2014-04-22 | Broadcom Corporation | Motion estimation using camera tracking movements |
| TWI264709B (en) * | 2005-11-01 | 2006-10-21 | Lite On It Corp | DVD recorder with monitoring function |
| IES20070229A2 (en) * | 2006-06-05 | 2007-10-03 | Fotonation Vision Ltd | Image acquisition method and apparatus |
| WO2008075136A1 (en) * | 2006-12-20 | 2008-06-26 | Nokia Corporation | Exposure control based on image sensor cost function |
| US7773118B2 (en) * | 2007-03-25 | 2010-08-10 | Fotonation Vision Limited | Handheld article with movement discrimination |
| US20080309770A1 (en) * | 2007-06-18 | 2008-12-18 | Fotonation Vision Limited | Method and apparatus for simulating a camera panning effect |
| CN101803362A (zh) * | 2007-09-10 | 2010-08-11 | Nxp股份有限公司 | 用于视频图像数据中的运动估计和运动补偿的方法和装置 |
| JP2009071771A (ja) * | 2007-09-18 | 2009-04-02 | Seiko Epson Corp | 画像処理装置、画像データ記録システム、監視カメラシステム及び画像処理装置の制御方法 |
| JP4918449B2 (ja) * | 2007-10-02 | 2012-04-18 | 財団法人電力中央研究所 | 電線観測方法、電線観測システム及び電線観測プログラム |
| KR101041178B1 (ko) * | 2008-05-21 | 2011-06-13 | 삼성전자주식회사 | 전자기기에서 영상 녹화 방법 및 장치 |
| JP5123064B2 (ja) * | 2008-06-12 | 2013-01-16 | パナソニック株式会社 | 監視システム |
| KR101100551B1 (ko) * | 2008-12-17 | 2011-12-29 | 삼성메디슨 주식회사 | 클러터 신호를 필터링하는 초음파 시스템 및 방법 |
| JP5047203B2 (ja) * | 2009-02-10 | 2012-10-10 | パナソニック株式会社 | 監視カメラシステム、映像記録装置及び映像記録方法 |
| KR20100101375A (ko) * | 2009-03-09 | 2010-09-17 | 삼성전자주식회사 | 디지털 동영상 촬영장치, 그 제어방법, 제어방법을 실행시키기 위한 프로그램을 저장한 기록매체 및 피사체 움직임 판단방법 |
| JP5493709B2 (ja) * | 2009-03-13 | 2014-05-14 | 株式会社リコー | 映像編集装置 |
| JP5489557B2 (ja) * | 2009-07-01 | 2014-05-14 | パナソニック株式会社 | 画像符号化装置及び画像符号化方法 |
| US8850071B2 (en) * | 2010-05-10 | 2014-09-30 | Liaison Technologies, Inc. | Map intuition system and method |
| JP2011244293A (ja) * | 2010-05-20 | 2011-12-01 | Canon Inc | 画像処理装置 |
| JP2012049679A (ja) * | 2010-08-25 | 2012-03-08 | Sony Corp | 端末装置、サーバ、データ処理システム、データ処理方法、及びプログラム |
| KR101693284B1 (ko) * | 2010-10-21 | 2017-01-05 | 에스케이 텔레콤주식회사 | 전역움직임을 기반하여 결정된 부호화구조를 이용한 영상 부호화/복호화 방법 및 장치 |
| JP2012090235A (ja) * | 2010-10-22 | 2012-05-10 | Mitsubishi Electric Building Techno Service Co Ltd | 映像監視システム |
| JP5697458B2 (ja) * | 2011-01-06 | 2015-04-08 | キヤノン株式会社 | 動画記録装置、その制御方法、動画再生装置、及び動画記録再生システム |
| JP6263850B2 (ja) * | 2013-03-27 | 2018-01-24 | 富士通株式会社 | 映像蓄積配信装置、システム、方法及びプログラム |
| US20160049051A1 (en) * | 2013-06-21 | 2016-02-18 | Hello Inc. | Room monitoring device with packaging |
| WO2015045179A1 (ja) | 2013-09-30 | 2015-04-02 | 富士通株式会社 | 映像蓄積配信装置、システム、方法及びプログラム |
| EP2863566B1 (en) | 2013-10-18 | 2020-09-02 | Université de Nantes | Method and apparatus for reconstructing a data block |
| JP6476571B2 (ja) * | 2014-03-26 | 2019-03-06 | 富士通株式会社 | 映像データ管理装置、映像データ管理プログラム及び映像データ管理方法 |
| US10277805B2 (en) * | 2014-05-30 | 2019-04-30 | Hitachi Kokusai Electric Inc. | Monitoring system and camera device |
| US9967456B2 (en) | 2014-07-18 | 2018-05-08 | Xiaomi Inc. | Photographing method and device |
| CN105100604B (zh) * | 2014-07-18 | 2019-03-01 | 小米科技有限责任公司 | 拍摄方法及装置 |
| JP2017126896A (ja) * | 2016-01-14 | 2017-07-20 | 株式会社東芝 | 監視システム、監視装置、および再生装置 |
| CN105791766A (zh) * | 2016-03-09 | 2016-07-20 | 京东方科技集团股份有限公司 | 一种监控方法及监控装置 |
| JP6230085B1 (ja) * | 2017-06-01 | 2017-11-15 | 株式会社ＲｅＴｅｃｈ | 動画再生システム |
| JP7030534B2 (ja) * | 2018-01-16 | 2022-03-07 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
| US11284125B2 (en) * | 2020-06-11 | 2022-03-22 | Western Digital Technologies, Inc. | Self-data-generating storage system and method for use therewith |
| JP2024052001A (ja) * | 2022-09-30 | 2024-04-11 | ソニーセミコンダクタソリューションズ株式会社 | 画像処理装置、画像処理方法及びプログラム |
Family Cites Families (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4679077A (en) * | 1984-11-10 | 1987-07-07 | Matsushita Electric Works, Ltd. | Visual Image sensor system |
| US5047850A (en) * | 1989-03-03 | 1991-09-10 | Matsushita Electric Industrial Co., Ltd. | Detector for detecting vector indicating motion of image |
| US5151945A (en) * | 1990-09-11 | 1992-09-29 | The Research Foundation Of State Univ. Of N.Y. | Determination of ambient light level changes in visual images |
| JP3067275B2 (ja) | 1991-05-23 | 2000-07-17 | 日本放送協会 | シーンチェンジ検出装置 |
| GB9206651D0 (en) * | 1992-03-26 | 1992-05-06 | Solid State Logic Ltd | Video processing |
| JP3315766B2 (ja) * | 1992-09-07 | 2002-08-19 | 富士通株式会社 | 画像データ符号化方法、その方法を用いた画像データ符号化装置、画像データ復元方法、その方法を用いた画像データ復元装置、シーン変化検出方法、その方法を用いたシーン変化検出装置、シーン変化記録装置、及び画像データのシーン変化記録・再生装置 |
| JPH06153199A (ja) | 1992-11-06 | 1994-05-31 | Kubota Corp | 画像による監視装置 |
| JPH06165181A (ja) | 1992-11-25 | 1994-06-10 | Toshiba Corp | 監視カメラシステム |
| JPH07123403A (ja) | 1993-10-27 | 1995-05-12 | Hitachi Ltd | 動き検出装置 |
| US6055025A (en) | 1993-12-21 | 2000-04-25 | Lucent Technologies, Inc. | Method and apparatus for detecting abrupt and gradual scene changes in image sequences |
| US5809200A (en) * | 1995-08-07 | 1998-09-15 | Victor Company Of Japan, Ltd. | Video signal recording apparatus |
| JPH09219854A (ja) | 1996-02-14 | 1997-08-19 | Matsushita Electric Ind Co Ltd | 撮像記録装置 |
| JPH09251541A (ja) | 1996-03-14 | 1997-09-22 | Atsumi Electron Corp Ltd | 物体検知方法及び監視カメラ |
| KR100213055B1 (ko) * | 1996-07-27 | 1999-08-02 | 윤종용 | 감시용 시스템에서의 기록 매체 절약형 기록방법 |
| CA2190785A1 (en) | 1996-11-20 | 1998-05-20 | Nael Hirzalla | Method of processing a video stream |
| JPH10285542A (ja) | 1997-04-04 | 1998-10-23 | Sony Corp | 録画装置および録画方法 |
| JP3119199B2 (ja) | 1997-05-16 | 2000-12-18 | 日本電気株式会社 | 遠隔動画像監視装置 |
| JPH1118076A (ja) | 1997-06-23 | 1999-01-22 | Hitachi Ltd | 監視カメラ等の映像記録装置 |
| US6433839B1 (en) * | 2000-03-29 | 2002-08-13 | Hourplace, Llc | Methods for generating image set or series with imperceptibly different images, systems therefor and applications thereof |
| US6646676B1 (en) * | 2000-05-17 | 2003-11-11 | Mitsubishi Electric Research Laboratories, Inc. | Networked surveillance and control system |
-
2000
- 2000-04-19 JP JP2000117302A patent/JP3677192B2/ja not_active Expired - Fee Related
-
2001
- 2001-04-19 US US09/838,668 patent/US6928232B2/en not_active Expired - Fee Related
- 2001-04-19 EP EP20010303548 patent/EP1148715A1/en not_active Withdrawn
Also Published As
| Publication number | Publication date |
|---|---|
| EP1148715A1 (en) | 2001-10-24 |
| US20020006163A1 (en) | 2002-01-17 |
| US6928232B2 (en) | 2005-08-09 |
| JP2001309354A (ja) | 2001-11-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2001309354A (ja) | 画像処理装置 | |
| US8125521B2 (en) | Multiple image processing and synthesis using background image extraction | |
| AU2008200926A1 (en) | On-camera summarisation of object relationships | |
| CN114513629B (zh) | 基于在视频馈送中的事件检测的警报生成 | |
| TW201628405A (zh) | 視訊編碼方法及視訊編碼器系統 | |
| KR20180061022A (ko) | 비디오 카메라의 적외선 차단 필터를 제어하기 위한 방법 | |
| US20100026810A1 (en) | Monitor video accumulation system | |
| EP1333682A1 (en) | Motion detection from an encoded image bit stream | |
| JP4337541B2 (ja) | カメラ装置、監視システム及びカメラ装置制御方法 | |
| JP2008042695A (ja) | 監視カメラ装置、監視カメラシステム、監視カメラ画像記録方法 | |
| JP2007194928A (ja) | 遠隔監視装置及び遠隔監視方法 | |
| JPH07231442A (ja) | 防犯監視装置 | |
| JP2003284062A (ja) | 監視システム | |
| JP2005300943A (ja) | 情報表示位置制御方法及び装置 | |
| JP4698260B2 (ja) | 画像記録装置及び監視システム | |
| JP3061430U (ja) | 遠隔監視セキュリティシステム | |
| TWI924713B (zh) | 基於視訊源中之事件偵測的警報生成 | |
| JP2003163923A (ja) | 監視システム | |
| JP2003111061A (ja) | 動体検出装置、動体検出システムおよび動体検出方法 | |
| JP2000354238A (ja) | 画像監視システム | |
| JP2001245278A (ja) | 監視装置及び方法 | |
| EP4270939A1 (en) | System and method for adding one additional image frame or a sequence of additional image frames to a stream of encoded image frames | |
| JP2006180200A (ja) | 監視装置 | |
| JP2003309841A (ja) | 動画像伝送装置 | |
| JP2002077708A (ja) | 画像処理システムおよび電子的ニュース取材システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040827 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040907 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050106 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050207 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20050207 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20050329 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050426 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050506 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080513 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090513 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100513 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110513 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110513 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120513 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120513 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130513 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140513 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |