JPH10285542A

JPH10285542A - 録画装置および録画方法

Info

Publication number: JPH10285542A
Application number: JP9086506A
Authority: JP
Inventors: Masamichi Kitagawa; 雅通北川; Yuji Ando; 裕司安藤
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1997-04-04
Filing date: 1997-04-04
Publication date: 1998-10-23

Abstract

(57)【要約】【課題】画像を記録する記録媒体の有効利用を図る。【解決手段】例えば、監視カメラで撮影された画像
が、入力画像としてフレームメモリ１１０に供給されて
記憶される。参照メモリ１３２には、監視カメラでの撮
影開始時の画像である比較画像が記憶されており、動き
ベクトル検出器１１０においては、フレームメモリ１１
０に新たに記憶された入力画像の、比較画像に対する動
きが検出され、さらに、その動きベクトルにしたがって
入力画像の動き補償を行って得られる残差が求められ
る。そして、差分値評価回路１３０において、その残差
が所定の閾値と比較され、符号化制御回路１３１では、
その比較結果に対応して、入力画像の符号化および記録
の開始／停止が制御される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、録画装置および録
画方法に関し、特に、例えば、いわゆる監視カメラなど
において、動物の生態を観察したり、部屋の状態を監視
したりする場合などに用いて好適な録画装置および録画
方法に関する。

【０００２】

【従来の技術】例えば、監視カメラなどを用いて、動物
の生態を観察したり、部屋の状態を監視したりすること
が行われる。

【０００３】ところで、画像のデータ量は多く、従っ
て、監視カメラで撮影した画像を、そのまま記録したの
では、莫大な容量の記録媒体が必要となる。そこで、画
像を圧縮符号化して記録する方法が考えられる。

【０００４】図４は、画像の圧縮符号化を行う、従来の
画像符号化装置の一例の構成を示している。

【０００５】入力端子１０１には、例えば、図５に示す
ような、輝度成分Ｙが３５２画素（横）×２４０画素
（縦）に、クロマ成分ＣｂおよびＣｒがいずれも１７４
画素×１２０画素にディジタル化された１フレームの画
像データが、１秒間に３０フレーム単位などで供給され
る。

【０００６】入力端子１０１に供給された画像データ
は、その画像データを一時的に蓄え、所定の順番に入れ
替えるためのフレームメモリ１１０を介して、ブロック
分割器１１１および動き検出器１２０に転送される。ブ
ロック分割器１１１は、フレームメモリ１１０から供給
される画像データのフレームを、例えば、図６に示すよ
うに、８×８画素の輝度成分、クロマ成分Ｃｂ，Ｃｒの
ブロックに分割する。ここで、同図に示すように、４つ
の輝度成分Ｙ０乃至Ｙ３のブロックと、それに対応する
１つずつのクロマ成分Ｃｂ，Ｃｒのブロックとの合計６
つのブロックで、マクロブロック（ＭＢ）が構成され
る。

【０００７】ブロック分割器１１１からは、画像データ
が、マクロブロック単位で、差分器１１２に供給され
る。差分器１１２は、ブロック分割器１１１からの画像
データと、後述するフレーム間予測画像データとの差分
をとり、その差分値を、後述するフレーム間予測符号化
が行われるフレームのデータとして、切換スイッチ１１
３の被切換端子ｂに供給する。また、切換スイッチ１１
３の被切換端子ａには、ブロック分割器１１１が出力す
る画像データが、後述するフレーム内符号化が行われる
フレームのデータとして供給される。

【０００８】切換スイッチ１１３は、端子ａまたはｂの
うちのいずれかを選択し、これにより選択された方の端
子に供給された画像データが、ブロック単位でＤＣＴ
（離散コサイン変換）回路１４に供給される。ＤＣＴ回
路１１４は、そこに入力される画像データをＤＣＴ処理
し、その結果得られるＤＣＴ係数を量子化器１１５に出
力する。量子化器１１５は、ＤＣＴ回路１１４からのＤ
ＣＴ係数を、所定の量子化ステップで量子化し、その結
果得られる量子化係数をジグザグスキャン回路１１６に
出力する。

【０００９】ジグザグスキャン回路１１６は、ブロック
単位の量子化係数を、例えば、図７に示すように、いわ
ゆるジグザグスキャンし、その順番で、ＶＬＣ（可変長
符号化））回路１７に出力する。ＶＬＣ回路１１７は、
ジグザグスキャン回路１１６からの量子化係数をＶＬＣ
処理し、その結果得られる可変長符号化データを出力バ
ッファ１１８に供給する。出力バッファ１１８は、ＶＬ
Ｃ回路１１７からの可変長符号化データを一時記憶する
ことにより、その出力のデータ量を平滑化して、出力端
子１０２から出力する。出力端子１０２から出力された
データは、例えば、図示せぬ記録媒体に記録される。

【００１０】また、出力バッファ１１８は、そのデータ
蓄積量を、量子化ステップ制御器１１９に出力する。量
子化ステップ制御器１１９は、出力バッファ１１８から
のデータ蓄積量に基づき、出力バッファ１１８がオーバ
ーフローおよびアンダーフローしないように量子化ステ
ップを設定し、量子化器１１５に出力する。上述した量
子化器１１５では、このようにして量子化ステップ制御
器１１９から供給される量子化ステップにしたがって量
子化が行われる。

【００１１】一方、量子化器１１５が出力する量子化係
数は、ジグザグスキャン回路１１６だけでなく、逆量子
化器１２６にも供給される。逆量子化器１２６は、量子
化器１１５からの量子化係数を逆量子化することでＤＣ
Ｔ係数とし、逆ＤＣＴ回路１２５に出力する。逆ＤＣＴ
回路１２５は、ＤＣＴ係数を逆ＤＣＴ処理し、その結果
得られるデータを加算器１２４に供給する。さらに、加
算器１２４には、フレーム間予測符号化のフレームを処
理するときにオンとなる切換スイッチ１２３を介し、動
き補償器１２１が出力するフレーム間予測画像データも
供給されるようになされている。加算器１２４は、これ
らのデータを加算し、フレームメモリ１２２に供給して
記憶させる。

【００１２】そして、動き補償器１２１は、動き検出器
１２０から供給される動きベクトルにしたがって、フレ
ームメモリ１２２に記憶されたデータを動き補償し、そ
の結果得られるフレーム間予測画像データを、差分器１
１２および切換スイッチ１２３に供給する。

【００１３】次に、図４の画像符号化装置における符号
化処理について、さらに説明する。

【００１４】なお、図４の画像符号化装置においては、
例えば、カラー動画像符号化方式の国際標準化作業グル
ープである、いわゆるＭＰＥＧ（Moving Picture Exper
ts Group）におけるＭＰＥＧ１の規格に準拠した符号化
が行われるものとする。

【００１５】また、ここでは、以下のように各フレーム
を定義することとする。

【００１６】まず、表示順にフレームを並べたとき、各
フレームを、その先頭から、Ｉ０，Ｂ１，Ｂ２，Ｐ３，
Ｂ４，Ｂ５，Ｐ６，Ｂ７，Ｂ８，Ｉ９，Ｂ１０，Ｂ１
１，Ｂ１２，・・・と記述する。上述のＩ，Ｐ，Ｂは、
そのフレームがＩピクチャ、Ｐピクチャ、Ｂピクチャで
あることを示しており、Ｉ，Ｐ，Ｂに続く数字は、表示
順序を表している。

【００１７】ＭＰＥＧでは、まず画像Ｉ０が符号化され
る。次に、画像Ｐ３が符号化されるが、画像Ｐ３そのも
のが符号化されるのではなく、画像Ｐ３とＩ０との差分
が符号化される。さらに、その次に、画像Ｂ１が符号化
されるが、画像Ｂ１そのものが符号化されるのではな
く、画像Ｂ１と、画像Ｉ０若しくはＰ３のうちのいずれ
か一方、またはその両方の平均値との差分が符号化され
る。この場合、画像Ｉ０，Ｐ３、またはその両方の平均
値のうちの、いわゆる予測残差を最も小さくするもの
（符号化して得られるデータ量が最も少なくなるもの）
が選択され、それと画像Ｂ１と差分が符号化される。

【００１８】画像Ｂ１の符号化後は、画像Ｂ２が符号化
されるが、画像Ｂ２そのものが符号化されるのではな
く、やはり、画像Ｂ２と、画像Ｉ０若しくはＰ３のうち
のいずれか一方、またはその両方の平均値との差分が符
号化される。また、この場合も、画像Ｉ０，Ｐ３、また
はその両方の平均値のうちの予測残差を最も小さくする
ものが選択され、それと画像Ｂ２と差分が符号化され
る。

【００１９】その後、画像Ｐ６が符号化されるが、画像
Ｐ６そのものが符号化されるのではなく、画像Ｐ６とＰ
３との差分が符号化される。以下、同様の手順で符号化
が行われていく。

【００２０】ここで、符号化対象の画像と、その際に差
分をとる相手となる画像との対応関係を、符号化順に、
以下に示す。符号化順符号化対象の画像差分をとる相手となる画像（１）Ｉ０ − （２）Ｐ３Ｉ０またはＰ３（３）Ｂ１Ｉ０またはＰ３（４）Ｂ２Ｉ０またはＰ３（５）Ｐ６Ｐ３（６）Ｂ４Ｐ３またはＰ６（７）Ｂ５Ｐ３またはＰ６（８）Ｐ９Ｐ６（９）Ｂ７Ｐ６またはＰ９（１０）Ｂ８Ｐ６またはＰ９（１１）Ｉ９ − （１２）Ｐ１２Ｉ９（１３）Ｂ１０Ｉ９またはＰ１２（１４）Ｂ１１Ｉ９またはＰ１２・・・

【００２１】以上のように、符号化順序は、Ｉ０，Ｐ
３，Ｂ１，Ｂ２，Ｐ６，Ｂ４，Ｂ５，Ｐ９，Ｂ７，Ｂ
８，Ｉ９，Ｐ１２，Ｂ１０，Ｂ１１，・・・となり、表
示順序とは異なる順序になる。符号化後のデータは、こ
のような順番で出力される。

【００２２】なお、ＰピクチャおよびＢピクチャについ
ては、上述したように、他の画像との差分が符号化され
るのが通常であるが、画像そのものを符号化した方が、
差分を符号化するよりも、そのデータ量が少なくなる場
合には、画像そのものが符号化される。

【００２３】図４の画像符号化装置では、以上のように
して符号化処理が行われる。

【００２４】従って、１枚目の画像Ｉ０の符号化時に
は、その画像データが、フレームメモリ１１０から読み
出され、ブロック分割器１１１に供給されてブロック化
される。ブロック分割器１１１によるブロック化によ
り、画像データは、上述したＹ０乃至Ｙ３、Ｃｂ，Ｃｒ
のブロックにされ、その順に出力される。Ｉピクチャの
符号化時においては、切換スイッチ１１３は、被切換端
子ａを選択しており、従って、ブロック分割器１１１が
出力する画像データは、切換スイッチ１１３を介して、
ＤＣＴ回路１１４に供給される。ＤＣＴ回路１１４で
は、そこに供給されるブロック単位の画像データに対し
て、縦横２次元のＤＣＴ処理が施され、これにより時間
軸上の画像データが、周波数軸上のデータとしてのＤＣ
Ｔ係数に変換される。

【００２５】このＤＣＴ係数は、量子化器１１５に供給
され、そこで、量子化ステップ制御器１１９からの量子
化ステップにしたがって量子化され、量子化係数とされ
る。この量子化係数は、ジグザグスキャン回路１１６
で、図６に示したようにジグザグスキャンされて、その
順番で出力される。ここで、量子化係数、即ち、量子化
されたＤＣＴ係数をジグザグスキャンして出力すると、
後に出力されるものほど周波数成分の高いＤＣＴ係数に
なる。一般に、高次のＤＣＴ係数の値は小さく、従っ
て、ブロックを同一の量子化ステップで量子化すると、
それにより得られる量子化値のうちの高次のＤＣＴ係数
に対応するものは、０となる頻度が高くなる。その結
果、量子化されたＤＣＴ係数をジグザグスキャンして出
力すると、後に出力されるものは０となる頻度が高くな
り、結果的に高域の成分が切り落とされることになる。

【００２６】ジグザグスキャン回路１１６から出力され
た量子化係数は、ＶＬＣ回路１１７に供給され、そこ
で、いわゆるハフマンコーディングなどの可変長符号化
処理が施される。この結果得られる可変長符号化データ
は、出力バッファ１１８に一旦蓄えられた後、一定のビ
ットレートで出力される。従って、出力バッファ１１８
は、不規則に発生するデータを一定のビットレートで出
力することができるようにするための、いわば緩衝のた
めのメモリの役割を果たす。

【００２７】以上のように、Ｉピクチャ（Intra Pictur
e）である画像Ｉ０は、それ単独で符号化されるが、こ
のような符号化は、フレーム内（イントラ（Intra））
符号化と呼ばれる。なお、デコーダでは、Ｉピクチャ
は、上述の逆の手順にしたがってデコードされる。

【００２８】次に、２枚目の画像Ｐ３の符号化について
説明する。２枚目以降の画像もＩピクチャとして符号化
することが可能であるが、それでは、圧縮率が低くな
る。そこで、連続する画像には相関があることを利用し
て、２枚目以降の画像は、次のように符号化される。

【００２９】即ち、動き検出器１２０は、２枚目の画像
Ｐ３を構成するマクロブロックごとに、１枚目の画像Ｉ
０の中から、マクロブロックに良く似た部分を検出し、
その部分と、対応するマクロブロックとの相対的な位置
関係のずれを表すベクトルを、動きベクトルとして検出
する。ここで、動きベクトルの検出方法については、例
えば、ＩＳＯ／ＩＳＣ１１１７２−２ａｎｎｅｘ
Ｄ．６．２などに開示されているので、ここでは、その
説明は省略する。

【００３０】そして、２枚目の画像Ｐ３については、そ
のブロックを、そのままＤＣＴ回路１１４に供給するの
ではなく、各ブロックごとの動きベクトルにしたがって
動き補償を行うことにより１枚目の画像Ｉ０から得られ
るブロックとの差分を、差分器１１２で演算して、ＤＣ
Ｔ回路１１４に供給する。

【００３１】ここで、１枚目の画像Ｉ０を、動きベクト
ルにしたがって動き補償して得られるブロックと、２枚
目の画像Ｐ３のブロックとの間の相関が高ければ、それ
らの差分は小さくなり、２枚目の画像Ｐ３のブロックを
イントラ符号化するよりも、差分を符号化した方が、符
号化の結果得られるデータ量は少なくなる。

【００３２】このように差分を符号化する手法は、フレ
ーム間（インター（Inter））符号化と呼ばれる。

【００３３】なお、常に、差分を符号化する方がデータ
量が少なくなるわけではなく、符号化する画像の複雑さ
や、前後のフレームとの相関の高さによっては、差分を
符号化するインター符号化よりも、イントラ符号化を行
った方が、圧縮率が高くなることがある。このような場
合は、イントラ符号化が行われる。イントラ符号化を行
うか、インター符号化を行うかは、マクロブロック単位
で設定することができる。

【００３４】ところで、インター符号化を行うには、デ
コーダで得られる復号画像を求めておく必要がある。

【００３５】そこで、画像符号化装置には、いわゆるロ
ーカルデコーダが設けられている。図４においては、動
き補償器１２１、フレームメモリ１２２、切換スイッチ
１２３、加算器１２４、逆ＤＣＴ回路１２５、および逆
量子化器１２６がローカルデコーダを構成している。な
お、フレームメモリ１２２に記憶される画像データは、
ローカルデコーデットピクチャ（Local Decoded Pictur
e）またはローカルデコーデットデータ（Local Decoded
Data）と呼ばれる。これに対して、符号化される前の
画像データは、オリジナルピクチャ（Original Pictur
e）またはオリジナルデータ（Original Data）と呼ばれ
る。

【００３６】１枚目の画像Ｉ０の符号化時においては、
量子化器１１５の出力が、逆量子化器１２６および逆Ｄ
ＣＴ回路１２５を介することによりローカルデコードさ
れ（この場合、切換スイッチ１２３はオフにされ、その
結果、加算器１２４では、実質的に処理は行われな
い）、フレームメモリ１２２に記憶される。

【００３７】なお、フレームメモリ１２２に記憶された
画像は、オリジナルピクチャではなく、それを符号化
し、さらにローカルデコードした、デコーダ側で得られ
る画像と同一のものである。従って、フレームメモリ１
２２の画像は、符号化および復号処理により、オリジナ
ルピクチャよりも多少画質の劣化したものとなる。

【００３８】２枚目の画像Ｐ３は、１枚目の画像Ｉ０を
ローカルデコードしたものがフレームメモリ１２２に記
憶されている状態において、フレームメモリ１１０から
ブロック分割器１１１を介して、ブロック単位で差分器
１１２に供給される。なお、この時点までに、動き検出
器１２０において、画像Ｐ３の動きベクトルの検出が終
了している必要がある。

【００３９】一方、動き検出器１２０は、２枚目の画像
Ｐ３について、マクロブロック単位で検出した動きベク
トルを、動き補償器１２１に供給する。動き補償器１２
１は、動き検出器１２０からの動きベクトルにしたがっ
て、既にローカルデコードされてフレームメモリ１２２
に記憶されている画像Ｉ０を動き補償（ＭＣ（MotionCo
mpensation））し、その結果得られる動き補償データ
（ＭＣデータ）（１マクロブロック）を、フレーム間予
測画像データとして差分器１１２に供給する。

【００４０】差分器１１２では、ブロック分割器１１１
を介して供給される画像Ｐ３のオリジナルデータと、動
き補償器１２１から供給されるフレーム間予測画像デー
タとの、対応する画素どうしの差分が演算される。そし
て、その結果得られる差分値が、切換スイッチ１１３を
介して、ＤＣＴ回路１１４に供給され、以下、Ｉピクチ
ャにおける場合と同様に符号化される。従って、この場
合、切換スイッチ１１３は、被切換端子ｂを選択する。

【００４１】以上のように、Ｐピクチャ（Predicted Pi
cture）である画像Ｐ３については、基本的には、その
直前に符号化されたＩピクチャまたはＰピクチャを参照
画像として、その参照画像を動き補償して得られる予測
画像との差分が符号化される。

【００４２】即ち、Ｐピクチャに関し、インター符号化
する方がデータ量の少なくなるマクロブロック（インタ
ーマクロブロック）については、切換スイッチ１１３に
おいて被切換端子ｂが選択され、インター符号化が行わ
れる。また、イントラ符号化する方がデータ量の少なく
なるマクロブロック（イントラマクロブロック）につい
ては、切換スイッチ１１３において被切換端子ａが選択
され、イントラ符号化が行われる。

【００４３】なお、Ｐピクチャのマクロブロックのう
ち、イントラ符号化されたものは、Ｉピクチャと同様に
してローカルデコードされ、フレームメモリ１２２に記
憶される。また、インター符号化されたものは、逆量子
化器１２６および逆ＤＣＴ回路１２５を介したものと、
オン状態とされた切換スイッチ１２３を介して供給され
るフレーム間予測画像データとが加算器１２４で加算さ
れることによりローカルデコードされ、フレームメモリ
１２２に記憶される。

【００４４】次に、３枚目の画像Ｂ１の符号化について
説明する。

【００４５】Ｂピクチャである画像Ｂ１の符号化時にお
いては、動き検出器１２０において、その画像Ｂ１の直
前に表示されるＩピクチャまたはＰピクチャと、その直
後に表示されるＩピクチャまたはＰピクチャとに対する
２つの動きベクトルが検出される。従って、ここでは、
画像Ｂ１の、画像Ｉ０とＰ３それぞれに対する動きベク
トルが検出される。ここで、画像Ｂ１の直前に表示され
るＩピクチャである画像Ｉ０に対する動きベクトルをフ
ォワードベクトル（Forward Vector）と、その直後に表
示されるＰピクチャである画像Ｐ３に対する動きベクト
ルをバックワードベクトル（Backward Bector）とい
う。

【００４６】画像Ｂ１に関しては、（１）フォワードベ
クトルにしたがって画像Ｉ０をローカルデコードしたも
のを動き補償して得られるフレーム間予測画像データと
の差分、（２）バックワードベクトルにしたがって画像
Ｐ３をローカルデコードしたものを動き補償して得られ
るフレーム間予測画像データとの差分、（３）上述の
（１）および（２）で得られる２つのフレーム間予測画
像データの平均値との差分、（４）画像Ｂ１そのもの、
の４つのうちの、最もデータ量が少なくなるものが選択
されて符号化される。

【００４７】（１）乃至（３）のうちのいずれかのデー
タが符号化される場合（インター符号化が行われる場
合）には、必要な動きベクトルが動き検出器１２０から
動き補償器１２１に供給され、その動きベクトルにした
がって動き補償を行うことにより得られるデータが、差
分器１１２に供給される。そして、差分器１１２におい
て、画像Ｂ１のオリジナルデータと、動き補償器１２１
からのデータとの差分が求められ、これが、切換スイッ
チ１１３を介してＤＣＴ回路１１４に供給される。従っ
て、この場合、切換スイッチ１１３は被切換端子ｂを選
択する。一方、（４）のデータが符号化される場合（イ
ントラ符号化が行われる場合）には、そのデータ、即
ち、画像Ｂ１のオリジナルデータが、切換スイッチ１１
３を介してＤＣＴ回路１１４に供給される。従って、こ
の場合、切換スイッチ１１３は被切換端子ａを選択す
る。

【００４８】Ｂピクチャである画像Ｂ１については、そ
の符号化時に、既に符号化され、ローカルデコードされ
た画像Ｉ０およびＰ３がフレームメモリに記憶されてい
るので、上述のような符号化が可能となる。

【００４９】４枚目の画像Ｂ２については、上述の画像
Ｂ１を符号化する場合の記述のうち、Ｂ１をＢ２に置き
換えた処理が行われる。

【００５０】５枚目の画像Ｐ６については、上述の画像
Ｐ３を符号化する場合の記述のうち、Ｐ３をＰ６に、Ｉ
０をＰ３に、それぞれ置き換えた処理が行われる。

【００５１】６枚目以降の画像については、上述の繰り
返しとなるので、説明を省略する。

【００５２】

【発明が解決しようとする課題】上述したように、監視
カメラで撮影した画像を、図４の画像符号化装置で符号
化して記録媒体に記録した場合、その画像を符号化せず
にそのまま記録した場合に比較して、記録媒体の容量を
小さくすること、または長時間の記録を行うことが可能
となる。

【００５３】しかしながら、例えば、動物の生態を観察
する場合において、その動物が、監視カメラで撮影する
ことができないような、物陰に隠れているときなどに、
その記録を行っても、あまり意味がない。また、動物が
監視カメラで撮影することができるような状態であって
も、その動いている状態を観察したい場合には、静止し
ている状態を記録し続けても意味がない。さらに、例え
ば、部屋の状態を監視する場合において、その部屋に侵
入者がなく、部屋の状態がまったく変化していないとき
に、その記録を行っても、やはり、意味がない。

【００５４】このような意味のない画像（必要のない画
像）を記録することは、記録媒体の容量を、いわば無駄
に使用することになる。

【００５５】本発明は、このような状況に鑑みてなされ
たものであり、記録媒体の有効利用を図ることができる
ようにするものである。

【００５６】

【課題を解決するための手段】請求項１に記載の録画装
置は、入力画像のうちの所定の画像を記憶する記憶手段
と、入力画像と所定の画像とを比較する比較手段と、比
較手段の比較結果に対応して、入力画像の録画の開始ま
たは停止を制御する制御手段とを備えることを特徴とす
る。

【００５７】請求項４に記載の録画方法は、入力画像の
うちの所定の画像を記憶し、入力画像と所定の画像とを
比較し、その比較結果に対応して、入力画像の録画の開
始または停止を制御することを特徴とする。

【００５８】請求項１に記載の録画装置においては、記
憶手段は、入力画像のうちの所定の画像を記憶し、比較
手段は、入力画像と所定の画像とを比較するようになさ
れている。制御手段は、比較手段の比較結果に対応し
て、入力画像の録画の開始または停止を制御するように
なされている。

【００５９】請求項４に記載の録画方法においては、入
力画像のうちの所定の画像を記憶し、入力画像と所定の
画像とを比較し、その比較結果に対応して、入力画像の
録画の開始または停止を制御するようになされている。

【００６０】

【発明の実施の形態】図１は、本発明を適用したパーソ
ナルコンピュータの一実施の形態の構成例を示してい
る。

【００６１】このパーソナルコンピュータ（以下、適
宜、パソコンという）は、ビデオカメラ１４で撮影され
た画像を、圧縮部１３で圧縮符号化し、ハードディスク
１２に記録しておくことができるようになされている。

【００６２】即ち、マイクロプロセッサ１は、ハードデ
ィスク１２に記録されたオペレーティングシステムの制
御の下、同じくハードディスク１２に記録されたアプリ
ケーションプログラムを実行することで、例えば、ビデ
オカメラ１４で撮影された画像の符号化処理やその記録
処理などの所定の処理を行う。メインメモリ２は、マイ
クロプロセッサ１が実行するプログラムや、マイクロプ
ロセッサ１の動作上必要なデータを記憶する。フレーム
バッファ３は、例えば、ＤＲＡＭ（Dynamic Random Acc
ess Memory）などで構成され、マイクロプロセッサ１が
生成した画像などを記憶する。バスブリッジ４は、内部
バスと、例えばＰＣＩ（Peripheral Component Interco
nnect）ローカルバスなどの拡張バスとの間でのデータ
のやりとりを制御する。

【００６３】以上のマイクロプロセッサ１、メインメモ
リ２、フレームバッファ３、およびバスブリッジ４は、
相互に、内部バスを介して接続されており、残りのブロ
ックは、拡張バスを介して相互に接続されている。な
お、バスブリッジ４は、内部バスと拡張バスとの両方に
接続されている。

【００６４】チューナ５は、例えば、地上波や衛星回
線、ＣＡＴＶ網を利用して放送されているテレビジョン
放送信号を受信する。モデム６は、電話回線を介しての
通信を制御する。ここで、チューナ５で受信されたテレ
ビジョン放送や、モデム６においてインターネットから
受信した画像なども圧縮符号化して記録することができ
るようになされている。

【００６５】Ｉ／Ｏ（Input/Output）インターフェイス
７は、キーボード８やマウス９の操作に対応した操作信
号を出力する。キーボード８は、所定のデータやコマン
ドを入力するときに、マウス９は、ディスプレイ（コン
ピュータディスプレイ）１７に表示されるカーソルを移
動させたり、また、位置を指示したりするときなどに、
それぞれ操作される。

【００６６】補助記憶インターフェイス１０は、ＣＤ−
Ｒ（Compact Disc Recordable）１１やハードディスク
（ＨＤ（Hard Disk））１２などに対するデータの読み
書きを制御する。ＣＤ−Ｒ１１には、必要なデータが記
録される。ハードディスク１２には、オペレーティング
システムや、画像の記録処理その他処理をマイクロプロ
セッサ１に実行させるためのアプリケーションプログラ
ムなどが記録されている。さらに、ハードディスク１２
には、圧縮部１３で圧縮符号化されたデータなども記録
される。

【００６７】圧縮部１３は、マイクロプロセッサ１の制
御の下、そこに入力される画像や音声を、例えば、ＭＰ
ＥＧの規格に準拠して圧縮符号化する。なお、圧縮部１
３では、拡張バスを介して供給されるデータや、伸張部
１５を介して供給されるデータ、さらには、外部の装置
である、例えば、ビデオカメラ１４から供給されるデー
タなどを圧縮することができるようになされている。

【００６８】ビデオカメラ１４では、例えば、生態観察
の対象である動物や、監視を行う部屋などが撮影され、
圧縮部１３に供給される。なお、圧縮部１３は、ビデオ
カメラ１４とのインターフェイスを有しており、これに
より、ビデオカメラ１４で記録された画像や音声は圧縮
部１３に入力することができるようになされている。

【００６９】伸張部１５は、圧縮部１３で符号化（圧
縮）されたデータを復号（伸張）して出力する。なお、
伸張部１５は、必要に応じて、フレームバッファ３に記
憶された画像に、復号した画像をオーバレイして出力す
る。ここで、フレームバッファ３から伸張部１５への画
像データの供給は、図１の実施の形態では、それらの間
で直接行われるようになされているが、その他、内部バ
ス、バスブリッジ４、および拡張バスを介して行うこと
も可能である。但し、フレームバッファ３から伸張部１
５への画像データの供給を、内部バス、バスブリッジ
４、および拡張バスを介して行う場合には、内部バスや
拡張バスの能力が低いと、データが渋滞するおそれがあ
る。

【００７０】ＶＴＲ１６は、伸張部１５が出力する画像
や音声を、必要に応じて記録する。ディスプレイ１７
は、伸張部１５が出力する画像を、必要に応じて表示す
る。なお、伸張部１５が出力する画像の表示は、コンピ
ュータ用のディスプレイであるディスプレイ１７の他、
ＴＶ(TeleVision)モニタなどによっても行うことができ
るようになされている。

【００７１】次に、図２は、図１の圧縮部１３の一実施
の形態の構成例を示している。なお、図中、図４におけ
る場合と対応する部分については、同一の符号を付して
あり、以下では、その説明は、適宜省略する。即ち、圧
縮部１３は、差分値評価回路１３０（比較手段）、符号
化制御回路１３１（制御手段）、および参照メモリ１３
２（記憶手段）が新たに設けられている他は、基本的
に、図４の画像符号化装置と同様に構成されている。

【００７２】圧縮部１３には、ビデオカメラ１４で撮影
された画像が順次供給されるようになされており、この
画像（以下、適宜、入力画像という）は、フレームメモ
リ１１０および参照メモリ１３２に供給され、基本的に
は、図４における場合と同様にして符号化されるように
なされている。

【００７３】即ち、差分値評価回路１３０は、フレーム
メモリ１１０に入力された画像と参照メモリ１３２に記
憶された画像との比較を、動き検出器１２０からの信号
に基づいて行い、その比較結果を符号化制御回路１３１
に供給するようになされている。符号化制御回路１３１
は、差分値評価回路１３０からの信号に対応して、フレ
ームメモリ１１０に記憶された画像の符号化、ひいて
は、その符号化により得られるデータのハードディスク
１２への記録（録画）の開始または停止を制御するよう
になされている。参照メモリ１３２は、入力画像のうち
の所定のものを記憶するようになされている。

【００７４】次に、図３のフローチャートを参照して、
その動作について説明する。

【００７５】例えば、動物の生態観察や、部屋の監視を
行う場合、ユーザは、所望の範囲が撮影されるようにビ
デオカメラ１４をセットする。そして、録画を開始する
ように、ビデオカメラ１４あるいはキーボード８やマウ
ス９を操作する。この操作に対応して、ビデオカメラ１
４においては、画像の撮影が開始され、その撮影された
画像（入力画像）が、圧縮部１３に供給される。

【００７６】圧縮部１３では、ビデオカメラ１４から最
初の画面の入力があると、その画面がフレームメモリ１
１０に供給されて記憶されるとともに、参照メモリ１３
２に供給され、ステップＳ０において、その後の入力画
像と比較する比較画像として記憶される。

【００７７】そして、ステップＳ１に進み、フレームメ
モリ１１０において、次の画面の入力画像が記憶され
る。ここで、フレームメモリ１１０においては、動き検
出器１２０で必要な動きベクトルを検出することができ
るだけの数の画面を記憶することができるようになされ
ている。また、フレームメモリ１１０では、そこで記憶
することのできる入力画像を記憶した後、さらに入力画
像が供給された場合には、不必要となった入力画像に上
書きする形で、新たに供給された入力画像が記憶される
ようになされている。

【００７８】ステップＳ１において、新たな入力画像が
フレームメモリ１１０に記憶されると、ステップＳ２に
進み、動き検出器１２０において、参照メモリ１３２に
記憶された比較画像に対する、フレームメモリ１１０に
ステップＳ１で記憶された入力画像の動きベクトルが検
出（比較画像を参照画像として、入力画像の動きベクト
ルが検出）されるとともに、その動きベクトルにしたが
って入力画像の動き補償を行って得られる残差が算出さ
れる。

【００７９】即ち、例えば、いま、比較画像について、
横×縦が８×８画素で構成されるブロックを考え、その
マクロブロックの最も左上から、右方向にｉ番目で、下
方向にｊ番目の位置にある画素の画素値をＲ_i,jと表
す。さらに、入力画像について、その最も左上から右ま
たは下方向にｘ軸またはｙ軸をそれぞれ考え、点（ｘ，
ｙ）を最も左上の画素とするブロックの最も左上から、
右方向にｉ番目で、下方向にｊ番目の位置にある画素の
画素値をＳ_x+i,y+jと表す。

【００８０】この場合、次式で示されるｄ（ｘ，ｙ）
が、ｘ，ｙそれぞれを１ずつ変化させて求められる。

【００８１】

【数１】・・・（１）

【００８２】そして、動き検出器１２０では、式（１）
のｄ（ｘ，ｙ）を最小にする（ｘ，ｙ）が動きベクトル
として検出され、さらに、その最小のｄ（ｘ，ｙ）が残
差ｄ_minとして算出される。

【００８３】以上の処理が、マクロブロックを構成する
ブロックを単位で行われる。

【００８４】動き検出器１２０は、さらに、ステップＳ
３において、ステップＳ２で求められた各ブロックにつ
いての残差ｄ_minの、例えば総和Ｓｄを、次式にしたが
って計算し、これを、入力画像と比較画像との比較を行
うための評価値として、差分値評価回路１３０に出力す
る。

【００８５】Ｓｄ＝Σｄ_min ・・・（２）但し、式（２）において、Σは、すべてのブロックの残
差ｄ_minについてのサメーションを表す。

【００８６】差分値評価回路１３０は、動き検出器１２
０から評価値を受信すると、ステップＳ４において、そ
の評価値が所定の条件を満たすかどうか、即ち、例え
ば、評価値を所定の閾値ε１と比較し、その閾値ε１よ
り大きいか、または小さいかを判定する。

【００８７】ステップＳ４において、評価値が所定の条
件を満たさないと判定された場合、次の画面の入力画像
が、フレームメモリ１１０に供給されるのを待って、ス
テップＳ１に戻り、以下、同様の処理が繰り返される。

【００８８】また、ステップＳ４において、評価値が所
定の条件を満たすと判定された場合、差分値評価回路１
３０は、符号化制御回路１３１に対して、評価値が所定
の条件を満たす旨の信号を出力し、ステップＳ５に進
む。符号化制御回路１３１は、評価値が所定の条件を満
たす旨の信号を受信すると、ステップＳ５において、入
力画像の符号化を開始するように、制御を行う。即ち、
符号化制御回路１３１は、フレームメモリ１１０に記憶
された入力画像の読み出しを開始し、その入力画像をブ
ロック分割器１１１に供給する。

【００８９】この結果、ステップＳ５の処理後は、後述
するステップＳ１０の処理が行われるまで、入力画像
は、圧縮部１３において、図４における場合と同様にし
て符号化され、その符号化により得られたデータは、ハ
ードディスク１２に転送されて記録される。

【００９０】その後、ステップＳ６乃至Ｓ８に順次進
み、ステップＳ１乃至Ｓ３における場合とそれぞれ同様
の処理が行われる。そして、ステップＳ８で評価値が算
出されると、ステップＳ９に進み、差分値評価回路１３
０において、その評価値が所定の条件を満たすかどう
か、即ち、例えば、評価値が所定の閾値ε２と比較さ
れ、その閾値ε２より大きいか、または小さいかが判定
される。

【００９１】ステップＳ９において、評価値が所定の条
件を満たさないと判定された場合、次の画面の入力画像
が、フレームメモリ１１０に供給されるのを待って、ス
テップＳ６に戻り、以下、同様の処理が繰り返される。
即ち、この場合、入力画像の符号化、およびその符号化
により得られるデータの記録が続行される。

【００９２】また、ステップＳ９において、評価値が所
定の条件を満たすと判定された場合、差分値評価回路１
３０は、符号化制御回路１３１に対して、評価値が所定
の条件を満たす旨の信号を出力し、ステップＳ１０に進
む。符号化制御回路１３１は、評価値が所定の条件を満
たす旨の信号を受信すると、ステップＳ１０において、
入力画像の符号化を停止するように、制御を行い、次の
入力画像がフレームメモリ１１０に供給されるのを待っ
て、ステップＳ１に戻る。即ち、符号化制御回路１３１
は、フレームメモリ１１０からの入力画像の読み出しを
停止し、ステップＳ１に戻る。

【００９３】この結果、ステップＳ１０の処理後は、ス
テップＳ１に戻り、上述のステップＳ５の処理が行われ
るまで、圧縮部１３においては、入力画像の符号化は行
われず、従って、そのハードディスク１２への記録も行
われない。

【００９４】ここで、評価値は、入力画像と比較画像と
の相関が小さいときには大きな値となり、その相関が大
きいときには小さな値となる。

【００９５】従って、例えば、比較画像に一致またはそ
れと似ている入力画像の入力があった場合に、その入力
画像の符号化、記録を開始したいときには、閾値ε１を
小さな値に設定し、ステップＳ４における所定の条件
を、評価値が閾値ε１以下になったこととすれば良い。
この場合、入力画像が比較画像とまったく異なるときに
は、評価値が大きくなって閾値ε１以下とならず、符号
化および記録は開始されない。一方、比較画像と同一ま
たはそれと似ている入力画像が入力されると、評価値が
小さくなって閾値ε１以下となり、符号化および記録が
開始される。

【００９６】また、このようにして符号化および記録を
開始した後に、例えば、比較画像と大きく異なる入力画
像の入力があった場合に、その入力画像の符号化、記録
を停止したいときには、閾値ε２を大きな値に設定し、
ステップＳ９における所定の条件を、評価値が閾値ε２
以上になったこととすれば良い。この場合、入力画像が
比較画像と同一または似ているときには、評価値が小さ
くなって閾値ε２以上とならず、符号化および記録は続
行される。一方、比較画像と大きく異なる入力画像が入
力されると、評価値が大きくなって閾値ε２以上とな
り、符号化および記録が停止される。

【００９７】さらに、例えば、上述の場合とは逆に、比
較画像と大きく異なる入力画像の入力があった場合に、
その入力画像の符号化、記録を開始したいときには、閾
値ε１を大きな値に設定し、ステップＳ４における所定
の条件を、評価値が閾値ε１以上になったこととすれば
良い。この場合、入力画像が比較画像と同一または似て
いるときには、評価値が小さくなって閾値ε１以上とな
らず、符号化および記録は開始されない。一方、比較画
像と大きく異なる入力画像が入力されると、評価値が大
きくなって閾値ε１以上となり、符号化および記録が開
始される。

【００９８】また、このようにして符号化および記録を
開始した後に、例えば、比較画像に一致またはそれと似
ている入力画像の入力があった場合に、その入力画像の
符号化、記録を停止したいときには、閾値ε２を小さな
値に設定し、ステップＳ９における所定の条件を、評価
値が閾値ε２以下になったこととすれば良い。この場
合、入力画像が比較画像と大きく異なるときには、評価
値が大きくなって閾値ε２以下とならず、符号化および
記録は続行される。一方、比較画像と同一またはそれと
似ている入力画像が入力されると、評価値が小さくなっ
て閾値ε２以下となり、符号化および記録が停止され
る。

【００９９】例えば、動物の生態を観察する場合や、部
屋の状態を監視する場合などにおいては、基本的には、
変化があった状態の記録を行えば充分であるから、閾値
ε１を大きな値に設定し、ステップＳ４における所定の
条件を、評価値が閾値ε１以上になったことにするとと
もに、閾値ε２を小さな値に設定し、ステップＳ９にお
ける所定の条件を、評価値が閾値ε２以下になったこと
にすれば良い。

【０１００】この場合、動物が動いている場面や、部屋
の状態が変化している場面などのみの記録が行われ、ハ
ードディスク１２を有効に利用することが可能となる。
即ち、ハードディスク１２の容量を、従来要求される大
きさより小さくすること、または従来より長時間の記録
を行うことが可能となる。

【０１０１】以上、本発明を、ビデオカメラ１４を監視
カメラとして用い、これにより得られる画像を符号化し
て記録する装置に適用した場合について説明したが、本
発明は、例えば、テレビジョン放送を受信して記録する
装置や、画像を編集して記録する装置その他に適用可能
である。

【０１０２】即ち、例えば、所定の時刻からの番組の録
画予約をした場合において、その番組の前の番組が延長
などされ、予約録画をしようとする番組の放送時刻がず
れると、その番組全体の録画をすることができなくな
る。そこで、録画しようとする番組の、例えばオープニ
ングのテーマ曲などが放送されるときの画面などを、比
較画像として記憶させておき、上述の閾値ε１を小さな
値に設定するとともに、ステップＳ４における所定の条
件を、評価値が閾値ε１以下になったこととすれば、そ
のオープニングから録画を開始することが可能となる。

【０１０３】また、例えば、画像を編集する場合におい
て、その中の動きのある部分だけをまとめたいときに
は、上述したように、閾値ε１を大きな値に設定し、ス
テップＳ４における所定の条件を、評価値が閾値ε１以
上になったことにするとともに、閾値ε２を小さな値に
設定し、ステップＳ９における所定の条件を、評価値が
閾値ε２以下になったことにすれば、ユーザは、自身で
動きのある部分を探し出さなくても、そのような編集を
容易に行うことが可能となる。

【０１０４】なお、本実施の形態では、入力画像と比較
画像との比較のための評価値として、ブロックについて
の残差の総和を用いるようにしたが、この評価値として
は、その他、例えば、入力画像と比較画像との差分など
を用いるようにすることが可能である。但し、残差の総
和の方が、入力画像と比較画像との差分などよりも評価
値としての精度が高く、入力画像の時間的変動に対する
耐性を高めることができる。即ち、例えば、比較画像と
異なる入力画像の入力があった場合に、その記録を開始
するとしたときに、入力画像が、例えばジッタなどで揺
らぐことにより比較画像と異なるものとなっても、誤っ
て、記録を開始することなどを防止することができる。

【０１０５】また、上述の閾値ε１およびε２は、固定
の値にする必要はなく、適宜変更することが可能であ
る。即ち、例えば、入力画像にノイズが含まれる場合
と、含まれない場合とでは、比較画像との相関が変化す
るので、各場合に応じて、閾値ε１およびε２は変動さ
せることが可能である。

【０１０６】さらに、本実施の形態では、ビデオカメラ
１４で最初に撮影された画像を、比較画像として、参照
メモリ１３２に記憶させるようにしたが、その他、例え
ば、キーボード８やマウス９の操作に対応して、その操
作時に、ビデオカメラ１４で撮影された画像を、比較画
像とすることなども可能である。また、比較画像は、ス
テップＳ５やＳ１０の処理を行った後に最初に供給され
る入力画像に変換することなどが可能である。さらに、
参照メモリ１３２には、その他の任意の画像を、比較画
像として記憶させることが可能である。

【０１０７】また、本実施の形態では、画像をＭＰＥＧ
符号化して記録するようにしたが、画像の符号化方式は
これに限定されるものではない。さらに、画像は符号化
せずに記録することも可能である。

【０１０８】また、本実施の形態では、比較画像を記憶
する記憶手段として、参照メモリ１３２を設けるように
したが、比較画像は、フレームメモリ１１０の一部の領
域に記憶させるようにすることも可能である。

【０１０９】

【発明の効果】請求項１に記載の録画装置および請求項
４に記載の録画方法によれば、入力画像のうちの所定の
画像が記憶され、入力画像と所定の画像とが比較され
る。そして、その比較結果に対応して、入力画像の録画
の開始または停止が制御される。従って、例えば、入力
画像を記録する記録媒体の有効利用を図ることが可能と
なる。

【図面の簡単な説明】

【図１】本発明を適用したパーソナルコンピュータの一
実施の形態の構成例を示すブロック図である。

【図２】図１の圧縮部１３の構成例を示すブロック図で
ある。

【図３】圧縮部１３の動作を説明するためのフローチャ
ートである。

【図４】従来の画像符号化装置の一例の構成を示すブロ
ック図である。

【図５】入力端子１０１に入力される画像データを示す
図である。

【図６】マクロブロックと、それを構成するブロックと
を示す図である。

【図７】ジグザグスキャンを示す図である。

【符号の説明】

１マイクロプロセッサ，２メインメモリ，３
フレームバッファ，４バスブリッジ，５チュー
ナ，６モデム，７Ｉ／Ｏインターフェイス，
８キーボード，９マウス，１０補助記憶イン
ターフェイス，１１ＣＤ−Ｒ，１２ハードディス
ク，１３圧縮部，１４ビデオカメラ，１５
伸張部，１６ＶＴＲ，１７コンピュータディス
プレイ，１０１入力端子，１０２出力端子，
１１０フレームメモリ，１１１ブロック分割器，
１１２差分器，１１３切換スイッチ，１１４
ＤＣＴ回路，１１５量子化器，１１６ジグザグ
スキャン回路，１１７ＶＬＣ回路，１１８出力
バッファ，１２０動き検出器，１２１動き補償
器，１２２フレームメモリ，１２３切換スイッ
チ，１２４加算器，１２５逆ＤＣＴ回路，１２
６逆量子化器，１３０差分値評価回路（比較手
段），１３１符号化制御回路（制御手段），１３
２参照メモリ（記憶手段）

Claims

【特許請求の範囲】

【請求項１】画像の記録を行う録画装置であって、入力画像のうちの所定の画像を記憶する記憶手段と、前記入力画像と前記所定の画像とを比較する比較手段
と、前記比較手段の比較結果に対応して、前記入力画像の録
画の開始または停止を制御する制御手段とを備えること
を特徴とする録画装置。
【請求項２】前記記憶手段は、前記入力画像のうち、
最初に入力されるものを前記所定の画像として記憶する
ことを特徴とする請求項１に記載の録画装置。
【請求項３】前記比較手段は、前記所定の画像を参照
画像として、前記入力画像の動きベクトルを検出し、そ
の動きベクトルにしたがって前記入力画像の動き補償を
行って得られる残差を、所定の閾値と比較することによ
り、前記入力画像と前記所定の画像とを比較を行うこと
を特徴とする請求項１に記載の録画装置。
【請求項４】画像の記録を行う録画方法であって、入力画像のうちの所定の画像を記憶し、前記入力画像と前記所定の画像とを比較し、その比較結果に対応して、前記入力画像の録画の開始ま
たは停止を制御することを特徴とする録画方法。