JPH0779440A - デジタル画像信号の伝送装置及び受信装置 - Google Patents

Abstract

(57)【要約】 【目的】 低伝送レートの伝送媒体であっても、受信側
で、高画質で、動きのスムースな動画を再生することが
できる伝送装置を提供する。 【構成】 画面を構成する背景画の静止画からなる背景
プレーン情報と、上記背景画上を動く動き物体のそれぞ
れの静止画からなる１〜複数個の動物体プレーン情報と
を生成する。生成した背景プレーン情報及び各動物体プ
レーン情報をそれぞれ個別にメモリ２３ＢＧ、２３Ａ１
〜２３Ａｎに記憶する。デジタル画像信号の現在フレー
ムの動物体プレーンとメモリ２３Ａ１〜２３Ａｎの動物
体プレーン情報との差分を求め、動物体プレーン情報と
して記憶された静止画に対する変化情報を検出する。メ
モリ手段２３ＢＧ、２３Ａ１〜２３Ａｎの複数のプレー
ン情報の静止画情報と、上記の変化情報とを伝送する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、低ビットレートでの
伝送が可能な、デジタル画像信号の伝送装置及びその受
信装置に関する。

【０００２】

【従来の技術】動画像のデジタル画像データは、非常に
多量の情報を含んでおり、これをそのまま伝送しようと
すると、伝送ビットレートが非常に高くなってしまう。
このため、磁気テープや光磁気ディスクなどを用いてデ
ジタル画像データを記録再生するように、伝送ビットレ
ートが制限された低いレートの伝送媒体を用いて伝送す
るようにする場合には、従来は、一般的に、画像が時空
間の情報であることを利用してデータ圧縮するようにし
ている。

【０００３】例えば、デジタル画像データのフレーム間
の差を取り、その差をＤＣＴ（ディスクリート・コサイ
ン・トランスフォーム（離散コサイン変換））を用いて
データ圧縮するなど、デジタル画像データを圧縮して伝
送するようにすることが、従来から行なわれている。さ
らには、テレビ会議などでは、画像が動きが少ないもの
であることに鑑み、フルフレームを伝送するのではな
く、片フィールドのデータのみを伝送するようにするな
ど、情報量を間引いて伝送することなども行なわれてい
る。

【０００４】片フィールドではなく、さらに伝送するフ
ィールド数を少なくして時間情報を犠牲にし、空間情報
は確保することにより、画像は綺麗であるが、動きがギ
クシャクするような場合もある。

【０００５】しかし、このように動きがギクシャクした
のでは、動画の良さが損なわれるので、１フレームあた
りの画像データを、できるだけデータ圧縮してフルフレ
ームを伝送し、空間解像度を犠牲にするが、動画として
フルモーションで再生できるようにする方法も考えられ
ている。

【０００６】

【発明が解決しようとする課題】上述したように、従来
のデジタル画像信号の伝送方法は、画像データを、時間
方向、あるいは空間方向にデータ圧縮して伝送レートを
下げるように工夫している。

【０００７】しかしながら、データ圧縮のみにより伝送
ビットレートを下げるようにした場合、例えば、時間方
向に圧縮した場合には、動画像の動きが、ギクシャクと
したものとなり不自然な画像となってしまう。また、空
間方向に圧縮したときは、空間解像度がそれだけ劣化す
るため、再生画像が劣化してしまう。

【０００８】すなわち、従来の方法は、データ圧縮のみ
によりビットレートを下げるようにしているため、時間
方向あるいは空間方向のデータの一方を犠牲、あるいは
両方を犠牲にしており、再生画像として満足のゆくもの
を得ることは、なかなかできなかった。

【０００９】この発明は、以上の点に鑑み、できるだけ
美しい再生画が得られると同時に、動きがスムーズにで
きるように工夫した、デジタル画像信号の伝送装置、及
びその受信装置を提供することを目的としている。

【００１０】

【課題を解決するための手段】上記課題を解決するた
め、この発明によるデジタル画像信号の伝送装置は、後
述の実施例の参照符号を対応させると、デジタル画像信
号の静止画情報を表す背景プレーン情報と、上記デジタ
ル画像信号の動き画像情報を表す少なくとも１個の動物
体プレーン情報とを生成するプレーン情報生成手段２２
と、上記背景プレーン情報及び動物体プレーン情報をそ
れぞれ個別に記憶するメモリ手段２３ＢＧ、２３Ａ１〜
２３Ａｎと、上記デジタル画像信号の現在フレームの動
物体プレーン情報と、上記メモリ手段に記憶された動物
体プレーン情報との差分である動物体プレーン変化情報
を検出する変化情報検出手段３００と、上記メモリ手段
の上記背景プレーン情報及び動物体プレーン情報と、上
記動物体プレーン変化情報とを伝送する伝送手段とを備
えることを特徴とする。

【００１１】

【作用】上記の構成のこの発明によれば、例えば、特定
の画像内容からなる１つのシーンについて考えたとき、
そのシーンの画像は、固定の静止画と考えられる背景画
と、それぞれ動きが異なる１〜複数個の動き物体からな
るものとして考えることができる。

【００１２】すなわち、この発明においては、動画の１
フレームの二次元画像を、背景及び複数個の動き物体の
それぞれの静止画からなる二次元プレーンの重なりと捕
らえる。そして、動き物体については、その動き物体の
動き方向、移動距離、物体の形状変化などの変化情報を
抽出する。そして、動画データとして、上記の背景画プ
レーン及び動き物体プレーンを伝送すると共に、動き物
体プレーンについての変化情報を伝送する。

【００１３】受信側では、背景プレーンの背景画の上
に、動き物体プレーンの動き物体を、その変化情報に応
じて重ねることにより、動画を再生するようにする。

【００１４】この場合、それぞれの背景プレーン及び動
き物体の動きプレーンは１枚の静止画であって、この静
止画の情報は、１つのシーンの一番最初に、それぞれ伝
送すれば足りる。数秒以上からなる１シーンについて、
それぞれ１枚の静止画を伝送すればよいから、これは、
低い伝送レートであっても、大量のデータ量を伝送する
ことができる。したがって、高画質となる。そして、変
化情報は、高々、数ビットでよいので、１シーンの内の
静止画情報を伝送した残りの時間であっても、余裕を持
ってリアルタイムで伝送することも可能である。

【００１５】

【実施例】以下、この発明によるデジタル画像信号の伝
送装置及びその受信装置のいくつかの実施例を、光磁気
ディスクに対してデジタル画像信号を記録再生する装置
の場合を例にとって、図を参照しながら説明する。

【００１６】図１は、第１の実施例の装置のディスク駆
動系及びブロック図を示し、この例の装置は、ビデオカ
メラ部１と、記録信号系２と、全体の制御を行うための
システムコントローラ３と、ディスク駆動系１０とから
なり、ビデオカメラ部１の撮像出力信号が、記録信号系
２を介して記録されるようにされている。

【００１７】ディスク駆動系１０において、１１は光磁
気ディスクである。この光磁気ディスク１１は、カート
リッジ１１Ａ内に収納されて構成されている。また、デ
ィスク１１には、予め、トラッキング制御用のプリグル
ーブが形成されていると共に、この例の場合には、この
プリグルーブにトラッキング用のウォブリング信号に重
畳して絶対アドレスデータが記録されている。この絶対
アドレスデータは、この記録時の記録トラック位置制
御、また、後述する再生時の再生走査トラック位置制御
のために用いられる。

【００１８】ディスク１１は、スピンドルモータ１２に
より回転される。スピンドルモータ１２の回転は、サー
ボ制御回路１５により制御され、ディスク１１が、例え
ば線速度一定の状態で回転するように制御される。

【００１９】ディスク１１にはシャッターが設けられて
おり、ディスク１１がディスク装着トレイ上に載置さ
れ、装置に装填されると、シャッターが開かれる。そし
て、ディスク１１のシャッター開口部の上部には記録用
の磁気ヘッド１３が対向して配置され、ディスク１１の
シャッター開口部の下部には光ピックアップ１４が対向
して配置される。

【００２０】光ピックアップ１４は発光部と受光部とを
有し、送りモータ１６により、ディスク１１の径方向に
移動制御される。また、サーボ制御回路１５により、光
ピックアップ１４のフォーカス及びトラッキング制御が
なされる。

【００２１】システムコントローラ３は、マイクロコン
ピュータを搭載して構成されており、全体の動作を管理
している。このシステムコントローラ３には、キー群４
からキー入力信号が与えられる。キー群４には、撮像録
画スタンバイキー、撮像録画スタートキー、再生キー、
停止キーなどが含まれる。

【００２２】そして、カメラ部１からの撮像信号は、Ａ
／Ｄコンバータ２１に供給されて、例えば１画素サンプ
ルが８ビットで表されるデジタル画像信号に変換され
て、信号処理回路２２に供給される。この信号処理回路
２２では、カメラ部１により撮像されたシーンの画像
を、動きのない固定の背景の静止画からなる背景プレー
ンと、この背景上で動くそれぞれの動き物体を示す静止
画からなる複数個の動物体プレーンとに分離する。

【００２３】撮像画像が例えば図２に示すような２次元
画像３０の場合、図に示すように、動きのない建造物な
どからなる固定の静止画が背景プレーン３１として抽出
される。そして、動き物体としては、図２の例では、飛
行機と、猿と、自動車とが認識されて、それぞれ動物体
プレーン３２、３３、３４として分離される。

【００２４】信号処理回路２２では、分離した背景プレ
ーンを、背景プレーンメモリ２３ＢＧに書き込む。ま
た、分離したｎ個の動物体プレーンは、それぞれ動物体
プレーンメモリ２３Ａ１〜２３Ａｎ（ｎは自然数）に書
き込む。以上の背景プレーン及び動物体プレーンの分離
のための具体実施例については後述する。

【００２５】以上のようにして、背景プレーン及び複数
個の動物体プレーンに分離されて、プレーンメモリ２３
ＢＧ及び２３Ａ１〜２３Ａｎに書き込まれた各静止画の
画像情報は、この例では、実際にビデオカメラによって
撮像録画を開始する前の、準備段階で予めディスク１１
に記録される。すなわち、通常、撮像録画を始める際に
は、それに先立ってスタンバイモードとされて、ビデオ
カメラ部１が動作状態とされ、ビューファインダで撮像
する構図を決める。この例では、この時間を利用して、
背景プレーン及び動物体プレーンを分離生成し、記録及
び伝送する。

【００２６】すなわち、図３に示すように、この例で
は、１シーンの記録を、準備期間と、実際の撮像録画期
間とで行う。そして、準備期間において、上述のプレー
ン分離処理と、分離したプレーン情報の記録処理を行
う。

【００２７】この場合、各プレーン情報を、例えば図４
に示すように４８０ライン×７２０画素で構成し、ま
た、１画素のデータを、輝度信号Ｙ（８ビット）及び色
情報Ｕ、Ｖ（８ビット）とで構成すると、各プレーンの
静止画情報は、それぞれ約５．６Ｍビットの情報量を有
する。このまま圧縮せずに、ディスク１１に記録するこ
ともできるが、ディスクへのデータの記録レートが、例
えば１．２Ｍｂｐｓであるとすると、１プレーン当たり
約５秒で記録ができ、４枚のプレーンでは２０秒掛かっ
てしまう。

【００２８】このため、この例では、各プレーンメモリ
２３ＢＧ及び２３Ａ１〜２３Ａｎに書き込まれた画像情
報は、圧縮回路２４に供給されて、各プレーン情報が適
当に圧縮されて、記録処理回路２５に供給される。この
記録処理回路２５では、データをセクタ構造にするな
ど、ディスク１１の記録フォーマットに適合するデータ
処理が行われる。この記録処理回路２５の出力データ
は、順次、ヘッド駆動回路２７を介して記録用磁気ヘッ
ド１３に供給され、磁界変調オーバーライト方式でディ
スク１１に光磁気記録される。

【００２９】圧縮回路２４での、データ圧縮率が１／１
０であれば、上記の４枚のプレーン情報は、２秒の準備
時間で記録できる。１．２Ｍｂｐｓで同じ情報量の動画
データのフルフレームを伝送する場合には、データ圧縮
率は１／１００以上になるので、これと比べると、プレ
ーン情報の画質の劣化は非常に少ない。

【００３０】そして、この例においては、ビデオカメラ
部１で、実際の撮像録画開始キーを操作した後の撮像録
画期間では、各動物体プレーンに登録されている動き物
体の動き方向及び動き量及び回転や形状変化などの動き
変化情報を生成すると共に、生成した動き変化情報をリ
アルタイムでディスク１１に記録する処理を行う。

【００３１】動き変化情報検出回路３００は、このた
め、撮像録画モードにおいては、分離した背景プレーン
及びｎ個の動物体プレーンの情報を用いて、入力デジタ
ル画像信号から、それぞれの動物体プレーンの動き物体
の動き変化情報を求める。そして、この動き変化情報を
圧縮符号化回路２６に供給し、適当な圧縮率で圧縮符号
化を行い、記録処理回路２５を介してヘッド駆動回路２
７に供給する。この場合、記録される動き変化情報は、
後述もするように、僅かなビット数となり、１．２Ｍｂ
ｐｓの低伝送レートであっても、リアルタイムで十二分
に伝送できる。この動き変化情報の検出方法の具体的な
実施例は後述する。

【００３２】光磁気ディスク１１では、次のようにして
データの記録が行われる。すなわち、ヘッド駆動回路２
７を介して記録用磁気ヘッド１３に供給されることによ
り、記録データで変調された磁界がディスク１１の所定
位置において印加される。また、光ピックアップ１４か
らのレーザービームがディスク１１の同一位置に照射さ
れる。この記録時は、記録トラックには、再生時より大
きな一定のパワーのレーザ光が照射されている。この光
照射と、磁気ヘッド１３による変調磁界とにより、ディ
スク１１には熱磁気記録によってデータが記録される。
磁気ヘッド１３と光ピックアップ１４とは、共に同期し
てディスク１１の半径方向に沿って移動できるように構
成されている。

【００３３】また、記録時においては、光ピックアップ
１４の出力がＲＦアンプ２８を介してアドレスデコーダ
２９に供給されて、ディスク１１のトラックに沿って設
けられたプリグルーブにウォブル記録されている絶対ア
ドレスデータが抽出され、デコードされる。そして、そ
の検出された絶対アドレスデータが、記録処理回路２５
に供給され、記録データ中に挿入されて、ディスク１１
に記録される。また、絶対アドレスデータは、システム
コントローラ３に供給され、記録位置の認識及び位置制
御に用いられる。

【００３４】そして、各シーンの背景プレーン情報、動
物体プレーン情報及び動き変化情報がそれぞれどのトラ
ック、さらには、どのセクタに記録されているかの情報
が、ディスクの最内周に設けられるＴＯＣ（Table Of C
ontents)領域と呼ばれるディスク管理エリアに記録され
る。

【００３５】なお、この記録時、ＲＦアンプ２８からの
信号がサーボ制御回路１５に供給され、ディスク１１の
プリグルーブからの信号からスピンドルモータ１２の線
速度一定サーボのための制御信号が形成され、スピンド
ルモータ１２が速度制御される。

【００３６】図５は、第１の実施例における信号処理回
路２２の一実施例のブロック図である。すなわち、入力
端子４１を通じたＡ／Ｄコンバータ２１からの１画素が
８ビットで表される画像データは、フレームメモリ４２
に供給されるとともに、減算回路４４及び減算回路４５
に供給される。また、入力画像データは、データセレク
タ６１を介して動物体プレーン分離回路６２に供給され
る。

【００３７】フレームメモリ４２は、１画素８ビットの
データを１フレーム分記憶し、減算回路４４において、
入力画素データから前のフレームの同一サンプリング位
置に対応する画素データが減算される。この減算回路４
４の差出力は、絶対値化回路４６に供給されて、各画素
毎に絶対値とされ、比較回路４７に供給される。

【００３８】比較回路４７には、端子４８を通じて、し
きい値θ１が供給され、絶対値化回路４６からの差出力
の絶対値がしきい値θ１未満のときには「１」となり、
しきい値θ１以上のときには「０」となる判定出力が得
られる。この判定出力は、重み係数制御回路４９に供給
される。

【００３９】図５において、２３ＢＧは、背景プレーン
メモリであって、後述するように、初期状態を経過する
と、この背景プレーンメモリ２３ＢＧに背景プレーン画
像（静止画）が格納される。

【００４０】また、５０は、１フレーム分の重み係数が
格納される重み係数メモリである。この重み係数メモリ
５０には、例えば、３ビットの重み係数が記憶される。

【００４１】フレームメモリ４２、背景プレーンメモリ
２３ＢＧ及び重み係数メモリ５０は、入力端子４３を介
してシステムコントローラ３から供給されるアドレス制
御信号により、共通にアドレス制御され、同一のアドレ
スが指定されるようにされている。

【００４２】減算回路４５では、入力画素データから背
景プレーンメモリ２３ＢＧに記憶された画像データが減
算され、この減算回路４５の差出力が絶対値化回路５１
に供給され、差出力の絶対値が各画素毎に求められる。
この絶対値化回路５１からの差の絶対値は、比較回路５
２に供給され、端子５３を通じたしきい値θ２と比較さ
れ、入力画素データと背景画素データの差出力の絶対値
が、しきい値θ２未満のときに「１」となり、しきい値
θ２以上のときに「０」となる判定出力が、この比較回
路５２から得られる。この比較回路５２よりの判定出力
は、重み係数制御回路４９に供給される。

【００４３】減算回路４５からの入力画素データと背景
画素データとの差出力は、また、乗算回路５４に供給さ
れ、重み係数制御回路４９から発生する重み係数αが乗
じられる。この乗算回路５４の乗算出力は、加算回路５
５に供給されて、背景プレーンメモリ２３ＢＧに記憶さ
れた背景画素データと加算され、その加算出力が背景プ
レーンメモリ２３ＢＧに書き込まれる。

【００４４】重み係数制御回路４９からの重み係数が、
重み係数メモリ５０に書き込まれる。この重み係数メモ
リ５０から読み出された重み係数は、重み係数制御回路
４９に供給される。

【００４５】重み係数制御回路４９は、比較器４７及び
５２の判定出力から画素データが動き画素かどうかの判
定を行なっている。

【００４６】以上の構成において、背景プレーンメモリ
２３ＢＧ、減算回路４５、乗算回路５４及び加算回路５
５は、背景プレーンメモリ２３ＢＧを１フレーム遅延素
子として用いたデジタルフィルタを構成している。すな
わち、重み係数をαとし、ｋフレーム目の入力画素デー
タをＺｋとし、背景プレーンメモリ２３ＢＧから読み出
された背景画像データをＸ（ｋ−１）とするとｋフレー
ム目の背景画素データ（推定値）Ｘｋは、次式で示され
るものとなる。

【００４７】 Ｘｋ＝α・（Ｚｋ−Ｘ（ｋ−１））＋Ｘ（ｋ−１） ＝（１−α）・Ｘ（ｋ−１）＋α・Ｚｋ この例においては、背景が変化しない１シーンの間で
は、αを例えば、１／16に固定している。入力画像中に
含まれるホワイト雑音は、上の式で表わされる演算を複
数フレームにわたって繰り返すことにより除去され、背
景プレーンメモリ２３ＢＧに蓄えられている背景画像の
Ｓ／Ｎが改善される。

【００４８】また、シーンが変わるときなどのように、
背景が切り替わるときには、つまり、撮像シーンが、別
の撮像シーンに変わった場合には、応答時間を短くする
とともに有色雑音の影響を受けないように、重み係数α
を１／16から１フレームごとに２倍にしてゆく。つま
り、１／16→１／８→１／４→１／２→１と指数関数的
に増加する重み係数αを用い、徐々に背景画像の更新を
行なうようにしている。したがって、重み係数αは、５
種類あり、それぞれが３ビットにより表現されている。
重み係数αを２のべき乗にしているのは、乗算回路５４
をシフトレジスタあるいはセレクタによって実現するた
めである。

【００４９】この例においては、初期状態を経過する
と、背景プレーンメモリ２３ＢＧに背景静止画データが
格納される。減算回路４５及び絶対値化回路５１によ
り、現画素と背景画素の差の絶対値が検出される。この
差の絶対値と、しきい値θ２が比較回路５２により比較
され、差の絶対値が、しきい値θ２未満のときに、現画
素が背景画像のものであると判定されて、次のような処
理が行なわれる。

【００５０】すなわち、このときは、重み係数αが２^-4
（＝１／16）に固定される。そして、乗算回路５４にお
いて、減算回路４５の出力に、この重み係数αが乗じら
れ、背景プレーンメモリ２３ＢＧの出力と加算回路５５
において加算される。そして、その加算出力が背景プレ
ーンメモリ２３ＢＧの同一アドレスに書き込まれ、背景
プレーンメモリの更新が行なわれる。このときの重み係
数は、重み係数メモリ５０に書き込まれる。

【００５１】現画素と背景画素の差の絶対値が、しきい
値θ２以上であると比較回路５２において判定されたと
きには、減算回路４４及び絶対値化回路４６により検出
された現画素と、前フレームの対応する画素との差の絶
対値が、しきい値θ１未満か、または、しきい値θ１以
上かが比較回路４７の出力として調べられる。この比較
回路４７の出力が、しきい値θ１未満のときには、次の
ような処理が行なわれる。

【００５２】すなわち、しきい値θ１未満である場合に
は、シーンチェンジなどにより、背景が切り替わったと
きのもので、最初に重み係数メモリ５０に記憶されてい
る重み係数α（＝１／16）が読み出され、乗算器５４に
よって、この重み係数αが減算回路４５の出力信号に対
して乗じられる。したがって、このフレームでなされる
背景画素の更新は、 Ｘｋ＝15／16・Ｘ（ｋ−１）＋１／16・Ｚｋ で示される上述と同様のものである。

【００５３】背景画素の更新がなされると、重み係数制
御回路４９において、αが２倍にされるとともに、この
２倍にされた新たな重み係数が１より大きいかどうかが
判定され、１より小さければ、この２倍された重み係数
αが、重み係数メモリ５０に格納される。１／16の重み
係数からスタートすると、（１／８→１／４→１／２→
１）と１フレームごとに重み係数αが変化する。

【００５４】背景が切り替わって、上述のように重み係
数αが変化し、α＝１となる５フレーム後まで、上述と
同様の背景画素の更新の処理には移行しない。したがっ
て、有色雑音が誤って新たな背景画素として検出され
て、重み係数を変更させる処理を受ける場合でも、正し
い背景画素が保存されることになる。この重み係数αの
変化の仕方は、背景画素の更新時の応答性を良くすると
ともに、有色雑音を除去できるように設定される。

【００５５】比較回路４７において、現画素と前フレー
ム画素との差の絶対値が、しきい値θ１以上であると判
定されたときには、これは、現画素が動き画素であると
判定されるもので、この場合には、背景プレーンメモリ
２３ＢＧの更新は行なわれない。この動き画素について
は、以下に述べるようにして、動きプレーンの分離の処
理が行なわれる。

【００５６】重み係数制御回路４９においては、比較回
路５２において、現画素と背景画素との絶対値が、しき
い値θ２以上であると検出され、かつ、比較回路４７の
出力から、現画素と前フレーム画素との差の絶対値が、
しきい値θ１以上である場合に、動き画素として検出さ
れるものである。

【００５７】重み係数制御回路４９からの動き画素の検
出信号は、データセレクタ６１に供給され、このデータ
セレクタ６１に入力されている入力端子４１からの入力
デジタル画素データがゲート制御される。このデータセ
レクタ６１は、現画素が動き画素のときに、入力端子４
１からの画像データを出力するように切り換えられる。
したがって、入力画素（現画素）が動き画素でないとき
には、データセレクタ６１の出力は「０」となり、入力
画素が動き画素のときには、その画素データ（これは
「０」ではないデータである。以下、「０」でないこと
をノンゼロという）が、このデータセレクタ６１から出
力される。

【００５８】６２は、動物体プレーン分離回路で、１フ
レーム分の画素データを記憶可能な差分メモリ（フレー
ムメモリ）６２Ｍを備え、データセレクタ６１の出力が
このメモリ６２Ｍに入力される。このメモリ６２Ｍは、
入力端子４３からのアドレス制御信号により、前述のフ
レームメモリ４２、背景プレーンメモリ２３ＢＧ及び重
み係数メモリ５０と同じアドレス制御を受ける。

【００５９】したがって、差分メモリ６２Ｍには、背景
画が現画像から除去されて、ノンゼロのデータからなる
動き画素の集合からなる複数個の動き物体の画像のみか
らなる差分画像が蓄えられることになる。そして、図６
に示すように、動き物体のノンゼロ画素データ以外の画
素のデータとしては、「０」データが、メモリ６２Ｍに
書き込まれている。

【００６０】こうして差分メモリ６２Ｍには、１枚の２
次元画像中の複数個の動き物体の画素のデータが、
「０」でないレベルを有するノンゼロ画素データとして
書き込まれ、動き物体の画素以外の背景画の静止画部分
の画素データはオール「０」のデータとして記憶される
ものである。したがって、複数個の動き物体が互いに重
なり合っていないとすれば、差分メモリ６２Ｍの画素デ
ータを順次走査して、近接画素同志で、「０」でないノ
ンゼロ画素データを関連付けてマージ（統合）すること
により、各動き物体のそれぞれのみからなる動物体プレ
ーンを分離することが可能になる。

【００６１】６３は、マイコンであって、動物体プレー
ン分離回路６２の差分メモリ６２Ｍをラスタースキャン
の方向に順次検索し、以下のようにして各動き物体ごと
にプレーン分離し、分離した動物体プレーンの情報を対
応するアドレスにおいて、各動物体プレーンメモリ２３
Ａ１〜２３Ａｎに書き込むようにするものである。な
お、動物体プレーンメモリ２３Ａ１〜２３Ａｎのそれぞ
れのすべてのアドレスには、予め、「０」が書き込まれ
ており、各動き物体の画素のみが、差分メモリ６２Ｍと
同じアドレスにおいて、いづれかの動物体プレーンメモ
リに書き込まれるものである。

【００６２】図８及び図９は、マイコン６３の動物体プ
レーンの分離のための処理のフローチャートである。す
なわち、この場合の動き物体の分離の処理は、まず、ス
テップ１０１において、ラスタースキャンにしたがって
画素データを検索する。そして、ステップ１０２で、ス
キャンした画素データがノンゼロの画素データであった
ならば、ステップ１０３に進んで、その周囲の画素デー
タがノンゼロかどうかをチェックする。この例の場合に
は、図７に示すように、注目画素ｘの周辺の上下左右の
８画素ａ〜ｈのデータをチェックする。

【００６３】そして、次のステップ１０４において、８
画素ａ〜ｈのいづれのデータもノンゼロでなかったと
き、すなわち、全てゼロであったときには、注目画素ｘ
は、孤立点と見做してステップ１０４からステップ１０
１に戻って、次の画素データを検索する。すなわち、動
き物体は、１つのみの画素で形成されるとは考えられな
いので、この場合はノイズによるものと見做す。

【００６４】ステップ１０４において、８画素ａ〜ｈの
内の１つでもノンゼロの画素があったときには、ステッ
プ１０４からステップ１０５に進み、注目画素ｘの左の
画素ｄと、上（１ライン前）の画素ｂとがノンゼロの画
素であるか否かをチェックして、次のステップ１０６に
進む。ここで、左の画素ｄと上の画素ｂとをチェックす
るのは、ラスタースキャンの順番にしたがって既にチェ
ック済みの画素との比較を行うためである。

【００６５】次のステップ１０６では、左及び上の画素
ｄ及びｂが、両方共にノンゼロでないか否か判別され、
共にノンゼロでない、つまり動き画素でないときには、
ステップ１０７に進んで、動物体プレーンメモリのメモ
リ番号（以下、単にメモリ番号という）として新番号を
設定する。すなわち、フレームメモリ群２３Ａ１〜２３
Ａｎのいずれに記憶するかを表す番号を設定する。そし
て、ステップ１０８に進んで、そのメモリ番号を当該画
素のアドレスに対応してマイコン６３内のメモリに記憶
しておく。

【００６６】その後、ステップ１０９に進んで、差分メ
モリ６２Ｍの全画素についての処理が終了したか否か判
別し、全画素についての処理を終了したときには、この
処理ルーチンを終了する。また、全画素については終了
していないときには、ステップ１０１に戻って、次の動
き画素の検索を始める。

【００６７】また、ステップ１０６において、左及び上
の画素ｄ及びｂのうち少なくともいずれかはノンゼロの
画素であると判別されたときには、ステップ１０６から
ステップ１１０に進み、両方共にノンゼロであるか否か
判別される。そして、両方共ノンゼロであると判別され
たときには、ステップ１１０からステップ１１１に進
み、両画素ｄ、ｂについてマイコン６３のメモリに記憶
されているメモリ番号をチェックする。そして、次のス
テップ１１２に進んで、両画素ｄ、ｂのメモリ番号が一
致しているか否か判別する。

【００６８】ステップ１１２における判別の結果、両画
素ｄ、ｂのメモリ番号が一致しているときには、ステッ
プ１１２からステップ１０８に進んで、その一致してい
るメモリ番号を当該注目画素ｘのアドレスに対応してマ
イコン６３のメモリに記憶する。

【００６９】また、ステップ１１２における判別の結
果、両画素ｄ、ｂのメモリ番号が一致していないと判別
されたときには、ステップ１１２からステップ１１３に
進んで、左の画素ｄのメモリ番号を選択して、そのメモ
リ番号を当該注目画素ｘのアドレスに対応させて記憶す
ると共に、左の画素ｄのメモリ番号と上の画素ｂのメモ
リ番号とは、関連があり、メモリ番号は異なっても１つ
の動き物体の画素であることを示す情報をマイコン６３
のメモリに記憶する。

【００７０】これは、動き物体が、ある水平走査ライン
のデータでは飛んだ位置の画素であるが、後のラインの
画素のサーチの結果、同一の動き物体の画素として繋が
っていることが判明する場合を示している。

【００７１】ステップ１１０における判別の結果、両方
共にはノンゼロではないときには、このステップ１１０
からステップ１１５に進み、左の画素ｄがノンゼロであ
るか否か判別する。その判別の結果、左の画素ｄがノン
ゼロであるときには、ステップ１１６に進んで、その画
素ｄのメモリ番号をチェックし、その後、ステップ１０
８に進んで、その注目画素ｘのアドレスに対応して、画
素ｄと同じメモリ番号をマイコン６３のメモリに記憶す
る。

【００７２】ステップ１１５の判別の結果、左の画素ｄ
がノンゼロでない、つまり上の画素ｂがノンゼロである
と判別されたときには、ステップ１１７に進んで、上の
画素ｂのメモリ番号をチェックし、その後、ステップ１
０８に進んで、その注目画素ｘのアドレスに対応して、
画素ｂと同じメモリ番号をマイコン６３のメモリに記憶
する。

【００７３】前述したように、ステップ１０８の次に
は、ステップ１０９に進んで、差分メモリ６２Ｍのすべ
ての画素についてのサーチを終了したか否か判別して、
終了していなければ、ステップ１０１に戻って以上の処
理ルーチンを繰り返し、全画素のサーチが終了したら、
この処理ルーチンを終了する。

【００７４】ここで、上記処理ルーチンについて、図１
０及び図１１を参照してさらに説明する。

【００７５】図１０は、差分メモリ６３Ｍに記憶された
１画面分の画像データを示し、その中央部すなわちゼロ
以外の数字が記載されている部分は、動物体プレーン分
離回路６２によって動物体として検出された部分であ
る。

【００７６】マイコン６３は、ラスタースキャンの順番
にしたがって上記差分メモリ６２Ｍに記憶された画像デ
ータに対して上記処理ルーチンを行っていく。ここで、
図１１中に示す数字のうち、「０」は、静止画プレーン
に記憶される画像データ、「１」及び「２」はフレーム
メモリ群２３Ａ１〜２３Ａｎのいずれかのフレームメモ
リに記憶される画素データを表す。

【００７７】まず、ラスター走査の順番にしたがって走
査を行うと、図１０においてで表された画素データに
対してはステップ１０２においてノンゼロ画素であると
の検出が行われる。そして、この画素データは、周辺画
素の中にノンゼロ画素があり、その左及び上の画素デー
タ、すなわち、図７の画素ｂ及び画素ｄに対応する画素
データがともにゼロであるため、ステップ１０７におい
て新たなメモリ番号を設定する。この場合、上記の画
素データは最初に検出されたノンゼロデータであるた
め、メモリ番号“１”が設定される。そして、このメモ
リ番号“１”がマイコンに内蔵されたメモリ６３Ｍの対
応画素位置に、図１１に示すように記憶される。

【００７８】そして、次の画素データは値が「３」すな
わちノンゼロであり、その左の画素データも値が「３」
すなわちノンゼロ、その上の画素データは値が「０」で
あるので、ステップ１１６を経由してステップ１０８に
進み、メモリ番号“１”が、メモリ６３Ｍの対応画素位
置に記憶される。同様にして、上記処理ルーチンを行っ
ていくと、図１０においてで表された画素データに対
する処理ルーチンにおいては、このの画素の周囲には
ノンゼロデータがあり、その左及び上の画素データがと
もにゼロデータであるので、ステップ１０７を経由して
ステップ１０８に進み、メモリ番号“２”がメモリ６３
Ｍの対応画素位置に記憶される。

【００７９】次に、図１０において△で囲まれた値
「３」の画素データに対する処理ルーチンにおいては、
この画素は、周囲にノンゼロ画素があり、その左がゼロ
データ、その上がノンゼロのデータであるため、ステッ
プ１１７を経由してステップ１０８に進み、メモリ番号
“１”がメモリ６３Ｍの対応画素位置に記憶される。す
なわち、注目画素の左及び上の画素データがノンゼロの
データであるか否かを検出することにより、ラスタース
キャンの順番にしたがってサーチしていった際に、同じ
動き物体のデータを統合することができる。

【００８０】さらに、図１０において□で囲まれた値
「３」の画素データに対する処理ルーチンにおいては、
この画素は、周囲にノンゼロデータがあり、その左及び
上の画素データがともにノンゼロデータで、さらに、左
及び上の画素データのメモリ番号が異なるので、ステッ
プ１１４において、左の画素データと同じメモリ番号す
なわちメモリ番号“１”が、メモリ６３Ｍの対応画素位
置に記憶されるとともに、上の画素すなわちメモリ番号
“２”である画素と関連があることを示す情報が記録さ
れる。

【００８１】すなわち、ノンゼロである注目画素データ
の上の画素データと右の画素データが、ともにノンゼロ
である場合には、それら３つの画素データは同じ動き物
体である可能性が大きい。しかし、ラスタースキャンの
順番にしたがって上記処理ルーチンを行うと、同じ動き
物体の画素データであるにも拘らず、上述のように異な
るメモリ番号が与えられてしまう。

【００８２】そこで、この実施例では、注目画素データ
の周囲にノンゼロの画素データがあり、その左及び上の
画素データがともにノンゼロのデータで、さらに左の画
素データと上の画素データのメモリ番号が異なる場合に
は、両メモリ番号は関連するものであることを示すデー
タを記憶する。これによって、両メモリ番号は、異なる
ものとしてメモリ６３Ｍに記憶されるが、フレームメモ
リ群２３Ａ１〜２３Ａｎに画素データを記憶する際に
は、同じフレームメモリに記憶されるようにしている。

【００８３】以上の差分メモリ６２Ｍに対する画素サー
チにより、マイコン６３の内蔵メモリ６３Ｍには、１つ
１つの動き物体について、各動き物体に含まれる画素の
アドレスに対して、メモリ番号が、他のメモリ番号との
関連を表す情報と共に記憶される。マイコン６３は、同
じ動き物体と認識された画素のメモリ番号を、１つの動
物体プレーンメモリのメモリ番号Ｎｏと対応付ける。こ
れにより、それぞれの動き物体は、別々の動物体プレー
ンとして、次のようにして分離することができる。

【００８４】すなわち、マイコン６３は、差分メモリ６
２Ｍから、動き画素データを順次読み出す。この差分メ
モリ６２Ｍの読み出し出力は、動物体プレーンメモリ２
３Ａ１〜２３Ａｎのそれぞれに入力される。また、マイ
コン６３は、読み出した画素について上述のようにして
設定し、記憶したメモリ番号Ｎｏの動物体プレーンメモ
リにのみ、書き込み画素アドレス（読み出し画素アドレ
スと同じでよい）を供給して、その動き画素を、そのメ
モリ番号Ｎｏの動物体プレーンメモリに書き込んでゆ
く。

【００８５】こうして、動物体プレーンメモリ２３Ａ１
〜２３Ａｎのそれぞれには、１つ１つの動き物体が、分
離されて、別々に記憶されるものである。

【００８６】以上説明した動物体プレーンの分離方法で
は、差分メモリ６２Ｍを、テレビジョン走査と同様の順
に水平、垂直に画素をサーチして、同じ動き物体に含ま
れる画素をマージするようにしたが、１つの動き画素を
検出したとき、その周囲の画素を順次サーチしてノンゼ
ロの画素を追跡し、マージしてゆくと共に、そのマージ
した画素データを、１つの動物体プレーンメモリに同時
に順次書き込んでゆくようにして、１つの動き物体につ
いての動物体プレーンメモリを完成するようにしてもよ
い。

【００８７】なお、ある時点で、２つの動き物体が重な
り合っているとしても、所定の時間経過した後は、その
動き物体は分離して観察することができるので、動物体
プレーンメモリを、適宜、書き換えることにより、上記
の方法により、それぞれの動き物体のみからなる動物体
プレーン情報を、それぞれの動物体プレーンメモリが蓄
積することができる。

【００８８】次に、各動き物体の動き変化情報を検出す
る動き変化情報の検出回路の構成例について、図１２を
参照しながら説明する。

【００８９】動き変化情報は、現画像情報から背景プレ
ーンメモリ２３ＢＧ、動物体プレーンメモリ２３Ａ１〜
２３Ａｎのデータを用いて生成される。図１２の回路
は、前述した準備期間の経過後、撮像録画開始キーの操
作をしたときから働く。つまり、この例では動き変化情
報は、リアルタイム記録される。

【００９０】撮像データは、前述した信号処理回路２２
の動物体プレーン分離回路６２で各動き物体毎のプレー
ン情報に分離される。そして、それぞれの各動き物体の
１フレームの情報がフレームメモリ７１Ａ１〜７１Ａｎ
に書き込まれる。すなわち、図５に示した動物体プレー
ン分離回路６２は、図２に示す各フレームメモリ７１Ａ
１〜７１Ａｎにも接続されており、マイコン６３からの
書き込み画素アドレスに基づいて、動き画素をフレーム
メモリ７１Ａ１〜７１Ａｎのいずれかに書き込んでい
く。

【００９１】このフレームメモリ７１Ａ１〜７１Ａｎ
は、２フレームバッファの構成とされ、動き物体の情報
の書き込みが一方のフレームメモリに対して行われてい
るとき、他方のフレームメモリからの動物体プレーンの
情報データが読み出されて、そのデータが動き変化情報
の生成のために使用される。

【００９２】すなわち、フレームメモリ７１Ａ１〜７１
Ａｎからの各動き物体の画像情報は、動き変化検出回路
７２Ａ１〜７２Ａｎに供給される。そして、動物体プレ
ーンメモリ２３Ａ１〜２３Ａｎに準備期間において記憶
されている動物体プレーン情報が、この動き変化検出回
路７２Ａ１〜７２Ａｎに供給される。

【００９３】動き変化検出回路７２Ａ１〜７２Ａｎで
は、各動物体プレーンメモリ２３Ａ１〜２３Ａｎに記憶
されている動き物体と、フレームメモリ７１Ａ１〜７１
Ａｎからの各動き物体画像とのパターンマッチングによ
り、その動き物体についての動きベクトル、つまり動き
の方向と、動き量とが求められる。この場合、動き物体
は予め動物体プレーンとしてメモリに蓄えられているの
で、その形状が変化しないとすれば、特定の代表点、あ
るいは代表ブロックに着目して、その代表点あるいは代
表ブロックについてパターンマッチングを行うことによ
り、動き物体全体についての動きベクトルを抽出するこ
とができ、比較的短時間でマッチング処理を行うことが
可能である。

【００９４】動き物体が向きを変えたり、形状を変えた
りしたとき、パターンマッチングで誤差が大きくなる。
そこで、この例では、動きベクトルと共に、その誤差分
を動き変化情報として伝送するようにする。

【００９５】こうして、動き変化検出回路７２Ａ１〜７
２Ａｎで得られた各動物体プレーンメモリの動き物体に
ついての、動きベクトルと、マッチング誤差の情報は圧
縮符号化回路２６に供給されて、データ圧縮される。前
述したように、この圧縮後のデータ量は、画像情報に比
べて非常に少なく、リアルタイムでディスクに容易に記
録することが可能である。

【００９６】各動物体プレーンメモリの動き物体の動き
後の位置は、検出された動きベクトルを用いて容易にメ
モリ上のアドレスとして検出することができる。このた
め、動き物体同志の重なりが生じた状態を、複数個の動
き物体の画素のアドレスが同一になることにより認識す
ることができる。このように、複数個の動き物体に重な
りが生じた場合には、現画像で、その部分の画素とし
て、いずれの動き物体の画素が現れているかにより、動
き物体間の奥行きを検出する。そして、その奥行き情報
を、動き情報と共に、伝送するようにする。なお、奥行
き情報は、背景画と、動き物体についても求めるように
する。

【００９７】動き物体についての動き変化情報として
は、次の例のような予測動きベクトルと、物体変形情報
を伝送するようにしてもよい。すなわち、図１３の例に
おいては、フレームメモリ７１Ａ１〜７１Ａｎからの入
力画像情報から抽出された各動き物体のフレーム情報
は、差分演算回路７３Ａ１〜７３Ａｎに供給される。

【００９８】また、動物体プレーンメモリ２３Ａ１〜２
３Ａｎの動物体プレーン情報が、予測回路７４Ａ１〜７
４Ａｎに供給され、予測動きベクトル発生回路７５Ａ１
〜７５Ａｎからの予測動きベクトルに基づいて、予測さ
れる現時点での移動後の各動き物体のフレーム画像デー
タがこれより得られる。そして、この予測された各動き
物体のフレーム画像データが、差分演算回路７３Ａ１〜
７３Ａｎに供給されて、フレームメモリ７１Ａ１〜７１
Ａｎからの入力画像情報から抽出された各動き物体のフ
レーム情報との差分が演算される。

【００９９】差分演算回路７３Ａ１〜７３Ａｎでは、動
き物体の画像についての差分を、出力データとして圧縮
符号化回路２６に出力する。また、差分演算回路７３Ａ
１〜７３Ａｎは、上記動き物体の画像についての差分か
ら動きベクトルの差分を求め、出力データとして圧縮符
号化回路２６に供給すると共に、予測動きベクトル発生
回路７５Ａ１〜７５Ａｎに供給し、次のフレームに対す
る各動き物体についての予測動きベクトルを生成する。

【０１００】以上の例では、入力画像から背景画及び動
き物体の静止画を分離するようにしたが、背景画及び動
き物体を予め分離した状態で、カメラで撮影することが
可能な場合には、予め、これをそれぞれ個別に撮像し
て、背景プレーンメモリ２３ＢＧ及び動物体プレーンメ
モリ２３Ａ１〜２３Ａｎに書き込んでおくと共に、ディ
スク１１に記録しておくことができる。

【０１０１】このように、動き物体を撮影して動物体プ
レーンを予め作成する場合に、動き物体を中心に、その
全方向から撮影して、その展開図を得るように撮像して
おくことにより、動き物体が回転する動きをするような
場合にも、その動きに応じた再生画像を得るようにする
ことができる。すなわち、動き物体が、例えば図１４に
示すように軸Ｚを中心に回転するような物体の場合、図
１５に示すように、その側面の展開図を予め動物体プレ
ーンとして用意しておき、動き変化情報に回転情報を加
えて伝送することにより、任意の回転をした状態の動き
物体の再生画像を得ることができる。

【０１０２】なお、以上の実施例では、実際の撮像録画
の前に準備期間を設定し、その準備期間に背景プレー
ン、動物体プレーンの分離及びディスクへの記録を行う
ようにしたが、動き変化情報の情報量は非常に少ないの
で、準備期間を設けることなく、静止画プレーン情報の
記録から動き変化情報の記録までを、リアルタイムで実
行することも可能である。例えば、１シーンが１０秒で
あるとすると、前述の例では、静止画プレーン及び動物
体プレーンの記録は、２秒で可能であるので、その２秒
間については、動き変化情報をバッファメモリに蓄積し
ておくことにより、準備期間を設けることなく、リアル
タイムの撮像録画が可能になる。

【０１０３】図１６は、ディスク再生装置の一実施例の
ブロック図である。この例において、図１の例のディス
ク記録装置と共通部分には同一符号を付してその説明は
省略する。なお、この実施例では、図１のディスク記録
装置と図１６のディスク再生装置とを別々に図示した
が、この発明は、これに限られることなく、記録及び再
生が可能なディスク記録再生装置に適用してもよい。

【０１０４】ディスク１１が装置に装填されると、装置
は、先ず、ディスクのＴＯＣエリアを取り込み、システ
ムコントローラ３で、各シーンの背景プレーン及び動物
体プレーンの記録位置と、その動き変化情報の記録位置
を認識する。

【０１０５】そして、システムコントローラ３は、この
ＴＯＣエリア情報から、先ず、再生しようとするシーン
の背景プレーン及び複数個の動物体プレーンの情報の再
生を行う。ディスク１１から取り出されたこれらの画像
情報は、ＲＦアンプ２８から再生処理回路８１に供給さ
れ、セクタ構造などの所定の記録フォーマットのデータ
のデコード処理が行われ、そのデコードデータがデータ
伸長及びプレーン分離回路８２に供給される。そして、
この回路８２において、低圧縮率で圧縮されている各プ
レーン情報が伸長処理されると共に、それぞれのプレー
ン情報毎に分離され、背景プレーン情報は、背景プレー
ンメモリ８３ＢＧに、動物体プレーン情報は、動物体プ
レーンメモリ８３Ａ１〜８３Ａｎに、それぞれ書き込ま
れる。これにより、動画再生開始準備完了となる。

【０１０６】次に、当該シーンの動き変化情報、奥行き
情報、回転情報等がディスクからＴＯＣエリア情報を参
照して、リアルタイムで抽出され、ＲＦアンプ２８、再
生処理回路８１を介してデータ伸長復号化回路８４に供
給される。そして、動き変化情報等が、データ伸長及び
復号化され、信号処理回路８５に供給される。

【０１０７】また、信号処理回路８５には、背景プレー
ンメモリ８３ＢＧ及び動物体プレーンメモリ８３Ａ１〜
８３Ａｎからの各静止画情報も供給される。そして、こ
の信号処理回路８５においては、背景プレーンメモリ８
３ＢＧからの背景画に、動物体プレーンメモリ８３Ａ１
〜８３Ａｎからの各動き物体の画像を、伸長復号化回路
８４からの、それぞれの動き物体についての動き変化情
報及び奥行き情報を用いて合成する。

【０１０８】この信号処理回路８５からの動画像データ
は、Ｄ／Ａコンバータ８６により元のアナログ信号に戻
され、出力端子８７から導出される。

【０１０９】動き物体が、前述したような回転を伴うも
のである場合には、動物体プレーン情報として、前述の
展開図のような画像内容が対応する動物体プレーンメモ
リに記憶されており、回転情報が伸長復号化回路８４か
ら得られるので、その回転情報に応じて、画面に表示さ
れるべき部分が、その動物体プレーンメモリから読み出
される。

【０１１０】シーン毎に背景プレーン、動物体プレーン
の情報を、先ず、ディスクから読み出し、その後、動き
変化情報を順次ディスクから読み出すことで、各シーン
の動画の再生を行うことができる。この場合において、
各シーンの動き変化情報の情報量は非常に少ないので、
１シーンの動き変化情報を、動画のリアルタイムに合わ
せてディスクから取り出すのではなく、バッファメモリ
を設けて、各プレーン情報に続いて動き変化情報を取り
出してバッファメモリに蓄積し、そのバッファメモリか
ら順次動き変化情報を動画に合わせて読み出す処理を行
うようにすることもできる。

【０１１１】次に、この発明の他の実施例（以下、第２
の実施例という）を図１７〜図２１を参照して説明す
る。この第２の実施例の場合、ハードウエアとしては、
上述の第１の実施例とまったく同様のディスク記録装置
及びディスク再生装置が使用できる。ただし、この第２
の実施例の場合には、固定背景部は、撮影の際に考えら
れる最大画枠で、背景プレーン２３ＢＧに登録して、静
止画として記録する。

【０１１２】動き部分は、上述した第１の実施例と同様
に、各々の動き物体にそれぞれ分離し、後述する動物体
プレーンメモリ２３Ａ１〜２３Ａｎのそれぞれに登録し
て、その動き物体の静止画を記録すると共に、各動物体
プレーンの動き物体の変化情報を記録する。

【０１１３】第２の実施例の場合、動物体プレーンメモ
リ２３Ａ１〜２３Ａｎは、この１画面分の静止画情報を
書き込むことができる容量のメモリで構成可能である
が、背景プレーンメモリ２３ＢＧは、図１７に示すよう
に、１画面分の画素情報以上の、この例では複数画面分
の画素情報を記憶可能な大容量メモリの構成とされる。
すなわち、この第２の実施例の背景プレーンメモリ２３
ＢＧは、垂直方向に（４８０×ａ）ライン、水平方向に
（７２０×ｂ）画素の画素サンプルデータを書き込むこ
とができる容量を備える。この例では、ａ＝３、ｂ＝３
とされている。

【０１１４】したがって、例えば、図１７の中央位置の
背景画を中心としたとき、この中央の背景画の周囲にカ
メラをパンニング、チルトなどカメラアングルを変更し
たときに画枠内に入ってくる背景をこの背景プレーンメ
モリ２３ＢＧに書き込んでおくことができる。また、上
記中央位置の背景画のところで、カメラをズーミングし
たときには、そのズーム範囲の背景画のすべてが背景プ
レーンメモリ２３ＢＧに書き込まれていることになる。
その１画面分の画枠より広い範囲の背景画情報の書き込
み方法の一例を次に述べる。

【０１１５】この第２の実施例では、先ず、キー群４の
所定のキーを操作することにより、カメラ部１により最
大画枠の背景プレーンの撮影を行い、それを背景プレー
ンメモリ２３ＢＧに登録するモードにする。以下、この
モードの動作について説明する。

【０１１６】この第２の実施例のカメラ部１は、図示し
ないがズームレンズを備えており、先ず、このズームを
最も広角側にして広い背景を撮影する。この例では、こ
れを最大画枠とする。

【０１１７】カメラ部１からの撮像信号は、Ａ／Ｄコン
バータ２１に供給されて、例えば１画素サンプルが８ビ
ットのデジタル画像信号に変換されて、信号処理回路２
２に供給される。この信号処理回路２２では、カメラ部
１により撮像されたシーンの画像を、動きのない固定の
背景の静止画と、この背景上で動くそれぞれの動き物体
とに分離し、分離した背景画情報をバッファメモリに登
録する。このバッファメモリには、例えば図１８に示す
ように、最大画枠の背景を１画面として撮影された静止
画情報が得られる。

【０１１８】次に、ズームレンズを最も望遠側にして、
最大画枠内の一部を撮影する。信号処理回路２２では、
前述と同様にして、撮像画像から動物体の成分を分離し
た固定背景部分（以下、これを一部背景画と呼ぶ）のみ
を分離する。そして、この分離した一部背景画と、バッ
ファメモリに蓄積した最大画枠との比較を行い、当該一
部背景画が、最大画枠の背景画のどの部分であるかを判
別する。この場合、一部背景画の画枠の大きさが、最大
画枠の１／９である（つまり、最広角側の画枠に対し
て、最望遠側の画枠は１／９）とすると、一部背景画
は、縦方向及び横方向に１／３ずつに画素を間引いて、
バッファメモリの最大画枠の背景画と比較し、パターン
マッチングを行う。

【０１１９】今、例えばパターンマッチングにより撮影
された一部背景部分が、図１８で、斜線を付して示す最
大画枠の左上隅の画像であると認識されると、図１７に
おいて、斜線を付して示す背景プレーンメモリ２３ＢＧ
の対応する一部画面アドレスに、当該一部背景画部分が
書き込まれる。この場合、書き込まれるのは、間引かれ
た画像情報ではなく、元の画像情報である。

【０１２０】そして、信号処理回路２２では、背景プレ
ーンメモリ２３ＢＧに書き込むべき、図１８の最大画枠
の静止画のうちから、書き込みを終了した一部背景画位
置を記憶しておく。

【０１２１】次に、ズームレンズを最も望遠側にした状
態を保って、最大画枠内の他の一部背景画の撮影を行っ
てゆく。信号処理回路２２は、上述と同様にして、その
一部背景画が最大画枠のどの部分かをチェックし、未
だ、背景プレーンメモリ２３ＢＧに書き込んでいない背
景部分を、背景プレーンメモリ２３ＢＧの対応するアド
レス位置に、書き込む。

【０１２２】以上の処理を、最大画枠の背景画のすべて
が、背景プレーンメモリ２３ＢＧに書き込まれるまで行
う。最大画枠の書き込みが終了すると、装置は、例えば
そのことを警報音などで知らせる。

【０１２３】以上の背景プレーンメモリ２３ＢＧへの最
大画枠の固定背景画の登録の際に、それぞれ最望遠側で
の撮影時に動き物体として認識されて分離された、例え
ば前記飛行機、猿、自動車などの動き物体の静止画は、
それぞれ動物体プレーンメモリ２３Ａ１〜２３Ａｎ（ｎ
は自然数）に書き込まれる。

【０１２４】以上のようにして、背景プレーン及び複数
個の動物体プレーンに分離されて、プレーンメモリ２３
ＢＧ及び２３Ａ１〜２３Ａｎに書き込まれた各静止画の
画像情報は、前述したように、実際にビデオカメラによ
って撮像録画を開始する前の、図３に示した準備期間で
予めディスク１１に記録される。

【０１２５】この第２の実施例においては、背景プレー
ンについては、撮影録画の際に分離された背景画の画枠
の、背景プレーンメモリ２３ＢＧ上の位置を、実際の撮
像録画の開始時の背景画の画枠の背景プレーンメモリ２
３ＢＧ上の位置を基準にした画枠位置を示す変化情報
（以下これを画枠位置情報と称する）として、前記動き
変化情報に含める。そして、以上のようにして生成した
動き変化情報及び画枠位置情報をリアルタイムでディス
ク１１に記録する処理を行う。

【０１２６】信号処理回路２２は、このため、撮像録画
モードにおいては、そのときに分離した背景プレーン及
びｎ個の動物体プレーンの情報を用いて、入力デジタル
画像信号から、それぞれの動物体プレーンの動き物体の
動き変化情報及び背景画の画枠位置情報を求める。そし
て、この動き変化情報及び画枠位置情報を圧縮符号化回
路２６に供給し、適当な圧縮率で圧縮符号化を行い、記
録処理回路２５を介してヘッド駆動回路２７に供給す
る。

【０１２７】この場合、記録される動き変化情報及び画
枠位置情報は、後述もするように、僅かなビット数とな
り、１．２Ｍｂｐｓの低伝送レートであっても、リアル
タイムで十二分に伝送できる。

【０１２８】次に、信号処理回路２２での背景プレーン
上での背景画の画枠位置情報及び各動き物体の動き変化
情報の生成回路の構成例について、図１９を参照しなが
ら説明する。

【０１２９】画枠位置情報及び動き変化情報は、現画像
情報から、背景プレーンメモリ２３ＢＧ、動物体プレー
ンメモリ２３Ａ１〜２３Ａｎのデータを用いて生成され
る。図１９の回路は、前述した準備期間の経過後、撮像
録画開始キーの操作をしたときから働く。つまり、この
第２の実施例では画枠位置情報及び動き変化情報は、リ
アルタイム記録される。

【０１３０】すなわち、Ａ／Ｄコンバータ２１からの撮
像データは、前述した信号処理回路２２のプレーン分離
回路で１画面分の背景プレーン情報及び各動き物体毎の
プレーン情報に分離される。そして、背景画及びそれぞ
れの各動き物体の１フレームの情報がフレームメモリ７
１ＢＧ及び７１Ａ１〜７１Ａｎに書き込まれる。このフ
レームメモリ７１ＢＧ、７１Ａ１〜７１Ａｎは、２フレ
ームバッファの構成とされ、背景画及び動き物体の情報
の書き込みが一方のフレームメモリに対して行われてい
るとき、他方のフレームメモリからの背景プレーン及び
動物体プレーンの情報データが読み出されて、そのデー
タが画枠位置情報及び動き変化情報の生成のために使用
される。

【０１３１】すなわち、フレームメモリ７１ＢＧからの
背景画の情報は、画枠位置変化検出回路７２ＢＧに供給
されると共に、フレームメモリ７１Ａ１〜７１Ａｎから
の各動き物体の画像情報は、動き変化検出回路７２Ａ１
〜７２Ａｎに供給される。そして、背景プレーンメモリ
２３ＢＧからの最大画枠の背景情報が画枠位置変化検出
回路７２ＢＧに供給されると共に、動物体プレーンメモ
リ２３Ａ１〜２３Ａｎに準備期間において記憶されてい
る動物体プレーン情報が、動き変化検出回路７２Ａ１〜
７２Ａｎに供給される。

【０１３２】画枠位置変化検出回路７２ＢＧでは、最大
画枠の背景画と、フレームメモリ７１ＢＧの背景画とが
比較され、フレームメモリ７１ＢＧの背景画の最大画枠
の背景画上での画枠位置が検出され、初期位置からの変
化が検出され、その変化情報が画枠位置情報として出力
され、圧縮符号化回路２６に供給される。

【０１３３】動き変化検出回路７２Ａ１〜７２Ａｎで
は、各動物体プレーンメモリ２３Ａ１〜２３Ａｎに記憶
されている動き物体と、フレームメモリ７１Ａ１〜７１
Ａｎからの各動き物体画像とのパターンマッチングによ
り、その動き物体についての動きベクトル、つまり動き
の方向と、動き量とが求められる。

【０１３４】すなわち、フレームメモリ７１ＢＧからの
背景画の情報は、画枠位置変化検出回路７２ＢＧに供給
されると共に、フレームメモリ７１Ａ１〜７１Ａｎから
の各動き物体の画像情報は、動き変化検出回路７２Ａ１
〜７２Ａｎに供給される。そして、背景プレーンメモリ
２３ＢＧからの最大画枠の背景情報が画枠位置変化検出
回路７２ＢＧに供給されると共に、動物体プレーンメモ
リ２３Ａ１〜２３Ａｎに準備期間において記憶されてい
る動物体プレーン情報が、動き変化検出回路７２Ａ１〜
７２Ａｎに供給される。

【０１３５】画枠位置変化検出回路７２ＢＧでは、最大
画枠の背景画と、フレームメモリ７１ＢＧの背景画とが
比較され、フレームメモリ７１ＢＧの背景画の最大画枠
の背景画上での画枠位置が検出され、初期位置からの変
化が検出され、その変化情報が画枠位置情報として出力
され、圧縮符号化回路２６に供給される。

【０１３６】動き変化検出回路７２Ａ１〜７２Ａｎで
は、各動物体プレーンメモリ２３Ａ１〜２３Ａｎに記憶
されている動き物体と、フレームメモリ７１Ａ１〜７１
Ａｎからの各動き物体画像とのパターンマッチングによ
り、その動き物体についての動きベクトル、つまり動き
の方向と、動き量とが求められる。

【０１３７】動き物体が向きを変えたり、形状を変えた
りしたとき、パターンマッチングで誤差が大きくなる。
そこで、この例では、動きベクトルと共に、その誤差分
を動き変化情報として伝送するようにする。

【０１３８】こうして、動き変化検出回路７２Ａ１〜７
２Ａｎで得られた各動物体プレーンメモリの動き物体に
ついての、動きベクトルと、マッチング誤差の情報は圧
縮符号化回路２６に供給される。

【０１３９】圧縮符号化回路２６では、その入力データ
をデータ圧縮する。前述したように、この圧縮後のデー
タ量は、画像情報に比べて非常に少なく、リアルタイム
でディスクに容易に記録することが可能である。

【０１４０】なお、カメラがズーミングされたときは、
そのズーム比情報を変化情報に含めると共に、撮像信号
との比較のために、背景プレーン及び動物体プレーンの
情報は、そのズーム比に応じてローパスフィルタ（デー
タ間引き）を通されるものである。また、撮影された背
景が、背景プレーンメモリ２３ＢＧからはみだすような
場合には、背景プレーンとの差分が、画枠情報と共に記
録される。

【０１４１】なお、背景画の画枠位置情報の代わりに、
初期背景画の位置が定まったならば、その位置からカメ
ラを、チルトやパンニングしたりして移動させたとき、
その移動方向及び距離を検知するセンサ手段を設け、こ
のセンサ手段で検知した移動方向及び距離の情報を、記
録するようにしてもよい。

【０１４２】また、動き物体についての動き変化情報と
しては、図１３に示す例のような予測動きベクトルと、
物体変形情報を伝送するようにしてもよい。

【０１４３】次に、この発明のさらに他の実施例（以
下、第３の実施例という）について説明する。

【０１４４】この第３の実施例の場合、背景プレーンの
静止画情報は、そのまま記録するのではなく、予め用意
した自然物、建築物、構造物、生物、その他、画像を構
成すると想定される画像要素の典型的な画像情報によ
り、当該背景プレーンの近似静止画を作成し、画像情報
を記録する代わりに近似静止画を構成する画像要素の識
別情報及びその画面位置の情報を記録するようにする。

【０１４５】そして、この近似静止画と、正しい背景静
止画との差分を背景の変化情報に含ませて記録する。背
景の変化情報には、ビデオカメラ部１でパン、チルト、
ズームなどにより撮影画枠を変える操作をしたときに変
化する背景画情報も含まれる。

【０１４６】動き部分は、各々の動き物体にそれぞれ分
離し、後述する動物体プレーンメモリ２３Ａ１〜２３Ａ
ｎのそれぞれに登録して、その動き物体の静止画の情報
を記録すると共に、各動物体プレーンの動き物体につい
ての変化情報を記録する。この場合も、動物体プレーン
の静止画情報は、背景画と同様にして近似静止画で置き
換え、その識別情報を記録する。

【０１４７】そして、この動き部分についても、近似静
止画と、各動き物体の静止画との差分と、動き物体の移
動方向、移動量、さらには、動きに応じた画像の変化と
を動き部分に関する変化情報として記録する。

【０１４８】上記の第３の実施例においては、第１の実
施例の図１のディスク記録装置において、信号処理回路
２２には、背景プレーンメモリ２３ＢＧ、動物体プレー
ンメモリ２３Ａ１〜２３Ａｎのほかに、近似背景プレー
ンメモリ、近似動物体プレーンメモリが設けられるとと
もに、画像を構成すると想定される画像要素の典型的な
画像情報を記憶する画像要素メモリが設けられる。

【０１４９】この第３の実施例における信号処理回路２
２の具体例を図２０を参照して説明する。図２０におい
て、６４ＢＧは近似背景プレーンメモリ、６４Ａ１〜６
４Ａｎは近似動物体プレーンメモリ、６５は画像要素メ
モリである。

【０１５０】画像要素メモリ６５には、例えば図２１に
示すように、自然物、建築物、構造物、生物、その他、
画像を構成すると想定される画像要素の典型的な画像情
報が多数記憶されている。この画像要素メモリ６５に記
憶されている画像要素の画像には、予め、用意されてい
る標準装備のものと、ユーザが撮影して取り込んで記憶
したものとが含まれる。

【０１５１】しかし、いずれの画像要素も、画像要素メ
モリ６５のアドレスに対応して付与された識別情報で、
読み出すことができる。例えば、図２１の例では、各画
像要素に番号が付与され、その番号で識別及び読み出し
可能である。

【０１５２】この第３の実施例では、信号処理回路２２
では、この準備期間において、入力画像信号から背景プ
レーン及び動物体プレーンの静止画の分離を行い、それ
を、背景プレーンメモリ２３ＢＧ、動物体プレーンメモ
リ２３Ａ１〜２３Ａｎに書き込む。さらに、このメモリ
２３ＢＧ、２３Ａ１〜２３Ａｎの静止画から、画像要素
メモリ６５の画像要素を用いた近似静止画の生成を行
う。

【０１５３】信号処理回路２２は、分離した背景プレー
ンは、背景プレーンメモリ２３ＢＧに書き込む。また、
分離したｎ個の動物体プレーンは、それぞれ動物体プレ
ーンメモリ２３Ａ１〜Ａｎ（ｎは自然数）に書き込む。
以上の背景プレーン及び動物体プレーンの分離のための
具体実施例については図５に示した例と同様の動作であ
るので、その説明は省略する。

【０１５４】そして、図５の例と同様にして、背景プレ
ーン及び動物体プレーンの静止画が、入力画像信号から
分離されて、メモリ２３ＢＧ、２３Ａ１〜２３Ａｎに記
憶されると、信号処理回路２２では、これらの静止画を
画像要素メモリ６５の画像要素で置き換える処理を行
い、置き換えにより近似静止画をそれぞれ生成する。

【０１５５】すなわち、信号処理回路２２は、先ず、背
景プレーンメモリ２３ＢＧの背景静止画について近似静
止画の作成を行う。その方法は、種々存在するが、例え
ば、画像要素メモリ６５から、１つの画像要素が読み出
され、その画像要素と、メモリ２３ＢＧの静止画の各部
と比較サーチを行い、比較誤差がスレッショールド値よ
り小さいとき、その静止画像部分を当該画像要素で置き
換える。また、このとき、置き換えられた静止画像部分
の画面上の位置も記憶しておく。

【０１５６】画像要素メモリ６５の各画像要素は、その
画像要素の典型画像の拡大画像を、比較的、高精細度の
状態で記憶されている。そして、この画像要素メモリ６
５から読み出すときに、その大きさが置き換えられる背
景画像の対応部分の大きさに応じたものとなるように指
定できるようにされている。つまり、記憶画像より大き
い状態で読み出すときは、データを補間しながら読み出
しを行い、記憶画像より小さい状態で読み出すときは、
データを間引いて、大きさの調整を行う。

【０１５７】この場合、画像要素メモリ６５から読み出
して、背景プレーンと置き換える画像要素は、例えばカ
メラ部１の図示しないビューファインダーに画像要素メ
モリ６５のすべての画像要素をスクロール表示させ、こ
の例の場合には、番号で選択指定するようにするとよ
い。もちろん、すべての画像要素について上述のような
サーチを自動で行うことも可能である。こうして生成さ
れた近似背景静止画は、近似背景プレーンメモリ６４Ｂ
Ｇに書き込まれる。

【０１５８】また、各動物体プレーンメモリ２３Ａ１〜
２３Ａｎの動き物体の静止画についても上述と同様にし
て、画像要素メモリ６５の画像要素を使用して近似動物
体静止画が生成され、その近似静止画情報が、近似動物
体プレーンメモリ６４Ａ１〜６４Ａｎに書き込まれる。

【０１５９】以上のようにして、近似静止画の生成が行
われ、近似プレーンメモリ６４ＢＧ、６４Ａ１〜６４Ａ
ｎに、その近似静止画が書き込まれると、圧縮回路２４
は、近似静止画の画像情報を記録情報とする代わりに、
その近似静止画を構成する画像要素の識別情報、例えば
この例では識別番号と、その画像要素が占める画面上の
位置を示す情報とを記録情報とする処理を行う。なお、
近似動物体静止画の場合には、当該動物体の静止画の画
像情報のみを伝送すれば、画面上の位置情報は、変化情
報に含めて記録することができるので、この準備期間で
の記録情報には含める必要はない。

【０１６０】この圧縮回路２４からの静止画に関する記
録情報は、記録処理回路２５に供給される。この記録処
理回路２５の出力データは、順次、ヘッド駆動回路２７
を介して記録用磁気ヘッド１３に供給され、ディスク１
１に光磁気記録される。

【０１６１】この第３の実施例においては、ビデオカメ
ラ部１で、実際の撮像録画開始キーを操作した後の撮像
録画期間でも、先ず、上述の準備期間と同様にして、信
号処理回路２２では、撮像信号から背景画及び各動き物
体の静止画を分離する。そして、その分離した静止画
と、近似背景プレーンメモリ６４ＢＧ及び各近似動物体
プレーンメモリ６４Ａ１〜６４Ａｎに登録されている近
似背景静止画及び近似動物体静止画情報とを比較し、前
述したような変化情報の生成を行う。

【０１６２】次に、この発明の、さらに他の実施例（以
下、第４の実施例という）について説明する。この例に
おいては、図２２に示すように、１シーンの記録を、静
止画のプレーン情報の分離期間Ｒａと、変化情報の生成
及び記録並びにプレーン情報の更新期間Ｒｂと、プレー
ン情報の記録期間Ｒｃとに分けて行う。

【０１６３】分離期間Ｒａでは、プレーン情報の記録は
行わず、後述するように、プレーン情報の分離と、その
分離したプレーン情報のプレーンメモリ２３ＢＧ、２３
Ａ１〜２３Ａｎへの書き込みを行う。

【０１６４】期間Ｒｂでは、プレーンメモリ２３ＢＧ、
２３Ａ１〜２３Ａｎのプレーン情報と入力画像信号とか
ら変化情報を後述するように生成し、その変化情報の記
録を行う。これと同時に、その変化情報を用いて各メモ
リ２３ＢＧ、２３Ａ１〜２３Ａｎのプレーン情報の更新
を行い、メモリのプレーン情報を更新したものに書き直
す。

【０１６５】期間Ｒｃは、１シーンの画像信号の終了後
の期間である。つまり、期間Ｒｂで入力画像信号に合わ
せてほぼリアルタイムで変化情報が記録されるものであ
る。そして、期間Ｒｃで、変化情報の記録終了後に、プ
レーンメモリに記憶されている更新後の各プレーン情報
を記録する。この期間Ｒｃは、入力信号のリアルタイム
記録の後の期間であるので、その記録は十分に時間をか
けて行うことができる。このため、プレーン情報は、圧
縮せずに、あるいは低圧縮率で記録することができる。

【０１６６】この場合、１画面分のプレーン情報は、例
えば図２３に示すように、４８０ライン×７２０画素で
構成する。この例の場合、動物体プレーンメモリ２３Ａ
１〜２３Ａｎは、この１画面分の静止画情報を書き込む
ことができる容量のメモリで構成可能である。

【０１６７】しかし、背景プレーンメモリ２３ＢＧは、
カメラのパン、チルト、ズームを考慮して、図２３に示
すように、１画面分の画素情報以上の、この例では複数
画面分の画素情報を記憶可能な大容量メモリの構成とさ
れる。すなわち、例えば背景プレーンメモリ２３ＢＧ
は、図２３に示すように、垂直方向に（４８０×ａ）ラ
イン、水平方向に（７２０×ｂ）画素の画素サンプルデ
ータを書き込むことができる容量を備える。ａ及びｂ
は、１以上の数値である。

【０１６８】背景プレーンメモリ２３ＢＧが上述のよう
な大容量を有しているので、背景画は、例えば、図２３
の中央位置の画枠ＢＧｓの背景画ＢＧｓを中心としたと
き、この中央の背景画の周囲にカメラをパンニング、チ
ルトなどカメラ撮影画枠位置を変更したときに画枠内に
入ってくる背景をこの背景プレーンメモリ２３ＢＧに書
き込むことができる。つまり、この背景プレーンメモリ
２３ＢＧの全エリアに書き込まれた背景画は、１画面と
して表示される画枠に対して、垂直方向にはａ倍、水平
方向にはｂ倍の範囲の広い範囲のものとなる。

【０１６９】このため、この背景プレーンメモリ２３Ｂ
Ｇの全範囲に背景画が書き込まれているときに、その中
央位置の１画面分の画枠の背景画のところで、カメラを
ズーミングして、広角側にしたときでも、上記ａ、ｂの
値に応じた広角範囲内であれば、そのズーム範囲の背景
画のすべてが背景プレーンメモリ２３ＢＧに書き込まれ
ている。

【０１７０】期間Ｒａでは、後述するように、背景プレ
ーンメモリ２３ＢＧのほぼ中央のアドレスの画枠ＢＧｓ
の位置に、分離されて得られた１画面分の背景画の情報
が、図２３に示すように、書き込まれ（以下、これを初
期背景プレーンという）、また、動物体プレーンメモリ
２３Ａ１〜２３Ａｎのそれぞれには、分離されて得られ
たそれぞれの動き物体の１画面分の静止画が書き込まれ
る。

【０１７１】この期間Ｒａのプレーン分離及び記憶動作
については、上述の実施例と同様であるので説明は省略
する。

【０１７２】ここで、以上のようにして分離された初期
的なプレーン情報は、以下のような問題点がある。

【０１７３】まず、背景プレーンＢＧについて考える
と、例えば、図２４Ａに示すように、ある時点で動き物
体Ｍにより隠されている背景部分は、その動き物体がそ
の位置を完全に移動したときに現れる。しかし、期間Ｒ
ａでは、上記の隠されている部分が現れるような動き物
体の完全移動期間としては短いので、動き物体の一部が
初期背景プレーンには含まれている。この問題は、動き
物体Ｍの動き変化に応じた背景の変化を求め、背景プレ
ーンを更新することで解決できる。そこで、次の期間Ｒ
ｂにおいて、背景プレーンメモリＢＧの内容を更新した
ものに書き換えるようにする。

【０１７４】また、動物体プレーンについて考えると、
動き物体Ｍは、前述のように動き画素の集合として分離
される。このため、動きが遅い場合には、微小時間では
動きが現れない部分が生じる場合がある。すなわち、例
えば図２４Ｂに示すように、動き物体Ｍが自動車で、こ
れがゆっくり動いて期間Ｒａの期間に実線位置から破線
位置まで動いたとした場合、そのサイドドアｓｄの斜線
を付して示す部分は動き部分としては捕らえられず、こ
れは背景として捕らえられてしまう。しかし、この問題
も、動き物体の変化に応じて動物体プレーンを書き換え
てゆくことにより解決できる。そこで、次の期間Ｒｂに
おいて、動物体プレーンの内容を更新するようにする。

【０１７５】この期間Ｒｂにおいても、先ず、上述の期
間Ｒａと同様にして、信号処理回路２２では、撮像信号
から背景画及び各動き物体の静止画を分離する。そし
て、その分離した静止画と、背景プレーンメモリ２３Ｂ
Ｇ及び各動物体プレーンメモリ２３Ａ１〜２３Ａｎに登
録されている初期背景プレーン及び動物体プレーン情報
とを比較し、変化情報の生成を行う。

【０１７６】背景静止画については、図２３に示したよ
うに、初期背景プレーンの静止画の画枠ＢＧｓの背景プ
レーンメモリ２３ＢＧ上の位置を基準して、これからの
変化方向及び変化量（パン、チルトの方向及び量、さら
にはズーム比など）の情報Ｖｓと背景静止画変化分の画
像情報ΔＰｓとを、背景プレーンに対する変化情報とし
て生成する。また、各動き物体については、それぞれの
動き物体の動き方向及び動き量Ｖｍ及び回転や形状変化
などの動き変化による動物体プレーンとの差分の画像情
報ΔＰｍを生成する。

【０１７７】そして、以上のようにして生成した変化情
報をリアルタイムでディスク１１に記録する処理を行
う。これにより、ディスク１１には、図２５Ａのタイム
チャートに示すように、背景画についての変化情報ΔＰ
ｓ及びＶｓと、各動き物体についての変化情報ΔＰｍ１
〜ΔＰｍｎおよびＶｍ１〜Ｖｍｎが、記録されるもので
ある。

【０１７８】この記録に伴って、信号処理回路２２で
は、背景静止画の変化分の画像情報、すなわち、画枠Ｂ
Ｇｓ内での変化分を求め、この画枠ＢＧｓ内の静止画情
報の更新補正を行うと共に、パン、チルトなどにより背
景として画枠ＢＧｓよりも増加したエリア分を含む画像
情報を背景プレーンメモリ２３ＢＧに書き込む処理も行
う。例えば、パン、チルトなどにより画枠位置が変化し
て、撮影した部分の背景静止画が図２３の一点鎖線で示
す静止画ＢＧｐになると、図２３で斜線を付して示す画
像情報がメモリ２３ＢＧに書き加えられる。

【０１７９】また、同様にして、動物体プレーンについ
ての変化分により、各動物体プレーンメモリ２３Ａ１〜
２３Ａｎの内容を書き換える。

【０１８０】こうして、背景プレーンメモリ２３ＢＧ及
び各動物体プレーンメモリ２３Ａ１〜２３Ａｎの静止画
情報が書き換えられ、背景プレーンメモリ２３ＢＧの記
憶内容の背景プレーンの情報は、初期背景プレーンより
も適切なものとなると共に、１画面分よりも広い範囲ま
で広がりを有する背景画の情報となる。

【０１８１】そして、次の変化情報については、書き換
えられたプレーン情報に基づいて生成が行われる。しか
し、背景についての変化情報を生成する基本となるのは
初期背景プレーンの画枠位置ＢＧｓの１画面分の情報と
されている。

【０１８２】以上の変化情報の生成及び背景プレーンメ
モリ２３ＢＧ及び各動物体プレーンメモリ２３Ａ１〜２
３Ａｎの静止画情報の書き換えが、その１シーンの終了
まで行われる。

【０１８３】以上のようにして、１シーンの変化情報の
記録が終了した後、期間Ｒｂにおいて、逐次更新された
背景プレーンメモリ２３ＢＧ、動物体プレーンメモリ２
３Ａ１〜２３Ａｎの静止画情報の記録を期間Ｒｃに行
う。

【０１８４】そして、背景プレーンメモリ２３ＢＧに
は、前述したように、パン、チルト、ズームにより、そ
のシーンで使用される背景画のすべてが記憶されてい
る。しかし、ディスク１１には、背景プレーンの変化情
報としては、初期背景プレーンの静止画ＢＧｓに対する
変化静止画情報（増加情報）が記録されている。

【０１８５】ここで、背景プレーンの変化情報を求める
基準を初期背景プレーンの代わりに、記録終了後の背景
プレーンメモリ２３ＢＧの内容を背景プレーン情報とす
ると、その背景プレーン情報中の画枠位置を示す情報を
各画像フレームの背景情報として記録することにより、
各フレームの背景静止画を再生側で容易に形成すること
が可能である。そのようにした場合には、背景プレーン
の画像変化情報は記録する必要はなく、その分、記録デ
ータ量を削減することができる。しかも、再生画像の劣
化もない。

【０１８６】この例においては、以上の点に鑑み、ディ
スク１１に記録した情報を再生して、再記録を行う。

【０１８７】すなわち、図２５Ｂに示すように、この再
記録を行う場合には、期間Ｒｃの後に、再記録期間を設
ける。この場合、この再記録期間の前の期間Ｒｃにおい
て、背景プレーン情報としては、記録終了後の背景プレ
ーンメモリ２３ＢＧの情報、つまり良好な固定背景画と
して分離され、かつ、この例では拡大された画枠の静止
画情報ＢＧＬが記録され、また、１シーンの終了後のｎ
個の動き物体について適切なものとされた動物体プレー
ンメモリ２３Ａ１〜２３Ａｎの静止画情報が記録されて
いる。

【０１８８】再記録期間には、記録された信号（変化情
報）を再生して、後述の再生装置により画像再生を行
う。そして、その再生信号と、メモリ２３ＢＧ、２３Ａ
１〜２３Ａｎの情報とから新たな変化情報を生成し、そ
の変化情報を記録する。この記録の際には、背景プレー
ンに対する変化画像情報ΔＰｓの記録は行わず、初期背
景プレーンの画枠位置ＢＧｓに対する変化位置を検出、
生成し、この情報のみを記録する。

【０１８９】すなわち、先ず、記録した拡大背景プレー
ンＢＧＬ上における初期背景プレーンの画枠位置ＢＧｓ
の情報ＳＴを記録する。これは、背景プレーンメモリ２
３ＢＧ上の拡大背景プレーンの静止画の例えば左上隅の
アドレス情報でよい。次に、再生した各フレームの背景
画の画枠位置変化方向及び変化量の情報Ｖｓから求めた
変化後の画枠位置情報ＦＬｓを、当該フレームの背景画
の情報として記録する。この画枠位置情報ＦＬｓも、背
景プレーンメモリ２３ＢＧ上の拡大背景プレーン上の静
止画における、当該画枠の左上隅のアドレス情報でよ
い。

【０１９０】もっとも、再生側で、情報Ｖｓから、当該
フレームの背景画の画枠位置情報を求めるように構成し
た場合には、変化方向及び変化量の情報Ｖｓをそのまま
再記録するようにしてもよい。

【０１９１】以上のようにして、再記録を行うことで、
背景画について、各フレーム（あるいはフィールド）の
画像変化分の情報Ｐｓを記録する必要がなくなり、記録
情報量の削減ができる。しかも、再記録であっても、例
えばＶＴＲでの複製の記録と異なり、画像の画質の劣化
はまったくない。

【０１９２】動物体プレーンについての変化情報も、同
様に、更新されたプレーン情報に基づいて更新して再記
録することにより、さらに、記録データ量を削減するこ
とができる。

【０１９３】また、動き物体については、静止画プレー
ン情報として、拡大画枠の情報ではなく、画像内容が異
なる複数枚の静止画情報を記録して、動き情報を少なく
することもできる。

【０１９４】すなわち、例えば自動車が転回する動画を
想定した場合、自動車のフロントビュー、サイドビュ
ー、リアビューの静止画像を自動車プレーンとしてそれ
ぞれ用意し、それぞれにプレーン番号を付与しておく。
そして、撮像されて入力された現画像中の自動車に関す
る変化情報を求めるに当たって、自動車プレーンとの差
分（変化分）が少ないプレーン番号と、その変化分を記
録することで、変化情報としての記録データ量を減らす
ことができる。

【０１９５】再生時の背景画についての画枠位置は、図
１６に示したキー群４の画枠位置変更キーを操作するこ
とにより、記録された画枠位置情報に対して上下左右方
向に変更することができる。すなわち、画枠位置変更キ
ーが操作されると、再生された画枠位置情報で定められ
る画枠位置に対して、変更キーにより指定された方向に
画枠位置が変更され、その変更された画枠位置の背景画
が、背景プレーン８３ＢＧから読み出される。つまり、
画枠位置変更キーにより再生時の背景画の画枠位置を背
景プレーンの範囲内で、任意の位置に変更することがで
きる。

【０１９６】また、再生ズームキーが設けられ、これが
操作されたときには、ズーム比に応じて拡大、縮小され
た画枠の背景画が、メモリ８３ＢＧから読み出される。
この際、データは、７２０画素×４８０ラインの１画面
のデータに適合するように、ズーム比に応じて補間ある
いは間引き処理される。こうして、撮像時の画枠位置に
関係なく、再生側で、ユーザは、所望の絵づくりを楽し
むこともできる。

【０１９７】この信号処理回路８５からの動画像データ
は、Ｄ／Ａコンバータ８６により元のアナログ信号に戻
され、出力端子８７から導出され、この出力端子に接続
される画像モニター装置にその再生画像が映出される。

【０１９８】以上のようにして、シーン毎に背景プレー
ン、動物体プレーンの情報を、先ず、ディスクから読み
出し、その後、変化情報を順次ディスクから読み出すこ
とで、各シーンの動画の再生を行うことができる。この
場合において、各シーンの変化情報の情報量は非常に少
ないので、１シーンの変化情報を、動画のリアルタイム
に合わせてディスクから取り出すのではなく、バッファ
メモリを設けて、各プレーン情報に続いて動き変化情報
を取り出してバッファメモリに蓄積し、そのバッファメ
モリから順次動き変化情報を動画に合わせて読み出す処
理を行うようにすることもできる。

【０１９９】そして、そのようにした場合には、動画再
現処理と、ディスクからの再生信号の抽出とを分離する
ことができるので、前のシーンの再生中に、次のシーン
のプレーン情報をディスクから抽出して、別のプレーン
メモリに蓄えるようにすることができる。このようにす
れば、とぎれることなく複数のシーンを連続して再生す
ることが可能である。

【０２００】以上のようにして、この発明によれば、入
力画像を背景画及び動物体プレーンに分け、これを高画
質で記録すると共に、背景画の変化や動物体プレーンに
ついての動き変化を共に記録して再生時に合成するよう
にするので、記録伝送レートが低い記録媒体の場合で
も、高画質、かつ、動きのスムースな動画の記録ができ
る。

【０２０１】例えば、従来、いわゆるＭＰＥＧと呼ばれ
る画像データの圧縮方法が知られているが、この方法
は、一番最初に１枚のフレーム（静止画）の画像情報を
送り、その後は、その最初の画像フレームとの差を取
り、その残差をデータ圧縮して記録する方法である。こ
のＭＰＥＧで最初の１フレームの画像データのビット数
は、データ圧縮された段階で、例えば４００Ｋビットと
されている。この４００Ｋビットの画像は、比較的画質
の良い画像となっている。

【０２０２】この４００Ｋビットの画像は、１フレーム
の情報であるので、これをｂｐｓで表わすと、１秒は、
３０フレームからなるので、１２Ｍｂｐｓ相当となる。
したがって、かなり高画質の画像が得られている。ＭＰ
ＥＧでは、その後の情報として、残差の情報しか記録し
ないため、再生画像は劣化したものとなってしまうが、
最初の１フレームの画像自体は、程度のよい画質となっ
ているのである。

【０２０３】これに対し、上述したこの発明の構成によ
れば、背景プレーンと動物体プレーンの複数枚の画像プ
レーンの情報は、ＭＰＥＧと同等の１２Ｍｂｐｓ相当の
画像データとして記録するとともに、僅かなビット数で
記録された動き変化情報に基づいて、この画質の良い動
物体のプレーンを移動させて、背景プレーンと合成する
ことにより動画が再現されるものであるので、画質がよ
く、しかも動きベクトルの情報はリアルタイムの情報で
あるので、動きもギクシャクすることなく、良好なもの
となる。

【０２０４】なお、背景プレーンと分離される動き情報
は、以上の例のように、複数個の動き物体の静止画から
なる動物体プレーンに分けて記録するのではなく、これ
ら複数個の動き物体を含む動き情報をデータ圧縮して背
景プレーンとは分離して記録する装置にも、この発明は
適用できる。

【０２０５】また、以上の例は、画像データの伝送媒体
として、光磁気ディスクを使用したが、テープやその他
の記録媒体、さらにはケーブル、電波を用いた伝送路を
介しての画像データの伝送に、この発明は適用可能であ
ることは言うまでもない。

【０２０６】

【発明の効果】以上説明したように、この発明によれ
ば、低伝送レートの伝送媒体であっても、画像を背景プ
レーン及び動物体プレーンに分け、これら複数枚の画像
プレーンの情報を、圧縮せずにあるいは高画質を保つこ
とができる低圧縮率で低速で伝送するとともに、動き変
化情報を僅かなビット数で高速に伝送し、再生側では、
動き変化情報に基づいて、画質の良い動物体のプレーン
を移動させて、背景プレーンと合成することにより動画
が再現されるものであるので、画質がよく、しかも、動
きもギクシャクすることなく、良好なものとなる再生画
像を得ることができる。

【０２０７】動物体プレーン情報についての変化情報を
圧縮して伝送した場合には、さらに、伝送データ量の削
減を計ることができる。

【０２０８】また、背景プレーン情報として、デジタル
画像信号の１画面分の画枠よりも広い範囲の背景画を伝
送するようにしたことにより、動き変化が１画面分の画
枠を越える場合にも、その動き物体の動きに合わせて背
景画を、背景プレーン情報から切り取るようにすること
ができる。したがって、１画面分よりも広い範囲を動く
動物体を、その動物体の画像が欠けることなく、背景画
に対して合成して再生することができる。

【０２０９】また、背景プレーン情報についての変化情
報をも伝送する場合においても、背景プレーン情報のメ
モリ手段を１画面分の画枠よりも広い範囲の背景画を記
憶できるようにしておき、この背景プレーンメモリに、
順次更新した背景画を記憶しておくことにより、この背
景プレーンメモリの背景画と現在画像データとの差分と
して検出される背景画の変化情報はわずかとなるので、
伝送データ量は少なくなる。

【０２１０】また、背景プレーン情報として１画面分の
画枠よりも広い範囲の背景画を伝送する場合に、動物体
プレーン変化情報に、背景プレーン上における位置を示
すデータを付加して伝送するようにしたので、動物体プ
レーンを背景プレーン上に適切に合成することが容易に
できる。

【０２１１】また、背景プレーン及び動物体プレーンの
情報は、あらかじめ用意した典型的な画像要素の中から
選択した情報を用いて、近似背景プレーン情報及び近似
動物体プレーン情報を形成し、伝送情報としては、選択
した画像要素の識別情報及びその画面位置を示す位置情
報を伝送するだけで、受信側に備えられる画像要素メモ
リを用いて背景プレーン及び動物体プレーンを再構成す
ることができるので、背景プレーン及び動物体プレーン
の情報をそのまま伝送する場合に比べてさらに少ない情
報量で伝送を行うことができる。

【図面の簡単な説明】

【図１】この発明によるデジタル画像信号の伝送装置の
一実施例としてのディスク記録装置のブロック図であ
る。

【図２】この発明の要部の説明のための図である。

【図３】図１の例の信号記録タイミングを説明するため
の図である。

【図４】図１の例の説明のための図である。

【図５】この発明によるデジタル画像信号の第１の実施
例の信号処理回路２２の一実施例のブロック図である。

【図６】図５の信号処理回路２２の動作の説明のための
図である。

【図７】図５の信号処理回路２２の動作の説明のための
図である。

【図８】図５の信号処理回路２２の動作のフローチャー
トの一部を示す図である。

【図９】図５の信号処理回路２２の動作のフローチャー
トの続きを示す図である。

【図１０】図５の信号処理回路２２の動作の説明のため
の図である。

【図１１】図５の信号処理回路２２の動作の説明のため
の図である。

【図１２】図１の実施例の動き変化情報検出回路３００
の一実施例を示すブロック図である。

【図１３】動き変化情報検出回路３００の他の実施例を
示すブロック図である。

【図１４】この発明によるデジタル画像信号の伝送装置
の他の実施例を説明するための図である。

【図１５】この発明によるデジタル画像信号の伝送装置
の他の実施例を説明するための図である。

【図１６】この発明によるデジタル画像信号の受信装置
の一実施例のブロック図である。

【図１７】この発明による一実施例における背景プレー
ンメモリ２３ＢＧの一例を説明するための図である。

【図１８】背景画の一例を示す図である。

【図１９】動き変化情報検出回路３００の他の実施例を
示すブロック図である。

【図２０】この発明の他の実施例の信号処理回路２２の
例のブロックである。

【図２１】この発明による近似背景画情報及び近似動物
体静止画情報を説明するための図である。

【図２２】この発明の他の実施例の信号記録のタイミン
グを説明するための図である。

【図２３】この発明の他の実施例の背景プレーンメモリ
２３ＢＧの例を説明するための図である。

【図２４】背景及び動き物体の静止画の変化を説明する
ための図である。

【図２５】この発明の他の実施例の信号記録のタイミン
グを説明するための図である。

【符号の説明】

２２ 信号処理回路 ２３ＢＧ 背景プレーンメモリ ２３Ａ１〜２３Ａｎ 動物体プレーンメモリ ２４ 圧縮回路 ２６ 圧縮符号化回路 ３１ 背景プレーン ３２〜３４ 動物体プレーンメモリ ６２ 動物体プレーン分離回路 ６２Ｍ 差分メモリ ６３ マイコン ６４ＢＧ 近似背景プレーンメモリ ６４Ａ１〜６４Ａｎ 近似動物体プレーンメモリ ６５ 画像要素メモリ ３００ 動き変化情報検出回路

Claims (12)

【特許請求の範囲】
1. 【請求項１】デジタル画像信号の静止画情報を表す背景
   プレーン情報と、上記デジタル画像信号の動き画像情報
   を表す少なくとも１個の動物体プレーン情報とを生成す
   るプレーン情報生成手段と、 上記背景プレーン情報及び動物体プレーン情報をそれぞ
   れ個別に記憶するメモリ手段と、 上記デジタル画像信号の現在フレームの動物体プレーン
   情報と、上記メモリ手段に記憶された動物体プレーン情
   報との差分である動物体プレーン変化情報を検出する変
   化情報検出手段と、 上記メモリ手段の上記背景プレーン情報及び動物体プレ
   ーン情報と、上記動物体プレーン変化情報とを伝送する
   伝送手段とを備えてなるデジタル画像信号の伝送装置。
2. 【請求項２】上記変化情報検出手段と、上記伝送手段と
   の間に変化情報圧縮手段を設け、上記変化情報検出手段
   の出力を、この変化情報圧縮手段により圧縮して伝送手
   段に供給するようにしたことを特徴とする請求項１に記
   載のデジタル画像信号の伝送装置。
3. 【請求項３】請求項２に記載のデジタル画像信号の伝送
   装置において、 上記メモリ手段の上記背景プレーン情報及び動物体プレ
   ーン情報を圧縮して上記伝送手段に供給するようにする
   プレーン情報圧縮手段を設け、このプレーン情報圧縮手
   段での圧縮率を、上記変化情報圧縮手段での圧縮率に比
   べて低い圧縮率としたことを特徴とするデジタル画像信
   号の伝送装置。
4. 【請求項４】請求項１に記載のデジタル画像信号の伝送
   装置において、 上記背景プレーン情報を記憶する上記メモリ手段の部分
   は、上記デジタル画像信号の１画面分の画枠よりも広い
   範囲の背景画を記憶するようにしたことを特徴とするデ
   ジタル画像信号の伝送装置。
5. 【請求項５】請求項１に記載のデジタル画像信号の伝送
   装置において、 上記背景プレーン情報を記憶する上記メモリ手段の部分
   は、上記デジタル画像信号の１画面分の画枠よりも広い
   範囲の背景画を記憶するものであり、 上記変化情報検出手段は、上記デジタル画像信号の現在
   フレームの背景プレーン情報と、上記メモリ手段に記憶
   された背景プレーン情報との差分である背景プレーン変
   化情報をも検出すると共に、 上記変化情報検出手段により検出された上記背景プレー
   ン変化情報に基づいて上記メモリ手段の背景プレーン情
   報を更新する制御手段を設けたことを特徴とするデジタ
   ル画像信号の伝送装置。
6. 【請求項６】請求項５に記載のデジタル画像信号の伝送
   装置において、 上記制御手段は、上記更新された背景プレーン情報に基
   づいて、上記変化情報検出手段で検出された背景プレー
   ン変化情報を再形成することを特徴とするデジタル画像
   信号の伝送装置。
7. 【請求項７】請求項６に記載のデジタル画像信号の伝送
   装置において、 上記伝送手段は、上記背景プレーン情報として、更新さ
   れた背景プレーン情報を伝送すると共に、上記再形成さ
   れた背景プレーン変化情報を伝送するようにしたことを
   特徴とするデジタル画像信号の伝送装置。
8. 【請求項８】請求項５に記載のデジタル画像信号の伝送
   装置において、 上記制御手段は、上記動物体プレーン変化情報に、上記
   背景プレーン上における位置を示すデータを付加するこ
   とを特徴とするデジタル画像信号の伝送装置。
9. 【請求項９】デジタル画像信号の静止画情報を表す背景
   プレーン情報と、上記デジタル画像信号の動き画像情報
   を表す少なくとも１個の動物体プレーン情報とを生成す
   るプレーン情報生成手段と、 複数個の典型的な画像の情報が記憶されている典型画像
   記憶手段と、 上記背景プレーン情報及び動物体プレーン情報をそれぞ
   れ個別に記憶するメモリ手段と、 上記メモリ手段に記憶された背景プレーン情報または動
   物体プレーン情報に対して、上記典型画像記憶手段の典
   型的な画像の情報のうちの、最も似ている典型画像情報
   を選択し、選択した典型画像情報に対応する識別情報及
   び当該典型画像情報の画面位置を示す位置情報を得る手
   段と、 上記デジタル画像信号の現在フレームの動物体プレーン
   情報と、上記典型画像情報との差分である変化情報を検
   出する変化情報検出手段と、 上記識別データと、上記位置情報と、上記変化情報とを
   伝送する伝送手段とを備えてなるデジタル画像信号の伝
   送装置。
10. 【請求項１０】上記背景プレーン及び動物体プレーン相
    互の前後関係を表す奥行き情報が伝送されてなる請求項
    １に記載のデジタル画像信号の伝送装置。
11. 【請求項１１】請求項１に記載のデジタル画像信号の伝
    送装置において、 上記動物体プレーン情報として、ビデオカメラにより動
    き物体を全方向から撮影したものと等しい情報を得るよ
    うに、上記動き物体を撮像して得られる画像信号を、上
    記メモリ手段に記憶し、伝送するようにしたデジタル画
    像信号の伝送装置。
12. 【請求項１２】請求項１に記載のデジタル画像信号の伝
    送装置により伝送されてくるデジタル画像信号の受信装
    置であって、 上記背景プレーン情報及び上記動物体プレーン情報の静
    止画情報をそれぞれを記憶するメモリ手段と、 上記メモリ手段の背景プレーン情報に対して、上記動物
    体プレーン情報をその変化情報に基づいて合成して、出
    力デジタル画像信号を得る合成手段とを備えるデジタル
    画像信号の受信装置。