JPH01226287A - ディジタル画像信号の３次元符号化方法及びその装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 産業上の利用分野 本発明はディジタル画像信号の３次元符号化方法及びそ
の装置に係り、フレーム間相関によるデータ圧縮とフレ
ーム内相関によるデータ圧縮を行なうディジタル画像信
号の３次元符号化方法及びその装置に関する。

従来の技術 第３図は従来より知られているディジタルＶＴＲの一例
のブロック図を示す。同図においてビデオ入力端子１よ
り入来したアナログビデオ信号はＡ／Ｄコンバータ（Ａ
ＤＣ＞２においてディジタル信号に変換されメモリ３に
一時的に記憶される。

符号化器４は記録媒体の欠陥，雑音の影響等を除去又は
軽減するために入力データの順序をある規−　　ら　　
　− 則に従って並べ換えるインターリーブを行ない、またデ
ータ伝送による符号エラーの検出／訂正を行なうための
誤り検出／訂正符号化を行なう。その後これらのデータ
は変調器５において記録媒体に適合した変調が行なわれ
、ＲＦアンプ６ａ。

６ｂで増幅された後複数の回転ヘッド７ａ，７ｂにより
磁気テープ８上に記録される。

再生時には記録時と同数の回転ヘッド９ａ。

９ｂによって並列に再生されたディジタルデータはＲＦ
アンプ１０ａ．１０ｂにより増幅され復調器１１によっ
て復調されたあと復号器において誤り検出／訂正及びデ
インターリーブが行なわれる。

この時、もし誤り訂正能力を越えた誤りがあった場合に
はそのことを示すエラーフラッグをメモリ１３に書き込
み、誤りが検出されたデータの周辺のザンプルデータを
用いた補間処理等を行なう。

１フレ一ム分のデータがメモリ１３に書き込まれると、
メモリ１３からは実際のビデオ信号に対応した順序でデ
ィジタルデータが読み出され、Ｄ／Ａ変換器（ＤＡＣ＞
１’４によりアノ゛ログ信号−　６　＝ に戻されてビデオ出力端子１５より出力される。

第３図のようにデータの圧縮処理を行なわない場合のデ
ータレートは、例えばコンポーネント符号化方式の１つ
として提案されている４：２＋２万式（輝度信号のシン
プリング周波数を１３．５Ｍ＋−１２，２つの色差信号
のサンプリング周波数を夫々６．７５ＭＨ２とすること
などが定められている方式）によって輝度信号と２つの
色差信号を示すアナログ信号を８ビツトに量子化する場
合を考えてみると ８ビツトＸ　１３．５ＭＨｚ　＋　８ビ”Ｊ　ｌ”　Ｘ
　６’、　７５ＨＨｚ　Ｘ　２−２１６Ｍビット／秒 となる。

第４図は従来装置の他の例のブロック図を示す、。

同図において第３図と同−構成部分には同一符号を付し
、その説明を省略する。この例では第３図の装甲とは異
なりデータ圧縮処理を行なう構成とされている。第４図
において、動きベタ１ヘル検出器１６は連続するフレー
ム間のデータにス・１して差分処理等を行ない、この連
続するフレーム間で動きのある部分の動きベクトル（方
向及び速度）を検出する。動き領域検出器１７ではこの
動きベクトルから動ぎ領域を検出し、又、これによって
必然的にこの連続するフレーム間で静止領域も検出され
る。

第５図（Ａ）、（Ｂ）はこの様子を具体的に示したもの
であり、三角形の動き領域２３がベクトルＡで示す方向
に移動している場合を考えると、この画像を同図（Ｂ）
に示すように静止領域２３゜動き領域２４及びベクトル
Ａに分解することができる。このようにして得られた静
止領域２４．動ぎ領域２３のデータは夫々静止領域デー
タ圧縮器１８及び動き領域データ圧縮器１９において、
予測符号化或いは直交変換等のデータ圧縮処理が施され
て伝送される。

再生系では記録系の静止領域データ圧縮器１８に対応し
て静止領域データ伸張器２０．動き領域データ圧縮器１
９に対応して動き領域データ伸張器２１が夫々設けられ
、更に動き領域の動きを自然にするための動き領域動き
補間器２２が設けられている。

又、この伯に第６図に示すように１つのフレームの画素
データをＬ　Ｘ　Ｍ個の２次元のブ［１ツクに分割し、
この２次元の画素データを画素数分の成分を持つ１つの
ベクトルと考えて直交変換、ベクトル量子化を行なう方
法が知られている。このベクトル量子化は、−群の画素
をまとめてブロック化したのちに量子化するもので、例
えばに個の画素を一括してに次元のベクトルを作ると、
量子化器の入力はに次元信号空間の１点であられされ、
ベクトル吊子化は、この信号空間をＮ個の互いにオーバ
ーラツプしない部分空間に分割し、各部分空間に入る入
力ベクトルをその部分空間中に予め定めた代表点（出力
ベクトル）で近似乃るものである（したがってスカラ吊
子化は１次元の量子化にほかならない）。

この信号空間の分割数ＮをＮ＝２　　とすれば、量子化
に要するビット数は入力ベクトル当りＲビット、また入
力画素当りＲ／にビットとなることが知られている。

ベクトル量子化においては、入力ベクトルとそれを近似
する出力ベクトルとの間の一般的な距離（量子化誤差）
の期待値を小さくするような信号空間の分割のし方や各
部分空間内での代表点ベクトルの選び方などによって、
トリー探索法智各種のアルゴリズムが提案されている。

これらのアルゴリズムは、いずれも相当な演算量を必要
とするが、最近の演粋処理ハードウェアの進歩によって
実現の可能性が高くなったことにより多くの研究報告が
ある（例えばテレビジョン学会誌Ｖｏ１．３９゜Ｎｏ、
１０　（１９８５）　　「最近の符号化技術の動向」等
参照）。

発明が解決しようとする課題 第３図のようにデータ圧縮を行なわない場合には、上記
のようにデータレートが２００Ｍビット／′秒以上と非
常に高く、従来のＣＡ　’ｒ　Ｖ回線を用いた伝送や、
家庭用ＶＴＲでの記録は不可能である。また業務用のＶ
ＴＲの場合にもこの高いデータレートのために通常は複
数の磁気ヘッドに分割して並列に記録しなければならな
い。

又、第４図のように静止部分のデータ圧縮と動き部分の
データ圧縮とを分離して行なう方法では効率が上がらず
、データ圧縮の演算回路を考えると動き部分のフレーム
間相関を用いたデータ圧縮部とフレーム内（フィールド
内）のデータ圧縮部の２つを必要とするという問題があ
る。また−見静止しているような画像であってもカメラ
のゆるやかな揺れなどによって数画素程度がフレーム毎
に変化している場合があり効果的な方法とは占えない。

動きベクトルの値が異なる複数の動き領域があるときく
例えばうねるロープの画像など）には動き領域の検出が
正しく行なえない場合もある。

更に、ベクトル量子化を行なうために１つのフレームを
２次元のブロックに分割する方法も圧縮率どしてはまだ
低く、実用化には不十分であるという問題があった。

本発明は、上記の点に鑑みてなされたものであり、高い
データ圧縮率を実現できるディジタル画像信号の３次元
符号化方法及びその装置を提供することを目的とする。

課題を解決するための手段 本発明になるディジタル画像信号の３次元符号化方法は
１フィールドの画面を水平方向にＬ分割し（Ｌは１フィ
ールドの水平方向の画素数以下の整数）、垂直方向にＭ
分割し（Ｍは１フィールドの垂直方向の画素数以下の整
数）、こうして得たＬ×Ｍ個の２次元部分のｇｘｍ個（
２９ｍは夫々２次元部分の水平方向及び垂直方向の画素
数）のディジタル画像信号を偶奇各ｎフィールド（ｎは
正の整数）を単位として区切り、偶奇各ｎフィールドの
画像に対して２ｘｍｘｎ個の画素を含むＬ×Ｍ個の３次
元ブロックを構成し、該Ｌ×Ｍ個の各３次元ブロックの
ディジタル画像信号を２ｘｍｘｎｘｃ＋　（但し、ｑは
１画素当りのビット数）個の成分を有するベクトルと見
なして直交変換を行ない、該直交変換後に得られたベク
トルをベクトル量子化することにより２ｘｍｘｎｘｑよ
り少ないビット数の成分を有するベクトルデータを得る
。

また、本発明になるディジタル画像信号の３次元符号化
装置は、連続するｎフレーム分のゲイジタル画像信号を
同種フィールド毎に記憶するとともに、１フィールドの
画面を水平方向にＬ分割、垂直方向にＭ分割して得たＬ
×Ｍ個の２次元部分の２ｘｍ個のディジタル画像信号を
偶奇各ｎフィールドを単位として区切り、偶奇各ｎフィ
ールドの画像に対して２ｘｍｘｎ個の画素を含むｌ−ｘ
　Ｍ個の３次元ブロックを構成するメモリと、該Ｌ×Ｍ
個の各３次元ブロックのディジタル画像信号を２ｘｍｘ
ｎｘｑ個の成分を有するベクトルと見なして直交変換を
行なう直交変換手段と、該直交変換手段により直交変換
されて得られたベクトルをベクトル量子化することによ
り２ｘｍｘｎｘｑより少ないビット数の成分を有するベ
クトルデータを得るベクトル量子化手段とを有し、伝送
時のディジタル画像信号のビットレートを低下させて伝
送することを可能とする。

作用 メモリは連続するｎフレーム（例えば４フレーム）分の
ディジタル画像データを同種フィールド毎に記憶すると
ともに１フィールドの画面を水平一　　１２　− 方向にＬ分割（Ｌは例えば４８）、垂直方向にＭ分割（
Ｍは例えば３２）して得たＬ×Ｍ個の２次元部分の２ｘ
ｍ（例えばｅ＝ｍ＝１６＞の画素データを同種フィール
ド毎にｎフィールド分集積して２ｘｍｘｎ個の画素を含
むＬ×Ｍ個の３次元ブロックを構成する。このにうに構
成された３次元ブロックに対して従来より知られている
ような方法で直交変換（例えば離散コサイン変換）及び
ベクトル量子化を行なうことにより、データを伝送する
際のピットレー１〜が低減される。

実施例 第１図（Ａ＞、（Ｂ）は本発明を用いてディジタル信号
の送信及び受信を行なう場合の一実施例のブロック図を
示す。同図（Ａ）は記録系を示しており、３つの入力端
子３０ａ、３０ｂ、３０ｃには夫々輝度信号（Ｙ）と２
つの色差信号（Ｃ＋　。

Ｃ２）が入力される。以下では輝度信号の処理回路につ
いてのみ説明し、色差信号の処理回路は輝度信号の場合
と本質的な部分は同様であることからその説明を省略す
る。

入力端子３０ａに入来した輝度信号はＡ　／　Ｄ　ｍｌ
ンバータ（ＡＤＣ）３１ａにおいて例えば８ビツトのデ
ィジタル信号に量子化された後メモリ３２ａに書ぎ込ま
れる。このメモリ３２ａは連続するｎフレーム（例えば
４フレーム）を偶数フィールドと奇数フィールドに分け
て記憶するとともに１つのフィールドを第２図に示すよ
うにｅ　ｘ　ｍ個の画素を有するＬ×Ｍ個の部分に分割
する（例えば画素数７６８ｘ５１２に対して乏−ｍ−１
６とすれば、Ｌ’＝４．８．Ｍ＝３２となる）。更に、
メモリ３２ａに記憶された偶奇各ｎフィールドについて
このように分割された互いに対応する部分を２×ｍｘｎ
個の画素を有する１ブロツクとする。この１つのブロッ
クは１つのフィールドの縦成分と構成分、及び時系列的
に入来するフレームの時間成分を有する３次元のデータ
と考えることができる。

カラー画像の場合には上記のようなブロックが３種類あ
ることになるが、特にカラー信号を輝度信号と２つの色
差信号で表す場合には、輝度信号に対して色差信号のデ
ータ量（サンプリング間隔）は少なくてもよく、例えば
！４度（ｉｉ号に対するブロック数をＬ×Ｍ個とし、色
差信号に対してはサンプリング間隔を２倍にしてブロッ
ク数を１　／　２　×Ｍ／２個としてもよい。但し、通
常時間軸方向については輝度信号と色差信号とは等しく
する。このように輝度信号と色差信号でブロック数は異
なっても１ブロツクのサイズは等しいことから、次の直
交変換処理を効率的に行なうことができる３゜又上記圧
の整数２．ｍ、ｎについては高速直交変換（例えば高速
フーリエ変換、高速コザイン変換Ｗ）の演算を行なうた
めに２のベキ乗に選ぶこととする。

このようにして得られた３次元ブロック画像データに対
して直交変換器３３ａによって周知の直交変換を行なう
。本実施例ではこの直交変換としては種々の点を考慮し
て離散コザイン変換を採用している。（離散コサイン変
換については、例えハテレヒション学会誌Ｖｏ１．３９
　、　Ｎｏ、　１０　（１９８５）［ｌｌｌｆｆ散コザ
イン変換ベクトル量子化（，０ＣＴ−ＶＱ）等を参照の
こと。） ＝　　１５　− 更に、ベクトル量子化器３４．　ａによって直交変換に
より得られた３次元の直交変換係数を２ｘｍｘｎ―の成
分を持った１つのベクトルとみなし、周知のベクトル量
子化を行なう。これによってＪ：ＸｍＸｎＸｑビット（
ｑは１画素当りのビット数）のデータを大幅に削減する
ことができ、効率的なデータの圧縮がなされる。

ベクトル量子化されたデータはワークメモリ３５ａを介
して符号化器３６に供給され、ここで誤り検出・訂正符
号を付加され適当なデータの並べ換え（インターリーブ
）などが行なわれｌζ後変調器３７において伝送路に適
合した所定の変調が行なわれて伝送される。

第１図（Ｂ）は本装置の再生側のブロック図を示す。入
力端子３９に入来する伝送された信号は復調器４０にお
いて同図（Ａ）の変調器３７に対応する復調が行なわれ
、復号器４１においてデータをもとの順序に並べ直され
る（デインターリーブ）とともに誤り検出・訂正が行な
われる。このデータはワークメモリ４２ａを介してベク
トル量１化復号器４３ａにおいてベクトル量子化されて
圧縮されたデータを復号して直交変換係数を得る。

このデータは記録側のもとのデータにベクトル量子化誤
差を含んだものである。

この直交変換係数を第１図（Ａ）の直交変換器３３ａに
よる変換の逆変換を行なう逆直交変換器４４ａによって
３次元データの逆直交変換を行ない、得られた画素デー
タをメｔす４５ａに書き込む。このメモリ４５　ａも同
図（Ａ）のメモリ３２ａと同様に偶数フィールド、奇数
フィールドに分け、更に連続するフレームの順序に記憶
する。メモリ４５ａに所定のｎフレーム分のデータが揃
った時点で画素データを読み出し、ＤＡＣ４６ａでディ
ジタル信号をアナログ信号に変換して出力端子４７ａよ
りビデオ信号の輝度信号を得る。２つの色差信号につい
ても同様の操作が行なわれ出力端子４７ｂ、４７ｃより
出力される。

従来より行なわれている２次元符号化（１つのフィール
ドを数ブロックに分割して各ブロック毎に直交変換、ベ
クトル吊子化を行なうもの）と本発明の３次元符号化と
を比較すると、連続するフレームの間には通常強いフレ
ーム相関があり３次元符号化では時間軸方向の成分を含
むことによってフレーム相関を利用することになるため
３次元符号化の方が明らかに高いデータ圧縮率が得られ
る。

また単にフレーム間の差分等を行なって、フレーム相関
のみにＪ：ってデータ圧縮を行なう場合にはフレーム間
で例えば１画素が変化するような微小な動きがあっても
圧縮効果が劣化するが、本発明のように３次元ブロック
とすることによりブロック内の動き程度の微小な動きに
対しても効果的にデータの圧縮を行なうことができる、
１直交変換には上記の他に例えばケル−ネル・ルーペ変
換（ＫＬ変換）と呼ばれるもの等があり、これは予測符
号化の部類に属し、その他の直交変換にしてもある種の
条件下の予測符号化としてとらえることができるため、
１フレームの水平軸方向、垂直軸方向にも幾分時間軸成
分（時間の遅れ）が含まれることを考えれば本発明のよ
うに３次元ブロック化することにより効果的なデータ圧
縮を行なうことかできる。

又、ベクトル量子化の際、各ブロックの水平方向、垂直
方向９時間軸方向の各成分毎に歪温度の重みづりを変化
させることによって視覚心理上好適なデータ圧縮の効果
を得ることかできる。例えば時間軸成分（連続するフレ
ームの間）で動ぎの早い画像のときには、その方向の画
質分解能を低くすることも可能であり、これによってよ
り効率的なデータ圧縮が可能となる３、 発明の効果 上述の如く、本発明になるディジタル画像信号の３次元
符号化方法及びその装置によれば、３次元ブロックのデ
ータとなるディジタル画像信号に対して統一的に直交変
換、ベクトル量子化等を行なうことにより非常に効率的
なデータ圧縮を行なうことができ、また、各３次元ブロ
ックの画素数を等しくすれば輝麿信号と２つの色差信号
に対して同一の回路構成とすることができるため、高速
に動作する回路であれば時分割処理を行なうこともてき
、低速動作の回路であれば同一ユニットの同期配列構成
とすることができる等の特長を有する。

【図面の簡単な説明】

第１図は本発明の一実施例のブロック図、第２図は３次
元ブロック化された画素データの模式図、第３図及び第
４図は従来装置のブロック図、第５図は従来の静止領域
と動き領域を別々にデータ圧縮を行なう方法の概念図、
第６図は２次元化された画素データの模式図である。 ３１　ａ〜３１　Ｃ−Ａ／Ｄ：Ｔｌンバータ（ＡＤＣ）
、３２ａ〜３２Ｇ・・・メモリ、４５ａ・−４５ｃ・・
・メモリ、３３　ａ　〜３３　ｃ−・・直交変換器、３
４．ａ　〜３４ｃ・・・ベクトル量子化器、３６・・・
符号化器、３７・・・変調器、４０・・・復調器、４１
・・・復号器、４３ａ〜４３ｃ・・・ベクトル量子化復
号器、４４ａ・〜・４４Ｃ・・・逆直交変換器、４６ａ
〜４−６　ｃ・・・Ｄ／Δコンバータ（ＤＡＣ）。

Claims (3)

【特許請求の範囲】
1. （１）１フィールドの画面を水平方向にＬ分割し（Ｌは
   １フィールドの水平方向の画素数以下の整数）、垂直方
   向にＭ分割し（Ｍは１フィールドの垂直方向の画素数以
   下の整数）、こうして得たＬ×Ｍ個の２次元部分のｌ×
   ｍ個（ｌ、ｍは夫々該２次元部分の水平方向及び垂直方
   向の画素数）のディジタル画像信号を偶奇各ｎフィール
   ド（ｎは正の整数）を単位として区切り、偶奇各ｎフィ
   ールドの画像に対してｌ×ｍ×ｎ個の画素を含むＬ×Ｍ
   個の３次元ブロックを構成し、該Ｌ×Ｍ個の各３次元ブ
   ロックのディジタル画像信号をｌ×ｍ×ｎ×ｑ（但し、
   ｑは１画素当りのビット数）個の成分を有するベクトル
   と見なして直交変換を行ない、該直交変換後に得られた
   ベクトルをベクトル量子化することによりｌ×ｍ×ｎ×
   ｑより少ないビット数の成分を有するベクトルデータを
   得ることを特徴とするディジタル画像信号の３次元符号
   化方法。
2. （２）連続するｎフレーム（ｎは正の整数）分のディジ
   タル画像信号を同種フィールド毎に記憶するとともに、
   １フィールドの画面を水平方向にＬ分割（Ｌは１フィー
   ルドの水平方向の画素数以下の整数）、垂直方向にＭ分
   割（Ｍは１フィールドの垂直方向の画素数以下の整数）
   して得たＬ×Ｍ個の２次元部分のｌ×ｍ個（ｌ、ｍは夫
   々該２次元部分の水平方向及び垂直方向の画素数）のデ
   ィジタル画像信号を偶奇各ｎフィールドを単位として区
   切り、偶奇各ｎフィールドの画像に対してｌ×ｍ×ｎ個
   の画素を含むＬ×Ｍ個の３次元ブロックを構成するメモ
   リと、該Ｌ×Ｍ個の各３次元ブロックのディジタル画像
   信号をｌ×ｍ×ｎ×ｑ（但し、ｑは１画素当りのビット
   数）個の成分を有するベクトルと見なして直交変換を行
   なう直交変換手段と、該直交変換手段により直交変換さ
   れて得られたベクトルをベクトル量子化することにより
   ｌ×ｍ×ｎ×ｑより少ないビット数の成分を有するベク
   トルデータを得るベクトル量子化手段とを有し、 伝送時のディジタル画像信号のデータレートを低下させ
   ることを特徴とするディジタル画像信号の３次元符号化
   装置。
3. （３）連続するｎフレーム（ｎは正の整数）分の輝度信
   号に対応するディジタル画像信号を同種フィールド毎に
   記憶するとともに、１フィールドの画面を水平方向にＬ
   ＿Ｙ分割（Ｌ＿Ｙは１フィールドの水平方向の画素数以
   下の整数）、垂直方向にＭ＿Ｙ分割（Ｍ＿Ｙは１フィー
   ルドの垂直方向の画素数以下の整数）して得たＬ＿Ｙ×
   Ｍ＿Ｙ個の第１の２次元部分のｌ×ｍ個（ｌ、ｍは夫々
   水平方向及び垂直方向の画素数）のディジタル画像信号
   を偶奇各ｎフィールドを単位として区切り、該偶奇各ｎ
   フィールドの画像に対してｌ×ｍ×ｎ個の画素を含むＬ
   ＿Ｙ×Ｍ＿Ｙ個の第１の３次元ブロックを構成する第１
   のメモリと、連続するｎフレーム分の第１の色差信号に
   対応するディジタル画像信号を同種フィールド毎に記憶
   するとともに、１フィールドの画面を水平方向にＬ＿１
   分割（Ｌ＿１は１フィールドの水平方向の画素数以下の
   整数）、垂直方向にＭ＿１分割（Ｍ＿１は１フィールド
   の垂直方向の画素数以下の整数）して得たＬ＿１×Ｍ＿
   １個の第２の２次元部分のｌ×ｍ個のディジタル画像信
   号を偶奇各ｎフィールドを単位として区切り、偶奇各ｎ
   フィールドの画像に対してｌ×ｍ×ｎ個の画素を含むＬ
   ＿１×Ｍ＿１個の第２の３次元ブロックを構成する第２
   のメモリと、 連続するｎフレーム分の第２の色差信号に対応するディ
   ジタル画像信号を同種フィールド毎に記憶するとともに
   、１フィールドの画面を水平方向にＬ＿２分割（Ｌ＿２
   は１フィールドの水平方向の画素数以下の整数）、垂直
   方向にＭ＿２分割（Ｍ＿２は１フィールドの垂直方向の
   画素数以下の整数）して得たＬ＿２×Ｍ＿２個の第３の
   ２次元部分のｌ×ｍ個のディジタル画像信号を偶奇各ｎ
   フィールドを単位として区切り、偶奇各ｎフィールドの
   画像に対してｌ×ｍ×ｎ個の画素を含むＬ＿２×Ｍ＿２
   個の第３の３次元ブロックを構成する第３のメモリとを
   有する請求項２記載のディジタル画像信号の３次元符号
   化装置。