JPH09284764A - 映像信号符号化方法及び映像信号符号化装置 - Google Patents

Abstract

(57)【要約】 【課題】 拡張−補間技法を用いて、映像フレーム信
号を効果的に符号化し、データの圧縮効率を増大させる
映像信号符号化方法及びその装置を提供する。 【解決手段】 本発明の符号化方法は、処理ブロック
のＬ個の列を選択し、各要素がＭ個の物体画素の各値で
ある第１ベクトルを供給し、複数の拡張マトリックスの
１つを選択し、これを第１ベクトルに乗じて拡張された
第１ベクトル、更には拡張された第１処理ブロックを供
給し、一方各Ｌ次元の第２ベクトルを供給し、拡張マト
リックスと各第２ベクトルとを乗じて、Ｎ個の拡張され
た第２ベクトル及び拡張された処理ブロックとを供給
し、処理ブロック内の前記物体画素の個数をカウント
し、ブロックスケーリングファクターを決定し、このフ
ァクターを第２処理ブロックの各画素に乗じて拡張され
た処理ブロックを発生する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、低ビットレートで
映像信号を符号化するための方法及びその装置に関し、
特に、拡張−補間（Extension-Interpolation;E-I）法
を用いて映像信号を符号化する方法及びその装置に関す
る。

【０００２】

【従来の技術】周知のように、高精細度テレビジョン
（ＨＤＴＶ）システムまたはテレビ電話システムのよう
な多様な電子応用分野において、映像信号はディジタル
形式で伝送されることがある。一連の映像「フレーム」
よりなる映像信号がディジタル形式で表現される場合、
映像フレームの各ラインが「画素」と称する一連のディ
ジタルデータ要素により画定されるので大量のディジタ
ルデータが発生する。しかし、通常の伝送チャネルで利
用可能な周波数帯域幅は制限されているため、大量のデ
ィジタルデータをその制限されたチャネルを通して伝送
するためにはデータの量を圧縮するか、または減らす必
要がある。

【０００３】低ビットレートの映像信号符号化システム
において、映像信号を符号化する方法のうちの１つが、
いわゆる、物体指向分析ー合成符号化方法である（Ｍｉ
ｃｈａｅｌ Ｈｏｔｔｅｒの論文、「Ｏｂｊｅｃｔ−Ｏ
ｒｉｅｎｔｅｄ Ａｎａｌｙｓｉｓ−Ｓｙｎｔｈｅｓｉ
ｓ Ｃｏｄｉｎｇ Ｂａｓｅｄ ｏｎ ＭｏｖｉｎｇＴ
ｗｏ−Ｄｉｍｅｎｓｉｏｎａｌ Ｏｂｊｅｃｔｓ」，Ｓ
ｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ：Ｉｍａｇｅ Ｃｏ
ｍｍｕｎｉｃａｔｉｏｎ，２ ４０９−４２８頁（１９
９０年）を参照）。

【０００４】この物体指向分析ー合成符号化方法によれ
ば、動く物体（object）を有する入力映像信号は複数の
物体に分けられ、各物体の動き、輪郭及び画素データを
規定する３組のパラメータは、それぞれ異なるチャネル
を通じて処理される。

【０００５】物体指向分析ー合成符号化技法において、
物体内の映像データまたは画素を処理する場合、映像デ
ータに含まれた空間的冗長性を減らす変換符号化技法が
主に用いられる。映像データの圧縮のために主に用いら
れている変換符号化技法の１つが、ブロック単位のＤＣ
Ｔ（離散的コサイン変換）である。このＤＣＴはディジ
タル映像データのブロック、例えば、８×８画素のブロ
ックを一組の変換係数データに変換する。この符号化方
法は、例えば、Ｃｈｅｎ 及び Ｐｒａｔｔの論文、
「Ｓｃｅｎｅ Ａｄａｐｔｉｖｅ Ｃｏｄｅｒ」，ＩＥ
ＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｏｍｍｕｎ
ｉｃａｔｉｏｎｓ，ＣＯＭ−３２，Ｎｏ．３，２２５−
２３２頁（１９８４年３月）に開示されている。ＤＣＴ
のように頻繁に用いられるものではないが、ＤＳＴ（離
散的サイン変換）、ハートレー変換（Hartley transfor
m）またはその他の変換方法がブロック変換符号化に用
いられることがある。

【０００６】ブロック単位の符号化において、ブロック
内の背景または物体以外の領域は、例えば、０、ブロッ
ク内の物体領域にある画素の平均値、またはミラー映像
で満たされた後変換される。図２及び図３を参照すれ
ば、従来の背景領域を満たす方法が、１次元データとし
て例示されている。詳述すれば、図２では、背景領域が
ゼロ値で満たされ、図３では背景領域が物体領域の画素
値の平均値で満たされている。

【０００７】かかる符号化方法は、通常の符号化方法
（例えば、Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅ
ｘｐｅｒｔｓ Ｇｒｏｕｐ；ＪＰＥＧ，Ｍｏｖｉｎｇ
ｐｉｃｔｕｒｅｓ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ；ＭＰ
ＥＧ，Ｈ２６１）で用いられる２次元ＤＣＴブロックを
用い得るとしても、映像の背景領域に不要なデータまた
は望ましくないデータが含まれるおそれがあるため、デ
ータの圧縮効率という観点からみれば、不十分な点があ
る。

【０００８】

【発明が解決しようとする課題】従って、本発明の目的
は、拡張ー補間技法を用いて物体を含む映像フレーム信
号を効果的に符号化する、データの圧縮効率のより良好
な映像信号符号化方法を提供することである。

【０００９】本発明の他の目的は、ブロック単位の符号
化方法及び拡張−補間技法を用いて、物体を含む映像フ
レーム信号を符号化する映像信号符号化装置を提供する
ことである。

【００１０】

【課題を解決するための手段】上記の目的を達成するた
めに、本発明によれば、物体を有する映像フレーム信号
に含まれた、Ｎ×Ｎ個の画素（Ｎは正の整数）よりなる
処理ブロックを変換して映像信号を符号化する映像信号
符号化方法であって、前記画素は、物体の内部に位置す
る画素を表す物体画素と前記物体の外部に位置する画素
を表す背景画素とに分けられており、少なくとも１つの
物体画素を有する前記処理ブロックのＬ個の列を選択す
る（Ｌは０〜Ｎの整数）第１過程と、前記第１過程から
選択された各列に対して、前記各列に含まれた物体画素
の個数を表すＭを決定すると共に、各要素が前記Ｍ個の
各物体画素の画素値である第１ベクトルを供給する（Ｍ
は１〜Ｎの整数）第２過程と、各々の列に対して、前記
Ｍ値及び前記Ｎ値に基づいて、予め定められた複数の拡
張マトリックスの中から１つの拡張マトリックスを選択
すると共に、前記選択された拡張マトリックスを前記第
１ベクトルに乗ずることによって、拡張された第１ベク
トルを供給する第３過程と、前記拡張された第１ベクト
ルの各要素を値とするＮ個の画素を有するＬ個の列を有
する拡張された第１処理ブロックを供給する第４過程
と、前記拡張された第１処理ブロックの各行に対して、
各要素が前記拡張された第１処理ブロックの前記各行に
含まれた画素の値であるＬ次元の第２ベクトルを供給す
る第５過程と、前記Ｌ値及び前記Ｎ値に基づいて、予め
定められた複数の拡張マトリックスの中の１つを選択す
る第６過程と、前記第６過程で選択された前記拡張マト
リックスと前記第２ベクトルの各々とを乗じて、Ｎ個の
拡張された第２ベクトルを供給し、前記拡張された第２
ベクトルの各要素を画素値とするＮ個の画素を有するＮ
個の行を有する拡張された第２処理ブロックを供給する
第７過程と、前記処理ブロック内の前記物体画素の個数
をカウントすると共に、前記物体画素の数を前記処理ブ
ロック内の画素の個数で除した数であるブロックスケー
リングファクターを決定する第８過程と、前記ブロック
スケーリングファクターを前記拡張された第２処理ブロ
ックの各画素に乗じることによって、前記拡張された処
理ブロックを発生する第９過程とを含むことを特徴とす
る映像信号符号化方法が提供される。

【００１１】

【発明の実施の形態】以下、本発明の好適実施について
図面を参照しながらより詳しく説明する。

【００１２】図５（Ａ）には、８×８画素を有するディ
ジタル映像信号のブロックが示されており、画素は正方
形で表されている。このブロックは、斜線で示された画
素で表される物体領域と、その他の背景領域とからなっ
ている。斜線で示された画素は「物体画素」と称し、そ
の他の画素は「背景画素」と称する。物体画素は、図５
（Ｂ）及び図５（Ｃ）に示すように、本発明の拡張−補
間（Ｅｘｔｅｎｓｉｏｎ−Ｉｎｔｅｒｐｏｌａｔｉｏ
ｎ；Ｅ−Ｉ）法を用いてブロック全体を満たすように拡
張される。このとき、図に示すように、水平拡張と垂直
拡張とが個別に行われる。これらの水平拡張または垂直
拡張は、他の方向の拡張より先に行われ、その優先順位
は映像の特性で決まることもある。水平拡張または垂直
拡張は列単位または行単位で行われる。ブロックがＮｘ
Ｎ個の画素を含む場合、各列または各行に対して、Ｍ次
元のベクトルがＮ次元のベクトルに変換される。ここ
で、Ｍは１以上Ｎ以下の整数であり、Ｍ次元ベクトルの
要素は各列または各行に含まれたＭ個の物体画素値を表
し、Ｎ次元ベクトルの要素はＮ個の拡張された画素値を
表す。例えば、図５（Ａ）に示すブロックで第３の列の
場合、５次元ベクトルは、図５（Ｂ）に示すように、水
平に垂直拡張された８次元ベクトルに変換される。

【００１３】Ｍポイントの１次元ＤＣＴをＭ次元ベクト
ルｆ₁に適用することによって得られる、変換されたＭ
次元ベクトルＦ₁は下記式（１）次のように表される。

【００１４】

【数１７】

【００１５】ここで、ｆ₁（ｎ₁）はｆ₁のｎ₁番目の要
素、Ｆ₁（ｋ₁）はＦ₁のｋ₁番目の要素、ｎ₁及びｋ₁は０
以上Ｍ−１以下の整数を各々表す。

【００１６】ｂ_ijは、下記式（２）のように表わされ
る。

【００１７】

【数１８】

【００１８】同様に、Ｍ次元ベクトルｆ₁が本発明のＥ
−Ｉ法を用いて拡張されて、Ｎ次元ベクトルｆ₂を形成
する場合、Ｎ次元ベクトルｆ₂にＮポイントの１次元Ｄ
ＣＴを適用することによって得られる、変換されたＮ次
元ベクトルＦ₂は、下記式（３）のように表される。

【００１９】

【数１９】

【００２０】ここで、ｆ₂（ｎ₂）はｆ₂のｎ₂番目の要
素、Ｆ₂（ｋ₂）はＦ₂のｋ₂番目の要素、ｎ₂及びｋ₂は０
以上Ｎ−１以下の整数である。

【００２１】また、ａ_ijは、下記式（４）のように定義
される。

【００２２】

【数２０】

【００２３】本発明のＥ−Ｉ法において、Ｍ次元ベクト
ルｆ₁は、付加的な周波数領域データを生成することな
く、Ｎ次元ベクトルｆ₂に拡張される。即ち、次式
（５）のように定義される。

【００２４】

【数２１】

【００２５】ここで、μ₀はｆ₁及びｆ₂のＤＣ成分を等
しくするためのスケーリングファクターであって、下記
のように与えられる。

【００２６】

【数２２】

【００２７】上記式（５）を満足する場合、周波数領域
で付加的なデータが生成されることなくｆ₁がｆ₂に変換
されるので、Ｅ−Ｉ過程は最適となる。

【００２８】上記式（１）及び式（３）を用いて、ｆ₂
はｆ₁から次のように求められる。

【００２９】

【数２３】

【００３０】または、

【００３１】

【数２４】

【００３２】ここで、Ａは上記式（７Ａ）で用いられた
成分ａ_ijからなるＮ×Ｎマトリックスを表し、Ｂは、成
分ｂ_ijからなるＮｘＭマトリックスを表す。上記式（７
Ａ）及び式（７Ｂ）は下記式（８Ａ）または（８Ｂ）の
ように単純化される。

【００３３】

【数２５】

【００３４】または、

【００３５】

【数２６】

【００３６】ここで、ＣはＮ×Ｍマトリックスであり、
Ａ^ー1Ｂと等しい。

【００３７】上記の関係式を用いて、任意の形状の物体
は、ＮｘＮブロックを満たすように周波数領域で付加的
な要素を生成することなく拡張される。

【００３８】逆に、図５（Ａ）の元のデータは、図５
（Ｃ）に示す拡張処理されたブロックから復元される。

【００３９】ＮがＭと等しい場合、Ｃは単位マトリック
スである。よって、拡張過程は元のベクトルｆ₁を変化
させず、省略することも可能である。

【００４０】図５（Ａ）〜図５（Ｃ）に示されているよ
うに、図５（Ａ）のブロックの３番目の列から７番目の
列が、まず、本発明の最適Ｅ−Ｉ法または線形補間方法
を用いて水平方向に拡張されて、図５（Ｂ）に示すよう
なブロックとなる。同様に、図５（Ｂ）の水平方向に拡
張されたブロックの行は、最適Ｅ−Ｉ法または線形補間
方法を用いて垂直方向に拡張されて、図５（Ｃ）に示す
ようなブロックとなる。

【００４１】今まで、本発明のＥ−Ｉ法を、ＤＣＴの場
合に対してのみ述べてきた。しかしながら、他の変換、
例えば、ＤＳＴ（離散的サイン変換）、ハダマード変換
（Ｈａｄａｍａｒｄ ｔｒａｎｓｆｏｒｍ）、ハール変
換（Ｈａａｒ ｔｒａｎｓｆｏｒｍ）のような方法を代
わりに用いることもできる。このＤＳＴがＮ×Ｎブロッ
クを符号化するのに用いられる場合、Ｅ−Ｉ法は下記式
（９）のａ_ij及びｂ_ijが下記式（９）のようになる点を
除いては、ＤＣＴの場合と同じである。即ち、

【００４２】ａ_ijは、

【００４３】

【数２７】

【００４４】また、ｂ_ijは、

【００４５】

【数２８】

【００４６】となる。

【００４７】空間領域で映像データの相関関係が大きく
ない場合、例えば、２つの隣接するフレーム間の差分が
符号化されるインタフレーム符号化の場合には、ＤＳＴ
を用いるブロック変換符号化が、ＤＣＴを用いる場合よ
り一層良好な性能を示すことが知られている。

【００４８】前述した方法では、スケーリングファクタ
ーμ₀が、周波数領域のＤＣ成分に対してのみ適用され
た。しかし、他の成分にもこのスケーリングファクター
μ₀を適用することが有効である場合がある。この場
合、式（７Ａ）は下記式（１１）のように変形される。

【００４９】

【数２９】

【００５０】この場合、処理ブロックに含まれるエネル
ギの総量が拡張過程の際に、大幅に減少することにな
る。このようなエネルギの減少を抑えるために、拡張さ
れた処理ブロックの各画素値にブロックスケーリングフ
ァクタを乗じる。このブロックスケーリングファクタ
は、１つの処理ブロックの物体画素の数を、１つのブロ
ック内の画素の数であるＮ×Ｎで除した数として定義さ
れる。

【００５１】図６には、本発明に基づくディジタル映像
信号符号化装置のブロック図が示されている。この符号
化装置は第１及び第２符号化チャネル１００及び５００
と、映像信号内の物体の境界部分を効果的に符号化する
ための拡張された処理ブロックを生成する拡張ー補間デ
バイス（Ｅ−Ｉデバイス）４００を有する。第１符号化
チャネル１００は物体の輪郭信号を符号化し、第２符号
化チャネル５００はディジタル映像信号をブロック単位
で符号化するのに用いられる。

【００５２】公知のイメージソース（図示せず）（例え
ば、ハードディスクまたはコンパクトディスク）から供
給されたディジタル映像信号は、フレームメモリ５０に
入力されて格納される。１つのフレームのディジタル映
像信号は物体を含み、物体の内部に位置する物体画素
と、その外部に位置する背景画素とを含む。ここで、背
景画素は、普通の画素値の範囲より著しく大きいかまた
は小さい値を有する画素として表される。その後、フレ
ームメモリ５０から取出された映像フレーム信号は、第
１符号化チャネル１００の二進マップ検出器１１０及
び、ブロック発生器２００へ各々供給される。

【００５３】二進マップ検出器１１０及び二進マップ符
号化器１２０を含む第１符号化チャネル１００は、通常
の符号化技法を用いて、フレームメモリ５０からの映像
フレーム信号内の二進マップを検出し符号化することに
よって、符号化された二進マップ信号を発生する。この
二進マップは、映像フレーム信号の画素数と等しい数の
二進画素を有する。各二進画素は映像フレーム信号の対
応する画素が、物体画素か背景画素かによって決定され
る。その後、二進マップ検出器１１０により検出された
二進マップは、二進マップ符号化器１２０へ供給されて
符号化され、ラインＬ１０を通して本発明のＥ／Ｉデバ
イス４００に供給される。

【００５４】この二進マップ符号化器１２０は、二進マ
ップ検出器１１０から受信した二進マップを、例えば、
ＪＰＥＧの二進算術コードを用いて符号化し、フォーマ
ッティング回路６００へ供給する。

【００５５】一方、ブロック発生器２００はフレームメ
モリ５０からの映像フレーム信号を、Ｎ×Ｎ個の画素か
らなる同じ大きさの複数の処理ブロックに分けると共
に、各処理ブロックをブロック単位でスイッチング回路
３００へ供給する。このスイッチング回路３００におい
ては、システムコントローラ（図示せず）からの制御信
号ＣＳに応じて、ブロック発生器２００からの各処理ブ
ロックをＥ−１デバイス４００または第２符号化チャネ
ル５００に選択的に供給する。システムコントローラ
は、映像フレーム信号内の物体の輪郭情報に基づいて制
御信号ＣＳを発生する。この前記制御信号ＣＳは、映像
フレーム内の物体の境界部分が各処理ブロックに存在す
るか否かを表す。物体の境界部分が処理ブロック内に存
在する場合、即ち、処理ブロックが物体領域及び背景領
域を共に有する場合、処理ブロックは、拡張された処理
ブロックを発生するＥ−Ｉデバイス４００に供給され、
そうでない場合には、第２符号化チャネル５００へ送ら
れる。

【００５６】本発明によれば、Ｅ−Ｉデバイス４００
は、第２符号化チャネル５００におけるデータの圧縮効
率を改善するために、スイッチング回路３００からの各
処理ブロックを、拡張された処理ブロックに変換する。
詳述すれば、図５（Ａ）に示すような処理ブロックはＥ
−Ｉデバイス４００へ供給されて、図５（Ａ）〜図５
（Ｃ）に関して説明したように、拡張された処理ブロッ
クに変換される。Ｅ／Ｉデバイス４００の詳細な動作
は、以下図７を参照して述べる。

【００５７】変換符号化器５１０、量子化器５２０及び
エントロピー符号化器５３０を含む第２符号化チャネル
５００は、通常の変換及び統計的符号化技法を用いるこ
とによってＥ−Ｉデバイス４００からの拡張された処理
ブロックの各々に含まれた映像データ、またはスイッチ
ング回路３００からの拡張されていない処理ブロックを
符号化する。即ち、変換符号化器５１０は、例えば離散
的コサイン変換を用いて、Ｅ−Ｉデバイス４００または
スイッチング回路３００から供給された各処理ブロック
の空間領域の映像データを周波数領域の一組の変換係数
に変換すると共に、この一組の変換係数を量子化器５２
０へ供給する。この量子化器５２０においては、公知の
量子化方法を用いて、入力された一組の変換係数を量子
化した後、量子化された一組の変換係数をエントロピー
符号化器５３０へ供給してさらに処理する。

【００５８】エントロピー符号化器５３０は、例えば、
ランレングス符号化と可変長符号化技法とを組み合わせ
た方法を用いて、量子化器５２０からの、拡張された、
または拡張されていない各処理ブロックに対する、量子
化された一組の変換係数を符号化して、符号化された映
像フレーム信号を発生する。その後、エントロピー符号
化器５３０により符号化された映像フレーム信号はフォ
ーマッティング回路６００へ供給される。

【００５９】このフォーマッティング回路６００は、第
１符号化チャネル１００の二進マップ符号化器１２０か
らの符号化された二進マップと、第２符号化チャネル５
００のエントロピー符号化器５３０からの符号化された
映像フレーム信号とをフォーマットし、フォーマットさ
れたディジタル映像信号をその伝送のために伝信機（図
示せず）へ供給する。

【００６０】図７には、図６に示した本発明による拡張
−補間デバイス４００の詳細なブロック図が示されてい
る。この拡張ー補間デバイス４００は、物体画素カウン
タ４１０、開始／大きさ決定ブロック４２０、制御ブロ
ック４３０、ＲＡＭ４４０、パディングブロック４６
０、拡張マトリックスメモリ４７０、拡張ブロック４８
０及び再スケーリングブロック４９０を含む。

【００６１】図６のスイッチング回路３００からの処理
ブロックは、ラインＬ２０を通じてＲＡＭ ４４０に入
力されて格納される。図６の二進マップ検出器１１０か
らの二進マップは、物体画素カウンタ４１０と開始／大
きさ決定ブロック４２０とへラインｌ１０を通じて入力
される。

【００６２】物体画素カウンタ４１０においては、二進
マップに応じて各々の処理ブロックの物体画素の個数を
数えて再スケーリングブロック４９０へ供給する。

【００６３】開始／大きさ決定ブロック４２０において
は、二進マップに応じて大きさと開始信号とが決定され
る。この大きさ信号は、処理ブロックの現在処理される
列または行における物体画素の数を表し、開始信号は現
在処理される列や行での第１の物体画素の位置を表す。
これらの開始信号及び大きさ信号はパディングブロック
４６０へ供給され、大きさ信号は拡張マトリックスメモ
リ４７０及び拡張ブロック４８０に供給される。

【００６４】開始／大きさ決定ブロック４２０の詳細な
機能について、図５（Ａ）〜図５（Ｃ）の例を用いて説
明する。図５（Ａ）の初めの２列のように、現在列に物
体画素が１つも無い場合、大きさ信号は、パディングブ
ロック４６０、拡張マトリックスメモリ４７０及び拡張
ブロック４８０に対して現在列が本発明の拡張ー補間過
程で処理される必要がないことを示す。図５（Ａ）の処
理ブロックの第３列の場合は、開始信号は３番目の画素
が第１番目の物体画素であることを示し、大きさ信号は
その列に５つの物体画素があることを示す。

【００６５】垂直拡張中には、開始信号と大きさ信号と
が各々３と６とに固定される。これは、水平拡張された
ブロックの各行の物体画素の開始位置と個数とが、図６
で示すように同一であるためである。

【００６６】拡張マトリックスメモリ４７０は、Ｍ次元
ベクトルをＮ次元ベクトルに変換するための拡張マトリ
ックス、即ち、式（８Ｂ）のＣを格納する。Ｎはシステ
ム設計に応じて決定されており、多くの場合は８であ
る。従って、拡張マトリックスＣを全てのＭの値、即
ち、１からＮに対して予め計算しておいて拡張マトリッ
クスメモリ４７０に格納することが可能になり、よっ
て、拡張マトリックスメモリ４７０はＲＯＭから構成さ
れ得ることになる。

【００６７】ブロックの列（または行）に対する拡張ー
補間は、その列（または行）の物体画素の値から形成さ
れたＭ次元ベクトルに、拡張マトリックスメモリ４７０
に格納された適切な拡張マトリックスを乗ずることによ
って容易に行われ得る。適切な拡張マトリックスは大き
さ信号に応じて選択されて、乗算を行うために拡張ブロ
ック４８０へ供給される。大きさ信号が現在列または行
に物体画素がないことを表す場合には、拡張マトリック
スは選択されず、拡張ブロック４８０への供給もされな
い。

【００６８】一方、制御ブロック４３０においては、Ｈ
／Ｖ信号と列／行番号信号が生成される。このＨ／Ｖ信
号は本発明の拡張ー補間デバイス４００で水平拡張また
は垂直拡張の中のいずれか一方が行われているかを示
し、列／行番号信号は本発明の拡張ー補間デバイス４０
０で現在処理される列または行を示す。一般に、ブロッ
クの列／行は逐次的に処理されるため、これらの信号は
システム設計、例えば、処理ブロックの列や行の数によ
り決定される。Ｈ／Ｖ信号と列／行番号信号は、開始／
大きさ決定ブロック４２０及びＲＡＭ４４０へ供給され
る。

【００６９】前述したように、図８のスイッチング回路
３００からの処理ブロックＲＡＭ４４０へ供給される。
処理ブロックの列または行は、制御ブロックからのＨ／
Ｖ信号と列／行番号信号に応じて、ＲＡＭ４４０から逐
次供給される。例示的に、水平拡張が先に行われること
と仮定する。この場合、処理ブロックの各々の列はまず
パディングブロック４６０へ供給される。

【００７０】パディングブロック４６０においては、開
始信号と大きさ信号とに応じて、ＲＡＭ４４０から供給
される列に含まれた物体画素値を表すＭ次元ベクトルが
形成されて拡張ブロック４８０へ供給される。このＭ次
元ベクトルは、開始信号により表される位置からＭ個の
連続した物体画素を選択することによって生成される。

【００７１】大きさ信号、即ち、Ｍ値信号に応じて、拡
張マトリックスメモリ４７０に格納された複数の予め定
められた拡張マトリックスの１つが選択され、拡張ブロ
ック４８０へ供給される。拡張マトリックスは拡張ブロ
ック４８０でＭ次元ベクトルに乗じられて、拡張された
Ｍ次元ベクトルを形成する。Ｎ次元ベクトルまたは水平
拡張された列は、ＲＡＭ４４０の元の列が格納されてい
た位置に再び格納される。

【００７２】前述したような方法で、ＲＡＭ４４０に格
納された処理ブロックの１つの列が水平拡張された列に
変換され再び格納される。処理ブロックの全ての列は、
物体画素を含んでいない列を除いては同様の方法で処理
される。物体画素を含んでいない列の場合には、大きさ
信号が拡張ブロックに物体画素がないということを示し
て、乗算が行われずにＲＡＭ４４０の元のデータが維持
されるようにする。

【００７３】水平拡張が終了すると、図５（Ｂ）に示す
ように、拡張された列を含む水平拡張された処理ブロッ
クがＲＡＭ４４０に格納されたことになる。

【００７４】水平拡張が終了した後、水平拡張された処
理ブロックの行は制御ブロック４３０からのＨ／Ｖ信号
と列／行番号信号に応じて、ＲＡＭ４４０でパディング
ブロック４５０に逐次入力される。これを除いては、パ
ディングブロック４６０、拡張マトリックスメモリ４７
０、拡張ブロック４８０の機能は水平拡張の場合と同一
である。詳述すれば、水平拡張された処理ブロックの各
行から形成されたＭ次元ベクトルがパディングブロック
４５０から拡張ブロック４８０へ供給されて、ここで、
Ｎ次元ベクトルに変換される。拡張された行（またはＮ
次元ベクトル）は、ＲＡＭ４４０の、水平拡張された処
理ブロックの対応する行の元の位置に格納される。

【００７５】水平拡張と垂直拡張とが終了した後、ＲＡ
Ｍ４４０に格納された拡張された処理ブロックは再スケ
ーリングブロック４９０へ供給される。再スケーリング
ブロック４９０においては、拡張された処理ブロックの
各画素値がブロックスケーリングファクターを用いてス
ケールダウン（ｓｃａｌｅ ｄｏｗｎ）することになる
が、このブロックスケーリングファクタは物体画素カウ
ンタ４１０から供給される処理ブロック１個当たりの物
体画素の個数に応じて決定される。

【００７６】再スケーリングされた処理ブロックは、図
６の第２符号化チャネル５００の変換符号化器５１０に
供給され符号化される。

【００７７】上記において、本発明の特定の実施例につ
いて説明したが、本明細書に記載した特許請求の範囲を
逸脱することなく、当業者は種々の変更を加え得ること
は勿論である。

【００７８】

【発明の効果】従って、本発明により、最適の拡張ー補
間方法または線形補間方法を用いて物体内部の画素と物
体外部の画素との間で生じる周波数成分を大幅に減らす
ことによって、全体的な符号化の効率を増大させること
ができる。

【図面の簡単な説明】

【図１】背景領域及び物体領域からなる１次元データを
示す図である。

【図２】背景領域を０で満たす方法を示す図である。

【図３】背景領域を物体領域の平均値で満たす方法を示
す図である。

【図４】本発明の背景領域を満たす方法を示す図であ
る。

【図５】（Ａ）、（Ｂ）及び（Ｃ）よりなり、（Ａ）
は、背景領域及び物体領域を有する映像ブロックであ
り、（Ｂ）は、水平に拡張された映像ブロックであり、
（Ｃ）は、垂直に拡張された映像ブロックを示す模式図
である。

【図６】本発明の映像信号符号化装置を説明するブロッ
ク図である。

【図７】図６の拡張−補間（Ｅ−Ｉ）デバイスの詳細な
ブロック図である。

【符号の説明】

５０ フレームメモリ １００ 第１符号化チャネル １１０ 二進マップ検出器 １２０ 二進マップ符号化器 ２００ ブロック発生器 ３００ スイッチング回路 ４００ Ｅ／Ｉデバイス ４１０ 物体画素カウンタ ４２０ 開始／大きさ決定ブロック ４３０ 制御ブロック ４４０ ＲＡＭ ４６０ パディングブロック ４７０ 拡張マトリックスメモリ ４８０ 拡張ブロック ４９０ 再スケーリングブロック ５００ 第２符号化チャネル ５１０ 変換符号化器 ５２０ 量子化器 ５３０ エントロピー符号化器 ６００ フォーマッティング回路 ＣＳ 制御信号

Claims (5)

【特許請求の範囲】
1. 【請求項１】 物体を有する映像フレーム信号に含ま
   れた、Ｎ×Ｎ個の画素（Ｎは正の整数）よりなる処理ブ
   ロックを変換して映像信号を符号化する映像信号符号化
   方法であって、前記画素は、物体の内部に位置する画素
   を表す物体画素と前記物体の外部に位置する画素を表す
   背景画素とに分けられており、 少なくとも１つの物体画素を有する前記処理ブロックの
   Ｌ個の列を選択する（Ｌは０以上Ｎ以下の整数）第１過
   程と、 前記第１過程から選択された各列に対して、前記各列に
   含まれた物体画素の個数を表すＭを決定すると共に、各
   要素が前記Ｍ個の各物体画素の画素値である第１ベクト
   ルを供給する（Ｍは１以上Ｎ以下の整数）第２過程と、 各々の列に対して、前記Ｍ値及び前記Ｎ値に基づいて、
   予め定められた複数の拡張マトリックスの中から１つの
   拡張マトリックスを選択すると共に、前記選択された拡
   張マトリックスを前記第１ベクトルに乗ずることによっ
   て、拡張された第１ベクトルを供給する第３過程と、 前記拡張された第１ベクトルの各要素を値とするＮ個の
   画素を有するＬ個の列を有する拡張された第１処理ブロ
   ックを供給する第４過程と、 前記拡張された第１処理ブロックの各行に対して、各要
   素が前記拡張された第１処理ブロックの前記各行に含ま
   れた画素の値であるＬ次元の第２ベクトルを供給する第
   ５過程と、 前記Ｌ値及び前記Ｎ値に基づいて、予め定められた複数
   の拡張マトリックスの中の１つを選択する第６過程と、 前記第６過程で選択された前記拡張マトリックスと前記
   第２ベクトルの各々とを乗じて、Ｎ個の拡張された第２
   ベクトルを供給し、前記拡張された第２ベクトルの各要
   素を画素値とするＮ個の画素を有するＮ個の行を有する
   拡張された第２処理ブロックを供給する第７過程と、 前記処理ブロック内の前記物体画素の個数をカウントす
   ると共に、前記物体画素の数を前記処理ブロック内の画
   素の個数で除した数であるブロックスケーリングファク
   ターを決定する第８過程と、 前記ブロックスケーリングファクターを前記拡張された
   第２処理ブロックの各画素に乗じることによって、前記
   拡張された処理ブロックを発生する第９過程とを含むこ
   とを特徴とする映像信号符号化方法。
2. 【請求項２】 前記Ｍ次元ベクトルをＮ次元の拡張さ
   れたベクトルに変換するための前記拡張マトリックス
   が、下記式のように定義され、 【数１】 ここで、ａ_ijが下式のように表現され、 【数２】 また、ｂ_ijが下式のように与えられ、 【数３】 前記μ₀が下式のように、 【数４】 で表されることを特徴とする請求項１に記載の映像信号
   符号化方法。
3. 【請求項３】 前記Ｍ次元ベクトルをＮ次元の拡張さ
   れたベクトルに変換するための前記拡張マトリックス
   が、下記式のように定義され、 【数５】 ここで、ｂ_ijが下式のように表現され、 【数６】 また、ａ_ijが下式のように与えられ、 【数７】 前記μ₀が下式のように、 【数８】 で表されることを特徴とする請求項１に記載の映像信号
   符号化方法。
4. 【請求項４】 物体を有する映像フレーム信号に含ま
   れた、Ｎ×Ｎ個の画素（Ｎは正の整数）よりなる処理ブ
   ロックを変換して映像信号を符号化する映像信号符号化
   方法であって、前記画素は、物体の内部に位置する画素
   を表す物体画素と前記物体の外部に位置する画素を表す
   背景画素とに分けられており、 少なくとも１つの物体画素を有する前記処理ブロックの
   Ｌ個の列を選択する（Ｌは０以上Ｎ以下の整数）第１過
   程と、 前記第１過程から選択された各列に対して、前記各列に
   含まれた物体画素の個数を表すＭを決定すると共に、各
   要素が前記Ｍ個の各物体画素の画素値である第１ベクト
   ルを供給する（Ｍは１以上Ｎ以下の整数）第２過程と、 各々の列に対して、前記Ｍ値及び前記Ｎ値に基づいて、
   予め定められた複数の拡張マトリックスの中から１つの
   拡張マトリックスを選択すると共に、前記選択された拡
   張マトリックスを前記第１ベクトルに乗ずることによっ
   て、拡張された第１ベクトルを供給する第３過程と、 前記拡張された第１ベクトルの各要素を値とするＮ個の
   画素を有するＬ個の列を有する拡張された第１処理ブロ
   ックを供給する第４過程と、 前記拡張された第１処理ブロックの各行に対して、各要
   素が前記拡張された第１処理ブロックの前記各行に含ま
   れた画素の値であるＬ次元の第２ベクトルを供給する第
   ５過程と、 前記Ｌ値及び前記Ｎ値に基づいて、予め定められた複数
   の拡張マトリックスの中の１つを選択する第６過程と、 前記第６過程で選択された前記拡張マトリックスと前記
   第２ベクトルの各々とを乗じて、Ｎ個の拡張された第２
   ベクトルを供給し、前記拡張された第２ベクトルの各要
   素を画素値とするＮ個の画素を有するＮ個の行を有する
   拡張された第２処理ブロックを供給する第７過程と、 Ｍ次元ベクトルをＮ次元ベクトルに変換する前記拡張マ
   トリックスが、下記式のように表現され、 【数９】 ここで、a_ijが下式のように表現され、 【数１０】 また、ｂ_ijが下式のように与えられ、 【数１１】 前記μ₀が下式のように、 【数１２】 で表されることを特徴とする映像信号符号化方法。
5. 【請求項５】 物体を有する映像の、前記物体の内部
   に位置する画素を表す物体画素と前記物体の外部に位置
   する画素を表す背景画素とからなる映像フレーム信号を
   符号化する映像信号符号化装置であって、 前記映像フレーム信号に含まれた画素のうち何れが前記
   物体画素かを示す２進マップを検出する２進マップ検出
   手段と、 前記２進マップを符号化して、符号化された第１映像フ
   レーム信号を発生する第１符号化手段と、 前記映像フレームを、Ｎ×Ｎ個の画素を有する複数の処
   理ブロックに分ける（Ｎは正の整数）第１分割手段と、 前記各処理ブロックが前記物体画素及び前記背景画素の
   双方を含むか否かを示す制御信号を生成する制御信号生
   成手段と、 前記制御信号に応じて、前記処理ブロックを、前記物体
   画素及び前記背景画素の双方を有する第１の処理ブロッ
   クの組と、それ以外の第２の処理ブロックの組とに分け
   る第２分割手段と、 前記第１の処理ブロックの組の各々を拡張された処理ブ
   ロックに変換する変換手段と、 前記拡張された処理ブロックまたは前記第２の処理ブロ
   ックの組を符号化することによって、符号化された第２
   映像フレーム信号を供給する第２符号化手段と、 前記符号化された第１及び第２映像フレーム信号をフォ
   ーマッティングするフォーマッティング手段とを含む映
   像信号符号化装置であって、 前記変換手段が、 各列が少なくとも１つの物体画素を有するＬ列の前記処
   理ブロックを選択する（Ｌは０以上Ｎ以下の整数）第１
   選択手段と、 前記選択手段により選択された各列に対して、前記各列
   に含まれた物体画素の個数を表すＭを決定すると共に、
   各要素が前記各列に含まれたＭ個の物体画素の各値であ
   る第１ベクトルを供給する（Ｍは０以上Ｎ以下の整数）
   個数決定手段と、 前記Ｌ値及び前記Ｎ値に基づいて、前記複数の予め定め
   られた拡張マトリックスの中の１つを選択すると共に、
   前記選択された拡張マトリックスを第１ベクトルに乗じ
   ることによって、拡張された第１ベクトルを供給するマ
   トリックス選択手段であって、Ｍ次元ベクトルをＮ次元
   ベクトルに変換する前記拡張マトリックスが、下式のよ
   うに定義され、 【数１３】 ここで、ａ_ijが下式のように表現され、 【数１４】 また、ｂ_ijが下式のように与えられ、 【数１５】 前記μ₀が下式のように、 【数１６】 と定義される、該マトリックス選択手段と、 各列が、前記拡張された各第１ベクトルの要素の値を画
   素値とするＮ個の画素を有するＬ列の拡張された第１処
   理ブロックを発生する処理ブロック発生手段と、 前記拡張第１処理ブロックの各行に対して、各要素が前
   記拡張された第１処理ブロックの前記各行に含まれた画
   素値であるＬ次元の第２ベクトルを発生するベクトル発
   生手段と、 前記Ｍ値及びＮ値に基づいて、前記複数の予め定められ
   た拡張マトリックスの一つを選択する第２選択手段と、 前記第２選択手段より選択された前記拡張マトリックス
   と前記第２ベクトルとを乗じることによって、Ｎ個の拡
   張された第２ベクトルを発生して、各行が各要素が画素
   になるＮ個の画素の画素値からなる、Ｎ行の前記拡張さ
   れた処理ブロックを発生する乗算手段とを含むことを特
   徴とする映像信号符号化装置。