JP3401759B2 - 画像符号化方法及び装置並びに画像符号化プログラムを記録した記録媒体 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像符号化方法及
び装置並びに画像符号化プログラムを記録した記録媒体
に係わり、特に、データ量の多い高精細ディジタル画像
データを符号化する際に、画像データを分割して高能率
に符号化可能な画像符号化方法及び装置並びに画像符号
化プログラムを記録した記録媒体に関するものである。

【０００２】

【従来の技術】高精細なディジタル画像データをリアル
タイムで符号化して伝送する場合、単位時間当たりの処
理データ量が非常に多いため、速い符号化伝送速度が必
要である。このため、従来実施されているような、１つ
の画像データに対して１つの符号化伝送ユニットで処理
する方法では、非常に高速な処理系が必要となり、技術
的およびコスト的側面から実現が困難となる。

【０００３】そこで、ハードウェアの処理能力の限界な
どを考慮して、例えば、図２０あるいは図２１に示す方
法により、画像データを複数の画像データに分割し、汎
用の符号化伝送ユニットを複数個使用することにより、
並列化した符号化および復号化が行われている。

【０００４】図２０は、画像データを空間的に分割し
て、並列化した符号化および復号化を行う場合の符号化
処理および復号化処理の一例を説明するための図であ
る。同図において、Ｓ（i,j ）、Ａ（i,j ）、Ｂ（i,j
）、Ｃ（i,j ）、Ｄ（i,j ）は位置（i,j ）における
画素値を表す。

【０００５】伝送される高精細画像データ（Ｓ（i,j ）
（ｉ＝０，１,..,Ｍ−１，ｊ＝０，１,..,Ｎ−１））１
０１は、画像分割器１によって空間的に４つの画像デー
タ（Ａ（i,j ），Ｂ（i,j ），Ｃ（i,j ），Ｄ（i,j
））に分割され、それぞれ画像符号化器２に入力され
る。

【０００６】ここで、 Ａ（i,j ）＝Ｓ（i,j ） （ｉ＝０，１,..,Ｍ／２−１、ｊ＝０，１,..,Ｎ／２−
１） Ｂ（i,j ）＝Ｓ（i,j ） （ｉ＝Ｍ／２，Ｍ／２＋１,..,Ｍ−１、ｊ＝０，１,..,
Ｎ／２−１） Ｃ（i,j ）＝Ｓ（i,j ） （ｉ＝０，１,..,Ｍ／２−１、ｊ＝Ｎ／２，Ｎ／２＋
１,..,Ｎ−１） Ｄ（i,j ）＝Ｓ（i,j ） （ｉ＝Ｍ／２，Ｍ／２＋１,..,Ｍ−１、ｊ＝Ｎ／２，Ｎ
／２＋１,..,Ｎ−１） この画像符号化器２でそれぞれ符号化された４つの符号
化画像データは多重化器３で多重化され復号化側（受信
側）に伝送される。

【０００７】復号化側では、多重化された符号化画像デ
ータが分離器４で分離され、それぞれ画像復号器５に入
力される。この画像復号器５の出力は画像合成器６にお
いて合成され復号画像データとなり、画像表示装置１０
０に表示される。

【０００８】図２１、図２２は、画像データをサブサン
プリングにより分割して、並列化した符号化および復号
化を行う場合の符号化処理および復号化処理の一例を説
明するための図である。

【０００９】図２１、図２２に示すように、伝送される
高精細画像データ（Ｓ（i,j ）（ｉ＝０，１,..,Ｍ−
１，ｊ＝０，１,..,Ｎ−１））１０１は、サブサンプリ
ング画像分割器７によって４つの画像データ（Ａ（i,j
），Ｂ（i,j ），Ｃ（i,j ），Ｄ（i,j ））に分割さ
れ、それぞれ画像符号化器８に入力される。

【００１０】ここで、 Ａ（i,j ）＝Ｓ（2i,2j ） （ｉ＝０，１,..,Ｍ／２−１、ｊ＝０，１,..,Ｎ／２−
１） Ｂ（i,j ）＝Ｓ（2i+1,2j ） （ｉ＝０，１,..,Ｍ／２−１、ｊ＝０，１,..,Ｎ／２−
１） Ｃ（i,j ）＝Ｓ（2i,2j+1 ） （ｉ＝０，１,..,Ｍ／２−１、ｊ＝０，１,..,Ｎ／２−
１） Ｄ（i,j ）＝Ｓ（2i+1,2j+1) （ｉ＝０，１,..,Ｍ／２−１、ｊ＝０，１,..,Ｎ／２−
１） この画像符号化器８でそれぞれ符号化された４つの符号
化画像データは多重化器９で多重化され復号化側（受信
側）に伝送される。

【００１１】復号化側では、多重化された符号化画像デ
ータが分離器１０で分離され、それぞれ画像復号器１１
に入力される。この画像復号器１１の出力はサブサンプ
リング画像合成器１２において合成され復号画像データ
となり、画像表示装置１００に表示される。

【００１２】

【発明が解決しようとする課題】図２０に示す画像デー
タを空間的に分割する方法は、それぞれの画像符号化器
２が独立に動作するため、分割された画像データ間で量
子化特性が異なる場合がある。その結果、復号画像デー
タの境界部分における連続性が失われ、合成された画像
データにおいて分割境界線が認知される問題が生じる。

【００１３】したがって、Ｓ／Ｎ比対符号量の高い復号
画像データを得るためには、分割境界領域での量子化特
性を同一にしたり、分割境界領域付近の分割境界線を目
立たなくするフィルタリング処理など複雑な処理が必要
となり、低コストで構成することができないという問題
点があった。

【００１４】また、一般に画像符号化器ではフレーム間
予測符号化が行われ、時間方向の冗長性の圧縮が行われ
ている。これは、画像データ内における移動物体の動き
ベクトルを検出することで、次のフレームの予測画像デ
ータを構成し、実際の画像データと予測画像データとの
誤差と、動きベクトルとを符号化することで行われてい
る。

【００１５】画像データを空間的に分割した場合、それ
ぞれの画像符号化器２が独立に動作していると、分割さ
れた画像データ間にまたがる移動物体を検出することが
できない。そのため、境界領域付近における時間方向の
冗長性を利用できず、符号量は分割しない場合に比べて
増加することになる。したがって、Ｓ／Ｎ比対符号量の
高い復号画像データを得るためには、動画像データに対
する境界処理が必要となり、低コストで構成できなくな
る。

【００１６】一方、図２１、図２２に示す画像データを
サブサンプリングにより分割する方法は、サブサンプリ
ング画像データに折り返し歪みが含まれているため、画
像符号化器８において、一般的な符号化圧縮処理が行わ
れると、合成された復号画像データのＳ／Ｎ比は大きく
劣化する。

【００１７】例えば、広く用いられている、離散コサイ
ン変換（ＤＣＴ）を直交変換に用いて低域に情報を集中
させ、その変換係数を量子化して圧縮する場合には、図
２３に示すような問題点がある。

【００１８】但し、図２３は模式的に１次元で表現して
おり、また、図２３における信号処理の流れを図２４に
示す。

【００１９】図２３（ａ）に示す０から２Ｎまでの離散
コサイン変換係数を持つ原画像データ１０１をサブサン
プリングすると、サブサンプリング画像データ（１１
１，１１３）の離散コサイン変換係数は、図２３（ｂ）
に示すように、破線で表す原画像データの低域と、点線
で表す原画像データの高域の離散コサイン変換係数の折
り返しが合成された、０からＮまでのものとなる。

【００２０】通常、画像符号化器（１１２，１１４）で
は、人間の視覚特性を考慮して高域を粗く量子化する適
応量子化が行われるため、図２３（ｃ）に示すような低
域通過フィルタリングに相当する処理が行われる。

【００２１】このような画像符号化器（１１２，１１
４）の出力を合成した合成画像１１５では、図２３
（ｄ）に示すように、画像データの中域が欠落してしま
うことになる。人間の視覚感度は中域が最も高く、中域
が欠落した画像データは非常に違和感がある。

【００２２】即ち、サブサンプリング画像データ（１１
１，１１３）は原画像データ１０１の高域と低域が合成
されたものであるため、原画像データ１０１の高域だけ
を粗く量子化することは不可能である。従って、違和感
のない画像データを得るには、量子化を各離散コサイン
変換係数にわたって均等に行うことが必要となる。しか
し、量子化を均等に行うと符号量が大きく増加するた
め、Ｓ／Ｎ比対符号量は大幅に劣化する。

【００２３】本発明は、前記従来技術の問題点を解決す
るためになされたものであり、本発明の目的は、画像符
号化方法および装置において、ＨＤＴＶやＨＤＴＶ以上
の高精細画像データを、低コスト、かつＳ／Ｎ比対符号
量の高い画像符号化が可能となる技術を提供することに
ある。

【００２４】本発明の他の目的は、画像符号化方法およ
び装置において、分割された画像データを符号化する際
に輝度データの帯域を縮小することが可能となる技術を
提供することにある。

【００２５】本発明の他の目的は、コンピュータに前記
画像符号化方法を実行させるための画像符号化プログラ
ムを記録した記録媒体を提供することにある。

【００２６】本発明の前記ならびにその他の目的及び新
規な特徴は、本明細書の記述及び添付図面によって明ら
かにする。

【００２７】

【課題を解決するための手段】本願において開示される
発明のうち代表的なものの概要を簡単に説明すれば、以
下のとおりである。

【００２８】画像データの符号化を行う画像符号化方法
および装置において、サブサンプリングにより画像デー
タを４つの画像データに分割し、当該分割された４つの
画像データに対してマトリックス演算を施し符号操作を
行って、あるいは加減算を施して得られる４つの画像デ
ータを、それぞれ並列に符号化することを特徴とするも
のである。

【００２９】また、当該分割された４つの画像データに
対してマトリックス演算を施し符号操作を行って、ある
いは加減算を施して得られる４つの画像データの輝度値
データを任意の整数で除算し、その剰余情報を転送する
ことを特徴とするものである。

【００３０】また、画像符号化プログラムを記録した記
録媒体において、コンピュータに、前記画像符号化方法
を実行させることを特徴とする。

【００３１】

【実施の形態】以下、図面を参照して本発明の実施の形
態を詳細に説明する。

【００３２】なお、発明の実施の形態を説明するための
全図において、同一機能を有するものは同一符号を付
し、その繰り返しの説明は省略する。

【００３３】［実施の形態１］始めに、本発明の実施の
形態１の原理について説明する。

【００３４】データ点数Ｎでサンプリングされた１次元
の原信号データｇ（ｔ）（ｔ＝０，１,..,Ｎ−１）の離
散コサイン変換Ｇ（ｆ）（ｆ＝０，１,..,Ｎ−１）は、
下記（１）式のように表される。

【００３５】

【数１】

【００３６】サブサンプリングデータａ（ｋ）（ｋ＝
０，１,..,Ｎ／２−１）およびｂ（ｋ）（ｋ＝０，
１,..,Ｎ／２−１）を用いて変形すると、下記（２）式
のように表される。

【００３７】但し、ａ（ｋ）＝ｇ（２ｋ），ｂ（ｋ）＝
ｇ（２ｋ＋１） である。

【００３８】

【数２】

【００３９】（２）式を変形すると、下記（３）式のよ
うに表される。

【００４０】

【数３】

【００４１】図１に示すように、（３）式の第１項は主
に低域成分を表し、（３）式の第２項は主に中域から高
域成分を表している。

【００４２】したがって、図２に示すように、符号化側
において、データ変換器１０３で、サブサンプリング画
像分割器１０２で分割された画像データに対して、
（３）式の第１項と第２項との演算を施し、（３）式の
第１項の演算を施したデータ｛ａ（ｋ）＋ｂ（ｋ）｝を
符号器１０４に入力し、（３）式の第２項の演算を施し
たデータ（−１）^k ・｛ａ（ｋ）−ｂ（ｋ）｝を符号化
器１０５に入力し、符号化器１０４の量子化特性を低域
成分用、符号化器１０５の量子化特性を中・高域成分用
に設定し、さらに、復号化側においても、同様に設定す
ることで、Ｓ／Ｎ比対符号量が高く、かつ人間の視覚特
性にも適した画像データを伝送することが可能となる。

【００４３】このように、サブサンプリング画像分割器
１０２で分割された分割データに、所定の演算を施し、
また、符号の操作を行うことで、量子化特性のみを変更
した汎用の符号化器（１０４、１０５）および復号器を
用いることができ、低コストかつＳ／Ｎ比対符号量の高
い画像データを伝送することが可能となる。

【００４４】ここで、原信号データを２次元に拡張した
場合は、下記（４）式のように表される。

【００４５】

【数４】

【００４６】（４）式において、ｇ（k,l ）は画像デー
タを表し、ａ，ｂ，ｃ，ｄは図２１におけるサブサンプ
リング画像データＡ（i,j ），Ｂ（i,j ），Ｃ（i,j
），Ｄ（i,j ）に対応する。

【００４７】（４）式を実現するための符号化装置の基
本的な構成を図３に、また、復号化装置の基本的な構成
を図４に示す。

【００４８】図３において、１０１は高精細画像デー
タ、１２１は伝送される高精細画像データ１０１を４つ
の小画像データに分割するサブサンプリング画像分割
器、１２２は画像変換器、１２３〜１２６は画像符号化
器、１２７は符号化された画像データを伝送する伝送器
である。

【００４９】図３に示す符号化側において、画像変換器
１２２が被離散コサイン変換部分の演算を行い、画像符
号化器（１２３〜１２６）が離散コサイン変換（ＤＣ
Ｔ）を行う。被離散コサイン変換部分とは、（４）式に
示す（ａ＋ｂ＋ｃ＋ｄ）、（−１）^l ・（ａ＋ｂ−ｃ−
ｄ）、（−１）^k ・（ａ−ｂ＋ｃ−ｄ）、および（−
１）^k ・（−１）^l ・（ａ−ｂ−ｃ＋ｄ）の４つの演算
部分である。

【００５０】図４において、１３１は多重化された画像
データ（符号化された画像データ）を受信する受信器、
１３２〜１３５は画像復号器、１３６は画像変換器、１
３７は復号されたサブサンプリング画像データを合成す
るサブサンプリング画像合成器、１００は画像表示装置
である。

【００５１】図４に示す復号化側において、画像復号器
（１３２〜１３５）が離散コサイン逆変換を行い、画像
変換器１３６が被離散コサイン変換部分の逆演算を行
う。

【００５２】図３に示す符号化装置、および、図４に示
す復号化装置では、量子化特性のみを変更した汎用の画
像符号化器（１２３〜１２６）および画像復号器（１３
２〜１３５）を用いることができる。したがって、低コ
ストかつＳ／Ｎ比対符号量の高い画像符号化伝送が可能
となる。

【００５３】ここで、画像符号化器（１２３〜１２６）
に入力されるマトリックス演算が施された画像データ
は、例えば、図５のように、原画像データ１０１を空間
周波数領域において帯域分割したものに相当する。

【００５４】図５は、本実施の形態１において、画像符
号化器（１２３〜１２６）に入力されるマトリックス演
算が施された画像データをディスプレイ上に表示した中
間調画像の一例を示す写真である。

【００５５】図５において、図５（ａ）は（４）式にお
ける第１項の被離散コサイン変換部分に相当する画像デ
ータであり、水平および垂直成分とも低域の画像データ
である。図５（ｂ）は（４）式における第２項の被離散
コサイン変換部分に相当する画像データであり、水平成
分は低域、垂直成分は中高域の画像データである。図５
（ｃ）は（４）式における第３項の被離散コサイン変換
部分に相当する画像データであり、水平成分は中高域、
垂直成分は低域の画像データである。図５（ｄ）は
（４）式における第４項の被離散コサイン変換部分に相
当する画像データであり、水平および垂直成分とも中高
域の画像データである。

【００５６】図５に示すように、各画像データ内で、動
画像データの動きを容易に判別することができるので、
動きベクトルを検出することが可能であり、動き補償に
よる時間方向における冗長性の圧縮も可能である。した
がって、本発明は動画像データに対しても有効である。

【００５７】図６は、本実施の形態１の画像符号化装置
の概略構成を示すブロック図である。

【００５８】伝送される高精細画像データ１０１は、サ
ブサンプリング画像分割器１５で４つの小画像データに
分割され、この分割された４つの小画像データは、画像
変換器１６に入力される。この画像変換器１６で（４）
式の演算が施された画像データは、それぞれ画像符号化
器（２１〜２４）で符号化される。この画像符号化器
（２１〜２４）から出力される符号化された画像データ
は、多重化器２５で多重化され復号化側に伝送される。

【００５９】画像変換器１６は、分割された小画像デー
タ間のマトリックス演算を行うマトリックス演算部１７
と、符号制御部（１８〜２０）とで構成される。この符
号制御部（１８〜２０）は、それぞれ（４）式中の第
２，３，４項にある（−１）^l 、（−１）^k 、（−１）^k
・（−１）^l の演算を行なう。

【００６０】サブサンプリング画像分割器１５、画像変
換器１６は、（４）式における被離散コサイン変換部分
の演算を行っている。各画像符号化器（２１〜２４）
は、例えば、ＭＰＥＧ２に準拠した、離散コサイン変換
（ＤＣＴ）、動き補償および可変長符号化を組み合わせ
たハイブリッド符号化器を用いる。

【００６１】図７に示すように、周波数領域において主
に、画像符号化器２１はＬＬ部、画像符号化器２２はＬ
Ｈ部、画像符号化器２３はＨＬ部、画像符号化器２４は
ＨＨ部の処理を行っているため、各画像符号化器（２１
〜２４）の量子化特性をそれに合わせて変更している。
多重化器２５は、例えば、時分割多重化や周波数多重化
を行い、４つの符号化された画像データを効率的に伝送
する。

【００６２】図８は、本実施の形態１の画像符号化方法
により符号化された画像データを復号する画像復号化装
置の概略構成を示すブロック図である。

【００６３】符号化側から伝送される多重化された符号
化画像データは、分離器２６で分離され、それぞれ画像
復号器（２７〜３０）で復号化される。この画像復号器
（２７〜３０）で復号された画像データは、画像変換器
３１で、サブサンプリング画像データに変換され、さら
に、サンプリング画像合成器３７で合成され、もとの画
像データに復号され、画像表示装置１００に表示され
る。

【００６４】画像変換器３１は、符号制御部（３２〜３
４）と、画像バッファ３５と、マトリックス演算を行い
サブサンプリング画像データに変換するマトリックス演
算部３６とで構成される。符号制御部（３２〜３４）
は、（４）式中の第２，３，４項にある（−１）^l 、
（−１）^k 、（−１）^k ・（−１）^l の逆演算を行う。
画像復号器（２７〜３０）は、対応する画像符号化器
（２１〜２４）と同じ量子化特性になっている。

【００６５】画像変換器３１およびサンプリング画像合
成器３７は、（４）式における被離散コサイン変換部分
の逆演算を行っている。画像バッファ３５は、連続して
到着しないビット系列を一時的に蓄え、マトリックス演
算部３６での計算を可能にしている。

【００６６】本実施の形態では、多重化器２５および分
離器２６を用いているが、多重化せずに、そのまま並列
に伝送することも可能であり、伝送方法を多重化伝送方
法に限定するものではない。

【００６７】このように、本実施の形態では、簡単な前
処理および後処理を行うことで、汎用の画像符号化器
（２１〜２４）および画像復号器（２７〜３０）を用い
ることができ、かつ、Ｓ／Ｎ比を劣化させることなく、
高精細画像データの効率的な符号化伝送を行うことが可
能となる。

【００６８】また、各画像符号化器（２１〜２４）は独
立に動作して画像データの伝送が行われることから、本
実施の形態は、例えば、多重化器２５および分離器２６
を含む伝送系に、帯域を有効に利用した高速画像データ
伝送が可能なＡＴＭ（非同期転送モード）を用いた場合
に有効である。

【００６９】［実施の形態２］図９は、本発明の実施の
形態２の画像符号化装置の概略構成を示すブロック図で
ある。

【００７０】本実施の形態の画像符号化装置は、ＭＰＥ
Ｇ２等に代表されるハイブリッド符号化方法にサブサン
プリング分割方式と、（４）式の被離散コサイン変換部
分の演算を組み込んだものである。

【００７１】伝送される高精細画像データ１０１は、ブ
ロック分割器３８で、例えば、１６×１６の画素ブロッ
クに分割される。このブロック分割器３８でブロック分
割された画像データは、サブサンプリング画像分割器３
９で４つの小画像データに分割される。

【００７２】このサブサンプリング画像分割器３９で分
割された４つの小画像データは、画像変換器４０に入力
される。この画像変換器４０で（４）式の演算が施され
た画像データはそれぞれ離散コサイン変換器（４５〜４
８）でＤＣＴ演算が行われ、ＤＣＴ係数が出力される。
この離散コサイン変換器（４５〜４８）からのＤＣＴ係
数は、量子化器（４９〜５２）で量子化され、さらに、
可変長符号化器（６８〜７１）で符号化された後、多重
化器７２で多重化され復号化側に伝送される。

【００７３】画像変換器４０は、分割された小画像デー
タ間のマトリックス演算を行うマトリックス演算部４１
と、符号制御部（４２〜４４）とで構成される。この符
号制御部（４２〜４４）は、それぞれ（４）式中の第
２，３，４項にある（−１）^l 、（−１）^k 、（−１）^k
・（−１）^l の演算を行なう。

【００７４】また、量子化器（４９〜５２）からの量子
化されたＤＣＴ係数は、逆量子化器（５３〜５６）で逆
量子化され、さらに、離散コサイン逆変換器（５７〜６
０）で（４）式の演算が施された画像データに変換され
る。この離散コサイン逆変換器（５７〜６０）からの
（４）式の演算が施された画像データは、画像変換器６
１で、分割された４つの小画像データに変換され、サブ
サンプリング画像合成器６６でブロック分割された画像
データ、例えば、１６×１６の画素ブロックの画像デー
タに合成される。

【００７５】このブロック分割された画像は、ブロック
合成器６７で元の画像データに合成され、さらに、予測
器７３で予測値が求められる。この予測器７３からの予
測値と、高精細画像データ１０１との差分が取られ、ブ
ロック分割器３８に入力される。

【００７６】サブサンプリング画像分割器３９、画像変
換器４０は、（４）式における被離散コサイン変換部分
の演算を行っている。

【００７７】図１０は、本実施の形態２の画像符号化方
法により符号化された画像データを復号する画像復号化
装置の概略構成を示すブロック図である。

【００７８】符号化側から伝送される多重化された符号
化画像データは、分離器７４で分離され、それぞれ可変
長符号再生器（７５〜７８）で復号化された後、逆量子
化器（７９〜８２）で逆量子化され、さらに、離散コサ
イン逆変換器（８３〜８６）で（４）式の演算が施され
た画像データに変換される。

【００７９】この離散コサイン逆変換器（８３〜８６）
からの（４）式の演算が施された画像データは、画像変
換器８７で分割された４つの小画像データに変換され、
サブサンプリング画像合成器９３で元のブロック分割さ
れた画像、例えば、１６×１６の画素ブロックの画像デ
ータに合成される。このブロック分割された画像は、ブ
ロック合成器９４で画像データに合成された後、予測器
９５からの予測値と加算され画像データに復号され、画
像表示装置１００に表示される。

【００８０】画像変換器８７は、符号制御部（８８〜９
０）と、画像バッファ９１と、マトリックス演算を行い
サブサンプリング画像データに変換するマトリックス演
算部９２とで構成される。符号制御部（８８〜９０）
は、（４）式中の第２，３，４項にある（−１）^l 、
（−１）^k 、（−１）^k ・（−１）^l の逆演算を行う。

【００８１】符号化側における量子化器（４９〜５２）
と、符号化側の逆量子化器（５３〜５６）および復号化
側の逆量子化器（７９〜８２）の量子化特性は、処理す
る画像データの周波数帯域に合わせて変更されている。

【００８２】また、画像バッファ９１は、連続して到着
しないビット系列を一時的に蓄え、マトリックス演算部
３６での計算を可能にしている。

【００８３】図１１は、ＭＰＥＧ２等に代表される、離
散コサイン変換、動き補償および可変長符号化を組み合
わせたハイブリッド符号化方法の基本的構成を示すブロ
ック図である。なお、図１１における各部の動作は、図
１０と同じであるので、その詳細な説明は省略する。

【００８４】本実施の形態では、前記実施の形態１と同
様に、多重化器７２および分離器７４を用いているが、
多重化せずにそのまま並列に伝送することも可能であ
り、伝送方法を多重化伝送方法に限定するものではな
い。

【００８５】本実施の形態は、大容量の高精細画像デー
タを高速かつ効率的にハイブリッド符号化するのに好適
である。

【００８６】なお、前記各実施の形態においては、サブ
サンプリング画像分割器（１５，３９，１２１）、画像
変換器（１６，４０，１２２）、画像符号化器（２１〜
２４，１２３〜１２６）および多重化器（２５，７２）
が、それぞれ専用のハードウェアで構成される場合につ
いて説明したが、本発明はこれに限定されるものではな
く、例えば、コンピュータのソフトウェア処理で実行す
ることも可能である。

【００８７】この場合に、前記各実施の形態の画像符号
化方法は、例えば、図１２に示す中央処理装置（ＣＰ
Ｕ）３０１が主メモリ３０２に読み込まれた画像符号化
プログラムを実行することにより行われる。

【００８８】なお、図１２は、コンピュータのハードウ
ェアの概略構成を示すブロック図であり、同図におい
て、３０１は中央処理装置（ＣＰＵ）、３０２は主メモ
リ、３０３はディスプレイ、３０４はキーボード、マウ
ス等の入力装置、３０５は磁気ディスク等の補助記憶装
置、３０６はバスラインである。また、前記画像符号化
プログラムは、例えば、ＣＤ−ＲＯＭ等により提供さ
れ、補助記憶装置３０５に格納される。

【００８９】［実施の形態３］始めに、本発明の実施の
形態３の原理について、１次元信号を対象として説明す
る。

【００９０】図１３は、入力信号データが１次元信号で
ある場合の、ｚ変換領域における信号線図を表す図であ
る。図１３に示す符号化側において、１次元の入力信号
データＸ（ｚ）はサブサンプリングによって２つのサン
プリングデータＸ₀ （ｚ）およびＸ₁ （ｚ）に分割され
る。即ち、入力信号データＸ（ｚ）は２つに分割され、
一方は、ダウンサンプリング回路１５１によりダウンサ
ンプリングされサンプリングデータＸ₀ （ｚ）に、ま
た、他方は、ｚ^-1/2素子１５２を通った後ダウンサンプ
リング回路１５３によりダウンサンプリングされサンプ
リングデータＸ₁（ｚ）に変換される。

【００９１】これらのサンプリングデータＸ₀ （ｚ）お
よびＸ₁ （ｚ）は、加算器１５４により加算され和デー
タＡ（ｚ）（＝Ｘ₀ （ｚ）＋Ｘ₁ （ｚ））に、また、反
転器１５５と加算器１５６とにより減算され差データＢ
（ｚ）（＝Ｘ₀ （ｚ）−Ｘ₁（ｚ））に変換される。

【００９２】和データＡ（ｚ）および差データＢ（ｚ）
は、それぞれ並列に符号化器１５７および符号化器１５
８に入力される。各符号化器（１５７，１５８）におい
て、和データＡ（ｚ）および差データＢ（ｚ）にそれぞ
れ量子化誤差Ｑａ（ｚ）およびＱｂ（ｚ）が付加され、
データＡ’（ｚ）およびＢ’（ｚ）が送信される。

【００９３】一方、復号側において、受信されたデータ
Ａ’（ｚ）およびＢ’（ｚ）は復号器１６１および復号
器１６２によって復号される。この復号されたデータ
Ａ’（ｚ）およびＢ’（ｚ）は、加算器１６３により加
算されデータＹ₀ （ｚ）（＝Ａ’（ｚ）＋Ｂ’（ｚ））
に、また、反転器１６４と加算器１６５とにより減算さ
れデータＹ₁ （ｚ）（＝Ａ’（ｚ）−Ｂ’（ｚ））に変
換される。ここで、Ｙ₀（ｚ）およびＹ₁ （ｚ）は、復
号されたサンプリングデータを表す。

【００９４】データＹ₀ （ｚ）は、アップサンプリング
回路１６６によりアップサンプリングされ、また、デー
タＹ₁ （ｚ）は、アップサンプリング回路１６７により
アップサンプリングされる。アップサンプリングされた
データＹ₀ （ｚ）と、アップサンプリングされｚ素子１
６８を通ったデータＹ₁ （ｚ）は、加算器１６９により
加算され合成された後、１／２掛算器１７０を通って出
力信号データＹ（ｚ）となる。

【００９５】このとき、符号化側のサンプリングデータ
Ｘ₀ （ｚ）およびＸ₁ （ｚ）は、下記（５）式のように
表される。

【００９６】

【数５】

【００９７】また、データＡ’（ｚ）およびＢ’（ｚ）
は、下記（６）式のように表される。

【００９８】

【数６】

【００９９】さらに、復号化側のデータＹ₀ （ｚ）およ
びＹ₁ （ｚ）は、下記（７）式のように表される。

【０１００】

【数７】

【０１０１】従って、入力信号データＸ（ｚ）と出力信
号データＹ（ｚ）の関係は、下記（８）式のように表さ
れる。

【０１０２】

【数８】

【０１０３】一般に、ＤＣＴなどの離散直交変換が行わ
れる符号化器においては、離散直交変換係数の量子化が
行われており、このとき、人間の視覚特性を考慮して高
周波数領域ほど粗く量子化されている。従って、前記
（８）式において、全体としての量子化誤差Ｑ（ｚ）＝
１／２｛（１＋ｚ）Ｑａ（ｚ² ）＋（１−ｚ）Ｑｂ（ｚ
² ）｝は、図１４（ａ）のように、高域ほど量子化誤差
が大きくなることが望ましく、例えば、Ｑ（ｚ）＝１−
１／ｚのようになれば良い。この場合に、Ｑａ（ｚ）、
Ｑｂ（ｚ）が、下記（９）式の関係を満足するときに、
Ｑ（ｚ）＝１−１／ｚになる。

【０１０４】

【数９】

【０１０５】したがって、和データＡ（ｚ）が入力され
る符号化器１５７においては、図１４（ｂ）に示すよう
に、高周波数領域ほど粗く量子化を行い、差データＢ
（ｚ）が入力される符号化器１５８においては、図１４
（ｃ）に示すように、低周波数領域ほど粗く量子化を行
うことで、出力信号Ｙ（ｚ）に付加される量子化誤差は
高域ほど大きくなる理想的なものになる。このように、
本実施の形態では、複数の符号化器における量子化誤差
を操作することにより、並列化しないシステムと等価と
なる。

【０１０６】ここで、入力信号データを２次元信号に拡
張する。入力画像データＸ（ｚ₁ ，ｚ₂ ）は、サブサン
プリングにより、サブサンプリング画像データＸ₀ （ｚ
₁ ，ｚ₂ ），Ｘ₁ （ｚ₁ ，ｚ₂ ），Ｘ₂ （ｚ₁ ，
ｚ₂ ），Ｘ₃ （ｚ₁ ，ｚ₂ ）に分割される。このサブサ
ンプリング画像データＸ₀ （ｚ₁ ，ｚ₂ ），Ｘ
₁ （ｚ₁ ，ｚ₂ ），Ｘ₂ （ｚ₁ ，ｚ₂ ），Ｘ₃ （ｚ₁ ，
ｚ₂ ）は、図２１に示すサブサンプリング画像データＡ
_ij，Ｂ_ij，Ｃ_ijおよびＤ_ijに相当する。

【０１０７】このサブサンプリング画像データＸ₀ （ｚ
₁ ，ｚ₂ ），Ｘ₁ （ｚ₁ ，ｚ₂ ），Ｘ₂ （ｚ₁ ，
ｚ₂ ），Ｘ₃ （ｚ₁ ，ｚ₂ ）から、和差画像データＡ
（ｚ₁ ，ｚ₂），Ｂ（ｚ₁ ，ｚ₂ ），Ｃ（ｚ₁ ，
ｚ₂ ），Ｄ（ｚ₁ ，ｚ₂ ）が得られる。このとき、それ
ぞれ符号化器において量子化誤差Ｑ₀ （ｚ₁ ，ｚ₂ ），
Ｑ₁ （ｚ₁ ，ｚ₂ ），Ｑ₂ （ｚ₁ ，ｚ₂ ），Ｑ
₃ （ｚ₁ ，ｚ₂ ）が付加される。最終的に出力画像デー
タＹ（ｚ₁ ，ｚ₂ ）が得られる。

【０１０８】この和差画像データ（Ａ（ｚ₁ ，ｚ₂ ），
Ｂ（ｚ₁ ，ｚ₂ ），Ｃ（ｚ₁ ，ｚ₂），Ｄ（ｚ₁ ，
ｚ₂ ））とサブサンプリング画像データ（Ｘ₀ （ｚ₁ ，
ｚ₂ ），Ｘ₁ （ｚ₁ ，ｚ₂ ），Ｘ₂ （ｚ₁ ，ｚ₂ ），Ｘ
₃ （ｚ₁ ，ｚ₂ ））との関係は、下記（１０）式のよう
に表される。

【０１０９】

【数１０】

【０１１０】また、入力画像データＸ（ｚ₁ ，ｚ₂ ）と
出力画像データＹ（ｚ₁ ，ｚ₂ ）との関係は、下記（１
１）式のように表される。

【０１１１】

【数１１】

【０１１２】ここで、量子化誤差Ｑ₀ （ｚ₁ ，ｚ₂ ），
Ｑ₁ （ｚ₁ ，ｚ₂ ），Ｑ₂ （ｚ₁ ，ｚ₂ ），Ｑ
₃ （ｚ₁ ，ｚ₂ ）は、下記（１２）式のように表され
る。この場合の全体の量子化誤差は、Ｑ（ｚ₁ ，ｚ₂ ）
＝（１−１／ｚ₁ ）（１−１／ｚ₂ ）となる。

【０１１３】

【数１２】

【０１１４】図１５は、本実施の形態の画像符号化装
置、および本実施の形態の画像符号化方法により符号化
された画像データを復号する画像復号化装置の概略構成
を示すブロック図である。同図において、１０１は高精
細画像データ、１２１は伝送される高精細画像データ１
０１を４つの小画像データに分割するサブサンプリング
画像分割器、１７１は小画像データ間の加減算を行う画
像変換器、１７２〜１７５は画像符号化器、１７６は符
号化された画像データを多重化する多重化器である。

【０１１５】また、１７７は多重化された画像データ
（符号化された画像データ）を分離する分離器、１７８
〜１８１は画像復号器、１８２は画像バッファ、１８３
は小画像データ間の演算を行い、サブサンプリング画像
データに変換する画像変換器、１３７は復号されたサブ
サンプリング画像データを合成するサブサンプリング画
像合成器、１００は画像表示装置である。

【０１１６】同図に示す符号化側において、画像変換器
１７１は、前記（１０）式における加減算の演算を行っ
ている。画像符号化器（１７２〜１７５）は、例えば、
ＭＰＥＧ２に準拠した、離散コサイン変換、動き補償お
よび可変長符号化を組み合わせたハイブリッド符号化器
を用いる。また、多重化器１７６は、例えば、時分割多
重化や周波数多重化を行い、４つの符号化された画像デ
ータを効率的に伝送する。

【０１１７】また、復号化側において、画像変換器１８
３は、前記（１０）式における加減算の逆演算を行って
いる。ここで、画像復号器（１７８〜１８１）は、対応
する画像符号化器（１７２〜１７５）と同じ量子化特性
でなければならない。さらに、画像バッファ１８２は、
まちまちに到着するビット系列を一時的に蓄え、画像変
換器１８３での計算を可能にしている。

【０１１８】図１５に示す符号化装置、および復号化装
置では、量子化特性のみを変更した汎用の画像符号化器
（１７２〜１７５）および画像復号器（１７８〜１８
１）を用いることができる。したがって、低コストかつ
Ｓ／Ｎ比対符号量の高い画像符号化伝送が可能となる。

【０１１９】ここで、画像符号化器（１７２〜１７５）
に入力される加減算が施された画像データは、例えば、
前記図７に示すように、原画像データ１０１を空間周波
数領域において帯域分割したものに相当する。

【０１２０】周波数領域において、主に、画像符号化器
１７２はＬＬ部、画像符号化器１７３はＬＨ部、画像符
号化器１７４はＨＬ部、画像符号化器１７５はＨＨ部の
処理を行っており、そのため、各画像符号化器（１７２
〜１７５）の量子化特性は、それに合わせて変更されて
いる。

【０１２１】図１６は、本実施の形態において、画像符
号化器（１７２〜１７５）に入力される加減算が施され
た分割画像データをディスプレイ上に表示した中間調画
像のの一例を示す写真である。

【０１２２】図１６（ａ）は、前記（１０）式における
第１番目の量子化誤差Ｑ₀ （ｚ₁ ，ｚ₂ ）が付加される
画像データであり、ＬＬに相当する画像データ（水平お
よび垂直成分とも低域の画像データ）である。

【０１２３】図１６（ｂ）は、前記（１０）式における
第２番目の量子化誤差Ｑ₁ （ｚ₁ ，ｚ₂ ）が付加される
画像データであり、ＨＬに相当する画像データ（水平成
分は低域、垂直成分は中高域の画像データ）である。

【０１２４】図１６（ｃ）は、前記（１０）式における
第３番目の量子化誤差Ｑ₂ （ｚ₁ ，ｚ₂ ）が付加される
画像データであり、ＬＨに相当する画像データ（水平成
分は中高域、垂直成分は低域の画像データ）である。

【０１２５】図１６（ｄ）は、前記（１０）式における
第４番目の量子化誤差Ｑ₃ （ｚ₁ ，ｚ₂ ）が付加される
画像データであり、ＨＨに相当する画像データ（水平お
よび垂直成分とも中高域の画像データ）である。

【０１２６】図１６に示す例のように、各画像内で、動
画像の動きを容易に判別することができるので、動きベ
クトルの検出は可能であり、動き補償による時間方向に
おける冗長性の圧縮も可能である。したがって、本実施
の形態は動画像データに対しても有効である。

【０１２７】また、帯域分割された画像の動きベクトル
はほとんど同じであるので、水平および垂直成分とも低
域の画像のものだけ動きベクトルを抽出し、他の分割画
像はその動きベクトルを用いることで、大幅に符号量を
削減できる。

【０１２８】このように、本実施の形態では、簡単な前
処理および後処理を行うことで、量子化特性のみを変更
した汎用の画像符号化器（１７２〜１７５）および画像
復号器（１７８〜１８１）を用いることができるため、
低コストかつＳ／Ｎ比対符号量の高い画像符号化伝送が
可能となる。

【０１２９】なお、本実施の形態では、伝送装置とし
て、多重化器１７６および分離器１７７を用いている
が、多重化せずにそのまま並列に伝送することも可能で
あり、伝送方法を多重化伝送方法に限定するものではな
い。

【０１３０】さらに、本実施の形態は、前記実施の形態
２に示すＭＰＥＧ２等に代表されるハイブリッド符号化
方法に適用可能であることは言うまでもない。

【０１３１】［実施の形態４］前記実施の形態３におい
て、サブサンプリング後に加減算された和差画像データ
Ａ（ｚ₁ ，ｚ₂ ），Ｂ（ｚ₁ ，ｚ₂ ），Ｃ（ｚ₁ ，
ｚ₂ ）およびＤ（ｚ₁ ，ｚ₂ ）の輝度帯域は元の入力画
像データＸ（ｚ₁ ，ｚ₂ ）に比して、表１のように４倍
に広がっている。そのため、本実施の形態では、和差画
像データ（Ａ（ｚ₁，ｚ₂ ），Ｂ（ｚ₁ ，ｚ₂ ），Ｃ
（ｚ₁ ，ｚ₂ ））の輝度値データを４で除算し小数点以
下を切り捨てて１／４に縮小し、このときの剰余情報ｐ
を送信するようにしたものである。

【０１３２】

【表１】

【０１３３】和差画像データＡ（ｚ₁ ，ｚ₂ ），Ｂ（ｚ
₁ ，ｚ₂ ），Ｃ（ｚ₁ ，ｚ₂ ）およびＤ（ｚ₁ ，ｚ₂ ）
の輝度値が、それぞれ４ｎ_a ＋ｍ_a ，４ｎ_b ＋ｍ_b ，４
ｎ_c＋ｍ_c ，４ｎ_d ＋ｍ_d （但しｎ_a,ｎ_b,ｎ_c,ｎ_d は整
数、ｍ_a,ｍ_b,ｍ_c,ｍ_d は０から３までの整数）と表され
るとすると、復号されたサンプリング画像データＹ
₀（ｚ₁ ，ｚ₂ ），Ｙ₁ （ｚ₁ ，ｚ₂ ），Ｙ₂ （ｚ₁ ，
ｚ₂ ）およびＹ₃ （ｚ₁ ，ｚ₂ ）の輝度値は、それぞれ
下記（１３）式のように表される。

【０１３４】

【数１３】

【０１３５】式（１３）において、（ｍ_a,ｍ_b,ｍ
_c,ｍ_d ）／４の部分は整数でなければならないため、ｍ
_a,ｍ_b,ｍ_c,ｍ_d の取り得る組み合わせは表２に示すよう
に１６パターンに限定される。

【０１３６】

【表２】

【０１３７】図１７は、本実施の形態の画像符号化装
置、および本実施の形態の画像符号化方法により符号化
された画像データを復号する画像復号化装置の概略構成
を示すブロック図である。同図において、１８４は除算
器、１８５，１８６は４つの剰余パターンから剰余情報
を照合するパターン照合器、１８７は乗加算器である。

【０１３８】図１７に示す符号化側において、除算器１
８４は、和差画像データＡ（ｚ₁ ，ｚ₂ ），Ｂ（ｚ₁ ，
ｚ₂ ），Ｃ（ｚ₁ ，ｚ₂ ）およびＤ（ｚ₁ ，ｚ₂ ）の輝
度値を４で除算し、商と剰余を出力する。パターン照合
器１８５は、表２に従って、４つの剰余パターンと剰余
情報を照合し、該当する剰余情報を出力する。画像符号
化器（１７２〜１７５）は、例えば、ＭＰＥＧ２に準拠
した、離散コサイン変換、動き補償および可変長符号化
を組み合わせたハイブリッド符号化器を用いる。また、
多重化器１７６は、例えば、時分割多重化や周波数多重
化を行い、４つの符号化された画像データを効率的に伝
送する。

【０１３９】ここで、周波数領域において、主に、画像
符号化器１７２はＬＬ部、画像符号化器１７３はＬＨ
部、画像符号化器１７４はＨＬ部、画像符号化器１７５
はＨＨ部の処理を行っており、そのため、各画像符号化
器（１７２〜１７５）の量子化特性は、それに合わせて
変更されている。多重化器１７６は、例えば、時分割多
重化や周波数多重化を行い、４つの符号化された画像デ
ータと剰余情報を効率的に伝送する。

【０１４０】また、復号化側において、パターン照合器
１８６は、表２に従って、剰余情報ｐに該当する剰余パ
ターンを出力する。乗加算器１８７は、復号された和差
画像データのそれぞれの輝度値を４倍し、剰余を加算す
る。本実施の形態でも、画像復号器（１７８〜１８１）
は対応する画像符号化器（１７２〜１７５）と同じ量子
化特性でなければならない。

【０１４１】本実施の形態においては、画像符号化器
（１７２〜１７５）における入力輝度帯域が入力画像デ
ータと同じになる。なお、本実施の形態では、伝送装置
として、多重化器１７６および分離器１７７を用いてい
るが、多重化せずにそのまま並列に伝送することも可能
であり、伝送方法を多重化伝送方法に限定するものでは
ない。

【０１４２】このように、本実施の形態では、剰余情報
ｐを送信することで、輝度帯域の狭い汎用の画像符号化
器（１７２〜１７５）および画像復号器（１７８〜１８
１）を用いることができ、高精細画像データの効率的な
符号化伝送が行うことが可能となる。この場合に、剰余
情報ｐとして、入力画像データの１画素あたり１ｂｉｔ
の情報を付加すれば良い。これは動きベクトル情報の削
減分で容易に相殺可能な量であるので、全体的な符号量
を大幅に増加させることはない。

【０１４３】さらに、本実施の形態における「輝度帯域
を減少させる」方法は、前記実施の形態１および２にも
適用可能であり、前記実施の形態１に、本実施の形態の
「輝度帯域を減少させる」方法を適用した実施の形態
を、図１８、図１９に示す。

【０１４４】なお、図１８は、前記図３に示す符号化装
置に本実施の形態の「輝度帯域を減少させる」方法を適
用した実施の形態であり、また、図１９は、前記図４に
示す復号化装置に本実施の形態の「輝度帯域を減少させ
る」方法を適用した実施の形態である。図１８および図
１９に示す各部の動作は、前記図３、図４、図１７に記
載されているものと同じである。

【０１４５】また、本実施の形態３および４では、サブ
サンプリング画像分割器１２１、画像変換器１７１、画
像符号化器（１７２〜１７５）および多重化器１７６
が、それぞれ専用のハードウェアで構成される場合につ
いて説明したが、本発明はこれに限定されるものではな
く、例えば、コンピュータのソフトウェア処理で実行す
ることが可能であることは言うまでもない。

【０１４６】以上、本発明者によってなされた発明を、
前記実施の形態に基づき具体的に説明したが、本発明
は、前記実施の形態に限定されるものではなく、その要
旨を逸脱しない範囲において種々変更可能であることは
勿論である。

【０１４７】

【発明の効果】本願において開示される発明のうち代表
的なものによって得られる効果を簡単に説明すれば、以
下のとおりである。

【０１４８】（１）本発明によれば、サブサンプリング
により高精細画像データを複数の画像データに分割し、
当該分割された複数の画像データに対してマトリックス
演算を施し符号操作を行った後に、あるいは加減算を施
した後に、それぞれ並列に符号化するようにしたので、
Ｓ／Ｎ比対符号量の高い画像符号化を行うことが可能と
なる。

【０１４９】（２）本発明によれば、汎用の画像符号化
器を利用することができるので、低コストで画像符号化
を行うことが可能となる。

【０１５０】（３）本発明によれば、サブサンプリング
により高精細画像データを複数の画像データに分割し、
当該分割された複数の画像データに対してマトリックス
演算を施した後に、あるいは加減算を施した後に、その
輝度値データを整数で除算し、剰余情報を伝送するよう
にしたので、輝度帯域の狭い汎用の画像符号化器を利用
することが可能となる。

【図面の簡単な説明】

【図１】本発明の実施の形態１の画像符号化方法の原理
を説明するための図である。

【図２】図１に示す画像符号化方法を実施する画像符号
化装置の基本的な構成を示すブロック図である。

【図３】本発明の実施の形態１の画像符号化装置の基本
的な構成を示す図である。

【図４】本実施の形態１の画像符号化方法により符号化
された画像データを復号する画像復号化装置の基本的な
構成を示す図である。

【図５】本実施の形態１において、画像符号化器に入力
されるマトリックス演算が施された画像データをディス
プレイ上に表示した中間調画像の一例を示す写真であ
る。

【図６】本実施の形態１の画像符号化装置の概略構成を
示すブロック図である。

【図７】本実施の形態１の各画像符号化器の符号化処理
における周波数領域の主成分を説明するための図であ
る。

【図８】本実施の形態１の画像符号化方法により符号化
された画像データを復号する画像復号化装置の概略構成
を示すブロック図である。

【図９】本発明の実施の形態２の画像符号化装置の概略
構成を示すブロック図である。

【図１０】本実施の形態２の画像符号化方法により符号
化された画像データを復号する画像復号化装置の概略構
成を示すブロック図である。

【図１１】ＭＰＥＧ２等に代表される、離散コサイン変
換、動き補償および可変長符号化を組み合わせたハイブ
リッド符号化方法の基本的構成を示すブロック図であ
る。

【図１２】コンピュータの一般的な構成を示すブロック
図である。

【図１３】本発明の実施の形態３の画像符号化方法の原
理を説明するための図である。

【図１４】図１３に示す画像符号化方法における量子化
誤差を説明するための図である。

【図１５】本実施の形態３の画像符号化装置、および本
実施の形態３の画像符号化方法により符号化された画像
データを復号する画像復号化装置の概略構成を示すブロ
ック図である。

【図１６】本実施の形態３において、画像符号化器に入
力される加減算が施された分割画像データをディスプレ
イ上に表示した中間調画像の一例を示す写真である。

【図１７】本発明の実施の形態４の画像符号化装置、お
よび本実施の形態４の画像符号化方法により符号化され
た画像データを復号する画像復号化装置の概略構成を示
すブロック図である。

【図１８】本実施の形態４の「輝度帯域を減少させる」
方法を、実施の形態１の符号化装置に適用した実施の形
態を示すブロック図である。

【図１９】本実施の形態４の「輝度帯域を減少させる」
方法を、実施の形態１の復号化装置に適用した実施の形
態を示すブロック図である。

【図２０】画像データを空間的に分割して、並列化した
符号化および復号化を行う場合の符号化処理および復号
化処理の一例を説明するための図である。

【図２１】画像データをサブサンプリングにより分割し
て、並列化した符号化および復号化を行う場合の符号化
処理および復号化処理の一例を説明するための図であ
る。

【図２２】画像データをサブサンプリングにより分割し
て、並列化した符号化および復号化を行う場合の符号化
処理および復号化処理の一例を説明するための図であ
る。

【図２３】図２１、図２２に示す画像データをサブサン
プリングにより分割する方法において、離散コサイン変
換（ＤＣＴ）を直交変換に用いて低域に情報を集中さ
せ、その変換係数を量子化して圧縮する場合の問題点を
説明するための図である。

【図２４】図２３における信号処理の流れを示す図であ
る。

【符号の説明】

１…画像分割器、２，８，２１〜２４，１１２，１１
４，１２３〜１２６，１７２〜１７５…画像符号化器、
３，９，２５，７２，１７６…多重化器、４，１０，２
６，７４，１７７…分離器、５，１１，２７〜３０，１
３２〜１３５，１７８〜１８１…画像復号器、６…画像
合成器、７，１５，３９，１０２，１２１…サブサンプ
リング画像分割器、１２，３７，６６，９３，１３７…
サブサンプリング画像合成器、１６、３１，４０，６
１，８７，１２２，１３６，１７１，１８３…画像変換
器、１７，３６，４１，６５，９２…マトリックス演算
部、１８〜２０，３２〜３４，４２〜４４，６２〜６
４，８８〜９０…符号制御部、３５，９１，１８２…画
像バッファ、３８…ブロック分割器、４５〜４８…離散
コサイン変換器、４９〜５２…量子化器、５３〜５６，
７９〜８２…逆量子化器、５７〜６０，８３〜８６…離
散コサイン逆変換器、６７，９４…ブロック合成器、６
８〜７１…可変長符号化器、７３，９５…予測器、７５
〜７８…可変長符号再生器、１００…画像表示装置、１
０３…データ変換器、１０４，１０５，１５７，１５８
…符号化器、１０６，１２７…伝送器、１３１…受信
器、１５１，１５３…ダウンサンプリング回路、１５２
…ｚ^-1/2素子、１５４，１５６，１６３，１６５，１６
９…加算器、１５５，１６４…反転器、１６１，１６２
…復号器、１６６，１６７…アップサンプリング回路、
１６８…ｚ素子、１７０…１／２掛算器、１８４…除算
器、１８５，１８６…パターン照合器、１８７…乗加算
器、２０１…ブロック分割部、２０２…離散コサイン変
換部（ＤＣＴ演算部）、２０３…量子化部、２０４…可
変長符号化部、２０５，２１２…逆量子化部、２０６，
２１３…離散コサイン逆変換部（逆ＤＣＴ演算部）、２
０７，２１４…ブロック合成部、２０８，２１５…予測
部、２１１…可変長符号再生部、３０１…中央処理装置
（ＣＰＵ）、３０２…主メモリ、３０３…ディスプレ
イ、３０４…入力装置、３０５…補助記憶装置、３０６
…バスライン。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 中嶋 秀樹 東京都新宿区西新宿三丁目19番２号 日 本電信電話株式会社内 (56)参考文献 特開 平６−38192（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 7/24 - 7/68

Claims (7)

(57)【特許請求の範囲】
1. 【請求項１】 サブサンプリングにより原画像データ
   を、 水平・垂直方向共に原画像データの偶数番目の画素から
   なる画像データＡ、 水平方向は原画像データの奇数番目の画素からなり、垂
   直方向は原画像データの偶数番目の画素からなる画像デ
   ータＢ 、水平方向は原画像データの偶数番目の画素からなり、垂
   直方向は原画像データの奇数番目の画素からなる画像デ
   ータＣ 、および、水平・垂直方向共に原画像データの奇数番目の
   画素からなる画像データＤの４つ の画像データに分割す
   るステップと、 前記サブサンプリングにより分割された４つの画像デー
   タの各画素毎に下記の演算を施すことによって、水平・垂直方向共に低域の空間周波数成分を有する画像
   データＡ’ 、水平方向は低域の空間周波数成分を有し、垂直方向は中
   高域の空間周波数成分を有する画像データＢ’ 、水平方向は中高域の空間周波数成分を有し、垂直方向は
   低域の空間周波数成分を有する画像データＣ’ 、および、水平・垂直方向共に中高域の空間周波数成分を
   有する画像データＤ’の４つの画像データを得る演算 ス
   テップと、 前記演算ステップで得られた４つの画像データをそれぞ
   れ並列に離散コサイン変換し、当該離散コサイン変換で
   得られた離散コサイン係数を量子化することにより符号
   化するステップとを具備することを特徴とする画像符号
   化方法。ａ’＝ａ＋ｂ＋ｃ＋ｄ、 ｂ’＝（−１） ^ｌ ・（ａ＋ｂ−ｃ−ｄ） 、ｃ’＝（−１） ^ｋ ・（ａ−ｂ＋ｃ−ｄ） 、ｄ’＝（−１） ^ｌ ・（−１） ^ｋ ・（ａ−ｂ−ｃ＋ｄ） 、但し、ａ＝Ａ（ｋ，ｌ）、ｂ＝Ｂ（ｋ，ｌ）、ｃ＝Ｃ
   （ｋ，ｌ）、ｄ＝Ｄ（ｋ，ｌ）、ａ’＝Ａ’（ｋ，
   ｌ）、ｂ’＝Ｂ’（ｋ，ｌ）、ｃ’＝Ｃ’（ｋ，ｌ）、
   ｄ’＝Ｄ’（ｋ，ｌ）、 Ａ（ｋ，ｌ）、Ｂ（ｋ，ｌ）、Ｃ（ｋ，ｌ）、Ｄ（ｋ，
   ｌ）、Ａ’（ｋ，ｌ）、Ｂ’（ｋ，ｌ）、Ｃ’（ｋ，
   ｌ）、Ｄ’（ｋ，ｌ）は、それぞれ画像Ａ、Ｂ、Ｃ、
   Ｄ、Ａ’、Ｂ’、Ｃ’、Ｄ’の位置（ｋ、ｌ）における
   画素値、 ｋ（＝０，１，．．，Ｍ／２−１）は水平方向の画素の
   番号、 ｌ（＝０，１，．．，Ｎ／２−１）は垂直方向の画素の
   番号、 Ｍは原画像データの水平方向の画素数、 Ｎは原画像データの垂直方向の画素数。
2. 【請求項２】 サブサンプリングにより原画像データ
   を、 水平・垂直方向共に原画像データの偶数番目の画素から
   なる画像データＡ、 水平方向は原画像データの奇数番目の画素からなり、垂
   直方向は原画像データの偶数番目の画素からなる画像デ
   ータＢ、 水平方向は原画像データの偶数番目の画素からなり、垂
   直方向は原画像データの奇数番目の画素からなる画像デ
   ータＣ、 および、水平・垂直方向共に原画像データの奇数番目の
   画素からなる画像データＤの４つ の画像データに分割す
   るステップと、 前記サブサンプリングにより分割された４つの画像デー
   タの各画素毎に下記の加減算を施すことによって、 水平・垂直方向共に低域の空間周波数成分を有する画像
   データＡ’ 、水平方向は低域の空間周波数成分を有し、垂直方向は中
   高域の空間周波数成分を有する画像データＢ’ 、水平方向は中高域の空間周波数成分を有し、垂直方向は
   低域の空間周波数成分を有する画像データＣ’ 、および、水平・垂直方向共に中高域の空間周波数成分を
   有する画像データＤ’の４つの画像データを得る加減算
   ステップと、 前記加減算ステップで得られた４つの画像データをそれ
   ぞれ並列に離散コサイン変換し、当該離散コサイン変換
   で得られた離散コサイン係数を量子化することにより符
   号化するステップとを具備することを特徴とする画像符
   号化方法。ａ’＝ａ＋ｂ＋ｃ＋ｄ、 ｂ’＝ａ＋ｂ−ｃ−ｄ 、ｃ’＝ａ−ｂ＋ｃ−ｄ 、ｄ’＝ａ−ｂ−ｃ＋ｄ 、但し、ａ＝Ａ（ｋ，ｌ）、ｂ＝Ｂ（ｋ，ｌ）、ｃ＝Ｃ
   （ｋ，ｌ）、ｄ＝Ｄ（ｋ，ｌ）、ａ’＝Ａ’（ｋ，
   ｌ）、ｂ’＝Ｂ’（ｋ，ｌ）、ｃ’＝Ｃ’（ｋ，ｌ）、
   ｄ’＝Ｄ’（ｋ，ｌ）、 Ａ（ｋ，ｌ）、Ｂ（ｋ，ｌ）、Ｃ（ｋ，ｌ）、Ｄ（ｋ，
   ｌ）、Ａ’（ｋ，ｌ）、Ｂ’（ｋ，ｌ）、Ｃ’（ｋ，
   ｌ）、Ｄ’（ｋ，ｌ）は、それぞれ画像Ａ、Ｂ、Ｃ、
   Ｄ、Ａ’、Ｂ’、Ｃ’、Ｄ’の位置（ｋ、ｌ）における
   画素値、 ｋ（＝０，１，．．，Ｍ／２−１）は水平方向の画素の
   番号、 ｌ（＝０，１，．．，Ｎ／２−１）は垂直方向の画素の
   番号、 Ｍは原画像データの水平方向の画素数、 Ｎは原画像データの垂直方向の画素数。
3. 【請求項３】 前記それぞれ並列に符号化される４つの
   画像データの輝度値データを任意の整数で除算するステ
   ップと、 前記除算により得られた４つの画像データの輝度値デー
   タの各剰余値を複数の剰余値パターンと照合して、前記
   除算により得られた４つの画像データの輝度値データの
   各剰余値を表す剰余情報を生成するステップと、 前記剰余情報と前記符号化された４つの画像データとを
   多重化するステップとを、さらに有し、 前記符号化するステップは、前記除算により得られた４
   つの画像データにおける輝度値データの商の値を符号化
   するステップであることを特徴とする請求項１または請
   求項２に記載された画像符号化方法。
4. 【請求項４】 サブサンプリングにより原画像データ
   を、 水平・垂直方向共に原画像データの偶数番目の画素から
   なる画像データＡ、 水平方向は原画像データの奇数番目の画素からなり、垂
   直方向は原画像データの偶数番目の画素からなる画像デ
   ータＢ 、水平方向は原画像データの偶数番目の画素からなり、垂
   直方向は原画像データの奇数番目の画素からなる画像デ
   ータＣ 、および、水平・垂直方向共に原画像データの奇数番目の
   画素からなる画像デー タＤの４つ の画像データに分割す
   るサブサンプリング手段と、 前記サブサンプリング手段により分割された４つの画像
   データの各画素毎に下記の演算を施すことによって、水平・垂直方向共に低域の空間周波数成分を有する画像
   データＡ’ 、水平方向は低域の空間周波数成分を有し、垂直方向は中
   高域の空間周波数成分を有する画像データＢ’ 、水平方向は中高域の空間周波数成分を有し、垂直方向は
   低域の空間周波数成分を有する画像データＣ’ 、および、水平・垂直方向共に中高域の空間周波数成分を
   有する画像データＤ’の４つの画像データを得る演算手
   段 と、 前記演算手段で得られた４つの画像データが並列に入力
   され、該入力を離散コサイン変換し、当該離散コサイン
   変換で得られた離散コサイン係数を量子化することによ
   り符号化する４つの画像符号化器とを具備することを特
   徴とする画像符号化装置。ａ’＝ａ＋ｂ＋ｃ＋ｄ、 ｂ’＝（−１） ^ｌ ・（ａ＋ｂ−ｃ−ｄ） 、ｃ’＝（−１） ^ｋ ・（ａ−ｂ＋ｃ−ｄ） 、ｄ’＝（−１） ^ｌ ・（−１） ^ｋ ・（ａ−ｂ−ｃ＋ｄ） 、但し、ａ＝Ａ（ｋ，ｌ）、ｂ＝Ｂ（ｋ，ｌ）、ｃ＝Ｃ
   （ｋ，ｌ）、ｄ＝Ｄ（ｋ，ｌ）、ａ’＝Ａ’（ｋ，
   ｌ）、ｂ’＝Ｂ’（ｋ，ｌ）、ｃ’＝Ｃ’（ｋ，ｌ）、
   ｄ’＝Ｄ’（ｋ，ｌ）、 Ａ（ｋ，ｌ）、Ｂ（ｋ，ｌ）、Ｃ（ｋ，ｌ）、Ｄ（ｋ，
   ｌ）、Ａ’（ｋ，ｌ）、Ｂ’（ｋ，ｌ）、Ｃ’（ｋ，
   ｌ）、Ｄ’（ｋ，ｌ）は、それぞれ画像Ａ、Ｂ、Ｃ、
   Ｄ、Ａ’、Ｂ’、Ｃ’、Ｄ’の位置（ｋ、ｌ）における
   画素値、 ｋ（＝０，１，．．，Ｍ／２−１）は水平方向の画素の
   番号、 ｌ（＝０，１，．．，Ｎ／２−１）は垂直方向の画素の
   番号、 Ｍは原画像データの水平方向の画素数、 Ｎは原画像データの垂直方向の画素数。
5. 【請求項５】 サブサンプリングにより原画像データ
   を、 水平・垂直方向共に原画像データの偶数番目の画素から
   なる画像データＡ、 水平方向は原画像データの奇数番目の画素からなり、垂
   直方向は原画像データの偶数番目の画素からなる画像デ
   ータＢ、 水平方向は原画像データの偶数番目の画素からなり、垂
   直方向は原画像データの奇数番目の画素からなる画像デ
   ータＣ、 および、水平・垂直方向共に原画像データの奇数番目の
   画素からなる画像データＤの４ つの画像データに分割す
   るサブサンプリング手段と、 前記サブサンプリング手段により分割された４つの画像
   データの各画素毎に下記の加減算を施すことによって、 水平・垂直方向共に低域の空間周波数成分を有する画像
   データＡ’ 、水平方向は低域の空間周波数成分を有し、垂直方向は中
   高域の空間周波数成分を有する画像データＢ’ 、水平方向は中高域の空間周波数成分を有し、垂直方向は
   低域の空間周波数成分を有する画像データＣ’ 、および、水平・垂直方向共に中高域の空間周波数成分を
   有する画像データＤ’の４つの画像データを得る 加減算
   手段と、 前記加減算手段で得られた４つの画像データが並列に入
   力され、該入力を離散コサイン変換し、当該離散コサイ
   ン変換で得られた離散コサイン係数を量子化することに
   より符号化する４つの画像符号化器とを具備することを
   特徴とする画像符号化装置。ａ’＝ａ＋ｂ＋ｃ＋ｄ、 ｂ’＝ａ＋ｂ−ｃ−ｄ 、ｃ’＝ａ−ｂ＋ｃ−ｄ 、ｄ’＝ａ−ｂ−ｃ＋ｄ 、但し、ａ＝Ａ（ｋ，ｌ）、ｂ＝Ｂ（ｋ，ｌ）、ｃ＝Ｃ
   （ｋ，ｌ）、ｄ＝Ｄ（ｋ，ｌ）、ａ’＝Ａ’（ｋ，
   ｌ）、ｂ’＝Ｂ’（ｋ，ｌ）、ｃ’＝Ｃ’（ｋ，ｌ）、
   ｄ’＝Ｄ’（ｋ，ｌ）、 Ａ（ｋ，ｌ）、Ｂ（ｋ，ｌ）、Ｃ（ｋ，ｌ）、Ｄ（ｋ，
   ｌ）、Ａ’（ｋ，ｌ）、Ｂ’（ｋ，ｌ）、Ｃ’（ｋ，
   ｌ）、Ｄ’（ｋ，ｌ）は、それぞれ画像Ａ、Ｂ、 Ｃ、
   Ｄ、Ａ’、Ｂ’、Ｃ’、Ｄ’の位置（ｋ、ｌ）における
   画素値、 ｋ（＝０，１，．．，Ｍ／２−１）は水平方向の画素の
   番号、 ｌ（＝０，１，．．，Ｎ／２−１）は垂直方向の画素の
   番号、 Ｍは原画像データの水平方向の画素数、 Ｎは原画像データの垂直方向の画素数。
6. 【請求項６】 前記４つの画像符号化器に入力される４
   つの画像データの輝度値データを任意の整数で除算する
   除算手段と、 前記除算手段により得られた４つの画像データの輝度値
   データの各剰余値を複数の剰余値パターンと照合して、
   前記除算手段により得られた４つの画像データの輝度値
   データの各剰余値を表す剰余情報を生成する剰余情報生
   成手段と、 前記剰余情報生成手段で生成された剰余情報と前記４つ
   の画像符号化器により符号化された４つの画像データと
   を多重化する多重化手段とを、さらに具備し、 前記４つの画像符号化器は、前記除算手段により得られ
   た４つの画像データにおける輝度値データの商の値を符
   号化することを特徴とする請求項４または請求項５に記
   載された画像符号化装置。
7. 【請求項７】 請求項１ないし請求項３のいずれか１項
   に記載の画像符号化方法におけるステップをコンピュー
   タに実行させるためのプログラムとし、前記プログラムを前記コンピュータで読取り可能な記録
   媒体に記録したことを特徴とする画像符号化プログラム
   を記録した記録媒体 。