JPH09163377A - 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法、並びに記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 復号画像の画質の低下を抑えながら、圧縮率
の飛躍的な向上を図る。 【解決手段】 補間器７からは、原画像の特徴点に基づ
いて再構成された再構成画像が出力される。演算器１０
には、この再構成画像と、原画像が供給されており、そ
こでは、原画像と再構成画像との差分が演算されること
により、差分画像が生成される。この差分画像は、差分
符号化回路１１に供給される。差分符号化回路１１で
は、自己回帰モデルを用いて、差分画像が解析され、そ
の差分画像を生成するためのパラメータ（線形予測係数
および分散）が算出される。さらに、差分符号化回路１
１では、そのパラメータが量子化されるなどして符号化
されて出力される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像符号化装置お
よび画像符号化方法、画像復号化装置および画像復号化
方法、並びに記録媒体に関する。特に、画像を、その特
徴点を検出して符号化する場合などに用いて好適な画像
符号化装置および画像符号化方法、画像復号化装置およ
び画像復号化方法、並びに記録媒体に関する。

【０００２】

【従来の技術】画像の符号化方式には、大きく分けて、
画像を画素単位で扱う符号化方式と、ブロック単位で扱
う符号化方式とがある。

【０００３】画像を画素単位で扱う符号化方式として
は、例えば予測符号化方式などがある。

【０００４】また、画像をブロック単位で扱う符号化方
式には、ＤＣＴ（離散コサイン変換）などの直交変換符
号化方式、ウェーブレット変換などを用いるサブバンド
符号化に代表される帯域分割方式、さらには、その帯域
分割された画像をブロックに分割して扱う符号化方式な
どがある（以下、適宜、これらをまとめてブロック符号
化方式という）。

【０００５】予測符号化方式については、装置化が容易
である一方、高い圧縮率を得ようとすると、画質の劣化
が顕著になる欠点がある。また、ブロック符号化方式に
ついては、各ブロックに対して、適切な量子化を行うこ
とによって、高い圧縮率を設定しても、比較的高画質の
画像を得ることができる一方、圧縮率をさらに高くする
と、ブロック歪を始めとする視覚上好ましくない影響が
顕著になる欠点がある。

【０００６】そこで、高圧縮率下でも、視覚上の妨害に
なるような歪が顕著にならない符号化方式として、画像
の構造の特徴的な点（例えば、物体の輪郭を構成する点
など）である特徴点を抽出（検出）し、その特徴点に基
づいて、画像を効率的に符号化する符号化方式（画像の
構造点検出による構造抽出符号化方式）がある。

【０００７】図８は、そのような符号化方式により画像
の符号化を行う、従来の画像符号化装置の一例の構成を
示している。符号化すべき画像データ（ディジタルデー
タ）は、雑音を除去するための平滑フィルタなどで構成
される前フィルタ１に入力される。前フィルタ１では、
画像データから雑音が除去され、さらに、後段の２次元
特徴点検出回路２で特徴点を検出するために必要な処理
が施された後、２次元特徴点検出回路２、量子化器４、
および演算器１０に出力される。

【０００８】２次元特徴点検出回路２では、前フィルタ
１からの画像データから、特徴点が検出される。そし
て、２次元特徴点検出回路２は、画像を構成する画素
を、例えばいわゆるラインスキャン順に、順次注目画素
とし、その注目画素が特徴点である場合、値が１の特徴
点データを出力し、そうでないときは、値が０の特徴点
データを出力する。この特徴点データは、チェーン構成
回路３に供給される。

【０００９】チェーン構成回路３は、２次元特徴点検出
回路２から１フレーム分の特徴点データを受信すると、
その特徴点データに基づいて、チェーン符号化を行う。
即ち、チェーン構成回路３は、特徴点データが１の、あ
る画素、つまり、ある特徴点を始点とし、それに隣接す
る特徴点を検出する。さらに、いま検出した特徴点に隣
接する特徴点であって、まだ検出されていないもの（以
下、適宜、未検出隣接特徴点という）を検出し、以下、
同様の処理を、未検出隣接特徴点を検出することができ
なくなるまで行う。チェーン構成回路３は、このように
して、一続きになっている特徴点、即ち、チェーンを検
出し、そのチェーンを構成する特徴点の座標をリストに
したもの（以下、適宜、特徴点リストという）を生成す
る。

【００１０】チェーン構成回路３は、１フレームの画像
データに存在するすべてのチェーンについての特徴点リ
ストを構成し、それを、振幅値決定回路５、補間器７、
およびマルチプレクサ（ＭＵＸ）１２に出力する。

【００１１】一方、量子化器４では、前フィルタ１から
の画像データが量子化され、その結果得られる量子化値
は、振幅値決定回路５に出力される。振幅値決定回路５
は、量子化器４から供給される量子化値のうち、チェー
ン構成回路３からの特徴点リストに記述されている特徴
点についてのもの（以下、適宜、特徴点量子化値とい
う）のみを選択し、逆量子化器６およびマルチプレクサ
１２に出力する。

【００１２】逆量子化器６では、特徴点量子化値が逆量
子化され、その結果得られる特徴点の画素値は、補間器
７に出力される。補間器７では、特徴点と、その特徴点
における画素値に基づいて、元の画像が再構成される。
即ち、補間器７では、チェーン構成回路３からの特徴点
リストに基づいて、特徴点の位置に、逆量子化器６から
の、対応する画像データ（画素値）が配置される。さら
に、補間器７では、特徴点以外の点（画素）についての
画素値が、その点に近接する特徴点の画素値を用い、例
えば拡散フィルタリングや線形補間などの方法によって
補間される。補間器７による補間の結果得られる画像
（以下、適宜、再構成画像という）は、演算器１０に出
力される。

【００１３】ここで、この再構成画像は、後述する図９
の画像復号化装置における補間器３４の補間処理により
得られるものと同一のものである。

【００１４】演算器１０では、元の画像データと、補間
器７からの再構成画像との差分が演算され、これにより
得られる差分画像が、差分符号化回路５０に供給され
る。

【００１５】チェーン構成回路３が出力する特徴点リス
トは、振幅値決定回路５、補間器７、およびマルチプレ
クサ１２の他、領域分割回路８にも供給されている。領
域分割回路８は、チェーン構成回路３からの特徴点リス
トに基づいて、符号化すべき画像を、所定の領域に分割
する。即ち、領域分割回路８では、例えばスネークアル
ゴリズムなどにしたがって、画像が、チェーン構成回路
３からの特徴点リストに記述されている特徴点で囲まれ
る領域に分割される。さらに、領域分割回路８は、特徴
点で囲まれる領域（以下、適宜、テクスチャ領域とい
う）を構成する画素に対応するフレームメモリ９のアド
レスに、各テクスチャ領域ごとにユニークな番号（この
番号は、テクスチャ領域を識別するためのものなので、
以下、適宜、領域番号という）を記憶させる。

【００１６】なお、領域分割回路８では、画枠は、必要
に応じて、特徴点を構成するものとして扱われる。

【００１７】差分符号化回路５０では、演算器１０から
の差分画像が符号化される。即ち、演算器１０からの差
分画像は、変換回路５１および量子化ステップ決定回路
５２に入力される。変換回路５１では、差分画像が、例
えばウェーブレット変換されることによりサブバンド符
号化などされ、その結果得られる変換係数が、量子化器
５３に出力される。

【００１８】一方、量子化ステップ決定回路５２は、フ
レームメモリ５２を参照することで、テクスチャ領域を
認識し、各テクスチャ領域の画素値（差分画像の画素
値）の分散を、演算器１０から供給される差分画像を用
いて計算する。そして、その分散に基づいて、各テクス
チャ領域に対応する変換係数を量子化する際の量子化ス
テップサイズが決定される。

【００１９】ここで、差分画像は、元の画像データか
ら、再構成画像を減算したもの、即ち、元の画像から、
例えば物体の輪郭部分（エッジ部分）およびその付近の
部分などを取り除いたものとなっているため、各テクス
チャ領域ごとに、比較的一様な画像となっている。従っ
て、各テクスチャ領域の分散は、それほど大きな値には
ならない。

【００２０】量子化器５３は、変換回路５１から供給さ
れる変換係数を、量子化ステップ決定回路５２から供給
される量子化ステップサイズにしたがって、各テクスチ
ャ領域単位で量子化する。その量子化結果は、ＶＬＣ回
路（可変長符号化回路）５４において、例えばハフマン
符号化と、ゼロのランレングス符号化とを組み合わせた
可変長符号化などされ、マルチプレクサ（ＭＵＸ）５５
に出力される。マルチプレクサ５５には、ＶＬＣ回路５
４から可変長符号化結果（以下、適宜、可変長符号化デ
ータという）が供給される他、量子化ステップ決定回路
５２で決定された量子化ステップサイズも供給されるよ
うになされている。マルチプレクサ５５では、ＶＬＣ回
路５４の出力と、量子化ステップサイズとが多重化さ
れ、マルチプレクサ１２に出力される。

【００２１】マルチプレクサ１２は、チェーン構成回路
３からの特徴点リスト、振幅値決定回路５からの特徴点
量子化値、およびマルチプレクサ５５の出力を多重化
し、その結果得られる多重化データを、バッファメモリ
１３に出力する。バッファメモリ１３では、マルチプレ
クサ１２からの多重化データが一時記憶され、これによ
りデータ量が平滑化された後、伝送路を介して伝送さ
れ、あるいは図示せぬ記録媒体に記録される。

【００２２】次に、図９は、図８の画像符号化装置で符
号化された画像を復号化する画像復号化装置の一例の構
成を示している。図８の画像符号化装置で符号化された
データは、バッファメモリ３１に一旦記憶され、これに
よりデータ量が平滑化された後、デマルチプレクサ（Ｄ
ＭＵＸ）３２に出力される。デマルチプレクサ３２は、
入力されたデータから、特徴点リストおよび特徴点量子
化値を分離し、特徴点リストは、補間器３４および領域
分割回路３５に、特徴点量子化値は、逆量子化器３３に
それぞれ出力する。さらに、デマルチプレクサ３２は、
残ったデータを、差分復号化回路６０に出力する。

【００２３】逆量子化器３３では、図８の逆量子化器６
における場合と同様に、特徴点量子化値が逆量子化さ
れ、その結果得られる特徴点における画素値が補間器３
４に出力される。補間器３４では、デマルチプレクサ３
２からの特徴点リストおよび逆量子化器３３からの特徴
点の画素値に基づいて、図８の補間器７における場合と
同様にして補間が行われることにより、再構成画像が生
成され、演算器３８に出力される。

【００２４】同時に、領域分割回路３５では、図８の領
域分割回路８における場合と同様にして、特徴点リスト
に基づいて、画像が、特徴点で囲まれる領域（テクスチ
ャ領域）に分割される。さらに、領域分割回路３５は、
図８のフレームメモリ９と同様に構成されるフレームメ
モリ３６に、やはり領域分割回路８における場合と同様
にして、領域番号を記憶させる。

【００２５】一方、差分復号化回路６０では、差分画像
が復号化される。即ち、デマルチプレクサ３２の出力
は、デマルチプレクサ（ＤＭＵＸ）６１に供給され、そ
こで、可変長符号化データと、量子化ステップサイズと
に分離される。そして、可変長符号化データはＩＶＬＣ
回路（可変長復号化回路）６２に、量子化ステップサイ
ズは逆量子化器６３にそれぞれ出力される。

【００２６】ＩＶＬＣ回路６２では、可変長符号化デー
タが可変長復号化される。その結果得られる、量子化さ
れた変換係数は、逆量子化器６３に供給される。逆量子
化器６３は、フレームメモリ３６を参照することで、テ
クスチャ領域を認識し、さらに、各テクスチャ領域の変
換係数を逆量子化するための量子化ステップサイズを、
デマルチプレクサ６１から供給される量子化ステップサ
イズの中から選択する。そして、各テクスチャ領域の変
換係数を、選択した量子化ステップサイズにしたがって
逆量子化し、その結果得られる変換係数を逆変換回路６
４に出力する。逆変換回路６４は、逆量子化器６３から
の変換係数に対し、図８の変換回路５１とは逆の変換処
理を施し、即ち、ここでは、逆ウェーブレット変換を施
し、これにより、差分画像を復号する。この差分画像
は、演算器３８に出力される。

【００２７】演算器３８では、補間器３４からの再構成
画像と、差分復号化回路６０（逆変換回路６４）からの
差分画像とが加算され、これにより、元の画像が復号さ
れて出力される。

【００２８】

【発明が解決しようとする課題】ところで、差分画像
は、各テクスチャ領域単位で見れば、上述したように、
比較的一様な画像（変化の少ない画像）となっており、
見た目には、ランダム性の強い模様などのようになって
いる。従って、このような差分画像については、それほ
ど的確に復元しなくても、復号画像の主観的画質（見た
目の画質）に、それほど大きな影響を与えない。

【００２９】そこで、差分画像に割り当てるビットを低
下させることで、復号画像の画質の低下を抑えながら、
圧縮率の向上を図ることができる。

【００３０】しかしながら、従来では、このような差分
画像を符号化する差分符号化回路５０におけるＶＬＣ回
路５４において、例えば１つのテクスチャ領域について
は、そのテクスチャ領域を構成する画素の画素数に対応
するデータ量の変換係数が可変長符号化されるようにな
されていたため、上述のように、ハフマン符号化とラン
レングス符号化とを組み合わせても、ある程度の圧縮率
を得ることはできるが、それ以上の圧縮率を、復号画像
の画質の低下を抑えながら得るのは困難であった。

【００３１】本発明は、このような状況に鑑みてなされ
たものであり、復号画像の画質の低下を抑えながら、圧
縮率の飛躍的な向上を図ることができるようにするもの
である。

【００３２】

【課題を解決するための手段】請求項１に記載の画像符
号化装置は、差分画像を生成するためのパラメータを算
出するパラメータ算出手段と、パラメータを符号化する
符号化手段とを備えることを特徴とする。

【００３３】請求項５に記載の画像符号化方法は、差分
画像を生成するためのパラメータを算出して符号化する
ことを特徴とする。

【００３４】請求項６に記載の画像復号化装置は、伝送
データから、差分画像を生成するためのパラメータを分
離する分離手段と、パラメータに基づいて、差分画像を
生成する生成手段とを備えることを特徴とする。

【００３５】請求項１０に記載の画像復号化方法は、伝
送データから、差分画像を生成するためのパラメータを
分離し、そのパラメータに基づいて、差分画像を生成す
ることを特徴とする。

【００３６】請求項１１に記載の記録媒体は、画像と、
その画像の特徴点に基づいて再構成された再構成画像と
の差分画像を生成するためのパラメータを符号化したも
のが少なくとも記録されていることを特徴とする。

【００３７】請求項１に記載の画像符号化装置において
は、パラメータ算出手段は、差分画像を生成するための
パラメータを算出し、符号化手段は、パラメータを符号
化するようになされている。

【００３８】請求項５に記載の画像符号化方法において
は、差分画像を生成するためのパラメータを算出して符
号化するようになされている。

【００３９】請求項６に記載の画像復号化装置において
は、分離手段は、伝送データから、差分画像を生成する
ためのパラメータを分離し、生成手段は、パラメータに
基づいて、差分画像を生成するようになされている。

【００４０】請求項１０に記載の画像復号化方法におい
ては、伝送データから、差分画像を生成するためのパラ
メータを分離し、そのパラメータに基づいて、差分画像
を生成するようになされている。

【００４１】請求項１１に記載の記録媒体には、画像
と、その画像の特徴点に基づいて再構成された再構成画
像との差分画像を生成するためのパラメータを符号化し
たものが少なくとも記録されている。

【００４２】

【発明の実施の形態】以下に、本発明の実施例を説明す
るが、その前に、特許請求の範囲に記載の発明の各手段
と以下の実施例との対応関係を明らかにするために、各
手段の後の括弧内に、対応する実施例（但し、一例）を
付加して、本発明の特徴を記述すると、次のようにな
る。

【００４３】即ち、請求項１に記載の画像符号化装置
は、画像と、その画像の特徴点に基づいて再構成された
再構成画像との差分画像を符号化する画像符号化装置で
あって、差分画像を生成するためのパラメータを算出す
るパラメータ算出手段（例えば、図３に示す最小２乗法
計算回路２２および誤差２乗平均計算回路２３など）
と、パラメータを符号化する符号化手段（量子化器２４
および２５など）とを備えることを特徴とする。

【００４４】請求項４に記載の画像符号化装置は、画像
を、所定の領域に分割する分割手段（例えば、図１に示
す領域分割回路８など）をさらに備え、算出手段が、パ
ラメータを、領域ごとに算出することを特徴とする。

【００４５】請求項６に記載の画像復号化装置は、画像
と、その画像の特徴点に基づいて再構成された再構成画
像との差分画像を復号化する画像復号化装置であって、
伝送データから、差分画像を生成するためのパラメータ
を分離する分離手段（例えば、図４に示すデマルチプレ
クサ３２など）と、パラメータに基づいて、差分画像を
生成する生成手段（例えば、図５に示す線形和計算回路
４４、白色雑音発生回路４５、フレームメモリ４６、お
よび演算器４７など）とを備えることを特徴とする。

【００４６】なお、勿論この記載は、各手段を上記した
ものに限定することを意味するものではない。

【００４７】図１は、本発明を適用した画像符号化装置
の一実施例の構成を示している。なお、図中、図８にお
ける場合と対応する部分については、同一の符号を付し
てあり、以下では、その説明は、適宜省略する。即ち、
この画像符号化装置は、差分符号化回路５０に代えて、
差分符号化回路１１が設けられている他は、図８の画像
符号化装置と同様に構成されている。

【００４８】そこで、差分符号化回路１１の詳細につい
て説明するが、その前に、その処理の概要について説明
する。

【００４９】差分符号化回路１１では、差分画像を生成
するための、例えば数学モデルのパラメータが算出され
るようになされている。即ち、差分符号化回路１１は、
数学モデルのうちの、例えば自己回帰モデル（ＡＲ（Au
to-Regressive）モデル）に差分画像を当てはめて解析
し、その差分画像を生成するためのパラメータを算出す
るようになされている。

【００５０】ＡＲモデルは、例えばある時系列のデータ
がある場合に、現在のデータが、それより所定の時間だ
け前までにあるデータの重み付き線形和に白色雑音を加
えて与えられるとするもので、例えば音声処理の分野な
どで良く用いられている。

【００５１】ここでは、差分画像の生成過程が、ＡＲモ
デル（自己回帰過程）で近似することができるものとす
る（このように仮定しても問題がないことについては、
後述する）。

【００５２】即ち、この場合、注目画素の画素値は、例
えば、その周辺領域に位置する画素の画素値の重み付き
線形和に白色雑音を加えることで得ることができる。こ
こで、周辺領域は、例えば図２に斜線を付して示すよう
に、画像を、いわゆるラインスキャン順にスキャンした
場合に、注目画素よりも先にスキャンされる画素で構成
される領域などとする。但し、周辺領域は、これに限定
されるものではない。

【００５３】いま、画像の画素の座標を、（ｉ，ｊ）と
するとともに、その周辺領域を、Ｎとする。さらに、周
辺領域Ｎに属する画素の座標の、注目画素の座標（ｉ，
ｊ）からのオフセットを、（ｐ，ｑ）とし、座標（ｉ＋
ｐ，ｊ＋ｑ）に位置する画素の、注目画素に対する重み
（パラメータ）を、ａ（ｐ，ｑ）（以下、適宜、線形予
測係数という）とする。この場合、ＡＲモデルによれ
ば、注目画素の画素値ｆ（ｉ，ｊ）は、式（１）で与え
られる。

【００５４】

【数１】 ・・・（１） 但し、ｎ（ｉ，ｊ）は、平均値が０で、分散（パラメー
タ）が所定の値ｖの白色雑音を表す。

【００５５】従って、ＡＲモデルによれば、注目画素の
画素値ｆ（ｉ，ｊ）は、線形予測係数ａ（ｐ，ｑ）およ
び分散ｖが与えられれば、周辺領域Ｎの画素値から得る
ことができる。

【００５６】そこで、差分画像が、ＡＲモデルにより生
成されるものとして、その解析を行い、線形予測係数ａ
（ｐ，ｑ）および分散ｖを求める。この場合、線形予測
係数ａ（ｐ，ｑ）は、式（２）で与えられる予測誤差ｅ
（ｉ，ｊ）の、例えば２乗平均値を最小にすることで求
めることができる。

【００５７】

【数２】 ・・・（２）

【００５８】さらに、分散ｖは、線形予測係数ａ（ｐ，
ｑ）を求めた後、その線形予測係数ａ（ｐ，ｑ）によっ
て与えられる式（２）の予測誤差ｅ（ｉ，ｊ）の２乗平
均によって与えられる。

【００５９】図１の差分符号化回路１１では、差分画像
について、各テクスチャ領域ごとに、以上のような線形
予測係数ａ（ｐ，ｑ）と、予測誤差ｅ（ｉ，ｊ）が求め
られるようになされている。

【００６０】即ち、図３は、図１の差分符号化回路１１
の構成例を示している。演算器１０からの差分画像は、
フレームメモリ２１に供給されて記憶される。フレーム
メモリ２１に１フレーム分の差分画像が記憶されると、
最小２乗法計算回路２２は、フレームメモリ９を参照す
ることで、テクスチャ領域を認識する。そして、各テク
スチャ領域ごとに、式（２）で与えられる予測誤差ｅ
（ｉ，ｊ）の２乗平均値を最小にする線形予測係数ａ
（ｐ，ｑ）を、例えば最小２乗法などにしたがって求め
る。即ち、そのテクスチャ領域を構成する画素を、例え
ばラインスキャン順に注目画素として、式（２）に示し
た予測誤差ｅ（ｉ，ｊ）が求められ、各テクスチャ領域
について、予測誤差ｅ（ｉ，ｊ）の２乗和が求められ
る。さらに、その２乗和が、ａ（ｐ，ｑ）によって偏微
分され、ａ（ｐ，ｑ）それぞれについての偏微分結果を
０とおいて得られる方程式（いわゆるＹｕｌｅ−Ｗａｌ
ｋｅｒの方程式）が解かれる。

【００６１】以上のようにして、各テクスチャ領域ごと
に、線形予測係数ａ（ｐ，ｑ）が得られる。

【００６２】なお、線形予測係数ａ（ｐ，ｑ）は、それ
を求めるのに用いた数の画素数だけ得られる。従って、
注目画素の周辺領域を、例えば図２に示すように、１０
の画素で構成されるように設定した場合、線形予測係数
ａ（ｐ，ｑ）は、１０だけ得られることになる。

【００６３】また、例えば図２に示すように周辺領域を
設定し、注目領域（注目画素が属するテクスチャ領域）
を構成するすべての画素を注目画素として予測誤差ｅ
（ｉ，ｊ）を計算する場合、注目画素の周辺領域が、注
目領域からはみ出すことがある。このような場合、その
まま処理を行っても良いが、そのようにすると、注目画
素の画素値を線形予測するのに、注目領域にない画素の
画素値が用いられることになる。

【００６４】しかしながら、各テクスチャ領域は、特徴
点で囲まれる領域であるから、それぞれの領域のテキス
チャは、ほぼ一様であると考えることができ、それ故
に、線形予測（ＡＲモデルの適用）が可能となる。従っ
て、注目画素の画素値を線形予測するのに、注目領域に
ない画素の画素値が用いられることは好ましくない。

【００６５】そこで、注目画素の周辺領域が、注目領域
からはみ出す場合、そのような注目画素は無視するよう
にする（線形予測係数ａ（ｐ，ｑ）を計算するのに用い
ないようにする）ことができる。あるいは、また、注目
画素の周辺領域が、注目領域からはみ出す場合、その注
目画素の周辺領域については、注目領域からはみ出さな
いように設定し直すようにすることなども可能である。

【００６６】最小２乗法計算回路２２で求められた線形
予測係数ａ（ｐ，ｑ）は、誤差２乗平均計算回路２３お
よび量子化器２４に供給される。誤差２乗平均計算回路
２３では、最小２乗法計算回路２２から線形予測係数ａ
（ｐ，ｑ）を受信すると、フレームメモリ２１から必要
な差分画像の画素値ｆ（ｉ＋ｐ，ｊ＋ｑ）を読み出し、
式（２）にしたがって予測誤差ｅ（ｉ，ｊ）を計算す
る。さらに、誤差２乗平均計算回路２３は、予測誤差ｅ
（ｉ，ｊ）の２乗平均値を求め、上述の分散ｖとして、
量子化器２５に出力する。なお、誤差２乗平均計算回路
２３では、以上のような処理が、各テクスチャ領域ごと
に行われる。

【００６７】量子化器２５では、誤差２乗平均計算回路
２３からの分散ｖが量子化（符号化）され、マルチプレ
クサ２６に出力される。一方、量子化器２４では、線形
予測係数ａ（ｐ，ｑ）が量子化（符号化）され、やは
り、マルチプレクサ２６に出力される。マルチプレクサ
２６では、量子化器２４および２５の出力が多重化さ
れ、マルチプレクサ１２（図１）に出力される。

【００６８】以下、図８における場合と同様の処理が行
われ、その結果得られる多重化データ（符号化データ）
は、伝送路を介して伝送される。あるいは、例えば光デ
ィスクや、光磁気ディスク、磁気テープ、あるいは、光
カードその他でなる記録媒体１４（図１）に供給されて
記録される。

【００６９】なお、分散ｖや、線形予測係数ａ（ｐ，
ｑ）は、量子化後に、さらに、例えば可変長符号化など
するようにしても良い。

【００７０】以上のように、差分画像を生成するための
モデルのパラメータを算出し、そのパラメータを符号化
するようにしたので、圧縮率の飛躍的な向上を図ること
ができる。即ち、例えば、１画素の８ビットが割り当て
られている差分画像の、ある２００×２００画素で構成
されるテクスチャ領域を、従来の画像符号化装置で符号
化した場合には、量子化により、データ量が、１／１０
０に圧縮されるとしても、３２００（＝８×２００×２
００×１／１００）ビットが必要となる。しかしなが
ら、図１の画像符号化装置によれば、例えば、周辺領域
を、図２に示すように設定したとし、１パラメータに１
０ビットを割り当てるものとしても、伝送すべきパラメ
ータは、１０の線形予測係数ａ（ｐ，ｑ）と、１の分散
ｖだけであるから、１１０（＝１０×１０＋１０×１）
ビットで済むことになる。

【００７１】また、自己回帰モデルによる画像の生成
は、白色雑音を加えるために、エッジなどを含む画像
や、規則的または周期的な模様の画像の生成には不向き
な面があるが、差分画像は、上述したように、ランダム
性の強い模様であるから、その位置に関する情報（画素
値が、どの画素のものであるか）まで正確に符号化を行
う意義は少ない。これは、ランダム性の強い模様の画像
を復号する際に、ある画素値が、本来の位置から多少ず
れて配置されても、視覚的にほとんど影響はないからで
ある。

【００７２】自己回帰モデルを用いた場合には、画素値
の位置に関する情報は符号化されないこととなるが、こ
のことが復号画像に与える影響は、上述したように、視
覚的にはほとんどない。従って、図１の画像符号化装置
によれば、復号画像の画質の低下を抑えて、圧縮率の飛
躍的な向上を図ることができる。

【００７３】次に、図４は、本発明を適用した画像復号
化装置の一実施例の構成を示している。なお、図中、図
９における場合と対応する部分については、同一の符号
を付してあり、以下では、その説明は、適宜省略する。
即ち、この画像復号化装置は、差分復号化回路６０に代
えて、差分復号化回路３７が設けられている他は、図９
の画像復号化装置と同様に構成されている。

【００７４】例えば、図１の画像符号化装置によって符
号化され、記録媒体１４に記録された符号化データ（多
重化データ）は、図示せぬ再生回路によって再生され、
バッファメモリ３１を介して、デマルチプレクサ３２に
供給される。デマルチプレクサ３２は、入力されたデー
タから、特徴点リストおよび特徴点量子化値を分離し、
以下、この特徴点リストおよび特徴点量子化値について
は、逆量子化器３３、補間器３４、領域分割回路３５、
フレームメモリ３６で、図９における場合と同様の処理
が施される。

【００７５】また、デマルチプレクサ３２で、特徴点リ
ストおよび特徴点量子化値が分離された後の残りのデー
タは、差分復号化回路３７に供給される。

【００７６】差分復号化回路３７は、図５に示すように
構成され、そこでは、差分画像が復号化される。即ち、
デマルチプレクサ３２の出力は、デマルチプレクサ（Ｄ
ＭＵＸ）４１に入力され、そこで、量子化された線形予
測係数ａ（ｐ，ｑ）と分散ｖとに分離される。量子化さ
れた線形予測係数ａ（ｐ，ｑ）または分散ｖは、それぞ
れ逆量子化器４２または４３に供給されて逆量子化され
る。逆量子化器４２または４３における逆量子化の結果
得られる線形予測係数ａ（ｐ，ｑ）または分散ｖは、線
形和計算回路４４または白色雑音発生回路４５にそれぞ
れ出力される。

【００７７】線形和計算回路４４は、注目画素の周辺領
域Ｎを構成する画素の画素値をフレームメモリ４６から
読み出し、逆量子化器４２からの線形予測係数ａ（ｐ，
ｑ）との線形和、即ち、式（１）における右辺の第１項
を計算し、演算器４７に出力する。ここで、フレームメ
モリ４６の記憶値は、１フレームの画像の復号化処理が
開始される前に、０に初期化されるようになされてい
る。

【００７８】同時に、白色雑音発生回路４５では、平均
値が０で、分散が、逆量子化器４３からの分散ｖとなっ
ている白色雑音が発生され、演算器４７に出力される。

【００７９】演算器４７では、線形和計算回路４４の出
力と、白色雑音発生回路４５の出力とが加算され、即
ち、式（１）にしたがって、注目画素の画素値ｆ（ｉ，
ｊ）が計算され、フレームメモリ４６の、対応するアド
レスに記憶される。

【００８０】以上の処理が、各テクスチャ領域に対応す
る線形予測係数ａ（ｉ，ｊ）および分散ｖを用いて、各
テクスチャ領域を構成する画素を、順次注目画素にして
行われる。

【００８１】そして、フレームメモリ４６に、１フレー
ムに存在するすべてのテクスチャ領域を構成する画素の
画素値が記憶されると、領域切り出し回路４８におい
て、フレームメモリ３６（図４）が参照されることによ
り、１フレームに存在するテクスチャ領域が認識され
る。そして、領域切り出し回路４８は、その認識したテ
クスチャ領域に対応する画素値をフレームメモリ４６か
ら読み出し、フレームメモリ４９に供給して記憶させ
る。即ち、フレームメモリ４９には、復号化された差分
画像が記憶される。

【００８２】この差分画像は、演算器３８（図４）に供
給され、以下、図９で説明したようにして、元の画像が
復号化される。

【００８３】図６および図７に、画像を、図１の画像符
号化装置で符号化し、それを、図４の画像復号化装置で
復号化して得られる復号画像を示す。図６（Ａ）は、芝
生が表示された画像についての差分画像のテクスチャ領
域の一部分を拡大したものであり、このテクスチャ領域
に対する線形予測係数および分散を、図２に示した周辺
領域Ｎを用いて求めると、図６（Ｂ）に示すようにな
る。そして、この線形予測係数および分散を用いて、差
分画像を復号すると、図６（Ｃ）に示すようになる。

【００８４】また、図７（Ａ）は、森が表示された画像
についての差分画像のテクスチャ領域の一部分を拡大し
たものであり、このテクスチャ領域に対する線形予測係
数および分散を、図２に示した周辺領域Ｎを用いて求め
ると、図７（Ｂ）に示すようになる。そして、この線形
予測係数および分散を用いて、差分画像を復号すると、
図７（Ｃ）に示すようになる。

【００８５】図６（Ａ）と図６（Ｃ）、図７（Ａ）と図
７（Ｃ）をそれぞれ比較すると、注視すれば、画素値の
位置に関する情報は失われていることがわかるが、見た
目の感じは再現されていることがわかる。

【００８６】以上、本発明を適用した画像符号化装置お
よび画像復号化装置について説明したが、この画像符号
化装置および画像復号化装置は、動画および静止画のい
ずれにも適用可能である。

【００８７】なお、以上のような画像符号化装置および
画像復号化装置は、限られた伝送容量を持つ伝送媒体を
用いて画像伝送を行う画像伝送装置や、画像を記録媒体
に記録する、例えばＶＴＲ（ビデオテープレコーダ）な
どの装置その他に適用可能である。

【００８８】また、本実施例では、パラメータを得るた
めの数学モデルとして、自己回帰モデルを用いるように
したが、数学モデルとしては、その他、例えば、マルコ
フモデルや、自己回帰・移動平均モデル、フラクタルモ
デルその他のあらゆるモデルを用いることが可能であ
る。

【００８９】さらに、パラメータの生成は、数学モデル
を用いずに行うようにすることも可能である。

【００９０】また、本実施例では、差分画像を生成する
ためのパラメータを算出するようにしたが、その他、例
えば、差分画像を変換符号化し、その符号化結果を生成
するためのパラメータを算出するようにすることなども
可能である。

【００９１】さらに、本実施例では、テクスチャ領域ご
とに線形予測係数と分散を求めるようにしたが、線形予
測係数と分散は、１フレームの差分画像について求める
ようにすることも可能である。

【００９２】

【発明の効果】請求項１に記載の画像符号化装置および
請求項５に記載の画像符号化方法によれば、差分画像を
生成するためのパラメータが算出されて符号化される。
従って、差分画像の符号化データ量を大きく低減するこ
とが可能となる。

【００９３】請求項６に記載の画像復号化装置および請
求項１０に記載の画像復号化方法によれば、伝送データ
から、差分画像を生成するためのパラメータが分離さ
れ、そのパラメータに基づいて、差分画像が生成され
る。従って、少ないデータで、差分画像を復号すること
が可能となる。

【００９４】請求項１１に記載の記録媒体には、画像
と、その画像の特徴点に基づいて再構成された再構成画
像との差分画像を生成するためのパラメータを符号化し
たものが少なくとも記録されている。従って、多くの画
像を記録しておくことが可能となる。

【図面の簡単な説明】

【図１】本発明を適用した画像符号化装置の一実施例の
構成を示すブロック図である。

【図２】図１の差分符号化回路１１の処理を説明するた
めの図である。

【図３】図１の差分符号化回路１１の構成例を示すブロ
ック図である。

【図４】本発明を適用した画像復号化装置の一実施例の
構成を示すブロック図である。

【図５】図４の差分復号化回路３７の構成例を示すブロ
ック図である。

【図６】本発明による処理結果を説明するための図であ
る。

【図７】本発明による処理結果を説明するための図であ
る。

【図８】従来の画像符号化装置の一例の構成を示すブロ
ック図である。

【図９】従来の画像復号化装置の一例の構成を示すブロ
ック図である。

【符号の説明】

２ ２次元特徴点検出回路 ３ チェーン構成回路 ４ 量子化器 ５ 振幅値決定回路 ６ 逆量子化器 ７ 補間器 ８ 領域分割回路 ９ フレームメモリ １０ 演算器 １１ 差分符号化回路 １４ 記録媒体 ２２ 最小２乗法計算回路 ２３ 誤差２乗平均計算回路 ２４，２５ 量子化器 ３２ デマルチプレクサ ３３ 逆量子化器 ３４ 補間器 ３５ 領域分割回路 ３６ フレームメモリ ３７ 差分復号化回路 ３８ 演算器 ４１ デマルチプレクサ ４２，４３ 逆量子化器 ４４ 線形和計算回路 ４５ 白色雑音発生回路 ４６ フレームメモリ ４７ 演算器 ４８ 領域切り出し回路

Claims (14)

【特許請求の範囲】
1. 【請求項１】 画像と、その画像の特徴点に基づいて再
   構成された再構成画像との差分画像を符号化する画像符
   号化装置であって、 前記差分画像を生成するためのパラメータを算出するパ
   ラメータ算出手段と、 前記パラメータを符号化する符号化手段とを備えること
   を特徴とする画像符号化装置。
2. 【請求項２】 前記パラメータ算出手段は、前記パラメ
   ータを、所定の数学モデルにしたがって算出することを
   特徴とする請求項１に記載の画像符号化装置。
3. 【請求項３】 前記数学モデルは、自己回帰モデルであ
   ることを特徴とする請求項２に記載の画像符号化装置。
4. 【請求項４】 前記画像を、所定の領域に分割する分割
   手段をさらに備え、 前記算出手段は、前記パラメータを、前記領域ごとに算
   出することを特徴とする請求項１に記載の画像符号化装
   置。
5. 【請求項５】 画像と、その画像の特徴点に基づいて再
   構成された再構成画像との差分画像を符号化する画像符
   号化方法であって、 前記差分画像を生成するためのパラメータを算出して符
   号化することを特徴とする画像符号化方法。
6. 【請求項６】 画像と、その画像の特徴点に基づいて再
   構成された再構成画像との差分画像を復号化する画像復
   号化装置であって、 伝送データから、前記差分画像を生成するためのパラメ
   ータを分離する分離手段と、 前記パラメータに基づいて、前記差分画像を生成する生
   成手段とを備えることを特徴とする画像復号化装置。
7. 【請求項７】 前記パラメータは、所定の数学モデルに
   したがって算出されたものであることを特徴とする請求
   項６に記載の画像復号化装置。
8. 【請求項８】 前記数学モデルは、自己回帰モデルであ
   ることを特徴とする請求項７に記載の画像復号化装置。
9. 【請求項９】 前記生成手段は、前記パラメータに基づ
   いて、前記差分画像を、所定の領域ごとに生成すること
   を特徴とする請求項６に記載の画像復号化装置。
10. 【請求項１０】 画像と、その画像の特徴点に基づいて
    再構成された再構成画像との差分画像を復号化する画像
    復号化方法であって、 伝送データから、前記差分画像を生成するためのパラメ
    ータを分離し、 そのパラメータに基づいて、前記差分画像を生成するこ
    とを特徴とする画像復号化方法。
11. 【請求項１１】 画像を符号化した符号化データが記録
    されている記録媒体であって、 前記画像と、その画像の特徴点に基づいて再構成された
    再構成画像との差分画像を生成するためのパラメータを
    符号化したものが少なくとも記録されていることを特徴
    とする記録媒体。
12. 【請求項１２】 前記パラメータは、所定の数学モデル
    にしたがって算出されたものであることを特徴とする請
    求項１１に記載の記録媒体。
13. 【請求項１３】 前記数学モデルは、自己回帰モデルで
    あることを特徴とする請求項１２に記載の記録媒体。
14. 【請求項１４】 前記パラメータは、前記差分画像を、
    所定の領域ごとに生成するためのものであることを特徴
    とする請求項１１に記載の記録媒体。