JP4590986B2 - 符号化装置、復号化装置、符号化方法、復号化方法、及びこれらのプログラム - Google Patents

Description

本発明は、予測符号化方式を適用した符号化装置及び復号化装置に関する。

データの自己相関関係に着目して符号化する方法としては、例えば、ランレングス符号化、ＪＰＥＧ−ＬＳ及びＬＺ符号化（Ziv-Lempel符号化）などがある。特に、画像データの場合には、近傍の画素同士が高い相関関係を有するので、この点に着目して画像データを高い圧縮率で符号化することができる。
また、特許文献１は、動画像を構成するフレーム間の相関関係に着目して、フレーム間の差分画像データを算出し、算出された差分画像データと、入力された画像データ（フレーム画像）とを選択的に圧縮符号化する画像データ圧縮装置を開示する。
特開平１１−３１３３２６号公報

本発明は、上述した背景からなされたものであり、画像間の相関を利用して入力画像を効率的に符号化する符号化装置、又は、この符号化装置により符号化された符号データを復号化する復号化装置を提供することを目的とする。

[符号化装置]
上記目的を達成するために、本発明にかかる符号化装置は、入力画像を構成するレイヤ画像である対象画像を符号化する符号化装置であって、１つのレイヤ画像に含まれる注目画素の画素値を符号化する場合に、この注目画素に対応する他のレイヤ画像に含まれる画素の画素値に基づいて、第１の予測値を算出する第１の予測手段と、この注目画素と同一のレイヤ画像に含まれる他の画素の画素値に基づいて、第２の予測値を算出する第２の予測手段と、前記第１の予測値及び前記第２の予測値に基づいて、他のレイヤ画像に含まれる画素の位置を示す参照情報又は同一のレイヤ画像に含まれる他の画素の位置を示す参照情報を選択する選択手段とを含む参照情報生成手段と、注目画素の符号データとして、前記選択手段により選択された参照情報の符号データを生成する符号生成手段とを有し、前記入力画像を構成するレイヤ画像は、注目画素の画素値及び前記選択手段によって選択された参照情報によって位置が示される画素のうち他のレイヤ画像に含まれる画素の画素値が一致する領域である透明領域と、透明領域以外の領域である非透明領域とを含み、前記符号生成手段は、前記透明領域及び前記非透明領域の境界において、注目画素及び同一のレイヤ画像に含まれる他の画素が前記透明領域及び前記非透明領域のいずれにあるかどうかに応じて、注目画素の画素値を注目画素の符号データとする。

本発明の符号化装置によれば、入力画像と他の参照画像との相関関係を利用して、入力画像を効率よく符号化することができる。

［背景と概略］
まず、本発明の理解を助けるために、その背景及び概略を説明する。
例えば、ＬＺ符号化方式などの予測符号化方式では、既定の参照位置の画素値を参照して予測データを生成し、生成された予測データと注目画素の画像データとが一致する場合に、一致した予測データの参照位置など（以下、参照情報）が注目画素の符号データとして符号化される。そのため、予測データの一致頻度（的中率）が高いほど、高い圧縮率が期待できる。したがって、予測符号化方式では、参照位置をどこに設定するかにより、圧縮効率が大きく変わってくる。一般的には、近傍にある画素群で相関が高いため、参照位置は、注目画素の近傍にある画素（同一画像上）に設定される。
また、ＪＰＥＧ−ＬＳ（非可逆モード）などでは、先行する画素で決定された画素値を用いて後続の画素の画素値を置換することにより、さらに予測データの的中率を高めて圧縮率の向上を図っている。

符号化対象となる入力画像の中には、互いに相関のある複数の画像群を構成するものもある。例えば、動画像を構成する複数のフレーム画像は、動いていない画像領域においてほぼ一致し、動いた画像領域においても、動きの方向及び移動量を加味すればある程度相関があるといえる。
そこで、本実施形態における画像処理装置は、符号化対象となる入力画像（対象画像）を符号化する場合に、少なくとも他の参照画像（例えば、他のフレーム画像）を参照して予測データを生成し、生成された予測データを用いた予測符号化処理を行う。すなわち、本画像処理装置は、他の参照画像に対する参照情報を、対象画像の少なくとも一部の符号データとして符号化する。
また、本画像処理装置は、このように生成された符号データを復号化する場合に、符号データに応じて他の参照画像を参照し、参照画像に含まれる画像データを用いて復号画像を生成する。

なお、特許文献１に記載された手法では、符号化対象となっている現フレームを符号化する場合に、前フレーム（基準画像）との差分画像が生成される。
図１は、差分画像の生成を伴う符号化方式と、本実施形態における符号化方式との相違点を説明する図であり、図１（Ａ）は、前フレームと現フレームとの差分画像を例示し、図１（Ｂ）は、本実施形態における予測データ生成の際に参照される参照位置を例示する。
図１（Ａ）に例示するように、前フレーム（基準画像）と現フレームとの差分画像は、それぞれのフレームに属する画素を全画素について互いに対比し算出された差分値で構成される。そのため、動いていない部分では差分値が０となるが、動いた部分では差分値が存在し多様な値となりうる。つまり、差分画像は、少なくとも動いた部分と動いていない部分とで異なる画素値を有することになる。そのため、差分画像中に、画素値の不連続が生じ、圧縮率の向上を妨げる。
一方、図１（Ｂ）に例示するように、本実施形態における画像処理装置は、図１（Ｂ）に例示するように、注目画素Ｘと同一画像上にある参照画素Ａ〜Ｄと、他の画像（参照画像）上にある参照画素Ｅとを参照する。そして、本画像処理装置は、注目画素Ｘと一定の関係にあるいずれかの参照画素（Ａ〜Ｅ）を選択し、選択された参照画素の画素値に基づいて予測データ（参照情報）を生成する。すなわち、本画像処理装置は、他の画像（前フレーム）の画素値を一律に適用するのではなく、圧縮率の観点から有利な場合にのみ、他の画像の画素値を適用し、高い圧縮率を実現する。

次に、本発明の適用が好適な画像群を例示する。
図２は、レイヤ構造で管理される画像データを例示する図であり、レイヤ構造の画像データに対して本発明を適用する形態を例示する。
図２に示すように、画像データ７００は、複数のマスクレイヤ７１０（７１０ａ及び７１０ｂ）と、１つのイメージレイヤ７２０とで構成される。以下、このようなレイヤ構造で画像データを管理する方式を、マルチマスク方式という。
マスクレイヤ７１０は、文字画像又は簡単なＣＧ（Computer Graphics）画像など階調変化の少ない画像要素（例えば１６階調以下）が割り当てられるレイヤであり、本例では２値の画像要素（オブジェクト）が割り当てられている。したがって、それぞれのマスクレイヤ７１０に含まれる画像要素（オブジェクト）は、単一の色で構成され、２階調で表現される。
イメージレイヤ７２０は、写真画像などのマスクレイヤ７１０よりも階調数が多い画像要素（オブジェクト）が割り当てられるレイヤであり、本例では多値（１６階調以上）の画像要素（オブジェクト）が割り当てられている。例えば、イメージレイヤ７２０には、複雑なＣＧ画像又は連続階調画像などが含まれる。ここで、連続階調画像とは、人間の視覚特性に鑑み十分に連続的なグラデーションが表現される画像であり、例えば、１色あたり１６階調以上で表現される画像である。
表示画像７５０は、イメージレイヤ７２０の上に、予め設定された順番でマスクレイヤ７１０を重ねあわせて表示または印刷等されたものである。

このように、１つの出力画像を構成する複数のオブジェクトがその属性に応じて複数のレイヤ（マスクレイヤ及びイメージレイヤ）に割り当てられ独立して管理されると、レイヤ毎に編集したり、属性に応じた圧縮方式をレイヤ毎に適用できるなどのメリットが得られる。
このようなレイヤ構造の画像データに対して本発明が適用できる。例えば、本発明にかかる画像処理装置は、いずれか１つのレイヤを注目レイヤとして符号化する場合に、他のレイヤの画像データを参照して、注目レイヤの画像データを符号化する。また、本画像処理装置は、このように生成された符号データを復号化する場合に、符号データに応じて他のレイヤを参照し、表示画像７５０を生成する。詳細は後述する。

図３（Ａ）は、立体形状の断面画像を例示する図であり、図３（Ｂ）は、本発明を適用して秘匿化処理が施された画像を例示する図である。
図３（Ａ）に例示するように、立体形状は複数の断面画像を有し、これらの断面画像は互いに高い相関を有する場合が多い。
そのため、これらの断面画像の符号化処理において本発明を適用できる。例えば、本発明にかかる画像処理装置は、１つの断面画像を注目断面画像として符号化する場合に、他の断面画像を参照画像として参照して、注目断面画像の画像データを符号化する。また、本画像処理装置は、このように生成された符号データを復号化する場合に、符号データに応じて他の断面画像を参照し、断面画像（注目断面画像）の画像データを生成する。

また、図３（Ｂ）に例示するように、本発明にかかる画像処理装置は、ノイズ領域を含む参照画像を参照して、入力画像を符号化することにより、入力画像に対する閲覧制御を行うことができる。例えば、秘匿化したい領域（以下、秘匿領域）に対応する領域がノイズで構成された参照画像を用いて入力画像が符号化されると、入力画像の秘匿領域は、ノイズを参照して符号化されるため、ランダム（不均一）にこの参照画像の画素値で予測が的中しその予測データに基づいて符号データが生成される。そのため、この参照画像を用いずにこの符号データが復号化されると、ノイズ領域に対応する領域（秘匿領域）は、スクランブルがかけられた画像となって復号化される。一方、秘匿化しない領域（非秘匿領域）は、既定の画素値（例えば、最小値又は最大値）で一様に埋められた領域（参照画像）を参照して符号化されるため、参照画像を用いずに復号化されても、閲覧可能な状態で再生される。

以上説明したように、本発明は互いに相関のある画像群に対して広く適用可能である。以下、レイヤ構造の画像データに対して本発明を適用する場合を具体例としてより詳細に説明する。

［ハードウェア構成］
次に、第１の実施形態における画像処理装置２のハードウェア構成を説明する。
図４は、本発明にかかる符号化方法及び復号化方法が適応される画像処理装置２のハードウェア構成を、制御装置２０を中心に例示する図である。
図４に例示するように、画像処理装置２は、ＣＰＵ２１２及びメモリ２１４などを含む制御装置２１、通信装置２２、ＨＤＤ・ＣＤ装置などの記録装置２４、並びに、ＬＣＤ表示装置あるいはＣＲＴ表示装置およびキーボード・タッチパネルなどを含むユーザインターフェース装置（ＵＩ装置）２５から構成される。
画像処理装置２は、例えば、本発明にかかる符号化プログラム５（後述）及び復号化プログラム６（後述）がプリンタドライバの一部としてインストールされた汎用コンピュータであり、通信装置２２又は記録装置２４などを介して画像データを取得し、取得された画像データを符号化又は復号化してプリンタ装置３に送信する。

［符号化プログラム］
図５は、制御装置２１（図４）により実行され、本発明にかかる符号化方法を実現する第１の符号化プログラム５の機能構成を例示する図である。
図５に例示するように、第１の符号化プログラム５は、複数の層内予測部５１０（層内第１予測部５１０ａ、層内第２予測部５１０ｂ、層内第３予測部５１０ｃ及び層内第４予測部５１０ｄ）、層間予測部５２０、予測誤差算出部５３０、ラン計数部５４０、選択部５５０及び符号生成部５６０を有する。なお、層内予測部５１０、層間予測部５２０、予測誤差算出部５３０、ラン計数部５４０及び選択部５５０の組合せが本発明にかかる参照情報生成手段の一例である。
符号化プログラム５において、画像データは、通信装置２２又は記録装置２４などを介して入力される。入力された画像データは、符号化プログラム５の前段でラスタライズされている。

層内予測部５１０は、注目画素とは異なる画素（参照画素）の画素値を参照して、この画素値を予測値とし、この予測値と注目画素の画素値との比較結果をラン計数部５４０に対して出力する。本例の層内第１予測部５１０ａ〜層内第４予測部５１０ｄは、それぞれ参照画素Ａ〜Ｄ（図１，図６）の画素値と、注目画素Ｘ（図１，図６）の画素値とを比較して、画素値が一致した場合（すなわち、予測が的中した場合）に、自己を識別する予測部ＩＤ（後述）をラン計数部５４０に対して出力し、これ以外の場合に、一致しなかった旨をラン計数部５４０に対して出力する。なお、層内予測部５１０は、１種類以上であればよく、例えば、参照位置Ａを参照する層内第１予測部５１０ａのみを設けてもよい。

層間予測部５２０は、符号化対象となる画像（対象画像）とは異なる他の画像（参照画像）の画素値を参照して、この参照画像の画素値を予測値とし、この予測値と注目画素（対象画像に含まれる画素）の画素値との比較結果をラン計数部５４０に対して出力する。本例の層間予測部５２０は、参照画像に含まれる参照画素Ｅ（図１，図６）の画素値と、注目画素Ｘ（図１，図６）の画素値とを比較して、画素値が一致した場合（すなわち、予測が的中した場合）に、自己を識別する予測部ＩＤ（後述）をラン計数部５４０に対して出力し、これ以外の場合に、一致しなかった旨をラン計数部５４０に対して出力する。参照画像における参照画素Ｅの相対位置は、対象画像における注目画素Ｘの相対位置と対応し、例えば、対象画像の解像度と参照画像の解像度とが一致する場合には、同じ相対位置となる。すなわち、参照画素Ｅは、対象画像と参照画像とを重ね合わせた場合に、注目画素Ｘと重なり合う画素である。

予測誤差算出部５３０は、予め定められた予測方法で注目画素の画素値を予測し、その予測値を注目画素の実際の画素値から減算し、予測誤差値としてラン計数部５４０及び選択部５５０に対して出力する。予測誤差算出部５３０の予測方法は、符号データを復号化する復号化プログラム（後述）の予測方法と対応していればよい。本例では、予測誤差算出部５３０は、層内第１予測部５１０ａと同じ参照位置（参照画素Ａ）の画素値を予測値とし、この予測値と実際の画素値（注目画素Ｘの画素値）との差分を算出する。

ラン計数部５４０は、同一の予測部ＩＤが連続する数をカウントし、予測部ＩＤ及びその連続数を選択部５５０に対して出力する。この予測部ＩＤ及びその連続数は、対象画像及び参照画像に対する参照情報の一例である。例えば、ラン計数部５４０は、予測誤差値が入力される場合に、内部カウンタでカウントされている予測部ＩＤ及びその連続数を出力し、その後に、入力された予測誤差値をそのまま選択部５５０に対して出力する。

選択部５５０は、ラン計数部５４０から入力された予測部ＩＤ、連続数及び予測誤差値に基づいて、最も長く連続した予測部ＩＤを選択し、この予測部ＩＤ及びその連続数並びに予測誤差値を予測データとして符号生成部５６０に対して出力する。

符号生成部５６０は、選択部５５０から入力された予測部ＩＤ、連続数及び予測誤差値を符号化し、通信装置２２又は記録装置２４などに出力する。

図６は、符号化プログラム５によりなされる符号化処理を説明する図であり、図６（Ａ）は、層内予測部５１０及び層間予測部５２０により参照される画素の位置を例示し、図６（Ｂ）は、それぞれの参照画素に対応付けられた符号を例示し、図６（Ｃ）は、符号生成部５６０により生成される符号データを例示する図である。
図６（Ａ）に例示するように、層内予測部５１０及び層間予測部５２０の参照位置は、注目画素Ｘとの相対位置として設定されている。具体的には、層内第１予測部５１０ａの参照画素Ａは、注目画素Ｘの主走査方向上流に設定され、層内第２予測部５１０ｂから層内第４予測部５１０ｄの参照画素Ｂ〜Ｄは、注目画素Ｘの上方（副走査方向上流）の主走査ライン上に設定されている。また、層間予測部５２０の参照画素Ｅは、注目画素Ｘが含まれる対象画像とは異なる他の画像（参照画像）上に設定されている。

また、図６（Ｂ）に例示するように、それぞれの参照画素Ａ〜Ｅには優先順位が設定されており、複数の参照画素で予測が的中した場合には、ラン計数部５４０（図５）は、設定された優先順位に応じて、予測部ＩＤの連続数を増加させる。レイヤ構造で符号化する観点から、層間予測部５２０の優先順位は、層内予測部５１０の優先順位よりも高いことが望ましい。なお、複数の層内予測部５１０に設定された優先順位は、予測値の的中率（参照画素の画素値と注目画素Ｘの画素値とが一致する確率）に応じて設定されており、ＭＲＵ（Most Recently Used）アルゴリズムにより動的に更新されてもよい。
また、符号生成部５６０は、図６（Ｂ）に例示するように、予測部（参照位置）と符号とを互いに対応付けており、注目画素Ｘと画素値が一致した参照位置に対応する符号を出力する。なお、それぞれの参照位置に対応付けられている符号は、例えば、各参照位置の的中率に応じて設定されたエントロピー符号であり、優先順位に対応する符号長となる。

また、符号生成部５６０は、同一の参照位置で連続して画素値が一致する場合には、ラン計数部５４０によりカウントされたその連続数を符号化する。これにより、符号量が少なくなる。このように、符号化プログラム５は、図６（Ｃ）に例示するように、いずれかの参照位置で画素値が一致した場合には、その参照位置に対応する符号と、この参照位置で画素値が一致する連続数とを符号化し、いずれの参照位置でも画素値が一致しなかった場合には、既定の参照位置の画素値と注目画素Ｘの画素値との差分（予測誤差値）を符号化する。

図７は、符号化プログラム５（図５）により符号化されるレイヤ構造の画像データを例示する図であり、図７（Ａ）は、ＣＧ画像が割り当てられたマスクレイヤ７１０ａを符号化する場合を例示し、図７（Ｂ）は、文字画像が割り当てられたマスクレイヤ７１０ｂを符号化する場合を例示する。
図７（Ａ）に例示するように、符号化プログラム５は、入力画像からＣＧ画像を除いた画像を参照画像として、入力画像を処理すると、マスクレイヤ７１０ａの符号データを生成できる。すなわち、符号化プログラム５は、入力画像からＣＧ画像を除いた画像を参照することにより、ＣＧ画像が割り当てられたマスクレイヤ７１０ａを符号化することができる。符号化されたマスクレイヤ７１０ａのうち、ハッチングされた領域は、参照画像を参照する層間予測部５２０（図５）の予測が的中した領域であり、層間予測部５２０に対応する符号の連続として符号化される。

同様に、図７（Ｂ）に例示するように、符号化プログラム５は、入力画像から文字画像を除いた画像を参照画像として、入力画像を処理すると、文字画像が割り当てられたマスクレイヤ７１０ｂの符号データを生成できる。すなわち、符号化プログラム５は、入力画像から文字画像（フォント画像）を除いた画像を参照することにより、文字画像が割り当てられたマスクレイヤ７１０ａを符号化することができる。

なお、この参照画像は上記入力画像として符号化プログラム５により処理されてもよい。例えば、符号化プログラム５は、図７（Ａ）に例示した参照画像を入力画像とし、この参照画像から文字画像を除いた画像（すなわち、イメージ画像のみ）を次の参照画像として処理する。これにより、符号化プログラム５は、図７（Ａ）に例示した参照画像から、文字画像が割り当てられたマスクレイヤ７１０ｂの符号データを生成できる。すなわち、符号化プログラム５は、入力画像から段階的にオブジェクトを除いた画像をそれぞれ参照画像として、直列的に符号化処理を行うことにより、図２に例示するような複数のマスクレイヤ７１０の符号データを生成することができる。このように直列的な符号化処理により生成される各レイヤの符号データは、シーケンシャルな関係となり、復号化する場合には、既定の順序（すなわち、符号化処理により生成順序とは逆の順序）で復号化される必要がある。
また、イメージレイヤ７２０（図２）は、層内予測により符号化されてもよいし、ＪＰＥＧなどの他の符号化方式により符号化されてもよい。

また、画像処理装置２は、上記のように生成された符号データを復号化する場合には、順に入力される符号に応じて、対応する参照位置の画素値を参照し、又は、予測誤差値を復号化して、注目画素の画素値を再生する。

図８は、透明画素と非透明画素との境界領域に対する処理を説明する図である。なお、透明画素とは、本図の「透明」と表された矩形領域であり、他のレイヤ（参照画像）を参照して予測が的中した領域である。この透明画素に対応する符号は、他のレイヤを参照するよう指示する情報となっている。また、非透明画素とは、本図の「有色」と表された矩形領域であり、同一画像内での予測（参照画素Ａ〜Ｄ）が的中した領域、又は、層間予測及び層内予測がいずれも的中しなかった領域である。この非透明画素の符号は、層内予測を指示する情報、又は、予測誤差を示す情報となっている。
図８に例示するように、透明画素と非透明画素とが互いに隣接する領域では、予測誤差の処理が問題となる。例えば、本図における注目画素Ｘでは、層内予測（参照画素Ａ〜Ｄ）及び層間予測（参照画素Ｅ）のいずれも的中しないため、予測誤差が算出される。
各レイヤを独立に編集可能にするためには、予測誤差の算出は層内（対象画像内）で閉じていることが望ましい。しかしながら、本実施形態における符号化プログラム５は、直左（参照画素Ａ）と注目画素Ｘとの差分を予測誤差として算出するため、本図の注目画素Ｘについては、他のレイヤの画素値と注目画素Ｘとの差分を算出してしまう。
そこで、本実施形態における符号化プログラム５は、透明画素と非透明画素との境界領域においては、予測誤差の算出において例外処理を行う。例えば、符号化プログラム５は、透明画素と非透明画素との境界領域において、注目画素Ｘの画素値そのものを符号化する。より具体的には、符号化プログラム５は、直左画素（参照画素Ａ）が透明画素であり、かつ、注目画素Ｘが非透明画素である場合には、注目画素Ｘの画素値をそのまま符号化し、直左画素（参照画素Ａ）が非透明画素であり、かつ、注目画素Ｘが非透明画素である場合には、参照画素Ａと注目画素Ｘとの画素値の差分を予測誤差として符号化する。
また、本符号化プログラム５は、透明画素を既定の画素値（デフォルト値）で埋めてもよい。これにより、符号化プログラム５は、透明画素と非透明画素との境界領域であるか否かによらず、直左画素（参照画素Ａ）と注目画素Ｘとの差分値を予測誤差として符号化できる。この場合、画像処理装置２は、予測誤差に対応する符号を復号化する場合に、この符号の直前の符号が透明画素に対応する場合（参照画素Ｅに対応する符号である場合）に、上記デフォルト値と、予測誤差値とを合算することにより、注目画素Ｘの画素値を復号化し、この符号の直前の符号が非透明画素に対応する場合に、直左の画素値と、予測画素値とを合算することにより、注目画素Ｘの画素値を復号化する。
また、本符号化プログラム５は、予測誤差を算出する場合に、直近の非透明画素を参照して予測誤差を算出するようにしてもよい。この場合、注目画素Ｘと予測値とが近い値をとる可能性が高くなり、圧縮率で有利である。

以上説明したように、本実施形態における画像処理装置２は、符号化対象となるレイヤとは異なる他のレイヤを参照して予測符号化処理を行うことにより、レイヤ構造で管理された画像データを符号化することができる。

［変形例１］
次に、上記第１の実施形態の変形例を説明する。
図９は、第２の符号化プログラム５２の機能構成を例示する図である。なお、本図における各構成のうち、図５に示された構成と実質的に同一のものには同一の符号が付されている。
図９に例示するように、第２の符号化プログラム５２は、第１の層間予測部５２０を、透明画素値に基づいて予測データを生成する第２の層間予測部５２２に置換した構成をとる。
本変形例における第２の層間予測部５２２は、透明画素値として設定されている値を取得し、取得した透明画素値の値と、注目画素Ｘの画素値とを比較し、一致する場合に、層間予測部５２２に対応する予測部ＩＤをラン計数部５４０に対して出力する。すなわち、層間予測部５２２は、予め設定されている透明画素値と、入力画像に含まれる注目画素Ｘの画素値とが一致する場合に、層間予測が的中したものと判定し、参照画像に対する参照を指示する参照情報（層間予測の予測部ＩＤ）を生成する。この場合にも、参照画像における参照画素の相対位置は、入力画像における注目画素Ｘの相対位置に対応する。
これにより、本変形例における符号化プログラム５２は、参照画像を参照することなく、マスクレイヤ７１０の符号データを生成することができる。なお、画像処理装置２は、このように生成された符号データを復号化する場合には、符号データに応じて、参照画像を参照する。

また、画像処理装置２は、利用者の操作に応じて、参照画素を参照すべき領域を設定し、これに応じた符号データを生成してもよい。例えば、画像処理装置２は、ポインティングデバイスなどにより透明画素とすべき領域の指定を受け付け、指定された領域の画像データを、参照画像（他の画像）に対する参照を指示する符号データ（参照画素Ｅに対応する予測部ＩＤ及びその連続数）で置換してもよい。

［変形例２］
また、複数のフレーム画像からなる動画像に対しては、他のフレーム上に参照位置を設定することもできる。この場合の動画像は、例えばマルチマスク方式のフレーム画像により構成されている。
図１０（Ａ）は、マルチマスク方式のフレーム画像を例示し、図１０（Ｂ）は、図１０（Ａ）に例示したフレーム画像に対する参照位置を説明する図である。
図１１は、動画像の符号化に適用される第３の符号化プログラム５４の機能構成を例示する図である。なお、本図における各構成のうち、図５に示された構成と実質的に同一のものには同一の符号が付されている。

図１０（Ａ）に例示するように、マルチマスク方式のフレーム画像は、それぞれマスクレイヤ７１０及びイメージレイヤ７２０を有する。本例では、マスクレイヤ７１０に、動くオブジェクト（画像要素）が割り当てられ、イメージレイヤ７２０に、背景となる静止オブジェクトが割り当てられている。したがって、前フレーム７００におけるマスクレイヤ７１０と、現フレーム７００’におけるマスクレイヤ７１０’とでは、オブジェクト（画像要素）の位置が異なる。
画像処理装置２は、このような現フレーム７００’を符号化する場合に、現フレーム７００’の他のレイヤ上と、前フレーム７００のレイヤ上とに、参照位置を設定し予測符号化を行う。具体的には、画像処理装置２は、現フレーム７００’のマスクレイヤ７１０’を符号化する場合に、図１０（Ｂ）に例示するように、現フレーム７００’上に複数の参照画素Ａ〜Ｄを設定し、現フレーム７００’のイメージレイヤ７２０上に参照画素Ｅ（層間予測に相当）を設定し、前フレーム７００のマスクレイヤ７１０上に参照画素Ｆ（フレーム間予測に相当）を設定する。
また、画像処理装置２は、マスクレイヤ７１０に割り当てられたオブジェクトの移動方向及び移動量に応じて、参照画素Ｆの位置を移動させる。これにより、参照画素Ｆに基づく予測の的中率を向上させることができる。

図１１に例示するように、第３の符号化プログラム５４は、第１の層間予測部５２０を複数（層間第１予測部５２０ａ及び層間第２予測部５２０ｂ）配置した構成をとる。
符号化プログラム５４において、層間第１予測部５２０ａは、図１０（Ｂ）に例示した参照画素Ｅの画素値を参照して、この参照画像の画素値を予測値とし、この予測値と注目画素（対象画像に含まれる画素）の画素値との比較結果をラン計数部５４０に対して出力する。

層間第２予測部５２０ｂは、図１０（Ｂ）に例示した参照画素Ｆの画素値を参照して、この参照画像の画素値を予測値とし、この予測値と注目画素（対象画像に含まれる画素）の画素値との比較結果をラン計数部５４０に対して出力する。また、層間第２予測部５２０ｂは、オブジェクトの移動方向及び移動量に応じて、参照画素Ｆの位置を移動させる。

これにより、第３の符号化プログラム５４は、同一フレームにおける層間予測と、フレーム間予測とを用いて、マスクレイヤ７１０’を符号化するため、高い圧縮率を期待できる。

［第２実施形態］
次に、第２の実施形態を説明する。レイヤ構造で画像データを管理する方法には、上記マルチマスク方式の他に、ＭＲＣ（Mixed Raster Content）方式がある。ＭＲＣ方式では、多値画像が割り当てられる２以上の画像レイヤと、これらの画像レイヤから画像領域毎に出力させる画像要素を選択する選択レイヤとで画像が構成される。

図１２は、ＭＲＣ方式のレイヤ構造を説明する図である。
ＭＲＣ方式の画像データは、画像を構成する画像要素が割り当てられる複数の画像レイヤと、出力させる画像要素を画像領域毎に選択する選択レイヤとで構成される。図１２に示すように、本例の画像データ８００は、画像レイヤとして前景レイヤ８１０及びイメージレイヤ８２０を有し、これらのレイヤから出力すべき画像要素を選択する選択レイヤ８３０をさらに有する。
本例の前景レイヤ８１０は、簡単なＣＧ画像又は文字画像などの低階調画像が割り当てられている。なお、前景レイヤ８１０は、ＣＧ画像又は文字画像に含まれる複数の色情報及び中間調情報を有する。
本例のイメージレイヤ８２０は、前景レイヤ８１０よりも階調数が多い連続階調画像などが割り当てられる。
選択レイヤ８３０は、画像領域毎に（例えば画素毎に）前景レイヤ８１０及びイメージレイヤ８２０のいずれの画像要素を出力させるかを示す２値データで構成され、この２値データによりパターン像を構成している。本図における選択レイヤ８３０の黒色の部分は、前景レイヤ８１０の画像要素を選択するパターン像であり、白色の部分は、イメージレイヤ８２０の画像要素を選択するパターン像である。
表示画像８５０は、前景レイヤ８１０及びイメージレイヤ８２０に含まれる画像要素から、選択レイヤ８３０に含まれる２値パターンに応じて選択された画像要素を表示又は印刷等されたものである。

図１２に例示された画像データ８００を符号化する場合に、図１１に例示した符号化プログラム５４が適用可能である。すなわち、層間第１予測部５２０ａは、前景レイヤ８１０（図１２）を参照し、層間第２予測部５２０ｂは、イメージレイヤ８２０を参照する。この場合に、符号化プログラム５４は、層間第１予測部５２０ａによる予測結果、及び、層間第２予測部５２０ｂによる予測結果を、層内予測部５１０による予測結果よりも優先して適用し、これらの予測結果（予測部ＩＤ及びその連続数）を符号化することにより、選択レイヤ８３０の符号データを生成することができる。なお、この場合も、参照画像における参照画素の相対位置は、対象画像における注目画素の相対位置と対応し、例えば、対象画像の解像度と参照画像の解像度とが一致する場合には、同じ相対位置となる。すなわち、層間第１予測部５２０ａにより参照される参照画素、及び、層間第２予測部５２０ｂにより参照される参照画素は、対象画像とこれらの参照画像とを重ね合わせた場合に、注目画素Ｘと重なり合う画素である。

以上説明したように、本実施形態における画像処理装置２は、複数の参照画像を参照して、入力画像を符号化することにより、選択レイヤ８３０（図１０）の符号データを生成することができる。
ここで、本実施形態のように複数の参照画像を参照して符号化される場合には、生成される各レイヤの符号データは、ツリー的な関係となり、復号化する場合には、前景レイヤ８１０の符号データとイメージレイヤ８２０の符号データとの復号化順序は任意である。また、選択レイヤ８３０は、前景レイヤ８１０に割り当てられた画像要素、及び、イメージレイヤ８２０に割り当てられた画像要素のトリミング形状を保持する。そのため、選択レイヤ８１０及びイメージレイヤ８２０は、形状を持つ必要がなく、例えば、圧縮率が高くなるような模様又は色などで、割り当てられた画像要素の周囲を塗りつぶしてもよい。

［変形例１］
次に、第２の実施形態の第１の変形例を説明する。
図１３は、第４の符号化プログラム５６の機能構成を例示する図である。なお、本図における各構成のうち、図５に示された構成と実質的に同一のものには同一の符号が付されている。
図１３に例示するように、第４の符号化プログラム５６は、第１の層間予測部５２０を、選択レイヤ８３０（図１２）の画像データに基づいて予測データを生成する第３の層間予測部５２４に置換した構成をとる。
本変形例における第３の層間予測部５２４は、選択レイヤ８３０の画像データ（ビットパターン）を取得し、取得した画像データに基づいて、いずれかの参照画像（図１２における前景レイヤ８１０又はイメージレイヤ８２０）に対応する予測部ＩＤをラン計数部５４０に対して出力する。例えば、図１２に例示する画像データ８００が入力された場合に、層間予測部５２４は、選択レイヤ８３０の黒色の領域（前景レイヤ８１０の選択を指示する２値パターンの領域）では、前景レイヤ８１０における参照画素の画素値が注目画素の画素値と一致したと判定し、前景レイヤ８１０の参照を指示する符号を符号生成部５６０に生成させ、選択レイヤ８３０の白色の領域（イメージレイヤ８２０の選択を指示する２値パターンの領域）では、イメージレイヤ８２０における参照画素の画素値が注目画素の画素値と一致したと判定し、イメージレイヤ８２０の参照を指示する符号を符号生成部５６０に生成させる。
これにより、本変形例における符号化プログラム５６は、参照画像を参照することなく、選択レイヤ８３０の符号データを生成することができる。なお、画像処理装置２は、このように生成された符号データを復号化する場合には、符号データに応じて、参照画像（前景レイヤ８１０及びイメージレイヤ８２０）を参照する。

［変形例２］
また、上記のように、レイヤ毎に分割された画像データは、それぞれのレイヤに割り当てられた画像要素の性質に応じて、解像度変換がなされる場合がある。例えば、写真画像などは、文字画像又はＣＧ画像などに比べて、エッジ量が少なく、解像度を低下させても画質劣化として目立ちにくい傾向にある。そこで、例えば、画像処理装置２は、図１２に例示したＭＲＣ方式の画像データのうち、イメージレイヤ８２０の画像データの解像度を低下させて、符号量を低下させることができる。

図１４は、解像度が異なるレイヤの符号データを復号化する方法を説明する図であり、図１４（Ａ）は、レイヤ間で解像度が異なる画像データを例示し、図１４（Ｂ）は、レイヤ間で解像度が異なる符号データを復号化する復号化プログラム６の機能構成を例示する図である。
図１４（Ａ）に例示するように、画像処理装置２は、ＭＲＣ方式の画像データのうち、イメージレイヤの画像データを、他のレイヤ（前景レイヤ及び選択レイヤ）よりも低い解像度に変換することができる。本例のイメージレイヤは、他のレイヤに対して１／２の解像度に変換される。これにより、イメージレイヤの画像データは、主走査方向及び副走査方向にそれぞれ半分の画素数となる。

図１４（Ｂ）に例示するように、復号化プログラム６は、符号復号部６１０、層内抽出部６２０、誤差処理部６３０、座標変換部６４０、補間処理部６５０、層間抽出部６６０及び復号画像生成部６７０を有する。
復号化プログラム６において、符号復号部６１０は、図６（Ｂ）に例示したものと同様に、符号と予測部ＩＤ（参照位置）とを互いに対応付けるテーブルを有し、入力された符号データに基づいて、参照位置を特定する。また、符号復号部６１０は、入力された符号データに基づいて、予測部ＩＤの連続数、及び、予測誤差などの数値も復号化する。
このように復号化された参照位置、連続数及び予測誤差は、層内抽出部６２０、誤差処理部６３０及び座標変換部６４０に入力される。

層内抽出部６２０は、符号復号部６１０から入力された予測部ＩＤが層内予測のいずれかに対応する場合（すなわち、参照画素Ａ〜Ｄに対応する場合）に、対応する参照位置の画素を参照して、その画素の画素値を復号データとして復号画像生成部６７０に出力する。また、層内抽出部６２０は、この予測部ＩＤと共に連続数が入力された場合には、予測部ＩＤに対応する画素値に対応付けて、この連続数を復号画像生成部６７０に出力する。

誤差処理部６３０は、符号復号部６１０から予測誤差が入力された場合に、入力された予測誤差に対応する画素値を復号データとして復号画像生成部６７０に出力する。本例の誤差処理部６３０は、入力された予測誤差と、直左画素（参照画素Ａに対応する位置）の画素値とを合算して復号データとする。なお、ＭＲＣ方式で画像データが符号化された場合に、選択レイヤ８３０の符号は、必ず前景レイヤ８１０又はイメージレイヤ８２０のいずれかを参照する情報である。よって、誤差処理部６３０が予測誤差に基づいて復号データを生成するのは、前景レイヤ８１０又はイメージレイヤ８２０の符号データを復号化する場合である。

座標変換部６４０は、符号復号部６１０から入力された予測部ＩＤが層間予測のいずれかに対応する場合（すなわち、前景レイヤ８１０又はイメージレイヤ８２０のいずれかの参照を指示する符号である場合）に、参照すべきレイヤの解像度と選択レイヤ８３０の解像度との相違に応じて、参照位置の座標変換を行い、座標変換がなされた参照位置と連続数とを補間処理部６５０に対して出力する。座標変換は、選択レイヤ８３０における注目画素の相対位置とイメージレイヤ８２０における参照画素の相対位置とが一致するようになされる。例えば、図１４（Ａ）に例示するように、解像度が１／２となったイメージレイヤ８２０が参照される場合に、座標変換部６４０は、注目画素Ｘの座標を１／２倍して、イメージレイヤ８２０における参照位置とする。
なお、最近傍法が適用される場合（すなわち、補間処理部６５０が設けられない形態である場合）、座標変換部６４０は、注目画素Ｘの座標を１／２倍した場合の整数部分をイメージレイヤ８２０における参照位置とする。また、参照すべきレイヤの解像度と選択レイヤ８３０の解像度とが同一である場合には、座標変換がなされない。

補間処理部６５０は、座標変換部６４０により座標変換がなされた参照位置と、参照位置の近傍にある近傍画素の画素値とに基づいて、イメージレイヤ８２０に対して補間処理を行う。補間処理は、例えば線形補間法又はキュービックコンボリューション法などである。
なお、補間処理部６５０が設けられない形態では、上記座標変換部６４０が座標変換を行うことにより、最近傍法による補間と同一の効果が得られる。

層間抽出部６６０は、符号復号部６１０から層間予測に対応する予測部ＩＤ及び連続数が入力された場合に、前景レイヤ８１０又はイメージレイヤ８２０の画素を参照して、その画素の画素値を抽出し、抽出された画素値と、入力された連続数とを復号画像生成部６７０に出力する。また、層間抽出部６６０は、解像度変換がなされたレイヤ（本例ではイメージレイヤ）が参照される場合には、座標変換部６４０により変換された参照位置に応じて、補間処理がなされた画素値を抽出する。

復号画像生成部６７０は、層内抽出部６２０から入力された復号データ、誤差処理部６３０から入力された復号データ、及び、層間抽出部６６０から入力された復号データに基づいて、復号画像を生成する。より具体的には、復号画像生成部６７０は、層内抽出部６２０から復号データ（画素値及び連続数）が入力された場合に、入力された画素値の画素を連続数だけ連続して配置する。また、復号画像生成部６７０は、誤差処理部６３０から復号データ（予測誤差と直左画素値との合算値）が入力された場合に、この合算値の画素を配置する。また、復号画像生成部６７０は、層間抽出部６６０から復号データ（画素値及び連続数）が入力された場合に、入力された画素値の画素を連続数だけ連続して配置する。このように配置された画素群が復号画像となる。

このように、本例の復号化プログラム６は、復号画像の解像度と参照画像の解像度とが異なる場合に、座標変換処理及び補間処理により復号画像を生成し、復号画像の解像度と参照画像の解像度とが略同一である場合に、座標変換部６４０及び補間処理部６５０の機能を無効にして、復号画像を生成する。

なお、画像処理装置２は、上記座標変換部６４０を応用することにより、特定のレイヤ（イメージレイヤ８２０）の画像データを、フリップ出力、回転出力又は繰り返し出力を行ってもよい。
図１５は、レイヤ２の画像データを繰り返し出力する方法を説明する図であり、図１５（Ａ）は、繰り返し出力に用いられるレイヤ画像（レイヤ１及びレイヤ２）を例示し、図１５（Ｂ）は、図１５（Ａ）に例示されたレイヤ２が繰り返し出力された復号画像を例示する。
図１５（Ａ）に例示するように、レイヤ１は、文字画像「シャボン玉」が割り当てられた前景レイヤ８１０であり、レイヤ２は、ＣＧ画像が割り当てられたイメージレイヤ８２０である。レイヤ２は、レイヤ１よりも解像度が低く、主走査方向の画素数がＷであり、副走査方向の画素数がＨである。
図１４（Ｂ）に例示した座標変換部６４０は、選択レイヤ８３０（不図示）における注目画素の座標（ｘ，ｙ）をそれぞれ（Ｗ，Ｈ）で割った剰余を、参照位置とする。これにより、復号化プログラム６（図１４（Ｂ））は、レイヤ２（図１５（Ａ））に割り当てられた画像要素を繰り返し参照することになり、図１５（Ｂ）に例示するような復号画像を出力できる。

［変形例３］
図１６は、第５の符号化プログラム５８の機能構成を例示する図である。なお、本図における各構成のうち、図５に示された構成と実質的に同一のものには同一の符号が付されている。
図１６に例示するように、第５の符号化プログラム５８は、層内予測部５１０及び層間予測部５２０の前段に、量子化部５７０が追加された構成をとる。
本変形例における量子化部５７０は、予測値提供部５７２及び画素値変更処理部５７４を含み、入力された画像データに基づいて量子化画像を生成し、層内予測部５１０、層間予測部５２０及び予測誤差算出部５３０に対して出力する。
具体的には、予測値提供部５７２が、参照画素（例えば、同一画像上の直左画素又は直上画素、あるいは、参照画像上の画素など）の画素値を画素値変更処理部５７４に対して出力し、画素値変更処理部５７４が、入力された参照画素の画素値と、注目画素の画素値とを比較して、その差分が既定の範囲内である場合に、この注目画素の画素値を参照画素の画素値で置換し、その差分が既定の範囲外である場合に、この注目画素の画素値をそのまま出力する。すなわち、量子化部５７０は、いずれかの参照画素Ａ〜Ｅの画素値で、画素値が近似する注目画素Ｘを塗潰す。
これにより、本変形例における符号化プログラム５８は、層内予測部５１０又は層間予測部５２０による予測の的中率を向上させ、圧縮率を向上させることができる。

差分画像の生成を伴う符号化方式と、本実施形態における符号化方式との相違点を説明する図であり、（Ａ）は、前フレームと現フレームとの差分画像を例示し、（Ｂ）は、本実施形態における予測データ生成の際に参照される参照位置を例示する。 レイヤ構造（マルチマスク方式）で管理される画像データを例示する図である。 （Ａ）は、立体形状の断面画像を例示する図であり、（Ｂ）は、本発明を適用して秘匿化処理が施された画像を例示する図である。 本発明にかかる符号化方法及び復号化方法が適応される画像処理装置２のハードウェア構成を、制御装置２０を中心に例示する図である。 制御装置２１（図４）により実行され、本発明にかかる符号化方法を実現する第１の符号化プログラム５の機能構成を例示する図である。 符号化プログラム５によりなされる符号化処理を説明する図であり、（Ａ）は、層内予測部５１０及び層間予測部５２０により参照される画素の位置を例示し、（Ｂ）は、それぞれの参照画素に対応付けられた符号を例示し、（Ｃ）は、符号生成部５６０により生成される符号データを例示する図である。 符号化プログラム５（図５）により符号化されるレイヤ構造の画像データを例示する図であり、（Ａ）は、ＣＧ画像が割り当てられたマスクレイヤ７１０ａを符号化する場合を例示し、（Ｂ）は、文字画像が割り当てられたマスクレイヤ７１０ｂを符号化する場合を例示する。 透明画素と非透明画素との境界領域に対する処理を説明する図である。 第２の符号化プログラム５２の機能構成を例示する図である。 （Ａ）は、マルチマスク方式のフレーム画像を例示し、（Ｂ）は、（Ａ）で例示したフレーム画像に対する参照位置を説明する図である。 動画像の符号化に適用される第３の符号化プログラム５４の機能構成を例示する図である。 ＭＲＣ方式のレイヤ構造を説明する図である。 第４の符号化プログラム５６の機能構成を例示する図である。 解像度が異なるレイヤの符号データを復号化する方法を説明する図であり、（Ａ）は、レイヤ間で解像度が異なる画像データを例示し、（Ｂ）は、レイヤ間で解像度が異なる符号データを復号化する復号化プログラム６の機能構成を例示する図である。 レイヤ２の画像データを繰り返し出力する方法を説明する図であり、（Ａ）は、繰り返し出力に用いられるレイヤ画像（レイヤ１及びレイヤ２）を例示し、（Ｂ）は、（Ａ）に例示されたレイヤ２が繰り返し出力された復号画像を例示する。 第５の符号化プログラム５８の機能構成を例示する図である。

符号の説明

２・・・画像処理装置
５，５２，５４，５６，５８・・・符号化プログラム
５１０・・・層内予測部（層内第１予測部〜層内第４予測部）
５２０，５２２，５２４・・・層間予測部
５３０・・・予測誤差算出部
５４０・・・ラン計数部
５５０・・・選択部
５６０・・・符号生成部
６・・・復号化プログラム
６１０・・・符号復号部
６２０・・・層内抽出部
６３０・・・誤差処理部
６４０・・・座標変換部
６５０・・・補間処理部
６６０・・・層間抽出部

Claims (1)

1. 入力画像を構成するレイヤ画像である対象画像を符号化する符号化装置であって、
   １つのレイヤ画像に含まれる注目画素の画素値を符号化する場合に、この注目画素に対応する他のレイヤ画像に含まれる画素の画素値に基づいて、第１の予測値を算出する第１の予測手段と、
   この注目画素と同一のレイヤ画像に含まれる他の画素の画素値に基づいて、第２の予測値を算出する第２の予測手段と、
   前記第１の予測値及び前記第２の予測値に基づいて、他のレイヤ画像に含まれる画素の位置を示す参照情報又は同一のレイヤ画像に含まれる他の画素の位置を示す参照情報を選択する選択手段と
   を含む参照情報生成手段と、
   注目画素の符号データとして、前記選択手段により選択された参照情報の符号データを生成する符号生成手段と
   を有し、
   前記入力画像を構成するレイヤ画像は、注目画素の画素値及び前記選択手段によって選択された参照情報によって位置が示される画素のうち他のレイヤ画像に含まれる画素の画素値が一致する領域である透明領域と、透明領域以外の領域である非透明領域とを含み、
   前記符号生成手段は、前記透明領域及び前記非透明領域の境界において、注目画素及び同一のレイヤ画像に含まれる他の画素が前記透明領域及び前記非透明領域のいずれにあるかどうかに応じて、注目画素の画素値を注目画素の符号データとする
   符号化装置。

Images