WO2012073644A1 - 画像処理装置及び画像処理方法 - Google Patents

Abstract

前フレームで生成された画像データの圧縮誤差が出力画像データに及ぼす影響を軽減する画像処理装置を提供する。画像処理装置は、入力画像データＤＩに基づき圧縮誤差予測値ＥＲＲを生成し、圧縮誤差の出現傾向に基づき入力画像データＤＩの代替画像データＤＩＡを生成し、圧縮誤差予測値ＥＲＲに基づき入力画像データＤＩまたは代替画像データＤＩＡを選択して現画像データＤＣとし、現画像データＤＣと状態画像データＤＲに基づき次状態画像データＤＰを生成し、次状態画像データＤＰを圧縮して圧縮状態画像データＤＰＣを生成し、圧縮状態画像データをフレームメモリ１８に格納し、フレームメモリ１８から圧縮状態画像データＤＰＣを読み出し伸張して状態画像データＤＲを生成し、現画像データＤＣと状態画像データＤＲに基づき出力画像データＤＱを生成する。

Description

画像処理装置及び画像処理方法

　本発明は、画像処理装置及び画像処理方法に関し、特に、所定の画像データを状態画像データとして、データ圧縮処理を施してフレームメモリに格納し、次フレームのデータ処理を行うためにフレームメモリから読み出し、データ伸長処理を施して使用する画像処理装置及び画像処理方法に関する。

　画像処理装置には、現在の画像データ入力だけでなく、これまでの画像データ入力の処理の結果生じた状態に依存して画像入力データのデータ処理を行い、出力画像データを生成するものがある。このような画像処理装置では、当該処理の結果生じた状態を表すデータを状態画像データとして生成し、それをフレームメモリと呼ばれる画像メモリに一旦格納して、次フレームのデータ処理のために使用する（例えば、下記特許文献１参照）。

　一方、近年の急速な画像データの高精細化や高速処理化に伴って、デバイスやシステムが処理すべき画像データ量は爆発的に増加の一途を辿っている。それに従って必要となるフレームメモリサイズやフレームメモリへのデータ転送能力も増加し、現実的な回路での実現が困難になりつつある。そのため、フレームメモリに格納するデータ量の削減が非常に重要となっている。

　データ量の削減方法として、一般にフレームメモリに格納する画像データを符号化して圧縮する手法が採用される。図５は、入力画像データから状態画像データを生成し、当該状態画像データを圧縮してフレームメモリに格納し、次のフレームの処理で伸張した状態画像データを使用して出力画像データ生成を行う典型的な画像処理装置の概略構成を示すブロック図である。

　フレームメモリを対象とした画像圧縮は従来に様々な方法が提案され特許としても開示されている。このような画像圧縮手法は大別すると可逆圧縮手法と非可逆圧縮が存在する。前者はロスレス圧縮とも呼ばれ、圧縮して伸張すると情報量のロスなしに元のデータを復元することができる。後者はロッシー圧縮と呼ばれ、圧縮して伸張しても元のデータを復元できる保証はなく、元のデータと圧縮・伸張後のデータの間には誤差が生ずる。これを圧縮誤差と呼ぶ。ロスレス圧縮では圧縮誤差は０であるが、一般にロッシー圧縮の方が圧縮率は高いため、フレームメモリ量を大きく削減したい場合にはロッシー圧縮が用いられる。下記特許文献２には、ロッシー圧縮の一つの手法として、画像入力データを符号化する手段（ＰＣＭ処理）と画像入力データを差分符号化する手段（ＤＰＣＭ処理）のうち、信号劣化の少ない符号化手段を選択することにより，画質劣化を軽減除去する装置が開示されている。本発明が対象とする画像処理装置は、例えば下記特許文献２に開示された装置を画像圧縮手段と画像伸張手段として用いて、図５のように構成することができる。

　図５に示す画像処理装置において、圧縮誤差は、状態画像データを圧縮してフレームメモリに格納し、次フレームのデータ処理時にフレームメモリに格納された状態画像データを伸張するときに生じる。圧縮誤差は画像圧縮手段や画像伸張手段の処理方法によって決まり、小さい方が望ましく後段での正確な処理が期待できる。

特開２００７－５２１２７号公報 特開２０１０－４５１４号公報

　ロッシー圧縮による圧縮誤差をできるだけ小さくすることは様々な圧縮技術における課題であるが、限界がある。例えば図５に示す画像処理装置おいて、画像伸張手段によって生成された状態画像データに圧縮誤差が生じた場合、出力画像データ生成手段によってその圧縮誤差が増幅され、出力画像データが期待するデータから大きく外れてしまう虞がある。また、次のフレームで参照される状態画像データと、圧縮誤差の増幅された出力画像データによって駆動される結果生じる実際の状態画像データとの間に、圧縮誤差に起因する階調値の乖離が生じ、フレームを更新する毎に累積されるという問題がある。

　本発明は、上記の問題点に鑑みてなされたものであり、その目的は、フレームメモリに格納される画像データに生じる圧縮誤差が出力画像データに及ぼす影響を軽減可能な画像処理装置および画像処理方法を提供することにある。

　上記目的を達成するため、本発明は、現画像データと状態画像データに基づいて次フレーム処理時に使用する次状態画像データを生成する状態画像データ生成手段と、前記次状態画像データを圧縮して圧縮状態画像データを生成する画像圧縮手段と、前記圧縮状態画像データを格納するフレームメモリと、前フレーム処理時に格納された前記圧縮状態画像データを前記フレームメモリから読み出して伸張し、前記状態画像データを生成する画像伸張手段と、前記現画像データと前記状態画像データに基づいて出力画像データを生成する出力画像データ生成手段と、前記画像圧縮手段と前記画像伸張手段によって生じる圧縮誤差の圧縮誤差予測値を入力画像データに基づいて生成する圧縮誤差予測手段と、前記圧縮誤差の出現傾向に基づいて前記入力画像データに対する代替画像データを生成する代替画像データ生成手段と、前記入力画像データと前記代替画像データの何れか一方を選択して前記現画像データとする現画像データ選択手段と、を備えることを特徴とする画像処理装置を提供する。

　更に、上記目的を達成するため、本発明は、現画像データと状態画像データに基づいて次フレーム処理時に使用する次状態画像データを生成する状態画像データ生成工程と、前記次状態画像データを圧縮して圧縮状態画像データを生成する画像圧縮工程と、フレームメモリに前記圧縮状態画像データを格納する格納工程と、前フレーム処理時に格納された前記圧縮状態画像データを前記フレームメモリから読み出して伸張し、前記状態画像データを生成する画像伸張工程と、前記現画像データと前記状態画像データに基づいて出力画像データを生成する出力画像データ生成工程と、前記画像圧縮工程と前記画像伸張工程によって生じる圧縮誤差の圧縮誤差予測値を入力画像データに基づいて圧縮誤差予測工程と、前記圧縮誤差の出現傾向に基づいて前記入力画像データに対する代替画像データを生成する代替画像データ生成工程と、前記入力画像データと前記代替画像データの何れか一方を選択して前記現画像データとする現画像データ選択工程と、を備えることを特徴とする画像処理方法を提供する。

　更に、上記特徴の画像処理装置または方法は、前記圧縮誤差予測手段または工程が、前記入力画像データの各画素データについて、前記状態画像データ生成手段または工程と前記画像圧縮手段または工程と前記画像伸張手段または工程の各処理内容に基づき、前記状態画像データの各画素データの前記画像圧縮手段または工程と前記画像伸張手段または工程による圧縮及び伸張処理後と当該圧縮及び伸張処理前の差分を、前記圧縮誤差予測値として算出することが好ましい。

　更に、上記特徴の画像処理装置または方法は、前記代替画像データ生成手段または工程が、前記入力画像データの各画素データについて、前記状態画像データ生成手段または工程と前記画像圧縮手段または工程と前記画像伸張手段または工程の各処理内容に基づいて定まる所定の方式によって、前記代替画像データの各画素データを生成することが好ましい。

　更に、上記特徴の画像処理装置または方法は、前記代替画像データ生成手段または工程が、前記入力画像データの各画素データについて、前記入力画像データの各画素データについて、前記画像圧縮手段または工程と前記画像伸張手段または工程による圧縮及び伸張処理による圧縮誤差によって生じる前記次状態画像データと前記状態画像データ間の各画素データのデータ値の増減に応じて、前記入力画像データの各画素データに対してデータ値を増加或いは減少させる補正を施して、前記代替画像データの各画素データを生成することが好ましい。

　更に、上記特徴の画像処理装置または方法は、前記現画像データ選択手段または工程が、前記入力画像データの画素データ毎に、前記圧縮誤差予測値が所定の範囲内の場合に、前記入力画像データを選択し、前記圧縮誤差予測値が前記所定の範囲外の場合に、前記代替画像データを選択することが好ましい。

　上記特徴の画像処理装置または方法によれば、状態画像データ生成手段または工程、画像圧縮手段または工程、画像伸張手段または工程、出力画像生成手段または工程における各処理内容が予め分かっているため、入力画像データの各画素データの隣接するフレーム間での変動が小さい場合には、当該処理内容に基づいて前フレーム処理時の圧縮された状態画像データに対する圧縮誤差を現フレーム処理時に或る程度予測することができ、更には、出力画像データに対する圧縮誤差の影響を或る程度予測することができるので、入力画像データを代替画像データに置き換えることで当該圧縮誤差の影響を軽減できる場合には、当該置き換えを行うことで、画像圧縮手段または工程、画像伸張手段または工程において圧縮誤差自体の軽減を図ることなく、つまり、データ圧縮率を犠牲にせず、出力画像データに対する圧縮誤差の影響を軽減することが可能になる。

　ところで、状態画像データ生成手段または工程において生成される次状態画像データは、本来、出力画像生成手段または工程で生成された出力画像データによって駆動される各画素の次フレームにおける状態（例えば階調値）を予測したものである。ここで、前フレームまでのデータ処理時において、出力画像データの生成に使用した状態画像データに圧縮誤差が重畳されていなかったと仮定し、現フレームにおける出力画像データの生成に使用した状態画像データに圧縮誤差が重畳されたとすると、現フレームにおける出力画像データには当該圧縮誤差の影響が含まれる。そして、現フレームで生成された次状態画像データは、圧縮誤差を含む状態画像データに基づいて生成された出力画像データで駆動された場合の各画素の次フレームにおける状態を予測するものであるが、実際は、出力画像データで駆動される前の現フレームにおける各画素の状態は、圧縮誤差を含まない正しい値であるので、同じ出力画像データによって駆動されることで、次状態画像データで示されるデータ値とは異なる状態となる。従って、仮に次状態画像データの算出過程において状態画像データに重畳した圧縮誤差が直接伝搬されなくても、出力画像データに圧縮誤差が重畳されることで、各画素の次フレームにおける状態（便宜的に、「実際の次状態画像データ」と称す）は、当該出力画像データにより圧縮誤差の影響を受けることになり、状態画像データ生成手段または工程において生成される次状態画像データとの間に、圧縮誤差に起因する乖離が発生する。更に、圧縮誤差は、実際には各フレームで発生し得るため、当該乖離が、フレーム毎に累積することになり、結果として、状態画像データにも実質的に圧縮誤差が伝搬し、累積していくことになる。しかしながら、上記特徴の画像処理装置または方法によれば、出力画像データに対する圧縮誤差の影響が軽減される結果、状態画像データに対する上述の圧縮誤差の伝搬及び累積が抑制される。

本発明に係る画像処理装置の一実施形態の概略構成を示すブロック図 本発明に係る画像処理装置の実施例１における処理結果及び処理性能を示す図 本発明に係る画像処理装置の実施例２における処理結果及び処理性能を示す図 本発明に係る画像処理装置の実施例３における処理結果及び処理性能を示す図 次状態画像データに対して圧縮伸長処理を行う従来の画像処理装置の一典型例の概略構成を示すブロック図 圧縮伸長処理を行わない画像処理装置における処理結果を示す図 図５に示す従来の画像処理装置における処理結果及び処理性能を示す図

　本発明に係る画像処理装置（以下、適宜「本発明装置」という。）及び画像処理方法（以下、適宜「本発明方法」という。）の実施の形態につき、図面に基づいて説明する。尚、図５に示す従来の画像処理装置との対比を容易にするために、当該従来の画像処理装置と共通する構成要素には共通の符号を付して説明する。

　図１は、本発明装置の概略構成を示すブロック図である。図１に示すように、本発明装置１は、入力端子ＩＮ、圧縮誤差予測手段１１、代替画像データ生成手段１２、現画像データ選択手段１３、出力画像データ生成手段１４、状態画像データ生成手段１５、画像圧縮手段１６、画像伸張手段１７、フレームメモリ１８、出力端子ＯＵＴを備える。また、本発明方法は、本発明装置の上記各手段によって実行される以下の各工程を備える。

　入力端子ＩＮは、画像処理を行う対象となる入力画像データＤＩの入力を受け付ける端子である。入力端子ＩＮより入力された入力画像データＤＩは、圧縮誤差予測手段１１、代替画像データ生成手段１２、並びに現画像データ選択手段１３に送出される。

　圧縮誤差予測手段１１は、入力画像データＤＩの各画素データについて、状態画像データ生成手段１５、画像圧縮手段１６、及び画像伸張手段１７の各処理内容に基づいて、圧縮誤差予測値ＥＲＲの各画素データを算出し、その結果を代替画像データ生成手段１２と現画像データ選択手段１３に送出する（圧縮誤差予測工程）。

　代替画像データ生成手段１２は、入力画像データＤＩの各画素データに対して、所定の補正処理を行って代替画像データＤＩＡを算出し、結果を現画像データ選択手段１３に送出する（代替画像データ生成工程）。尚、所定の補正処理については後述の実施例において詳述する。

　現画像データ選択手段１３は、入力画像データＤＩの画素データ毎に、圧縮誤差予測値ＥＲＲに基づいて、入力画像データＤＩと代替画像データＤＩＡの何れか一方を現画像データＤＣとして選択して、出力画像データ生成手段１４と状態画像データ生成手段１５に出力する（現画像データ選択工程）。

　出力画像データ生成手段１４は、現画像データＤＣと後述の画像伸張手段１７から出力される状態画像データＤＲから、現画像データＤＣの各画素データに対して所定の補正処理を施した出力画像データＤＱを算出し、結果を出力端子ＯＵＴに出力する（出力画像データ生成工程）。

　状態画像データ生成手段１５は、現画像データＤＣと画像伸張手段１７から出力される状態画像データＤＲから次状態画像データＤＰを算出し、結果を画像圧縮手段１６に送出する（状態画像データ生成工程）。

　画像圧縮手段１６は、次状態画像データＤＰを所定の画像圧縮方法で符号化し（画像圧縮工程）、その結果を圧縮状態画像データＤＰＣとしてフレームメモリ１８に書き込む（格納工程）。フレームメモリ１８に書き込まれた圧縮状態画像データＤＰＣは、１フレーム分の処理期間中保持される。

　画像伸張手段１７は、フレームメモリ１８に保持されている圧縮状態画像データＤＰＣを入力として読み出し、画像圧縮手段１６の画像圧縮方法に対応した画像伸張方法によって伸張し、その結果を状態画像データＤＲとして、次フレーム処理用に現画像データ選択手段１３と出力画像データ生成手段１４に送出する（画像伸張工程）。

　次に、上記構成の本発明装置１による画像処理（本発明方法）の実施例（実施例１～３）につき、具体的に数値例を用いて詳細に説明する。

　以下の各実施例では、取り扱う画像データを階調値が１０ｂｉｔの４色（Ｒ（赤），Ｇ（緑），Ｂ（青），Ｙ（黄））のフル・ハイビジョン画像（１９２０×１０８０画素）を想定する。以降、説明の明確化のために、図１の各画像データに対して画像データ全体を大文字で表記し、画像データ全体の任意の画素データを小文字で表記する。各画素データは、座標と色を指定して特定される。例えば、入力画像データ全体はＤＩと表記され、入力画像データの（ｘ，ｙ）座標のＲ画素の画素データはｄｉ＝ＤＩ（ｘ，ｙ，Ｒ）と表記される。同様に、状態画像データの（ｘ，ｙ）座標のＧ画素の画素データはｄｒ＝ＤＲ（ｘ，ｙ，Ｇ）と表記される。このとき、０≦ｘ≦１９１９、０≦ｙ≦１０７９であり、色はＲ／Ｇ／Ｂ／Ｙを取り得る。各画素データは０～１０２３の階調値（正の整数）を取り得る。また、圧縮誤差予測値ＥＲＲについても、各画像データと同様に、圧縮誤差予測値全体は大文字ＥＲＲで表記され、例えばＢ画素の圧縮誤差予測値の画素データはｅｒｒ＝ＥＲＲ（ｘ，ｙ，Ｂ）と表記される。

　本発明装置１の各手段は、処理対象となる画像データに対して画素単位で逐次処理を行うため、各画像データ及び圧縮誤差予測値の画素データ（ｄｉ，ｄｉａ，ｄｃ，ｄｐ，ｄｐｃ，ｄｒ，ｄｑ，ｅｒｒ）が処理対象となる。

　また、出力画像データ生成手段１４のデータ処理関数をＦ（ｄｃ，ｄｒ）、状態画像データ生成手段１５のデータ処理関数をＧ（ｄｃ，ｄｒ）と表記し、本実施例では、説明の簡単化のために、一例として、以下の数１及び数２に示すデータ処理関数を使用する。尚、数２中の［］で示す演算は、［］内の数値を、小数点以下を切り捨てて整数化する処理であり、後述する数３においても同様である。

　（数１）
　Ｆ（ｄｃ，ｄｒ）＝１０２３　　　　：２×ｄｃ－ｄｒ＞１０２３
　　　　　　　　　＝２×ｄｃ－ｄｒ　：０≦２×ｄｃ－ｄｒ≦１０２３
　　　　　　　　　＝０　　　　　　　：２×ｄｃ－ｄｒ＜０

　（数２）
　Ｇ（ｄｃ，ｄｒ）＝［（１０２４＋ｄｒ）／２］　：２×ｄｃ－ｄｒ＞１０２３
　　　　　　　　　＝ｄｃ　　　　　　　　　　　　：０≦２×ｄｃ－ｄｒ≦１０２３
　　　　　　　　　＝［（１＋ｄｒ）／２］　　　　：２×ｄｃ－ｄｒ＜０

　上記数１及び数２に例示するデータ処理関数は、液晶表示装置等で動画像の応答速度を向上させるためのオーバーシュート処理（ＯＳ処理、オーバードライブ処理とも呼ばれる）等で用いられる関数に近いものである。ＯＳ処理は液晶画素の応答をより高速に追随させるため、ドライブ前の液晶画素の状態（階調値）と現フレームで表示すべき階調値に基づいて液晶画素をドライブする出力値を決める処理である。このとき、液晶の応答速度が足りない場合には、出力する値を表示すべき階調値より高く或いは低く強調してドライブすることによって必要とする応答時間内（例えば毎秒２４０枚表示であれば１／２４０秒の間）に階調値を表示すべき目標値まで変化させる。この出力値を決める関数が数１に例示した関数Ｆ（ｄｃ，ｄｒ）である。そして、このドライブの結果、対応する液晶画素がどのような階調値になるかを予測する関数が数２に例示した関数Ｇ（ｄｃ，ｄｒ）である。関数Ｇ（ｄｃ，ｄｒ）の値はＯＳ処理によっても応答が間に合わない場合には表示すべき階調値とは異なる値を取る。尚、上記２つのデータ処理関数は、色別に異なる関数となる可能性があるが、本実施例では各色で同じ関数とする。

　また、画像圧縮手段１６の符号化処理関数をＥｎｃ（ｄｐ）、画像伸張手段１７の復号化処理関数をＤｅｃ（ｄｐｃ）と表記し、本実施例では、一例として、以下の数３及び数４に示すデータ処理関数を使用する。

　（数３）
　Ｅｎｃ（ｄｐ）＝［ｄｐ／１６］

　（数４）
　Ｄｅｃ（ｄｐｃ）＝ｄｐｃ×１６

　数３及び数４に示すデータ圧縮及び伸長処理によれば、画像圧縮手段１６は、１０ｂｉｔの次状態画像データＤＰの画素データｄｐの下位４ｂｉｔを切り捨てて６ｂｉｔデータに量子化することにより、次状態画像データＤＰを圧縮して圧縮状態画像データＤＰＣとし、画像伸張手段１７は、６ｂｉｔの圧縮状態画像データＤＰＣの画素データｄｐｃに対して下位側に４ｂｉｔを追加し、当該下位４ビットに０を埋めて１０ｂｉｔデータに戻し、圧縮状態画像データＤＰＣを伸長して状態画像データＤＲとする。従って、本実施例の画像圧縮手段１６と画像伸張手段１７は、元の次状態画像データＤＰの各画素データｄｐの下位４ｂｉｔの情報が欠落するので、ロッシー圧縮の圧縮手段と伸張手段に該当する。

　本実施例では、状態画像データ生成手段１５、画像圧縮手段１６、及び画像伸張手段１７の各処理内容は、夫々上記数２、数３、数４によって予め設定されているため、圧縮誤差予測手段１１は、現フレームの入力画像データＤＩの各画素データｄｉに対して、例えば、数２、数３、数４の演算を順次行った結果の状態画像データＤＲと、数３、数４の圧縮及び伸長処理を行わなかった場合の結果ｄｒ０との差分Δｄｒ（＝ｄｒ－ｄｒ０）を各画素データについて求めて、圧縮誤差予測値ＥＲＲの画素データｅｒｒとする。本実施例では、現フレームの入力画像データＤＩの各画素データｄｉに基づいて差分Δｄｒを算出して、１フレーム前に生成された状態画像データＤＲの圧縮誤差として近似的に使用するため、隣接するフレーム間で入力画像データＤＩの各画素データｄｉの値が近似していることを前提としている。一方、隣接するフレーム間で入力画像データＤＩの変化が緩やかな場合ほど、各画素データｄｉの変化に対して圧縮誤差が相対的に大きくなり、出力画像データＤＱに対する圧縮誤差の影響、及び、状態画像データＤＲにおける圧縮画像の累積が顕著に現れる。他方、隣接するフレーム間で入力画像データＤＩの変化が大きい場合は、各画素データｄｉの変化に対して圧縮誤差が相対的に小さくなり、出力画像データＤＱに対する圧縮誤差の影響、及び、状態画像データＤＲにおける圧縮画像の累積は、顕著には視覚されない。従って、現フレームの入力画像データＤＩに基づいて算出された差分Δｄｒが実質的に圧縮誤差予測値ＥＲＲとして使用できる。

　出力画像データ生成手段１４のデータ処理関数Ｆ（ｄｃ，ｄｒ）は、状態画像データＤＲと現画像データＤＣの両方を入力データとして受け付けるため、状態画像データＤＲの画素データｄｒに圧縮誤差Δｄｒが重畳されることで、Ｆ（ｄｃ，ｄｒ）の処理結果ｄｑに何らかの変動Δｄｑが生じる。本発明装置では、当該変動Δｄｑを軽減するために、状態画像データＤＲ側の圧縮誤差を抑制するのではなく、圧縮誤差が大きいと予測される場合に、現フレームの入力画像データＤＩの画素データｄｉを使用せずに、代替画像データ生成手段１２が入力画像データＤＩの画素データｄｉに対して所定の補正処理を施すことにより生成した代替画像データＤＩＡの画素データｄｉａを、現画像データＤＣの画素データｄｃとして使用して、Ｆ（ｄｃ，ｄｒ）の処理時における圧縮誤差の影響を実質的に抑制することで、当該変動Δｄｑを軽減する。

　代替画像データ生成手段１２の代替画像データＤＩＡの生成アルゴリズムは、特定のアルゴリズムに限定されるものではないが、出力画像データ生成手段１４、状態画像データ生成手段１５、画像圧縮手段１６、及び画像伸張手段１７の各処理内容に大きく依存し、必ずしも最適解とは限らないが、圧縮誤差、或いは、圧縮誤差が処理結果である出力画像データＤＱに及ぼす影響を効果的に抑制可能な代替画像データＤＩＡの生成アルゴリズムが存在する。具体的には、上記各手段の処理内容が予め分かっているため、当該処理内容による圧縮誤差やその及ぼす影響の出現の仕方の傾向や特徴を予め抽出することで、当該傾向や特徴に適合した代替画像データＤＩＡの生成アルゴリズムを設定することが可能となる。以下、３種類の生成アルゴリズムを、実施例１～３として説明する。実施例１～３の各生成アルゴリズムを、夫々下記の数５～数７に順番に示す。

　（数５）
　ｄｉａ＝ｄｉ－８

　（数６）
　ｄｉａ＝［ｄｉ／１６］×１６＝ｄｉｘ

　（数７）
　ｄｉａ＝（ｄｉ＋［ｄｉ／１６］×１６＋１）／２＝（ｄｉ＋ｄｉｘ＋１）／２

　実施例１の生成アルゴリズムは、入力画像データＤＩの各画素データｄｉから定数８を引算して、代替画像データＤＩＡの各画素データｄｉａとするものである。実施例２の生成アルゴリズムは、入力画像データＤＩの各画素データｄｉに対して、数３及び数４に示す圧縮処理及び伸長処理を順番に施したデータ値（便宜的に、“ｄｉｘ”と記す）を、代替画像データＤＩＡの各画素データｄｉａとするものである。つまり、各画素データｄｉａは、入力画像データＤＩの画素データｄｉから当該画素データｄｉに対する圧縮誤差を引算した値となっている。実施例３の生成アルゴリズムは、入力画像データＤＩの各画素データｄｉと実施例２の生成アルゴリズムで生成された代替画像データＤＩＡの画素データｄｉａ（＝ｄｉｘ）との平均値を代替画像データＤＩＡの各画素データｄｉａとするものである。各実施例の生成アルゴリズムの特徴については、後述の計算例を参照して説明する。

　現画像データ選択手段１３は、入力画像データＤＩの画素データ毎に、圧縮誤差予測値ＥＲＲの画素データｅｒｒに基づいて、入力端子ＩＮより入力された入力画像データＤＩの画素データｄｉと代替画像データ生成手段１２から出力された代替画像データＤＩＡの画素データｄｉａの何れか一方を現画像データＤＣの画素データｄｃとして選択する。本実施例では、単純に圧縮誤差予測値ＥＲＲの画素データｅｒｒの絶対値Ａ（＝｜ｅｒｒ｜）にのみ基づいて上記選択を行う。具体的には、絶対値Ａが所定の閾値ＴＨ以上の場合、代替画像データＤＩＡの画素データｄｉａを選択し、絶対値Ａが閾値ＴＨ未満の場合、入力画像データＤＩの画素データｄｉを選択する。本実施例では、閾値ＴＨを例えば８に設定する。

　実施例１～３の各計算例について説明する。実施例１～３は、代替画像データ生成手段１２の代替画像データＤＩＡの生成アルゴリズムが互いに異なるだけで、代替画像データ生成手段１２以外の各手段の構成は同じである。

　図２～図４に、実施例１～３における各計算例を示す。図２～図４では、表示画面中の任意の１画素に着目し、入力画像データＤＩの当該１画素の画素データｄｉに対してフレーム毎に逐次処理した場合の図１に示す各データ値の様子を示している。図２～図４の最上行のフレームインデックスは、連続したフレームの処理順を示しており、１フレーム目から１６フレーム目までを例示している。図２～図４の各行の左端に行を特定するための行インデックス（０）～（１１）を便宜的に付している。インデックス（０）は最上行である。以下、最上行を０行目として、以下、行インデックス（１）～（１１）を１行目～１１行目と称す。

　図２～図４の１行目と３行目から８行目は、図１に示す各画素データのデータ値を示す。各行がどの画素データに対応しているかは、左から３番目のカラムに表示した各画素データの名称と３番目のカラムに表示した各画素データの記号により識別できる。また、２行目は、実施例２及び３の代替画像データＤＩＡの生成アルゴリズム（数６、数７参照）で使用するデータ値ｄｉｘを示す。また、７行目の状態画像データＤＲの画素データｄｒは、６行目の次状態画像データＤＰの画素データｄｐに対して圧縮及び伸長処理を行った値、つまり、次フレームのデータ処理に使用する画素データｄｒを示している。

　９行目は、「実際の次状態画像データ」の各画素データ（便宜的に“ｄｐａ”と記す）を示す。上述の如く、状態画像データ生成手段または工程において生成される次状態画像データＤＰの各画素データｄｐは、本来、出力画像データＤＱによって駆動される各画素の次フレームにおける状態（例えば階調値）を予測したものであるが、出力画像データＤＱに圧縮誤差の影響が重畳されることで、実際の各画素の次フレームにおける状態（画素データｄｐａ）との間で齟齬が生じる。具体的には、画素データｄｐａは、関数Ｆ（ｄｃ，ｄｒ）の逆関数Ｆ’（ｄｑ、ｄｒ）の変数ｄｒに１フレーム前の画素データｄｐａを代入して算出される。

　また、１０行目は、９行目に示す「実際の次状態画像データ」の画素データｄｐａと６行目に示す次状態画像データＤＰの画素データｄｐとの差分Δｄｐ（＝ｄｐａ－ｄｐ）を示す。差分Δｄｐは、次状態画像データＤＰに対する圧縮誤差の影響を示している。１１行目は、８行目に示す出力画像データＤＱの画素データｄｑと後述するデータ圧縮及び伸長を行わない場合（比較例１）の出力画像データＤＱ１の画素データｄｑ１との差分Δｄｑを示す。差分Δｄｑは、出力画像データＤＱに対する圧縮誤差の影響を示している。以上、０行目～１１行目の記載項目は、各実施例において共通である。

　次に、図２～図４の各実施例の計算例について考察をする前に、各実施例と対比するために、上記比較例１とデータ圧縮及び伸長を行う図２に示す構成の従来の画像処理装置（比較例２）の各計算例について説明する。比較例１は、図２に示す比較例２の回路構成の画像圧縮手段１６と画像伸張手段１７による圧縮及び伸長処理が実行されない場合に相当する。また、比較例１及び比較例２の出力画像データ生成手段１４と状態画像データ生成手段１５のデータ処理関数は、上記各実施例のデータ処理関数Ｆ（ｄｉ，ｄｒ）、Ｇ（ｄｉ，ｄｒ）と同じである。但し、比較例１及び比較例２では、現画像データＤＣの画素データｄｃは常に入力画像データＤＩの画素データｄｉと等しいため、変数ｄｃに代えて変数ｄｉとする。比較例２の画像圧縮手段１６の符号化処理関数、及び、画像伸張手段１７の復号化処理関数は、上記各実施例の符号化処理関数Ｅｎｃ（ｄｐ）、及び、復号化処理関数Ｄｅｃ（ｄｐｃ）と同じである。

　上記比較例１の計算例を図６に、上記比較例２の計算例を図７に夫々示す。図６及び図７の表記方法は、基本的に図２～図４と同じである。図６の３行目には、図２～図４の１１行目に示す差分Δｄｑの計算に使用される画素データｄｑ１が表示されている。図７の比較例２においても、実施例１～３と同様に圧縮誤差が生じているために、５行目に示す「実際の次状態画像データ」の画素データｄｐａ２が計算される。また、図７の６行目は、５行目に示す「実際の次状態画像データ」の画素データｄｐａ２と２行目に示す次状態画像データＤＰの画素データｄｐとの差分Δｄｐ２（＝ｄｐａ２－ｄｐ２）を示す。差分Δｄｐ２は、比較例２における次状態画像データＤＰ２に対する圧縮誤差の影響を示している。図７の７行目は、４行目に示す出力画像データＤＱ２の画素データｄｑ２と比較例１の出力画像データＤＱ１の画素データｄｑ１との差分Δｄｑ２を示す。差分Δｄｑ２は、出力画像データＤＱ２に対する圧縮誤差の影響を示している。

　図７の７行目に示す差分Δｄｑ２の計算結果より、比較例２の出力画像データＤＱ２の画素データｄｑ２は、常に圧縮誤差の影響の無い場合の本来の値より高くなり、また、６行目に示す差分Δｄｐ２の計算結果より、圧縮誤差の影響が、フレーム処理を繰り返すに従い蓄積されていることが分かる。このことは、数３及び数４に例示した実施例１～３及び比較例２で使用する符号化処理関数Ｅｎｃ（ｄｐ）と復号化処理関数Ｄｅｃ（ｄｐｃ）による圧縮及び伸長処理では、圧縮誤差によって、当該処理後のデータ値が常に処理前以下に低下することと符合する。更に、圧縮誤差によって、当該処理後のデータ値が常に処理前以下に低下することは、実施例１～３において各フレームの圧縮誤差予測値ＥＲＲの画素データｅｒｒが全て負値であることと対応している。従って、実施例１～３では、当該圧縮誤差の影響を相殺するために、何れの実施例においても、代替画像データＤＩＡの各画素データｄｉａが入力画像データＤＩの各画素データｄｉより小さくなるように、画素データｄｉに対して数５～数７に示す各変換処理（補正処理）を行い、画素データｄｉａを算出している。

　先ず、図２と図７より、実施例１の差分Δｄｑと比較例２の差分Δｄｑ２を対比すると、１０フレーム目を除き、差分Δｄｑの絶対値は、差分Δｄｑ２の絶対値以下であり、また、２フレーム目から１５フレーム目までの夫々の平均値も、比較例２が７．２であるのに対して、実施例１では３．６７に低下している。本実施例では、９フレーム目から１３フレーム目に掛けて入力画像データＤＩの画素データｄｉが、５０ずつ増加している。本画像処理装置１では、圧縮誤差予測手段１１が現フレームの画素データｄｉに基づいて圧縮誤差予測値ＥＲＲの画素データｅｒｒを算出しているので、隣接するフレーム間での画素データｄｉの変化が大きいと、画素データｅｒｒに誤差が生じる。この結果、比較例２とは逆に、出力画像データＤＱの画素データｄｑが、圧縮誤差の影響の無い場合の本来の値より低くなる場合が生じる。しかしながら、全体としては、出力画像データＤＱに対する圧縮誤差の影響は軽減されていることが分かる。

　更に、実施例１の差分Δｄｐと比較例２の差分Δｄｐ２を対比すると、各フレームで、差分Δｄｐは差分Δｄｐ２以下となっており、２フレーム目から１５フレーム目までの夫々の平均値も、比較例２が７．６であるのに対して、実施例１では４．３３に低下している。従って、次状態画像データＤＰの画素データｄｐに対しても圧縮誤差の影響は軽減され、更には、圧縮誤差の累積も抑制されていることが分かる。

　次に、図３と図７より、実施例２の差分Δｄｑと比較例２の差分Δｄｑ２を対比すると、１０フレーム目～１３フレーム目を除き、差分Δｄｑの絶対値は、差分Δｄｑ２の絶対値以下であり、また、２フレーム目から１５フレーム目までの夫々の平均値も、比較例２が７．２であるのに対して、実施例２では７と僅かに低下している。実施例２では、実施例１と比較して、出力画像データＤＱに対する圧縮誤差の影響の軽減効果は小さいことが分かる。

　しかしながら、実施例２の差分Δｄｐと比較例２の差分Δｄｐ２を対比すると、各フレームで、差分Δｄｐは差分Δｄｐ２以下となっており、２フレーム目から１５フレーム目までの夫々の平均値は、比較例２が７．６であるのに対して、実施例２では３に低下している。従って、次状態画像データＤＰの画素データｄｐに対して、実施例１よりも圧縮誤差の影響は軽減され、更には、圧縮誤差の累積もより効果的に抑制されていることが分かる。

　次に、図４と図７より、実施例３の差分Δｄｑと比較例２の差分Δｄｑ２を対比すると、全てのフレームにおいて、差分Δｄｑの絶対値は、差分Δｄｑ２の絶対値以下であり、また、２フレーム目から１５フレーム目までの夫々の平均値も、比較例２が７．２であるのに対して、実施例３では２．３３にまで低下している。実施例３では、実施例１と比較して、出力画像データＤＱに対する圧縮誤差の影響の軽減効果は非常に大きいことが分かる。

　また、実施例３の差分Δｄｐと比較例２の差分Δｄｐ２を対比すると、各フレームで、差分Δｄｐは差分Δｄｐ２以下となっており、２フレーム目から１５フレーム目までの夫々の平均値は、比較例２が７．６であるのに対して、実施例２では５．１３に低下している。従って、次状態画像データＤＰの画素データｄｐに対して、圧縮誤差の影響は軽減され、更には、圧縮誤差の累積もより効果的に抑制されていることが分かる。但し、画素データｄｐに対する圧縮誤差の影響の軽減効果は、実施例１及び実施例２よりも小さい。

　以上、実施例１～３の各計算例について、比較例２と対比して詳細に考察した。何れの実施例においても程度の差はあるものの、出力画像データＤＱ及び次状態画像データＤＰの各画素データｄｑ、ｄｐに対して、圧縮誤差の影響が軽減されていることが分かった。また、代替画像データＤＩＡの生成アルゴリズムの違いによって、出力画像データＤＱと次状態画像データＤＰの何れに対してより効果的に圧縮誤差の影響の軽減が図れるかが異なることが分かる。

　以上、本発明装置１による画像処理（本発明方法）の実施例につき、具体的な計算例に基づいて詳細に説明したが、本発明装置及び方法は、上記各実施例で説明した具体的な処理内容に限定されるものではない。例えば、本発明装置及び方法で取り扱う画像データの画素数、階調値、カラーシステム（表色形式）は、上記各実施例のものに限定されるものではない。更に、出力画像データ生成手段１４及び状態画像データ生成手段１５のデータ処理内容も、上記数１及び数２に示すデータ処理関数Ｆ（ｄｃ，ｄｒ）、Ｇ（ｄｃ，ｄｒ）に限定されるものではない。また、データ処理関数Ｆ（ｄｃ，ｄｒ）は、上記各実施例では、オーバーシュート処理用のものであったが、他の補正処理用のデータ処理関数であっても良い。

　また、上記各実施例では、画像圧縮手段１６の符号化処理関数及び画像伸張手段１７の復号化処理関数として、上記数３及び数４に示すデータ処理関数Ｅｎｃ（ｄｐ）、Ｄｅｃ（ｄｐｃ）を使用する場合を例に説明したが、夫々のデータ処理関数は、上記数３及び数４に示すデータ処理関数に限定されるものではない。

　また、上記各実施例では、代替画像データ生成手段１２の代替画像データＤＩＡの生成アルゴリズムとして、上記数５～数７に示す３種類のものを使用する場合を例に説明したが、当該生成アルゴリズムは、上記数５～数７に示すものに限定されるものではない。上述のように、代替画像データＤＩＡの生成アルゴリズムは、出力画像データ生成手段１４、状態画像データ生成手段１５、画像圧縮手段１６、及び画像伸張手段１７の各処理内容に大きく依存するため、当該処理内容による圧縮誤差やその及ぼす影響の出現の仕方の傾向や特徴に適合するように設定することが重要となる。例えば、上記各実施例で使用する圧縮伸長処理では、圧縮誤差によって、当該処理後のデータ値が常に処理前以下に低下するため、上記各実施例では、代替画像データＤＩＡの各画素データｄｉａが入力画像データＤＩの各画素データｄｉより小さくなるような生成アルゴリズムを使用した。従って、使用する圧縮伸長処理の圧縮誤差によって、当該処理後のデータ値が常に処理前以上に増加する場合は、代替画像データＤＩＡの各画素データｄｉａが入力画像データＤＩの各画素データｄｉより大きくなるような生成アルゴリズムを使用することが重要となる。更に、使用する圧縮伸長処理の圧縮誤差によって、当該処理後のデータ値が処理前と比較して増減する場合には、例えば、当該増減情報（１ビット／画素）を次フレームでの代替画像データＤＩＡの生成処理のためにフレームメモリの一部に記憶することで、当該増減情報に基づいた生成アルゴリズムの使用が可能となる。

　また、上記実施形態では、本発明装置１の各手段の具体的な回路構成については詳細に説明しなかったが、各手段は、その一部または全部を、周知のマイクロプロセッサ等の演算処理装置を用いて、各手段における演算処理を、コンピュータプログラムを実行することにより実現するソフトウェア手段として構成しても良く、更には、その一部または全部を、周知なロジック回路やメモリ回路を用いたハードウェア手段として構成しても良い。

　１：　　画像処理装置
　１１：　圧縮誤差予測手段
　１２：　代替画像データ生成手段
　１３：　現画像データ選択手段
　１４：　出力画像データ生成手段
　１５：　状態画像データ生成手段
　１６：　画像圧縮手段
　１７：　画像伸張手段
　１８：　フレームメモリ
　ＤＣ：　現画像データ
　ＤＩ：　入力画像データ
　ＤＩＡ：　代替画像データ
　ＤＰ：　次状態画像データ
　ＤＰＣ：　圧縮状態画像データ
　ＤＲ：　状態画像データ
　ＤＱ：　出力画像データ
　ＥＲＲ：　圧縮誤差予測値
　ＩＮ：　入力端子
　ＯＵＴ：　出力端子
 

Claims (10)

1. 　現画像データと状態画像データに基づいて次フレーム処理時に使用する次状態画像データを生成する状態画像データ生成手段と、
   　前記次状態画像データを圧縮して圧縮状態画像データを生成する画像圧縮手段と、
   　前記圧縮状態画像データを格納するフレームメモリと、
   　前フレーム処理時に格納された前記圧縮状態画像データを前記フレームメモリから読み出して伸張し、前記状態画像データを生成する画像伸張手段と、
   　前記現画像データと前記状態画像データに基づいて出力画像データを生成する出力画像データ生成手段と、
   　前記画像圧縮手段と前記画像伸張手段によって生じる圧縮誤差の圧縮誤差予測値を入力画像データに基づいて生成する圧縮誤差予測手段と、
   　前記圧縮誤差の出現傾向に基づいて前記入力画像データに対する代替画像データを生成する代替画像データ生成手段と、
   　前記入力画像データと前記代替画像データの何れか一方を選択して前記現画像データとする現画像データ選択手段と、を備えることを特徴とする画像処理装置。
2. 　前記圧縮誤差予測手段は、前記入力画像データの各画素データについて、前記状態画像データ生成手段と前記画像圧縮手段と前記画像伸張手段の各処理内容に基づき、前記状態画像データの各画素データの前記画像圧縮手段と前記画像伸張手段による圧縮及び伸張処理後と当該圧縮及び伸張処理前の差分を、前記圧縮誤差予測値として算出することを特徴とする請求項１に記載の画像処理装置。
3. 　前記代替画像データ生成手段は、前記入力画像データの各画素データについて、前記状態画像データ生成手段と前記画像圧縮手段と前記画像伸張手段の各処理内容に基づいて定まる所定の方式によって、前記代替画像データの各画素データを生成することを特徴とする請求項１または２に記載の画像処理装置。
4. 　前記代替画像データ生成手段は、前記入力画像データの各画素データについて、前記画像圧縮手段と前記画像伸張手段による圧縮及び伸張処理による圧縮誤差によって生じる前記次状態画像データと前記状態画像データ間の各画素データのデータ値の増減に応じて、前記入力画像データの各画素データに対してデータ値を増加或いは減少させる補正を施して、前記代替画像データの各画素データを生成することを特徴とする請求項１～３の何れか１項に記載の画像処理装置。
5. 　前記現画像データ選択手段は、前記入力画像データの画素データ毎に、前記圧縮誤差予測値が所定の範囲内の場合に、前記入力画像データを選択し、前記圧縮誤差予測値が前記所定の範囲外の場合に、前記代替画像データを選択することを特徴とする請求項１～４の何れか１項に記載の画像処理装置。
6. 　現画像データと状態画像データに基づいて次フレーム処理時に使用する次状態画像データを生成する状態画像データ生成工程と、
   　前記次状態画像データを圧縮して圧縮状態画像データを生成する画像圧縮工程と、
   　フレームメモリに前記圧縮状態画像データを格納する格納工程と、
   　前フレーム処理時に格納された前記圧縮状態画像データを前記フレームメモリから読み出して伸張し、前記状態画像データを生成する画像伸張工程と、
   　前記現画像データと前記状態画像データに基づいて出力画像データを生成する出力画像データ生成工程と、
   　前記画像圧縮工程と前記画像伸張工程によって生じる圧縮誤差の圧縮誤差予測値を入力画像データに基づいて圧縮誤差予測工程と、
   　前記圧縮誤差の出現傾向に基づいて前記入力画像データに対する代替画像データを生成する代替画像データ生成工程と、
   　前記入力画像データと前記代替画像データの何れか一方を選択して前記現画像データとする現画像データ選択工程と、を備えることを特徴とする画像処理方法。 
7. 　前記圧縮誤差予測工程は、前記入力画像データの各画素データについて、前記状態画像データ生成工程と前記画像圧縮工程と前記画像伸張工程の各処理内容に基づき、前記状態画像データの各画素データの前記画像圧縮工程と前記画像伸張工程による圧縮及び伸張処理後と当該圧縮及び伸張処理前の差分を、前記圧縮誤差予測値として算出することを特徴とする請求項６に記載の画像処理方法。
8. 　前記代替画像データ生成工程は、前記入力画像データの各画素データについて、前記状態画像データ生成工程と前記画像圧縮工程と前記画像伸張工程の各処理内容に基づいて定まる所定の方式によって、前記代替画像データの各画素データを生成することを特徴とする請求項６または７に記載の画像処理方法。
9. 　前記代替画像データ生成工程は、前記入力画像データの各画素データについて、前記画像圧縮工程と前記画像伸張工程による圧縮及び伸張処理による圧縮誤差によって生じる前記次状態画像データと前記状態画像データ間の各画素データのデータ値の増減に応じて、前記入力画像データの各画素データに対してデータ値を増加或いは減少させる補正を施して、前記代替画像データの各画素データを生成することを特徴とする請求項６～８の何れか１項に記載の画像処理方法。
10. 　前記現画像データ選択工程は、前記入力画像データの画素データ毎に、前記圧縮誤差予測値が所定の範囲内の場合に、前記入力画像データを選択し、前記圧縮誤差予測値が前記所定の範囲外の場合に、前記代替画像データを選択することを特徴とする請求項６～９の何れか１項に記載の画像処理方法。

Images