JPH04220875A - 画像デ−タの符号化装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像デ−タを所定の容
量に高圧縮符号化するための符号化装置に関する。

【０００２】

【従来の技術】画像信号をメモリカ−ド、磁気ディスク
あるいは磁気テ−プなどの記憶装置にデジタルデ−タと
して記憶する場合、そのデ−タ量は膨大なものとなるた
め、多くのフレ−ム画像を限られた記憶容量の範囲で記
録しようとするには、得られた画像信号のデ−タに対し
、何等かの高能率な圧縮を行うことが必要となる。さら
に、デジタル電子スチルカメラなどにおいては、撮影し
た画像を銀塩フィルムの代わりに、メモリカ−ド、磁気
ディスクあるいは磁気テ−プ装置などの記憶媒体にデジ
タルデ−タとして保存するので、１枚のメモリカ−ド、
磁気ディスクあるいは１巻の磁気テ−プ装置に記録でき
る画像の枚数が規定され、この規定枚数分の画像の記録
が保証されなければならず、しかも、デ−タの記録再生
処理に要する時間が短くかつ、一定である必要がある。

【０００３】同様に、デジタルＶＴＲ（ビデオテ−プレ
コ−ダ）、デジタル動画ファイルなどにおいて動画像を
記録する場合も、フレ−ム当たりの画像のデ−タ量に影
響されることなく、所定量のフレ−ムを記録できなけれ
ばならない。すなわち、静止画像であっても、動画像で
あっても、必要なコマ数分を確実に記録できる必要があ
るとともに、デ−タの記録再生処理に要する時間が短く
かつ、一定である必要がある。

【０００４】ところで、高能率な画像デ−タの圧縮方式
として、直交変換符号化と可変長符号化とを組み合わせ
た符号化方法が広く知られている。その代表的なものと
して静止画符号化国際標準化において検討されている方
式がある。

【０００５】以下、この方式についてその概略を説明す
る。まず、画像デ−タを所定の大きさのブロックに分割
し、分割されたブロックごとに直交変換して２次元のＤ
ＣＴ（離散コサイン変換）を行う。次に、各周波数成分
に応じて線形量子化を行い、この量子化された値に対し
可変長符号化としてハフマン符号化を行う。このとき、
直流成分に関しては近傍ブロックの直流成分との差分値
をハフマン符号化する。交流成分はジクザグスキャンと
呼ばれる低い周波数成分から高い周波数成分へのスキャ
ンを行い、無効（値が０）の成分の連続する個数とそれ
に続く有効な成分の値とから２次元のハフマン符号化を
行なう。

【０００６】以上の動作を図３を参照して説明する。ま
ず、（ａ）において、１フレ−ムの画像デ−タ（国際標
準化案で例示されている１フレ−ムの画像は、７２０×
５７６画素）を所定の大きさのブロック（例えば、８×
８の画素よりなるブロックＡ、Ｂ、Ｃ、…）に分割し、
（ｂ）に示すように、この分割されたブロックごとに直
交変換として２次元のＤＣＴ（離散コサイン変換）を行
ない、８×８のマトリックス上に順次格納する。画像デ
−タは２次元平面で眺めてみると、濃淡情報の分布に基
づく周波数情報である空間周波数を有している。

【０００７】したがって、上記ＤＣＴを行なうことによ
り、画像デ−タは直流成分ＤＣと交流成分ＤＣに変換さ
れ、８×８のマトリックス上には原点位置すなわち（０
、０）位置に直流成分ＤＣの値を示すデ−タが、そして
、（０、７）位置には横軸方向の交流成分ＡＣの最大周
波数値を示すデ−タが、（７、０）位置には縦軸方向の
交流成分ＡＣの最大周波数値を示すデ−タが、さらに、
（７、７）位置には斜め方向の交流成分ＡＣの最大周波
数値を示すデ−タがそれぞれ格納され、中間位置ではそ
れぞれの座標位置により関係付けられる方向における周
波数デ−タが、原点側より順次高い周波数のものが出現
する形で格納されることになる。

【０００８】次に、このマトリックスにおける各座標位
置の格納デ−タを、各周波数成分ごとの量子化幅により
割ることにより、各周波数成分に応じた線形量子化を行
ない（ｃ）、この量子化された値に対し可変長符号化と
してハフマン符号化を行なう。このとき、直流成分ＤＣ
に関しては、近傍ブロックの直流成分との差分値をクル
−プ番号（付加ビット数）と付加ビットで表現し、その
グル−プ番号をハフマン符号化し、得られた符号語と付
加ビットを合わせて符号化デ−タとする（ｄ１、ｄ２、
ｅ１、ｅ２）。

【０００９】交流成分ＡＣに関して有効な、すなわち、
値が０でない係数は、グル−プ番号と付加ビットで表現
する。そのため、交流成分ＡＣはジクザグスキャンと呼
ばれる低い周波数成分から高い周波数成分へのスキャン
を行ない、無効、すなわち、値が０の成分の連続する個
数（０のラン数）と、それに続く有効な成分の値のグル
−プ番号とから２次元のハフマン符号化を行ない、得ら
れた符号語と付加ビットを合わせて符号化デ−タとする
。

【００１０】ハフマン符号化は、フレ−ム画像当たりの
上記直流成分ＤＣ及び交流成分ＡＣの各々のデ−タ分布
における発生頻度のピ−クのものを中心として、この中
心のものほど、デ−タビットを少なくし、周辺になるほ
どビット数を多くするようにしてビット割り当てをした
形でデ−タを符号化して符号語を得ることで行なう。以
上がこの方式の基本部分である。

【００１１】しかしながら、この基本部分だけでは、可
変長符号化であるハフマン符号化を用いているために符
号量が画像ごとに一定でなくなってしまう。そこで、符
号量の制御の方法として、本発明者らは次のような方式
を特願平２−１３７２２２号において提案した。すなわ
ち、直交変換と可変長符号化とを組み合わせた圧縮方式
において、発生符号量の制御を行なうために、メモリに
記憶した画像信号をブロックに分割し、この分割された
ブロックごとに直交変換を行なってから、この変換出力
を暫定的な量子化幅で量子化した後、この量子化出力を
可変長符号化するとともに、各ブロックごとの発生符号
量と画像全体の総発生符号量とを算出し、次に前記暫定
的な量子化幅、前記総発生符号量および、目的とする総
符号量とから、新しい量子化幅を予測する。また、前記
各ブロックごとの発生符号量と、前記総発生符号量と、
目的とする総符号量とから、各ブロックごとの割り当て
符号量を計算する。そして、新しい量子化幅を用いて再
び画像メモリの画像信号をブロック分割、直交変換、量
子化、可変長符号化を行なうとともに、各ブロックの発
生符号量が各ブロックの割り当て符号量を越える場合に
は、途中で可変長符号化を打ち切り、次のブロックの処
理に移る。これにより、画像全体の総発生符号量が目的
の設定符号量を越えないように符号量の制御を行なうも
のである。

【００１２】

【発明が解決しようとする課題】上記したように、デジ
タル電子スチルカメラや他のアプリケ−ションなどにお
いては、高能率で画像デ−タの圧縮が行なえることが望
まれる。このような要求を満たす圧縮方式として上記の
国際標準方式があり、この方式においては、例示したよ
うなブロックごとの直交変換と可変長符号化を組み合わ
せた手法では、画像デ−タの圧縮を高能率で行なえるも
のの、可変長符号化を用いているために符号量が一定に
ならず、１枚のメモリカ−ドあるいは磁気ディスクある
いは１本の磁気テ−プなどの記録媒体に記録できる画像
の枚数が不定になるという欠点があった。

【００１３】画像デ−タの記録においては、１枚のメモ
リカ−ドあるいは磁気ディスク装置あるいは１本の磁気
テ−プなどに記録できる画像に枚数が保証されていなけ
ればならない。また、操作性や消費電力の上からデ−タ
圧縮の処理時間はできるだけ短い必要がある。

【００１４】これに対し、上記の特願平２−１３７２２
２号において提案した方式は、符号量を一定にすること
では非常に良好な結果が得られるが、画像信号を記憶す
るためのメモリが必要であり、回路の大きさ、コストや
消費電力が大きくなる。このため、小型化が非常に重要
視される製品や低価格の製品に上記方式を応用すること
は困難であった。近年では、製品が高値でも画像の質を
重視する場合や、画像の質を多少犠牲にしても安価な製
品を望むといった様々なユ−ザのニ−ズがあり、これに
応えるためには上記の方式のようにやや複雑な回路にな
るが高画質の得られる方式だけでなく、画質を多少犠牲
にしても簡単な回路で実現できる方式も必要である。ま
た、この２つの方式は圧縮デ−タに関して相互に再生時
の互換性がなくてはならない。

【００１５】本発明の画像デ−タの符号化装置はこのよ
うな課題に着目してなされたもので、その目的とすると
ころは、画質の損失をできるだけ小さくして、簡単な回
路により短い処理時間内で一定の符号量内に収まるよう
にデ−タを符号化可能な画像デ−タの符号化装置を提供
することにある。

【００１６】

【課題を解決するための手段】上記の課題を解決するた
めに本発明の画像デ−タの符号化装置は、画像デ−タを
ブロックに分割するブロック化手段と、この分割された
ブロックごとに直交変換を行う直交変換手段と、この変
換出力を量子化する量子化手段と、この量子化出力を可
変長符号化する可変長符号化手段と、可変長符号化にお
いて発生した各ブロックごとの符号量を記憶する手段と
、前記各ブロックごとの発生符号量を用いて各ブロック
ごとの割り当て符号量を決定する符号量割り当て手段と
、可変長符号化において発生した総符号量を算出しこれ
を設定符号量と比較する手段とを具備し、前記可変長符
号化において発生した総符号量が設定符号量より大きい
場合は、前記各ブロックごとの発生符号量を用いて各ブ
ロックごとの割り当て符号量を決定し、前記メモリに記
憶された符号化デ−タが割り当てされた割り当て符号量
を越えないように可変長符号を打ち切る手段をさらに具
備する。

【００１７】

【作用】すなわち、本発明においては、記録媒体にデ−
タを記録するときに、目的とする符号量を設定した上で
、まずブロックごとに直交変換を行なってからこの変換
出力を量子化し、この量子化出力を可変長符号化して符
号化されたデ−タをメモリに記録する。この時点で発生
した総符号量を設定符号量と比較し、総符号量が設定符
号量以内であればそこで符号化を終了する。一方、もし
総符号量が設定符号量を越えていた場合には、先の符号
化において発生した各ブロックごとの符号量を用いて各
ブロックごとの割り当て符号量を決定し、前記メモリに
記録された符号化デ−タに対し、割り当てられた符号量
を越えないように各ブロックにおいて可変長符号を打ち
切る処理を追加することで、総符号量が設定符号量以内
になるように制御するものである。

【００１８】

【実施例】以下、図面を参照して本発明に係る画像の符
号化装置を説明する。

【００１９】図２は図１に示す本発明の符号化回路１０
が適用されるデジタル電子スチルカメラ本体（以下、電
子カメラ本体と略す）の構成を示すブロック図である。 ここで、本発明とは直接関係のない電子カメラ本体の機
構は図示及び説明を省略する。図２において、電子カメ
ラ本体１はレンズ２、ＣＣＤなどの撮像素子４、プロセ
ス回路６、Ａ／Ｄ変換器８、符号化回路１０、メモリ１
２、記録媒体１４及びシステムコントロ−ラ１６を具備
する。

【００２０】レンズ２は撮像素子４の前方に配置され、
被写体像を撮像素子上に投影する。撮像素子４により出
力された映像信号はプロセス回路６により色分離、ホワ
イトバランス、ガンマ補正等の処理がなされ、Ａ／Ｄ変
換器８によりデジタル信号に変換される。符号化回路１
０は入力された画像デ−タに圧縮処理を行ない圧縮デ−
タをメモリ１２に出力する。メモリ１２は例えばＦＩＦ
Ｏ（ファ−ストイン・ファ−ストアウト・メモリ）で構
成可能である。圧縮処理が終了したデ−タは記録媒体１
４に記録される。システムコントロ−ラ１６は上記した
各構成要素の制御を行なう。

【００２１】符号化回路１０は図１に示すように、ブロ
ック化回路２０、直交変換回路２２、量子化回路２４、
エントロピ−符号化回路２６、符号出力回路２８、量子
化幅設定回路３０、符号量算出回路３２、符号打切回路
３４、制御回路３６及び符号割当回路３８とを具備する
。ブロック化回路２０は入力される画像デ−タを所定の
サイズのブロックに分割するブロック化処理を行なうも
のである。ここでは、例として、ブロックサイズは８×
８とするが、これに限定されない。

【００２２】このようなブロック化回路は例えば、水平
８ライン分のＲＡＭ（ランダムアクセスメモリ）を輝度
及び色差成分に対応する容量分備えることで構成される
。直交変換回路２２はブロック化処理された画像デ−タ
を、各ブロックごとに直交変換、ここでは例として、Ｄ
ＣＴを行なうものである。

【００２３】量子化回路２４は直交変換回路２２から出
力される直交変換係数に対し、各周波数成分ごとにあら
かじめ設定された各周波数成分ごとの量子化幅を用いて
線形量子化を行なう。エントロピ−符号化回路２６は量
子化された変換係数をエントロピ−符号化するものであ
る。ここではハフマン符号化を使用した例を示す。符号
出力回路２８は符号化された画像デ−タを一定のバス幅
、例えば８ビットに揃えてメモリ１２に出力する制御を
行なう。

【００２４】量子化幅設定回路３０は設定された目的符
号量に対する量子化幅を量子化回路２４に出力する。符
号量算出回路３２は符号化された画像デ−タの符号量を
計算し、符号割当回路３８及び制御回路３６に出力する
。

【００２５】符号打切回路３４は符号化デ−タに対し、
割り当られた符号量を越えないように、各ブロックにお
いて可変長符号を打ち切る処理を行なう。符号割当回路
３８は符号量算出回路３２から与えられた符号量を用い
て、各ブロックごとの割り当て符号量を決定する。

【００２６】制御回路３６はシステムコントロ−ラ１６
から与えられる目的符号量情報と、符号量算出回路３２
からの符号量入力を用いて符号化の過程の進行を制御す
るとともに、符号化回路１０の各構成要素の制御を行な
う。

【００２７】以上のように構成された電子カメラの動作
について説明する。画像の撮影に先立ち、システムコン
トロ−ラ１６から制御回路３６に目的符号量情報が与え
られる。ここで、目的符号量はカメラ固有の値に固定さ
れていても良いし、あるいは、切り替えスイッチにより
所望の値がそのつど選択できるようにされていても良い
。

【００２８】次に、図示せぬシャッタが押されることに
より撮影が開始されると、レンズ２により投影された被
写体像が撮像素子４により映像信号に変換され、プロセ
ス回路６に出力される。プロセス回路６ではこの映像信
号に色分離、ホワイトバランス、ガンマ補正などの処理
がなされる。プロセス処理された映像信号はＡ／Ｄ変換
器８によりデジタル信号に変換され、輝度及び色差線順
次信号として符号化回路１０に入力される。

【００２９】符号化回路１０では入力された画像デ−タ
に対して、まず、ブロック化回路２０により８×８のサ
イズのブロックに分割するブロック化処理が行われる。 ここで、処理の順序として、まず、輝度信号の２ブロッ
ク分が出力され、次に、色差信号の１ブロック分が出力
されるというように、いわゆる、インタ−リ−ブの手法
により画面上の各ブロックごとに輝度及び色差信号が交
互に処理される。

【００３０】ブロック化処理の結果得られたＤＣＴ係数
に対し、量子化回路２４により各周波数成分ごとに各周
波数成分ごとの量子化幅を用いて線形量子化が行われる
。ここでの量子化幅としては、先にシステムコントロ−
ラ１６から制御回路３６に与えられた目的符号量情報に
対応し、量子化幅設定回路３０が設定した量子化幅が用
いられる。

【００３１】量子化された変換係数は、エントロピ−符
号化回路２６によりハフマン符号化される。このとき、
直流成分ＤＣに関しては近傍ブロックの直流成分との差
分値をグル−プ番号（付加ビット数）と付加ビットで表
現し、そのグル−プ番号をハフマン符号化し、得られた
符号語と付加ビットを合わせて符号化デ−タとされる。 交流成分ＡＣはジクザグスキャンと呼ばれる低い周波数
成分から高い周波数成分へのスキャンを行ない、無効（
値が０）の成分の連続する個数（０のラン数）と、それ
に続く有効な（値が０でない）成分の値のグル−プ番号
とから２次元のハフマン符号化が行われ、得られた符号
語と付加ビットを合わせて符号化デ−タとされる。

【００３２】符号化された画像デ−タは符号出力回路２
８により８ビットに揃えて区切られ、メモリ１２に出力
される。これと同時に、符号量算出回路３２は符号化さ
れた画像デ−タの符号量を計算し、符号割当回路３８に
出力する。符号割当回路３８は各ブロックごとに発生し
た符号量を記憶する。

【００３３】上記の処理が各ブロックごとに順次行われ
る。全画面分のブロックの処理が終了した時点で、発生
した総符号量が符号量算出回路３２から制御回路３６に
出力され設定符号量と比較される。総符号量が設定符号
量以内であれば、制御回路３６の働きによりそこで符号
化が終了され、メモリ１２に記録されていた符号化デ−
タが記録媒体１４に転送記録されて撮影が終了する。一
方、もし、総符号量が設定符号量を越えていた場合には
次の処理が行われる。

【００３４】まず、先の符号化において発生した総符号
量及び各ブロックごとの符号量が符号量算出回路３２か
ら符号割当回路３８に与えられ、各ブロックごとの符号
量に目的符号量と総符号量との比が掛けられることによ
り、各ブロックごとの割り当て符号量が決定される。次
に、メモリ１２から符号打切回路３４に符号化デ−タが
順次読み出され、各ブロックごとに割り当てされた符号
量を越えた分に対し、可変長符号を打ち切る処理が行わ
れる。すなわち、交流成分ＡＣを表現する２次元のハフ
マン符号のうち、割り当て符号量以内の成分が残され、
割り当て符号量を超過する高い周波数成分の符号語と付
加ビットデ−タは切り捨てられ、ＥＯＢ（エンドオブブ
ロック）符号が付加される。処理された画像デ−タは打
切回路３４から符号出力回路２８に出力され、ここで、
８ビットに揃えて区切られてメモリ１２に出力される。 全画面分のブロックの処理が終了した時点で、メモリ１
２に記憶されていた符号化デ−タが記録媒体１４に転送
記録されて撮影が終了する。

【００３５】以上説明したように、本発明においては、
符号量を一定の符号量内に収まるように制御できるとと
もに、画像信号を記憶するためのメモリが不要となり、
圧縮された後の符号化デ−タを記憶するためだけの容量
のメモリをもてば良い。このため、回路の規模、コスト
を低減できる利点がある。

【００３６】上記の実施例において、線形量子化を行な
うときの量子化幅としては、一般的な画像のうち高周波
成分の多い画像に対し、ちょうど目的符号量になるよう
に設定すれば良い。すなわち、例えば、風景写真のよう
に高周波成分の多い画像では符号量が多くなる傾向があ
るので、このような画像に対しちょうど目的符号量にな
るようにすることで、第１の符号化過程において発生符
号量が目的符号量を越えることを少なくできる。この場
合、例えば、人物写真のように高周波成分の少ない画像
では符号量が目的符号量をかなり下回ることが多くなる
が、このような画像では少ない符号量で符号化しても画
質が悪くなることが少ないので実用上さほど問題はない
。

【００３７】また、メモリ１２の容量としては、目的符
号量に若干の余裕を見込んだ容量、例えば目的符号量の
１．５倍から２倍の容量とすればよい。このような値に
設定しておけば、ほとんどの場合について問題なく符号
化することができるが、ごく希には第１の符号化過程に
おいて発生した符号量がメモリ１２の容量を越えること
がある。この問題点を解決するには、あらかじめ、符号
化の途中、例えば、全体の１／３から１／２の数のブロ
ックまでの発生符号量の上限を定めておき、ここまでの
符号化を行なった時点で発生符号量が上限値を越えた場
合には、そこまでに発生した符号デ−タに対し、各ブロ
ックごとに可変長符号を打ち切る処理を行なうようにす
ればよい。すなわち、発生した符号量が上限値を越えた
場合、制御回路３６の働きによりそこで符号化を一時停
止し、メモリ１２から符号打切回路３４に符号化デ−タ
が順次読み出され、各ブロックごとに、あらかじめ定め
られた上限符号量を越えた分に対し、可変長符号を打ち
切る処理が行われる。

【００３８】それと同時に、制御回路３６からシステム
コントロ−ラ１６に一時停止信号が出力され撮像素子４
の読み出しが一時停止される。可変長符号の打切処理が
終了した時点で撮像素子４の読み出しと符号化とが再開
されるが、上記の処理によりメモリ１２にはその後の符
号化をするに十分な空容量が生じているので、継続して
符号化を行ない、１画面分のデ−タ処理を終了すること
ができる。

【００３９】また、上記した実施例においては、メモリ
１２にすべての符号化デ−タを一旦記録することを仮定
したが、これは記録媒体１４そのものをメモリとして使
用し、目的符号量に対し余裕を見込んだ容量だけを記録
媒体外に付加メモリとして設けるようにしてもよい。こ
の場合、全体のメモリ容量をさらに減らすことが可能と
なる。

【００４０】

【発明の効果】以上詳記したように本発明によれば、画
質の損失をできるだけ小さくして、簡単な回路により短
い処理時間内で一定の符号量内に収まるようにデ−タを
符号化可能な画像デ−タの符号化装置を提供することが
できる。

【図面の簡単な説明】

【図１】本発明に係る画像デ−タの符号化装置の一回路
構成を示すブロック図。

【図２】図１の符号化装置を含む電子カメラの構成を示
すブロック図。

【図３】従来の符号化方法の原理を説明するための動作
遷移図。

【符号の説明】

２０…ブロック化回路、２２…直交変換回路、２４…量
子化回路、２６…エントロピ−符号化回路、２８…符号
出力回路、３０…量子化幅設定回路、３２…符号量算出
回路、３４…符号打切回路、３６…制御回路、３８…符
号割当回路。

Claims (1)

【特許請求の範囲】
1. 【請求項１】　　画像デ−タをブロックに分割するブロ
   ック化手段と、この分割されたブロックごとに直交変換
   を行う直交変換手段と、この変換出力を量子化する量子
   化手段と、この量子化出力を可変長符号化する可変長符
   号化手段と、可変長符号化において発生した各ブロック
   ごとの符号量を記憶する手段と、前記各ブロックごとの
   発生符号量を用いて各ブロックごとの割り当て符号量を
   決定する符号量割り当て手段と、可変長符号化において
   発生した総符号量を算出しこれを設定符号量と比較する
   手段とを具備し、前記可変長符号化において発生した総
   符号量が設定符号量より大きい場合は、前記各ブロック
   ごとの発生符号量を用いて各ブロックごとの割り当て符
   号量を決定し、前記メモリに記憶された符号化デ−タが
   割り当てされた割り当て符号量を越えないように可変長
   符号を打ち切る手段をさらに具備することを特徴とする
   画像デ−タの符号化装置。