JPH06284411A - 符号化装置 - Google Patents

Abstract

(57)【要約】 【目的】 カラオケなどの時の様な画面での歌詞などの
文字が入った画像での、文字の輪郭がぼやけてしまった
りして文字が不鮮明になることを少なくし、また、文字
のない領域での画素の参照が、文字の入っている領域を
使うことで自然画の再生品位が損なわれるということを
少なくする符号化装置を得ること。 【構成】 文字が入った領域の画像の符号化において
は、動き補償による圧縮、空間的な圧縮、時間的な圧縮
を行わないで視覚的圧縮や統計的圧縮のみを行う符号化
を行う。また、文字の入っていない領域では、文字が入
っている領域の画素の参照を行わない符号化を行う。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像信号を圧縮して符
号化する符号化装置に関するものである。

【０００２】

【従来の技術】画像信号をより高品位に記録再生するた
めに、従来のアナログ記録からデジタル記録する手法が
とられ始められている。しかし、アナログ信号の情報量
は、１００Ｍｂｐｓの記録帯域を必要とする。デジタル
信号に変換して記録する媒体の記録帯域は、ＣＤ−ＲＯ
Ｍの場合でも、１．５Ｍｂｐｓ程度しかない。したがっ
て、約１／１００程度の圧縮をして記録する必要があ
る。

【０００３】以下に従来の圧縮して符号化する装置につ
いて説明する。画像情報の圧縮には、画像のもつ空間的
及び時間的冗長性を取り除くことにより実現ができる。
これらの冗長性を、図５にて示す。

【０００４】画像は、小さな画素の集合で構成されてい
る。図５の空の場合のように隣り合う画素がほとんど同
じなら多少間引いて送っても影響はない。これが、画像
の空間的な冗長性である。また、動画は、連続する静止
画（フレーム）からなっているが、画面内に動いている
ものが少ない場合には、各フレームは、互いに良く似て
おり、やはり多少間引いて送っても影響はない。これ
が、画像の時間的な冗長性である。

【０００５】画像圧縮するためには、さらに人の視覚特
性に合わせて、目に見えないものを粗く送る技術や、デ
ータの出現頻度に合わせて最適な符号を割り当てるとい
った技術が、組合わせて用いられる。これらを、図４に
て示す。

【０００６】まず、画像をフレームである、静止画で考
えてみる。１つの画像を小さなブロックに分ける。この
ブロック単位に、時間的冗長性を利用して圧縮するため
に、図４の圧縮回路４での例として、離散コサイン変換
（ＤＣＴ）を用いる。このＤＣＴには、画像を複雑さの
程度に応じて分類する機能がある。

【０００７】ＤＣＴは、以下の（数１）にて空間座標系
から周波数座標系へと変換する。

【０００８】

【数１】

【０００９】図６（ａ）は、ブロックを縦８画素、横８
画素とした場合の画像データの例であり、図６（ｂ）
は、ＤＣＴ変換後のデータ例である。この例では、図６
（ａ）の画像データは、値が１３２から１８１の変化を
有しているが、変換後の図６の（ｂ）は、値が２６０、
４９、３６，−１６，−７９とそれ以外の（７〜−８）
に分けられる。（７〜−８）の数値は、他に較べて小さ
い数値になっていて、これらは０で近似できる程度に変
換される。

【００１０】こうすると、明るさや色がなだらかに変化
していたブロックは、変換後には、なだらかな成分を表
わすブロック左上の位置に大きな値が集中するようにな
る。このように、ＤＣＴには、変換前に一様に広がって
いたデータを一カ所に集中させ、以降の圧縮操作をやり
やすくする効果がある。

【００１１】画素の明るさや色は一連の０か１の２進数
で表わされるが、２進数の長さが長いほど正確な表現が
できる。この長さを適当に打ち切る操作が図４の量子化
回路５である。量子化では、人の視覚特性に合わせて、
目には見えない情報にはより短い２進数を割り当てる。
また、目は、ある程度細かなものがゆっくり動いている
ときに最も良く見えるといういう性質を持っている。従
って、非常に細かなものや、非常に速く動いているもの
は、多少粗い２進数で表わしても劣化がわからない。図
６（ｃ）は、例として図６（ｂ）のデータを１０で割っ
た量子化の例である。ここでは、さらに数値は、２６か
ら−８までの変化であり、あとは全て０であり、データ
量を圧縮できている。

【００１２】さらに、量子化されたデータを”０”がで
きるだけ長く連続するように図６（ｃ）の量子化データ
のブロック内を斜め方向にジグザグスキャンし、連続す
る”０”の個数と次の’０’でないデータの値を１組と
して、１つの可変長符号を割り当てる。図６（ｄ）は、
ジグザグスキャン値をシリアルに並べ変えた例であり、
値０の連続が多くなるので値０が５８個というふうにま
とめて扱う事が出き、データ数を少なくできる。

【００１３】図４の可変長符号化回路６は、モールス信
号のように出現頻度の高いデータほど短い符号を割り当
てることによって、統計的にデータ量を減らす技術であ
る。例では、値２６を５、値５を４、値４を３、値−２
を２、値−８を１、値０を０と、仮に置換すると各デー
タの数値は、０から５までであり、全ての各データを３
ビットで表現できる。

【００１４】時間的冗長性を除くために、フレーム予測
技術を用いる。フレーム予測では、図７に示すように、
既に送った前フレーム１から現在のフレーム２を予測
し、本当の現フレーム１との間の予測誤差だけを、現フ
レーム２の情報として再生側に送る。再生側では、前フ
レーム１に予測誤差を足すことによって、現フレーム２
を得ることができる。動きがほとんどない場合には、前
フレーム１がそのまま予測値として使えるが、動きが大
きいと予測誤差が大きくなるので動き補償を行って予測
誤差を小さくする。まず、図４の原画入力と図４のフレ
ーム再組立回路７とによる前後のフレームを図４の参照
画素検索回路１にてブロックマッチングなどの手法によ
って比較し、物体の動いた方向と距離を調べ、図４の動
き補償実行判定回路２にて判断する。

【００１５】動きを検出して判断する手法の１例を図７
を参照して説明する。フレーム２は、現時間tでの画像
とする。またフレーム１は、現時間tの１フレーム前の
画像とする。それぞれ、フレーム内の画像のブロックの
表現を水平方向をｘ軸、垂直方向をｙ軸とする。時間ｔ
のフレーム２の画像ブロック（ｘ，ｙ）の画素構成は、
水平方向にｉ＝０〜７の８画素、垂直方向にｊ＝０〜７
の画素とする。また同様に時間ｔの１フレーム前のフレ
ーム１の画素ブロックも同構成とする。時間ｔ、ブロッ
ク（ｘ，ｙ）の水平ｉ＝２、垂直ｊ＝５の画素の値をＰ
（ｔ，ｘ，ｙ，２，５）とする。これをｉ，ｊを使って
表すとＰ（ｔ，ｘ，ｙ，ｉ，ｊ）となる。同じポイント
の時間（ｔ−１）での値は、同様にＰ（ｔ−１，ｘ，
ｙ，ｉ，ｊ）で表される。上記の表現を使って動き量Ｍ
を（数２）で定義する。

【００１６】

【数２】

【００１７】要約すると、時間ｔと時間（ｔ−１）の
（ｘ，Ｙ）ブロックの各６４個の画素間の差分を先ず計
算する。次に時間ｔの（ｘ，ｙ）ブロックと時間（ｔ−
１）の（ｘ−１，ｙ−１）ブロック、（ｘ，ｙ−１）ブ
ロック、（ｘ＋１，ｙ−１）ブロック、（ｘ−１，ｙ）
ブロック、（ｘ＋１，ｙ）ブロック、（ｘ−１，ｙ＋
１）ブロック、（ｘ，ｙ＋１）ブロック、（ｘ＋１，ｙ
＋１）ブロック間について同様に差分を求める。これら
の９ブロックに対する動き量がそれぞれ求まる。この動
き量は、両画像データが同じであるならば、両（ｘ，
ｙ）ブロックからΣP(t,x,y,i,j)-P(t-1,x,y,i,j)=0と
なる。この動き量が０であるか小さい値の時には、動き
がないと判定する。９個のブロックについてではなく、
フレーム内の全ブロックについて求めてもよい。

【００１８】次に、前フレームの中で動いたものを動い
た量だけずらして図４の動き補償回路３にて動き補償さ
れたフレームを作り、現フレームとの差をとって予測誤
差を得る。以降の段階では、こうして得られた予測誤差
成分を前記統計的手法によってさらに圧縮する。こうし
て圧縮されたデータは、上記の過程を逆にたどることに
よって、ほぼ元の画像に戻すことができる。

【００１９】

【発明が解決しようとする課題】しかしながら、上記構
成では、カラオケなどの時の様な画面での歌詞などの文
字が入った画像では、文字の輪郭がぼやけてしまったり
して文字が不鮮明になるという問題点を有していた。ま
た、文字のない領域での画素の参照が、文字の入ってい
る領域を使うことで自然画の再生品位が損なわれるとい
う問題点を有していた。

【００２０】本発明は上記問題点を解決するもので、文
字が入った領域の画像の符号化においては、動き補償に
よる圧縮、空間的な圧縮、時間的な圧縮を行わないで視
覚的圧縮や統計的圧縮のみを行う符号化を行う。また、
文字の入っていない領域では、文字が入っている領域の
画素の参照を行わない符号化を行う装置を提供すること
を目的とする。

【００２１】

【課題を解決するための手段】上記目的を達成するため
に本発明の符号化装置は、原画入力とフレーム再組立手
段の出力とを入力として参照画素を検索し検索信号を出
力する参照画素検索手段と、原画画素の領域入力と文字
の入った画素の領域の設定入力とから原画画素の領域を
判定し動き補償制御信号と圧縮制御信号とを出力する原
画画素の領域判定手段と、検索信号と動き補償信号によ
り動き補償の実行を判定をし実行信号を出力する動き補
償実行判定手段と、原画入力とフレーム再組立手段の出
力とから実行信号に応じて動き補償を行い動き補償され
たデータを出力する動き補償手段と、動き補償されたデ
ータの圧縮を行う圧縮手段と、圧縮制御信号に応じて圧
縮手段の出力を量子化する量子化手段と、量子化手段か
らの出力からフレームを再組立するフレーム再組立手段
と、量子化手段の出力を可変長符号化を行いビットスト
リーム出力する符号化手段とを、具備することを特徴と
するものである。

【００２２】また、本発明の符号化装置は、原画入力と
フレーム再組立手段の出力とを入力として参照画素を検
索し検索信号と参照画素の領域信号とを出力する参照画
素検索手段と、参照画素の領域信号と文字の入った画素
の領域の設定入力とから参照画素の領域を判定し動き補
償制御信号を出力する参照画素の領域判定手段と、検索
信号と動き補償信号により動き補償の実行を判定をし実
行信号を出力する動き補償実行判定手段と、原画入力と
フレーム再組立手段の出力とから実行信号に応じて動き
補償を行い動き補償されたデータを出力する動き補償手
段と、動き補償されたデータの圧縮を行う圧縮手段と、
圧縮手段の出力を量子化する量子化手段と、量子化手段
からの出力からフレームを再組立するフレーム再組立手
段と、量子化手段の出力を可変長符号化を行いビットス
トリーム出力する符号化手段とを、具備することを特徴
とするものである。

【００２３】

【作用】本発明は、あらかじめ設定した文字が入った領
域の画像の符号化においては、フレーム間及びフレーム
内の動き補償などによる他の画素の参照を行わなくて、
視覚的圧縮や統計的圧縮のみを行って自分の画素のみを
使って符号化し、また、文字の入っていない領域では、
文字が入っている領域の画素の参照を行わない符号化を
行う装置である。

【００２４】

【実施例】以下、本発明の実施例について、図面を参照
しながら説明する。

【００２５】図１は本発明の第１の実施例における符号
化装置の構成を示す。図１の構成要素１〜７は、図４と
同じ構成要素である。図１にて、原画入力は、フレーム
毎にブロック単位で、８×８の画素構成例とする。原画
画素の領域入力は、フレーム内でのブロックの位置を示
す。文字の入った画素の領域の設定入力は、文字領域の
フレーム内での位置を示す。図３の例で、画素のブロッ
クがフレーム左上であれば、画素の領域は（０，０）で
あり、文字の領域は、（１０，１６）〜（３０，１６）
と（１０，１７）〜（３０，１７）となる。

【００２６】参照画素検索回路１では、原画入力とフレ
ーム再組立回路７からとの前後のフレームデータから近
似できる画素のブロックを前記の手法で検索する。検索
された信号から動き補償実行判定回路２にて、補償する
かどうかを前記の手法で判定する。この判定された実行
信号により、動き補償回路３にて原画入力とフレーム再
組立回路７からとの前後のフレームデータから動き補償
を行う。

【００２７】原画画素の領域判定回路８では、原画画素
のブロックが、設定された文字領域のブロックかを判定
する。図３の例では、原画の画素の領域が、（１０，１
６）〜（３０，１６）と（１０，１７）〜（３０，１
７）であれば、動き補償制御信号として動き補償を行わ
ない指示を動き補償実行判定回路２へ送り、動き補償を
実行させない。また同時に圧縮制御信号を量子化回路５
へ送る。この圧縮制御信号にて、図６（ｃ）の例の場合
では、量子化レベルを値を１０ではなく１にして図６
（ｂ）のデータをそのまま量子化回路５の出力値として
使う。従って、符号化されるデータは、動き補償による
近似値ではなく自分の画素だけのＤＣＴにより圧縮され
たままのビットストリームが出力される。

【００２８】以上のようにこの実施例によれば、文字の
領域の画素は、他の画素の参照による近似値ではなく自
分の画素の圧縮のみのデータで構成される。かつ、量子
化でのデータの近似もなくなり、再生の品位が損なわれ
ることが少なくなる。

【００２９】図２は、本発明の第２の実施例における符
号化装置の構成を示す。図２の構成要素１〜７は、図４
と同じ構成要素である。

【００３０】参照画素検索回路１では、原画入力とフレ
ーム再組立回路７からとの前後のフレームデータから近
似できる画素のブロックを前記の手法で検索する。また
同時に参照画素の領域信号を出力する。検索された信号
から動き補償実行判定回路２にて、補償するかどうかを
判定する。この判定された実行信号により、動き補償回
路３にて原画入力とフレーム再組立回路７からとの前後
のフレームデータから動き補償を行う。

【００３１】参照画素の領域判定回路９では、参照画素
のブロックが、設定された文字領域のブロックかを判定
する。図３の例では、参照画素の領域が、（１０，１
６）〜（３０，１６）と（１０，１７）〜（３０，１
７）であれば、動き補償制御信号として動き補償を行わ
ない指示を動き補償実行判定回路２へ送り、動き補償を
実行させない。従って、文字の入った領域のデータが、
他の画素から動き補償の近似値データとして参照される
ことがない。

【００３２】以上のようにこの実施例によれば、文字の
入っていない領域では、文字が入っている領域の画素の
参照を行わない符号化を行う。

【００３３】

【発明の効果】以上説明したように、本発明によれば、
あらかじめ設定した文字が入った領域の画像の符号化に
おいては、フレーム間及びフレーム内の動き補償などに
よる他の画素の参照を行わなくて、視覚的圧縮や統計的
圧縮のみを行って自分の画素のみを使って符号化を行
う。従って、カラオケなどの時の様な画面での歌詞など
の文字が入った画像でも、文字の輪郭がぼやけてしまっ
たりして文字が不鮮明になるということが少なく、その
実用的効果は大きい。

【００３４】また、文字の入っていない領域では、文字
が入っている領域の画素の参照を行わない符号化を行
う。従って、文字のない領域での画素の参照が、文字の
入っている領域を使うことで自然画の再生品位が損なわ
れるということが少なく、その実用的効果は大きい。

【図面の簡単な説明】

【図１】本発明の第１の実施例における符号化装置の構
成を示すブロック図

【図２】本発明の第２の実施例における符号化装置の構
成を示すブロック図

【図３】フレーム内の文字領域の例を示す模式図

【図４】従来例における符号化装置の構成を示すブロッ
ク図

【図５】フレーム内のブロックの例を示す模式図

【図６】ブロックの画素の例を示す説明図

【図７】動き補償の例を示す模式図

【符号の説明】

１ 参照画素検索回路 ２ 動き補償実行判定回路 ３ 動き補償回路 ４ 圧縮回路 ５ 量子化回路 ６ 可変長符号化回路 ７ フレーム再組立回路 ８ 原画画素の領域判定回路 ９ 参照画素の領域判定回路

Claims (2)

【特許請求の範囲】
1. 【請求項１】 原画入力とフレーム再組立手段の出力と
   を入力として参照画素を検索し検索信号を出力する参照
   画素検索手段と、 原画画素の領域入力と文字の入った画素の領域の設定入
   力とから原画画素の領域を判定し動き補償制御信号と圧
   縮制御信号とを出力する原画画素の領域判定手段と、 前記検索信号と前記動き補償制御信号により動き補償の
   実行を判定をし実行信号を出力する動き補償実行判定手
   段と、 前記原画入力と前記フレーム再組立手段の出力とから前
   記実行信号に応じて動き補償を行い動き補償されたデー
   タを出力する動き補償手段と、 前記動き補償されたデータの圧縮を行う圧縮手段と、 前記圧縮制御信号に応じて前記圧縮手段の出力を量子化
   する量子化手段と、 前記量子化手段からの出力からフレームを再組立する前
   記フレーム再組立手段と、 前記量子化手段の出力を可変長符号化を行いビットスト
   リーム出力する符号化手段とを、有することを特徴とす
   る符号化装置。
2. 【請求項２】 原画入力とフレーム再組立手段の出力と
   を入力として参照画素を検索し検索信号と参照画素の領
   域信号とを出力する参照画素検索手段と、 前記参照画素の領域信号と文字の入った画素の領域の設
   定入力とから参照画素の領域を判定し動き補償制御信号
   を出力する参照画素の領域判定手段と、 前記検索信号と前記動き補償制御信号により動き補償の
   実行を判定をし実行信号を出力する動き補償実行判定手
   段と、 前記原画入力と前記フレーム組立手段の出力とから前記
   実行信号に応じて動き補償を行い動き補償されたデータ
   を出力する動き補償手段と、 前記動き補償されたデータの圧縮を行う圧縮手段と、 前記圧縮手段の出力を量子化する量子化手段と、 前記量子化手段からの出力からフレームを再組立する前
   記フレーム再組立手段と、 前記量子化手段の出力を可変長符号化を行いビットスト
   リーム出力する符号化手段とを、有することを特徴とす
   る符号化装置。