JPH09312838A - 動画像符号化装置 - Google Patents

Abstract

(57)【要約】 【課題】 画面中央部の画質劣化を防止する。 【解決手段】 フレームメモリ２は、画像を複数に分割
する際各領域の分割境界線が画面の中央部を横切らない
ようにする。各符号化回路３、４、５、６内の動き検出
回路は、領域識別回路１３からの識別信号により分割領
域の範囲内で、動き検出の上限とする領域を検出する。
各符号量制御回路７、８、９、１０と領域別符号量制御
回路１４は、総出力レートが一定となるよう各符号化回
路３、４、５、６に割り当てる符号量を決める。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像を複数の領域
に分割し、各領域を別々に高能率符号化して伝送する動
画像符号化装置に関する。

【０００２】

【従来の技術】高精細動画像、例えば、ハイビジョン画
像信号は従来のＮＴＳＣ画像信号に比べ空間解像度が高
く、それぞれの特性を保ちつつディジタル信号処理によ
り高能率符号化するには、後者に比べ前者の方が多くの
処理能力が要求される。

【０００３】一方、半導体プロセス等の進歩により回路
の処理能力の向上は著しいが、現状ではこのように高精
細動画像を１系統の符号化装置で高能率符号化するレベ
ルには達していなく、このレベルに達したとしても更に
解像度の高い符号化の要求が出てくると予想される。

【０００４】一般に、低処理能力の符号化装置でそれよ
り高い処理をする場合、入力信号を並列化し、複数の符
号化装置で符号化する。

【０００５】いま、図１７に示すような高精細動画像
を、これより低い解像度の動画像を処理する符号化装置
を複数使用し、並列的に高能率符号化することを考え
る。動画像の高能率符号化には空間の冗長性と時間軸の
冗長性を排除するが、それぞれの排除を効率的に行うた
めに空間的に連続した領域で符号化する。

【０００６】本例で示す符号化装置は、符号化する画像
の１／４程度の解像度に対する処理能力を持っているも
のとする。

【０００７】動画像を空間的に４分割する場合、図１７
に示すように１〜４の各領域の空間面積（画素数）をほ
ぼ同等にし、形状を合同な長方形（または正方形）とす
る。これは、冗長性を排除する上で、効果的に空間が連
続しているためである。

【０００８】なお、「ほぼ同等」と表現したのは、符号
化回路１つにつき最大Ｎ個の画素を処理でき、符号化対
象の高精細画像の画素数が４Ｍ個の時、Ｎ＞Ｍであるな
らば、第１の符号化回路には( ｎ- α) 個、第２の符号
化回路には( ｎ+ α) 個（ただし、ｎ+ α≦Ｎ）という
ように任意の符号化回路間で面積にαの差を持たせ分割
可能だからである。

【０００９】図１１にこの符号化装置のブロック図を示
す。

【００１０】端子１より入力された高精細画像はフレー
ムメモリ２に書き込まれ、領域１、領域２、領域3 、領
域４に分割される。

【００１１】フレームメモリ２の内部ブロック図を図１
２に示す。この例では、後述する各符号化回路用に同容
量の第１乃至第４の画像メモリ２６、２７、２８、２９
を有する構成になっている。各画像メモリ２６、２７、
２８、２９の入力には、トライステート２２、２３、２
４、２５が備えてあり、このトライステートを経由し
て、画像データ入力端子１から入力されるデータをクロ
ック発生回路３５で生成される書き込み用クロックＷＣ
Ｋ３７により、メモリ内に書き込む。各画像メモリ２
６、２７、２８、２９が書き込むべきデータは、分割・
識別回路３４が、トライステート２２、２３、２４、２
５のイネーブル端子Ｅ１、Ｅ２、Ｅ３、Ｅ４（Ｈでアク
ティブ）を制御することで図１５に示す分割が行える。

【００１２】このイネーブル端子Ｅ１、Ｅ２、Ｅ３、Ｅ
４の制御方法を図１６に示す。

【００１３】図１６（ａ）の水平分割を例に説明する
と、この分割方法の時、イネーブル端子に与えるイネー
ブル信号の波形の類似性から画面を垂直方向にＡ、Ｂ、
Ｃ、Ｄブロックに分かれる。同図にあるように、Ａブロ
ックではＥ１のみに、ＢブロックではＥ２のみに、Ｃブ
ロックではＥ３のみに、ＤブロックではＥ４のみに水平
位置に関係なくそれぞれＨパルスを与えてやればよい。

【００１４】同様に図１６（ｂ）の垂直分割では、垂直
方向に関係なく、水平位置に依存したパルスを、図１６
（ｃ）の水平・垂直分割では、垂直方向に２ブロックに
別れ、水平位置に依存したパルスを与えてやればよい。

【００１５】書き込まれたデータは、クロック発生回路
３５により生成される書き込み用クロックＷＣＫ３７の
4 分の1 程度の周波数をもつ読み出し用クロックＲＣＫ
３８により、メモリ内から読み出される。各画像データ
出力端子３０、３１、３２、３３を経由し、図１１の第
１の符号化回路３、第２の符号化回路４、第３の符号化
回路５、第４の符号化回路６に出力される。なお、読み
出しの際、水平走査順序の入力データは、水平垂直８×
８画素のブロック順序に変換される。これは後述する画
像圧縮の前提で、空間座標成分を空間周波数成分に変換
するＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａ
ｎｓｆｏｒｍ、離散コサイン変換）回路において、この
ブロック単位で処理されるために並び換えを行うもので
ある。

【００１６】図１１の第１乃至第４の各符号化回路３、
４、５、６は同じ構成になっており、そのブロック図を
図１３に示す。

【００１７】図１３において端子４１に入力した分割さ
れブロック化された画像データは、加算器４２、動き検
出回路４３のそれぞれに出力され、加算器４２では後述
する動き補償回路４４で動き補償された１フレーム前の
画像データと減算が行なわれ、その差分値をＤＣＴ回路
４６へ出力する。

【００１８】ＤＣＴ回路４６では空間座標レベルで表さ
れる画像データを空間周波数レベルに変換し、直流成分
から交流成分へと水平垂直周波数が低い方から高い方の
順序で量子化回路４７へ出力される。

【００１９】量子化回路４７では後述する図１１の第１
乃至第４の符号量制御回路７、８、９、１０いずれから
のデータが図１３の端子５５に入力され、これに従って
周波数が高い成分ほど大きい係数で除算が行われ、デー
タのレベル方向の圧縮がなされた後、図１３の可変長符
号化回路４８、逆量子化回路４９のそれぞれに出力され
る。

【００２０】可変長符号化回路４８では、先ず量子化回
路４７の出力データを零でない非零データと零である零
データとに識別し、零データはその連続数であるデータ
（ゼロラン）に置き換えられる。

【００２１】これはＤＣＴデータは高い周波数成分ほど
小さい値であることが多く、更に量子化回路４７で高い
周波数成分ほど大きい係数で除算されるために零にな
る。従って、零画が連続することが多くなるので、零と
いうデータをそのまま送るより、その連続数を送ったほ
うが、伝送するデータ量を削減できるためである。ま
た、そのブロックの最終データまで零が連続する場合は
ＥＯＢ（Ｅｎｄ ｏｆ ＢＩＯＣＫ）データに置き換え
ることで更にデータの削減が行われる。

【００２２】このように非零データとゼロランデータに
変換された後、そのデータの出現確率に基づいて作成さ
れたハフマンテーブルを用いて、出現確率が高いデータ
程短いコードを、出現確率が低いデータ程長いコードを
割り当てたデータを出力する。

【００２３】可変長符号化されたデータは伝送バッファ
メモリ５０と端子５１に出力され、端子５１からの出力
は図１１の第１乃至第４の符号量制御回路７、８、９、
１０のいずれかに入力される。

【００２４】伝送バッファメモリ５０では伝送路へ出力
する符号化データのレートを平滑化するため、書き込み
は可変長符号化回路４８で生成される速度で行われる
が、読み出しは伝送路の容量に従って平滑化された速度
で行われる。この際、伝送バッファメモリ５０の容量を
越えたり、伝送すべきデータが不足しないように前述し
た量子化回路４７にてデータのレベル方向の圧縮率を図
１１の符号量制御回路７、８、９、１０で制御する。

【００２５】このように伝送バッファメモリ５０にて平
滑化された符号化データは端子５２より出力され、図１
１におけるメモリ１１に入力される。

【００２６】なお、それぞれの符号量制御回路は同じ構
成になっており、そのブロック図を図１４に示す。

【００２７】図１４において端子６１には、図１３の可
変長符号化回路４８出力の符号化データが入力され、使
用量検出回路６２では符号量を演算し、あらかじめ与え
られた伝送レートをもとに伝送バッファメモリ５０の残
り使用量を計算する。この結果から符号量制御値演算器
６３では残り容量が少なければ発生符号量を小さくする
ように量子化幅データを大きくし、残り容量が多ければ
少なくする。この量子化幅データは、端子６４を経由
し、図１１の第１乃至第４の符号化回路３、４、５、６
に転送する。

【００２８】一方、逆量子化回路４９に入力された量子
化データは、量子化回路４７における量子化係数を乗じ
ることで量子化回路４７とは逆の変換を行い、逆ＤＣＴ
回路５３にてＤＣＴ回路４６とは逆の変換を行うこと
で、空間周波数成分をもとの空間座標成分にして加算器
５４へ出力する。

【００２９】加算器５４では、後述する動き補償された
１フレーム前の画像データと加算され、フレームメモリ
４５にて１フレーム時間の遅延がなされた後、動き補償
回路４４へ出力される。

【００３０】動き補償回路４４では、動き検出回路４３
で得られる動きベクトルに従って、フレームメモリ４５
の出力画像データを動き補償し、加算器４２にて入力さ
れた現フレーム画像データと減算を行う。

【００３１】動きベクトルは、フレームメモリ４５にて
１フレーム時間遅延された符号化後復号化した画像デー
タと、そのままの現フレームの画像データとで動き検出
回路４３で比較を行い、動きのあるブロックに関して、
その動いた方向と量の水平と垂直のベクトルとして求め
るものである。

【００３２】以上のように図１１の第１乃至第４の符号
化回路３、４、５、６で符号化されたデータは、メモリ
１１に書き込まれ、それぞれ多重化されて端子１２へ出
力される。

【００３３】いま、図１７に示すような動画像をこの符
号化回路を用いて符号化することを考える。図１７の動
画像は時間的に前の（ｎ−１）フレーム画像（ａ）の次
に画像（ａ）が全体的に下方へ移動した画像であるｎフ
レーム画像（ｂ）が入力される。このとき、領域２、領
域３、領域４の上端部の動画を動き補償する部分が同一
領域内に存在しないために、時間方向の冗長性の排除が
できず、空間冗長性の排除のみで符号化されるため発生
する符号量が増加する。

【００３４】発生符号量が大きくなり、伝送バッファメ
モリの使用量が多くなると符号量制御回路は発生符号量
を少なくするため、量子化回路に送る量子化幅データを
大きくする。このことにより、領域２、３、４の上端部
に割り当てられる符号量が小さくなるため、もともとも
っている情報が減少し、符号化されたデータを復号する
と図１８に示すように視覚的に画質劣化を生じる。

【００３５】つまり、動画像を画面を分割し符号化を行
うとその分割領域間の境界部に視覚的な画質劣化（歪）
が生じる傾向にある。

【００３６】図１５に示す従来の分割方法ではこの境界
が視点の集中する画面中央部を必ず横切り、上記歪が視
覚的に強調される。

【００３７】また、図１４の符号量制御値演算器６３で
符号の最大使用量を各系統で一定にしておくと、発生符
号量がある領域にのみ連続的に増大した場合、符号量制
御値演算器６３が量子化幅を連続的に大きくした結果そ
の領域内全体のブロックに割り当てられる符号量が減少
し、ある領域全体が歪み、視覚的に画質劣化を生じる。

【００３８】尚、これら画質劣化は、図１９に示すよう
に、各領域を符号化する際にあらかじめ動き補償する範
囲まで互いに重複してもつことにより防ぐことができ
る。

【００３９】しかし、この場合には、実際に符号化に必
要な範囲以上のメモリと符号化処理能力が必要になる。

【００４０】

【発明が解決しようとする課題】前述したように従来の
符号化装置を複数使用し高精細動画像を複数の領域に分
割した場合、それぞれの領域の境界部分に画質劣化を生
じ、空間面積と形状が等しいために、この境界部分が視
点の集中する画面中央部をかならず横切り、より画質劣
化を強調してしまうという問題があった。

【００４１】また、各領域で使用できる符号量を平等に
すると、発生符号量に領域別に片寄りが生じた場合、あ
る領域だけが全体的に歪む問題があった。

【００４２】これを防ぐために、実際に符号化に必要な
領域以上の領域を符号化する方法も考えられるが、実際
に符号化に必要な画像以上のメモリと、符号化能力が必
要になり、回路規模が増大するという問題があった。

【００４３】そこで本発明は、画面の中央部での画質の
劣化を防止する動画像符号化装置を提供することを特徴
とする。

【００４４】

【課題を解決するための手段】画像を複数の領域に分割
し、各領域を別々に高能率符号化して伝送する動画像符
号化装置において、前記各領域の空間面積はほぼ同等に
するが、前記各領域の分割境界線が前記画像の中央部を
横切らないよう割り当て分割する分割手段と、前記分割
手段の分割識別信号から前記各分割領域の領域を識別す
る領域識別手段とを具備したことを特徴とする。

【００４５】

【発明の実施の形態】以下図面に基づいて本発明に関わ
る実施の形態について説明する。

【００４６】図１に本発明の動画像符号化装置のブロッ
ク図を示す。本図は従来例の図１１で示したものに領域
識別回路１３と領域別符号量制御回路１４が付加された
ものであり、ここでは異なる部分の説明を行う。

【００４７】画像データが端子１を経由し、フレームメ
モリ２に入力される。フレームメモリ２の内部ブロック
図を図２に示す。本図は従来例の図１２で示したものに
分割識別信号出力端子３６が付加されたものである。な
お、もう一つ従来例と異なる点は分割・識別回路３４に
おける分割制御である。本回路における分割形状を図６
に示す。

【００４８】図６（ａ）にあるように画面中央部を中心
に同心円状に多角形を割り当て、分割する。この結果、
視点の集中しやすい画面中央部から境界線を避けること
ができる。

【００４９】ここで、従来例に示した通り、境界部では
画質が劣化する傾向がある。従来例図１５（ｃ）と実施
の形態図６（ａ）を比較した場合、実施例の方が境界数
が２本（領域１と領域２との境界、領域２と領域３との
境界）多く、劣化が増加する。全画面のマクロブロック
（動き検出を行う単位。一般に16×16画素）数に対する
境界に隣接しているマクロブロック数でこの劣化度を表
すと、図６（ａ）の方が図１５（ｃ）に比べ１０パーセ
ント劣化する。

【００５０】よって、この境界数を減らし従来例からの
劣化度を軽減した方法が図６（ｂ）、（ｃ）に示すよう
に鉤形（「」形）を組み合わせることで行える。

【００５１】図６（ｂ）の図１５（ｃ）に対する劣化度
は３パーセント、図６（ｃ）の図１５（ｃ）に対する劣
化度は１．５パーセントとなる。

【００５２】なお、上記例では分割した多角形は、その
角が画面水平方向（または垂直方向）に対して９０度の
整数倍の傾きのみを持っているが、本発明はこれに限定
するものではなく図７に示すようにその角度は３６０度
のどの傾きをも持ち得る。

【００５３】また、上記領域への分割制御方法を図８に
示す。ここでは、図６（ａ）（ｂ）の分割形状を例に示
してある。

【００５４】従来例での説明同様に、垂直方向にＡ、
Ｂ、Ｃ、Ｄブロックに分け、それぞれのブロックに応じ
た水平位置に依存したパルスを与えることにより分割の
制御が行える。

【００５５】このトライステート２２、２３、２４、２
５のイネーブルパルスは４ビットの分割識別データとし
て、出力端子３６を経由し、図１の領域識別回路１３に
入力する。

【００５６】図１において、領域識別回路１３により、
第１乃至第４の各符号化回路３、４、５、６で行われる
動き検出の垂直同期にタイミングを合わせ、各符号化回
路３、４、５、６に対応したビットの分割識別データを
出力する。

【００５７】第１乃至第４の符号化回路３、４、５、６
は従来例と同様に全て同じ構成になっている。

【００５８】この符号化回路の内部ブロック図を図３に
示す。従来例と異なる点は、動き検出回路４３が、端領
域フラグデータ端子５６から上記分割識別データを参照
できるようになっている。

【００５９】これにより、フレームメモリ２から参照し
てきたデータが図８のどの領域に位置するものであるか
を判断でき、分割領域内の端領域を上限とする動き検出
が可能となる。

【００６０】従来例図１３と同様に図３の各部で符号化
が行われ、発生符号量が発生符号化データ出力端子５１
を経由し、図１の第１乃至第４の符号量制御回路７、
８、９、１０に入力される。

【００６１】図１の第１乃至第４の符号量制御回路７、
８、９、１０の内部ブロック図を図４に示す。

【００６２】図４において、符号量制御回路では使用量
検出回路６２から使用符号量出力端子６５を経由して、
使用量を読み出すことができ、また、最大使用量入力端
子６６から各分割領域の符号化回路で使用できる最大符
号量を符号量制御値演算回路６３が参照できることによ
り、領域別に符号レートを制御でき、符号化効率を向上
させることができる。

【００６３】これら２つの「使用量」「最大使用量」
は、図１の領域別符号量制御回路１４に参照、生成され
る。領域別符号量制御回路１４の内部ブロック図を図５
に示す。

【００６４】図５において、図１の各符号量制御回路
７、８、９、１０から出力される使用量を端子７１、７
２、７３、７４を経由し、加算器７５と比較器７６に入
力される。

【００６５】加算器７５は、ある単位時間ｍ秒ごとに端
子７１、７２、７３、７４から入力された使用量ｔ１、
ｔ２、ｔ３、ｔ４の合計値Ｓを計算する。

【００６６】この合計値Ｓと各使用量ｔ１乃至ｔ４を比
較し、ある閾値、例えばＳの4 分の1 、をある一定量下
回っていたなら、ａｉ（ｉ＝１〜４）＞０とし、一定量
上回っていたなら、ａｉ＜０として、Ｔｉ（ｎ）＝Ｔｉ
（ｎ−１）＋ａｉ（ｎ：時間、ｉ＝１〜４) をａ１＋ａ
２＋ａ３＋ａ４＝０となるように最大使用量Ｔｉの増減
を行う。こうすることで各領域で発生する符号量に応じ
てその領域を符号化している符号化回路で使用できる符
号量を増減できるため、符号化効率を向上させることが
できる。

【００６７】以上の実施例では図１のフレームメモリ２
の構成を従来例にならい複数の符号化回路のそれぞれに
専用の画像メモリを配置したが、これは図９に示すよう
な画像メモリ８２を各符号化回路で共通化してもよく、
本発明はこれに制限されるものではない。なお、図９の
読み出し用クロックＲＣＫ３８、書き込み用クロックＷ
ＣＫ３７は同周波数とし、読み出し用クロックＲＣＫ３
８と画像メモリ８２の読み出しデータＭＥＭＯＵＴ８３
と各フリップフロップ８４、８５、８６、８７の出力デ
ータＤＥＣＩＮ１（８８）、ＤＥＣＩＮ２（８９）、Ｄ
ＥＣＩＮ３（９０）、ＤＥＣＩＮ４（９１）とそのラッ
チクロックＣＫ１（９２）、ＣＫ２（９３）、ＣＫ３
（９４）、ＣＫ４（９５）とのタイミング図を図１０に
示す。図１０のように読み出し用クロックＲＣＫの約４
分の１の周波数をラッチクロックＣＫに用い、各分割領
域のデータは１画素単位に領域１のデータ（１ａ）、領
域２のデータ（２ａ）、領域３のデータ（３ａ）、領域
４のデータ（４ａ）、領域1のデータ（１ｂ）、・・・
・・のように順番にＭＥＭＯＵＴ８３として読み出すよ
う分割・識別回路３４で画像メモリ８２を制御すること
で低処理能力の符号化装置へ入力信号を並列化できる。

【００６８】

【発明の効果】以上説明したのように本発明によれば、
従来の符号化装置を複数使用し、動画像を複数の領域に
分割し符号化する場合、実際に符号化する以上のメモリ
容量、符号能力を要求することなく、画面外周部で従来
よりある程度の画質劣化が生じる可能性があるが、分割
境界線に接するマクロブロック数を減らすことで、この
従来からの劣化度は無視でき、視点の集中する画面中央
部では、従来発生する画質劣化を生じないため、復号画
像の主観評価を向上させることができる。

【図面の簡単な説明】

【図１】本発明の動画像符号化装置のブロック図であ
る。

【図２】図１のフレームメモリのブロック図である。

【図３】図１の符号化回路のブロック図である。

【図４】図１の符号量制御回路のブロック図である。

【図５】図１の領域別符号量制御回路のブロック図であ
る。

【図６】本発明の分割領域を示す図である。

【図７】本発明の分割領域を示す図である。

【図８】本発明の分割制御を示す図である。

【図９】図１のフレームメモリのブロック図である。

【図１０】図９の動作を説明するための波形図ある。

【図１１】従来の動画像符号化装置のブロック図であ
る。

【図１２】図１１のフレームメモリのブロック図である

【図１３】図１１の符号化回路のブロック図である。

【図１４】図１１の符号量制御回路のブロック図であ
る。

【図１５】従来の分割領域を示す図である。

【図１６】従来の分割制御を示す図である。

【図１７】従来の符号化画像である。

【図１８】従来の分割領域復号画像である。

【図１９】従来の分割領域を示す図である。

【符号の説明】 ２・・・フレームメモリ、３・・・第１の符号化回路、
４・・・第２の符号化回路、５・・・第３の符号化回
路、６・・・第４の符号化回路、７・・・第１の符号量
制御回路、８・・・第２の符号量制御回路、９・・・第
３の符号量制御回路、１０・・・第４の符号量制御回
路、１１・・・メモリ、１３・・・領域識別回路、１４
・・・領域別符号量制御回路。

Claims (3)

【特許請求の範囲】
1. 【請求項１】 画像を複数の領域に分割し、各領域を別
   々に高能率符号化して伝送する動画像符号化装置におい
   て、前記各領域の空間面積はほぼ同等にするが、前記各
   領域の分割境界線が前記画像の中央部を横切らないよう
   割り当て分割する分割手段と、前記分割手段の分割識別
   信号から前記各分割領域の領域を識別する領域識別手段
   とを具備したことを特徴とする動画像符号化装置。
2. 【請求項２】 前記領域識別手段からの前記領域識別信
   号により前記分割領域の範囲内で、動き検出を上限とす
   る領域を検出する動き検出手段を具備したことを特徴と
   する請求項１に記載の動画像符号化装置。
3. 【請求項３】 前記各分割領域別に符号化した各データ
   の出力レートを制御する各伝送バッファの使用量を検出
   する使用量検出手段と、全伝送バッファの使用量を加算
   する加算手段と、前記使用量検出手段で得た使用量と前
   記加算手段で得た使用量から求めた閾値とを比較し、前
   記動画像符号化装置の総出力レートが一定となるよう前
   記各分割領域の符号化回路に割り当てる符号量を決める
   制御手段を具備したことを特徴とする請求項１又は２に
   記載の動画像符号化装置。