JPH07298258A

JPH07298258A - 画像符号化復号化方法

Info

Publication number: JPH07298258A
Application number: JP9178694A
Authority: JP
Inventors: Yoshiyuki Yashima; 由幸八島; Hiroshi Kodera; 博小寺
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: NTT Inc
Priority date: 1994-04-28
Filing date: 1994-04-28
Publication date: 1995-11-10

Abstract

(57)【要約】【目的】高いサンプリングレートを持つ画像を高能率
符号化する場合において、画素あたりの処理速度を低減
して実時間処理を可能とする。【構成】画像符号化復号化方法であって、送信側で、
符号化すべき画像を複数個の小画像に分割した後、分割
されたそれぞれの小画像に対して並列に高能率符号化を
施して伝送し、受信側では、伝送された複数個の小画像
に対する符号化データを復号した後、合成して元の画像
の復合画像を得ることを特徴とする。また、前記符号化
すべき画像を、水平・垂直方向にあらかじめ定められた
比率でサブサンプリングを行って１つの小画像を得る手
段を用い、サブサンプリングを行う際の位相をずらすこ
とによって複数個の小画像を得た後、得られたそれぞれ
の小画像に対して並列に高能率符号化を行う。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、ハイビジョン（ＨＤ
ＴＶ：high density television）等の高いサンプリン
グレートを持つ画像を高能率符号化する場合において、
符号化すべき画像を複数の標準ＴＶサイズの小画像に分
割して並列処理することにより、画素あたりの処理速度
を低減して実時間処理を可能とする画像符号化復号化方
法に関するものである。

【０００２】

【従来の技術】図９は動き補償予測誤差に対して離散コ
サイン変換（ＤＣＴ）を施す代表的な動画像符号化方法
のブロック図である。

【０００３】この動画像符号化方法においては、図９に
示すように、入力端子１０１から入力された画像１０２
は、動きベクトル検出部１０３で、フレームメモリ１０
４に蓄えられている１フレーム前の復号画像との間で動
きベクトル１０５が求められ、動き補償部１０６におい
て、動きベクトル１０５に従って動き補償がなされ、予
測画像１０７が生成される。減算器１０８においては、
入力画像１０２と予測画像１０７の差分が計算され、予
測誤差１０９が求められる。予測誤差１０９は小ブロッ
ク（ＤＣＴブロック）ごとに離散コサイン変換部１１０
に入力されて離散コサイン変換（ＤＣＴ）が施された
後、量子化部１１１でＤＣＴ係数が量子化される。この
とき用いられる量子化ステップは、バッファメモリ１１
３からフィードバックして制御される。量子化されたＤ
ＣＴ係数は、符号割り当て部１１２において符号が割り
当てられ、バッファメモリ１１３に送られる。バッファ
メモリの占有状態は量子化ステップ計算部１１４へ送ら
れて、次のＤＣＴブロックの量子化ステップ１１５が決
定され、量子化部１１１にフィードバックされる。バッ
ファメモリ１１３に蓄えられたデータ１１６が最終的な
符号化データとして出力端子１１７に出力される。

【０００４】一方、量子化されたＤＣＴ係数は、逆量子
化部１１８で逆量子化され、引続き逆離散コサイン変換
部１１９で逆ＤＣＴされた後、加算器１２０にて予測画
像１０７と加算されて局部復号信号１２１となり、次フ
レームの予測のためにフレームメモリ１０４に蓄えられ
る。

【０００５】通常、このような高能率符号化において
は、入力された信号の順序に従ってパイプライン的に処
理を行っていた。すなわち、図１０に示すように、ま
ず、最初に画面の最も左上のＤＣＴブロックを符号化
し、それが終わった時点で次に右隣りのＤＣＴブロック
を符号化する。最上のＤＣＴブロックの符号化が終った
時点でその下側のＤＣＴブロックを同様に左側から順次
処理を行う。

【０００６】１フレームの画面全体の画素数をＮ、１フ
レームの時間をＴとすれば、１画素あたりｔ＝Ｔ／Ｎ秒
で処理を行うことにより、リアルタイムでの符号化が可
能となる。例えば、ＩＴＵ-Ｒ勧告６０１-３に従う水平
７２０画素、垂直４８０画素、フレームレート２９.９
７Ｈｚの標準ＴＶ信号の場合には、ｔ＝（１／２９.９
７）／（７２０×４８０）＝９７（ｎｓｅｃ）となる。

【０００７】

【発明が解決しようとする課題】しかしながら、前記従
来の方法においては、入力信号をパイプライン的に処理
しているので、例えば、ＨＤＴＶ等のように高い周波数
でサンプリングされた信号を高能率符号化する場合、ハ
ードウェアを実時間で動作させることが困難になる場合
がある。例えば、水平・垂直各方向に標準ＴＶの倍の画
素数を持つようなＨＤＴＶ信号を取り扱う場合を考える
と、パイプライン的な符号化処理によれば、１画素の符
号化処理を標準ＴＶの場合の１／４の約２５ｎｓｅｃで
行う必要がある。より大きい画像に対処する場合には、
さらに短い時間での処理が要求され、実時間処理が困難
になるという問題があった。

【０００８】また、ＤＣＴ係数に対して量子化を行うと
きの量子化ステップは、バッファメモリの占有量でフィ
ードバック制御されるが、直前のＤＣＴブロックの符号
化が終った時点のバッファ占有量を用いて、量子化すべ
きＤＣＴブロックの量子化ステップを決定しようとすれ
ば、量子化、符号割り当て、バッファ占有量からの次の
ＤＣＴブロックの量子化ステップ決定の３種の一連の処
理を、１ＤＣＴブロックの時間内に終了する必要があ
る。

【０００９】しかしながら、単位時間に処理すべき画素
数が増えると、１ＤＣＴブロックの時間では処理しきれ
なくなり、フィードバックされるのが、直前のＤＣＴブ
ロックの処理が終わった時点のバッファ状態ではなく、
２ＤＣＴブロック前、あるいは３ＤＣＴブロック前の時
点のバッファ状態で決定された量子化ステップを用いざ
るを得ない状況になる。すなわち、制御が遅延すること
になり、復号画像に悪影響を及ぼすという問題点があっ
た。

【００１０】本発明は、この問題点を解決するためにな
されたものであり、本発明の目的は、高いサンプリング
レートを持つ画像を高能率符号化する場合において、画
素あたりの処理速度を低減して実時間処理を可能とする
技術を提供することにある。

【００１１】本発明の前記ならびにその他の目的及び新
規な特徴は、本明細書の記述及び添付図面によって明ら
かにする。

【００１２】

【課題を解決するための手段】本願において開示される
発明のうち代表的なものの概要を簡単に説明すれば、以
下のとおりである。

【００１３】（１）画像符号化復号化方法であって、送
信側で、符号化すべき画像を複数個の小画像に分割した
後、分割されたそれぞれの小画像に対して並列に高能率
符号化を施して伝送し、受信側では、伝送された複数個
の小画像に対する符号化データを復号した後、合成して
元の画像の復合画像を得ることを特徴とする。

【００１４】（２）前記（１）の画像符号化復号化方法
であって、符号化すべき画像を、水平・垂直方向にあら
かじめ定められた比率でサブサンプリングを行って１つ
の小画像を得る手段を用い、サブサンプリングを行う際
の位相をずらすことによって複数個の小画像を得た後、
得られたそれぞれの小画像に対して並列に高能率符号化
を行うことを特徴とする。

【００１５】（３）前記（２）の画像符号化復号化方法
であって、小画像を得るための分割の方法を信号の性質
によって選択することを特徴とする。

【００１６】

【作用】前述の手段によれば、分割された小画像ごとに
高能率符号化処理を並列に行うことが可能となり、ｎ個
の小画像に分割した場合には１画素の符号化にｎ倍の時
間をかけることができる。従って、画面サイズの非常に
大きくパイプライン的に処理すると１秒あたりに処理す
べき画素数が多い場合でも、実時間での符号化が可能と
なる。

【００１７】また、小画像を作成する場合に、前記手段
の項の（１）によれば、空間的に区切って分割すれば、
画素間相関を最大限に保ったままで、符号化処理を行う
ことができる。

【００１８】また、前記手段の項の（２）によれば、画
素インタリーブ分割によって小画像を作成する場合に
は、各小画像はほぼ同様の画像となり統計的に同じよう
な性質を持つように分割されて符号化処理が行われる。

【００１９】また、前記手段の項の（３）によれば、画
像の特徴によって、局所的に前記（１）の分割方法と、
前記（２）の分割方法を選択することにより、空間的分
割を行った方が符号化効率が良くなる場合は、空間分割
をした後符号化処理を行い、そうでない場合には、画素
インタリーブによる分割をした後符号化処理を行うこと
になる。

【００２０】

【実施例】以下、本発明による実施例を図面を用いて詳
細に説明する。

【００２１】（実施例１）図１は本発明による実施例１
の小画像分割形画像符号化法の原理を説明するためのブ
ロック図であり、１１は符号化対象画像、１２は分割さ
れた小画像信号、１３は符号化・復号化処理、１４は復
号画像、１５は復号対象画像である。

【００２２】本実施例の小画像分割形画像符号化法の原
理は、第１図に示すように、符号化側（送信側）で、ま
ず、符号化対象画像１１の１画面を複数個の小画像１２
に分割し、それぞれの小画像１２を符号化・復号化処理
１３で並列に符号化する。符号化されたそれぞれの小画
像１２の符号化データは、復号側（受信側）の符号化・
復号化処理１３で復号化されて復号小画像１４となり、
その後、それぞれ符号化対象画像の対応する位置に置か
れ、合成された信号が復号信号となり、復号対象画像１
５となる。

【００２３】図２は前記本実施例１の小画像分割形画像
符号化法の実施装置の機能構成を示すブロック構成図で
あり、４０１は入力端子、４０２は符号化対象画像信
号、４０３は画像分割部、４０４は小画像、４０５は情
報圧縮部、４０６は符号化出力、４０７は多重化部、４
０８は符号化出力データ、４０９は出力端子、４１０は
伝送路、４１１は受信端子、４１２は符号化データ、４
１３は多重分離部、４１４は符号化データ、４１５は情
報復号部、４１６は復号小画像、４１７は画像合成部、
４１８は復号信号、４１９は出力端子である。

【００２４】次に、本実施例１の小画像分割形画像符号
化法の実施装置の動作を図２を用いて説明する。図２に
示すように、まず、送信側では、入力端子４０１から入
力された符号化対象画像信号４０２を画像分割部４０３
においてｎ個の小画像４０４に分割する。分割されたそ
れぞれの小画像４０４の信号は、各々情報圧縮部４０５
に入力されて符号化処理が施される。符号化出力４０６
は多重化部４０７に入力され、１つの符号化出力データ
４０８にまとめられた後、出力端子４０９を経て伝送路
４１０に送出される。

【００２５】一方、受信側では、伝送路４１０から受信
端子４１１で受信された符号化データ４１２を多重分離
部４１３においてｎ個の小画像に対応する符号化データ
４１４に分離する。分離されたそれぞれの符号化データ
４１４は、各々情報復号部４１５に入力されて復号処理
が施される。復号された各復号小画像４１６は画像合成
部４１７に入力されてもともとの符号化対象画像信号の
サイズに戻され、復号信号４１８として出力端子４１９
に出力される。

【００２６】画面の分割方法としては、図３（ａ）,
（ｂ）,（ｃ）に示すように、空間的に画像を区切った
種々の空間分割方法を用いることが可能である。

【００２７】また、小画像への変換の方法として、符号
化すべき画像を、水平・垂直方向にあらかじめ定められ
た比率でサブサンプリングを行って１つの小画像を得
る。サブサンプリングの比率は、いくつの小画像（小画
面）に分割するかによって決定される。そして、サブサ
ンプリングを行う際の位相をずらすことによって複数個
の小画像を得るような構成にする（図４：画素インタリ
ーブ分割による小画像構成方法の例，参照）。すなわ
ち、画素をインタリーブして小画像を得ることになる。

【００２８】また、小画像を得るための分割の方法を信
号の性質によって、シーンごとあるいは所定領域ごと
に、空間的分割かあるいは画素インタリーブ分割かを対
象画像に適応するように選択できるようにする。

【００２９】（実施例２）本発明による実施例２のＨＤ
ＴＶ信号を４つの標準ＴＶサイズの小画像に分割して処
理し、情報圧縮方法としては離散コサイン変換を用いる
場合について説明する。

【００３０】図５は本発明による実施例２の画像符号化
復号化方法の実施装置の機能構成を示すブロック構成図
であり、７０１は入力端子、７０２はＨＤＴＶ信号、７
０３は画像分割部、７０４〜７０７は標準ＴＶサイズの
小画像画像、７０８〜７１１は離散コサイン変換部、７
１２〜７１５は量子化部、７１６〜７１９は符号割り当
て部、７２０〜７２３はバッファメモリ部、７２４〜７
２７は符号化出力、７２８は多重化部、７２９は符号化
出力データ、７３０は出力端子である。

【００３１】本実施例２の画像符号化復号化方法の実施
装置の動作を図５を用いて説明する。まず、入力端子７
０１から入力されたＨＤＴＶ信号７０２は、画像分割部
７０３において４つの標準ＴＶサイズの小画像７０４〜
７０７に分割される。

【００３２】このようにして得られたそれぞれの標準Ｔ
Ｖサイズの小画像７０４〜７０７に対して、その後の処
理は並列で行われる。分割された標準ＴＶサイズの小画
像７０４〜７０７は、各々離散コサイン変換部７０８〜
７１１に入力されて離散コサイン変換が施された後、量
子化部７１２〜７１５に入力される。量子化部７１２〜
７１５では、離散コサイン変換係数を量子化し、符号割
り当て部７１６〜７１９において符号が割り当てられた
後、バッファメモリ部７２０〜７２３に送られる。

【００３３】バッファメモリ部７２０〜７２３において
は、それぞれ、その出力が定められた情報量になるよう
に量子化部７１２〜７１５へフィードバック制御がかけ
られる。各小画像に対する符号化出力７２４〜７２７
は、多重化部７２８に入力され、１つにまとめられた
後、出力端子７３０を経て伝送路に送出される。

【００３４】分割の方法としては、図６（ａ）に示すよ
うな空間的分割、あるいは図６（ｂ）に示すような画素
インタリーブ分割が採用される。図６（ａ）に示す空間
的分割においては、小画像のサイズが、ＨＤＴＶ画像の
水平垂直のサイズのそれぞれ半分になるように「田の
字」形に分割され、小画像１、小画像２、小画像３、小
画像４となる。

【００３５】一方、図６（ｂ）に示す画素インタリーブ
分割においては、まず、水平・垂直方向に２：１の比率
で１画素おきにサブサンプリングして小画像１が得られ
る。小画像１が得られた時のサブサンプリングの位相を
水平方向に１画素シフトしてサブサンプリングすること
により小画像２が得られ、垂直方向に１画素シフトして
サブサンプリングすることにより小画像３が得られ、水
平・垂直方向に１画素づつシフトしてサブサンプリング
することにより小画像４が得られる。

【００３６】（実施例３）本発明による実施例３のＨＤ
ＴＶ信号を４つの標準ＴＶサイズの小画像に分割する際
に、空間分割と画素インタリーブ分割を切替える場合に
ついて説明する。

【００３７】図７は本発明による実施例３の画像符号化
復号化方法の実施装置の機能構成を示すブロック構成図
であり、９０１は入力端子、９０２はＨＤＴＶ信号、９
０３は特微量計算部、９０４は切替え信号、９０５は画
像分割部、９０６〜９０９は標準ＴＶサイズの小画像、
９１０〜９１３は離散コサイン変換部、９１４〜９１７
は量子化部、９１８〜９２１は符号割り当て部、９２２
〜９２５はバッファメモリ部、９２６〜９２９は符号化
出力、９３０は多重化部、９３１は符号化出力データ、
９３２は出力端子である。

【００３８】本実施例３の画像符号化復号化方法の実施
装置の動作を図６を用いて説明する。まず、入力端子９
０１から入力されたＨＤＴＶ信号９０２は、特微量計算
部９０３にて画面の特徴が計算され、切替え信号９０４
が求められる。得られた切替え信号９０４に基づいて、
画像分割部９０５において４つの標準ＴＶサイズの小画
像９０６〜９０９に分割される。このようにして得られ
たそれぞれの標準ＴＶサイズの小画像９０６〜９０９に
対して、その後の処理は並列で行われる。分割された標
準ＴＶサイズの小画像９０６〜９０９は、各々離散コサ
イン変換部９１０〜９１３に入力されて離散コサイン変
換が施された後、量子化部９１４〜９１７に入力され
る。量子化部９１４〜９１７では、離散コサイン変換係
数を量子化し、符号割り当て部９１８〜９２１において
符号が割り当てられた後、バッファメモリ部９２２〜９
２５に送られる。バッファメモリ部９２２〜９２５にお
いては、それぞれ、その出力が定められた情報量になる
ように量子化部９１４〜９１７へフィードバック制御が
かけられる。各小画像９０６〜９０９に対する符号化出
力９２６〜９２９は、多重化部９３０に入力され、１つ
の符号化出力データ９３１にまとめられた後、出力端子
９３２を経て伝送路に送出される。

【００３９】切替え信号の設定は、例えば以下のように
すればよい。図８（ａ）に示すように、１画素ごとに変
化が激しいような場合には、ＨＤＴＶ信号の高周波成分
の電力は非常に大きくなり、画素インタリーブ分割をし
た方が得られる小画像での高周波成分を小さくでき、符
号化を易しくすることができる。しかし、図８（ｂ）に
示すように、なだらかな変化をするような場合には画素
インタリーブ分割をすると、得られる小画像においての
隣合う画素の相関が小さくなり、符号化効率が低下する
ため、空間的分割をした方が有利となる。従って、特微
量計算部９０３では、例えば、ＨＤＴＶ信号の周波数ス
ペクトラムを計算して、高周波数成分の電力があるしき
い値以下の場合には空間分割を選択する信号が、高周波
数成分の電力がしきい値以上の場合には画素インタリー
ブ分割を選択する信号が、切替え信号として出力される
ようにすればよい。

【００４０】以上、実施例については、４分割する場合
について述べたが、複数個に分割する場合も全く同様に
考えることができる。また、符号化方法も前記実施例で
述べたフレーム内ＤＣＴのみならず、動き補償フレーム
間ＤＣＴ符号化等一般的な方式にも適用できる。

【００４１】以上、本発明を実施例に基づき具体的に説
明したが、本発明は、前記実施例に限定されるものでは
なく、その要旨を逸脱しない範囲において種々変更し得
ることは言うまでもない。

【００４２】

【発明の効果】本願において開示された発明のうち代表
的なものによって得られる効果を簡単に説明すれば、以
下のとおりである。

【００４３】（１）分割された小画像ごとに高能率符号
化処理を並列に行うことができるので、ｎ個の小画像に
分割した場合には１画素の符号化にｎ倍の時間をかける
ことができる。従って、画面サイズの非常に大きくパイ
プライン的に処理すると１秒あたりに処理すべき画素数
が多い場合でも、実時間での符号化が可能となる。

【００４４】（２）小画像を作成する場合に、空間的に
区切って複数個の小画像に分割すれば、画素間相関を最
大限に利用できるため、符号化効率の劣化を最小限にす
ることがだきる。

【００４５】（３）画素インタリーブ方法によって小画
像を作成する場合には、分割された各小画像はほぼ同様
の画像となり統計的に同じような性質を持つことになる
ので、小画像によって符号化の難易の程度が異なること
がない。そのため、全体に割り当てられた情報量を単純
に均等になるように割り振ることによって良好な符号化
制御を行うことができる。

【００４６】（４）画像の特徴によって局所的に、空間
的に区切って複数個の小画像に分割する分割方法と画素
インタリーブ方法による分割方法を切替えることによ
り、符号化に適した分割が可能となり、符号化効率を向
上することができる。

【００４７】（５）前記（１）〜（４）により、ＨＤＴ
Ｖあるいはそれ以上のサイズの大きな動画像であって
も、符号化効率、符号化制御の容易さ等を考慮しつつ、
実時間での符号化復号化が可能となる。

【図面の簡単な説明】

【図１】本発明による実施例１の小画像分割形画像符号
化法の原理を説明するためのブロック図である。

【図２】本実施例１の小画像分割形画像符号化法の実施
装置の機能構成を示すブロック構成図である。

【図３】本実施例１の空間分割による小画像構成方法の
例を示す図である。

【図４】本実施例１の画素インタリーブ分割による小画
像構成方法の例を示す図である。

【図５】本発明による実施例２の画像符号化復号化方法
の実施装置の機能構成を示すブロック構成図である。

【図６】本実施例２の小画像への分割方法を示す図であ
る。

【図７】本発明による実施例３の画像符号化復号化方法
の実施装置の機能構成を示すブロック構成図である。

【図８】本実施例３における小画像構成方法の切替え方
法を説明する図である。

【図９】従来の動き補償予測離散コサイン変換による画
像符号化方法の実施装置の機能構成を示す図である。

【図１０】従来のパイプライン処理による符号化処理順
序を示す図である。

【符号の説明】

１１…符号化対象画像、１２…分割された小画像、１３
は符号化・復号化処理、１４…復号画像、１５…復号対
象画像、１０１…入力端子、１０２…入力画像信号、１
０３…動きベクトル検出部、１０４…フレームメモリ、
１０５…動きベクトル、１０６…動き補償部、１０７…
予測画像、１０８…減算器、１０９…予測誤差、１１０
…離散コサイン変換部、１１１…量子化部、１１２…符
号割り当て部、１１３…バッファメモリ、１１４…量子
化ステップ計算部、１１５…量子化ステップ、１１６…
符号化データ、１１７…出力端子、１１８…逆量子化
部、１１９…逆離散コサイン変換部、１２０…加算器、
１２１…局部復号信号、４０１…入力端子、４０２…符
号化対象画像信号、４０３…画像分割部、４０４…分割
されたｎ個の小画像、４０５…情報圧縮部、４０６…符
号化出力、４０７…多重化部、４０８…符号化出力デー
タ、４０９…出力端子、４１０…伝送路、４１１…受信
端子、４１２…符号化データ、４１３…多重分離部、４
１４…各小画像に対応する符号化データ、４１５…情報
復号部、４１６…復号されたｎ個の小画像、４１７…画
像合成部、４１８…復号画像信号、４１９…出力端子、
７０１…入力端子、７０２…入力ＨＤＴＶ信号、７０３
…画像分割部、７０４〜７０７…分割された標準ＴＶサ
イズ小画像、７０８〜７１１…離散コサイン変換部、７
１２〜７１５…量子化部、７１６〜７１９…符号割り当
て部、７２０〜７２３…バッファメモリ、７２４〜７２
７…小画像に対する符号化出力、７２８…多重化部、７
２９…ＨＤＴＶ信号に対する符号化データ、７３０…符
号化データ出力端子、９０１…入力端子、９０２…入力
ＨＤＴＶ信号、９０３…特微量計算部、９０４…切替え
信号、９０５…画像分割部、９０６〜９０９…分割され
た標準ＴＶサイズ小画像、９１０〜９１３…離散コサイ
ン変換部、９１４〜９１７…量子化部、９１８〜９２１
…符号割り当て部、９２２〜９２５…バッファメモリ、
９２６〜９２９…小画像に対する符号化出力、９３０…
多重化部、９３１…ＨＤＴＶ信号に対する符号化デー
タ、９３２…符号化データ出力端子。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号庁内整理番号ＦＩ技術表示箇所Ｈ０３Ｍ 7/30 Ａ 8842−5ＪＨ０４Ｎ 7/015 Ｇ０６Ｆ 15/66 ３３０ＤＨ０４Ｎ 7/00 Ａ

Claims

【特許請求の範囲】

【請求項１】送信側で、符号化すべき画像を複数個の
小画像に分割した後、分割されたそれぞれの小画像に対
して並列に高能率符号化を施して伝送し、受信側では、
伝送された複数個の小画像に対する符号化データを復号
した後、合成して元の画像の復号画像を得ることを特徴
とする画像符号化復号化方法。
【請求項２】符号化すべき画像を、水平・垂直方向に
あらかじめ定められた比率でサブサンプリングを行って
１つの小画像を得る手段を用い、サブサンプリングを行
う際の位相をずらすことによって複数個の小画像を得た
後、得られたそれぞれの小画像に対して並列に高能率符
号化を行うことを特徴とする請求項１の画像符号化復号
化方法。
【請求項３】小画像を得るための分割の方法を信号の
性質によって選択することを特徴とする請求項２の画像
符号化復号化方法。