JP2000253403A - 画像符号化方式変換装置及び画像通信システム - Google Patents

画像符号化方式変換装置及び画像通信システム

Info

Publication number
JP2000253403A
JP2000253403A JP4885899A JP4885899A JP2000253403A JP 2000253403 A JP2000253403 A JP 2000253403A JP 4885899 A JP4885899 A JP 4885899A JP 4885899 A JP4885899 A JP 4885899A JP 2000253403 A JP2000253403 A JP 2000253403A
Authority
JP
Japan
Prior art keywords
encoded data
encoding
image
coding
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Abandoned
Application number
JP4885899A
Other languages
English (en)
Inventor
Etsuhisa Yamada
悦久 山田
Yoshimi Isu
芳美 井須
Kazuo Sugimoto
和夫 杉本
Fuminobu Ogawa
文伸 小川
Shunichi Sekiguchi
俊一 関口
Shinichi Kuroda
慎一 黒田
Yuri Hasegawa
由里 長谷川
Kotaro Asai
光太郎 浅井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP4885899A priority Critical patent/JP2000253403A/ja
Publication of JP2000253403A publication Critical patent/JP2000253403A/ja
Abandoned legal-status Critical Current

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

(57)【要約】 【課題】 規模が小さく処理遅延時間が短い画像符号化
方式変換装置を得る。 【解決手段】 H.263符号化データをMPEG−4
符号化データに変換する場合、H.263符号化データ
解析手段512は、可変長復号の部分的な機能を有し、
H.263符号化データの解析を行い、一部をH.26
3符号化方式で復号して、その他と共に符号化パラメー
タとして出力する。MPEG−4符号化データ出力手段
523は、可変長符号化の部分的な機能を有し、復号さ
れた符号化パラメータをMPEG−4符号化方式で符号
化し、その他の符号化パラメータを、MPEG−4符号
化方式に適した形式に変換して、MPEG−4符号化デ
ータとして出力する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は、符号化方式の異
なる画像伝送端末間の通信を行う画像符号化方式変換装
置及び画像通信システムに関するものである。
【0002】
【従来の技術】動画像の符号化方式として様々な方式が
提案されている。例えば低レート符号化方式として、国
際標準化されたものや、標準化の検討をされつつあるも
のとして、ITU−T(International
Telecommunication Union−
Telecommunication Standar
dization Sector)のH.261やH.
263,ISO(International Org
anization for Standard)/I
EC(International Electrot
echnicalCommission)のMPEG−
4(Moving Picture Experts
Group−4)等が挙げられる。
【0003】これら3方式は、いずれも離散コサイン変
換(DCT:Discrete Cosine Tra
nsform)器と動き補償(MC:Motion C
ompensation)付きフレーム間予測符号化
器、可変長符号化(VLC:Variable Len
gth Coding)器等から構成されるハイブリッ
ド符号化方式であり、共通となる要素技術が多いもので
はあるが、それぞれの符号化方式には、それぞれ細部で
異なる部分がある。これは標準化作業が行われた時期の
H/WやS/Wの性能の限界からくるものや、使用され
る用途を考慮して、それぞれの方式が最適化されたため
である。
【0004】以下にH.261,H.263のベースラ
イン方式(以下の説明では単にH.263と記す)、M
PEG−4のシンプルプロファイル方式(以下の説明で
は単にMPEG−4と記す)の各方式について説明す
る。
【0005】図3は上記の各方式で使用される符号化器
の構成を示す図であり、図において、1は入力画像から
予測画像を減算する減算器、2,12は符号化タイプを
切り替えるタイプ切替スイッチ、3は直交変換を行うD
CT器、4は量子化を行う量子化器、5は可変長符号化
により圧縮する可変長符号化器、6は逆量子化を行う逆
量子化器、7は逆DCT演算を行う逆DCT器、8は逆
DCT器7の出力と予測画像を加算する加算器、9は予
測参照画像を記憶するフレームメモリ、10は予測画像
を生成する動き補償予測器、11はループ内フィルタで
ある。
【0006】次に動作について説明する。まず、H.2
61符号化方式について説明する。H.261符号化方
式に入力可能な画像のサイズは、CIF(Common
Intermediate Format:共通中間フ
ォーマット)と呼ばれる352画素×288ライン、又
はQCIF(Quarter CIF)と呼ばれる17
6画素×144ラインのいずれかである。
【0007】1フレームの画像は、CIFの場合には1
2個のGOB(Group OfBlock)に、QC
IFの場合には3個のGOBに分割され、GOB単位に
処理される。1つのGOBは、11×3個のマクロブロ
ックから構成される。1つのマクロブロックは、8画素
×8ラインの輝度信号を4つ(すなわち16画素×16
ラインのサイズとなる)と、8画素×8ラインの大きさ
の2組の色差信号から構成される。
【0008】図4はH.261符号化方式における画像
信号の構成を示す図であり、図4(a)はCIFのGO
B構造を示す図、図4(b)はQCIFのGOB構造を
示す図、図4(c)はGOBのマクロブロック構造を示
す図、図4(d)はマクロブロックのブロック構造を示
す図である。
【0009】図3において、動き補償予測器10は、マ
クロブロック単位に処理を行う。動きベクトルの探索は
整数画素単位で行われ、探索可能な範囲はフレームメモ
リ9に記憶されている予測参照画像の内側で、かつ±1
5画素の範囲内である。また、色差成分の動きベクトル
は、輝度成分の動きベクトルに0.5を乗じて小数点以
下を切り捨てて、整数画素精度にしたものである。動き
補償予測画像に対して、ループ内フィルタ11をかける
ことができる。このループ内フィルタ11では、注目画
素に対して、周囲の8画素を用いてローパスフィルタ処
理を行い、画像に含まれる雑音を除去している。
【0010】量子化器4は、量子化スケールとして、1
〜31までの全ての整数をマクロブロック単位に選択で
きる。イントラマクロブロック(フレーム内符号化)の
DC係数に対する量子化スケールの値は、8に固定され
ている。量子化されたインデックスは、±127の範囲
に制限がかけられる。
【0011】図5(a)はH.261符号化方式におけ
る符号化データの構造を示す図である。図3に示す可変
長符号化器5は、図5(a)に示す構造を持った符号化
データを出力する。1フレーム分の符号化データには、
フレーム開始符号(PSC)101,フレーム番号(T
R)102,画像サイズ等を示すタイプ情報(PTYP
E)103を含んだピクチャヘッダ104が先頭に付与
される。また、各GOBの符号化データは、GOB開始
符号(GBSC)105と量子化特性情報(GQUAN
T)106を含んだGOBヘッダ107が先頭に付与さ
れる。GOBヘッダ107の後には、各マクロブロック
の符号化データが続く。符号化データを含まないマクロ
ブロックは省略される。
【0012】図5(b)はH.261符号化方式におけ
るマクロブロックの構造を示す図である。マクロブロッ
クアドレス(MBA)108は、直前の符号化データを
含むマクロブロックとの距離を示すデータが含まれる。
符号化方式を示すタイプ情報(MTYPE)109,マ
クロブロックの量子化スケールを示す量子化特性情報
(MQUANT)110,動きベクトル情報(MVD)
111が必要に応じて多重化される。量子化特性情報
(MQUANT)110は、直前のマクロブロックの量
子化スケールと異なるときに挿入され、前述のように、
1〜31までの全ての値を選択することができる。動き
ベクトル情報(MVD)111は、左隣のマクロブロッ
クの動きベクトルとの間で差分をとって、その差分値が
可変長符号化される。
【0013】有意ブロックパターン(CBP)112
は、図4(d)に示す4つの輝度信号と2つの色差信号
の合計6個のブロックが、有意(変換係数113を含
む)であるか非有意(変換係数113が含まれない)で
あるかを示す情報を含んでいる。有意ブロックに対して
は、ブロックに含まれる64個のDCT係数をジグザグ
スキャンし、連続するゼロの個数(ゼロラン)と、ゼロ
でない量子化インデックスの値(レベル)を組み合わせ
た2次元可変長符号語、又は20ビットの固定長符号語
を用いて、変換係数(TCOEFF)113が符号化さ
れる。最後の非ゼロの量子化インデックスの符号語の後
ろには、ブロック終了符号(EOB)114が付与され
る。
【0014】次にH.263符号化方式について説明す
る。H.263符号化方式には、図3におけるループ内
フィルタ11が存在しない。H.263符号化方式に入
力可能な画像のサイズは、前述のCIF・QCIFのほ
かに、SQCIFと呼ばれる128画素×96ライン、
4CIFと呼ばれる704画素×576ライン、16C
IFと呼ばれる1408画素×1152ラインの5種類
から選択できる。1フレームの画像は複数のGOBから
構成され、GOBは複数のマクロブロックから構成され
るが、GOBの形式はH.261とは異なり画面の左端
から右端まで連続している。マクロブロックの形式は、
図4(d)に示すH.261と同じである。
【0015】図6はH.263符号化方式における画像
信号の構成を示す図であり、図6(a)はCIFのGO
B構造を示す図であり、18個のGOBで構成されてい
る。図6(b)はQCIFのGOB構造を示す図であ
り、9個のGOBで構成されている。図6(c)はSQ
CIFのGOB構造を示す図であり、6個のGOBで構
成されている。
【0016】図3において、動き補償予測器10は、マ
クロブロック単位に処理を行う。動きベクトルの探索
は、0.5画素単位で行われ、探索可能な範囲は、フレ
ームメモリ9に記憶されている予測参照画像の内側で、
かつ−16.0画素から+15.5画素の範囲内であ
る。0.5画素の動きベクトルに対しては、補間処理に
よって予測参照画像が作成されるが、補間処理において
生じる小数点以下の画像信号は、四捨五入されるため、
0.5の値は常に切り上げ処理される。また、色差成分
の動きベクトルは、輝度成分の動きベクトルに0.5を
乗じた値を、0.5画素精度に丸めた値である。
【0017】量子化器4は、量子化スケールとして、直
前に符号化されたマクロブロックで使用された量子化ス
ケールの値に対して、±2の範囲内でのみマクロブロッ
ク単位に選択できる。イントラマクロブロックのDC係
数に対する量子化スケールは、8に固定されている。量
子化されたインデックスは、±127の範囲に制限がか
けられる。
【0018】図7(a)はH.263符号化方式におけ
る符号化データの構造を示す図である。図3に示す可変
長符号化器5は、図7(a)に示す構造を持った符号化
データを出力する。1フレーム分の符号化データは、フ
レーム開始符号(PSC)201,フレーム番号(T
R)202,画像サイズや符号化タイプ(フレーム内符
号化ピクチャとフレーム間符号化ピクチャをとりうる)
等を示すタイプ情報(PTYPE)203,量子化特性
情報(PQUANT)204を含んだピクチャヘッダ2
05が先頭に付与される。
【0019】また、図7(a)において、各GOBの符
号化データは、GOB開始符号(GBSC)207と量
子化特性情報(GQUANT)208を含んだGOBヘ
ッダ209が先頭に付与される。ただし、1フレームの
最初のGOBには、GOBヘッダが付与されない。ま
た、GOB開始符号(GBSC)207が、常に8ビッ
トの倍数の位置に置かれるように、GOBヘッダの直前
にスタッフビット(GSTUF)206が挿入される。
【0020】図7(b)はH.263符号化方式におけ
るマクロブロックの構造を示す図である。符号化マクロ
ブロック指示フラグ(COD)210は、マクロブロッ
ク中に符号化データを含むか含まないかを示すフラグで
あり、含まない場合には、その直後に、次のマクロブロ
ックの符号化マクロブロック指示フラグ210が続く。
【0021】符号化データを含むマクロブロックに対し
ては、符号化方式と2つの色差信号ブロックの有意/非
有意を示すタイプ情報(MCBPC)211,4つの輝
度信号ブロックの有意/非有意を示す有意ブロックパタ
ーン(CBPY)212,マクロブロックの量子化特性
情報(DQUANT)213,動きベクトル情報(MV
D)214が必要に応じて多重化される。
【0022】量子化特性情報(DQUANT)213
は、直前のマクロブロックの量子化スケールと異なると
きに挿入され、前述のように直前の量子化スケールに対
して、−2〜+2の差分値が符号化される。動きベクト
ル情報(MVD)214は左隣、真上、右斜め上の3つ
のマクロブロックの動きベクトルから一つが予測値とし
て選択され、予測値との差分が可変長符号化される。
【0023】符号化するマクロブロックがイントラマク
ロブロックの場合は、イントラDC係数(INTRAD
C)215が符号化される。これは、前述のように、固
定の量子化スケールで量子化されたDC係数を、固定長
符号化したものである。イントラマクロブロックのAC
係数と非イントラマクロブロックの全ての係数(変換係
数(TCOEFF)216)は、ジグザグスキャンさ
れ、ゼロランとレベルとその非ゼロの量子化インデック
スが、ブロック内の最後の非ゼロ係数か否かを示すフラ
グ(ラスト)を組み合わせた3次元可変長符号語、又は
22ビットの固定長符号語を用いて符号化される。
【0024】図7(a)において、フレームの最後のマ
クロブロックの符号化の後には、フレーム開始符号(P
SC)201が、常に8ビットの倍数の位置に置かれる
ように、スタッフビット(PSTUF)217が挿入さ
れる。
【0025】次にMPEG−4符号化方式について説明
する。MPEG−4符号化方式には、H.263符号化
方式と同様に、図3のループ内フィルタ11が存在しな
い。MPEG−4符号化方式に入力可能な画像のサイズ
は、CIF以下のサイズのみ規定されており、任意のサ
イズの画像を入力することが可能である。1フレーム
(MPEG−4では1VOPと呼ばれる)の画像は、一
つもしくは複数のVP(Video Packet)か
ら構成され、VPは一つ又は複数のマクロブロックから
構成される。
【0026】図8はMPEG−4符号化方式のVPの一
例を示す図であり、この図では、18個のVPにより構
成されているが、VPの形式は任意であり、画面の左上
から右下へ向けて、任意の個数のVPがギャップなく並
んでいればよい。
【0027】図3に示す動き補償予測器10は、マクロ
ブロック又はマクロブロックを4分割したブロック(輝
度信号では8画素×8ラインに相当する。この予測方式
を4V予測と呼ぶことにする)を単位に処理を行う。動
きベクトルの探索は、0.5画素単位で行われ、探索可
能な範囲は、フレームメモリ9に記憶されている予測参
照画像の内側、及び予測参照画像の一部を含む外側(非
制限動き補償と呼ぶこととする)で、かつ後述するVO
Pヘッダに含まれているfcodeで指定される範囲内
(例えばfcode=1のときは、−16.0画素から
+15.5画素まで)である。
【0028】0.5画素の動きベクトルに対しては、補
間処理によって予測参照画像が作成されるが、補間処理
において生じる小数点以下の画像信号のうち、0.5の
値は、後述するVOPヘッダに含まれているvop_r
ounding_typeフラグの値に応じて、切り上
げ・切り捨て処理が実行される。色差成分の動きベクト
ルは、輝度成分の動きベクトルに0.5を乗じた値を、
0.5画素精度に丸めた値である。
【0029】図3に示す量子化器4は、量子化スケール
として、直前に符号化されたマクロブロックで使用され
た量子化スケールの値に対して、±2の範囲内でのみマ
クロブロック単位に選択できる。イントラマクロブロッ
クのDC係数に対しては、量子化スケールの値によって
一意に決められるdc_scalerの値を使用する。
量子化されたインデックスは、±2047の範囲に制限
がかけられる。
【0030】図9(a)はMPEG−4符号化方式にお
ける符号化データの構造を示す図である。図3に示す可
変長符号化器5は、図9(a)に示す構造を持った符号
化データを出力する。なお、MPEG−4では、複数の
符号化データを合成して、一つの画像を構成する機能が
備わっており、構成される画像全体をVO(Visua
l Object)と呼び、個々の符号化データをVO
L(Video Object Layer)と呼び、
また「フレーム」の代わりにVOP(Video Ob
ject Plane)という概念が使用される。
【0031】以下の説明では、一つの符号化データで一
つの画像が構成される場合について説明を行う。VOは
VO開始符号(VOSC)301を含むVOヘッダ30
2で開始される。VOLはVOL開始符号(VOLS
C)303,再同期マーカー未使用フラグ(RMD)3
04,データパーティショニング使用フラグ(DP)3
05,RVLC使用フラグ(RVLC)306を含むV
OLヘッダ307で開始される。
【0032】図9(b)はMPEG−4符号化方式にお
けるVOPデータの構成を示す図である。VOP開始符
号(VOPSC)308,符号化タイプ情報(フレーム
内符号化されるI−VOPかフレーム間符号化されるP
−VOPのいずれかをとりうる)を含むVOPタイプ情
報(VOPTYPE)309,VOPに符号化データが
含まれているか否かを示すVOP符号化フラグ(VOP
CODED)310,前述のvop_rounding
_type(VOPROUND)311,量子化特性情
報(VOPQUANT)312,前述のfcode(F
CODE)313を含むVOPヘッダ314で開始され
る。
【0033】再同期マーカー未使用フラグ(RMD)3
04が「使用」となっていた場合、VOPを構成するマ
クロブロックデータは、複数のVPに分割することがで
き、各々のVPの先頭には、再同期マーカー(RM)3
15,マクロブロック番号(MN)316,量子化特性
情報(QSCALE)317等を含むビデオパケットヘ
ッダ318が挿入される。なお、図中省略したが、VO
開始符号(VOSC)301,VOL開始符号(VOL
SC)303,VOP開始符号(VOPSC)308,
再同期マーカー(RM)315は、常に8ビットの倍数
の位置に置かれる必要があるため、それぞれの符号の前
には、必要に応じてスタッフビットが挿入される。
【0034】図10はMPEG−4符号化方式における
マクロブロックデータの構成を示す図である。図10
(a)は、図9(a)におけるデータパーティショニン
グ使用フラグ(DP)305が、「未使用」となってい
た場合のマクロブロックデータの構成を示す図であり、
H.263符号化方式と似た構造となる。図10(b)
は、図9(a)におけるデータパーティショニング使用
フラグ(DP)305が「使用」となっていて、I−V
OP(フレーム内符号化)の場合のマクロブロックデー
タの構成を示す図、図10(c)は、図9(a)におけ
るデータパーティショニング使用フラグ(DP)305
が「使用」となっていて、P−VOP(フレーム間符号
化)の場合のマクロブロックデータの構成を示す図であ
る。
【0035】図10(a)において、符号化マクロブロ
ック指示フラグ(NOTCODED)321は、マクロ
ブロック中に符号化データを含むか含まないかを示すフ
ラグであり、含まない場合には、その直後に次のマクロ
ブロックの符号化マクロブロック指示フラグ(NOTC
ODED)321が続く。符号化データを含むマクロブ
ロックに対しては、符号化方式と2つの色差信号ブロッ
クの有意/非有意を示すタイプ情報(MCBPC)32
2,AC係数予測指示フラグ(ACPRED)323,
4つの輝度信号ブロックの有意/非有意を示す有意ブロ
ックパターン(CBPY)324,マクロブロックの量
子化特性情報(DQUANT)325,動きベクトル情
報(MVD)326が必要に応じて多重化される。
【0036】AC係数予測指示フラグ(ACPRED)
323は、イントラマクロブロックのときにのみ含まれ
るもので、指示フラグがオンになっていた場合には、左
隣又は真上のブロックのAC係数から予測が行われ、予
測値との差分が変換係数(TCOEFF)328として
符号化される。量子化特性情報(DQUANT)325
は、直前のマクロブロックの量子化スケールと異なると
きに挿入され、前述のように直前の量子化スケールに対
して−2〜+2の差分値が符号化される。
【0037】動きベクトル情報(MVD)326は、左
隣、真上、右斜め上の3つのマクロブロックの動きベク
トルから一つが予測値として選択され、予測値との差分
が可変長符号化される。符号化するマクロブロックがイ
ントラマクロブロックの場合は、イントラDC係数(I
NTRADC)327が符号化される。これは、前述の
ようにQUANTの値によって一意に決められるdc_
scalerの値を使用して量子化されたDC係数を可
変長符号化されたものである。
【0038】イントラマクロブロックのAC係数と非イ
ントラマクロブロックの全ての係数はスキャンされ、ゼ
ロランとレベルとその非ゼロの量子化インデックスが、
ブロック内の最後の非ゼロ係数か否かを示すフラグ(ラ
スト)を組み合わせた3次元可変長符号語、又は3次元
固定長符号語を用いて符号化される。スキャンは、AC
係数予測指示フラグ(ACPRED)323がオンにな
っていたときは特殊なスキャン順序で、オフになってい
たときは、H.261符号化方式や、H.263符号化
方式と同じジグザグスキャンの順序で行われる。
【0039】イントラマクロブロックのときと非イント
ラマクロブロックのときとで、異なる3次元可変長符号
語が使用される。非イントラマクロブロック用の3次元
可変長符号語は、H.263符号化方式で使用されるも
のと同じである。3次元固定長符号語は、H.263で
使用される固定長符号語とは、一部を除き異なる符号語
が使用される。
【0040】図9(a)に示すデータパーティショニン
グ使用フラグ(DP)305が「使用」になっていたと
きは、多重化される符号化データは「未使用」のときと
同じであるが、多重化を行う順序が異なる。I−VOP
のときは、図10(b)に示すように、一つのVPに属
する全てのマクロブロックのタイプ情報(MCBPC)
322,量子化特性情報(DQUANT)325,イン
トラDC係数(INTRADC)327の情報が330
として先に多重化され、I−VOP用マーカー(DCM
ARKER)331が挿入された後で、残りのAC係数
予測指示フラグ(ACPRED)323,有意ブロック
パターン(CBPY)324,変換係数(TCOEF
F)328の情報が332として多重化される。
【0041】また、P−VOPのときは、図10(c)
に示すように、一つのVPに属する全てのマクロブロッ
クの符号化マクロブロック指示フラグ(NOTCODE
D)321,タイプ情報(MCBPC)322,動きベ
クトル情報(MVD)326の情報が333として先に
多重化され、P―VOP用マーカー(MOMARKE
R)334が挿入された後で、残りのAC係数予測指示
フラグ(ACPRED)323,有意ブロックパターン
(CBPY)324,量子化特性情報(DQUANT)
325,イントラDC係数(INTRADC)327,
変換係数(TCOEFF)328の情報が335として
多重化される。
【0042】なお、図9(a)に示すデータパーティシ
ョニング使用フラグ(DP)305が、「使用」になっ
ていた場合において、RVLC使用フラグ(RVLC)
306が、同時に「使用」になっていた場合には、変換
係数(TCOEFF)328の3次元可変長符号語及び
固定長符号語として両方向から復号可能なRVLC(R
eversible Variable Length
Coding)という符号語が使用される。
【0043】図11は上記のような異なった符号化方式
を備えた端末間の画像通信システムを示す図であり、図
において、401はH.261符号化器を備えた送信
器、402はH.263符号化器を備えた送信器、40
3はMPEG−4符号化器を備えた送信器であり、40
4はH.261復号器を備えた受信器、405はH.2
63復号器を備えた受信器、406はMPEG−4復号
器を備えた受信器である。また、407は上記送信器4
01〜403と受信器404〜406とを中継する画像
符号化方式変換装置である。
【0044】図12は図11における画像符号化方式変
換装置407の構成を示す図であり、図において、41
1はH.261復号器、412はH.263復号器、4
13はMPEG−4復号器であり、421はH.261
符号化器、422はH.263符号化器、423はMP
EG−4符号化器である。また、431は送信器401
〜403からの符号化データを切り替えるスイッチ、4
32はH.261復号器411,H.263復号器41
2,MPEG−4復号器413からの画像を切り替える
スイッチである。スイッチ431,432は、図11に
おける送信機401,402,403のいずれかから、
受信機404,405,406へのいずれかに通信を始
める前に、予め設定されている。
【0045】図12において、H.261符号化器42
1,H.263符号化器422,MPEG−4符号化4
23の構成は、図3に示すものが必要になる。図13は
H.261復号器411,H.263復号器412,M
PEG−4復号器413の構成を示す図であり、図にお
いて、13は符号化された画像を復号する可変長復号す
る可変長復号器であり、その他の構成は、図3の各符号
化器が備える構成と同等のものである。
【0046】これら異なった符号化方式を備えた端末間
で動画像通信を行おうとした場合、ある送信器(401
〜403)から送られてきた符号化データは、スイッチ
431により、その符号化方式に応じた復号器(411
〜413)に入力して、一度画像に復号した後に、スイ
ッチ432により、通信を行う相手先の受信器(404
〜406)が持つ復号方式に合わせた符号化器(421
〜423)に、復号した画像を入力して再度符号化し、
相手先の受信器(404〜406)に送信している。
【0047】
【発明が解決しようとする課題】従来の画像符号化方式
変換装置は以上のように構成されているので、各符号化
方式に対応した符号化器及び復号器が必要となり、画像
符号化方式変換装置の規模が大きくなると共に、符号化
データを復号・符号化処理するために、処理遅延時間が
長くなるという課題があった。
【0048】この発明は上記のような課題を解決するた
めになされたもので、送信器401〜403から送られ
てきた符号化データの解析を行い、通信を行う相手先の
受信器404〜406が持つ復号器の方式に合わせた符
号化データを、画像の復号・符号化処理を経ることなく
作成することにより、規模が小さく、処理遅延時間も短
い画像符号化方式変換装置及び画像通信システムを得る
ことを目的とする。
【0049】
【課題を解決するための手段】この発明に係る画像符号
化方式変換装置は、画像信号が第1の符号化方式により
符号化された第1の符号化データを入力し、上記画像信
号が第2の符号化方式により符号化された第2の符号化
データを出力するものにおいて、上記入力された第1の
符号化データにおける一部を、上記第1の符号化方式で
可変長復号し、上記入力された第1の符号化データにお
ける他部と共に、符号化パラメータとして出力する符号
化データ解析手段と、上記符号化データ解析部から出力
された、上記第1の符号化方式で可変長復号された符号
化パラメータを、上記第2の符号化方式で可変長符号化
すると共に、上記符号化データ解析部から出力された、
第1の符号化データにおける他部の符号化パラメータ
を、上記第2の符号化方式に適した形式に変換して、上
記第2の符号化データとして出力する符号化データ出力
手段とを備えたものである。
【0050】この発明に係る画像符号化方式変換装置
は、符号化データ解析手段が、入力した第1の符号化デ
ータからイントラDC係数を可変長復号し、逆量子化を
行い、上記イントラDC係数の符号化パラメータを出力
し、符号化データ出力手段が、上記イントラDC係数の
符号化パラメータを量子化し、可変長符号化を行い、第
2の符号化データに含めて出力するものである。
【0051】この発明に係る画像符号化方式変換装置
は、符号化データ解析手段が、入力した第1の符号化デ
ータから変換係数の一部を可変長復号し、逆量子化を行
い、上記変換係数一部の符号化パラメータを出力し、符
号化データ出力手段が、上記変換係数一部の符号化パラ
メータを量子化し、可変長符号化を行い、第2の符号化
データに含めて出力するものである。
【0052】この発明に係る画像符号化方式変換装置
は、第2の符号化方式では禁止されている、量子化され
たDCT係数の値を持った変換係数が第1の符号化デー
タに含まれているときに、符号化データ出力手段が、量
子化されたDCT係数の値を第2の符号化方式の制限内
に収まるように変換するものである。
【0053】この発明に係る画像符号化方式変換装置
は、第2の符号化方式では禁止されている値をもった動
きベクトルによって動き補償予測方式が第1の符号化方
式で行われているときに、符号化データ出力手段が、動
きベクトルの値が第2の符号化方式の制限内に収まるよ
うに制限を加えて、可変長符号化を行うものである。
【0054】この発明に係る画像符号化方式変換装置
は、第2の符号化方式には機能が備えられていない4組
の動きベクトルを用いた動き補償予測方式が第1の符号
化方式で行われているときに、符号化データ出力手段
が、上記4組の動きベクトルから1組の代表動きベクト
ルを生成して、第2の符号化データを出力するものであ
る。
【0055】この発明に係る画像符号化方式変換装置
は、符号化データ解析手段が、4組の動きベクトルを用
いた動き補償予測を行っているマクロブロックの個数を
計数し、その個数があらかじめ設定されている閾値を超
えた場合に、第1の符号化データの送付元に、フレーム
内符号化処理を行うよう要求するものである。
【0056】この発明に係る画像符号化方式変換装置
は、第2の符号化方式では禁止されている、予測参照画
像が画面の外側へまたがった動き補償予測方式が、第1
の符号化方式で行われているときに、符号化データ出力
手段が、上記予測参照画像が画面内の動きベクトルとな
るようにベクトル値に制限を加えて、可変長符号化を行
うものである。
【0057】この発明に係る画像符号化方式変換装置
は、第2の符号化方式には機能が備えられていないルー
プ内フィルタによる処理を用いた動き補償予測方式が、
第1の符号化方式で行われているときに、符号化データ
出力手段が、符号化データ解析手段より出力された動き
ベクトルの値を0.5画素だけ値を変えて、符号化を行
うものである。
【0058】この発明に係る画像符号化方式変換装置
は、符号化データ解析手段が、ループ内フィルタの処理
が行われているマクロブロックの個数を計数し、その個
数があらかじめ設定されている閾値を超えた場合に、第
1の符号化データの送付元に、フレーム内符号化処理を
行うよう要求するものである。
【0059】この発明に係る画像符号化方式変換装置
は、第2の符号化方式には機能が備えられていない、半
画素精度の動きベクトルを用いた動き補償予測方式が第
1の符号化方式で行われているときに、符号化データ出
力手段が、符号化データ解析手段より出力された動きベ
クトルの値を整数精度に丸め処理を行い、符号化するも
のである。
【0060】この発明に係る画像符号化方式変換装置
は、第2の符号化方式にループ内フィルタの機能が備え
られているときに、符号化データ出力手段が、半画素精
度の動きベクトルを用いた動き補償予測方式が第1の符
号化方式で行われているマクロブロックに対して、ルー
プ内フィルタの使用を指示するフラグを生成するもので
ある。
【0061】この発明に係る画像符号化方式変換装置
は、入力された第1の符号化データと出力される第2の
符号化データとの間に画像サイズの相違があるときに、
符号化データ出力手段が、画像サイズを大きくするため
にダミーデータを挿入するものである。
【0062】この発明に係る画像符号化方式変換装置
は、入力された第1の符号化データと出力される第2の
符号化データとの間に画像サイズの相違があるときに、
符号化データ出力手段が、画像サイズを小さくするため
に画面の周縁部に位置するマクロブロックのデータを廃
棄するものである。
【0063】この発明に係る画像符号化方式変換装置
は、出力される第2の符号化データにおいて、設定され
ている符号量に対して出力される符号量が不足している
ときに、符号化データ出力手段が、第2の符号化データ
に挿入するスタッフビットのビット数を増やすことによ
り符号量の調整を行うものである。
【0064】この発明に係る画像符号化方式変換装置
は、出力される第2の符号化データにおいて、設定され
ている符号量に対して出力される符号量が超過している
ときに、符号化データ出力手段が、フレーム内符号化ピ
クチャの直前のフレーム間符号化ピクチャのマクロブロ
ックデータを廃棄することにより符号量の調整を行うも
のである。
【0065】この発明に係る画像符号化方式変換装置
は、出力される第2の符号化データにおいて、設定され
ている符号量に対して出力される符号量が超過している
ときに、符号化データ出力手段が、フレーム間符号化ピ
クチャの画面の端に位置するマクロブロックデータを廃
棄することにより符号量の調整を行うものである。
【0066】この発明に係る画像符号化方式変換装置
は、出力される第2の符号化データにおいて、設定され
ている符号量に対して出力される符号量が超過している
ときに、符号化データ出力手段が、非イントラマクロブ
ロックの変換係数データの一部を廃棄することにより符
号量の調整を行うものである。
【0067】この発明に係る画像符号化方式変換装置
は、第2の符号化方式に伝送路の誤りに対する耐性を強
化するための機能が備わっている場合において、符号化
データ出力手段が、第2の符号化データの伝送路に発生
している誤りの状態に応じて、上記誤りに対する耐性を
強化するための機能を使用して、上記第2の符号化デー
タを出力するものである。
【0068】この発明に係る画像通信システムは、画像
信号を第1の符号化方式により符号化を行い第1の符号
化データを出力する画像符号化装置と、第2の符号化デ
ータを入力し第2の符号化方式で上記画像信号を復号す
る画像復号装置と、上記第1の符号化データを入力し、
上記第2の符号化データを出力する画像符号化方式変換
装置とを備えたものにおいて、上記画像符号化方式変換
装置が、上記入力された第1の符号化データにおける一
部を、上記第1の符号化方式で可変長復号し、上記入力
された第1の符号化データにおける他部と共に、符号化
パラメータとして出力する符号化データ解析手段と、上
記符号化データ解析部から出力された、上記第1の符号
化方式で可変長復号された符号化パラメータを、上記第
2の符号化方式で可変長符号化すると共に、上記符号化
データ解析部から出力された、第1の符号化データにお
ける他部の符号化パラメータを、上記第2の符号化方式
に適した形式に変換して、上記第2の符号化データとし
て出力する符号化データ出力手段とを備えたものであ
る。
【0069】
【発明の実施の形態】以下、この発明の実施の一形態を
説明する。 実施の形態1.図1はこの発明の実施の形態1による画
像符号化方式変換装置501の構成を示す図であり、図
において、511は送信されたH.261符号化データ
を解析し、符号化パラメータを出力するH.261符号
化データ解析手段(符号化データ解析手段)、512は
送信されたH.263符号化データを解析し、符号化パ
ラメータを出力するH.263符号化データ解析手段
(符号化データ解析手段)、513は送信されたMPE
G−4符号化データを解析し、符号化パラメータを出力
するMPEG−4符号化データ解析手段(符号化データ
解析手段)である。
【0070】また、図1において、521は、上記各符
号化データ解析手段511,512,513から出力さ
れた符号化パラメータを、H.261符号化データに変
換するH.261符号化データ出力手段(符号化データ
出力手段)、522は、上記各符号化データ解析手段5
11,512,513から出力された符号化パラメータ
を、H.263符号化データに変換するH.263符号
化データ出力手段(符号化データ出力手段)、523
は、上記各符号化データ解析手段511,512,51
3から出力された符号化パラメータを、MPEG−4符
号化データに変換するMPEG−4符号化データ出力手
段(符号化データ出力手段)である。この画像符号化方
式変換装置501は、図11に示す画像通信システムの
中で使用される。
【0071】次に動作について説明する。この実施の形
態1では、H.263符号化データをMPEG−4符号
化データに変換する場合について説明する。すなわち、
図11における画像符号化方式変換装置501が、H.
263符号化器(従来例と同様にベースライン方式のみ
を対象とする)を持つ送信器(画像符号化装置)402
から符号化データを受信し、MPEG−4復号器(従来
例と同様にシンプルプロファイルのみを対象とする)を
持つ受信器406に対して、符号化データを送信する場
合について説明する。
【0072】MPEG−4復号器は、H.263符号化
方式の機能の大部分を有しており、イントラマクロブロ
ックのDC成分の量子化手法を除くと、両者の主な違い
は、符号化データの順序や符号語が異なる部分である。
【0073】図1において、H.263符号化データ解
析手段512は、可変長復号の部分的な機能を有し、
H.263符号化データの解析を行い、符号化パラメー
タを出力する。すなわち、H.263符号化データ解析
手段512は、H.263符号化データの一部を、H.
263符号化方式で可変長復号し、H.263符号化デ
ータの他部と共に、符号化パラメータとして出力する。
MPEG−4符号化データ出力手段523は、可変長符
号化の部分的な機能を有し、H.263符号化データ解
析手段512から出力された、可変長復号された符号化
パラメータを、MPEG−4符号化方式で可変長符号化
すると共に、上記H.263符号化データの他部の符号
化パラメータを、MPEG−4符号化方式に適した形式
に変換して、MPEG−4符号化データとして出力す
る。
【0074】H.263符号化データ解析手段512
は、図7に示すタイプ情報(PTYPE)203によ
り、符号化画像サイズを示す情報を解析する。MPEG
−4符号化データ出力手段523は、出力を開始する際
に、図9(a)に示すVOヘッダ302とVOLヘッダ
307を出力するが、VOLヘッダ307に、H.26
3符号化データ解析手段512により解析された符号化
画像のサイズを示す情報を多重化する。
【0075】MPEG−4符号化データ出力手段523
は、図9(a)に示す再同期マーカー未使用フラグ(R
MD)304,データパーティショニング使用フラグ
(DP)305,RVLC使用フラグ(RVLC)30
6に対して、画像符号化方式変換装置501と受信器4
06とを接続する通信路の誤りの状況に応じて、3つの
フラグの設定を行う。
【0076】すなわち、通信路の状態が悪く、誤りが多
く発生している場合には、再同期マーカー未使用フラグ
(RMD)304を使用して、マクロブロックデータを
複数のビデオパケットに分割し、1つのVOPの途中か
らでも再同期をかけて復号できるようにしたり、データ
パーティショニング使用フラグ(DP)305を使用し
て、I−VOPのDC係数やP−VOPの動きベクトル
を、より誤りの少ない状態で復号できるようにしたり、
RVLC使用フラグ(RVLC)306を使用して、途
中で誤りが発生しても、後ろから復号できるようにした
りして、通信路の誤りに対する耐性を強くすることがで
きる。誤りが発生しない通信路が使用される場合には、
これら3つのフラグを上記とは逆に設定することによ
り、送信する符号量を少なくすることができる。
【0077】H.263符号化データ解析手段512
は、図7(a)に示すタイプ情報(PTYPE)203
から、フレーム内符号化かフレーム間符号化のいずれで
あるかを解析して、MPEG−4符号化データ出力手段
523は、図9(b)に示すVOPタイプ情報(VOP
TYPE)309を生成する。
【0078】H.263符号化データ解析手段512
は、図7(a)に示すフレーム番号(TR)202を復
号し、一つ前に入力されたフレーム番号(TR)202
と値の比較を行う。フレーム番号(TR)202が不連
続であった場合、MPEG−4符号化データ出力手段5
23は、不連続の回数だけ(例えば、値が2だけ飛んで
いたら2回)、VOP符号化フラグ(VOPCODE
D)310をオフにしたVOPヘッダ314におけるV
OP開始符号(VOPSC)308〜VOP符号化フラ
グ(VOPCODED)310の部分を出力する。その
後、VOP符号化フラグ(VOPCODED)310を
オンにしたVOPヘッダ314におけるVOP開始符号
(VOPSC)308〜VOP符号化フラグ(VOPC
ODED)310の部分を出力する。
【0079】フレーム番号(TR)202が連続してい
た場合は、VOP符号化フラグ(VOPCODED)3
10をオンにしたVOPヘッダ314におけるVOP開
始符号(VOPSC)308〜VOP符号化フラグ(V
OPCODED)310の部分を出力する。
【0080】H.263符号化方式は、半画素精度の動
きベクトルに対して必要な補間処理において、小数点以
下の画像信号は、常に四捨五入するため、MPEG−4
符号化データ出力器523は、vop_roundin
g_typeフラグ(VOPROUND)311とし
て、常に値「1」を出力する。
【0081】MPEG−4符号化データ出力手段523
は、図7(a)に示す量子化特性情報(PQUANT)
204を、図9(b)に示す量子化特性情報(VOPQ
UANT)312として出力する。符号語が同じである
ため、そのまま出力することも可能である。
【0082】MPEG−4符号化データ出力手段523
は、図7(a)に示すGOB開始符号(GBSC)20
7を、図9(b)に示す再同期マーカー(RM)315
として出力してもよい。図8に示したようにVPの構成
は任意であるため、再同期マーカー(RM)315の位
置は、必ずしもGOB開始符号(GBSC)207と一
致させる必要はない。図9(b)に示すマクロブロック
ナンバー(MN)316には、再同期マーカー(RM)
315が挿入されたマクロブロックの位置を、画面左上
から右下へラスタースキャン順序でカウントしたマクロ
ブロックの番号が入る。MPEG−4符号化データ出力
手段523は、符号化中のマクロブロックの位置をカウ
ントし、再同期マーカー(RM)315が挿入されると
きには、その位置をマクロブロックナンバー(MN)3
16として出力する。
【0083】MPEG−4符号化データ出力手段523
は、GOB開始符号(GBSC)207と再同期マーカ
ー(RM)315の位置が一致している場合、すなわち
再同期マーカー(RM)315が画面の左端のマクロブ
ロックの直前に入るときには、量子化特性情報(GQU
ANT)208を、量子化特性情報(QSCALE)3
17として出力する。GOB開始符号(GBSC)20
7と再同期マーカー(RM)315の位置が、一致して
いない場合には、MPEG−4符号化データ出力手段5
23は、図10(b)に示すマクロブロックデータ中の
量子化特性情報(DQUANT)325に変換して出力
する。
【0084】ただし、量子化特性情報(DQUANT)
325は、−2〜+2までの範囲しかとることができな
いため、この範囲を超えてしまう場合には、再同期マー
カー(RM)315を挿入して、量子化特性情報(QS
CALE)317として符号化するか、あるいはH.2
63符号化データ解析手段512は、図7(b)に示す
そのマクロブロック内の変換係数(TCOEFF)21
6全てを、可変長復号、逆量子化を行い、MPEG−4
符号化データ出力手段523は、量子化スケールの設定
を行い、量子化、可変長符号化の処理を行う必要があ
る。
【0085】H.263符号化方式の動きベクトル探索
範囲は、−16.0〜+15.5の間に固定されている
ため、MPEG−4符号化データ出力手段523は、図
9(b)に示すfcode情報(FCODE)313と
して、常に値「1」を出力する。
【0086】MPEG−4符号化データ出力手段523
は、図7(b)に示す符号化マクロブロック指示フラグ
(COD)210を、図10に示す符号化マクロブロッ
ク指示フラグ(NOTCODED)321に変換する。
符号語は同じであるため、そのまま出力することも可能
である。MPEG−4符号化データ出力手段523は、
図7(b)に示すタイプ情報(MCBPC)211を、
図10に示すタイプ情報(MCBPC)322に変換す
る。符号語が同じであるため、そのまま出力することも
可能である。
【0087】MPEG−4符号化データ出力手段523
は、図7(b)に示す有意ブロックパターン(CBP
Y)212を、図10に示す有意ブロックパターン(C
BPY)324に変換する。符号語が同じであるため、
そのまま出力することも可能である。MPEG−4符号
化データ出力手段523は、図7(b)に示す量子化特
性情報(DQUANT)213を、図10に示す量子化
特性情報(DQUANT)325に変換する。符号語が
同じであるため、そのまま出力することも可能である。
【0088】MPEG−4符号化データ出力手段523
は、図7(b)に示す動きベクトル情報(MVD)21
4を、図10に示す動きベクトル情報(MVD)326
に変換する。図7(a)に示すGOB開始符号(GBS
C)207と、図9(b)に示す再同期マーカー(R
M)315の位置が一致している場合には、符号語が同
じとなるため、そのまま出力することも可能である。位
置が一致していない場合には、動きベクトルの予測値が
異なる場合があるため、H.263符号化データ解析手
段512は、一度可変長復号を行う。そして、MPEG
−4符号化データ出力手段523は、1VP分の動きベ
クトルを記憶しておいて記憶されている動きベクトルか
ら予測処理を行い、予測値との差分を可変長符号化する
必要がある。
【0089】図7(b)に示すイントラDC係数(IN
TRADC)215は、H.263符号化方式では、量
子化スケールを8に固定して量子化しているため、H.
263符号化データ解析手段512は、一度、可変長復
号して逆量子化を行い、逆量子化されたイントラDC係
数を出力する。そして、MPEG−4符号化データ出力
手段523は、1VP分の逆量子化されたイントラDC
係数を記憶しておいて、記憶されている逆量子化された
イントラDC係数から予測処理を行う。さらに、量子化
スケールに対応したdc_scalerの値を使用して
量子化を行い、量子化されたイントラDC係数の可変長
符号化を行い、図10に示すイントラDC係数(INT
RADC)327として出力する。
【0090】MPEG−4符号化データ出力手段523
は、図7(b)に示す変換係数(TCOEFF)216
を、図10に示す変換係数(TCOEFF)328に変
換する。図10に示すAC係数予測指示フラグ(ACP
RED)323を「オフ」にしたときは、非イントラマ
クロブロックの3次元可変長符号語と、一部の3次元固
定長符号語に関しては、符号語が共通であるため、その
まま出力することも可能である。その他の符号語は異な
るため、H.263符号化データ解析手段512が可変
長復号を行い、「ラスト」、「ラン」、「レベル」の組
み合わせに復号された値を、MPEG−4符号化データ
出力手段523が再度符号化を行う。AC係数予測指示
フラグ(ACPRED)323を「オン」にしたとき
は、イントラマクロブロックに対しては、イントラAC
係数の予測とスキャン順序の変更が必要となるため、
H.263符号化データ解析手段512が可変長復号と
逆スキャンを行う。
【0091】MPEG−4データ出力手段523は、イ
ントラAC係数の予測と特殊なスキャンを行った後に、
「ラスト」、「ラン」、「レベル」の組み合わせに対し
て、3次元可変長符号化又は3次元固定長符号化を行
う。イントラAC係数の予測を行うために、MPEG−
4符号化データ出力手段523は、逆量子化されたイン
トラAC係数を1VP分記憶しておいて、記憶されてい
るイントラAC係数から予測処理を行い、さらに量子化
を行う。
【0092】MPEG−4符号化データ出力手段523
は、図9(a)に示すデータパーティショニング使用フ
ラグ(DP)305が、「未使用」になっていたときに
は、図10(a)の構造のMPEG−4符号化データを
出力し、データパーティショニング使用フラグ(DP)
305が、「使用」となっていたときには、I−VOP
のときには、図10(b)の構造のMPEG−4符号化
データを出力し、P−VOPのときには、図10(c)
の構造のMPEG−4符号化データを出力する。
【0093】そのために、MPEG−4符号化データ出
力手段523は、1VP分のマクロブロックデータ(符
号化マクロブロック指示フラグ(NOTCODED)3
21,タイプ情報(MCBPC)322,AC係数予測
指示フラグ(ACPRED)323,有意ブロックパタ
ーン(CBPY)324,量子化特性情報(DQUAN
T)325,動きベクトル情報(MVD)326,イン
トラDC係数(INTRADC)327,変換係数(T
COEFF)328)を記憶しておく。
【0094】設定されている符号量に対して、出力され
る符号化データの符号量が不足している場合には、MP
EG−4符号化データ出力手段523は、VO開始符号
(VOSC)301,VOL開始符号(VOLSC)3
03,VOP開始符号(VOPSC)308,再同期マ
ーカー(RM)315の直前に挿入されるスタッフビッ
トのビット数を増やすことによって調整を行う。
【0095】逆に符号量が超過している場合には、MP
EG−4符号化データ出力手段523は、I−VOPの
直前のP−VOPに対して、符号化マクロブロック指示
フラグ(NOTCODED)321を強制的にオフにし
て、マクロブロックの符号化データを削減したり、各P
−VOPの画面の端のマクロブロックに対する符号化マ
クロブロック指示フラグ(NOTCODED)321を
強制的にオフにして、マクロブロックの符号化データを
削減したり、非イントラマクロブロックの各ブロックの
符号化される変換係数(TCOEFF)328のうち、
後ろの方に位置する変換係数(TCOEFF)328を
削除したり、レベルの小さい変換係数(TCOEFF)
328を削除する、などの方法によって符号量を減ら
す。
【0096】以上のように、この実施の形態1によれ
ば、画像符号化方式変換装置501に、DCT器、逆D
CT器、動き補償予測器、フレームメモリ等の機能が不
要となるため、装置の規模を小さくできると共に、処理
遅延時間も短くできるという効果が得られる。また、画
像を一旦復号し再度符号化処理する必要が無くなるた
め、画質の劣化もほとんど生じることがないという効果
が得られる。
【0097】実施の形態2.この発明の実施の形態2に
おける画像符号化方式変換装置の構成は、実施の形態1
における図1と同一である。
【0098】次に動作について説明する。この実施の形
態2では、MPEG−4符号化データをH.263符号
化データに変換する場合について説明する。すなわち、
図11における画像符号化方式変換装置501が、MP
EG−4符号化器(シンプルプロファイル)を持つ送信
器(画像符号化装置)403から符号化データを受信
し、H.263復号器(ベースライン方式)を持つ受信
器405に対して、符号化データを送信する場合につい
て説明する。
【0099】H.263復号器は、MPEG−4符号化
方式の機能の大半を有しているが、量子化係数の制限さ
れている範囲、イントラDC係数の量子化方法、動きベ
クトルの探索範囲、4V方式の有無、非制限動き補償の
有無、vop_rounding_typeフラグの有
無等の点で違いがある。
【0100】MPEG−4符号化データ解析手段513
は、可変長復号の部分的な機能を有し、MPEG−4符
号化データの解析を行い、符号化パラメータを出力す
る。すなわち、MPEG−4符号化データ解析手段51
3は、MPEG−4符号化データの一部を、MPEG−
4符号化方式で可変長復号し、MPEG−4符号化デー
タの他部と共に、符号化パラメータとして出力する。
H.263符号化データ出力手段522は、可変長符号
化の部分的な機能を有し、MPEG−4符号化データ解
析手段513から出力された、可変長復号された符号化
パラメータを、H.263符号化方式で可変長符号化す
ると共に、上記MPEG−4符号化データの他部の符号
化パラメータを、H.263符号化方式に適した形式に
変換して、H.263符号化データとして出力する。
【0101】MPEG−4符号化データ解析手段513
は、図9(a)に示すVOLヘッダ307を解析し、画
像サイズを示す情報を取り出す。この画像サイズがCI
F,QCIF,SQCIF等のH.263符号化方式が
サポートするものと一致するときは、そのまま変換を継
続できる。画像サイズが異なる場合には、変換する際に
画像サイズを小さくするか、あるいは大きくするかのい
ずれかの処理を行い、H.263符号化方式がサポート
する画像サイズに一致させる必要がある。これらの処理
については後述する。
【0102】MPEG−4符号化データ解析手段513
は、図9(a)に示す再同期マーカー未使用フラグ(R
MD)304,データパーティショニング使用フラグ
(DP)305,RVLC使用フラグ(RVLC)30
6を読み込み、それぞれのフラグに応じた復号動作を行
う。
【0103】MPEG−4符号化データ解析手段513
が、図9(b)に示すVOP開始符号(VOPSC)3
08を入力したら、H.263符号化データ出力手段5
22は、図7(a)に示すフレーム開始符号(PSC)
201を生成する。MPEG−4符号化データ解析手段
513は、図9(b)に示すVOPタイプ情報(VOP
TYPE)309から、I−VOPかP−VOPのいず
れであるかを解析し、H.263符号化データ出力手段
522は、先に解析された画像サイズと共に、タイプ情
報(PTYPE)203を生成する。
【0104】MPEG−4符号化データ解析手段513
は、図9(b)に示すVOP符号化フラグ(VOPCO
DED)310を解析し、VOP符号化フラグ(VOP
CODED)310が、オフになっているVOPヘッダ
314の個数を計数する。H.263符号化データ出力
手段522は、直前に符号化したフレーム番号(TR)
202に、「計数された個数+1」だけ加算したフレー
ム番号202(TR)を生成する。
【0105】図9(b)に示すvop_roundin
g_typeフラグ(VOPROUND)311が
「1」のときは、H.263符号化方式と処理が同じに
なるので、問題は生じない。vop_rounding
_typeフラグ(VOPROUND)311が「0」
のときは、H.263符号化方式と処理が異なるため、
送信器403のフレームメモリに書き込まれる局部復号
画像と、受信器(画像復号信号)405で復号される復
号画像とが一致しなくなり、ドリフトと呼ばれる画質劣
化が生じる。
【0106】そのため、MPEG−4符号化データ解析
手段513は、vop_rounding_typeフ
ラグ(VOPROUND)311が「0」を示すVOP
ヘッダの個数を計数し、あらかじめ設定された閾値を超
えた場合には、送信器403に対してI−VOPで符号
化するように、画像符号化方式変換装置501は要求を
行う。これにより、送信器403と受信器405との画
像を一致させる。
【0107】H.263符号化データ出力器522は、
図9(b)に示す量子化特性情報(VOPQUANT)
312を、図7(a)に示す量子化特性情報(PQUA
NT)204として生成する。符号語が同じであるた
め、そのまま出力することも可能である。
【0108】図9(b)に示すfcode情報(FCO
DE)313の値が、「1」のときは、H.263符号
化方式と一致するため問題は生じない。「1」以外の値
が取られたときには、後述する動きベクトル変換処理に
おいて処理が必要となる。
【0109】H.263符号化データ出力手段522
は、図9(b)に示すVOPヘッダ314の入力に対し
て、図7(a)に示すピクチャヘッダ205を出力す
る。また、H.263符号化データ出力手段522は、
符号化を行うマクロブロックの位置が、画面左端のGO
Bヘッダ209が挿入される位置に来たときには、GO
Bヘッダ209を出力する。
【0110】図9(b)に示す再同期マーカー(RM)
315が挿入されている場合には、MPEG−4符号化
データ解析手段513は、量子化特性情報(QSCAL
E)317を入力する。再同期マーカー(RM)315
の挿入されている位置が、GOBヘッダ209が挿入さ
れる位置(すなわち画面の左端)に一致している場合に
は、H.263符号化データ出力手段522は、図7
(b)に示す量子化特性情報(DQUANT)208を
出力する。
【0111】一致していない場合には、量子化特性情報
(QSCALE)317が、直前の符号化マクロブロッ
クの量子化スケールの値に対して、−2〜+2の範囲内
である場合には、H.263符号化データ出力手段52
2は、量子化特性情報(DQUANT)213として、
符号化データを出力することが可能である。−2〜+2
の範囲を超えている場合には、MPEG−4符号化デー
タ解析手段513は、図10に示すそのマクロブロック
内の変換係数(TCOEFF)328全てを可変長復
号、逆量子化を行い、H.263符号化データ出力手段
522は、量子化スケールが−2〜+2の範囲内に収ま
るように設定を行い、量子化、可変長符号化の処理を行
う。
【0112】H.263符号化データ出力手段522
は、図10に示す符号化マクロブロック指示フラグ(N
OTCODED)321を、図7(b)に示す符号化マ
クロブロック指示フラグ(COD)210に変換する。
符号語が同じであるため、そのまま出力することも可能
である。H.263符号化データ出力手段522は、図
10に示すタイプ情報(MCBPC)322を、図7
(b)に示すタイプ情報(MCBPC)211に変換す
る。符号語が同じであるため、そのまま出力することも
可能である。
【0113】H.263符号化データ出力手段522
は、図10に示す有意ブロックパターン(CBPY)3
24を、図7(b)に示す有意ブロックパターン(CB
PY)212に変換する。符号語が同じであるため、そ
のまま出力することも可能である。H.263符号化デ
ータ出力手段522は、図10に示す量子化特性情報
(DQUANT)325を、図7(b)に示す量子化特
性情報(DQUANT)213に変換する。符号語が同
じであるため、そのまま出力することも可能である。
【0114】H.263符号化データ出力手段522
は、図10に示す動きベクトル情報(MVD)326
を、図7(b)に示す動きベクトル情報(MVD)21
4に変換する。図9(b)に示すfcode情報(FC
ODE)313の値が、「1」の場合には、符号語が同
じであるため、図9(b)に示す再同期マーカー(R
M)315の位置と、図7(a)に示すGOB開始符号
(GBSC)207の位置が一致している場合には、そ
のまま出力できる。
【0115】一致していない場合には、動きベクトルの
予測値が異なる場合があるため、MPEG−4符号化デ
ータ解析手段513は、可変長復号と予測復号処理を行
い、動きベクトルのデータを出力する。そして、H.2
63符号化データ出力手段522は、1GOB分の動き
ベクトルを記憶しておいて、記憶されている動きベクト
ルから予測処理を行い、予測値との差分を可変長符号化
し、動きベクトル情報(MVD)214として出力す
る。
【0116】なお、予測画像が画面の外側へまがった非
制限動き補償が行われている場合には、H.263復号
器で復号できないため、MPEG−4符号化データ解析
手段513は、可変長復号と予測復号処理を行い、動き
ベクトルデータを出力する。H.263符号化データ出
力手段522は、画面内の動きベクトルとなるようにベ
クトル値に制限を加えた後に、予測処理と可変長符号化
を行う。この場合、送信器403と受信器405との間
で画像の不一致が生じ、ドリフトと呼ばれる画質劣化が
生じる。
【0117】MPEG−4符号化データ解析手段513
は、非制限動き補償が行われたマクロブロックの個数を
計数し、あらかじめ設定した閾値を超えた場合には、送
信器403に対して、I−VOPで符号化するように、
画像符号化方式変換装置501が要求を行う。これによ
り送信器403と受信器405の画像を一致することが
できる。
【0118】またfcode情報313の値が「1」で
ない場合には、MPEG−4符号化データ解析手段51
3は、可変長復号と予測復号処理を行い、動きベクトル
データを出力する。H.263符号化データ出力手段5
22は、動きベクトルの値が−16.0〜+15.5の
範囲内に収まるように制限を加えた後に、可変長符号化
を行う。この場合、送信器403と受信器405との間
で画像の不一致が生じ、ドリフトと呼ばれる画質劣化が
生じる。
【0119】MPEG−4符号化データ解析手段513
は、動きベクトルの値が−16.0〜+15.5の範囲
内に収まらなかった個数を計数し、あらかじめ設定した
閾値を超えた場合には、送信器403に対してI−VO
Pで符号化するように、画像符号化方式変換装置501
は要求を行う。これにより送信器403と受信器405
の画像を一致することができる。
【0120】また、4V予測に対しては、H.263復
号器では復号できない。そのため、MPEG−4符号化
データ解析手段513は、可変長復号と予測復号処理を
行い、4組の動きベクトルデータを出力する。H.26
3符号化データ出力手段522は、4組あるベクトルか
ら1組の代表ベクトルを生成して、そのベクトルに対し
て予測処理と可変長符号化を行う。代表ベクトルの生成
方法としては、4組のベクトルのうち、最も個数の多い
ベクトルを選択する(4つのブロックのうちの多くが正
しいベクトルで復号できる)、4組のベクトルの平均値
を算出する(4つのブロックを平均的に復号できる)、
4組のベクトルのうちの最小値を選択する(動きベクト
ルの選択処理を簡略化できる)、などの方法をとること
ができる。この場合、送信器403と受信器405との
間で画像の不一致が生じ、ドリフトと呼ばれる画質劣化
が生じる。
【0121】MPEG−4符号化データ解析手段513
は、4Vモードのマクロブロックの個数を計数し、あら
かじめ設定した閾値を超えた場合には、送信器403に
対してI−VOPで符号化するように、画像符号化方式
変換装置501が要求を行う。これにより送信器403
と受信器405の画像を一致することができる。
【0122】MPEG−4符号化データ解析手段513
は、図10に示すイントラDC係数(INTRADC)
327を可変長復号し、量子化スケールから得られるd
c_scalerの値を用いた逆量子化、イントラDC
係数予測の処理を行ってDC係数を求め、H.263符
号化データ出力手段522が、固定の量子化スケール
(値は8)で量子化を行って可変長符号化し、図7
(b)に示すイントラDC係数215を生成する。
【0123】MPEG−4符号化データ解析手段513
は、図10に示す変換係数(TCOEFF)328を、
可変長復号し、「ラスト」、「ラン」、「レベル」の各
符号化パラメータを生成する。H.263符号化データ
出力手段522は、量子化されたDCT係数である「レ
ベル」の値が、−127〜+127の範囲内にない場合
には、この範囲内に収まるように制限を加える。
【0124】MPEG−4符号化データ解析手段513
は、イントラマクロブロックで、図10に示すAC係数
予測指示フラグ(ACPRED)323がオンのときに
は、特殊なスキャン順序での逆スキャンとイントラAC
係数予測を行い、さらにジグザグスキャンを行って、
「ラスト」、「ラン」、「レベル」の符号化パラメータ
を生成する。H.263符号化データ出力手段522
は、これらの「ラスト」、「ラン」、「レベル」の符号
化パラメータを入力して3次元可変長符号化を行い、図
7(b)に示す変換係数(TCOEFF)216を出力
する。
【0125】図9(a)に示すデータパーティショニン
グ使用フラグ(DP)305が、「使用」になっていた
ときは、MPEG−4符号化データ解析手段513は、
1VP分のデータを記憶し、H.263符号化データ出
力手段522に対して、1マクロブロックごとに出力す
る。
【0126】図2は画像サイズを説明する図であり、画
像サイズが異なる場合には、マクロブロックのデータに
対する処理が必要となる。例えば、図2(a)のよう
に、入力される画像サイズ601に対して、出力される
画像サイズ602の方が大きい場合には、H.263符
号化データ出力手段522は、マクロブロックのダミー
データを挿入する。挿入の仕方は、図2(a)のよう
に、画面の周囲にダミーマクロブロックを挿入する。
【0127】ダミーマクロブロックは、画面の枠として
復号されるため、一色(例えば黒)としてもよいし、あ
らかじめ指定されたパターンを符号化してもよい。ま
た、静止しているパターンでなく、なんらかの動きのあ
るパターンでもよい。またパターンとして幾何学的な模
様ばかりでなく、文字や写真などを画像データとして符
号化することも可能である。なお、図2(a)のよう
に、画像601の全ての周囲に均等にダミーを挿入する
方法だけではなく、画面下のみ、画面右のみ、といった
ように片寄った形式にしても構わない。
【0128】逆に、図2(b)のように、入力される画
像サイズ603に対して、出力される画像サイズ604
の方が小さい場合には、H.263符号化データ出力手
段522は、マクロブロックデータの廃棄を行う。廃棄
の仕方は、図2(b)のように、画面の周囲のマクロブ
ロックを廃棄する。なお、画面の周囲を均等に廃棄する
のではなく、一方に片寄らせることも可能である。
【0129】設定されている符号量に対して、出力され
る符号化データの符号量が不足している場合には、H.
263符号化データ出力手段522は、スタッフビット
(GSTUF)206やスタッフビット(PSTUF)
217のビット数を増やすことによって調整を行う。
【0130】逆に符号量が超過している場合には、H.
263符号化データ出力手段522は、フレーム内符号
化ピクチャの直前のフレーム間符号化ピクチャにおい
て、図7(b)に示す符号化マクロブロック指示フラグ
(COD)210を強制的にオフにして、マクロブロッ
クのデータを削減したり、各フレーム間符号化ピクチャ
の画面の端のマクロブロックに対する符号化マクロブロ
ック指示フラグ(COD)210を強制的にオフにし
て、マクロブロックのデータを削減したり、非イントラ
マクロブロックの各ブロックの符号化される変換係数
(TCOEFF)216のうち、後ろの方に位置する変
換係数(TCOEFF)216を削除したり、レベルの
小さい変換係数(TCOEFF)216を削除する、な
どの方法によって符号量を減らす。
【0131】以上のように、この実施の形態2によれ
ば、画像符号化方式変換装置501に、DCT器、逆D
CT器、動き補償予測器、フレームメモリなどの機能が
不要となるため、装置の規模を小さくできると共に、処
理遅延時間も短くできるという効果が得られる。また、
画像を一旦復号し、再度符号化処理する必要が無くなる
ため、画質の劣化をあまり生じることなく変換できると
いう効果が得られる。
【0132】実施の形態3.この発明の実施の形態3に
おける画像符号化方式変換装置の構成は、実施の形態1
における図1と同一である。
【0133】次に動作について説明する。この実施の形
態3では、H.261符号化方式をMPEG−4符号化
方式に変換する場合について説明する。すなわち、図1
1における画像符号化方式変換装置501が、H.26
1符号化器を持つ送信器(画像符号化装置)401から
符号化データを受信し、MPEG−4復号器(シンプル
プロファイル)を持つ受信器(画像復号信号)406に
対して、符号化データを送信する場合について説明す
る。
【0134】MPEG−4復号器は、H.261符号化
方式の機能の大半を有しているが、イントラマクロブロ
ックのDC成分の量子化手法、各マクロブロックがとり
うる量子化スケールの範囲、色差成分に対する動きベク
トルの計算方法(H.261符号化方式は整数画素精度
に丸めるが、MPEG−4符号化方式は0.5画素精度
に丸める)、ループ内フィルタが存在しないこと、など
の点で大きな違いがある。
【0135】H.261符号化データ解析手段511
は、可変長復号の部分的な機能を有し、H.261符号
化データの解析を行い、符号化パラメータを出力する。
すなわち、H.261符号化データ解析手段511は、
H.261符号化データの一部を、H.261符号化方
式で可変長復号し、H.261符号化データの他部と共
に、符号化パラメータとして出力する。MPEG−4符
号化データ出力手段523は、可変長符号化の部分的な
機能を有し、H.261符号化データ解析手段511か
ら出力された、可変長復号された符号化パラメータを、
MPEG−4符号化方式で可変長符号化すると共に、上
記H.261符号化データの他部の符号化パラメータ
を、MPEG−4符号化方式に適した形式に変換して、
MPEG−4符号化データとして出力する。
【0136】H.261符号化データ解析手段511
は、図5(a)に示すタイプ情報(PTYPE)103
より、符号化画像のサイズを示す情報を解析する。MP
EG−4符号化データ出力手段523は、出力を開始す
る際に、図9(a)に示すVOヘッダ302と、VOL
ヘッダ307を出力するが、このVOLヘッダ307
に、H.261符号化データ解析手段511が解析した
符号化画像のサイズを示す情報を多重化する。
【0137】MPEG−4符号化データ出力手段523
は、図9(a)に示す再同期マーカー未使用フラグ(R
MD)304,データパーティショニング使用フラグ
(DP)305,RVLC使用フラグ(RVLC)30
6に対して、画像符号化方式変換装置501と受信器4
06とを接続する通信路の誤りの状況に応じて、3つの
フラグの設定を行う。
【0138】すなわち、通信路の状態が悪く誤りが多く
発生している場合には、再同期マーカー未使用フラグ
(RMD)304を使用して、マクロブロックデータを
複数のビデオパケットに分割し、1つのVOPの途中か
らでも、再同期をかけて復号できるようにしたり、デー
タパーティショニング使用フラグ(DP)305を使用
して、I−VOPのDC係数や、P−VOPの動きベク
トルを、より誤りの少ない状態で復号できるようにした
り、RVLC使用フラグ(RVLC)306を使用し
て、途中で誤りが発生しても、後ろから復号できるよう
にしたりして、通信路の誤りに対する耐性を強くするこ
とができる。誤りが発生しない通信路が使用される場合
には、これら3つのフラグを上記とは逆に設定すること
により、送信する符号量を少なくすることができる。
【0139】H.261符号化データには、フレーム内
符号化ピクチャ、フレーム間符号化ピクチャという違い
がないため、MPEG−4符号化データ出力手段523
は、一般的にP−VOPの符号化タイプとして、図9
(b)に示すVOPタイプ情報(VOPTYPE)30
9を生成する。
【0140】H.261符号化データ解析手段511
は、図5(a)に示すフレーム番号(TR)102を復
号し、一つ前に入力されたフレーム番号(TR)102
と値の比較を行う。フレーム番号(TR)102が不連
続であった場合、MPEG−4符号化データ出力手段5
23は、不連続の回数だけ(例えば、値が2だけ飛んで
いたら2回)、図9(b)に示すVOP符号化フラグ
(VOPCODED)310をオフにしたVOPヘッダ
314のVOP開始符号(VOPSC)308〜VOP
符号化フラグ(VOPCODED)310の部分を出力
する。
【0141】その後、VOP符号化フラグ(VOPCO
DED)310をオンにしたVOPヘッダ314のVO
P開始符号(VOPSC)308〜VOP符号化フラグ
(VOPCODED)310の部分を出力する。フレー
ム番号(TR)102が連続していた場合は、VOP符
号化フラグ(VOPCODED)310をオンにしたV
OPヘッダ314のVOP開始符号(VOPSC)30
8〜VOP符号化フラグ(VOPCODED)310の
部分を出力する。
【0142】H.261符号化方式には、半画素精度の
動きベクトルは発生しない。よって図9に示すvop_
rounding_typeフラグ(VOPROUN
D)311は、特定の値を入れる必要はない。ただし、
後述するようにH.261符号化方式に備わるループ内
フィルタの機能を、半画素精度の動き補償予測で代替す
る方法をとる場合には、このフラグの影響が発生する。
この場合、vop_rounding_typeフラグ
(VOPROUND)311の値は、「0」と「1」を
交番して生成するようにする。
【0143】H.261符号化データ解析手段511
は、図5(a)に示す最初のGOBヘッダ107を入力
し、量子化特性情報(GQUANT)106を解析し、
MPEG−4符号化データ出力手段523は、図9
(b)に示す量子化特性情報(VOPQUANT)31
2を生成する。
【0144】H.261符号化方式の動きベクトル探索
範囲は、−15〜+15に制限されているため、MPE
G−4符号化データ出力手段523は、図9(b)に示
すfcode情報(FCODE)313を、常に「1」
にして出力する。
【0145】H.261符号化方式のQCIFフォーマ
ットにおけるGOB構造は、画面の左端から右端まで順
番にスキャンしているため、そのまま、MPEG−4の
VP構造にマッピングすることも可能である。しかし、
CIFフォーマットの場合には、図4(a)に示すよう
に、画面の中央でGOB構造が一旦切れてしまうため、
例えば、第1GOBと第2GOBを復号してから、MP
EG−4の符号化データの出力を開始する、というよう
な構成をとる必要がある。
【0146】そのため、H.261符号化データ解析手
段511には、少なくとも1GOB分以上のマクロブロ
ックデータを記憶するメモリが必要となる。H.261
符号化データ解析手段511は、MPEG−4符号化方
式に合わせて、画面の左端から右端まで順番にスキャン
して、マクロブロックデータをMPEG−4符号化デー
タ出力器523に対して出力する。
【0147】H.261符号化データ解析手段511
は、図5(b)に示すマクロブロックアドレス(MB
A)108を復号する。値が「1」でないときは、符号
化されなかったマクロブロックがあるため、MPEG−
4符号化データ出力手段523は、「マクロブロックア
ドレス(MBA)108の値−1」の個数だけオフにし
た、図10に示す符号化マクロブロック指示フラグ(N
OTCODED)321を生成する。
【0148】H.261符号化データ解析手段511
は、図5(b)に示すタイプ情報(MTYPE)109
と有意ブロックパターン(CBP)112を復号し、M
PEG−4符号化データ出力手段523は、図10に示
すタイプ情報(MCBPC)322と有意ブロックパタ
ーン(CBPY)324として符号化する。このとき、
タイプ情報(MTYPE)109に、ループ内フィルタ
使用のフラグが入っていた場合には、後述の動きベクト
ル変換処理において使用される。
【0149】H.261符号化データ解析手段511
は、図5(b)に示す量子化特性情報(MQUANT)
110を復号し、MPEG−4符号化データ出力手段5
23は、図10に示す量子化特性情報(DQUANT)
325として符号化する。
【0150】量子化特性情報(MQUANT)110が
示す量子化スケールと、直前に符号化されたマクロブロ
ックの量子化スケールとの差分値が、−2〜+2の範囲
内に収まらないときには、MPEG−4符号化データ出
力手段523は、図9(b)に示す再同期マーカー(R
M)315を生成して、量子化特性情報(QSCAL
E)317を多重化するか、又はH.261符号化デー
タ解析手段511は、図5(b)に示す変換係数(TC
OEFF)113の可変長復号、逆量子化を行い、MP
EG−4符号化データ出力手段523は、図10に示す
量子化特性情報(DQUANT)325に対応する量子
化スケールを用いた量子化と、可変長符号化を行い、変
換係数(TCOEFF)328を生成する。
【0151】H.261符号化データ解析手段511
は、図5(b)に示す動きベクトル情報(MVD)11
1を可変長復号し、MPEG−4符号化データ出力手段
523は、図10に示す動きベクトル情報(MVD)3
26を生成する。このとき、動きベクトルの値が奇数値
であった場合には、色差信号に対する処理が、H.26
1符号化方式とMPEG−4符号化方式との間で相違が
あるため、ドリフトと呼ばれる符号化誤差が蓄積される
こととなる。また、ループ内フィルタが使用されている
場合にも、MPEG−4符号化方式には、ループ内フィ
ルタの処理がないためドリフト誤差が発生する。
【0152】これらの視覚的妨害を抑えるために、H.
261符号化データ解析手段511が、ループ内フィル
タの使用を検出したときには、MPEG−4符号化デー
タ出力手段523は、動きベクトルの値を0.5画素だ
け、値を変えて符号化する。変化させる方向には、原点
(0,0)に近い方向と、遠い方向の2つをとることが
できるため、近い方向と遠い方向を交番させて発生させ
ることにより、誤差の蓄積を抑えることができる。
【0153】また、奇数値のベクトルに対する色差信号
の処理は、H.261符号化方式は、常に原点に近い方
向へベクトル値の丸め処理を行うが、MPEG−4符号
化方式は、半画素予測を行う。そのため、色差信号の誤
差を抑えるために、奇数値のベクトルが、ループ内フィ
ルタ処理と共に発生したときには、MPEG−4符号化
データ出力手段523は、常に原点に近い方向へベクト
ルの値を変えることにより整数精度に丸め処理を行い、
誤差の蓄積を抑えることができる。
【0154】ドリフトによる誤差が蓄積されることを防
ぐために、H.261符号化データ解析器511は、奇
数値のベクトルが使用されたマクロブロックの個数や、
ループ内フィルタが使用されたマクロブロックの個数を
計数し、あらかじめ設定された閾値を超えた場合には、
画像符号化方式変換装置501は、送信器401に対し
て、I−VOPで符号化するように要求を行う。これに
より、送信器401と受信器406との画像を一致させ
る。
【0155】H.261符号化データ解析手段511
は、図5(b)に示す変換係数(TCOEFF)113
を可変長復号し、「ラン」と「レベル」の符号化パラメ
ータと共に、オフの値を持つ「ラスト」を出力する。ま
た、ブロック終了符号(EOB)114が復号された直
前の変換係数(TCOEFF)113には、オンの値を
持つ「ラスト」の符号化パラメータを出力する。MPE
G−4符号化データ出力手段523は、これら「ラ
ン」、「レベル」、「ラスト」の符号化パラメータを入
力し、可変長符号化処理を行い、図10に示す変換係数
(TCOEFF)328を生成する。
【0156】なお、マクロブロックがイントラマクロブ
ロックであった場合は、DC成分に相当する「レベル」
は、図10に示すイントラDC係数(INTRADC)
327として符号化される。そのため、H.261符号
化データ解析手段511は、値が8に固定されている量
子化スケールを用いて、変換係数(TCOEFF)11
3に対して逆量子化を行う。
【0157】MPEG−4符号化データ出力手段523
は、図10に示す量子化特性情報(DQUANT)32
5から得られる量子化スケールに対応するdc_sca
lerを用いて量子化を行う。なお、この時、イントラ
DC係数(INTRADC)327には、予測処理が行
われるため、MPEG−4符号化データ出力手段523
には、過去のイントラDC係数(INTRADC)32
7を記憶するためのメモリが必要である。
【0158】また、図10に示すAC係数予測指示フラ
グ(ACPRED)323を「オン」にするときには、
AC係数の予測と特殊なスキャンが必要となるため、
「ラン」、「レベル」、「ラスト」の各符号化パラメー
タは、一旦ジグザグ逆スキャンを行い、AC係数の予測
を行った後に、あらためて特殊なスキャンを行って、
「ラン」、「レベル」、「ラスト」の符号化パラメータ
を生成する必要がある。AC係数予測指示フラグ(AC
PRED)323を「オフ」にしておけば、これら処理
が必要ないため、装置を簡略化することができる。
【0159】設定されている符号量に対して、出力され
る符号化データの符号量が不足している場合には、MP
EG−4符号化データ出力手段523は、図9(a)に
示すVO開始符号(VOSC)301,VOL開始符号
(VOLSC)303,VOP開始符号(VOPSC)
308,再同期マーカー(RM)315の直前に挿入さ
れるスタッフビットのビット数を増やすことによって調
整を行う。
【0160】逆に、符号量が超過している場合には、M
PEG−4符号化データ出力手段523は、I−VOP
の直前のP−VOPにおいて、図10に示す符号化マク
ロブロック指示フラグ(NOTCODED)321を強
制的にオフにして、マクロブロックのデータを削減した
り、各P−VOPの画面の端のマクロブロックに対する
符号化マクロブロック指示フラグ(NOTCODED)
321を強制的にオフにして、マクロブロックのデータ
を削減したり、非イントラマクロブロックの各ブロック
の符号化される変換係数(TCOEFF)328のう
ち、後ろの方に位置する変換係数(TCOEFF)32
8を削除したり、レベルの小さい変換係数(TCOEF
F)328を削除する、などの方法によって符号量を減
らす。
【0161】以上のように、この実施の形態3によれ
ば、画像符号化方式変換装置501にDCT器、逆DC
T器、動き補償予測器、フレームメモリ等の機能が不要
となるため、装置の規模を小さくできると共に、処理遅
延時間も短くできるという効果が得られる。また、画像
を一旦復号し、再度符号化処理する必要が無くなるた
め、画質の劣化を小さくすることができるという効果が
得られる。
【0162】実施の形態4.この発明の実施の形態4に
おける画像符号化方式変換装置の構成は、実施の形態1
における図1と同一である。
【0163】次に動作について説明する。この実施の形
態4では、MPEG−4符号化方式をH.261符号化
方式に変換するものについて説明する。すなわち、図1
1に示す画像符号化方式変換装置501が、MPEG−
4符号化器を持つ送信器403から、符号化データを受
信し、H.261復号器を持つ受信器(画像復号装置)
404に対して、符号化データを送信する場合について
説明する。
【0164】H.261復号器は、MPEG−4符号化
方式の機能の大半を有しているが、量子化係数の制限さ
れている範囲、イントラDCの量子化方法、動きベクト
ルの精度、動きベクトルの探索範囲、4V方式の有無、
非制限動き補償の有無、vop_rounding_t
ypeフラグの有無などの点で大きな違いがある。
【0165】MPEG−4符号化データ解析手段513
は、可変長復号の部分的な機能を有し、MPEG−4符
号化データの解析を行い、符号化パラメータを出力す
る。すなわち、MPEG−4符号化データ解析手段51
3は、MPEG−4符号化データの一部を、MPEG−
4符号化方式で可変長復号し、MPEG−4符号化デー
タの他部と共に、符号化パラメータとして出力する。
H.261符号化データ出力手段521は、可変長符号
化の部分的な機能を有し、MPEG−4符号化データ解
析手段513から出力された、可変長復号された符号化
パラメータを、H.261符号化方式で可変長符号化す
ると共に、上記MPEG−4符号化データの他部の符号
化パラメータを、H.261符号化方式に適した形式に
変換して、H.261符号化データとして出力する。
【0166】MPEG−4符号化データ解析手段513
は、図9(a)に示すVOLヘッダ307を解析し、画
像サイズを示す情報を取り出す。この画像サイズがH.
261符号化方式がサポートするCIF,QCIFのい
ずれかと一致するときは、そのまま変換を継続できる。
画像サイズが異なる場合には、変換する際に画像サイズ
を小さくするか、あるいは大きくするかのいずれかの処
理を行い、H.261符号化方式がサポートする画像サ
イズに一致させる必要がある。これらの処理については
後述する。
【0167】MPEG−4符号化データ解析手段513
は、図9(a)に示す再同期マーカー未使用フラグ(R
MD)304,データパーティショニング使用フラグ
(DP)305,RVLC使用フラグ(RLVC)30
6を読み込み、それぞれのフラグに応じた復号動作を行
う。
【0168】MPEG−4符号化データ解析手段513
が、図9(b)に示すVOP開始符号(VOPSC)3
08を入力すると、H.261符号化データ出力器52
1は、図5(a)に示すフレーム開始符号(PSC)1
01を生成する。また、先に復号された画像サイズをも
とに、図5(a)に示すタイプ情報(PTYPE)10
3を生成する。
【0169】MPEG−4符号化データ解析手段513
は、図9(b)に示すVOP符号化フラグ(VOPCO
DED)310を解析し、VOP符号化フラグ(VOP
CODED)310が、オフになっているVOPヘッダ
314の個数を計数する。H.261符号化データ出力
器521は、直前に符号化したフレーム番号(TR)1
02に、「計数された個数+1」だけ加算したフレーム
番号(TR)102を生成する。
【0170】図9(b)に示すvop_roundin
g_typeフラグ(VOPROUND)311は、
H.261符号化方式には、半画素予測がサポートされ
ていないため意味を持たない。よって、ここでは無視で
きる。
【0171】MPEG−4符号化データ解析手段513
は、図9(b)に示す量子化特性情報(VOPQUAN
T)312を出力し、H.261符号化データ出力手段
521は、図5(a)に示す第1GOBの量子化特性情
報(GQUANT)106に変換する。
【0172】図9(b)に示すfcode情報(FCO
DE)313の値が、「1」のときは、H.261符号
化方式と一致するため問題は生じない。「1」以外の値
が取られたときには、後述する動きベクトル変換処理に
おいて処理が必要となる。
【0173】図9(b)に示すこれらのVOPヘッダ3
14の入力に対して、H.261符号化データ出力手段
521は、図5(a)に示すピクチャヘッダ104と第
1GOBのGOBヘッダ107を出力する。
【0174】また、符号化を行うマクロブロックの位置
が、GOBの先頭の位置に来たときには、H.261符
号化データ出力手段521は、GOBヘッダ107を出
力する。
【0175】CIFフォーマットのH.261符号化方
式と、MPEG−4符号化方式とでは、符号化を行うマ
クロブロックの順序が異なるため、MPEG−4符号化
データ解析手段513は、マクロブロックのデータを記
憶し、H.261符号化方式の符号化順序に合わせて出
力する。
【0176】MPEG−4符号化データ解析手段513
は、図10に示す符号化マクロブロック指示フラグ(N
OTCODED)321を可変長復号し、H.261符
号化データ出力手段521は、連続するオフの個数を計
数し、「オフの個数+1」の値をマクロブロックアドレ
ス(MBA)108として可変長符号化する。
【0177】MPEG−4符号化データ解析手段513
は、図10に示すタイプ情報(MCBPC)322を可
変長復号し、H.261符号化データ出力手段521
は、図5(b)に示すタイプ情報(MTYPE)109
として可変長符号化する。また、MPEG−4符号化デ
ータ解析手段513は、図10に示す有意ブロックパタ
ーン(CBPY)324を可変長復号し、H.261符
号化データ出力手段521は、タイプ情報(MCBP
C)322と有意ブロックパターン(CBPY)324
から、図5(b)に示す有意ブロックパターン(CB
P)112を生成し可変長符号化する。
【0178】MPEG−4符号化データ解析手段513
は、図10に示す量子化特性情報(DQUANT)32
5を復号し、H.261符号化データ出力手段521
は、図5(b)に示す量子化特性情報(MQUANT)
110として符号化する。差分値が符号化されている量
子化特性情報(DQUANT)325に対し、量子化特
性情報(MQUANT)110は、値そのものが符号化
されているため、MPEG−4符号化データ解析手段5
13は、直前の符号化マクロブロックの量子化スケール
と量子化特性情報(DQUANT)325から、量子化
スケールを算出して、H.261符号化データ出力手段
521に対して出力する。
【0179】MPEG−4符号化データ解析手段513
は、図10に示す動きベクトル情報(MVD)326を
可変長復号し、予測復号処理を行い動きベクトルデータ
として出力する。H.261符号化データ出力手段52
1は、左隣のマクロブロックとの差分をとった予測処理
が行われて、可変長符号化され、図5(b)に示す動き
ベクトル情報(MVD)111に変換する。
【0180】図9(b)に示すfcode情報(FCO
DE)313の値が「1」でない場合には、H.261
符号化データ出力手段521は、−15〜+15の範囲
内に収まるように、動きベクトルの値に対して制限を加
えた後に、予測処理と可変長符号化を行う。この場合、
送信器403と受信器404との間で画像の不一致が生
じ、ドリフトと呼ばれる画質劣化が生じる。
【0181】MPEG−4符号化データ解析手段513
は、−15〜+15の範囲を超えた動きベクトルが符号
化されているマクロブロックの個数を計数し、あらかじ
め設定した閾値を超えた場合には、画像符号化方式変換
装置501は、送信器403に対して、I−VOPで符
号化するように要求を行う。これにより、送信器403
と受信器404の画像を一致することができる。
【0182】半画素精度の動きベクトルは、H.261
符号化方式ではサポートされていないため、H.261
符号化データ出力手段521は、整数画素精度に丸める
処理を行う。原点(0,0)から近い方へ丸める処理
と、遠い方へ丸める処理をとることができるため、両者
を交番させることにより誤差を小さくできる。
【0183】また、半画素予測処理があった場合には、
ループ内フィルタをかけることにより、誤差を小さくす
ることができる。H.261符号化データ出力手段52
1は、半画素精度の動きベクトルがあるマクロブロック
に対して、受信器404のループ内フィルタの使用を指
示するフラグを、タイプ情報(MTYPE)109に生
成して出力する。これらの場合、送信器403と受信器
404との間で画像の不一致が生じ、ドリフトと呼ばれ
る画質劣化が生じる。
【0184】MPEG−4符号化データ解析手段513
は、半画素精度の動きベクトルが符号化されているマク
ロブロックの個数を計数し、あらかじめ設定した閾値を
超えた場合には、画像符号化方式変換装置501は、送
信器403に対して、I−VOPで符号化するように要
求を行う。これにより、送信器403と受信器404の
画像を一致することができる。
【0185】また、MPEG−4符号化方式とH.26
1符号化方式とでは、奇数値のベクトルのときの色差成
分に対する処理が異なる。この場合、H.261符号化
データ出力手段521は、原点に近い方向へ半画素ベク
トルの値をシフトする(例えば、−7のベクトルを−
6.5にする)ことにより、色差信号のベクトル値を、
MPEG−4符号化方式とH.261符号化方式とで一
致させることができる。
【0186】そこで、半画素精度の動きベクトルが発生
したときには、原点に近い方へ丸める処理を多くとるこ
とによって、誤差を小さくすることができる。この場
合、送信器403と受信器404との間で画像の不一致
が生じ、ドリフトと呼ばれる画質劣化が生じる。
【0187】MPEG−4符号化データ解析手段513
は、奇数値の動きベクトルが符号化されているマクロブ
ロックの個数を計数し、あらかじめ設定した閾値を超え
た場合には、画像符号化方式変換装置501は、送信器
403に対して、I−VOPで符号化するように要求を
行う。これにより、送信器403と受信器404の画像
を一致することができる。
【0188】また、非制限動き補償が行われている場合
には、H.261復号器で復号できないため、H.26
1符号化データ出力手段521は、画面内の動きベクト
ルとなるように、ベクトル値に制限を加えた後に、予測
処理と可変長符号化を行う。この場合、送信器403と
受信器404との間で画像の不一致が生じ、ドリフトと
呼ばれる画質劣化が生じる。
【0189】MPEG−4符号化データ解析手段513
は、非制限動き補償が行われたマクロブロックの個数を
計数し、あらかじめ設定した閾値を超えた場合には、画
像符号化方式変換装置501は、送信器403に対し
て、I−VOPで符号化するように要求を行う。これに
より、送信器403と受信器404の画像を一致するこ
とができる。
【0190】また、4V予測は、H.261復号器では
復号できないため、MPEG−4符号化データ解析手段
513から出力される4組の動きベクトルデータに対し
て、H.261符号化データ出力手段521は、4組あ
るベクトルから1組の代表ベクトルを生成して、そのベ
クトルを可変長符号化する。代表ベクトルの生成方法と
しては、4組のベクトルのうち、最も個数の多いベクト
ルを選択する(4つのブロックのうちの多くが正しいベ
クトルで復号できる)、4組のベクトルの平均値を算出
する(4つのブロックを平均的に復号できる)、4組の
ベクトルのうちの最小値を選択する(動きベクトルの選
択処理を簡略化できる)、などの方法をとることができ
る。この場合、送信器403と受信器404との間で画
像の不一致が生じ、ドリフトと呼ばれる画質劣化が生じ
る。
【0191】MPEG−4符号化データ解析手段513
は、4Vモードのマクロブロックの個数を計数し、あら
かじめ設定した閾値を超えた場合には、画像符号化方式
変換装置501は、送信器403に対して、I−VOP
で符号化するように要求を行う。これにより、送信器4
03と受信器404の画像を一致することができる。
【0192】MPEG−4符号化データ解析手段513
は、図10に示すイントラDC係数(INTRADC)
327を可変長復号し、量子化スケールから得られるd
c_scalerの値を用いた逆量子化、イントラDC
係数予測の処理を行ってDC係数を求めて出力し、H.
261符号化データ出力手段521は、固定の量子化ス
ケール(値は8)で量子化を行って可変長符号化し、図
5(b)に示す変換係数(TCOEFF)113を生成
する。
【0193】MPEG−4符号化データ解析手段513
は、図10に示す変換係数(TCOEFF)328を可
変長復号し、「ラスト」、「ラン」、「レベル」の各符
号化パラメータを生成する。量子化されたDCT係数で
ある「レベル」の値が、−127〜+127の範囲内に
ない場合には、範囲内に収まるように制限を加える。イ
ントラマクロブロックで、図10に示すAC係数予測指
示フラグ(ACPRED)323がオンのときには、特
殊なスキャン順序での逆スキャンとイントラAC係数予
測を行い、さらにジグザグスキャンを行って、「ラス
ト」、「ラン」、「レベル」の符号化パラメータを生成
する。
【0194】H.261符号化データ出力手段521
は、これらの「ラスト」、「ラン」、「レベル」の符号
化パラメータを入力して、可変長符号化を行う。「ラス
ト」がオンの変換係数(TCOEFF)113の直後に
は、ブロック終了符号(EOB)114を多重化する。
【0195】MPEG−4符号化データ解析手段513
は、図9(a)に示すデータパーティショニング使用フ
ラグ(DP)305が、「使用」になっていたときは、
1VP分のデータを記憶し、H.261符号化データ出
力手段521に対して、1マクロブロックごとに出力す
る。
【0196】画像サイズが異なる場合には、マクロブロ
ックのデータに対する処理が必要となる。例えば、図2
(a)のように、入力される画像サイズ601に対し
て、出力される画像サイズ602の方が大きい場合に
は、H.261符号化データ出力手段521は、マクロ
ブロックのダミーデータを挿入する。挿入の仕方は図2
(a)のように、画面の周囲にダミーマクロブロックを
挿入する。
【0197】ダミーマクロブロックは、画面の枠として
復号されるため、一色(例えば黒)としてもよいし、あ
らかじめ指定されたパターンを符号化してもよい。ま
た、静止しているパターンでなく、なんらかの動きのあ
るパターンでもよい。またパターンとして幾何学的な模
様ばかりでなく、文字や写真などを画像データとして符
号化することも可能である。なお、図2(a)のよう
に、画像サイズ602の全ての周囲に均等にダミーを挿
入する方法だけではなく、画面下のみ、画面右のみ、と
いったように片寄った形式にしても構わない。
【0198】逆に、図2(b)のように、入力される画
像サイズ603に対して、出力される画像サイズ604
の方が小さい場合には、H.261符号化データ出力手
段521は、マクロブロックデータの廃棄を行う。廃棄
の仕方は、図2(b)のように、画面の周囲のマクロブ
ロックを廃棄する。なお、画面の周囲を均等に廃棄する
のではなく、一方に片寄らせることも可能である。
【0199】設定されている符号量に対して、出力され
る符号化データの符号量が不足している場合には、H.
261符号化データ出力手段521は、図5(b)に示
すマクロブロックアドレス(MBA)108に、用意さ
れているスタッフビット(MBAスタッフィングと呼ば
れる)を適当量挿入することによって調整を行う。
【0200】逆に符号量が超過している場合には、H.
261符号化データ出力手段521は、画面の端のマク
ロブロックに対する符号化を強制的にオフにして、マク
ロブロックのデータを削減したり、非イントラマクロブ
ロックの各ブロックの符号化される、図5(b)に示す
変換係数(TCOEFF)113のうち、後ろの方に位
置する変換係数(TCOEFF)113を削除したり、
レベルの小さい変換係数(TCOEFF)113を削除
する、などの方法によって符号量を減らす。
【0201】以上のように、この実施の形態4によれ
ば、画像符号化方式変換装置501に、DCT器、逆D
CT器、動き補償予測器、フレームメモリなどの機能が
不要となるため、装置の規模を小さくできると共に、処
理遅延時間も短くできるという効果が得られる。また、
画像を一旦復号し、再度符号化処理する必要が無くなる
ため、画質の劣化を小さくすることができるという効果
が得られる。
【0202】実施の形態5.上記実施の形態では、画像
の画像符号化方式変換装置として、図1に示したよう
に、複数の符号化方式の符号化データの入力が可能であ
るような構成として説明を行ったが、入力される符号化
データが、特定の符号化方式にあらかじめ限定されてい
る場合には、図1のスイッチ431は不要となり、いず
れか一つの符号化データ解析手段のみを有する画像符号
化方式変換装置として構成することも可能である。
【0203】以上のように、この実施の形態5によれ
ば、画像符号化方式変換装置の規模をより簡略化するこ
とが可能となるという効果が得られる。
【0204】実施の形態6.また、上記実施の形態で
は、画像の画像符号化方式変換装置として図1に示した
ように、複数の符号化方式の符号化データの出力が可能
であるような構成として説明を行ったが、出力すべき符
号化データが、特定の符号化方式にあらかじめ限定され
ている場合には、図1のスイッチ432は不要となり、
いずれか一つの符号化データ出力手段のみを有する画像
符号化方式変換装置として構成することも可能である。
【0205】以上のように、この実施の形態6によれ
ば、画像符号化方式変換装置の規模をより簡略化するこ
とが可能となるという効果が得られる。
【0206】実施の形態7.また、上記実施の形態で
は、画像の符号化方式として、H.261符号化方式、
ベースライン方式のH.263符号化方式、シンプルプ
ロファイルのMPEG−4符号化方式の3つの方式に限
定して説明を行ったが、他の符号化方式に適用すること
ももちろん可能である。
【0207】実施の形態8.上記実施の形態では、符号
化方式の変換を行う際に、ドリフトと呼ばれる画質劣化
が生じる項目について、各符号化データ解析手段(51
1〜513)は、ドリフトが発生する可能性のあるマク
ロブロックの個数を計数し、あらかじめ設定された閾値
を超えた場合に、送信器401〜403に対してフレー
ム内符号化で符号化するように、画像符号化方式変換装
置が要求を行う、として説明を行った。これを、マクロ
ブロックの個数を計数するのではなく、発生する信号の
誤差量(例えば二乗差分和)を測定し、蓄積される誤差
量があらかじめ設定された閾値を超えた場合に、送信器
401〜403に対してフレーム内符号化で符号化する
ように画像符号化方式変換装置が要求する、という動作
を行ってもよい。
【0208】以上のように、この実施の形態8によれ
ば、画質劣化が生じる項目ごとに独立にマクロブロック
の個数が計数されるのではなく、変換される符号化方式
全体に対する画質劣化の誤差量が測定されるため、視覚
特性上良好な符号化データを受信器404〜406に対
して出力することが可能となるという効果が得られる。
【0209】実施の形態9.また、上記実施の形態で
は、画像の符号化方式として、上記3方式の機能を全て
使用可能な符号化器が送信器として備わっているものと
して説明を行ったが、送信器の符号化機能があらかじめ
限定されていれば、画像符号化方式変換装置の機能をよ
り簡略化することが可能となる。
【0210】例えば、MPEG−4符号化器で、非制限
動き補償の使用が禁止されていれば、上記実施の形態で
説明を行った非制限動き補償が使用されていた場合の変
換処理の機能を、画像符号化方式変換装置は持つ必要が
なくなる。同様に、MPEG−4符号化器で、fcod
e情報が「1」の値以外の使用が禁止されていれば、上
記実施の形態で説明を行った動きベクトルの範囲の制限
を行う処理の機能を、画像符号化方式変換装置は持つ必
要がなくなる。
【0211】以上のように、この実施の形態9によれ
ば、画像符号化方式変換装置の規模をより簡略化するこ
とが可能となるという効果が得られる。
【0212】
【発明の効果】以上のように、この発明によれば、画像
符号化方式変換装置の規模を小さくできると共に、処理
遅延時間も短くできるという効果がある。また、画像を
一旦復号し、再度符号化処理する必要が無くなるため、
画質の劣化を小さくすることができるという効果があ
る。
【図面の簡単な説明】
【図1】 この発明の実施の形態1から実施の形態9に
よる画像符号化方式変換装置の構成を示す図である。
【図2】 この発明の実施の形態2,実施の形態4によ
る画像サイズを説明する図である。
【図3】 従来の符号化器の構成を示す図である。
【図4】 従来のH.261符号化方式における画像信
号の構成を示す図である。
【図5】 従来のH.261符号化方式における符号化
データの構造を示す図である。
【図6】 従来のH.263符号化方式における画像信
号の構成を示す図である。
【図7】 従来のH.263符号化方式における符号化
データの構造を示す図である。
【図8】 従来のMPEG−4符号化方式におけるVP
の構成を示す図である。
【図9】 従来のMPEG−4符号化方式における符号
化データの構成を示す図である。
【図10】 従来のMPEG−4符号化方式におけるマ
クロブロックデータの構成を示す図である。
【図11】 画像通信システムの構成を示す図である。
【図12】 従来の画像符号化方式変換装置の構成を示
す図である。
【図13】 従来の復号器の構成を示す図である。
【符号の説明】
401,402,403 送信機(画像符号化装置)、
404,405,406 受信機(画像復号装置)、5
01 画像符号化方式変換装置、511 H.261符
号化データ解析手段(符号化データ解析手段)、512
H.263符号化データ解析手段(符号化データ解析
手段)、513 MPEG−4符号化データ解析手段
(符号化データ解析手段)、521 H.261符号化
データ出力手段(符号化データ出力手段)、522
H.263符号化データ出力手段(符号化データ出力手
段)、523 MPEG−4符号化データ出力手段(符
号化データ出力手段)。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 杉本 和夫 東京都千代田区丸の内二丁目2番3号 三 菱電機株式会社内 (72)発明者 小川 文伸 東京都千代田区丸の内二丁目2番3号 三 菱電機株式会社内 (72)発明者 関口 俊一 東京都千代田区丸の内二丁目2番3号 三 菱電機株式会社内 (72)発明者 黒田 慎一 東京都千代田区丸の内二丁目2番3号 三 菱電機株式会社内 (72)発明者 長谷川 由里 東京都千代田区丸の内二丁目2番3号 三 菱電機株式会社内 (72)発明者 浅井 光太郎 東京都千代田区丸の内二丁目2番3号 三 菱電機株式会社内 Fターム(参考) 5C059 KK41 MA00 MA02 MA05 MA23 ME01 NN01 NN21 NN28 PP04 SS06 TA16 TA17 TB00 TC27 TC45 UA02 UA05 UA11 5J064 AA04 BA09 BA13 BB11 BC11 BD02

Claims (20)

    【特許請求の範囲】
  1. 【請求項1】 画像信号が第1の符号化方式により符号
    化された第1の符号化データを入力し、上記画像信号が
    第2の符号化方式により符号化された第2の符号化デー
    タを出力する画像符号化方式変換装置において、 上記入力された第1の符号化データにおける一部を、上
    記第1の符号化方式で可変長復号し、上記入力された第
    1の符号化データにおける他部と共に、符号化パラメー
    タとして出力する符号化データ解析手段と、 上記符号化データ解析部から出力された、上記第1の符
    号化方式で可変長復号された符号化パラメータを、上記
    第2の符号化方式で可変長符号化すると共に、上記符号
    化データ解析部から出力された、第1の符号化データに
    おける他部の符号化パラメータを、上記第2の符号化方
    式に適した形式に変換して、上記第2の符号化データと
    して出力する符号化データ出力手段とを備えたことを特
    徴とする画像符号化方式変換装置。
  2. 【請求項2】 符号化データ解析手段が、入力した第1
    の符号化データからイントラDC係数を可変長復号し、
    逆量子化を行い、上記イントラDC係数の符号化パラメ
    ータを出力し、 符号化データ出力手段が、上記イントラDC係数の符号
    化パラメータを量子化し、可変長符号化を行い、第2の
    符号化データに含めて出力することを特徴とする請求項
    1記載の画像符号化方式変換装置。
  3. 【請求項3】 符号化データ解析手段が、入力した第1
    の符号化データから変換係数の一部を可変長復号し、逆
    量子化を行い、上記変換係数の一部の符号化パラメータ
    を出力し、 符号化データ出力手段が、上記変換係数の一部の符号化
    パラメータを量子化し、可変長符号化を行い、第2の符
    号化データに含めて出力することを特徴とする請求項1
    記載の画像符号化方式変換装置。
  4. 【請求項4】 第2の符号化方式では禁止されている、
    量子化されたDCT係数の値を持った変換係数が第1の
    符号化データに含まれているときに、符号化データ出力
    手段が、量子化されたDCT係数の値を第2の符号化方
    式の制限内に収まるように変換することを特徴とする請
    求項1記載の画像符号化方式変換装置。
  5. 【請求項5】 第2の符号化方式では禁止されている値
    をもった動きベクトルによって動き補償予測方式が第1
    の符号化方式で行われているときに、符号化データ出力
    手段が、動きベクトルの値が第2の符号化方式の制限内
    に収まるように制限を加えて、可変長符号化を行うこと
    を特徴とする請求項1記載の画像符号化方式変換装置。
  6. 【請求項6】 第2の符号化方式には機能が備えられて
    いない4組の動きベクトルを用いた動き補償予測方式が
    第1の符号化方式で行われているときに、符号化データ
    出力手段が、上記4組の動きベクトルから1組の代表動
    きベクトルを生成して、第2の符号化データを出力する
    ことを特徴とする請求項1記載の画像符号化方式変換装
    置。
  7. 【請求項7】 符号化データ解析手段が、4組の動きベ
    クトルを用いた動き補償予測を行っているマクロブロッ
    クの個数を計数し、その個数があらかじめ設定されてい
    る閾値を超えた場合に、第1の符号化データの送付元
    に、フレーム内符号化処理を行うよう要求することを特
    徴とする請求項6記載の画像符号化方式変換装置。
  8. 【請求項8】 第2の符号化方式では禁止されている、
    予測参照画像が画面の外側へまたがった動き補償予測方
    式が、第1の符号化方式で行われているときに、符号化
    データ出力手段が、上記予測参照画像が画面内の動きベ
    クトルとなるようにベクトル値に制限を加えて、可変長
    符号化を行うことを特徴とする請求項1記載の画像符号
    化方式変換装置。
  9. 【請求項9】 第2の符号化方式には機能が備えられて
    いないループ内フィルタによる処理を用いた動き補償予
    測方式が、第1の符号化方式で行われているときに、符
    号化データ出力手段が、符号化データ解析手段より出力
    された動きベクトルの値を0.5画素だけ値を変えて、
    符号化を行うことを特徴とする請求項1記載の画像符号
    化方式変換装置。
  10. 【請求項10】 符号化データ解析手段が、ループ内フ
    ィルタの処理が行われているマクロブロックの個数を計
    数し、その個数があらかじめ設定されている閾値を超え
    た場合に、第1の符号化データの送付元に、フレーム内
    符号化処理を行うよう要求することを特徴とする請求項
    9記載の画像符号化方式変換装置。
  11. 【請求項11】 第2の符号化方式には機能が備えられ
    ていない、半画素精度の動きベクトルを用いた動き補償
    予測方式が第1の符号化方式で行われているときに、符
    号化データ出力手段が、符号化データ解析手段より出力
    された動きベクトルの値を整数精度に丸め処理を行い、
    符号化することを特徴とする請求項1記載の画像符号化
    方式変換装置。
  12. 【請求項12】 第2の符号化方式にループ内フィルタ
    の機能が備えられているときに、符号化データ出力手段
    が、半画素精度の動きベクトルを用いた動き補償予測方
    式が第1の符号化方式で行われているマクロブロックに
    対して、ループ内フィルタの使用を指示するフラグを生
    成することを特徴とする請求項1記載の画像符号化方式
    変換装置。
  13. 【請求項13】 入力された第1の符号化データと出力
    される第2の符号化データとの間に画像サイズの相違が
    あるときに、符号化データ出力手段が、画像サイズを大
    きくするためにダミーデータを挿入することを特徴とす
    る請求項1記載の画像符号化方式変換装置。
  14. 【請求項14】 入力された第1の符号化データと出力
    される第2の符号化データとの間に画像サイズの相違が
    あるときに、符号化データ出力手段が、画像サイズを小
    さくするために画面の周縁部に位置するマクロブロック
    のデータを廃棄することを特徴とする請求項1記載の画
    像符号化方式変換装置。
  15. 【請求項15】 出力される第2の符号化データにおい
    て、設定されている符号量に対して出力される符号量が
    不足しているときに、符号化データ出力手段が、第2の
    符号化データに挿入するスタッフビットのビット数を増
    やすことにより符号量の調整を行うことを特徴とする請
    求項1記載の画像符号化方式変換装置。
  16. 【請求項16】 出力される第2の符号化データにおい
    て、設定されている符号量に対して出力される符号量が
    超過しているときに、符号化データ出力手段が、フレー
    ム内符号化ピクチャの直前のフレーム間符号化ピクチャ
    のマクロブロックデータを廃棄することにより符号量の
    調整を行うことを特徴とする請求項1記載の画像符号化
    方式変換装置。
  17. 【請求項17】 出力される第2の符号化データにおい
    て、設定されている符号量に対して出力される符号量が
    超過しているときに、符号化データ出力手段が、フレー
    ム間符号化ピクチャの画面の端に位置するマクロブロッ
    クデータを廃棄することにより符号量の調整を行うこと
    を特徴とする請求項1記載の画像符号化方式変換装置。
  18. 【請求項18】 出力される第2の符号化データにおい
    て、設定されている符号量に対して出力される符号量が
    超過しているときに、符号化データ出力手段が、非イン
    トラマクロブロックの変換係数データの一部を廃棄する
    ことにより符号量の調整を行うことを特徴とする請求項
    1記載の画像符号化方式変換装置。
  19. 【請求項19】 第2の符号化方式に伝送路の誤りに対
    する耐性を強化するための機能が備わっている場合にお
    いて、符号化データ出力手段が、第2の符号化データの
    伝送路に発生している誤りの状態に応じて、上記誤りに
    対する耐性を強化するための機能を使用して、上記第2
    の符号化データを出力することを特徴とする請求項1記
    載の画像符号化方式変換装置。
  20. 【請求項20】 画像信号を第1の符号化方式により符
    号化を行い第1の符号化データを出力する画像符号化装
    置と、 第2の符号化データを入力し第2の符号化方式で上記画
    像信号を復号する画像復号装置と、 上記第1の符号化データを入力し、上記第2の符号化デ
    ータを出力する画像符号化方式変換装置とを備えた画像
    通信システムにおいて、 上記画像符号化方式変換装置が、 上記入力された第1の符号化データにおける一部を、上
    記第1の符号化方式で可変長復号し、上記入力された第
    1の符号化データにおける他部と共に、符号化パラメー
    タとして出力する符号化データ解析手段と、 上記符号化データ解析部から出力された、上記第1の符
    号化方式で可変長復号された符号化パラメータを、上記
    第2の符号化方式で可変長符号化すると共に、上記符号
    化データ解析部から出力された、第1の符号化データに
    おける他部の符号化パラメータを、上記第2の符号化方
    式に適した形式に変換して、上記第2の符号化データと
    して出力する符号化データ出力手段とを備えたことを特
    徴とする画像通信システム。
JP4885899A 1999-02-25 1999-02-25 画像符号化方式変換装置及び画像通信システム Abandoned JP2000253403A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP4885899A JP2000253403A (ja) 1999-02-25 1999-02-25 画像符号化方式変換装置及び画像通信システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP4885899A JP2000253403A (ja) 1999-02-25 1999-02-25 画像符号化方式変換装置及び画像通信システム

Publications (1)

Publication Number Publication Date
JP2000253403A true JP2000253403A (ja) 2000-09-14

Family

ID=12814983

Family Applications (1)

Application Number Title Priority Date Filing Date
JP4885899A Abandoned JP2000253403A (ja) 1999-02-25 1999-02-25 画像符号化方式変換装置及び画像通信システム

Country Status (1)

Country Link
JP (1) JP2000253403A (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003052054A (ja) * 2001-08-07 2003-02-21 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
JP2006165935A (ja) * 2004-12-07 2006-06-22 Nec Corp 制御情報の変換装置及び制御情報の変換方法
JP2007336468A (ja) * 2006-06-19 2007-12-27 Sharp Corp 再符号化装置、再符号化方法およびプログラム
JP2008153771A (ja) * 2006-12-14 2008-07-03 Mitsubishi Electric Corp 画像符号化方式変換装置
US7447218B2 (en) 2003-02-24 2008-11-04 Mitsubishi Denki Kabushiki Kaisha Communication service unit and connection sequence operating method
WO2008136164A1 (ja) * 2007-04-23 2008-11-13 Panasonic Corporation 復号化回路、復号化方法及び画像再生装置
JP2009077176A (ja) * 2007-09-20 2009-04-09 Canon Inc 画像符号化装置及び画像復号装置並びにそれらの制御方法
JP2010233238A (ja) * 2010-05-24 2010-10-14 Nec Corp 制御情報の変換装置及び制御情報の変換方法
US8054888B2 (en) 2003-12-24 2011-11-08 Lg Electronics Inc. Apparatus and method for converting a codec of image data
US8238437B2 (en) 2007-09-20 2012-08-07 Canon Kabushiki Kaisha Image encoding apparatus, image decoding apparatus, and control method therefor
JP2012231532A (ja) * 2005-07-13 2012-11-22 Polycom Inc ビデオ誤り隠蔽法
JP2015041790A (ja) * 2013-08-20 2015-03-02 日本電気株式会社 トランスコード装置およびトランスコード方法

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003052054A (ja) * 2001-08-07 2003-02-21 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
US7447218B2 (en) 2003-02-24 2008-11-04 Mitsubishi Denki Kabushiki Kaisha Communication service unit and connection sequence operating method
US8054888B2 (en) 2003-12-24 2011-11-08 Lg Electronics Inc. Apparatus and method for converting a codec of image data
USRE47345E1 (en) 2004-12-07 2019-04-09 Rakuten, Inc. Apparatus and method for converting control information
JP2006165935A (ja) * 2004-12-07 2006-06-22 Nec Corp 制御情報の変換装置及び制御情報の変換方法
US8249227B2 (en) 2004-12-07 2012-08-21 Nec Corporation Apparatus and method for converting control information
US9661376B2 (en) 2005-07-13 2017-05-23 Polycom, Inc. Video error concealment method
JP2012231532A (ja) * 2005-07-13 2012-11-22 Polycom Inc ビデオ誤り隠蔽法
JP2007336468A (ja) * 2006-06-19 2007-12-27 Sharp Corp 再符号化装置、再符号化方法およびプログラム
JP2008153771A (ja) * 2006-12-14 2008-07-03 Mitsubishi Electric Corp 画像符号化方式変換装置
US8422562B2 (en) 2007-04-23 2013-04-16 Panasonic Corporation Decoding circuit, decoding method, and image reproducing apparatus
WO2008136164A1 (ja) * 2007-04-23 2008-11-13 Panasonic Corporation 復号化回路、復号化方法及び画像再生装置
JP2009077176A (ja) * 2007-09-20 2009-04-09 Canon Inc 画像符号化装置及び画像復号装置並びにそれらの制御方法
US8238437B2 (en) 2007-09-20 2012-08-07 Canon Kabushiki Kaisha Image encoding apparatus, image decoding apparatus, and control method therefor
JP2010233238A (ja) * 2010-05-24 2010-10-14 Nec Corp 制御情報の変換装置及び制御情報の変換方法
JP2015041790A (ja) * 2013-08-20 2015-03-02 日本電気株式会社 トランスコード装置およびトランスコード方法

Similar Documents

Publication Publication Date Title
EP1391121B1 (en) Variable length coding
Wiegand et al. Overview of the H. 264/AVC video coding standard
KR100931873B1 (ko) 비디오 신호 부호화/복호화 방법 및 비디오 신호 부호기/복호기
EP1470724B1 (en) Coding transform coefficients in image/video encoders and/or decoders
US6879268B2 (en) Adaptive variable length coding of digital video
EP1490975B1 (en) Coding transform coefficients in image / video encoder and/or decoders
US6614845B1 (en) Method and apparatus for differential macroblock coding for intra-frame data in video conferencing systems
EP2124456B1 (en) Video coding
US7792374B2 (en) Image processing apparatus and method with pseudo-coded reference data
JP2000253403A (ja) 画像符号化方式変換装置及び画像通信システム
Dominguez et al. The H. 264 video coding standard
US6452973B1 (en) System and method for converting H.261 compressed moving picture data to MPEG-1 compressed moving picture data on compression domain
US6040875A (en) Method to compensate for a fade in a digital video input sequence
JPH0738888A (ja) 動画像復号化装置
US7072402B2 (en) Methods and apparatus for dynamically adjusting f-codes for a digital picture header
JPH07107464A (ja) 画像符号化装置および復号化装置
KR100543607B1 (ko) 동영상 디코딩 방법
JP3539910B2 (ja) 画像信号符号化装置及び符号化方法並びに画像信号復号化装置及び復号化方法
Samitha et al. Study of H. 264/Avc Algorithm and It’s Implementation In Matlab
Aladrovic et al. An error resilience scheme for layered video coding
HK1096517B (en) Error concealment method and indicator for improving error concealment in video coding
HK1079938A1 (zh) 视频信号编码/解码方法和装置及对应的无线电电信装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041013

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060711

A762 Written abandonment of application

Free format text: JAPANESE INTERMEDIATE CODE: A762

Effective date: 20060815