JPH10145798A - デジタル符号化信号処理方式 - Google Patents

デジタル符号化信号処理方式

Info

Publication number
JPH10145798A
JPH10145798A JP9277392A JP27739297A JPH10145798A JP H10145798 A JPH10145798 A JP H10145798A JP 9277392 A JP9277392 A JP 9277392A JP 27739297 A JP27739297 A JP 27739297A JP H10145798 A JPH10145798 A JP H10145798A
Authority
JP
Japan
Prior art keywords
frame
intra
coded frame
coded
baseband
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP9277392A
Other languages
English (en)
Other versions
JPH10145798A5 (ja
JP4351746B2 (ja
Inventor
James Hedley Wilkinson
ヘドリー ウィルキンソン ジェームズ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Europe BV United Kingdom Branch
Original Assignee
Sony United Kingdom Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from GBGB9621067.9A external-priority patent/GB9621067D0/en
Application filed by Sony United Kingdom Ltd filed Critical Sony United Kingdom Ltd
Publication of JPH10145798A publication Critical patent/JPH10145798A/ja
Publication of JPH10145798A5 publication Critical patent/JPH10145798A5/ja
Application granted granted Critical
Publication of JP4351746B2 publication Critical patent/JP4351746B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/92Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/926Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback by pulse code modulation
    • H04N5/9261Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback by pulse code modulation involving data reduction
    • H04N5/9262Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback by pulse code modulation involving data reduction using predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

(57)【要約】 【課題】 編集によってデータの損失がなく画質が低下
しないようなデジタル符号化信号処理方式を得る。 【解決手段】 イントラ符号化フレームIとインター符
号化フレームBを含むMPEG2符号化信号をベースバ
ンドに復号し(70〜74)、Iフレームに再符号化す
る(76)。Bフレームの量子化レベルQV と動きベク
トルを不変に保持し、且つIフレームとして再符号化さ
れる対応フレームに関連して維持する。劣化を引起こす
ことなく、Iフレームをベースバンドに復号し、処理
し、Iフレームに再符号化できる。それからIフレーム
を再び、例えばI,Bフレームに再符号化でき、その際
の劣化は極めて小さい。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、デジタル符号化信
号の処理に関し、特にMPEG2に従って符号化された
信号に適用されるものである。
【0002】
【従来の技術】MPEG2は周知であって、ISO/I
EC13818−2に定義されている。MPEG2符号
化は、例えば、英国ISBN(国際標準図書番号)18
7256707X、Swift Television
Publications発光NTLによる小冊子
「MPEG−Digital Television
For All」及び英国RG22 4SB、ハンプシ
ャー、ベージングストーク、ビァブルズ、ジェイズ ク
ロース所在のSony Broadcast and
Professional Europeによる「Vi
deo Compression Technolog
y」において論評されている。
【0003】添付された図1〜3を参照して背景を述べ
る。図1はMPEG2符号化信号の階層構造の各層を示
し、図2はMPEG2符号化器の簡略化した模式ブロッ
ク図であり、図3は該符号化器によって生成される画像
グループ(GOP)の模式図である。次の説明は、MP
EG2を詳細に説明することを意図したものではなく、
本発明に対する予備知識を与えるためのものである。
【0004】1)階層構造 図1に示す如く、MPEG2は、ビデオ信号を符号化
し、符号化した信号を階層構造の各層に編成する。説明
を簡単にするため、完全なフレームの輝度(Y)のみに
ついて次に述べる。アナログフレームFをサンプル(標
本化)し、デジタル化して8×8ピクセル(x)のブロ
ックBに分割する(図1のA)。輝度に対し、4個のB
ブロックをまとめて1つのマクロブロックMとし、これ
を複数個つくる。これを以下の如く処理する(図1の
B)。(色度に対しては、別のブロックが加えられ
る。)
【0005】連続するマクロブロックMをまとめてスラ
イスSに編成する(図1のC)。図示の如く、スライス
は1画像の幅(フレーム幅)と同じ長さとする。ただ
し、スライスがただ1つの画像(フレーム)からのマク
ロブロックより成る場合、スライスの長さは任意でよ
い。
【0006】1画像P(フレーム)は、1以上のスライ
スSより成る(図1のD)。複数の画像を一緒にまとめ
て画像グループ(GOP)を作る(図1のE)。GOP
は、あとで図3を参照して述べる如く「開放型」か又は
「閉鎖型」となるであろう。シーケンスは、1以上のG
OPより成る(図1のF)。
【0007】2)符号化 MPEG2符号化器の概略を示す図2において、時間的
冗長性除去ユニット1への入力信号はサンプルされデジ
タル化されたビデオ信号とする。時間的冗長性除去ユニ
ット1では、フレーム間の動きを補償する差を表す信号
を生成することにより、デジタル信号から時間的冗長性
を除去する。実際では、その差は、或るフレームと1以
上の他のフレーム(通常最大2)から予測したものとの
差である。これらの差は、結局Iフレーム(イントラ
(内)符号化フレーム)と呼ばれるフレームを基準とす
る。Iフレームの中には、符号化情報が保存されてい
る。Pフレーム及びBフレームと呼ばれる2種類の差フ
レームが生成される。これらは、インター(間)符号化
フレームと呼ばれる。
【0008】Pフレームは、Iフレーム又は先行するP
フレームかも知れない1つ先行基準フレームから予測さ
れたフレームである。Pフレームは、1以上の介在フレ
ームによってその基準フレームから隔てられることもあ
る。
【0009】Bフレームは、最も近い先行するI又はP
フレーム及び最も近い後続のI又はPフレームから双方
向に補間されたフレームである。I及び(又は)Pフレ
ーム間のBフレームの数は、選択可能である。GOP
は、少なくとも1つのIフレームを含まなければならな
い。GOPは、そのうえ更に1以上のB及び(又は)P
フレームを含んでもよい。
【0010】これらのフレームは、離散コサイン変換
(DCT)ユニット2により、空間的冗長性の除去処理
を受ける。Iフレーム即ちイントラ符号化フレームは、
時間的冗長性を除去されることなくDCT処理を受け
る。
【0011】DCTは、上記Bブロックに対し、離散コ
サイン変換用の1組の係数をピクセル値にマトリックス
乗算をして行う。上記DCTユニット2は、各8×8入
力ブロックに対する空間周波数係数の2次元8×8アレ
イを生成する。
【0012】マクロブロックMは、動き補償に使用され
る。動きベクトルは、動きベクトル推定器7で導出され
るが、これは、現フレーム内のマクロブロックが予測フ
レームのどの位置にあるかを示すものである。この動き
ベクトルは、P及びBフレームに付随しており、予測期
間における画像物体の動きによって生じる予測エラーを
減らすことにより、時間的(1)及び空間的(2)冗長
性除去で達成されるデータの縮減に加えて、更にデータ
縮減を可能とするものである。
【0013】DCTの空間周波数係数アレイは、2次元
量子化加重マトリックスによって量子化(3)される。
ここで、一般に人間の視覚組織の特性に従ってDCT係
数の量子化に加減を加える。画像情報の殆どは低い空間
周波数の所にあるので、低い空間周波数は高精度で量子
化する。眼は高い空間周波数のノイズに対して余り敏感
でないので、かような周波数はもっと粗く量子化して、
更にデータ量を減らす。
【0014】データ量は画像の内容と共に変わるが、ビ
ットレートは一定であるのが望ましい。その目的のた
め、量子化を、一定のビットレートを維持するように変
化する量子化スケーリング値QV によって制御する。こ
れは、図2に示す如く、バッファ4の占有率を一定に保
つようQV を変化させることによって行うことができ
る。
【0015】量子化されたデータはそれから、例えば可
変長符号化器5及びハフマン符号化器6を含むエントロ
ピ符号化器5,6によって符号化される。可変長符号
は、ゼロをすべて別個の符号として送信する代わりに、
ゼロの列におけるゼロの数を示すことにより、データを
減らすものである。
【0016】例えば、10進法データストリーム(00
000003)は、10進法で1対の符号(7,3)と
して可変長符号化されることになる。この符号対は、ハ
フマン符号化において、該対の生起確率を示す符号を各
符号対に割当てることにより符号化される。バッファ4
の出力は、少なくともIフレームを通常P及び(又は)
Bフレームと共に表すほぼ一定のビットレートのビット
ストリームである。
【0017】3)シンタクス(構文) 上記ビットストリームは、MPEGシンタクスと呼ばれ
るデータを含む。これらは、ISO/IEC13818
−2に定義されており、該ビットストリーム内のデータ
をどのように構成し、また、該ビットストリームの復号
を容易にするためどのように符号化するかを示すもので
ある。
【0018】図1を参照するに、シンタクス・データ
は、特に次のものを含んでいる。SMはマクロブロック
に付随する。SSはスライスに付随する。SPはフレー
ム又は画像に付随する。SGはGOPに付随する。SH
はシーケンスに付随する。
【0019】マクロブロックMのシンタクスSMは、特
に次のものを含む。 (1)動きベクトル値を定めるデータ、及び(2)量子
化スケーリング符号
【0020】フレームのシンタクス・データSPは、特
に次のものを含む。 (1)フレームの種類、即ちI,P又はBの種別を示す
データ、(2)B及びPフレームに対し、これらの導出
に参照された基準フレームを示すデータ、及び(3)コ
ンシールメント(補整)ベクトルに関するデータ。
【0021】GOPのシンタクス・データSGは、特に
次のものを含む。 (1)GOPが開放型か又は閉鎖型かを示すデータ。 シーケンスのシンタクス・データSHは、特に次のもの
を含む。 (1)水平方向及び垂直方向のピクセルで表す画像のサ
イズ、及び(2)ビデオバッファ比較照合器のサイズ。
【0022】信頼できる復号器の動作及び所望の画質
(の維持)と両立するように、ビデオ信号を表すデータ
量をできる限り減らすことが望ましい。IフレームはP
フレームより多くのデータを必要とし、PフレームはB
フレームより多くのデータを必要とする。よって、B及
びPフレームをできるだけ多く使用することが望まし
い。
【0023】4)信号処理 ビデオ信号のスタジオ及び制作後処理では、色々な態様
で信号が編集される。最も簡単な編集は、カッティング
である。他の編集処理には、カッティング及び新しいシ
ーケンスの挿入並びに異なるシーケンス間のクロスフェ
ードが含まれる。
【0024】編集は、最も近いフレームに対し、又は状
況によっては最も近いフィールドに対して精確である必
要がある。前掲のNTLの小冊子に見られるように、
「編集は、完全な情報を含むフレーム、即ちIフレーム
でのみ行うことができるであろう」。しかし、フレーム
はGOP内に並んでいてGOPの長さは1より大きいの
で、或るフレームの内容は他のフレームによって決まる
ことになり、たとえ編集をIフレームで行っても問題が
生じる。
【0025】
【発明が解決しようとする課題】図3のAに示す如く、
GOPが閉鎖型(自給自足的)の場合がある。それは、
GOPを復号するのに必要な全情報が該GOPに含まれ
ていて、ただ1つのIフレームが参照されることを意味
する。図3のAには、2つの任意のGOP,GOP1及
びGOP2のシーケンスが示されており、各GOPは
I,B及びPフレームを含んでいる。すべてのB及びP
フレームは、結局のところ最初のIフレーム21を参照
(基準と)している。最後のBフレーム22は、当該G
OPの先行Pフレーム23及び最後のPフレーム24を
参照しているので、該GOP内で復号することができ
る。
【0026】開放型のGOPは、復号に隣接GOPから
のデータを必要とする。図3のBは任意の開放型GOP
を示しており、図から明らかなように、例えば、最初の
GOPであるGOP1の最後のBフレーム31はGOP
2の最初のIフレーム32からのデータを必要としてい
る。編集が図3のAの閉鎖型GOPのGOP1とGOP
2の間の境界で行われる場合、何も問題は起きない。各
GOPは、依然として復号可能である。しかし、編集が
Iフレーム21とBフレームの間で行われると、該Bフ
レームはもはや精確には復号されないであろう。それ
は、該Bフレームが2つの基準フレームI21及びP2
3の一方から離れてしまうからである。これに対処する
従前の提案は、単に該BフレームをPフレームとして指
定し直すことであり、後続の復号の精確性を損なうもの
であった。図3のBの例で2つの開放型GOPの間の境
界で編集が行われると、GOPが相互に依存しているの
で、それらの精確な復号が妨げられることになる。
【0027】したがって、これまで、MPEG2符号化
されたビットストリームは、少なくともデジタル・ベー
スバンド(即ち、符号化されない原デジタル信号)に復
号してから編集し、それから再びMPEG2に符号化し
直す、という編集方法が提案されてきた。
【0028】しかし、再符号化の過程で更に情報が失わ
れる。時間的冗長性の低減及びDCTの動作は、十分な
精度が維持される場合に無損失であるが、量子化時に量
子化スケーリング制御値QV と共に変化する量子化エラ
ーが生じ、若干のデータ損失を伴う。
【0029】スタジオ及び制作後処理には数段階の処理
が含まれ、各処理はまた復号、編集及び再符号化を含む
ことがある。符号化動作に固有の損失は、累積されて該
ビットストリームによって表わされる画像の質を低下さ
せる。よって、本発明の課題は、上述の問題点を解決す
ることである。
【0030】
【課題を解決するための手段】本発明は、一面におい
て、イントラ符号化フレームと、量子化レベル及び動き
ベクトルが夫々付随するインター符号化フレームとを含
むデジタル符号化信号を処理する方法を提供する。この
方法は、上記インター符号化フレームを、該フレームの
夫々の量子化レベルを不変に保持しながらイントラ符号
化フレームに変換するステップを含むものである。好適
な実施形態では、動きベクトルもまた夫々の変換された
フレームに関連して保持される。
【0031】本発明は、他面において、イントラ符号化
フレームと、量子化レベル及び動きベクトルが夫々付随
するインター符号化フレームとを含むデジタル符号化信
号を処理する装置を提供する。この装置は、上記インタ
ー符号化フレームを、該フレームの夫々の量子化レベル
を不変に保ちながらイントラ符号化フレームに変換する
ように構成された手段を含む。好適な実施形態では、動
きベクトルもまた夫々の変換されたフレームに関連して
保持される。
【0032】信号はMPEG2に従って符号化し、イン
トラ符号化フレームはMPEG2のIフレームであり、
インター符号化フレームはMPEG2のP及び(又は)
Bフレームであるのがよい。以下、都合上MPEG2符
号化信号について説明する。
【0033】多(数)世代テスト(後述参照)から、符
号化が精確に実施され、量子化レベルが多世代の各段階
で同一であれば、繰返しベースバンドに復号しIフレー
ムとして再符号化する際、Iフレームの再構成エラーは
無視できることが分かった。
【0034】したがって、イントラ符号化及びインター
符号化フレームをもつデジタル符号化信号をすべてイン
トラ符号化フレームに変換することにより、その結果生
じるIフレームを繰返しベースバンドに復号し、処理
し、Iフレームとして再符号化しても、更に劣化するこ
とは殆どなくなる。
【0035】最初P又はBフレームであったIフレーム
は、一旦処理が終われば、再符号化して最初の符号化形
態であるP又はBフレームに戻してもよい。量子化過程
で生じる損失を減らすために、最初のI,P及び(又
は)Bフレームに対してMPEGシンタクスで表された
最初の量子化レベルQV を、それらのフレームに関連し
て維持する。
【0036】また、MPEGシンタクスで表された、最
初のBフレームに付随する動きベクトルも、対応するI
フレームに関連して保持するのがよい。こうすると、I
フレームを再符号化してB又はPフレームに戻す際に、
さもなければ動きベクトルの再計算により生じるであろ
うエラーを減らすことができる。
【0037】MPEG2シンタクスにより、動きベクト
ルをコンシールメント・ベクトルとしてIフレーム内に
含めることが可能となる。すべてIフレームに変換する
ことにより、全フレームを精確に編集することが可能と
なる。
【0038】
【発明の実施の形態】本発明の理解を助けるため、以
下、添付図面を参照して説明する。図4は、種々の画像
に対する、複数回の復号及び再符号化を受けるI及びB
フレームに関する再構成エラーと世代数との関係を示す
曲線図である。
【0039】本発明は、Iフレームを繰返しベースバン
ドに復号し、再符号化してIフレームに戻し、また、B
フレームを繰返しベースバンドに復号し、Iフレームに
再符号化し、それからベースバンドに戻し、それからB
フレームに戻す、という多世代テストに基くものであ
る。このテストは種々の画像を表す信号について実施さ
れ、図4のA,B,Cは、線形量子化を用いる業界で周
知の3つの標準テスト画像に対する実験結果を示す。B
フレームの各世代には、同じ動きベクトルを使用した。
図4のAの場合、使用した画像シーケンスは「モビール
とカレンダー」であった。これは、細部の多い壁紙の緩
慢なパン(pan)及びカレンダーで、符号化するには
「難しい」シーケンスとして知られているものである。
この画像は、高レベルの輝度と色度を含み、ノイズのレ
ベルは低い。
【0040】図4のBの場合、使用した画像シーケンス
は「スージー(Susie)」であった。これは、静止
した背景で頭部を写したもので、頭や毛髪の動きがあ
る。
【0041】図4のCの場合、使用した画像シーケンス
は「アイス・ダンス」であった。これは、商店街アーケ
ードで演じるスケーターを含むものである。そのシーケ
ンスは、MPEG2符号化信号の第7世代であって、ノ
イズや画像歪みの形の圧縮人工雑音を有する。図4の
A,B,Cにおいて、Y0 及びC0 はIフレームの輝度
(Y0 )及び色度(C0 )の再構成エラーを表し、Y1
及びC1 はBフレームの再構成エラーを表す。
【0042】結果はすべて、Iフレームは多世代にわた
って再構成エラーがないに等しいことを示している。図
4のA及びBは、Bフレームの再構成エラーが、2世代
で1世代に比べて増加するが3世代では2世代に比べて
減少し、以後次第に増加しながらジグザグ状に続いてゆ
くことを示している。
【0043】図4のAは、Bフレームのエラーの増加傾
向が小さいことを示す。図4のBでは、増加傾向が大き
い。ノイズが多いシーケンスから導出された図4のCで
は、再構成エラーの増加傾向が急である。
【0044】常にIとして符号化されたフレーム
(Y0 ,C0 )に対する結果は、テストの9世代にわた
って損失を無視できることを示している。BとIの間で
交互に符号化されたフレーム(Y1 ,C1 )に対する結
果は、第1世代(B)の損失が、第2世代(I)に段階
の変化によって悪くなるが、第3世代に良くなり、これ
がジグザグ状に続き、時には全体として悪くなる傾向が
ある、という興味ある結果を示す。その結果が2つの本
質的に異なる信号(Iフレーム及びBフレーム)の量子
化を縦続接続したことによるものであるから、第2世代
後の余分な損失は予期されたかも知れない。しかし、第
3及びこれに続く奇数世代後の回復は予期されなかっ
た。そこで、この観察結果に対する基本原理を図5の助
けを借りて示唆してみよう。
【0045】図5は、図4のA,B,Cに示す結果を説
明するのに役立つ図である。図5において、アポストロ
フィ(′)のないI及びBは、ベースバンド・フレーム
を表す。I′及びB′は、変換されたフレームを表す。
符号化の第1段階(世代1)において、Bフレームの各
ピクセルは量子化処理Q1 を受けるが、これにより±ε
/2までの量子化エラーが入って来る。図では、最初の
2世代についてε1 及びε2 で示す。動き予測値が世代
間で不変であり、DCT(T1 )及び逆DCT(T1 1
が十分に精確で殆ど完全な再構成が確実であるとすれ
ば、第2世代量子化器へのエラー入力は、第1世代で引
起こされたもの(ε1 )と同じである。第2の量子化器
2 は、新しいエラー(ε2 )を引起こす。それは、入
力信号が、BフレームでなくIフレームの変換成分であ
って、本質的に極めて異なるからである。第2世代の量
子化器Q2 の出力は、変換されたソース(I′)に別々
のエラー成分ε1 及びε2 を加えたものとして示してあ
る。エラーを別々の成分で示す理由は、第3世代で明ら
かになる。第3世代では、動きベクトル予測信号(MV
C)は第1世代におけるMVCと殆ど同一である。とい
うのは、前後のIフレームの世代損失が殆どなく、動き
ベクトル情報は第1から第3世代に直接送られるからで
ある。したがって、変換及び動きベクトル補償過程にお
いて十分な精確度が与えられるとすれば、第3世代量子
化器への入力は、第1世代の変換されたフレームに第1
及び第2世代で引起こされたエラーを加えたものとなる
であろう。
【0046】ところで、成分(B′+ε1 )は、量子化
器の出力に状態変化を強制するため少なくとも±ε/2
の付加信号を必要とする丸められた数である。量子化器
レベルは、世代間にわたって一定に保たれるので、第3
世代量子化器により引起こされるエラーは、上記成分
(B′+ε1 )を変えさせることができず、エラー成分
ε2 が消されてしまう。よって、第3世代の出力は、第
1世代の出力と同じである。この効果は、画像のタイプ
によって、また線形でなく非線形量子化において一層顕
著である。この過程は、非線形量子化で更によく保持さ
れるようであるが、それは、エラーの大きさが低レベル
信号に対して増加し、それにより第3世代量子化器エラ
ーに丸め閾(いき)を突破させるチャンスを減じるから
である。この方法は、動き補償予測値を作るのに用いる
Iフレームで引起こされる小さなエラーに対して感度が
よい。
【0047】図6は、DVTRに使用するためソニー株
式会社の提案に従って作成されたフォーマットを有し
「ベータカムSX」として知られる、MPEG2符号化
信号を示す。ベータカムSX信号は、2フレームのGO
Pを有し、各GOPは夫々1つのIフレームとBフレー
ムを含んでいる。
【0048】図7は、本発明による信号処理装置を示
す。同図は、動きベクトル値MV、量子化スケーリング
値QV 及びフレーム種類I,B,Pの識別に関するデー
タをデジタル・ビットストリームから抽出するシンタク
ス検出器70に上記SX信号が加えられるコーデックを
示している。
【0049】かような検出器は、当業者に知られてお
り、シンタクスは制御及びタイミング回路75に加えら
れ、該回路はコーデックの量子化を制御する。SX信号
は、エントロピ復号器71でエントロピ復号されてから
「逆量子化器」72に供給され、これにまた各フレーム
に対する量子化レベルQV が供給される。
【0050】逆量子化された信号はそれから、逆DCT
ユニット73で逆離散コサイン変換を受け、次いでBフ
レーム復号器74に送られる。Bフレーム復号器74
は、制御回路75からフレーム識別信号と、復号しよう
とするフレームに適切な動きベクトルMVとを受ける。
【0051】Iフレームは、逆DCTユニット73から
出力されるに従い、1つのIフレーム及び1つのBフレ
ームに対応する遅延時間を有する遅延線741を経て出
力される。Iフレームは、既に完全に復号されているの
で、変わらない。Iフレームは、当業者に公知の如く、
予測フレーム発生器742内のメモリに記憶される。I
フレーム及び動きベクトルは、それらの間のBフレーム
を予測したものを再発生するために使用される。予測フ
レームはそれから、加算器743でBフレームに加算さ
れ、Bフレームを復号する。
【0052】加算器743の出力は、ビデオ情報のフレ
ームを表す、復号されたベースバンドのデジタル・ビッ
トストリームである。このベースバンド・ビットストリ
ームはそれから、例えば図1に示したようなMPEG2
符号化器76でIフレームに符号化される。該符号化器
76は、図7に示す如く、DCTユニット761、量子
化器762及びエントロピ符号化器763を含んでもよ
い。時間的冗長性低減は、Iフレームに対しては必要な
い。その符号化は、すべてのフレームがIフレームに符
号化されるように制御される。各Iフレームの量子化
は、制御回路75により、対応する元のフレームと同じ
量子化レベルをもち、対応する元のフレームと同じ動き
ベクトルをもつように制御される。制御回路75は、符
号化器76とそのシンタクス挿入器764とを、元の量
子化レベルQV が各フレームで維持され、Bフレームか
ら導出されたIフレームの動きベクトルがコンシールメ
ンド・ベクトルとしてIフレームに付随するように制御
する。
【0053】最初Iフレームであったフレームをベース
バンドに復号し、再びIフレームに符号化することに留
意されたい。これは理論的には不必要であるが、上述し
た如く、Iフレームの最初の画像内容が変わらない限
り、Iフレームをベースバンドに復号し再符号化するこ
とを何度繰返しても損失を無視できることが分かってい
る。また、ビットストリームを、I及びBフレームに分
けないで図7の復号器/符号化器に通すこともできる
が、Bフレームの復号にはどうしてもIフレームが必要
である。したがって、Iフレームをベースンバンドに復
号し再びIフレームに符号化することは、Bフレームを
も復号するのに必要な余分の処理を含まず、好都合で損
失が殆どない方法である。
【0054】図8は、本発明を用いる編集装置を示す。
I及びBフレームより成るMPEG2符号化信号の信号
源は、この例では、ベータカムSXレコーダの如きデジ
タル・ビデオテープレコーダ(DVTR)80である。
DVTR80は、一定のフォーマットを有する所定のテ
ープにデジタル信号を記録する。かようなフォーマット
の決まった媒体は、I及びBフレームに対する最大ビッ
トレートが既知で一定の場合、SX符号化信号に適して
いる。このDVTRのI/B出力は、例えば図7に示し
た如きコーデック81で完全に復号されてI符号化され
る。
【0055】コーデック81のI符号化出力は、磁気デ
ィスク(ハードディスクと呼ぶことが多い。)の如き柔
軟性のあるフォーマットをもつディスクメモリ82に記
録される。柔軟性のあるフォーマットが必要な理由は、
最初設定された量子化レベルでBとして符号化されたフ
レームのデータ内容が、同じ量子化レベルでIとして再
符号化されると、データで表そうとする画像に応じて変
化するからである。
【0056】編集は、ベースバンドで行われる。そのた
め、I復号器83を設けてメモリに記憶されたIフレー
ムをベースバンドに復号する。業界で公知の編集器84
は、メモリ82を制御し、これから編集しようとするビ
デオシーケンスを読取る。編集が終わると、ベースバン
ド・ビデオシーケンスを、I符号化器76によりIフレ
ームに再符号化して再びディスク82に記憶させる。こ
れは、上述したとおり、Iフレームの符号化及び再符号
化の過程が、簡単な編集の場合、殆ど無損失であるため
行うことができる。
【0057】編集されたIフレームのシーケンスは、最
初のI/B形式でDVTR80に記憶させてもよい。そ
のためには、Iフレームをディスク82から読出し、I
復号器83でベースバンドに復号し、符号化器85でI
/Bフレームに再符号化することになる。
【0058】上述の説明は、編集がただカット及び(又
は)シーケンス挿入を含むものと仮定して行ったが、そ
れらは、編集後シーケンスを変えるものの個々のフレー
ムの内容を変えるものではない。
【0059】図9は、クロスフェードを示すものであ
る。信号Aの一部は編集後信号Cの最初の部分となり、
信号Bの一部は編集後信号の3番目の部分となるが、こ
れら第1及び第3部分の間の信号Cの2番目の部分はク
ロスフェード、即ち信号AとBが混じった部分である。
このクロスフェード部分は実効的に新しい信号であり、
個々のフレームの内容は、A及びB両信号の、それらか
ら導出された対応するフレームとは異なっている。混合
の結果生じたものは、Iフレームの新しいシーケンスと
してハードディスク82に記憶させ、テープに記録する
際に新しいSXビットストリームの中に記録する。
【0060】以上、本発明の実施形態を、Iフレーム及
びBフレームより成る2フレームのGOPに関連して説
明したが、本発明は、I及びPフレーム又はI,B及び
Pフレームを含むもっと大きい長さのGOPにも適用で
きるものである。
【0061】
【発明の効果】以上説明したとおり、本発明によれば、
制作後処理(復号、編集及び再符号化を含む。)によっ
て生じるデータ損失が極めて少なく、したがって画質の
低下も極めて小さいデジタル符号化信号処理方式を提供
することができる。
【図面の簡単な説明】
【図1】MPEG2符号化信号の階層構造の各層を示す
図である。
【図2】MPEG符号化器の簡略ブロック図である。
【図3】図2の符号化器により生成される画像グループ
(GOP)の模式図である。
【図4】種々の画像に対する、複数回の復号及び再符号
化を受けるI及びBフレームに関する再構成エラーと世
代数との関係を示す曲線図である。
【図5】図4の結果の説明に役立つ模式図である。
【図6】MPEG2符号化信号を示す簡略図である。
【図7】本発明による信号処理装置を示す模式ブロック
図である。
【図8】図7の信号処理装置を用いる編集システムの模
式ブロック図である。
【図9】編集例(クロスフェード)を示す説明図であ
る。
【符号の説明】
70〜76 変換手段、70〜74 復号器、75 制
御手段、76 イントラ符号化器、82 記憶手段(デ
ィスク記録再生器)、84 編集手段、85ベースバン
ド・フレーム符号化器

Claims (11)

    【特許請求の範囲】
  1. 【請求項1】 イントラ符号化フレームと、夫々の量子
    化レベル及び夫々の動きベクトルが付随するインター符
    号化フレームとを含むデジタル符号化信号を処理する方
    法であって、 上記インター符号化フレームを、上記夫々の量子化レベ
    ルを不変に保持しながらイントラ符号化フレームに変換
    するステップを含む上記の方法。
  2. 【請求項2】 更に、上記変換された夫々のフレームに
    関連して上記動きベクトルを保持するステップを含む請
    求項1の方法。
  3. 【請求項3】 インター符号化フレームから変換された
    イントラ符号化フレームを含む上記イントラ符号化フレ
    ームをベースバンドに復号し、該ベースバンド・フレー
    ムをイントラ符号化フレームに再符号化するステップを
    更に含む請求項1又は2の方法。
  4. 【請求項4】 上記ベースバンド・フレームを編集し、
    この編集されたベースバンド・フレームをイントラ符号
    化フレームに再符号化するステップを更に含む請求項3
    の方法。
  5. 【請求項5】 上記変換するステップは、上記イントラ
    符号化フレーム及びインター符号化フレームをベースバ
    ンドに復号し、該ベースバンド・フレームをイントラ符
    号化フレームとして再符号化することを含む請求項1,
    2,3又は4の方法。
  6. 【請求項6】 イントラ符号化フレームと、夫々の量子
    化レベルが付随するインター符号化フレームとを含むデ
    ジタル符号化信号を処理する装置であって、上記インタ
    ー符号化フレームを、上記夫々の量子化レベルを不変に
    保持しながらイントラ符号化フレームに変換するように
    構成された変換手段を具えた上記の装置。
  7. 【請求項7】 上記変換手段は更に、上記変換された夫
    々のフレームに関連して上記動きベクトルを保持するよ
    うに構成された請求項6の装置。
  8. 【請求項8】 上記変換手段は、上記イントラ符号化フ
    レーム及び上記インター符号化フレームをベースバンド
    に復号するよう構成された復号器と、上記ベースバンド
    ・フレームをイントラ符号化フレームとして符号化する
    ように構成された符号化器と、上記の復号及び符号化を
    制御して上記フレームの量子化レベルを不変に保持する
    と共に、上記符号化器によって生成されインター符号化
    フレームから導出されたイントラ符号化フレームに関連
    して上記動きベクトルを保持する制御手段とを具える請
    求項7の装置。
  9. 【請求項9】 更に、上記ベースバンド・フレームを編
    集する手段を有し、その編集されたベースバンド・フレ
    ームを符号化する符号化器が配置された請求項6,7又
    は8の装置。
  10. 【請求項10】 更に、インター符号化フレームから変
    換された上記イントラ符号化フレームを含むイントラ符
    号化フレームを記憶する手段を有する請求項6,7,8
    又は9の装置。
  11. 【請求項11】 上記記憶手段は、ディスク記録再生器
    である請求項10の装置。
JP27739297A 1996-10-09 1997-10-09 符号化装置、符号化方法、復号装置及び復号方法 Expired - Fee Related JP4351746B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
GBGB9621067.9A GB9621067D0 (en) 1996-10-09 1996-10-09 Processing digitally encoded signals
GB9621067:9 1997-07-28
GB9715917A GB2318246B (en) 1996-10-09 1997-07-28 Processing digitally encoded signals
GB9715917:2 1997-07-28

Publications (3)

Publication Number Publication Date
JPH10145798A true JPH10145798A (ja) 1998-05-29
JPH10145798A5 JPH10145798A5 (ja) 2005-06-23
JP4351746B2 JP4351746B2 (ja) 2009-10-28

Family

ID=26310190

Family Applications (1)

Application Number Title Priority Date Filing Date
JP27739297A Expired - Fee Related JP4351746B2 (ja) 1996-10-09 1997-10-09 符号化装置、符号化方法、復号装置及び復号方法

Country Status (3)

Country Link
US (1) US6160844A (ja)
JP (1) JP4351746B2 (ja)
GB (1) GB2318246B (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005253092A (ja) * 1999-02-09 2005-09-15 Sony Corp コーディングシステム及び方法、符号化装置および方法、復号化装置及び方法、記録装置及び方法、ならびに再生装置及び方法
JP2007060708A (ja) * 1999-02-09 2007-03-08 Sony Corp ストリーム記録装置およびストリーム記録方法、ストリーム再生装置およびストリーム再生方法、ストリーム伝送装置およびストリーム伝送方法、並びに、プログラム格納媒体
USRE43043E1 (en) 1994-03-29 2011-12-27 Sony Corporation Picture signal transmitting method and apparatus
US8170118B2 (en) 1999-12-03 2012-05-01 Sony Corporation Information processing apparatus, information processing method and recording medium
JP2013504936A (ja) * 2009-09-10 2013-02-07 アップル インコーポレイテッド デジタルビデオレコーダのための動画像フォーマット
US8638849B2 (en) 1998-03-10 2014-01-28 Sony Corporation Transcoding system using encoding history information
US8681868B2 (en) 1999-02-09 2014-03-25 Sony Corporation Coding system and method, encoding device and method, decoding device and method, recording device and method, and reproducing device and method

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4666695B2 (ja) * 1996-07-15 2011-04-06 アムストラ.インベストメンツ フォー ケイ.ジー.,リミテッド ライアビリティ カンパニー ビデオ信号圧縮処理方法
US6163573A (en) * 1996-12-12 2000-12-19 Sony Corporation Equipment and method for compressing picture data
US6594311B1 (en) * 1997-10-20 2003-07-15 Hitachi America, Ltd. Methods for reduced cost insertion of video subwindows into compressed video
GB2339101B (en) 1998-06-25 2002-09-18 Sony Uk Ltd Processing of compressed video signals using picture motion vectors
FI113124B (fi) * 1999-04-29 2004-02-27 Nokia Corp Tiedonsiirto
US6625322B1 (en) * 1999-06-08 2003-09-23 Matsushita Electric Industrial Co., Ltd. Image coding apparatus
US20030099293A1 (en) * 1999-12-15 2003-05-29 Shigeyuki Okada Image reproducing method, and image processing method, and image reproducing device, image processing device, and television receiver capable of using the methods
JP2001218213A (ja) * 2000-01-31 2001-08-10 Mitsubishi Electric Corp 画像信号変換符号化装置
JP2002152759A (ja) * 2000-11-10 2002-05-24 Sony Corp 画像情報変換装置および画像情報変換方法
KR100433516B1 (ko) * 2000-12-08 2004-05-31 삼성전자주식회사 트랜스코딩 방법
US20020122491A1 (en) * 2001-01-03 2002-09-05 Marta Karczewicz Video decoder architecture and method for using same
US6765963B2 (en) * 2001-01-03 2004-07-20 Nokia Corporation Video decoder architecture and method for using same
US6920175B2 (en) * 2001-01-03 2005-07-19 Nokia Corporation Video coding architecture and methods for using same
JP3832567B2 (ja) * 2001-03-07 2006-10-11 日本電気株式会社 番組記録装置及び方法
JP3548136B2 (ja) * 2001-06-01 2004-07-28 三洋電機株式会社 画像処理装置
GB0116119D0 (en) * 2001-06-30 2001-08-22 Koninkl Philips Electronics Nv Transcoding of video data streams
GB2378601B (en) * 2001-08-08 2004-03-31 Motorola Inc Video transmission system,video transmission unit and method of communicating video data
US7693220B2 (en) * 2002-01-03 2010-04-06 Nokia Corporation Transmission of video information
KR100458878B1 (ko) * 2002-05-03 2004-12-03 학교법인 경희대학교 Fec 코딩 방식에 기초한 가변길이 패킷 송수신 방법
US7469012B2 (en) * 2002-05-14 2008-12-23 Broadcom Corporation System and method for transcoding entropy-coded bitstreams
US7227998B2 (en) * 2002-06-11 2007-06-05 Canon Kabushiki Kaisha Image processing apparatus, control method of the same, computer program, and computer-readable storage medium
US7079578B2 (en) * 2002-10-28 2006-07-18 Scopus Network Technologies Ltd. Partial bitstream transcoder system for compressed digital video bitstreams
JP4189952B2 (ja) * 2002-11-22 2008-12-03 株式会社リコー 符号化復号化装置、符号化復号化用プログラム及び記憶媒体
JP4196726B2 (ja) * 2003-05-14 2008-12-17 ソニー株式会社 画像処理装置および画像処理方法、記録媒体、並びに、プログラム
NO318973B1 (no) * 2003-07-01 2005-05-30 Tandberg Telecom As Fremgangsmate for stoyreduksjon
JP4470431B2 (ja) * 2003-10-01 2010-06-02 ソニー株式会社 データ処理装置およびその方法
KR100941123B1 (ko) * 2003-10-09 2010-02-10 톰슨 라이센싱 에러 은닉을 위한 직접 모드 도출 프로세스
JP2005204273A (ja) * 2003-12-15 2005-07-28 D & M Holdings Inc Avシステム及びav機器並びに映像信号出力方法
US8102916B1 (en) * 2006-01-12 2012-01-24 Zenverge, Inc. Dynamically changing media compression format in compressed domain
US7830800B1 (en) 2006-01-12 2010-11-09 Zenverge, Inc. Architecture for combining media processing with networking
US8311114B1 (en) 2006-12-06 2012-11-13 Zenverge, Inc. Streamlined transcoder architecture
JP5142373B2 (ja) * 2007-11-29 2013-02-13 パナソニック株式会社 再生装置
US8401086B1 (en) * 2007-12-21 2013-03-19 Ciena Corporation System and method for increasing responsiveness to requests for streaming media
WO2009097284A1 (en) * 2008-02-01 2009-08-06 Zenverge, Inc. Intermediate compression of reference frames for transcoding
US8265168B1 (en) 2008-02-01 2012-09-11 Zenverge, Inc. Providing trick mode for video stream transmitted over network
CN101931819B (zh) * 2009-06-26 2012-12-26 宏碁股份有限公司 时间性错误隐藏方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2969782B2 (ja) * 1990-05-09 1999-11-02 ソニー株式会社 符号化データ編集方法及び符号化データ編集装置
EP0509576B1 (en) * 1991-04-18 1998-01-28 Ampex Systems Corporation Method and apparatus for determining a quantizing factor for processes involving multiple compression/decompression of data
JP3282260B2 (ja) * 1993-01-18 2002-05-13 ソニー株式会社 画像再生装置及び方法
US5587806A (en) * 1993-03-26 1996-12-24 Matsushita Electric Industrial Co., Ltd. Apparatus for separately recording input coded video signal and important data generated therefrom
KR950014858B1 (ko) * 1993-06-04 1995-12-16 대우전자주식회사 디지탈 영상 기록장치
DE69422960T2 (de) * 1993-12-01 2000-06-15 Matsushita Electric Industrial Co., Ltd. Verfahren und Vorrichtung zum Editieren oder zur Mischung von komprimierten Bildern
US5577191A (en) * 1994-02-17 1996-11-19 Minerva Systems, Inc. System and method for digital video editing and publishing, using intraframe-only video data in intermediate steps
EP0702493A1 (en) * 1994-09-19 1996-03-20 International Business Machines Corporation Interactive playout of videos
US5617142A (en) * 1994-11-08 1997-04-01 General Instrument Corporation Of Delaware Method and apparatus for changing the compression level of a compressed digital signal
US5485611A (en) * 1994-12-30 1996-01-16 Intel Corporation Video database indexing and method of presenting video database index to a user
GB2301973B (en) * 1995-06-06 1999-10-20 Sony Uk Ltd Motion compensated video processing
GB2301970B (en) * 1995-06-06 2000-03-01 Sony Uk Ltd Motion compensated video processing

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USRE43043E1 (en) 1994-03-29 2011-12-27 Sony Corporation Picture signal transmitting method and apparatus
USRE43238E1 (en) 1994-03-29 2012-03-13 Sony Corporation Picture signal transmitting method and apparatus
US8638849B2 (en) 1998-03-10 2014-01-28 Sony Corporation Transcoding system using encoding history information
US8687690B2 (en) 1998-03-10 2014-04-01 Sony Corporation Transcoding system using encoding history information
JP2005253092A (ja) * 1999-02-09 2005-09-15 Sony Corp コーディングシステム及び方法、符号化装置および方法、復号化装置及び方法、記録装置及び方法、ならびに再生装置及び方法
JP2007060708A (ja) * 1999-02-09 2007-03-08 Sony Corp ストリーム記録装置およびストリーム記録方法、ストリーム再生装置およびストリーム再生方法、ストリーム伝送装置およびストリーム伝送方法、並びに、プログラム格納媒体
US8681868B2 (en) 1999-02-09 2014-03-25 Sony Corporation Coding system and method, encoding device and method, decoding device and method, recording device and method, and reproducing device and method
US8170118B2 (en) 1999-12-03 2012-05-01 Sony Corporation Information processing apparatus, information processing method and recording medium
JP2013504936A (ja) * 2009-09-10 2013-02-07 アップル インコーポレイテッド デジタルビデオレコーダのための動画像フォーマット

Also Published As

Publication number Publication date
US6160844A (en) 2000-12-12
GB2318246B (en) 2000-11-15
GB2318246A (en) 1998-04-15
GB9715917D0 (en) 1997-10-01
JP4351746B2 (ja) 2009-10-28

Similar Documents

Publication Publication Date Title
JP4351746B2 (ja) 符号化装置、符号化方法、復号装置及び復号方法
JP3019912B2 (ja) 画像データ編集装置
JP3493872B2 (ja) 画像データ処理方法およびその装置
KR100365259B1 (ko) 화상 처리 방법
US6574274B2 (en) Picture signal processing system, decoder, picture signal processing method, and decoding method
JP2000278692A (ja) 圧縮データ処理方法及び処理装置並びに記録再生システム
EP0928111A2 (en) Video and audio digital recording and playback apparatus and method therefor
GB2318472A (en) Generating inter-frame encoded video signals
WO2002032146A1 (en) Transcoding progressive i-slice refreshed mpeg data streams to enable trick play
JP2002158969A (ja) 動画像符号化データ変換装置及びその方法
JP3147792B2 (ja) 高速再生のためのビデオデータの復号化方法及びその装置
JP4342139B2 (ja) 信号処理装置
EP0524792A2 (en) Decoding apparatus for a compressed digital video signal
JPH0750840A (ja) 符号記録装置
JPH06253331A (ja) 可変長符号化信号に対応した編集装置
US6498896B1 (en) Recording apparatus able to control the recording of compressed image pictures so that pictures which are necessary to restore the last pictures are recorded
JPH0918830A (ja) 映像編集装置
JP4573511B2 (ja) トランスコーダ、トランスコーディング方法、データ記録装置及び方法、並びに放送データ受信・記録装置
JPH09294263A (ja) 画像情報圧縮装置
JP3427505B2 (ja) 画像符号化方法と編集装置
JPH0888854A (ja) 動画像符号化方式
US20040101051A1 (en) Image processing apparatus and method for processing motion-picture data and still-image data
JP4487196B2 (ja) 記録装置及びその制御方法
JP3548167B2 (ja) 画像処理装置
JPH09298711A (ja) 画像情報記録再生装置の編集用圧縮画像データの発生装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041007

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041007

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061017

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080304

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080602

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080624

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080805

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090707

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090727

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120731

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120731

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130731

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees