JPH09509036A - エンコーダシステムのレベルバッファ管理 - Google Patents

エンコーダシステムのレベルバッファ管理

Info

Publication number
JPH09509036A
JPH09509036A JP8518531A JP51853196A JPH09509036A JP H09509036 A JPH09509036 A JP H09509036A JP 8518531 A JP8518531 A JP 8518531A JP 51853196 A JP51853196 A JP 51853196A JP H09509036 A JPH09509036 A JP H09509036A
Authority
JP
Japan
Prior art keywords
buffer
segment
image
encoder
decoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP8518531A
Other languages
English (en)
Other versions
JP3758677B2 (ja
Inventor
サイモン ブランチャード
Original Assignee
フィリップス エレクトロニクス ネムローゼ フェンノートシャップ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フィリップス エレクトロニクス ネムローゼ フェンノートシャップ filed Critical フィリップス エレクトロニクス ネムローゼ フェンノートシャップ
Publication of JPH09509036A publication Critical patent/JPH09509036A/ja
Application granted granted Critical
Publication of JP3758677B2 publication Critical patent/JP3758677B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23406Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving management of server-side video buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115Selection of the code volume for a coding unit prior to coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/152Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8541Content authoring involving branching, e.g. to different story endings
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

(57)【要約】 ビデオデコーダのクリップを符号化して、これを関連するオーディオ及び制御データと一緒にシステムレベルのストリーム内に多重化するシステムを提供する。エンコーダバッファの占有レベルとデコーダバッファの占有レベルとの関係を導出し、且つバッファ充填速度を考慮して、マルチプレクサはビデオシステム層のバッファ(MPEG STD)に対する開始占有値をデータビデオバッファ(MPEG VBV)に対する開始占有値に目標設定する。充填速度を承知して、デコーダバッファは、復号化のためのクリップの読み出し前に、バッファを完全に充填するのではなく、所定のレベルに充填する必要があるだけであり、この場合にビデオクリップのシームレス接合は簡単に達成することができる。この技法は連続表示が要求される対話式のマルチメディアシステムに特に有用である。

Description

【発明の詳細な説明】 エンコーダシステムのレベルバッファ管理 本発明はオーディオ及びビデオ信号の符号化に関するものであり、特にオンザ フライ式に一緒に接合し得るオーディオ及びビデオ資料のセグメントの生成に関 するものである。 通常は、2つのビデオクリップを順に再生する必要がある場合に、デコーダを 第2クリップの復号化前に開始状態にリセットする必要がある。このリセット期 間中、ユーザはスクリーン上に固定された第1クリップの最終フレームを、それ に付随する可聴音を消して見ることになる。このようなとぎれはユーザに不快感 を与える。 従って、1つのクリップの終了個所と次のクリップの開始個所との間の遷移が デコーダに認識されないようにビデオクリップをシームレスに接合する必要があ る。このことは、ユーザの観点からすると、視聴フレームレートに知覚できる変 化がなくて、しかもオーディオが中断せずに連続することを意味する。シームレ スビデオのアプリケーションは多数ある。CD−i透視の例に、コンピュータ生 成キャラクタ用のホト−リアルバックグラウンドを用いるものがある。この技法 の使用例ではアニメーションのキャラクタをMPEG符号化ビデオ系列の前に走 行させる。他の例として、視聴者が利用可能な他のシナリオを選択することによ って映画の筋の展開を変えることのてきる対話式映画のような一連のキャラクタ −ユーザインタラクションがある。ユーザが対話式映画にて選択を行う筋書の分 岐点はシームレス個所に現われるようにすべきであり、そのようにしないと、ユ ーザは鑑賞中の映画に関連する疑惑のサスペンスを失うことになる。 ビデオ信号のセグメントを符号化するのに、デコーダの再初期設定を必要とし ない方法は、本出願人による1994年12月2日出願の“ビデオ編集バッファ の管理”なる名称の英国特許出願第9424436.5号に開示されている。こ の方法では、デコーダのバッファレベルを目標値に定めて、各ビデオクリップの 終了時におけるデコーダバッファの占有値に一貫性を持たせると共に連続するク リップをデコーダバッファにオーバフロー又はアンダーフローを生じることなく 直接接合し得るように各セグメントの開始点を予測し得るようにする。 上述した方法は、ビデオフレームの系列にとっては好適であるも、この方法は 通常ビデオフレームに付随する他の情報、例えばオーディオサウンドトラックに ついては何等考慮していない。ビデオ信号は一般に他の情報と一緒にシステムス トリームと称される単一のストリーム内にインタリーブされ、このストリームは デコーダ/ディスプレイ装置に与えられるデータ(例えば、コンパクトディスク から読取られるデータストリーム又はケーブルネットワークを経て伝送されるデ ータストリーム)を構成する。 従って、本発明の目的はシステムストリームのセグメントをシームレスに接合 すると共にデコーダバッファのオーバフロー又はアンダーフローをなくすことに ある。 本発明は、符号化段と、エンコーダバッファと、符号化したビデオ信号を少な くとも1つの他の信号とインタリーブさせてシステムストリームを形成するイン タリービング手段とを有しているエンコーダ装置にて、ディジタルビデオ信号を 各々が2つ以上の画像を含むセグメント形態に符号化する方法であって、各セグ メントに対して該方法が:セグメントの画像を予定したコード構成に従って順次 符号化する過程と;符号化した画像をバッファに読み込む過程と;符号化したセ グメントをほぼ一定のビットレートにてバッファから読み取る過程と;バッファ の出力信号をシステムストリーム内にインタリーブする過程とを含むディジタル ビデオ信号符号化方法において、第1セグメントの最終画像がエンコーダバッフ ァに読み込まれた瞬時におけるエンコーダバッファの占有値が、デコーダバッフ ァの占有レベルに関連する第1予定レベルとなるように制御され、デコーダバッ ファを一定のビット速度にて前記デコーダバッファの占有レベルにまで満たすの に要する時間を導出し、且つ次のセグメントのローディングが開始した後の時点 に前記次のセグメントの第1画像をデコーダバッファから読み出すべき旨を示す タイムスタンプを前記次のセグメントのシステムストリーム内に挿入することを 特徴とする。 後に立証するように、受信したセグメントの復号化をデコーダが開始する瞬時 を導出することによりセグメントをシステムストリームのレベルでスムースに接 合することができる。又、デコーダバッファの目標レベルは、エンコーダバッフ ァの内容に基づいて計算したレベルであるので、復号化を開始する前にデコーダ バッファをできるだけいっぱいに満さなければならない通常の技法は避けられる 。 好ましくは共通のデコーダバッファレベル(従って、タイムスタンプの位置付 け)を用意する。これは第1セグメントの画像を符号化するのに用いられる目標 ビット数を設定すると共に、符号化中の各画像当りの割当てビット数を可制御的 に変えて、セグメントの終了時に前記エンコーダバッファの占有レベルに達する ようにすることにより達成することができる。 後に説明するように、デコーダバッファのレベルを規定するためには、エンコ ーダバッファの最大占有レベルが指定され、且つデコーダバッファの占有レベル が、第1セグメントの最終画像をエンコーダバッファに読み込んだ後の1フレー ム期間を前記最大レベルとエンコーダバッファの占有レベルとの差として規定さ れるようにするのが好適である。 本発明はさらに、各セグメントが2つ以上の画像を含む映像セグメントの符号 化用に構成したディジタルビデオ信号符号化装置であって、該装置が:各セグメ ントの連続画像を受け取って、これらの画像を予定したコード構成に従って符号 化すべく構成した符号化段と;前記符号化段からの連続符号化画像を受け取るべ く結合され、且つ符号化セグメントをほぼ一定のビットレートにて出力すべく構 成したバッファと;前記バッファの出力および少なくとも1つの他の信号を受信 すべく結合され、且つこれらをシステムストリーム内にインタリーブすべく構成 したマルチプレクサと;を具えているディジタルビデオ信号符号化装置において 、前記符号化段がセグメントの画像を制御可能な可変ビット数に符号化すべく作 動することができ、前記符号化装置がさらに、第1セグメントの最終画像がエン コーダバッファに読み込まれる瞬時に、エンコーダによって用いられるビット数 を、予定したエンコーダバッファの占有値を生成するように制御すべく構成した 目標設定手段と、前記予定した占有値に基づいてタイミング値を導出すると共に 、デコーダバッファ内への次のセグメントのローディングが開始した時点からの タイミング値によって与えられる遅延に引き続いて、前記次のセグメントの第1 画像をデコーダバッファから読み出すべき旨を示すタイムスタンプを前記次のセ グメントのシステムストリーム内に挿入すべく作動し得るタイムスタンプ手段と を具えていることを特徴とする。 目標設定手段は、上述したようにセグメントのK個の最終画像に対し1画像当 りのビット数を制御するように構成するのが好適であり、又符号化段は画像を符 号化するのに特定ビット数よりも少ないビット数を必要とする場合にゼロ値のビ ットを詰め込むように構成するのが好適である。 本発明にはさらに、上述した方法によって符号化されるディジタルビデオ映像 信号並びにこのような信号を別々にアドレスし得るセグメント形態にて包含する 光ディスクを提供するものである。 次に本発明を図面を参照し説明する。 図1は2つのビデオクリップの接合部におけるエンコーダ及びデコーダバッフ ァの内容を示し、 図2はデコーダビデオバッファの占有値とシステムバッファの占有値との関係 を示し、 図3〜図5は通常のシステムで、しかも目標としたクリップの最初と最後にお けるデコーダビデオバッファの内容及びシステムバッファの内容をそれぞれ示し 、 図6及び図7は目標としたオーディオクリップの最初と最後におけるオーディ オバッファの内容をそれぞれ示し、 図8及び図9はエンコーダ及びデコーダ装置をそれぞれ概略的に示したもので ある。 以下の説明はMPEG標準規格に従って作動するエンコーダ及びデコーダに関 するものであり、以後これらの標準規格による通常の用語を用いるものとする。 しかし、本発明の用途がMPEG標準規格に制約されないことは当業者に明らか である。 いずれの符号化標準規格も、エンコーダ及びデコーダを如何にして互いにイン タフェースさせるかのモデルを用いて開発する必要がある。エンコーダは作動し 続けるので、エンコーダはこれがデコーダを決してイリーガルな状態にしないよ うに、デコーダにて起ることをモデル化する必要がある。同様に、デコーダはエ ンコーダにて用いられるモデルと同じものをサポートして、このエンコーダがリ ーガル状態に留まり、しかも出力を所定のエンコーダへ発生する必要がある。M PEGはこうした規則に従うものである。 先ず、シームレスに接合し得るビデオデータだけのセグメントの生成法につき 考察する。このセグメント生成の好適な方法は本出願人による前記英国特許願第 9424436.5号に記載されており、この方法を以下図1を参照して手短に 説明する。図1は時間tに対するバッファの占有値Bの特性を示したものであり 、これは1つのビデオフレーム(画像)系列Aが終了して、別のビデオフレーム 系列Bが開始するときに起生するエンコーダ及びデコーダのバッファ状態を示し ている。LAは系列Aの最終画像を示し、FBは系列Bの第1画像を示す。系列 Aから系列Bへのデータの転送変化をバッファ占有ラインの太さの変化で示し、 鎖線は系列Aからの画像を示す。或る時間txにて、系列Aに対する全てのデー タが転送し終り、VBV(ビデオバッファリング検証装置−MPEGデコーダモ デル)はBxビットの占有値を有する。この時点からバッファへ転送される全て のデータは系列Bに対するものとなる。なお、系列Aの終了後にバッファ内には まだ幾つかの画像を存在するが、これらの画像はバッファがBlビットの占有値 を有する時点までには全て除去される。 エンコーダは、それがVBVバッファに所定の占有値を達成させるようとする 際に、目標設定として既知のプロセスを実行する。この目標設定のプロセス中に 、エンコーダはそれが符号化した第1画像をバッファに格納する際に、VBVバ ッファが所定の目標占有値を有するようにする。これは第1画像の大きさに上限 値を定める。符号化の実行終了時にエンコーダは、次の系列に対する第1画像が バッファから除去される直前の時点、つまり図1の時点BxにおけるVBV占有 値を目標に定める。エンコーダはそれが画像を符号化する際に、最終画像又は最 後の数画像の大きさを変えることによってこの状態を目標設定する。 図1に示す例では、エンコーダは状態Btを目標設定する。この状態は新規の 系列の第1画像が除去される直前の時点におけるVBVバッファの占有値を示す 。エンコーダが動作する際、このエンコーダは一般にデコーダとは直接係わりが ないため、VBVバッファ状態への及びそれからの変換というよりもむしろ、そ の出力バッファに基いて画像の大きさを管理する。従って、下記の記載はBtc及 びBlcに関するものである(図1の上部のエンコーダ占有値参照)。 開始状態を目標に定める場合に、エンコーダはそれが第1画像を取り入れる時 点にそのバッファに所定の占有値をとらせるものとする。このバッファ占有値が Btcビットであり、これは前の系列の終了時点からの残留ビットを表わす。こう した残留ビットの存在はBtビットとすべき第1画像の最大の大きさを制限し、 時間ttcの後に全てのビットが除去されるまでの後の画像の大きさに影響を及ぼ し続ける。 エンコーダの観点からして、開始状態で目標を定めることは極めて簡単なこと であり、これはエンコーダの初期占有値を通常の空の開始状態と云うよりむしろ Btcビットに設定するだけで済むからである。 エンコーダの処理が或る系列の終りに近づくと、このエンコーダは最終画像を バッファ内に格納する際に占有値がBlcビットに増加するような大きさにその最 終画像の大きさを定めることにより点B1cを目標に定めようとする。エンコーダ は、最終画像に対する大きさだけを大きくしようとする場合には品質の極めて劣 る画像を生成することになる。こうしたことをなくすために、エンコーダには最 終GOP(画像のグループ)に対する目標ビット数及びGOP内のK個の各画像 に対する目標ビット数を持たせて、エンコーダが漸次正しい状態に近づくように するのが好適である。 システム層について考察するに、これはマルチプレクサがビデオ、オーディオ 及び他の基本ストリームを1つのシステムストリームに合成する際に生成される 。システムストリームはインタリーブされた基本ストリーム及びタイミング情報 をシステムクロックレファレンス(SCR)、プレゼンテーションタイムスタン プ(PTS)及びデコーディングタイムスタンプ(DTS)の形態にて包含する 。 マルチプレクサの作動は、データをシステムストリームからデコーダのバッフ ァへ、これらのバッファが決して完全には空にならないような十分な速さで、し かも前記バッファが決してオーバフローしないような速度にて転送することにあ る。MPEG標準規格はディジタル記憶媒体(DSM)からデコーダへのデータ の転送をモデル化するのに用いられるシステム目標デコーダ(STD)と称する バッファを規定している。このバッファの目的は、データをインイリーブするた めに、デコーダへのデータの転送がバースト単位で行われるも、デコーダのパフ ォーマンスモデルが一定のビットレートを呈すると云うことをマスクすることに ある。ビデオ及びオーディオストリームを多重化するための通常の戦略は、例え ばSTDバッファをできるだけいっぱいに満たすことによって開始する。こうし て作った最終パックのSCRは適当な値に設定され、この時点にバッファから第 1画像が除去されるようにする。次に、前のパックのSCRが正しい値に設定さ れ、これはこれらのSCRがやがて前記最終パックの先頭に達するからである。 最終的に、バッファは基本ストリームからのデータが全て消費されるまでできる だけいっぱいの状態に維持される。 多重動作は多少複雑となり、これはマルチプレクサが多重ストリームとジャッ グルしなければならないからである。又、マルチプレクサはそれが目標プラット ホームを規定しているので、システムストリームの明細を満たすのに必要とされ るいずれの追加の特徴も支援する必要がある。 STDバッファは図2に示すようにVBVバッファを囲むものと想定すること ができる。この図はSTDとVBVとの関係を簡単に示したものである。図2に はVBVバッファを囲むSTDバッファの占有値(太線)を示してある。ここで 注意すべき点は、STDバッファの占有値の線の傾斜がVBVの線の傾斜よりも 大きいことである。これはDSMのビットレートが符号化ビデオ信号のビットレ ートよりも速いからである。Qで示した時間にはSTDにデータが転送されない ことも明らかである。こうしたことが起る理由は、DSMの帯域幅が他の基本ス トリームによって引継がれるか、或いはバッファ管理が行われるためにマルチプ レクサがデータをSTDへ転送しなくしたりするからである。 図3は通常の、即ち目標設定しないストリームの復号化開始時にVBV及びS TDの占有値がどのようになるかを示したグラフである。このグラフでは判り易 くするために、画像が2つのバッファから除去される時間(システム−ティック )を互いに同期をとって示してある。VBVはデータ転送開始時間のコンセプト を有さず、VBV遅延に基づく画像除去時間のコンセプトを有するだけである。 グラフを並べるために、この図ではVBVのサンプル時間に一定のオフセットを 与えてある。 図3から明らかなように、マルチプレクサ及びエンコーダはクリップの開始時 には同じような戦略に従う。即ち、それらのバッファには上述したように第1画 像が除去される前はできるだけ多くのデータが満たされている。この場合に、S TDバッファの占有値を示す線が常にVBVの占有値を包含していることも明ら かである。この規則に対する例外は開始期間にあり、これはDSMのデータ速度 がVBVのデータ速度よりも速くて、STDへの伝送がVBVの後に開始するか らである。 互いに鎖状につなぐことのできるシステムストリームの生成に転じるに、先ず ビデオデータを包含しているシームレスのシステムストリームの生成につき考察 する。図1に戻るに、系列Aの終了時点から全てのビットを除去するのにかかる 時間は、系列Aのデータ転送が終了する時点にバッファ内にどれだけ多くの画像 があるかに依存する。この時間はソース資料及び使用するエンコーダに依存する 。従って、時間txにおけるバッファの占有値はクリップ毎に変化する。このた めに、マルチプレクサは、通常計算に利用できる情報、即ちビットレートや、フ レームレートや、Btがどのようなものであるかに基づいてtx及びBtがどのよ うになるのかを計算することができない。 上述した全ての未知の問題を回避するために、系列Aの転送が終了する際にバ ッファにおけるデータが、Btビットを一定の速度で転送するのに要する時間を 十分にカバーするようにする。このようにすると、多重ストリームの開始時にBt ビットを転送する最大時間を次のように設定し得ることを認識した。即ち、 tt=Bt/R (1) ここに、ttは図1に示したような時間であり、Rは転送速度である。 この時間はマルチプレクサにとって重要であり、その理由はこの時点にてSC Rの時間を設定することができるからであり、又この時点は第1画像をSTDバ ッファから除去すべき時点である。従って、マルチプレクサはSTDバッファを 少なくともBtビットに満たすべくセットされ、且つSCRをセットして、この 時点にて第1画像が除去されるようにする。なお、この点は第1画像を除去する 時点にバッファにできるだけ多くのデータを満たしておく通常の技法とは相違す る。 ここで注意すべきことは、STDバッファの方がVBVバッファよりも大きい と云うことにある。 条件付きのシステムパラメータの場合には、STDバッファを最大40Kバイ トのVBVの大きさに比べて46Kバイトまでとすることができる。この特別な スペースがあるために、マルチプレクサは種々の基本ストリームを1つのシステ ムストリーム内にインタリーブして、デコーダへのまばらな転送をなくすことが できる。 図4は目標設定した多重動作の開始時にVBV及びSTDバッファの状態がど のようになるのかを示すグラフである。このグラフは図3と同様に時間tに対す る占有値B(ビット)をシステムティック(クロックパルス)の形態にて示した ものである。なお、VBV及びSTDバッファの占有値は第1画像がバッファか ら除去される時点に同じとなる。この時点からSTDバッファの占有値はVBV バッファのそれに追いつき始め、これはデータ転送速度が速いからである。 マルチプレクサはSTDバッファの終了状態までは制御しない。この終了状態 はエンコーダによって制御されるバッファ内にまだ存在する画像の大きさに依存 する。好ましくは、マルチプレクサがデータをSTDにできるだけ早く転送して 、SCRのオーバラップとして既知の問題、つまり最初のクリップからの全ての データが転送し終わらない時にデータが次のクリップに対する期限となることに 対処するようにする。このようなことに対して提案されているマルチプレクサ戦 略は、データがどんなに小さくてもSTDバッファがデータを受入れることがで きる時は常にデータパケットを作製することにある。 図5はクリップの終了時におけるVBV及びSTDの状態を示すグラフである 。これから明らかなように、STDへのデータの転送はVBVへの転送前に終了 する。これはSTDバッファの方が大きく、しかも受信するビットレートが速い からである。クリップの終了に向けて2つのグラフは再び収束する。これは双方 のバッファへのデータ転送が終了して、これらのデータがクリップの端部を成す 画像だけを含む時点である。こうした端部画像をバッファから除去するのに要す る時間は、そのクリップの第1画像を除去する前にバッファを次のクリップから のデータで満たすのに利用できる時間である。この充填時間を図1に時間ttと して示してある。 オーディオ信号について考察すると、オーディオ信号に対してはVBVバッフ ァに等価なものは存在せず、シームレスオーディオの生成はビデオの場合よりも 遥かに簡単である。その理由は、オーディオ信号は一定のビットレートで符号化 されるからである。換言するに、同じように符号化される全てのオーディオフレ ームは同じ大きさ(1バイト以内)であるが、ビデオフレームの大きさはフレー ムのタイプ及び複雑性に依存して変化するからである。しかし、マルチプレクサ はSTDのバッファ状態を、第1オーディオフレームがビデオフレームと同様に 除去される時点に目標設定することができる。 図6は目標オーディオ多重処理の開始のグラフを示す。この場合には、マルチ プレクサはSTDの状態を第1オーディオフレームが除去される時点に2048 バイト(16384ビット)に目標設定する。充填時間は図1のttに相当し、 同じような特性を有し、この時間はデータ転送の終了時のバッファ内のオーディ オフレームにより表わされる時間より大きくしてはならない。マルチプレクサが その目標値に到達し、第1オーディオフレームが除去される場合には、STDの バッファをできるだけいっぱいの状態に維持する戦略をそのままとる。グラフの 大きな増大傾斜はオーディオパケットの転送を表わす。この場合におけるオーデ ィオパケットは約2Kバイトの大きさとする。これは、そのケットがCD−i再 生に対して約2KバイトのCD−iセクタと多重されているからである。 図7はオーディオクリップの終了時にSTDに起生する状態を示している。デ ータ転送の終了時にバッファ内のオーディオフレームを示す占有値の規則正しい 段階的な減少が開始する。これらの残留オーディオフレームは1つのオーディオ クリップの終了から次のオーディオクリップへの切り換えをマスクする。これら の残留オーディオフレームはフレーム数に依存する有限時間継続するが、図6か ら明らかなように、STDのバッファをその目標値に充填するのに要する時間は 残留フレームによりマスクされる時間に比べて遙かに短いために、DSMのビッ トレートがオーディオビットレートよりも相当高いものと仮定すると、STDの アンダーフローは生じなくなる。実験の結果、オーディオ信号に対しては、ST Dのバッファをフル状態の約50%に目標設定すると容認できる結果が得られる ことを確かめた。 図8はそれぞれビデオ信号V及びオーディオ信号A用の別個のエンコーダ段1 0,12を有するエンコーダ装置を示す。ビデオ信号内のフレームを(例えば、 系列の第1画像及び最終画像に対する相対位置により)識別するフレーム基準信 号FC用の他の入力端子が目標設定段14に接続され、この目標設定段は系列の 画像に対するビット割当を指定する。なお、オーディオエンコーダには対応する 目標設定段は存在しない。これは上述したように、符号化されたオーディオフレ ームの大きさが一定であるために不要である。 各エンコーダ段10,12からの出力は図示のようにそれぞれのバッファ16 ,18に供給される(実際にはこれらのバッファはそれぞれのエンコーダ段の一 部を構成する)。ビデオエンコーダ段10の出力から目標設定段14への帰還路 20により、設定目標が符号化したグループ内の1画像当りの所要バット数にな ったかどうかを検査することができる。 バッファされた出力はマルチプレクサ22によりインタリーブされる。このマ ルチプレクサはタイムスタンプも挿入して単一データストリームDS(システム ストリーム)を形成し、次いでこのストリームをデコーダに伝送するか、又はコ ンパクトディスクのような適当な媒体に記憶することができる。 デコーダ(図9)では、デマルチプレクサ24が入力ストリームを監視する検 出器26を参照して、ストリームDSをビットチャネル及びオーディオチャネル に分離する。分離したビデオ及びストリームはそれぞれのバッファ28,30へ 供給され、そこからそれぞれのデコーダ段32,34に供給され、復号化されて 出力信号Vout,out を出力する。これらのバッファは実際にはそれぞれのデコ ーダ段の一部を構成するが、これらはSTDモデルを明瞭に示すために分離して 示してある。 以上の説明から、他の様々な変更は当業者に明らかである。このような変更に は、オーディオ及び/又はビット信号の編集方法および装置並びにその構成要素 において既知であって、ここに記載した特徴に代えて、又はそれに加えて使用し 得る他の特徴が含まれる。特許請求の範囲は構成要素の組合せとして記載してあ るが、本発明で解決すべき技術的な問題の一部又は全部を解決するか、しないか に拘らず、本明細書に開示した新規な構成又は構成要素の組合せも本発明の範囲 に含まれるものである。

Claims (1)

  1. 【特許請求の範囲】 1.符号化段と、エンコーダバッファと、符号化したビデオ信号を少なくとも1 つの他の信号とインタリーブさせてシステムストリームを形成するインタリービ ング手段とを有しているエンコーダ装置にて、ディジタルビデオ信号を各々が2 つ以上の画像を含むセグメント形態に符号化する方法であって、各セグメントに 対して該方法が: −セグメントの画像を予定したコード構成に従って順次符号化する過程と; −符号化した画像をバッファに読み込む過程と; −符号化したセグメントをほぼ一定のビットレートにてバッファから読み取 る過程と; −バッファの出力信号をシステムストリーム内にインタリーブする過程と を含むディジタルビデオ信号符号化方法において、 第1セグメントの最終画像がエンコーダバッファに読み込まれた瞬時におけ るエンコーダバッファの占有値が、デコーダバッファの占有レベルに関連する第 1予定レベルとなるように制御され、デコーダバッファを一定のビット速度にて 前記デコーダバッファの占有レベルにまで満たすのに要する時間を導出し、且つ 次のセグメントのローディングが開始した後の時点に前記次のセグメントの第1 画像をデコーダバッファから読み出すべき旨を示すタイムスタンプを前記次のセ グメントのシステムストリーム内に挿入することを特徴とするディジタルビデオ 信号符号化方法。 2.第1セグメントの画像を符号化するのに用いられる目標ビット数が、前記エ ンコーダバッファの占有レベルに達するように制御自在に変えられることを特徴 とする請求項1に記載の方法。 3.エンコーダバッファの最大占有レベルが指定され、且つデコーダバッファの 占有レベルが、第1セグメントの最終画像をエンコーダバッファに読み込んだ後 の1フレーム期間を前記最大レベルとエンコーダバッファの占有レベルとの差と して規定されることを特徴とする請求項1に記載の方法。 4.各セグメントの最後のK個の各画像に対するそれぞれの目標ビット数が指定 され、ここにKを整数とすることを特徴とする請求項2に記載の方法。 5.各セグメントの画像がMPEG標準規格に従って符号化されることを特徴と する請求項1に記載の方法。 6.各セグメントが2つ以上の画像を含んで映像セグメントの符号化用に構成し たディジタルビデオ信号符号化装置であって、該装置が: 各セグメントの連続画像を受け取って、これらの画像を予定したコード構成 に従って符号化すべく構成した符号化段と; 前記符号化段からの連続符号化画像を受け取るべく結合され、且つ符号化セ グメントをほぼ一定のビットレートにて出力すべく構成したバッファと; 前記バッファの出力および少なくとも1つの他の信号を受信すべく結合され 、且つこれらをシステムストリーム内にインタリーブすべく構成したマルチプレ クサと; を具えているディジタルビデオ信号符号化装置において、 前記符号化段がセグメントの画像を制御可能な可変ビット数に符号化すべく 作動することができ、前記符号化装置がさらに、第1セグメントの最終画像がエ ンコーダバッファに読み込まれる瞬時に、エンコーダによって用いられるビット 数を、予定したエンコーダバッファの占有値を生成するように制御すべく構成し た目標設定手段と、前記予定した占有値に基づいてタイミング値を導出すると共 に、デコーダバッファ内への次のセグメントのローディングが開始した時点から のタイミング値によって与えられる遅延に引き続いて、前記次のセグメントの第 1画像をデコーダバッファから読み出すべき旨を示すタイムスタンプを前記次の セグメントのシステムストリーム内に挿入すべく作動し得るタイムスタンプ手段 とを具えていることを特徴とするディジタルビデオ信号符号化装置。 7.前記目標設定手段が、各セグメントのK個の最終画像に対して前記符号化段 用の1画像当たりのビット数を制御すべく作動し得るようにしたことを特徴とす る請求項6に記載の装置。 8.請求項1に記載の方法によって符号化される複数のセグメントを含み、これ らの各セグメントが予定したコード構成に従って符号化される画像系列を含む ディジタルビデオ映像信号において、連続画像がリアルタイム表示速度にて復号 化するために除去されるデコーダバッファ内に符号化セグメントをほぼ一定のビ ット速度にて読み込まれる際に、セグメントの最終画像のデータがデコーダバッ ファ内に読み込まれた瞬時に予定したデコーダバッファ占有値が生じるように、 セグメントのK個の各最終画像(Kは整数)がそれぞれのビット数に符号化され 、且つ各セグメントに対するシステムストリームが、次のローディング時点に該 セグメントをバッファから読み出すべき旨を示すタイムスタンプを含み、該タイ ムスタンプによって指定される遅延が前記予定したデコーダバッファの占有値に 関連することを特徴とするディジタルビデオ映像信号。 9.請求項8に記載の複数の符号化セグメントから成るビデオ信号を担持する光 ディスクにおいて、全てのセグメントが共通レベルの予定したデコーダバッファ 占有値を提供することを特徴とする光ディスク。
JP51853196A 1994-12-02 1995-11-29 エンコーダシステムのレベルバッファ管理 Expired - Fee Related JP3758677B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB9424437.3 1994-12-02
GB9424437A GB9424437D0 (en) 1994-12-02 1994-12-02 Encoder system level buffer management
PCT/IB1995/001076 WO1996017492A2 (en) 1994-12-02 1995-11-29 Encoder system level buffer management

Publications (2)

Publication Number Publication Date
JPH09509036A true JPH09509036A (ja) 1997-09-09
JP3758677B2 JP3758677B2 (ja) 2006-03-22

Family

ID=10765376

Family Applications (1)

Application Number Title Priority Date Filing Date
JP51853196A Expired - Fee Related JP3758677B2 (ja) 1994-12-02 1995-11-29 エンコーダシステムのレベルバッファ管理

Country Status (7)

Country Link
EP (1) EP0744116B1 (ja)
JP (1) JP3758677B2 (ja)
CN (1) CN1113542C (ja)
BR (1) BR9506691A (ja)
DE (1) DE69515992T2 (ja)
GB (1) GB9424437D0 (ja)
WO (1) WO1996017492A2 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7079176B1 (en) 1991-11-25 2006-07-18 Actv, Inc. Digital interactive system for providing full interactivity with live programming events
US7448063B2 (en) 1991-11-25 2008-11-04 Actv, Inc. Digital interactive system for providing full interactivity with live programming events
US20020154694A1 (en) * 1997-03-21 2002-10-24 Christopher H. Birch Bit stream splicer with variable-rate output
JPH10285548A (ja) * 1997-04-03 1998-10-23 Sony Corp 符号化装置及び方法、復号装置及び方法、編集方法
CN1161989C (zh) 1997-07-25 2004-08-11 索尼公司 编辑装置、编辑方法、接续装置、接续方法、编码装置和编码方法
JP3552506B2 (ja) * 1997-12-05 2004-08-11 松下電器産業株式会社 再生方法及び再生装置
JP4232209B2 (ja) * 1998-01-19 2009-03-04 ソニー株式会社 圧縮画像データの編集装置及び圧縮画像データの編集方法
US6289129B1 (en) * 1998-06-19 2001-09-11 Motorola, Inc. Video rate buffer for use with push dataflow
GB2349289B (en) * 1998-09-16 2001-09-12 Actv Inc Method and apparatus for performing a seamless switch between two digital video signals
ES2259827T3 (es) * 1998-10-13 2006-10-16 Matsushita Electric Industrial Co., Ltd. Regulacion de los requisitos de calculo y de memoria de un tren de bits comprimido en un decodificador de video.
GB9908809D0 (en) 1999-04-16 1999-06-09 Sony Uk Ltd Signal processor
GB2353653B (en) 1999-08-26 2003-12-31 Sony Uk Ltd Signal processor
EP1148503A1 (en) * 2000-04-08 2001-10-24 Deutsche Thomson-Brandt Gmbh Method and apparatus for recording on a storage medium or replaying from a storage medium data packets of a transport stream
US20020191116A1 (en) * 2001-04-24 2002-12-19 Damien Kessler System and data format for providing seamless stream switching in a digital video recorder
US7305691B2 (en) 2001-05-07 2007-12-04 Actv, Inc. System and method for providing targeted programming outside of the home
US7075899B2 (en) 2002-05-21 2006-07-11 Actv, Inc. System and method for providing private in-band data to digital set-top boxes in a broadcast environment
JP3675464B2 (ja) * 2003-10-29 2005-07-27 ソニー株式会社 動画像符号化装置および動画像符号化制御方法
JP4900945B2 (ja) 2007-01-18 2012-03-21 キヤノン株式会社 記録装置、及び記録方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9001295D0 (en) * 1990-01-19 1990-03-21 British Broadcasting Corp Buffer resynchronisation
BE1007807A3 (nl) * 1993-11-30 1995-10-24 Philips Electronics Nv Inrichting voor het coderen van een videosignaal.
AU1572995A (en) * 1994-02-11 1995-08-29 Newbridge Networks Corporation Method of dynamically compensating for variable transmission delays in packet networks

Also Published As

Publication number Publication date
DE69515992T2 (de) 2000-10-05
WO1996017492A2 (en) 1996-06-06
BR9506691A (pt) 1997-11-18
JP3758677B2 (ja) 2006-03-22
CN1144026A (zh) 1997-02-26
EP0744116B1 (en) 2000-03-29
EP0744116A1 (en) 1996-11-27
GB9424437D0 (en) 1995-01-18
CN1113542C (zh) 2003-07-02
WO1996017492A3 (en) 1996-08-29
DE69515992D1 (de) 2000-05-04
EP0744116A4 (ja) 1996-12-11

Similar Documents

Publication Publication Date Title
US5913031A (en) Encoder system level buffer management
KR100239837B1 (ko) 오디오 및/또는 비디오 신호 전송방법 및 장치
US5793431A (en) Audio/video discrepancy management
US6327421B1 (en) Multiple speed fast forward/rewind compressed video delivery system
JP3758677B2 (ja) エンコーダシステムのレベルバッファ管理
WO1995008823A1 (en) Method and device for transmitting data, data decoder, and data recording medium
JPH06261303A (ja) 画像信号符号化方法、復号化方法および画像信号記録媒体
US20120179475A1 (en) Reproducing apparatus and method, and recording medium
JP3758676B2 (ja) ビデオ編集用バッファの管理
JPH0730886A (ja) 画像および音声信号処理方法とその装置
CN100450168C (zh) 数据记录方法和数据解码方法
WO2004086396A1 (en) Reproducing apparatus and method, and recording medium
JPH0898160A (ja) データ多重化装置
JP3403865B2 (ja) ストリーム多重装置およびストリーム多重方法
RU2401465C2 (ru) Устройство и способ воспроизведения
JPH11220695A (ja) 動画像データの復号装置及び復号方法
JP2001268513A (ja) 動画像再生装置および動画像記録再生システム
JP2000036941A (ja) 動画像データの復号装置及び復号方法
JPH11187395A (ja) 可変転送レート圧縮情報復号装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050405

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20050519

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20050519

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20050705

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20050822

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051004

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20051129

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20051227

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100113

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100113

Year of fee payment: 4

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100113

Year of fee payment: 4

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100113

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110113

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110113

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120113

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130113

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130113

Year of fee payment: 7

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130113

Year of fee payment: 7

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140113

Year of fee payment: 8

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees