JPH09284762A - 映像素材供給装置及び方法 - Google Patents

映像素材供給装置及び方法

Info

Publication number
JPH09284762A
JPH09284762A JP9159796A JP9159796A JPH09284762A JP H09284762 A JPH09284762 A JP H09284762A JP 9159796 A JP9159796 A JP 9159796A JP 9159796 A JP9159796 A JP 9159796A JP H09284762 A JPH09284762 A JP H09284762A
Authority
JP
Japan
Prior art keywords
video
compression
video material
bit stream
stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP9159796A
Other languages
English (en)
Other versions
JP3617177B2 (ja
Inventor
Hiromi Yoshinari
博美 吉成
Takao Suzuki
隆夫 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP09159796A priority Critical patent/JP3617177B2/ja
Publication of JPH09284762A publication Critical patent/JPH09284762A/ja
Application granted granted Critical
Publication of JP3617177B2 publication Critical patent/JP3617177B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

(57)【要約】 【課題】 異なる挿入素材同士を接続したとしても、V
BVバッファが破綻することなく、また繋ぎ目の連続性
を保つことができ、復号化の際のピクチャがフリーズに
なることを防止し、さらに、複数の挿入素材のランダム
な組み合わせも可能とする。 【解決手段】 挿入素材をMPEG2にて圧縮符号化す
る第1のMPEGエンコーダ113及び第2のMPEG
エンコーダ115と、第1のMPEGエンコーダ113
での圧縮符号化によるビット発生量の情報に基づいて、
第2のMPEGエンコーダ115に対して、挿入素材の
圧縮符号化後の符号化ビット・ストリームのビット・レ
ートを一定値にする制御を行うと共に、スプライス・ポ
イントにおいてVBVバッファが目標バッファ占有量と
なるように符号化ビット・ストリームの生成を制御する
ホストCPU114とを有する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、映像素材を供給す
る映像素材供給装置及び方法に関するものである。
【0002】
【従来の技術】近年は、動画像信号の圧縮符号化の手法
として、いわゆるMPEG標準方式が提案されている。
上記MPEG(Moving Picture Image Coding Experts
Group)とは、蓄積用動画像符号化の検討組織であり、
1988年に国際標準化機構(ISO)と国際電気標準
会議(IEC)の傘下に設立された動画像圧縮技術の標
準化を検討する専門家の作業部会の略称である。このグ
ループが標準化した動画や音声などのデータ圧縮方式が
MPEG方式と呼ばれている。
【0003】上記MPEG標準は、その標準化作業上の
フェーズ1の標準であるMPEG1とフェーズ2の標準
であるMPEG2とがある。両者の違いを簡単に説明す
ると、MPEG1は主にCD−ROMなどの蓄積メディ
アのための標準であるが、MPEG2はMPEG1のア
プリケーションも含む広い範囲のための標準となってい
る。
【0004】ここで、上記MPEG2のシステムには、
2種類の方式があり、一つはプログラム・ストリーム
(MPEG2−PS、PS:Program Stream)と呼ば
れ、MPEG1と同様に一つのプログラムを構成する方
式である。もう一つは、トランスポート・ストリーム
(MPEG2−TS、TS:Transport Stream)と呼ば
れ、複数のプログラムを構成できる方式である。
【0005】このMPEG2システムによれば、複数の
プログラムを1本のストリーム(データ列)にできるた
め、テレビ放送などにも対応でき、プログラム編成の自
由度が高く、またスクランブル機能などをも備えてい
る。さらに、MPEG2ビデオへ対応するための拡張機
能や、種々のアプリケーションのための付加機能をもっ
ている。これら機能を実現するためのものとしては、例
えば、ランダム・アクセスを容易にするためのディレク
トリ情報や、個別のストリーム毎の種別を表す種別情報
などがある。
【0006】上記MPEGシステムにおける符号化から
復号までの流れは、以下のようになる。
【0007】エンコーダにおける符号化の流れでは、先
ず、ビデオ,オーディオなどの個別素材を、それぞれの
連係を保ちながら個別に符号化する。次に、符号化され
た各個別のストリームをマルチプレクサ(Multiplexe
r:MUX、多重化器)でアプリケーションに合わせて
ストリームの伝送媒体(蓄積メディアやネットワークな
ど)のフォーマットに適合した多重化を行い、伝送また
は記録する。
【0008】一方、受信デコーダにおける復号の流れで
は、受信された多重ストリームは、デマルチプレクサ
(DeMultiplexer:DMUX、分離器)でビデオ、オー
ディオなどの各個別のストリーム部分を分離してそれぞ
れ復号器に送る。次に、復号器では個別にストリームを
復号して、その後出力装置(ビデオモニタやスピーカな
ど)に出力する。
【0009】このように、MPEGシステムでは、複数
の個別符号化ストリームを時分割多重して1本のストリ
ームにすることと、送信側で意図したように受信側で各
個別ストリームを同期復号再生することが行われる。
【0010】上記MPEGシステムにおける上記時分割
多重方式としては、パケットによる多重方式を用いてい
る。上記パケットによる多重化とは、例えばビデオとオ
ーディオ信号を多重化する場合、ビデオとオーディオ信
号をそれぞれパケットと呼ばれる適当な長さのストリー
ムに分割し、ヘッダなどの付加情報を付けて、適宜ビデ
オとオーディオのパケットを切り換えて時分割伝送する
方式である。これらパケットには、ヘッダと呼ばれる先
頭部分にビデオかオーディオかの属性を識別するための
情報などが付加される。また、場合によっては最後尾に
伝送上のビットエラーを検出するためのCRC(Cyclic
Redundancy Code、巡回冗長符号)と呼ばれる符号を付
加することもある。
【0011】パケット長は、伝送媒体やアプリケーショ
ンに強く依存し、例えばATM(Asynchronous Trasfer
Mode、非同期転送モード)のように短い(53バイト
のパケット長、セルと呼ばれる)ものや、光ディスクシ
ステムのように長い(4096バイトのパケット長な
ど)ものなどがある。MPEGでは、種々の条件に適合
するために、長さの上限を約216(64Kバイト)まで
とっており、フレキシビリティを持たせるために、各パ
ケット毎に固定長でも可変長でもよいことになってい
る。さらに、可変伝送速度も許されており、断続的な伝
送も可能となっている。ヘッダなどの固定的に必要な部
分は、パケット長に依存しないため、短いパケットはオ
ーバーヘッド(多重化のための追加データ)が大きく、
伝送効率が低下するが、時分割多重の切り換え時間が短
いために、多重に起因する遅延とバッファ・メモリ量が
少なくて済むというメリットがある。
【0012】MPEG1とMPEG2−PSでは、ビデ
オやオーディオのパケットの上位にパック・レイヤと呼
ばれる階層があるが、通常は複数のパケットを束ねたパ
ックと呼ばれる構成単位で取り扱われる。パック・ヘッ
ダ部分には、後述する同期再生用の時間基準参照用の付
加情報などがある。パックの主目的は、ストリームの途
中から復号再生することを可能にすることにある。
【0013】ここで、MPEGの同期方式においては、
ビデオ、オーディオの各アクセス・ユニットと呼ばれる
復号再生の単位毎(ビデオは1フレーム、オーディオは
1オーディオ・フレーム)に、いつ復号再生すべきかを
示すタイム・スタンプと呼ばれる情報が付加される。ま
た、タイム・スタンプに対しては、SCR(System Clo
ck Reference、システム時刻基準参照値)と呼ばれる情
報によって時間基準が与えられている。
【0014】タイム・スタンプとは、各アクセス・ユニ
ット毎に付けられる復号再生処理の時刻管理のタグであ
り、MPEGオーディオの符号化方式に起因して、2種
類のタイム・スタンプがある。一つは、PTS(Presen
tation Time Stamp)と呼ばれる再生出力の時刻管理情
報で、他方はDTS(Decoding Time Stamp)と呼ばれ
る復号の時刻管理情報である。これらのタイム・スタン
プは、あるパケットの中にアクセス・ユニットの先頭が
ある場合には、パケット・ヘッダに付加する。ただし、
パケットの中にアクセス・ユニットの先頭がない場合に
は、パケット・ヘッダにタイム・スタンプは付加しない
こととする。また、パケットの中に2つ以上のアクセス
・ユニットの先頭があっても、最初のアクセス・ユニッ
トに対応するタイム・スタンプだけをパケット・ヘッダ
に付加する。
【0015】上記PTSにおいては、MPEGシステム
の基準復号器内部のSTC(SystemTime Clock、基本と
なる同期信号)がPTSに一致したときに、そのアクセ
ス・ユニットを再生出力する。上記DTSにおいては、
MPEGではIピクチャとPピクチャはBピクチャより
も先行して符号化ストリームに送出されるために、復号
する順序と再生出力する順序が異なることに対応したも
のである。PTSとDTSが異なる場合には両方のタイ
ム・スタンプをつけ、一致する場合にはPTSだけを付
けることになっている。
【0016】また、SCR(System Clock Reference、
システム時刻基準参照値)、PCR(Program Clock Re
ference、プログラム時刻基準参照値)とは、ビデオと
オーディオの復号器を含むMPEGシステム復号器にお
いて、時刻基準となるSTC(基本となる同期信号)の
値を符号器側で意図した値にセット・校正するための情
報である。これらSCR、PCRを利用するに際して
は、単にその値だけでは不十分で、SCR,PCRの値
を運んでいるストリーム中のバイトのタイミング(復号
器への到着時刻)の精度が必要である。MPEG2では
SCR,PCRとも6バイト(実データは42ビット)
で送られるが、復号器側ではその最終バイトの到着の瞬
間に、STCはSCRまたはPCRの示す値をセットす
ることが求められている。上記STCと一体となったP
LL(位相ロック・ループ)を構成すれば、復号器のシ
ステム・クロックと完全に周波数が一致したSTCを復
号器でもつことができる。このPLL機能は後述するM
PEG2−TS(トランスポート・ストリーム)では復
号器に義務付けられている。
【0017】また、前述したように、MPEG2では、
複数のプログラム(番組)の伝送を可能とするマルチプ
ログラム対応機能を有しており、この機能は多数の個別
の符号化ストリームをトランスポート・パケットと呼ば
れる比較的短い伝送単位で時分割多重するものである。
上記マルチプログラム対応は、MPEG2だけの機能で
ある。
【0018】当該MPEG2には、前述したように、P
S(プログラム・ストリーム)と共に、トランスポート
・ストリーム(TS)と呼ばれるマルチプログラム対応
の多重・分離方式の2種類の方式がある。トランスポー
ト・パケットのヘッダ部分には、パケット・データの内
容識別情報があり、それによって目的とするプログラム
再生に必要なパケットをDMUX(分離器)を通じて取
り出して復号することになる。
【0019】このトランスポート・パケットは、ATM
との接続性も考慮して、188バイト固定長の比較的短
いパケットである。ATMのパケット長は実データ47
バイト(ATMセルのペイロード(ユーザ情報)部分4
8バイトのうち1バイトは、シーケンスと同期用に使用
する)で、一つのトランスポート・パケットを4つのA
TMパケット(セル)に乗せて伝送できるようになって
いる。上記トランスポート・ストリーム(TS)のプロ
グラム・ストリーム(PS)との大きな違いは、複数の
パケット(MPEG2ではPES(Packetized Elementa
ry Stream)パケットと呼ぶ)をグループ化してパック
を構成するプログラム・ストリーム(PS)の方式に対
して、トランスポート・ストリーム(TS)方式では逆
にパケットを再分割して複数のトランスポート・パケッ
トに乗せて伝送することにある。したがって、トランス
ポート・ストリーム(TS)におけるPESパケット
は、PS(及びMPEG1)におけるパックのような役
割を果たすことになり、パック・ヘッダと同じような情
報をPESパケットで伝送できるように拡張されてい
る。
【0020】また、マルチプログラム対応のトランスポ
ート・ストリームでは、多数のビデオ、オーディオの個
別のストリームを伝送するため、複数のプログラムの中
からどのプログラムを選び、どのパケットを取り出して
どのように復号すればよいか、などの情報が必要にな
る。これらのプログラム仕様情報を総称してPSI(Pr
ogram Specific Information、プログラム仕様情報)と
呼んでいる。PSIは、特定の識別コードをもったパケ
ットや一次的なPSIで指し示されたパケットなどで伝
送される。トランスポート・ストリーム(TS)の基準
復号器の中にあるシステム用のバッファ・メモリとシス
テムの復号器は、このPSI処理のために設けられてい
る。なお、このPSIについては、ISO/IEC13
818−1の2.4.4のProgram Specific Informati
onに詳細が記述されている。
【0021】次に、MPEG2−TSのデータ構造につ
いて以下に説明する。
【0022】トランスポート・パケットのデータ構造
は、複数プログラムを扱う目的からITU−T(旧CC
ITT)で標準化されているATMの方式と類似してい
る。図4にはトランスポート・パケットのデータ構造を
階層的に示し、各情報項目の意味と目的を以下に説明す
る。なお、図4のトランスポート・ストリーム・シンタ
クスは、ISO13818−1にて規定されているもの
であるため、ここでは簡単な説明に止める。
【0023】図4の(A)に示すように、トランスポー
ト・ストリームは188バイトの固定長トランスポート
・パケットによって多重・分離されるものである。この
トランスポート・パケットは、それぞれヘッダ部とペイ
ロード部とからなる。
【0024】上記トランスポート・パケットのヘッダ部
はそれぞれ図4の(B)から図4の(D)に示すような
構造となっている。
【0025】図4の(B)に示すように、トランスポー
ト・パケットは、同期バイト部、誤り表示(エラー・イ
ンジケータ)部、ユニット開始表示部、トランスポート
・パケット・プライオリティ部、PID部、スクランブ
ル制御部、アダプテーション・フィールド制御部、巡回
カウンタ部、アダプテーション・フィールド部からなる
ヘッダを有する。
【0026】上記同期バイト部には、復号器がトランス
ポート・パケットの先頭を検出するための8ビットの同
期信号が配置される。誤り表示(エラー・インジケー
タ)部には、このパケット中のビット・エラーの有無を
示す1ビットが配置され、ユニット開始表示部には、新
たなPESパケットが当該トランスポート・パケットの
ペイロード(実効的なパケット・データ)から始まるこ
とを示す1ビットが配置される。トランスポート・パケ
ット・プライオリティ(パケット優先度)部には、この
パケットの重要度を示す1ビットが配置され、PID
(Packet Identification、パケットの種別)部には、
該当パケットの個別ストリームの属性を示す13ビット
のストリーム識別情報が配置される。スクランブル制御
部には、このパケットのペイロードのスクランブルの有
無,種別を示す2ビットが配置され、アダプテーション
・フィールド制御部には、このパケットでのアダプテー
ション・フィールドの有無及びペイロードの有無を示す
2ビットが配置される。巡回カウンタ部には、同じPI
Dをもつパケットが途中で一部棄却されたかどうかを検
出するための情報が配置され、4ビットの巡回カウンタ
情報を連続性によって検出するようになされている。ア
ダプテーション・フィールド部には、個別ストリームに
関する付加情報やスタッフィング・バイト(実効データ
・バイト)をオプションで入れることができる。このこ
とから、個別ストリームの動的な状態変化の情報を伝送
することができる。
【0027】上記アダプテーション・フィールド部は、
図4の(C)に示すように、アダプテーション・フィー
ルド長部、不連続表示部、ランダム・アクセス表示部、
ストリーム・プライオリティ(優先)・表示部、5フラ
グ、オプショナル・フィールド部、スタッフィング・バ
イト部からなる。
【0028】上記アダプテーション・フィールド長部に
は、当該アダプテーション・フィールド部の長さを示す
8ビットが配置され、不連続インジケータ(不連続表
示)部には、次の同じPIDのパケットで、システム・
クロックがリセットされ、新たな内容になることを示す
1ビットが配置される。ランダム・アクセス表示部は、
ビデオのシーケンス・ヘッダまたはオーディオのフレー
ムの始まりを示し、ランダム・アクセスのエントリー・
ポイントであることを示す1ビットが配置される。スト
リーム・プライオリティ(優先)・表示部は、この個別
ストリームの重要部分が、当該パケットのペイロードに
あることを示す1ビットが配置される。例えばビデオの
場合はイントラ符号化部分がこれに相当する。オプショ
ナル・フィールド部は、図4の(D)に示すように、4
2ビットのPCR(Program ClockReference)部、42
ビットのOPCR(Original PCR)部、8ビットのスプ
ライス・カウントダウン部、トランスポート・プライベ
ート・データ長とデータ部、アダプテーション・フィー
ルド拡張部とからなる。上記スプライス・カウントダウ
ン部には、編集可能な点(スプライス・ポイント、S
P:Splice Point)までの同一のPIDのトランスポー
ト・パケットの数を示す8ビットが配置される。また、
このスプライス・ポイント(SP)では、バッファ・メ
モリ占有量が1/8と規定されている。この機能によっ
て、例えば伝送中継点でのコマーシャル挿入(ストリー
ムの一部入れ替え)などが可能となる。スタッフィング
・バイト部には、8×Mビットのスタッフィング・バイ
トを配置可能となっている。
【0029】また、図4のオプショナル・フィールド部
は、さらに図4の(E)に示すように、lwt_val
id_flag(legal time window_valid_flag)部、
ltw_offset(legal time window_offset)
部、ピースワイズ・レート(piecewise rate)部、スプ
ライス・タイプ部、DTS_next_au部からな
る。スプライス・タイプ部には、MPEG2におけるM
P@ML(Main Profile at Main Level)の仕様を示す
4バイトが配置される。DTS_next_au部に
は、スプライス・ポイントに続く最初のアクセス・ユニ
ットの復号時間を示す33ビットが配置される。
【0030】また、トランスポート・ストリームの復号
・再生では、複数プログラムの中から一つを選択し、次
にそのプログラムの復号・再生のために必要な個別スト
リームのトランスポート・パケットのPID(通常はビ
デオとオーディオのPIDなど、複数が必要)を知るこ
とが要求される。次に、それら個別ストリームのパラメ
ータ情報や連係情報を知る必要がある。したがって、こ
のような多くのステップ動作のため、幾つかの付加テー
ブル情報(PSI)が必要となる。これらのPSIは、
セクションとよばれるデータ構造によって伝送されるこ
とになる。
【0031】このセクションにおいて、PID=0のパ
ケットで伝送される特別な情報としては、プログラム・
アソシエーション・テーブル(Program Association Ta
ble:PAT)がある。これは、各プログラム番号(1
6ビット)ごとにそのプログラム構成を記述しているテ
ーブル(プログラム・マップ・テーブル、Program Map
Table:PMT、一つのプログラムのディレクトリ・テ
ーブル)を伝送しているトランスポート・パケットのP
IDを指す。
【0032】上記プログラム・マップ・テーブルは、プ
ログラムの識別番号と、プログラムを構成するビデオ、
オーディオなどの個別ストリームが伝送されているトラ
ンスポート・パケットのPIDのリストや付属情報を記
述している。プログラム・アソシエーション・テーブル
とプログラム・マップ・テーブルに分けて間接記述にし
た理由は、一つだけのテーブルで全てを記述するとテー
ブルが大きくなり過ぎて、テーブルを記憶しておくメモ
リが大きくなり、さらに、テーブルの後部に記述されて
いるプログラムの情報アクセスに時間が長くかかるため
である。
【0033】なお、上記セクションには、コンディショ
ナル(条件付)アクセス・テーブルがある。このテーブ
ルは必ずしも必要ないが、復号・再生の制限を行うため
にスクランブルをかけたストリームを、許可されたユー
ザが復号・再生するための付属テーブルである。
【0034】
【発明が解決しようとする課題】ところで、上述したM
PEG2のような動画像圧縮符号化方式は、例えば放送
番組等の映像素材(以下、放送素材或いは本編素材と呼
ぶ)を供給する放送局(以下、本局と呼ぶ)から、当該
放送のネットワークを構成する各局(以下、ネットワー
ク構成局と呼ぶ)に対して上記放送素材を伝送する場合
に、上記本局において当該放送素材を圧縮符号化する場
合に使用することが考えられている。このように、本局
からネットワーク構成局に対して送られる上記圧縮符号
化された放送素材の符号化ストリームは、前記トランス
ポート・ストリーム(TS)となっている。
【0035】上記本局から上記放送素材のトランスポー
ト・ストリームを受けた上記ネットワーク構成局は、そ
れぞれが例えばコマーシャル映像(以下、単にCMと呼
ぶ)のような独自の素材を、上記放送素材のトランスポ
ート・ストリームに挿入して再伝送または放送すること
になる。以下、上記放送素材に挿入される素材を挿入素
材と呼ぶ。
【0036】ここで、上記CMなどの挿入素材が複数あ
り、これら挿入素材を繋げたものを上記放送素材のトラ
ンスポート・ストリームに挿入したいような場合、上記
複数の挿入素材は予めMPEG2などの圧縮符号化手法
によって圧縮符号化されるが、これら複数の挿入素材の
ビット・レートがそれぞれ異なるようなときには、以下
のような問題が発生する。
【0037】すなわち、上記MPEG方式においては、
符号化により生成されるビット・ストリームをVBV
(video buffering verifier)と呼ばれる仮想的なバッ
ファ検証器の要求する条件を満たすことが義務付けられ
ているが、例えば2つの挿入素材を繋げるような場合に
おいて、これら挿入素材のそれぞれのビット・レートが
異なるときには、上記挿入素材を符号化するときのバッ
ファ占有量制御(bufferoccupancy制御)が、次に繋が
る挿入素材のビット・レートに引きずられるようにな
る。
【0038】また、上記MPEG方式においては、上記
VBVのバッファ占有量は最初は空であり、MPEGシ
ンタクスのピクチャ・ヘッダに配置されるvbv_de
layで与えられる時間の間だけ、ビット・ストリーム
からデータが満たされることなどが規定されているが、
上記複数の挿入素材ではvbv_delayも一定では
ない。したがって、複数の挿入素材のランダムな組み合
わせができない。
【0039】さらに、複数の挿入素材を繋げた(スプラ
イスした)結果、上記VBVのバッファ・メモリが仮に
連続になったとしても、当該繋ぎ目で表示時間(プレゼ
ンテイション・タイム、presentation time)が連続で
ある保証はない。また、繋ぎ目が不連続になるときのス
プライス・ポイントでは、後の復号化の際にピクチャが
フリーズ(freeze)になることが予想できる。
【0040】またさらに、符号化による各ピクチャのビ
ット発生量は、符号化するまで正確には分からない。し
たがって、絵柄によってはバッファ・コントロールの予
想を裏切ることが往々にしてある。このため、多くの挿
入素材で目標のバッファ占有量にすることが困難であ
る。
【0041】上述したように、複数の挿入素材をそれぞ
れ独立に符号化し、挿入素材の終わりのピクチャへのバ
ッファ制限が完全でない場合において、MPEGストリ
ーム上で、それぞれの挿入素材をランダムにスイッチン
グし、組み合わせを行えば、VBVバッファのオーバー
フロウ/アンダーフロウを引き起こすことになる。この
ため、複数の挿入素材を繋げて出来上がった素材は、I
SO13818−2や、ISO11172−2のAnn
ex Cの規定を満たせない。つまり、再生不能とな
る。
【0042】したがって、それぞれのCMなどの挿入単
位の管理ができず、素材挿入区間内のCMなどの各素材
は、それぞれの素材の組み合わせ毎に符号化し、これら
挿入素材を格納する素材サーバで管理することになる。
【0043】ここで、上述したVBVバッファのオーバ
ーフロウやアンダーフロウが発生する状況について、以
下の図5から図8を用いて説明する。
【0044】図5には、ピクチャ・ヘッダのvbv_d
elayを毎回見に行くような受信デコーダ(復号器)
を用いた場合において、目標のバッファ占有量の制約を
満たせなかったときの様子を示す。すなわち、図5に
は、一定レートで到達するトランスポート・ストリーム
(TS)とVBVバッファとの関係、及び一定間隔で到
達する入力ビデオデータ(ピクチャ順)とトランスポー
ト・ストリーム(TS)との関係を示している。なお、
図5の(A)に示すバッファ占有量を示す折れ線の傾き
はビット・レートを表し、当該折れ線で垂直に下がって
いる部分は各ピクチャ再生のためにビデオデコーダが引
き出すビット量を表している。その引き出すタイミング
が前記プレゼンテーション・タイムである。この図5か
ら判るように、入力ビデオデータはそれぞれのピクチャ
の情報量に応じたビット量に圧縮され、異なるパケット
数のトランスポート・ストリーム(TS)になされる。
また、図5の(A)には挿入素材として3つのCM(C
M1,CM2,CM3)を繋げたときの受信デコーダ側
でのVBVバッファのバッファ占有量の変化を示し、図
5の(B)には上記CM1,CM2,CM3の各ピクチ
ャを符号化するエンコーダ側でのピクチャの入力順とト
ランスポート・パケットの伝送順を示している。また、
図中IはIピクチャ(Intra-coded picture、イントラ
符号化画像)を、図中PはPピクチャ(Predictive-cod
ed picture、前方予測符号化画像)を、図中BはBピク
チャ(Bidirectionally predictive-coded picture、両
方向予測符号化画像)を示している。さらに、図中SP
はスプライス・ポイント、すなわち繋ぎ目を示してい
る。また、図中tcはスプライス・ポイントでトランス
ポート・ストリームを接続したときに本来必要とされる
目標のバッファ占有量(target occupancy)を、図中i
gは入力ギャップ(input gap)を、図中ioは入力オ
ーバラップ(input overlap)をそれぞれ示している。
【0045】この図5から判るように、ピクチャ・ヘッ
ダのvbv_delayを毎回見に行くような受信デコ
ーダでは、図5の(A)に示すvbv_delay分だ
けバッファからのデータ引き出しを待つようになるた
め、当該VBVバッファの破綻は起こらない。
【0046】しかし、図5の(A)に示すピリオドpe
Aでは、受信デコーダ側でピクチャがフリーズとなり、
表示同期の乱れが起きる。また、図5の(A)に示すピ
リオドpeBでは、表示の間隔が短くなりデコーダ処理
速度オーバーによるピクチャ破損が起きる。或いは表示
同期乱れが起きる。
【0047】次に、図6には、ピクチャ・ヘッダのvb
v_delayを毎回見に行くことは行わない受信デコ
ーダ(復号器)を用いた場合において、目標のバッファ
占有量の制約を満たせなかったときの様子を示す。すな
わち、図6には、一定レートで到達するトランスポート
・ストリーム(TS)とVBVバッファとの関係、及び
一定間隔で到達する入力ビデオデータ(ピクチャ順)と
トランスポート・ストリーム(TS)との関係を示して
いる。この図6においても前記図5と同様に、入力ビデ
オデータはそれぞれのピクチャの情報量に応じたビット
量に圧縮され、異なるパケット数のトランスポート・ス
トリーム(TS)になされ、図6に示すバッファ占有量
を示す折れ線の傾きはビット・レートを表し、当該折れ
線で垂直に下がっている部分は各ピクチャ再生のために
ビデオデコーダが引き出すビット量を表している。ま
た、この図6の例の受信デコーダは、MPEGにて規定
されているシーケンス・スタート・コード(sequence_s
tare_code)があったときに、ピクチャ・ヘッダのvb
v_delay見に行く。なお、図6の(A)及び
(C)には挿入素材として2つのCM(CM1,CM
2)を繋げたときの受信デコーダ側でのVBVバッファ
のバッファ占有量の変化を示し、図6の(B)及び
(D)には上記CM1,CM2の各ピクチャを符号化す
るエンコーダ側でのピクチャの入力順とトランスポート
・パケットの伝送順を示し、図6の(A)及び(B)は
VBVバッファのアンダーフロウが起きる場合を、図6
の(C)及び(D)はVBVバッファのオーバーフロウ
が起きる場合を示している。また、図中IはIピクチャ
を、図中PはPピクチャを、図中BはBピクチャを示
し、さらに図中SPはスプライス・ポイントを、図中t
cはスプライス・ポイントでトランスポート・ストリー
ムを接続したときに本来必要とされる目標のバッファ占
有量を、図中igは入力ギャップを、図中ioは入力オ
ーバラップをそれぞれ示している。
【0048】この図6から判るように、ピクチャ・ヘッ
ダのvbv_delayを毎回見に行っていない受信デ
コーダでは、初期状態(シーケンス・スタート・コード
があったとき)のみvbv_delayでVBVバッフ
ァからのデータ引き抜き動作を行うため、図6の(A)
に示すポイントpoAではアンダーフロウが起きてVB
Vバッファが破綻し、図6の(C)に示すポイントpo
Bではオーバーフロウが起きてVBVバッファが破綻す
る。
【0049】次に、図7には、ピクチャ・ヘッダのvb
v_delayを毎回見に行くような受信デコーダを用
いた場合において、素材のビット・レートが異なるもの
同士を接続した場合の様子を示す。すなわち、図7に
は、素材毎に異なるレートで到達するトランスポート・
ストリーム(TS)とVBVバッファとの関係、及び素
材毎に異なる間隔で到達する入力ビデオデータ(ピクチ
ャ順)とトランスポート・ストリーム(TS)との関係
を示している。なお、図7の(A)及び(C)にはビッ
ト・レートが異なる挿入素材同士を繋げたときの受信デ
コーダ側でのVBVバッファのバッファ占有量の変化を
示し、図7の(B)及び(D)にはこれら挿入素材の各
ピクチャを符号化するエンコーダ側でのピクチャの入力
順とトランスポート・パケットの伝送順を示し、図7の
(A)及び(B)は接続後の素材のビット・レートが小
さくなる場合を、図7の(C)及び(D)は接続後の素
材のビット・レートが大きくなる場合を示している。こ
の図7も前述した図5と同様に、バッファ占有量を示す
折れ線の傾きはビット・レートを表し、当該折れ線で垂
直に下がっている部分は各ピクチャ再生のためにビデオ
デコーダが引き出すビット量を表している。また、図中
IはIピクチャを、図中PはPピクチャを、図中BはB
ピクチャを示し、さらに図中SPはスプライス・ポイン
トを、図中stはパケットのスタッフィングが行われる
ポイントを示している。
【0050】この図7の(A)及び(B)の例ではVB
Vバッファの破綻は起こらないが前記プレゼンテーショ
ン・タイム(presentation time)が不連続となり、図
7の(C)及び(D)の例ではVBVバッファのオーバ
ーフロウが起きる。
【0051】次に、図8には、ピクチャ・ヘッダのvb
v_delayを毎回見に行くことは行わない受信デコ
ーダを用いた場合において、素材のビット・レートが異
なるもの同士を接続した場合の様子を示す。すなわち、
図8には、素材毎に異なるレートで到達するトランスポ
ート・ストリーム(TS)とVBVバッファとの関係、
及び素材毎に異なる間隔で到達する入力ビデオデータ
(ピクチャ順)とトランスポート・ストリーム(TS)
との関係を示している。また、この図8の例の受信デコ
ーダは、MPEGにて規定されているシーケンス・スタ
ート・コードがあったときに、ピクチャ・ヘッダのvb
v_delay見に行く。なお、図8の(A)及び
(C)にはビット・レートが異なる挿入素材同士を繋げ
たときの受信デコーダ側でのVBVバッファのバッファ
占有量の変化を示し、図8の(B)及び(D)にはこれ
ら挿入素材の各ピクチャを符号化するエンコーダ側での
ピクチャの入力順とトランスポート・パケットの伝送順
を示し、図8の(A)及び(B)は接続後の素材のビッ
ト・レートが小さくなる場合を、図8の(C)及び
(D)は接続後の素材のビット・レートが大きくなる場
合を示している。この図8も前述した図5と同様に、バ
ッファ占有量を示す折れ線の傾きはビット・レートを表
し、当該折れ線で垂直に下がっている部分は各ピクチャ
再生のためにビデオデコーダが引き出すビット量を表し
ている。また、図中IはIピクチャを、図中PはPピク
チャを、図中BはBピクチャを示し、さらに図中SPは
スプライス・ポイントを、図中stはパケットのスタッ
フィングが行われるポイントを示している。
【0052】この図8から判るように、ピクチャ・ヘッ
ダのvbv_delayを毎回見に行っていない受信デ
コーダでは、初期状態(シーケンス・スタート・コード
があったとき)のみvbv_delayでVBVバッフ
ァからのデータ引き抜き動作を行うため、図8の(A)
及び(B)に示す例ではアンダーフロウが起きてVBV
バッファが破綻し、図8の(C)及び(D)に示す例で
はオーバーフロウが起きてVBVバッファが破綻する。
【0053】本発明は上述したことを考慮してなされた
ものであり、異なる挿入素材同士を接続したとしても、
VBVバッファが破綻することなく、また繋ぎ目の連続
性を保つことができ、復号化の際のピクチャがフリーズ
になることを防止し、さらに、複数の挿入素材のランダ
ムな組み合わせも可能な映像素材供給装置及び方法を提
供することを目的とする。
【0054】
【課題を解決するための手段】本発明の映像素材供給装
置及び方法は、映像素材を圧縮符号化し、仮想的なバッ
ファ検証器の要求する条件を満たした符号化ビット・ス
トリームを生成すると共に、符号化ビット・ストリーム
を接続する際の接続点の情報を付加して供給するもので
あって、映像素材を圧縮符号化する第1の圧縮符号化処
理と、その映像素材と同一の映像素材を圧縮符号化する
第2の圧縮符号化処理と、第1の圧縮符号化処理での圧
縮符号化によるビット発生量の情報に基づいて、映像素
材の圧縮符号化後の符号化ビット・ストリームのビット
・レートを一定値にすると共に、接続点において仮想的
なバッファ検証器が目標バッファ占有量となるように第
2の圧縮符号化での符号化ビット・ストリームの生成を
制御する制御処理とを有することにより、上述した課題
を解決する。
【0055】すなわち、本発明によれば、第1の圧縮符
号化によって予め映像素材を圧縮符号化することで、符
号化ビット・ストリームが仮想的なバッファ検証器の条
件を満たすかどうかを予め知ることができ、したがっ
て、第1の圧縮符号化によって映像素材を圧縮符号化し
た得たビット発生量の情報に基づいて、第2の圧縮符号
化を制御すれば、この第2の圧縮符号化において仮想的
なバッファ検証器の条件を満たすような符号化ビット・
ストリームを生成することができる。また、第2の圧縮
符号化における映像素材の圧縮符号化後の符号化ビット
・ストリームのビット・レートを一定値にすると共に、
接続点において仮想的なバッファ検証器が目標バッファ
占有量となるように第2の圧縮符号化での符号化ビット
・ストリームの生成を制御するようにしておけば、この
符号化ビット・ストリームを接続したときにも、仮想的
なバッファ検証器が破綻することを防止できる。
【0056】
【発明の実施の形態】以下、本発明の実施の形態を図面
を参照して詳細に説明する。
【0057】本発明の一実施の形態の映像素材供給装置
は、例えば前述したMPEG2のような動画像圧縮符号
化方式にてCMなどの映像素材のプログラム・ソースを
圧縮符号化し、この圧縮符号化により得られた符号化ビ
ット・ストリームから上記MPEG2の伝送形態のトラ
ンスポート・ストリームを生成して格納しておき、この
格納したCMなどのトランスポート・ストリームを必要
に応じて出力すると共に、複数の挿入素材のトランスポ
ート・ストリームをランダムに組み合わせて接続可能と
するものである。ここで、上記CMなどの映像素材は、
後述するように例えば番組などの放送素材を提供する放
送局(本局)から送られてくる当該放送素材のトランス
ポート・ストリームに対して挿入される素材であるた
め、以下の説明では上記CMなどの映像素材を特に挿入
素材と呼ぶ。さらに本発明の映像素材供給装置は、後述
するように、上記本局からの放送素材のトランスポート
・ストリームに上記挿入素材のトランスポート・ストリ
ームを挿入して再伝送(又は放送)するネットワーク構
成局に配されるものである。なお、本発明の内容は、I
SO13818−2、ISO11172−2のAnne
x Cの規定とISO13818−1のAnnex L
の規定を実現するためのものである。
【0058】本発明の映像素材供給装置では、上記複数
の挿入素材のトランスポート・ストリームをランダムに
組み合わせて接続可能とするために、上記複数の挿入素
材をそれぞれ圧縮符号化して生成した符号化ビット・ス
トリームのビット・レートをそれぞれ同一とし、また、
それぞれのトランスポート・ストリームを接続する点で
ある前記スプライス・ポイントでのVBVバッファ占有
量を前記vbv_delayに合わせて統一するように
している。
【0059】このことを実現する具体的構成例を図1に
示す。
【0060】この図1に示すネットワーク構成局20
は、挿入素材のプログラム・ソースps1,ps2,p
s3,ps4,・・・をそれぞれ圧縮符号化してトラン
スポート・ストリーム(TS1,TS2,TS3,TS4
・・・)を生成する各挿入素材符号化器110,12
0,130,140,・・・と、これら挿入素材符号化
器110,120,130,140,・・・にてそれぞ
れ生成された挿入素材のトランスポート・ストリーム
(TS1,TS2,TS3,TS4,・・・)を格納する素
材サーバ21とを有する。
【0061】ここで、各挿入素材符号化器110,12
0,130,140,・・・では、それぞれ供給される
プログラム・ソースps1,ps2,ps3,ps4,
・・・を符号化したときのビット・レートがそれぞれ同
一となるような符号化を行うと共に、各トランスポート
・ストリーム(TS1,TS2,TS3,TS4,・・・)
を例えばランダムに組み合わせて接続するようにした時
の接続点となるスプライス・ポイントにおけるVBVバ
ッファ占有量が、その後に接続されることになるトラン
スポート・ストリームの前記vbv_delayに合わ
せた目標バッファ占有量となるように統一している。
【0062】すなわち、各挿入素材符号化器110,1
20,130,140,・・・では、それぞれが生成し
た各トランスポート・ストリーム(TS1,TS2,TS
3,TS4,・・・)をランダムに組み合わせて接続する
ようなことを行ったときに、例えば図2に示すように、
それぞれの挿入素材のビット・レートが同一となるよう
なコントロールを行うと共に、スプライス後のピクチャ
が連続になるように、スプライス・ポイントにおけるV
BVバッファ占有量のコントロールとを行うようにして
いる。
【0063】図2の(A)には挿入素材として3つのC
M(CM1,CM2,CM3)を繋げたときの受信デコ
ーダ側でのVBVバッファのバッファ占有量の変化を示
し、図2の(B)には上記CM1,CM2,CM3の各
ピクチャを符号化するエンコーダ側でのピクチャの入力
順とトランスポート・パケットの伝送順を示している。
この図2も前述同様に、バッファ占有量を示す折れ線の
傾きはビット・レートを表し、当該折れ線で垂直に下が
っている部分は各ピクチャ再生のためにビデオデコーダ
が引き出すビット量を表している。また、図中IはIピ
クチャを、図中PはPピクチャを、図中BはBピクチャ
を示している。さらに、図中SPはスプライス・ポイン
トを、tcはスプライス・ポイントでトランスポート・
ストリームを接続したときに本来必要とされる目標のバ
ッファ占有量を示している。
【0064】この図2から判るように、それぞれ異なる
挿入素材である3つのCM1,CM2,CM3を接続し
た場合、各挿入素材のCM1,CM2,CM3のビット
・レートはそれぞれ同一となされており、また、各CM
1,CM2,CM3のトランスポート・ストリームのス
プライス・ポイント(SP)におけるVBVバッファ占
有量は、その後に接続されることになるトランスポート
・ストリームのvbv_delayに合わせた目標バッ
ファ占有量となるように統一されているため、これら3
つのCM1,CM2,CM3のトランスポート・ストリ
ームを接続したとしても、VBVバッファが破綻するこ
となく、また繋ぎ目の連続性を保つことができる。これ
により、復号化の際のピクチャがフリーズになることを
防止でき、さらに、複数の挿入素材のランダムな組み合
わせも可能となっている。
【0065】以下、上述したことを実現する図1の構成
についてより具体的に説明する。なお、上記各挿入素材
符号化器110,120,130,140は、それぞれ
同じ構成を有しているため、以下に代表して挿入素材符
号化器110を例に挙げて説明する。
【0066】図1において、挿入素材符号化器110の
端子111にはCM等の挿入素材のプログラム・ソース
ps1が供給され、端子112には上記端子111に供
給されたものと同一のプログラム・ソースps1が供給
される。ただし、上記端子112に供給されるプログラ
ム・ソースps1は、少なくとも後述するMPEGエン
コーダ113とホストCPU114での信号処理に要す
る時間以上、上記端子111に供給されるプログラム・
ソースps1よりも時間遅延されている必要がある。
【0067】当該挿入素材符号化器110は、上記端子
111を介して供給されるプログラム・ソースps1を
MPEG2の方式にて圧縮符号化する第1のMPEGエ
ンコーダ113と、同じく端子112を介して供給され
る上記プログラム・ソースps1をMPEG2の方式に
て圧縮符号化する第2のMPEGエンコーダ115と、
上記第1のMPEGエンコーダ113でのMPEG符号
化によるビット発生量の情報を受け取り、このビット発
生量の情報に基づいて、上記第2のMPEGエンコーダ
115での符号化をコントロールするホストCPU11
4と、上記第2のMPEGエンコーダ115からの符号
化ビット・ストリームを多重化してトランスポート・ス
トリーム(TS1)を生成出力するプライマリMUX
(マルチプレクサ)116とを有してなるものである。
【0068】上記第1のMPEGエンコーダ113で
は、例えば固定の量子化ステップサイズを用いたMPE
G2の圧縮符号化処理にて上記プログラム・ストリーム
ps1を符号化し、得られたビット発生量の情報をホス
トCPU114に伝送する。
【0069】一方、上記第2のMPEGエンコーダ11
4では、上記第1のMPEGエンコーダ113でのMP
EG符号化によるビット発生量の情報に基づいた上記ホ
ストCPU114のコントロールによって、前述したよ
うに各挿入素材でビット・レートが同一になるように上
記プログラム・ストリームps1を圧縮符号化すると共
に、後に各挿入素材のトランスポート・ストリームを接
続したときにスプライス後のピクチャが連続になるよう
に前記スプライス・ポイントのVBVバッファ占有量を
前記vbv_delayに合わせて統一するようにして
いる。
【0070】上述したようにして第2のMPEGエンコ
ーダ115にてプログラム・ソースps1が圧縮符号化
されて得られた符号化ビット・ストリーム(エレメンタ
リ・ストリーム、Elementary Stream:ES)は、プラ
イマリMUX116にてトランスポート・ストリーム
(TS1)になされた後、素材サーバ21に格納され
る。
【0071】上記素材サーバ21には、上述した挿入素
材符号化器110と同様の構成を有し且つ同様に動作す
る各挿入素材符号化器120,130,140,・・・
からのトランスポート・ストリーム(TS2,TS3,T
4,・・・)も格納される。
【0072】この素材サーバ21からは、ユーザの要望
に応じて各挿入素材のトランスポート・ストリームが取
り出され、当該ユーザの所望する組み合わせで接続され
て伝送されることになる。なお、この複数の挿入素材が
組み合わされて接続されたトランスポート・ストリーム
は後述するように本局からの放送素材のトランスポート
・ストリームに挿入されることになる。
【0073】上述した図1の構成では、それぞれ挿入素
材符号化器においてプログラム・ソースを2パスでMP
EG符号化処理するようにし、1パス目のMPEG符号
化手段(第1のMPEGエンコーダ113)にて生成し
たビット発生量に基づいて、2パス目のMPEG符号化
手段(第2のMPEGエンコーダ115)のコントロー
ルを行うようにしているが、このようにCM等の挿入素
材の符号化に上記2パスを使用することができるのは、
以下の理由による。すなわち、本局がリアルタイムで伝
送する放送素材のトランスポート・ストリームに対し、
ネットワーク構成局では独自にCMなどの挿入素材を予
め用意しておき、この挿入素材のトランスポート・スト
リームを上記本局から送られてくる放送素材のトランス
ポート・ストリームに挿入して再伝送(或いは放送)す
るわけであるから、挿入素材の準備はリアルタイム性が
要求されない。したがって、上述したような2パスを行
う時間的余裕があり、また、CMなどの品質を重視する
素材という観点からも上記2パスで処理することは望ま
しい。
【0074】次に、図3を用いて、上記本局からの放送
素材のトランスポート・ストリームに、上記ネットワー
ク構成局からのトランスポート・ストリームを挿入する
構成の説明を行う。
【0075】この図3において、放送局(本局)10
は、放送番組等の放送素材のプログラム・ソースを上記
MPEG2方式にて圧縮符号化し、トランスポート・ス
トリーム(TSM)として各ネットワーク構成局20,
30,40,・・・に供給する。
【0076】上記本局10からのトランスポート・スト
リーム(TSM)の供給を受ける各ネットワーク構成局
20,30,40,・・・は、それぞれが前記図1の構
成を有するものであり、前述したように予めCMなどの
挿入素材を上記MPEG2にて圧縮符号化したトランス
ポート・ストリームを素材サーバ21に格納している。
各ネットワーク構成局20,30,40,・・・はそれ
ぞれ同一の構成を有するため代表してネットワーク構成
局20を例に挙げて説明する。
【0077】ネットワーク構成局20において、素材サ
ーバ21には予めCMなどの複数の挿入素材を前述した
ように上記MPEG2にて圧縮符号化した複数のトラン
スポート・ストリーム(TSC2)を格納している。この
素材サーバ21は、インテリジェント・スイッチャ22
からの要求に合わせて、挿入素材のトランスポート・ス
トリーム(TSC2)を出力する。
【0078】インテリジェント・スイッチャ22は、上
記本局10から供給された放送素材のトランスポート・
ストリーム(TSM)を受信し、当該トランスポート・
ストリーム(TSM)内のスプライス・ポイント等か
ら、CM等を挿入する素材挿入区間及びその長さを検出
する。また、当該インテリジェント・スイッチャ22
は、当該ネットワーク構成局20にて予めセットした挿
入素材の送出表(例えばCM送出表)を保持しており、
当該挿入素材の送出表と上記検出した素材挿入区間及び
その長さとを照らし合わせて、上記素材サーバ21に対
して該当する挿入素材の出力要求を出す。これにより、
上記素材サーバ21からは、当該インテリジェント・ス
イッチャ22の要求に応じた挿入素材のトランスポート
・ストリーム(TSC2)が取り出される。インテリジェ
ント・スイッチャ22は、上記送出表に応じた取り出し
た各挿入素材(例えば前記CM1,CM2,CM3,・
・・)のトランスポート・ストリームを接続して上記放
送素材のトランスポート・ストリーム(TSM)の上記
素材挿入区間に挿入する。
【0079】上記インテリジェント・スイッチャ22の
出力は、上記放送素材のトランスポート・ストリームに
上記挿入素材のトランスポート・ストリームが挿入され
たトランスポート・ストリーム(TSB2)として、外部
に再伝送(または放送)される。上記ネットワーク構成
局20から再伝送されたトランスポート・ストリーム
(TSB2)は、その後例えば各家庭等に送られ、ここで
受信デコーダによって受信されると共に復号され、例え
ばビデオモニタやスピーカなどに送られることになる。
【0080】上述したように、本発明構成例において
は、それぞれ組み合わせを作るCMなどの挿入素材を、
同一ビット・レートとすることにより、挿入素材を符号
化するときのバッファ占有量制御がそのままスプライス
後のバッファ占有量に反映され、vbv_delayを
統一できる。このように、スプライス・ポイントのVB
Vバッファ占有量をvbv_delayに合わせて統一
できれば、挿入素材のトランスポート・ストリームを接
続したときの繋ぎ目を1ピクチャ間隔で連続にすること
ができる。これにより、本発明構成例においては、VB
Vバッファのオーバーフロウ/アンダーフロウの発生を
防止することができ、それぞれの挿入素材のランダムな
組み合わせ接続が可能になる。また、本発明構成例によ
れば、上記挿入素材をMPEGストリーム上でランダム
にスイッチングすることでランダムな組み合わせが可能
であるため、従来のように挿入素材の組み合わせ毎に符
号化して素材サーバで管理するようなことが不要とな
る。
【0081】さらに、本発明構成例においては、挿入素
材のトランスポート・ストリームは、前述したように2
パスによって予め作成するようにしているため、トラン
スポート・ストリームのスプライス後の連続性を保つた
めに必要なVBVバッファの占有量の条件を容易に満た
すことができ、また、個々のCM等の挿入素材単位で符
号化しておけばよく、挿入素材単位の共有化によるフレ
キシブルな運用が可能になる。
【0082】
【発明の効果】本発明においては、映像素材を圧縮符号
化する第1の圧縮符号化処理と、その映像素材と同一の
映像素材を圧縮符号化する第2の圧縮符号化処理と、第
1の圧縮符号化処理での圧縮符号化によるビット発生量
の情報に基づいて、映像素材の圧縮符号化後の符号化ビ
ット・ストリームのビット・レートを一定値にすると共
に、接続点において仮想的なバッファ検証器(VBVバ
ッファ)が目標バッファ占有量となるように第2の圧縮
符号化処理での符号化ビット・ストリームの生成を制御
する制御処理とを有することにより、異なる挿入素材同
士を接続したとしても、仮想的なバッファ検証器が破綻
することなく、また符号化ビット・ストリームを接続し
たときの繋ぎ目の連続性を保つことができ、復号化の際
の映像(ピクチャ)がフリーズになることを防止し、さ
らに、複数の挿入素材のランダムな組み合わせも可能と
なる。
【図面の簡単な説明】
【図1】本発明の映像素材供給装置の一構成例のシステ
ムを示すブロック回路図である。
【図2】本発明の映像素材供給装置にて挿入素材を接続
したときのデコーダ側でのVBVバッファ占有量と、各
挿入素材の各ピクチャを符号化するエンコーダ側でのピ
クチャの入力順及びトランスポート・パケットの伝送順
を示す図である。
【図3】本局とネットワーク構成局の構成を示す図であ
る。
【図4】MPEG2のトランスポート・ストリームのデ
ータ構造を示す図である。
【図5】ピクチャ・ヘッダのvbv_delayを毎回
見に行くような受信デコーダを用いた場合で、目標のバ
ッファ占有量の制約を満たせなかったときのVBVバッ
ファ占有量とピクチャの入力順及びトランスポート・パ
ケットの伝送順を示す図である。
【図6】ピクチャ・ヘッダのvbv_delayを毎回
見に行かないような受信デコーダを用いた場合で、目標
のバッファ占有量の制約を満たせなかったときのVBV
バッファ占有量とピクチャの入力順及びトランスポート
・パケットの伝送順を示す図である。
【図7】ピクチャ・ヘッダのvbv_delayを毎回
見に行くような受信デコーダを用いた場合で、素材のビ
ット・レートが異なるもの同士を接続した場合のVBV
バッファ占有量とピクチャの入力順及びトランスポート
・パケットの伝送順を示す図である。
【図8】ピクチャ・ヘッダのvbv_delayを毎回
見に行かないような受信デコーダを用いた場合で、素材
のビット・レートが異なるもの同士を接続した場合のV
BVバッファ占有量とピクチャの入力順及びトランスポ
ート・パケットの伝送順を示す図である。
【符号の説明】
20 ネットワーク構成局、 21 素材サーバ、 1
10 挿入素材符号化器、 113 第1のMPEGエ
ンコーダ、 114 ホストCPU、 115第2のM
PEGエンコーダ、 116 プライマリMUX

Claims (12)

    【特許請求の範囲】
  1. 【請求項1】 映像素材を圧縮符号化し、仮想的なバッ
    ファ検証器の要求する条件を満たした符号化ビット・ス
    トリームを生成すると共に、当該符号化ビット・ストリ
    ームを接続する際の接続点の情報を付加して供給する映
    像素材供給装置において、 映像素材を圧縮符号化する第1の圧縮符号化手段と、 上記第1の圧縮符号化手段が圧縮符号化した映像素材と
    同一の映像素材を圧縮符号化する第2の圧縮符号化手段
    と、 上記第1の圧縮符号化手段での圧縮符号化によるビット
    発生量の情報に基づいて、上記第2の圧縮符号化手段に
    対して、上記映像素材の圧縮符号化後の符号化ビット・
    ストリームのビット・レートを一定値にする制御を行う
    と共に、上記接続点において上記仮想的なバッファ検証
    器が目標バッファ占有量となるように上記符号化ビット
    ・ストリームの生成を制御する制御手段とを有すること
    を特徴とする映像素材供給装置。
  2. 【請求項2】 上記第2の圧縮符号化手段によって複数
    の映像素材を圧縮符号化して生成した複数の符号化ビッ
    ト・ストリームを格納する格納手段を設けることを特徴
    とする請求項1記載の映像素材供給装置。
  3. 【請求項3】 上記格納手段に格納した複数の映像素材
    の符号化ビット・ストリームを任意に組み合わせて接続
    する接続手段を設けることを特徴とする請求項2記載の
    映像素材供給装置。
  4. 【請求項4】 上記接続手段は、上記組み合わせて接続
    された符号化ビット・ストリームを、別の符号化ビット
    ・ストリーム内に挿入することも行うことを特徴とする
    請求項3記載の映像素材供給装置。
  5. 【請求項5】 上記第1,第2の圧縮符号化手段は、上
    記映像素材をMPEG2方式にて圧縮符号化することを
    特徴とする請求項1記載の映像素材供給装置。
  6. 【請求項6】 上記第2の圧縮符号化手段により生成さ
    れた符号化ビット・ストリームから、上記MPEG2方
    式の伝送形態のビット・ストリームを生成する伝送形態
    ビット・ストリーム生成手段を備えることを特徴とする
    請求項5記載の映像素材供給装置。
  7. 【請求項7】 映像素材を圧縮符号化し、仮想的なバッ
    ファ検証器の要求する条件を満たした符号化ビット・ス
    トリームを生成すると共に、当該符号化ビット・ストリ
    ームを接続する際の接続点の情報を付加して供給する映
    像素材供給方法において、 映像素材を圧縮符号化する第1の圧縮符号化工程と、 上記第1の圧縮符号化工程で圧縮符号化した映像素材と
    同一の映像素材を圧縮符号化する第2の圧縮符号化工程
    と、 上記第1の圧縮符号化工程での圧縮符号化によるビット
    発生量の情報に基づいて、上記第2の圧縮符号化工程に
    対して、上記映像素材の圧縮符号化後の符号化ビット・
    ストリームのビット・レートを一定値にする制御を行う
    と共に、上記接続点において上記仮想的なバッファ検証
    器が目標バッファ占有量となるように上記符号化ビット
    ・ストリームの生成を制御する制御工程とを有すること
    を特徴とする映像素材供給方法。
  8. 【請求項8】 上記第2の圧縮符号化工程によって複数
    の映像素材を圧縮符号化して生成した複数の符号化ビッ
    ト・ストリームを格納する格納工程を設けることを特徴
    とする請求項7記載の映像素材供給方法。
  9. 【請求項9】 上記格納工程にて格納した複数の映像素
    材の符号化ビット・ストリームを任意に組み合わせて接
    続する接続工程を設けることを特徴とする請求項8記載
    の映像素材供給方法。
  10. 【請求項10】 上記接続工程では、上記組み合わせて
    接続された符号化ビット・ストリームを、別の符号化ビ
    ット・ストリーム内に挿入することも行うことを特徴と
    する請求項9記載の映像素材供給方法。
  11. 【請求項11】 上記第1,第2の圧縮符号化工程で
    は、上記映像素材をMPEG2方式にて圧縮符号化する
    ことを特徴とする請求項7記載の映像素材供給方法。
  12. 【請求項12】 上記第2の圧縮符号化工程により生成
    された符号化ビット・ストリームから、上記MPEG2
    方式の伝送形態のビット・ストリームを生成する伝送形
    態ビット・ストリーム生成工程を備えることを特徴とす
    る請求項11記載の映像素材供給方法。
JP09159796A 1996-04-12 1996-04-12 映像素材供給装置及び方法 Expired - Lifetime JP3617177B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP09159796A JP3617177B2 (ja) 1996-04-12 1996-04-12 映像素材供給装置及び方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP09159796A JP3617177B2 (ja) 1996-04-12 1996-04-12 映像素材供給装置及び方法

Publications (2)

Publication Number Publication Date
JPH09284762A true JPH09284762A (ja) 1997-10-31
JP3617177B2 JP3617177B2 (ja) 2005-02-02

Family

ID=14030974

Family Applications (1)

Application Number Title Priority Date Filing Date
JP09159796A Expired - Lifetime JP3617177B2 (ja) 1996-04-12 1996-04-12 映像素材供給装置及び方法

Country Status (1)

Country Link
JP (1) JP3617177B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000003541A1 (en) * 1998-07-13 2000-01-20 Sony Corporation Data multiplexer, program distribution system, program transmission system, toll broadcast system, program transmission method, limited receiving system, and data receiver
JP2001128181A (ja) * 1999-10-26 2001-05-11 Matsushita Electric Ind Co Ltd デジタル放送における広告放送挿入のための方法および装置
JP2001313936A (ja) * 2000-04-28 2001-11-09 Sony Corp 信号送出方法及び信号送出装置
US6970564B1 (en) 1998-07-13 2005-11-29 Sony Corporation Data multiplexing device, program distribution system, program transmission system, pay broadcast system, program transmission method, conditional access system, and data reception device
US7023992B1 (en) 1997-06-11 2006-04-04 Sony Corporation Data multiplexing device, program distribution system, program transmission system, pay broadcast system, program transmission method, conditional access system, and data reception device
WO2006059885A1 (en) * 2004-12-03 2006-06-08 Electronics And Telecommunications Research Institute Method for controlling video encoding bit rate based on transport packet length, and apparatus for coding video using the same
US7113523B1 (en) 1997-06-11 2006-09-26 Sony Corporation Data multiplexing device, program distribution system, program transmission system, pay broadcast system, program transmission method, conditional access system, and data reception device

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4207072B2 (ja) 2006-04-07 2009-01-14 ソニー株式会社 情報処理装置および情報処理方法、記録媒体、並びに、プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07107300A (ja) * 1993-10-06 1995-04-21 Fuji Xerox Co Ltd 画像符号化装置
JPH07135658A (ja) * 1993-11-09 1995-05-23 Matsushita Electric Ind Co Ltd 動画像符号化装置
JPH07264580A (ja) * 1994-03-17 1995-10-13 Toshiba Corp 映像信号伝送方法並びに映像信号送信装置及び映像信号受信装置
JPH0865632A (ja) * 1994-08-25 1996-03-08 Matsushita Electric Ind Co Ltd 画像符号化方法と編集装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07107300A (ja) * 1993-10-06 1995-04-21 Fuji Xerox Co Ltd 画像符号化装置
JPH07135658A (ja) * 1993-11-09 1995-05-23 Matsushita Electric Ind Co Ltd 動画像符号化装置
JPH07264580A (ja) * 1994-03-17 1995-10-13 Toshiba Corp 映像信号伝送方法並びに映像信号送信装置及び映像信号受信装置
JPH0865632A (ja) * 1994-08-25 1996-03-08 Matsushita Electric Ind Co Ltd 画像符号化方法と編集装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7023992B1 (en) 1997-06-11 2006-04-04 Sony Corporation Data multiplexing device, program distribution system, program transmission system, pay broadcast system, program transmission method, conditional access system, and data reception device
US7072472B2 (en) 1997-06-11 2006-07-04 Sony Corporation Data multiplexing device, program distribution system, program transmission system, pay broadcast system, program transmission method, conditional access system, and data reception device
US7072471B2 (en) 1997-06-11 2006-07-04 Sony Corporation Data multiplexing device, program distribution system, program transmission system, pay broadcast system, program transmission method, conditional access system, and data reception device
US7082197B2 (en) 1997-06-11 2006-07-25 Sony Corporation Data multiplexing device, program distribution system, program transmission system, pay broadcast system, program transmission method, conditional access system, and data reception device
US7085381B2 (en) 1997-06-11 2006-08-01 Sony Corporation Data multiplexing device, program distribution system, program transmission system, pay broadcast system, program transmission method, conditional access system, and data reception device
US7113523B1 (en) 1997-06-11 2006-09-26 Sony Corporation Data multiplexing device, program distribution system, program transmission system, pay broadcast system, program transmission method, conditional access system, and data reception device
US7769053B2 (en) 1997-06-11 2010-08-03 Sony Corporation Data multiplexing device, program distribution system, program transmission system, pay broadcast system, program transmission method, conditional access system, and data reception device
WO2000003541A1 (en) * 1998-07-13 2000-01-20 Sony Corporation Data multiplexer, program distribution system, program transmission system, toll broadcast system, program transmission method, limited receiving system, and data receiver
US6970564B1 (en) 1998-07-13 2005-11-29 Sony Corporation Data multiplexing device, program distribution system, program transmission system, pay broadcast system, program transmission method, conditional access system, and data reception device
JP2001128181A (ja) * 1999-10-26 2001-05-11 Matsushita Electric Ind Co Ltd デジタル放送における広告放送挿入のための方法および装置
JP2001313936A (ja) * 2000-04-28 2001-11-09 Sony Corp 信号送出方法及び信号送出装置
WO2006059885A1 (en) * 2004-12-03 2006-06-08 Electronics And Telecommunications Research Institute Method for controlling video encoding bit rate based on transport packet length, and apparatus for coding video using the same

Also Published As

Publication number Publication date
JP3617177B2 (ja) 2005-02-02

Similar Documents

Publication Publication Date Title
US6414998B1 (en) Method and apparatus for inserting an image material
EP0944249B1 (en) Encoded stream splicing device and method, and an encoded stream generating device and method
CA2234490C (en) Timing correction method and apparatus
US5859660A (en) Non-seamless splicing of audio-video transport streams
US6993081B1 (en) Seamless splicing/spot-insertion for MPEG-2 digital video/audio stream
KR100362092B1 (ko) 압축된패킷화디지털비디오스트림을접속하기위한방법및그장치
KR100398610B1 (ko) 멀티미디어 컨텐츠에 동기화된 메타데이터 전송 장치 및방법
US6584120B1 (en) Data multiplexing apparatus and method
JP2000083226A (ja) バッファ機構及びタ―ゲットシステム復号化器及びデ―タのバッファ化方法
JPWO1999018720A1 (ja) 符号化ストリームスプライシング装置及び方法、並びに符号化ストリーム生成装置及び方法
JP2003199045A (ja) 情報記録信号の生成方法、情報信号の再生方法、情報信号の伝送方法、情報記録信号生成装置、情報信号再生装置、情報信号伝送装置、情報信号記録媒体、及び情報信号伝送用プログラム
JP3804099B2 (ja) 映像素材供給装置及び方法、映像素材挿入装置及び方法
JP3617177B2 (ja) 映像素材供給装置及び方法
CN100563349C (zh) 再现设备和方法
JPH09284763A (ja) 映像素材供給装置及び方法
JPH11205789A (ja) Mpeg2トランスポートストリーム伝送レート変換装 置
JP4192766B2 (ja) 受信装置および方法、記録媒体、並びにプログラム
JPH09312656A (ja) 伝送装置およびその方法
JPH099215A (ja) データ多重方法、データ伝送方法、及び多重データ復号方法、多重データ復号装置
JP2000041218A (ja) 画像データ送信装置および方法、画像データ受信装置および方法、並びに提供媒体
JP3671969B2 (ja) データ多重方法及び多重データ復号方法
JPH1083632A (ja) ディジタル信号符号化方法および装置、ディジタル信号伝送方法、並びに信号記録媒体
JP2002344890A (ja) データ記録再生装置
JPH114220A (ja) データ処理装置
JPH11164269A (ja) データ伝送装置、データ受信装置およびデータ伝送方法

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20041019

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20041101

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071119

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081119

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091119

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091119

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101119

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111119

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121119

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121119

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131119

Year of fee payment: 9

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term