JPH10271463A - データ多重化装置およびその方法 - Google Patents

Abstract

(57)【要約】 【課題】残り記憶容量を考慮せず、浮動小数点演算を用
いない簡単なアルゴリズムで、受信バッファに破綻せな
いように、音声・映像データを多重化する。 【解決手段】ＣＰＵ４２４は、映像フレームに対して端
数なく映像データを配分するようにビデオエンコーダ２
０の発生データ量を制御する。ＣＰＵ４２４は、オーデ
ィオエンコーダ２４が生成する音声データのデータレー
トに基づいて、１フレームごとに多重化する音声データ
のデータ量Ａ、および、所定数のフレーム、例えば３０
フレームごとに多重化する音声データのデータ量Ｂを算
出し、３０フレームの間に多重化した音声データのデー
タ量Ｃが、データ量Ｂより多いか否かに応じてデータ量
Ａに１を加算し、データ量Ｄを算出する。さらに、ＣＰ
Ｕ４２４は、データ多重化装置２の各構成部分を制御
し、一定量の映像データと、フレームごとに算出したデ
ータ量Ｄの音声データとを多重化する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、映像データおよび
音声データ（音声・映像データ）を多重化し、伝送する
ためのトランスポートストリームを生成するデータ多重
化装置およびその方法に関する。

【０００２】

【従来の技術】映像データおよび音声データ（音声・映
像データ）をＭＰＥＧ方式等により圧縮符号化し、所定
の伝送パケットに多重化してトランスポートストリーム
を生成し、視聴者に配信するディジタルテレビジョン放
送が実用化されている。音声・映像データを多重化する
場合、伸長復号装置のバッファ残量を考慮する必要があ
る。つまり、送信側で、ＭＰＥＧ等の規格において定め
られている伸長復号装置の受信バッファ（音声の場合４
ｋＢ）にオーバーフローもアンダーフローも（破綻が）
生じないように計画して音声・映像データを多重化する
必要がある。

【０００３】しかしながら、受信バッファに破綻が生じ
なくても、例えば、音声データに１秒の時間間隔が空く
場合等、データの伝送間隔が広すぎると、受信側で正常
に音声データを再生できなくなる可能性が生じる。ま
た、受信バッファが破綻しないように音声・映像データ
の圧縮符号化および多重化を計画するためのアルゴリズ
ムは複雑であり、浮動小数点演算を要するため所持時間
が長くかかる。

【０００４】

【発明が解決しようとする課題】本発明は上述した従来
技術の問題点に鑑みてなされたものであり、ディジタル
テレビジョン放送設備等において、受信側の伸長復号装
置の受信バッファの残り記憶容量を考慮せず、しかも、
浮動小数点演算を用いない整数演算のみの簡単なアルゴ
リズムで、受信バッファに破綻を生じさせないように、
音声・映像データを伝送パケットに多重化し、トランス
ポートストリームを生成することができるデータ多重化
装置およびその方法を提供することを目的とする。ま
た、本発明は、常に、受信側において正常に音声・映像
データを再生することができるように、音声・映像デー
タを伝送パケットに多重化し、トランスポートストリー
ムを生成することができるデータ多重化装置およびその
方法を提供することを目的とする。

【０００５】

【課題を解決するための手段】上記目的を達成するため
に、本発明にかかるデータ多重化装置は、端数が生じな
いように、映像データの映像フレーム周期それぞれに生
成した映像データを等しいデータ量ずつ配分することが
できる条件を満たす目標データ量を算出する映像目標デ
ータ量算出手段と、算出した前記目標データ量と等しい
データ量の映像データを生成する映像データ生成手段
と、前記映像フレーム周期と異なる音声フレーム周期ご
とに、所定のデータ量の音声データを生成する音声デー
タ生成手段と、生成した前記音声データを、前記映像フ
レーム周期それぞれにほぼ等しいデータ量ずつ配分する
音声データ配分手段と、前記映像フレーム周期ごとに、
前記等しいデータ量の映像データ、および、配分した前
記音声データを、所定のトランスポートストリームに多
重化する多重化手段とを有する。

【０００６】好適には、前記映像データ生成手段は、非
圧縮映像データを圧縮して、前記目標データ量に適合す
るデータレートの前記映像データを生成する。

【０００７】好適には、前記音声データ配分手段は、所
定数の前記映像フレーム周期の間に多重化する前記音声
データの目標データ量を算出する音声目標データ量算出
手段と、当該映像フレーム周期の過去、前記所定数の前
記映像フレーム周期の間に多重化した前記音声データの
データ量を計数する音声データ計数手段と、算出した前
記音声データの目標データ量、および、計数した前記音
声データのデータ量とに基づいて、当該映像フレーム周
期に配分する前記音声データのデータ量を算出する音声
データ配分量算出手段とを有する。

【０００８】好適には、前記音声データおよび前記映像
データに付加する付加データを生成する付加データ生成
手段をさらに有し、前記多重化手段は、生成した付加デ
ータを、さらに前記所定のトランスポートストリームに
多重化する。

【０００９】映像目標データ量算出手段は、映像データ
のフレーム周期（映像フレーム周期）それぞれに、例え
ば、バイト単位で端数のない等しいデータ量の映像デー
タを配分することができるように、映像データ生成手段
が所定の単位時間〔例えば、３０映像フレーム周期分の
時間（１秒）〕ごとに生成すべき映像データのデータ量
を示す目標データ量を算出する。

【００１０】映像データ生成手段は、例えば、非圧縮映
像データをＭＰＥＧ方式で圧縮符号化し、上記単位時間
ごとに、映像目標データ量算出手段が算出した目標デー
タ量と等しいデータ量の圧縮映像データを生成する。

【００１１】音声データ生成手段は、例えば、非圧縮音
声データをＭＰＥＧ方式で圧縮符号化し、音声データの
サンプリング周期ごとに一定のデータ量の圧縮音声デー
タを生成する。付加データ生成手段は、例えば、複数言
語の字幕を多重化する際に用いられる付加データ（プラ
イベートデータ）等を生成する。

【００１２】音声データ配分手段は、例えば、上記単位
時間の間に多重化すべき音声データのデータ量を示す音
声データの目標データ量を算出する（音声目標データ量
算出手段）。次に、音声データ配分手段は、映像フレー
ム周期ごとに、その映像フレーム周期の過去、上記単位
時間の間に多重化手段が多重化した圧縮音声データのデ
ータ量を計数する（音声データ計数手段）。

【００１３】さらに、音声データ配分手段は、例えば、
計数した音声データのデータ量が、算出した音声データ
の目標データ量より多いか否かに応じて、上記単位時間
の間に多重化すべき音声データのデータ量を、上記単位
時間に含まれる映像フレーム周期の数で除算し、小数点
以下を切り捨てて得られるデータ量に１を加算し、その
映像フレーム周期に配分する音声データのデータ量を算
出する（音声データ配分量算出手段）。

【００１４】多重化手段は、生成された映像データを、
映像フレーム周期に同期して、映像フレーム周期ごと
に、等量の圧縮映像データ、その映像フレーム周期に配
分されたデータ量の音声データ、および、生成した付加
データを、伝送用パケットに多重化し、トランスポート
ストリームを生成する。

【００１５】また、本発明に係るデータ多重化方法は、
端数が生じないように、映像データの映像フレーム周期
それぞれに生成した映像データを等しいデータ量ずつ配
分することができる条件を満たす目標データ量を算出
し、算出した前記目標データ量と等しいデータ量の映像
データを生成し、前記映像フレーム周期と異なる音声フ
レーム周期ごとに、所定のデータ量の音声データを生成
し、生成した前記音声データを、前記映像フレーム周期
それぞれにほぼ等しいデータ量ずつ配分し、前記映像フ
レーム周期ごとに、前記等しいデータ量の映像データ、
および、配分した前記音声データを、所定の伝送パケッ
トに多重化し、トランスポートストリームを生成する。

【００１６】好適には、非圧縮映像データを圧縮して、
前記目標データ量に適合するデータレートの前記映像デ
ータを生成する。

【００１７】好適には、所定数の前記映像フレーム周期
の間に多重化する前記音声データの目標データ量を算出
し、当該映像フレーム周期の過去、前記所定数の前記映
像フレーム周期の間に多重化した前記音声データのデー
タ量を計数し、算出した前記音声データの目標データ
量、および、計数した前記音声データのデータ量とに基
づいて、当該映像フレーム周期に配分する前記音声デー
タのデータ量を算出する。

【００１８】好適には、前記音声データおよび前記映像
データに付加する付加データを生成し、生成した付加デ
ータを、さらに前記所定のトランスポートストリームに
多重化する。

【００１９】

【発明の実施の形態】第１実施例 以下、本発明の第１の実施例を説明する。

【００２０】データ多重化装置１の構成 図１は、第１の実施例として示す本発明に係るデータ多
重化装置１の構成を示す図である。図１に示すように、
データ多重化装置１は、ビデオエンコーダ(video encod
er) ２０、オーディオエンコーダ(audio encoder) ２４
およサブタイトルエンコーダ(subtitle encoder)２８お
よび多重化装置(multiplexer) １０から構成され、多重
化装置１０は、バッファメモリ(buffer)１００およびト
ランスポートストリーム生成装置(transport stream ma
ker)１０２から構成される。

【００２１】データ多重化装置１は、これらの構成部分
により、ビデオエンコーダ２０、オーディオエンコーダ
２４およびサブタイトルエンコーダ２８それぞれにより
エンコードされた映画あるいは音楽プロモーション用の
ビデオストリーム(video stream)、オーディオストリー
ム(audio stream)およびサブタイトルストリーム(subti
tle stream) を１つに多重化してトランスポートストリ
ーム(transport stream)を生成する。

【００２２】ビデオエンコーダ２０ ビデオエンコーダ２０は、編集装置等の外部機器（図示
せず）から入力される映像データを、例えばＭＰＥＧ２
方式等により圧縮符号化し、比較的長い一定時間ごとに
ほぼ等しいデータ量のビデオストリームを生成する固定
レート符号化を行い、多重化装置１０のバッファメモリ
１００に対して出力する。従って、ビデオエンコーダ２
０が生成するビデオストリームの映像フレームごとのデ
ータレートは平均してほぼ一定である。

【００２３】オーディオエンコーダ２４ オーディオエンコーダ２４は、外部機器から入力される
音声データを、例えばＭＰＥＧ２方式等により圧縮符号
化し、音声フレーム〔２４ｍｓ，２６．１ｍｓ，３６ｍ
ｓ＝音声データのサンプリング周期（１１５２／４８ｋ
Ｈｚ，１１５２／４４．１ｋＨｚ，１１５２／３２ｋＨ
ｚ）〕ごとに等しいデータ量のオーディオストリームを
生成し、多重化装置１０のバッファメモリ１００に対し
て出力する。

【００２４】サブタイトルエンコーダ２８ サブタイトルエンコーダ２８は、サブタイトルデータを
生成する外部機器から入力されるサブタイトルデータ
を、線形量子化処理および固定長符号化処理によりエン
コードし、サブタイトルストリームとして多重化装置１
０のバッファメモリ１００に対して出力する。

【００２５】バッファメモリ１００ 多重化装置１０のバッファメモリ１００は、ビデオエン
コーダ２０、オーディオエンコーダ２４およびサブタイ
トルエンコーダ２８からそれぞれ入力されるビデオスト
リーム、オーディオストリームおよびサブタイトルスト
リームをバッファリングしてトランスポートストリーム
生成装置１０２に対して出力する。トランスポートスト
リーム生成装置１０２は、例えば、マイクロプロセッサ
（ＣＰＵ）等を用いた高速コンピュータから構成され、
バッファメモリ１００にバッファリングされたビデオス
トリーム、オーディオストリームおよびサブタイトルス
トリーム（それぞれをエレメンタリストリームとも記
す）を所定のタイミングで読み出してスケジューリング
を行い、トランスポートストリームの伝送フォーマット
に合わせてヘッダ等を付加してトランスポートストリー
ムを生成し、出力する。

【００２６】第１の実施例として示したデータ多重化装
置１によれば、映画等の音声データ、映像データおよび
サブタイトルデータをＭＰＥＧ方式等により圧縮符号化
し、圧縮符号化したこれらのデータを多重化して１つの
トランスポートストリームを生成し、出力することがで
きる。

【００２７】第２実施例 以下、本発明の第２の実施例を説明する。

【００２８】第１の実施例として示したデータ多重化装
置１は、バッファメモリ１００が全てのエレメンタリス
トリームをバッファメモリ１００に一度、蓄積し、さら
に、トランスポートストリーム生成装置１０２のＣＰＵ
がスケジューリングおよびヘッダ(header)の付加等の処
理を行ってトランスポートストリームを生成する。この
ように、処理を行うＣＰＵが直接、ＣＰＵがエレメンタ
リストリームの各ワード（バイト）に対してデータバス
を介してアクセスして処理を行うことによりトランスポ
ートストリームを生成する方法は、トランスポートスト
リーム生成装置１０２のデータバスに生じるバスネック
等が原因となって高速処理ができず、高速なトランスポ
ートストリームの生成に適用しえない。

【００２９】第２の実施例として示す本発明に係るデー
タ多重化装置２は、かかるデータ多重化装置１の問題点
を解決するための装置であり、エレメンタリストリーム
多重化のスケジューリングを行う制御系と、直接にエレ
メンタリストリームを多重化する多重化系とを分離する
ことにより高速なトランスポートストリームの生成を可
能としている。

【００３０】図２は、本発明に係るデータ多重化装置２
の構成を示す図である。図３は、図２に示したビデオエ
ンコーダ２０の構成を示す図である。図４は、図２に示
したオーディオエンコーダ２４の構成を示す図である。

【００３１】データ多重化装置２の構成 図２に示すように、データ多重化装置２は、ビデオエン
コーダ２０、オーディオエンコーダ２４、サブタイトル
エンコーダ２８、多重化系１２および制御系４２から構
成される。

【００３２】多重化系１２は、入力用のＦＩＦＯメモリ
３２ａ，３２ｂ，３２ｃ、第１のスイッチ回路(swich)
３４、第２のスイッチ回路３６、出力用のＦＩＦＯメモ
リ３８およひＳＣＳＩ(small computer system interfa
ce) インターフェース回路（ＳＣＳＩＩＦ回路）４０か
ら構成される。制御系４２は、データサイズ計数用イン
ターフェース回路（データサイズＩＦ）３０ａ，３０
ｂ，３０ｃ、ＲＡＭ４３０、イーサネットインターフェ
ース回路（ether-net interface;ＥＮＩＦ回路）４２
０、シリアルインターフェース回路（serial interfac
e; ＳＩＦ回路）４２２、ＣＰＵ４２４、処理用ＲＡＭ
４２６および制御データ用ＲＡＭ４２８がＣＰＵバスを
介して相互に接続された構成を採る。

【００３３】ビデオエンコーダ２０ ビデオエンコーダ２０は、図３に示すように、加算回路
２０２、ＤＣＴ回路２０４、量子化回路(quantize)２０
６、逆量子化回路(I quantize)２０８、逆ＤＣＴ回路(I
DCT) ２１０、加算回路２１２、フレームメモリ回路２
１６、可変長符号化回路（ＶＬＣ回路）２１８、ビット
レート制御回路(bit rate control)２２０、可変長符号
バッファ（ＶＬＣバッファ）２２２から構成される。

【００３４】ＣＰＵ４２４は、ビットレート制御回路２
２０に対して目標データ量ｖｉｄｅｏ＿ｒａｔｅ＿ｔａ
ｒｇｅｔを設定する。ビットレート制御回路２２０は、
可変長符号化回路２１８が実際に生成したビデオストリ
ーム(MPEG Video stream) のデータ量に基づいて、圧縮
符号化後のデータ量が、設定された目標データ量ｖｉｄ
ｅｏ＿ｒａｔｅ＿ｔａｒｇｅｔと等しくなるように量子
化回路２０６を制御する。

【００３５】ＣＰＵ４２４の目標データ量ｖｉｄｅｏ＿
ｒａｔｅ＿ｔａｒｇｅｔの設定およびビットレート制御
回路２２０の制御により、データ多重化装置２の各構成
部分は、外部機器から入力される映像データVideoIN を
ＭＰＥＧ２方式により圧縮符号化し、目標データ量ｖｉ
ｄｅｏ＿ｒａｔｅ＿ｔａｒｇｅｔとほぼ等しいデータ量
のビデオストリームを生成し、データ多重化装置２のデ
ータサイズＩＦ３０ａおよびＦＩＦＯメモリ３２ａに対
して出力する。

【００３６】オーディオエンコーダ２４ オーディオエンコーダ２４は、図４に示すように、サブ
バンド分析フィルタバンク（ＳＡＦＢ）２４０、線形量
子化回路２４２、ビット圧縮回路２４４、ＦＦＴ(fast
fourier transfer) 回路２４６、心理聴覚モデル２４
８、動的ビット割り当て回路２５０、スケールファクタ
選択情報記憶回路２５２、スケールファクタ抽出回路２
５４、サイド情報符号化回路２５６およびビットストリ
ーム生成回路２５８から構成され、外部機器から入力さ
れた音声データ（Ａｕｄｉｏ入力）を、ＭＰＥＧ２方式
により圧縮符号化し、オーディオストリーム(MPEG Audi
o stream) を生成し、データ多重化装置２のデータサイ
ズＩＦ３０ｂおよびＦＩＦＯメモリ３２ｂに対して出力
する。

【００３７】サブタイトルエンコーダ２８ サブタイトルエンコーダ２８は、第１の実施例において
と同様に、外部機器から入力されるサブタイトルデータ
等のプライベートデータをエンコードする。なお、サブ
タイトルエンコーダ２８は、エンコード済みサブタイト
ルデータを外部機器から直接、受け取ってもよく、例え
ば、ＥＮＩＦ回路４２０がイーサネットワーク等のＬＡ
Ｎを介して、または、ＳＩＦ４２２がシリアルラインを
介してエンコード済みサブタイトルデータを受け取り、
ＣＰＵバスを介してＲＡＭ４３０に対して出力する。エ
ンコード済みサブタイトルデータは、エンコード済みの
ビデオデータあるいはエンコード済みのオーディオデー
タに比べ、データ量が極端に少なく、ＣＰＵバスを介し
て伝送しても、ＣＰＵバスのデータトラフィックに影響
を与えないので、問題が生じることはない。

【００３８】この場合、エンコード済みのサブタイトル
データに付されているヘッダに書かれたヘッダサイズを
ＥＮＩＦ回路４２０またはＳＩＦ４２２が検出し、検出
したヘッダサイズをＣＰＵバスを介してＣＰＵ４２４に
対して出力する。また、ＲＡＭ４３０は、ＣＰＵ４２４
の制御に従って、入力されたエンコード済みのサブコー
ドデータをスイッチ回路３４の入力端子ｂに対して出力
する。

【００３９】ＦＩＦＯメモリ３２ａ，３２ｂ，３２ｃ 多重化系１２（図１）において、ＦＩＦＯメモリ３２
ａ，３２ｂ，３２ｃはそれぞれ、ビデオエンコーダ２
０、オーディオエンコーダ２４およびサブタイトルエン
コーダ２８からそれぞれ入力されるビデオストリーム、
オーディオストリームおよびサブタイトルストリームを
バッファリングし、スイッチ回路３４の入力端子ａ，
ｂ，ｃに対して出力する。

【００４０】スイッチ回路３４ スイッチ回路３４は、制御信号(control) を介した多重
化系１２の制御に従って、入力端子ａ，ｂ，ｃ，ｄのい
ずれかを選択し、これらの入力端子それぞれに入力され
るエレメンタリストリームのいずれかを選択して多重化
し、スイッチ回路３６の入力端子ｂに対して出力する。
なお、スイッチ回路３４は、入力端子のいずれにも入力
されるエレメンタリストリームがない場合、あるいは、
スタッフィング処理を行う場合等は、入力端子ａ，ｂ，
ｃ，ｄのいずれをも選択せず、所定のブランクデータ
（連続した論理値１または０）を出力する。

【００４１】スイッチ回路３６ スイッチ回路３６は、制御信号(control) を介した多重
化系１２の制御に従って、入力端子ａ，ｂのいずれかを
選択し、入力端子ｂにスイッチ回路３４から入力される
エレメンタリストリームのいずれか、または、入力端子
ａに処理用ＲＡＭ４２６から入力されるプライベートデ
ータストリーム（ヘッダデータ）を選択して多重化し、
ＦＩＦＯメモリ３８およびＳＣＳＩＩＦ回路４０に対し
て出力する。

【００４２】ＦＩＦＯメモリ３８ ＦＩＦＯメモリ３８は、スイッチ回路３６が多重化した
データストリームをバッファリングし、トランスポート
ストリームとして通信回線等の外部機器（図示せず）に
対して出力する。

【００４３】ＳＣＳＩＩＦ回路４０ ＳＣＳＩＩＦ回路４０は、スイッチ回路３６が多重化し
たデータストリームを、ハードディスク装置(HDD) ある
いは光磁気ディスク装置(MOD) の記録装置等（図示せ
ず）に対して出力し、記録させる。

【００４４】データ量ＩＦ３０ａ，３０ｂ，３０ｃ 制御系４２において、データサイズＩＦ３０ａ，３０
ｂ，３０ｃはそれぞれ、ビデオエンコーダ２０、オーデ
ィオエンコーダ２４およびサブタイトルエンコーダ２８
から入力されるビデオストリーム、オーディオストリー
ムおよびサブタイトルストリームのフレームごとのデー
タサイズ(size)を計数し、ＣＰＵバスを介してＣＰＵ４
２４に対して出力する。

【００４５】なお、データサイズの計数は、データサイ
ズＩＦ３０ａ，３０ｂ，３０ｃに内蔵されたカウンタに
より行われる。また、データサイズの計数は、ビデオエ
ンコーダ２０、オーディオエンコーダ２４およびサブタ
イトルエンコーダ２８が出力する各エレメンタリースト
リームのフレームごとのデータサイズを、データサイズ
ＩＦ３０ａ，３０ｂ，３０ｃが検出することによっても
可能である。

【００４６】ＥＮＩＦ回路４２０ ＥＮＩＦ回路４２０は、イーサネット等のＬＡＮ（図示
せず）を介して入力されてくるプライベートデータ(pri
vate data)を受け入れ、ＣＰＵバスを介してＣＰＵ４２
４に対して出力する。

【００４７】ＳＩＦ回路４２２ ＳＩＦ回路４２２は、例えばコンピュータから入力され
るシリアル形式のプライベートデータを受け入れ、ＣＰ
Ｕ４２４に対して出力する。なお、プライベートデータ
の例として、上述したサブタイトルデータ、クローズド
キャプションデータおよびユーザーデータを挙げること
ができる。

【００４８】ＣＰＵ４２４ ＣＰＵ４２４は、例えば、マイクロプロセッサおよびプ
ログラム格納用のＲＯＭおよびこれらの周辺回路から構
成され、データサイズＩＦ３０ａ，３０ｂ，３０ｃ、Ｅ
ＮＩＦ回路４２０およびＳＩＦ回路４２２から入力され
るデータサイズを処理用ＲＡＭ４２６に記憶し、ＦＩＦ
Ｏメモリ３２ａ，３２ｂ，３２ｃ等の残り記憶容量（バ
ッファ残量）および処理用ＲＡＭ４２６に記憶したデー
タサイズに基づいて、エレメンタリストリームの多重化
の順番、多重化のタイミング調整およびスケジューリン
グ等の多重化方法の計画を行い、計画した多重化方法に
従ってスイッチ回路３４，３６の多重化動作をＣＰＵバ
スを介して制御する。

【００４９】また、制御データ用ＲＡＭ４２８は、ＣＰ
Ｕ４２４の処理にかかわる制御用のデータを記憶してお
り、ＣＰＵ４２４は、制御データ用ＲＡＭ４２８に記憶
された制御データを用いたスケジューリングに従って、
ヘッダデータを処理用ＲＡＭ４２６上に作成し、スイッ
チ回路３６の入力端子ａに対して出力する。

【００５０】また、ヘッダデータの一部は、ＥＮＩＦ回
路２４０またはＳＩＦ回路４２２を介して入力され、Ｒ
ＡＭ４２６に記憶されたプライベートデータ（ユーザー
データ）に基づいて作成される場合もある。

【００５１】データ多重化装置２の動作 以下、第２実施例におけるデータ多重化装置２の動作を
説明する。ビデオエンコーダ２０、オーディオエンコー
ダ２４およびサブタイトルエンコーダ２８はそれぞれ、
入力される映像データ、音声データおよびサブタイトル
データをエンコードする。データサイズＩＦ３０ａ，３
０ｂ，３０ｃはそれぞれ、ビデオストリーム、オーディ
オストリームおよびサブタイトルストリームのデータサ
イズを計数し、ＣＰＵ４２４に対して出力する。

【００５２】なお、サブタイトルエンコーダ２８ではな
く、ＥＮＩＦ回路４２０がイーサネット等のＬＡＮを介
して、または、ＳＩＦ回路４２２がシリアルラインを介
してエンコード済みのサブタイトルデータを受け取る場
合には、ＥＮＩＦ回路４２０またはＳＩＦ回路４２２が
データサイズを検出し、ＣＰＵバスを介してＣＰＵ４２
４に対して出力する。また、ＲＡＭ４３０は、ＣＰＵ４
２４の制御に従って、入力されたエンコード済みサブコ
ードデータを、スイッチ回路３４の入力端子ｄに対して
出力する。

【００５３】図５は、図２に示したデータ多重化装置２
のＣＰＵ４２４の第２の実施例における処理を示すフロ
ーチャートである。なお、図５に示した処理は、ビデオ
フレームごとに実行される。

【００５４】図５に示すように、ステップ１０２（Ｓ１
０２）において、ＣＰＵ４２４は、データサイズＩＦ３
０ａからビデオストリームのフレームごとのデータサイ
ズを受信すると、処理用ＲＡＭ４２６に受信したデータ
サイズを格納する。また、ＣＰＵ４２４は、データサイ
ズＩＦ３０ｂ，３０ｃ、ＥＮＩＦ回路４２０またはＳＩ
Ｆ回路４２２から入力されるデータサイズを受け取り次
第、処理用ＲＡＭ４２６に記憶する。

【００５５】ステップ１０３（Ｓ１０３）において、Ｃ
ＰＵ４２４は、変数ｎを初期化する。

【００５６】ステップ１０４（Ｓ１０４）において、Ｃ
ＰＵ４２４は、上述した多重化方法の計画を行う。

【００５７】さらに、ＣＰＵ４２４は、この処理におけ
るループの回数Ｎを決定する。ループ回数Ｎは１ビデオ
フレーム期間に挿入されるパケット数を示し、ループ回
数Ｎの値は、例えば、パケットサイズが１８８Ｂｙｔｅ
固定であることから、トランスポートストリームのデー
タレートに依存する。つまり、ループ回数Ｎは、以下の
式〔Ｎ＝｛トランスポートストリームのデータレート
（Ｂｙｔｅ）｝÷３０÷１８８（Ｂｙｔｅ）；ＮＴＳＣ
方式の場合， Ｎ＝｛トランスポートストリームのデー
タレート（Ｂｙｔｅ）｝÷２５÷１８８（Ｂｙｔｅ）；
ＰＡＬ方式の場合〕から算出され、ＣＰＵ４２４は、ル
ープ回数Ｎと、受け取った各データサイズとに基づい
て、多重化のスケジューリングを行う。

【００５８】ステップ１０６（Ｓ１０６）において、Ｃ
ＰＵ４２４は、計画した多重化方法が、ビデオストリー
ムを出力することを示すか否かを判断する。多重化方法
が、ビデオストリームを出力することを示す場合には、
ＣＰＵ４２４はＳ１０７の処理に進み、ビデオストリー
ムを出力することを示さない場合には、Ｓ１１０の処理
に進む。

【００５９】ステップ１０７（Ｓ１０７）において、Ｃ
ＰＵ４２４は、スイッチ回路３６を制御して、ＲＡＭ４
２６から入力されるビデオ用のヘッダデータ（ａ）を選
択させ、出力させる。

【００６０】ステップ１０８（Ｓ１０８）において、Ｃ
ＰＵ４２４は、スイッチ回路３４を制御してビデオスト
リームを選択させ、スイッチ回路３６を制御してスイッ
チ回路３４からのデータストリームを選択させてビデオ
ストリームをトランスポートストリームに多重化させ
る。

【００６１】ステップ１１０（Ｓ１１０）において、Ｃ
ＰＵ４２４は、計画した多重化方法が、音声ストリーム
を出力することを示すか否かを判断する。多重化方法
が、音声ストリームを出力することを示す場合には、Ｃ
ＰＵ４２４はＳ１１１の処理に進み、音声ストリームを
出力することを示さない場合には、Ｓ１１４の処理に進
む。

【００６２】ステップ１１１（Ｓ１１１）において、Ｃ
ＰＵ４２４は、スイッチ回路３６を制御して、ＲＡＭ４
２６から入力されるオーディオ用のヘッダデータ（ａ）
を選択させ、出力させる。

【００６３】ステップ１１２（Ｓ１１２）において、Ｃ
ＰＵ４２４は、スイッチ回路３４を制御してオーディオ
ストリームを選択させ、スイッチ回路３６を制御してス
イッチ回路３４からのデータストリームを選択させてオ
ーディオストリームをトランスポートストリームに多重
化させる。

【００６４】ステップ１１４（Ｓ１１４）において、Ｃ
ＰＵ４２４は、計画した多重化方法が、サブタイトルエ
ンコーダからのサブタイトルストリームを出力すること
を示すか否かを判断する。ＣＰＵ４２４は、多重化方法
がサブタイトルストリームを出力することを示す場合に
はＳ１１５の処理に進み、多重化方法がサブタイトルス
トリームを出力することを示さない場合にはＳ１１８の
処理に進む。ステップ１１５（Ｓ１１５）において、Ｃ
ＰＵ４２４は、スイッチ回路３６を制御して、ＲＡＭ４
２６から入力されるサブタイトル用のヘッダデータ
（ａ）を選択させ、出力させる。

【００６５】ステップ１１６（Ｓ１１６）において、Ｃ
ＰＵ４２４は、スイッチ回路３４を制御してサブタイト
ルストリームを選択させ、スイッチ回路３６を制御して
スイッチ回路３４からのデータストリームを選択させて
サブタイトルストリームをトランスポートストリームに
多重化させる。ステップ１１８（Ｓ１１８）において、
ＣＰＵ４２４は、計画した多重化方法がヘッダデータを
付加することを示すか否かを判断する。ＣＰＵ４２４
は、多重化方法がヘッダデータを出力することを示す場
合にはＳ１１９の処理に進み、ヘッダデータを出力する
ことを示さない場合にはＳ１２２の処理に進む。

【００６６】ステップ１１９（Ｓ１１９）において、Ｃ
ＰＵ４２４は、スイッチ回路３６を制御してプライベー
トデータストリームを選択させてプライベートデータス
トリーム（ヘッダデータ）をトランスポートストリーム
に多重化させる。ステップ１２０（Ｓ１２０）におい
て、ＣＰＵ４２４は、スイッチ回路３４，３６およびＲ
ＡＭ４３０を制御して、ＲＡＭ４３０からのプライベー
トデータを出力させて、トランスポートストリームに多
重化させる。

【００６７】ステップ１２２（Ｓ１２２）において、Ｃ
ＰＵ４２４は、変数ｎ＝Ｎであるか否かを判断する。変
数ｎ＝Ｎの場合には処理を終了し、ｎ≠Ｎの場合にはＳ
１０６の処理に進む。ＦＩＦＯメモリ３８は、ＦＩＦＯ
メモリ３８から出力されるトランスポートストリームを
バッファリングして、通信回線等に対して送出する。Ｓ
ＣＳＩＩＦ回路４０は、ＦＩＦＯメモリ３８から出力さ
れるトランスポートストリームをハードディスク装置等
に対して送出し、記録させる。

【００６８】以上説明したように、本発明に係るデータ
多重化装置２においては、ＣＰＵ４２４のソフトウェア
処理により、トランスポートストリームを生成するたび
に多重化方法を計画するので、例えば、エレメンタリス
トリームをハードウェアによりトランスポートストリー
ムに多重化する場合に比べて、付加するプライベートデ
ータストリーム（ヘッダデータ）の種類および数を任意
に変更可能であるという特徴がある。従って、プライベ
ートデータストリームの種類および数の変更が容易であ
る。

【００６９】なお、データ多重化装置２に対しては、ト
ランスポートストリームに多重化するエレメンタリスト
リームの数を増減する、あるいは、ＥＮＩＦ回路４２０
およびＳＩＦ回路４２２の数を増減する変更を加えるこ
とが可能である。また、第２の実施例として示した他
に、サブタイトルストリームの代わりに、例えば、編集
処理および放送時の処理に係るデータストリームをトラ
ンスポートストリームに多重化する等、データ多重化装
置２は、種々の構成を採ることができる。

【００７０】第３実施例 以下、本発明の第３の実施例を説明する。

【００７１】第２の実施例として示したデータ多重化装
置２（図２）においては、データ量が非常に多いエレメ
ンタリストリームをＣＰＵバス上で伝送することがない
ので、ＣＰＵバス上でバスネックが生じて高速なエレメ
ンタリストリームのトランスポートストリームに対する
多重化が妨げられることがないので、データ多重化装置
２は、高速なトランスポートストリームを生成するため
に好適である。

【００７２】しかしながら、第２の実施例におけるデー
タ多重化装置２は、データ量ＩＦ３０ａ，３０ｂ，３０
ｃ等が計数した各エレメンタリーストリームのデータ量
およびＦＩＦＯメモリ３２ａ，３２ｂ，３２ｃの残り記
憶容量（バッファ残量）に基づいて、ＣＰＵ４２４がス
イッチ回路３４の接続を切り換えて多重化を行う。従っ
て、ビデオエンコーダ２０、オーディオエンコーダ２４
およびサブタイトルエンコーダ２８が、ＦＩＦＯメモリ
３２ａ，３２ｂ，３２ｃそれぞれに、間欠的にデータを
書き込むか、あるいは、連続的にデータを書き込むかに
よってＦＩＦＯメモリ３２ａ，３２ｂ，３２ｃの残り記
憶容量（バッファ残量）に変動が生じる。

【００７３】従って、多重化後のトランスポートースト
リームのある部分のオーディオストリームのデータ量が
少なくなり、他の部分のオーディオストリームのデータ
量が多くなるといったように、結果的に多重化後のエレ
メンタリストリームのデータ量に疎密が生じて、各エレ
メンタリストリームの間隔に偏りが生じ、例えば、オー
ディオストリームの間隔が長くなった場合等に、受信側
の伸長復号装置が正常に音声再生をできなくなるといっ
た不具合が生じる可能性がある。

【００７４】例えば、ＣＰＵ４２４が、受信側の伸長復
号装置の受信バッファの残り記憶容量（バッファ残量）
をも考慮した多重化計画を行うことにより、このような
不具合を回避することも可能である。しかしながら、Ｃ
ＰＵ４２４が受信バッファを考慮して、映像フレーム信
号と非同期に多重化計画を行うためのソフトウェアのア
ルゴリズムは複雑であり、長い処理時間を要するので、
この方法は、多重化処理の高速化を妨げる原因となる。

【００７５】本発明の第３の実施例は、かかる不具合を
解決するためになされ、映像データのフレーム信号（映
像フレーム信号）に同期して、残り記憶容量（バッファ
残量）を考慮しない簡単なアルゴリズムで多重化を計画
し、高速で、受信側の伸長復号装置の受信バッファに破
綻を生じさせることがない各エレメンタリストリームの
多重化を行うことができるようにデータ多重化装置２
（図２）の動作を改良したものである。

【００７６】ＣＰＵ４２４の多重化計画第３の実施例に
おいて、ＣＰＵ４２４（図２）は、図２に点線で示すよ
うに、ビデオエンコーダ２０から入力される映像フレー
ム信号に同期して、映像フレーム信号の周期〔映像フレ
ーム周期；１／３０秒（ＮＴＳＣ方式の場合），１／２
５秒（ＰＡＬ方式の場合）〕ごとの多重化方法を計画
し、計画した多重化方法に基づいて、データ多重化装置
２の各構成部分を制御する。

【００７７】データ多重化装置２の各構成部分は、ＣＰ
Ｕ４２４の制御に従って、各映像フレーム周期におい
て、下式に示すほぼ等しいデータ量ａのビデオストリー
ムを、例えばＡＴＭ方式の伝送パケットに多重化し、さ
らに、オーディオエンコーダ２４およびサブタイトルエ
ンコーダ２８が生成したオーディオストリームおよびプ
ライベートデータストリームを順次、伝送パケットに多
重化して、トランスポートデータストリームを生成す
る。なお、固定レート符号化により、ビデオストリーム
のデータレートはほぼ一定となるので、データ量ａは、
結果的に、ビデオエンコーダ２０が生成するビデオスト
リームの映像フレーム周期当たりの平均データ量とほぼ
同じになる。

【００７８】

【数１】 ａ≒Ｖ／ｋ …（１） 但し、ａは、１映像フレーム周期に多重化されるビデオ
ストリームのデータ量であり、Ｖは、ビデオストリーム
の符号化レートである。

【００７９】さらに、上述した映像フレーム周期ごとの
多重化計画により、受信バッファの破綻が防止できる理
由を説明する。受信側の伸長復号装置（デコーダ）にお
いては、映像フレーム周期ごとに受信バッファから映像
データが読み出され、除去される。従って、映像フレー
ム信号に同期して、映像フレーム周期ごとに、送信側か
ら適切な範囲のほぼ等量のビデオストリームを受信バッ
ファに書き込めば、受信バッファに破綻が生じることは
ない。逆に、例えば、第ｍ番目の映像フレーム周期にお
いてビデオストリームを多重化せず、第（ｍ＋１）番目
の映像フレーム周期において２フレーム分のビデオスト
リームを伝送パケットに多重化し、トランスポートスト
リームを生成して伝送すると、受信バッファに破綻が生
じる可能性が生じる。

【００８０】同様に、オーディオストリームも、音声デ
ータのサンプリング周期〔音声フレーム周期；上述のよ
うに、２４ｍｓ（１１５２／４８ｋＨｚ），２６．１ｍ
ｓ（１１５２／４４．１ｋＨｚ），３６ｍｓ（１１５２
／３２ｋＨｚ）≠１／３０秒，１／２５秒（映像フレー
ム周期）〕ごとに、音声フレーム周期ごとに生成され、
また、デコーダの受信バッファから読み出され、除去さ
れるので、音声フレーム周期ごとに等量ずつ伝送パケッ
トに多重化し、トランスポートストリームを生成して伝
送することにより、受信バッファの破綻を防ぐことがで
きる。

【００８１】つまり、オーディオストリームは、音声デ
ータのサンプリング周波数が４８ｋＨｚまたは４４．１
ｋＨｚである場合には、映像フレーム周期ごとに１回ま
たは２回、を生成され、また、受信側のデコーダの受信
バッファから除去され、音声データのサンプリング周波
数が３２ｋＨｚである場合には、映像フレーム周期ごと
に０回または１回、生成され、受信側のデコーダの受信
バッファから除去される。従って、ＣＰＵ４２４は、映
像フレーム周期ごとに高々２回、オーディオストリーム
を等量ずつ伝送パケットに多重化し、トランスポートス
トリームを生成するように多重化計画を行うことによ
り、受信バッファの破綻、および、音声の再生が正常に
できなくなる不具合を防ぐことができる。

【００８２】データ多重化装置２の動作 以下、第３の実施例におけるデータ多重化装置２の動作
を、ビデオストリームおよびオーディオストリームのデ
ータレートの具体例を挙げて説明する。

【００８３】ビデオエンコーダ２０は、ＣＰＵ４２４の
制御に従って、入力される映像データをエンコードし、
例えば、ほぼ一定のデータレート（４Ｍｂｐｓ）のビデ
オストリームを生成する。オーディオエンコーダ２４
は、ＣＰＵ４２４の制御に従って、入力される映像デー
タをエンコードし、固定データレート（３８４ｋｂｐ
ｓ）のオーディオストリームを生成する。サブタイトル
エンコーダ２８は、適宜、入力されるサブタイトルデー
タをエンコードし、プライベートデータストリームを生
成する。

【００８４】データ量ＩＦ３０ａ，３０ｂ，３０ｃはそ
れぞれ、ビデオエンコーダ２０、オーディオエンコーダ
２４およびサブタイトルエンコーダ２８がそれぞれ生成
したビデオストリーム、オーディオストリームおよびプ
ライベートデータストリームの一定時間当たりのデータ
量を計数し、これらのストリームのデータレートとして
ＣＰＵ４２４に対して出力する。

【００８５】ここで、ＮＴＳＣ方式のビデオストリーム
のデータレートが、例えば４Ｍｂｐｓである場合には、
下式に示すように、１映像フレーム周期当たりのビデオ
ストリームのデータ量は１６６６６．７バイトであり、
同様に、オーディオストリームのデータレートが３８４
ｋｂｐｓである場合には、下式に示すように、１映像フ
レーム周期当たりのオーディオストリームのデータ量は
１６００バイトとなる。

【００８６】

【数２】 １映像フレーム周期当たりのビデオストリームのデータ量； ４，０００，０００ｂｐｓ／（８ビット×３０フレーム） ＝１６６６６．７バイト …（２−１） １フレーム当たりのオーディオストリームのデータ量； ３８４００，０００ｂｐｓ／（８ビット×３０フレーム） ＝１６００バイト …（２−２）

【００８７】従って、ＣＰＵ４２４は、１映像フレーム
周期ごとに、１６６６６バイトまたは１６６６６７バイ
トのビデオストリームを伝送パケットに多重化し、ま
た、１６００バイトのオーディオストリームを、図６に
示す順番で多重化するように多重化計画を行い、この多
重化計画に従ってトランスポートストリームを生成する
ようにデータ多重化装置２の各構成部分を制御する。

【００８８】図６は、図２に示したデータ多重化装置２
が第３の実施例において生成するトランスポートストリ
ームに含まれる各エレメンタリストリームの順番を例示
する図である。まず、ＣＰＵ４２４は、スイッチ回路３
６を制御して入力端子ａ側を選択させ、ビデオストリー
ムおよびオーディオストリームに先立って、ＣＰＵ４２
４が生成したＰＣＲ(program clock reference) デー
タ、ＰＡＴ(program associationtable) およびＰＭＴ
(program map table) データを、処理用ＲＡＭ４２６を
介して、例えば、１映像フレーム周期（ＭＰＥＧにおい
て規定されている最長再送周期以下）ごとにそれぞれ１
つの伝送パケットに多重化し、トランスポートストリー
ムを生成して外部に出力する。

【００８９】次に、ＣＰＵ４２４は、スイッチ回路３６
を制御して入力端子ｂ側を選択させ、スイッチ回路３４
を制御して入力端子の選択を順次、変更して、第１のビ
デオストリーム、第１のオーディオストリーム、第１の
サブタイトル（プライベートデータストリーム）、第１
のＮｕｌｌデータ、第２のビデオストリーム、第２のオ
ーディオストリーム、第２のサブタイトル（プライベー
トデータストリーム）および第２のＮｕｌｌデータの順
番で各ストリームを伝送パケットに多重化し、トランス
ポートストリームを生成して外部に出力する。

【００９０】なお、図６に示したＮｕｌｌデータは、デ
ータ多重化装置２が出力するトランスポートストリーム
のデータレートを一定とするために、ビデオストリー
ム、オーディオストリーム、プライベートデータストリ
ームおよびその他のデータの合計のデータレートが、伝
送路のデータレートより小さい場合に挿入される無効デ
ータである。

【００９１】以下、図７を参照して、ＣＰＵ４２４の処
理をさらに説明する。図７は、図２に示したデータ多重
化装置２のＣＰＵ４２４の第３の実施例における多重化
計画の処理を示すフローチャートである。

【００９２】図７に示すように、ステップ２００（Ｓ２
００）において、ＣＰＵ４２４は、データ量ＩＦ３０
ａ，３０ｂ，３０ｃから入力される各エレメンタリスト
リームの一定時間当たりのデータ量に基づいて、これら
のエレメンタリストリームを、図６に示したトランスポ
ートストリームの各位置それぞれにおいて、どれだけの
データ量だけ多重化するかを示すパラメータ（ＳＩＺＥ
＿ＦＲＡＭＥＶ，ＳＩＺＥ＿ＦＲＡＭＥ＿Ｖ１，ＳＩＺ
Ｅ＿ＦＲＡＭＥ＿Ｖ２等）の設定を行う。

【００９３】ステップ２０２（Ｓ２０２）において、Ｃ
ＰＵ４２４は、ビデオエンコーダ２０から入力される映
像フレーム信号を受信し、新たな映像フレーム周期が始
まった場合にはＳ２０４の処理に進み、始まらない場合
にはＳ２０２の処理に留まる。ステップ２０４（Ｓ２０
４）において、ＣＰＵ４２４は、ＰＣＲデータ、ＰＡＴ
データおよびＰＭＴデータを多重化し、外部に出力す
る。

【００９４】ステップ２０６（Ｓ２０６）において、Ｃ
ＰＵ４２４は、ビデオストリームを、Ｓ２００の処理に
おいて設定したパラメータＳＩＺＥ＿ＦＲＡＭＥ＿Ｖ１
が示すデータ量だけ多重化し、第１のビデオストリーム
として外部に出力する。ステップ２０８（Ｓ２０８）に
おいて、ＣＰＵ４２４は、オーディオストリームを、Ｓ
２００の処理において設定したパラメータＳＩＺＥ＿Ｆ
ＲＡＭＥ＿Ａ１が示すデータ量だけ多重化し、第１のオ
ーディオストリームとして外部に出力する。

【００９５】ステップ２１０（Ｓ２１０）において、Ｃ
ＰＵ４２４は、サブタイトルデータ（プライベートデー
タストリーム）を、Ｓ２００の処理において設定したパ
ラメータＳＩＺＥ＿ＦＲＡＭＥ＿Ｓ１が示すデータ量だ
け多重化し、第１のプライベートデータストリームとし
て外部に出力する。ステップ２１２（Ｓ２１２）におい
て、ＣＰＵ４２４は、Ｎｕｌｌデータを、Ｓ２００の処
理において設定したパラメータＳＩＺＥ＿ＦＲＡＭＥ＿
Ｎ１が示すデータ量だけ多重化し、第１のＮｕｌｌデー
タとして外部に出力する。

【００９６】ステップ２１４（Ｓ２１４）において、Ｃ
ＰＵ４２４は、ビデオストリームを、Ｓ２００の処理に
おいて設定したパラメータＳＩＺＥ＿ＦＲＡＭＥ＿Ｖ２
が示すデータ量だけ多重化し、第２のビデオストリーム
として外部に出力する。ステップ２１６（Ｓ２１６）に
おいて、ＣＰＵ４２４は、オーディオストリームを、Ｓ
２００の処理において設定したパラメータＳＩＺＥ＿Ｆ
ＲＡＭＥ＿Ａ２が示すデータ量だけ多重化し、第２のオ
ーディオストリームとして外部に出力する。

【００９７】ステップ２１８（Ｓ２１８）において、Ｃ
ＰＵ４２４は、サブタイトルデータ（プライベートデー
タストリーム）を、Ｓ２００の処理において設定したパ
ラメータＳＩＺＥ＿ＦＲＡＭＥ＿Ｓ２が示すデータ量だ
け多重化し、第２のプライベートデータストリームとし
て外部に出力する。ステップ２２０（Ｓ２２０）におい
て、ＣＰＵ４２４は、Ｎｕｌｌデータを、Ｓ２００の処
理において設定したパラメータＳＩＺＥ＿ＦＲＡＭＥ＿
Ｎ２が示すデータ量だけ多重化し、第２のＮｕｌｌデー
タとして外部に出力する。

【００９８】なお、図６および図７においては、各エレ
メンタリストリームの多重化の繰り返し回数が２回の場
合を例示してあるので、２回に分けて多重化される各エ
レメンタリストリームのデータ量をほぼ等しくする。つ
まり、各パラメータの関係は、ＳＩＺＥ＿ＦＲＡＭＥ＿
Ｖ１≒ＳＩＺＥ＿ＦＲＡＭＥ＿Ｖ２，ＳＩＺＥ＿ＦＲＡ
ＭＥ＿Ａ１≒ＳＩＺＥ＿ＦＲＡＭＥ＿Ａ２，ＳＩＺＥ＿
ＦＲＡＭＥ＿Ｓ１≒ＳＩＺＥ＿ＦＲＡＭＥ＿Ｓ２とな
る。

【００９９】また、図６および図７示した各エレメンタ
リストリームの多重化の繰り返し回数は２回に限定され
ないので、繰り返し回数が奇数の場合等には、これらの
パラメータのいずれかを大きい値にすることも可能であ
る。例えば、繰り返し回数が３回の場合には、各パラメ
ータの関係を、ＳＩＺＥ＿ＦＲＡＭＥ＿Ｖ１＜ＳＩＺＥ
＿ＦＲＡＭＥ＿Ｖ２＜ＳＩＺＥ＿ＦＲＡＭＥ＿Ｖ３，Ｓ
ＩＺＥ＿ＦＲＡＭＥ＿Ａ１＜ＳＩＺＥ＿ＦＲＡＭＥ＿Ａ
２＜ＳＩＺＥ＿ＦＲＡＭＥ＿Ａ３，ＳＩＺＥ＿ＦＲＡＭ
Ｅ＿Ｓ１＜ＳＩＺＥ＿ＦＲＡＭＥ＿Ｓ２＜ＳＩＺＥ＿Ｆ
ＲＡＭＥ＿Ｓ３とすることも可能である。

【０１００】また、第３の実施例として図６に示した各
エレメンタリストリームの多重化の順番は例示であっ
て、他の順番で各エレメンタリストリームの多重化を計
画するようにＣＰＵ４２４の動作を変更してもよい。ま
た、第３の実施例として示したデータ多重化装置２の多
重化計画は、ＮＴＳＣ方式の５２５／６０形式の音声・
映像データにも、ＰＡＬ方式の６２５／５０形式の音声
・映像データにも適応することができる。また、ＰＥＳ
パケットに多重化する際の単位としては、１ピクチャー
分の映像データであっても、１映像フレーム周期の間に
出力する映像データであってもよい。また、第３の実施
例に対しても、第２の実施例に対してと同様な変形が可
能である。

【０１０１】第４実施例 第３の実施例に示したデータ多重化装置２（図２）の動
作によれば、受信バッファの残り記憶容量を考慮しない
簡単なアルゴリズムで、受信側の伸長復号装置の受信バ
ッファに破綻を生じさせることなく、常に、音声・映像
の正常な再生を可能なように音声・映像データを伝送パ
ケットに多重化し、トランスポートストリームを生成す
ることができる。

【０１０２】しかしながら、ＮＴＳＣ方式の５２５／６
０形式の映像データの映像フレーム周期は正確には１／
２９．９７Ｈｚであり、例えば、ビデオエンコーダ２０
が生成するビデオストリームのデータレートが４Ｍｂｐ
ｓ固定である場合には、下式に示すように、映像フレー
ム周期ごとに、ビデオストリーム０．３５バイト分の端
数が生じ、ＣＰＵ４２４は、この端数を考慮して多重化
計画を行う必要がある。

【０１０３】

【数３】 ４×１０⁶ ／２９．９７＝１３３４６６．８ビット ＝１６６８３．３５バイト …（３）

【０１０４】また、オーディオエンコーダ２４が生成す
るオーディオストリームについても同様であり、例え
ば、オーディオストリームのデータレートが３８４ｋｂ
ｐｓ固定である場合には、下式に示すように、映像フレ
ーム周期ごとに、オーディオストリーム０．６０１６バ
イト分の端数が生じ、ＣＰＵ４２４は、この端数を考慮
して多重化計画を行う必要がある。

【０１０５】

【数４】 ３８４×１０³ ／２９．９７＝１２８１２．８１３ビット ＝１６０１．６０１６バイト …（４）

【０１０６】一方、ＰＡＬ方式の６２５／５０形式の映
像フレーム周期は１／２５Ｈｚであり、例えば、上述の
ようにビデオストリームのデータレートが４Ｍｂｐｓ固
定であり、オーディオストリームのデータレートが３８
４ｋｂｐｓ固定である場合には、下式に示すように、ビ
デオストリームおよびオーディオストリームに端数が生
じない。しかしながら、ビデオストリームおよびオーデ
ィオストリームのデータレートが、２００ｂｐｓ（＝２
５×８）の倍数でない場合には、端数が生じるので、Ｃ
ＰＵ４２４は、この端数を考慮して多重化計画を行う必
要がある。

【０１０７】

【数５】 ビデオストリーム； ４×１０⁶ ／２５＝１６００００ビット ＝２００００バイト …（５−１） オーディオストリーム； ３８４×１０³ ／２５＝１５３６０ビット ＝１９２０バイト …（５−２）

【０１０８】本発明の第４の実施例は、上述した問題に
鑑みてなされたものであり、本発明の第３の実施例を改
良し、多重化計画のアルゴリズムをさらに簡単にしたも
のである。

【０１０９】ＣＰＵ４２４の多重化計画 以下、ＮＴＳＣ方式のビデオストリームを多重化する場
合を例に、第４の実施例におけるＣＰＵ４２４の多重化
計画を説明する。

【０１１０】ビデオストリームのデータレート 第４の実施例においては、ＣＰＵ４２４は、データ量Ｉ
Ｆ３０ａから入力されるビデオエンコーダ２０のビデオ
ストリームのデータレートｖｉｄｅｏ＿ｒａｔｅ＿ｏｒ
ｇを、下式に示す固定値（ｆｒａｍｅ＿ｖｉｄｅｏ＿ｒ
ａｔｅ）に近似して多重化計画を行う。

【０１１１】

【数６】 frame ＿video ＿rate(byte)＝video ＿rate＿org(bps) ／｛(8×1001)/(1000 ×30) ｝ …（６） 但し、video ＿rate＿org は、ビデオエンコーダ２０が
生成するビデオストリームのデータレートであり、fram
e ＿video ＿rateは小数点以下を切り捨てる。

【０１１２】ただし、上式６により算出されるビデオー
ストリームの映像フレーム周期当たりのデータレートｆ
ｒａｍｅ＿ｖｉｄｅｏ＿ｒａｔｅの値は離散的になる
が、制約がない限り、通常、ビデオストリームのデータ
レートは任意の値とすることができるので、特に問題が
生じることはない。

【０１１３】また、上式６が、演算〔１００１／（１０
００×３０）〕を含むのは、ＮＴＳＣ方式の１秒あたり
のフレーム数２９．９７を、整数演算により扱い得るよ
うにするためである。

【０１１４】なお、ＣＰＵ４２４が、ビデオエンコーダ
２０のビットレート制御回路２２０（図３）に設定する
目標データ量ｖｉｄｅｏ＿ｒａｔｅ＿ｔａｒｇｅｔの値
は、下式により算出される。

【０１１５】

【数７】 video ＿rate＿target(bps) ＝frame ＿video ＿rate(byte) ／｛(8×30×1000)/1001｝ …（７）

【０１１６】例えば、ビデオエンコーダ２０が生成する
ビデオストリームのデータレートｖｉｄｅｏ＿ｒａｔｅ
＿ｏｒｇが４Ｍｂｐｓの場合には、目標データ量ｖｉｄ
ｅｏ＿ｒａｔｅ＿ｔａｒｇｅｔの値は３．９９９９２０
１Ｍｂｐｓである。なお、この場合には、両者の値の間
の差はごくわずかであり、ＣＰＵ４２４が、目標データ
量ｖｉｄｅｏ＿ｒａｔｅ＿ｔａｒｇｅｔとして、データ
レートｖｉｄｅｏ＿ｒａｔｅ＿ｏｒｇをビットレート制
御回路２２０に設定しても、実用上、何らの問題も生じ
ない。

【０１１７】以下、図８をさらに参照して、ＣＰＵ４２
４がビデオエンコーダ２０のビットレート制御回路２２
０（図３）に設定する目標データ量ｖｉｄｅｏ＿ｒａｔ
ｅ＿ｔａｒｇｅｔの算出方法を説明する。図８は、第４
の実施例において、データ多重化装置２のビデオエンコ
ーダ２０のビットレート制御回路２２０に設定される目
標データ量ｖｉｄｅｏ＿ｒａｔｅ＿ｔａｒｇｅｔの算出
方法を示すフローチャート図である。

【０１１８】図８に示すように、ステップ２４０（Ｓ２
４０）において、ＣＰＵ４２４は、データ量ＩＦ３０ａ
から、ビデオエンコーダ２０が生成するビデオストリー
ムのデータレートｖｉｄｅｏ＿ｒａｔｅ＿ｏｒｇを受け
て、ＲＡＭ４２８に設定する。

【０１１９】ステップ２４２（Ｓ２４２）において、Ｃ
ＰＵ４２４は、式６により、映像フレーム周期当たりの
ビデオストリームのデータレートｆｒａｍｅ＿ｖｉｄｅ
ｏ＿ｒａｔｅを算出する。

【０１２０】ステップ２４４（Ｓ２４４）において、Ｃ
ＰＵ４２４は、式７により、ビデオエンコーダ２０のビ
ットレート制御回路２２０に設定する目標データ量ｖｉ
ｄｅｏ＿ｒａｔｅ＿ｔａｒｇｅｔを算出する。

【０１２１】なお、例えば、ビデオストリームのデータ
レートｖｉｄｅｏ＿ｒａｔｅ＿ｏｒｇが４Ｍｂｐｓであ
り、伝送パケットのペイロード部分が１８４バイトであ
る場合には、下式に示すように、１２３バイトの端数が
生じる。一般には、この端数を収容した伝送パケットの
ペイロード部分の余りに、６１バイト（＝１８４−１２
３）のスタッフィングデータを収容する処理を行うが、
この処理を行うと、トランスポートストリームのデータ
レートを不要に高くしてしまう。従って、この端数部分
を、次の映像フレーム期間において多重化する方法を採
ることが好ましい。

【０１２２】

【数８】 ＝１６６８３（式３）／１８４ ＝９０パケット＋余り１２３バイト …（８）

【０１２３】オーディオストリームのデータレート 図９は、ＭＰＥＧ方式において規格化されているオーデ
ィオストリームのデータレートを示す図表である。ビデ
オストリームのデータレートとは異なり、図９に示すよ
うに、オーディオストリームのデータレートａｕｄｉｏ
＿ｒａｔｅ＿ｔａｒｇｅｔは固定値であって、いずれも
８×１０００ｂｐｓの倍数の値を採る。

【０１２４】例えば、オーディオエンコーダ２４が生成
するオーディオストリームのデータレートａｕｄｉｏ＿
ｒａｔｅ＿ｔａｒｇｅｔが、３８４ｋｂｐｓである場合
には、３０映像フレーム周期の間にオーディオエンコー
ダ２４が出力するオーディオストリームのデータ量ａｕ
ｄｉｏ＿ｆｒａｍｅ＿３０ｆｒａｍｅは、制御周期を３
０映像フレーム周期（約１秒）とすると、下式に示すよ
うに算出される。

【０１２５】

【数９】 audio ＿rate＿30frame ＝384 ×1000×1001/1000 ＝384384ビット ＝48048 バイト …（９）

【０１２６】従って、１映像フレーム周期ごとにトラン
スポートストリームに多重化すべきオーディオストリー
ムのデータ量は、１６０１バイトまたは１６０２バイト
となる。従って、ＣＰＵ４２４は、過去３０映像フレー
ム周期の間に多重化したオーディオフレームが、式９に
より算出したデータ量ａｕｄｉｏ＿ｆｒａｍｅ＿３０ｆ
ｒａｍｅ（４８０４８バイト）より多い場合には１６０
２バイト分のオーディオストリームを、その映像フレー
ム周期のトランスポートストリームに多重化し、多くな
い場合には１６０１バイト分のオーディオストリームを
その映像フレーム周期のトランスポートストリームに多
重化するように、スイッチ回路３４の接続を制御する。

【０１２７】データ多重化装置２の動作 以下、図１０をさらに参照して、第４の実施例における
データ多重化装置２の動作を説明する。図１０は、第４
の実施例において、データ多重化装置２が、映像フレー
ム周期ごとにトランスポートストリームに多重化するオ
ーディオストリームのデータ量を算出し、ビデオストリ
ーム等と多重化する処理を示すフローチャート図であ
る。

【０１２８】図１０に示すように、ステップ３００（Ｓ
３００）において、ＣＰＵ４２４は、オーディオエンコ
ーダ２４が生成したオーディオストリームのデータレー
トを、データ量ＩＦ３０ｂから受け、ＲＡＭ４２８に設
定する。

【０１２９】ステップ３０２（Ｓ３０２）において、Ｃ
ＰＵ４２４は、１映像フレーム周期ごとにトランスポー
トストリームに多重化すべきオーディオストリームのデ
ータ量ｆｒａｍｅ＿ａｕｄｉｏ＿ｒａｔｅ＿ｐｒｅを、
下式により算出する。

【０１３０】

【数１０】 frame ＿audio ＿rate＿pre ＝audio ＿rate＿target ／｛(8×1001)/(1000 ×30) ｝ …（１０） 但し、frame ＿audio ＿rate＿pre の小数点以下は切り
捨てる。

【０１３１】ステップ３０４（Ｓ３０４）において、Ｃ
ＰＵ４２４は、式９により、３０映像フレーム周期当た
りのオーディオストリームのデータ量ａｕｄｉｏ＿ｆｒ
ａｍｅ＿３０ｆｒａｍｅを算出する。

【０１３２】ステップ３０６（Ｓ３０６）において、Ｃ
ＰＵ４２４は、ビデオエンコーダ２０から入力される映
像フレーム信号を受信し、映像フレーム周期が開始した
か否かを判断する。映像フレーム周期が開始した場合に
は、ＣＰＵ４２４はｓ３０８の処理に進み、開始しない
場合にはＳ３０６の処理に留まる。

【０１３３】ステップ３０８（Ｓ３０８）において、Ｃ
ＰＵ４２４は、過去３０映像フレーム周期の間に多重化
したオーディオストリームのデータ量が、Ｓ３０４の処
理において算出したデータ量ａｕｄｉｏ＿ｆｒａｍｅ＿
３０ｆｒａｍｅより多いか否かを判断し、多い場合には
Ｓ３１０の処理に進み、多くない場合にはＳ３１２の処
理に進む。

【０１３４】ステップ３１０（Ｓ３１０）において、Ｃ
ＰＵ４２４は、その映像フレーム周期において多重化す
るオーディオフレームのデータ量ｆｒａｍｅ＿ａｕｄｉ
ｏ＿ｒａｔｅを求め、Ｓ３０２の処理において算出した
データ量ｆｒａｍｅ＿ａｕｄｉｏ＿ｒａｔｅ＿ｐｒｅと
する。

【０１３５】ステップ３１２（Ｓ３１２）において、Ｃ
ＰＵ４２４は、その映像フレーム周期において多重化す
るオーディオフレームのデータ量ｆｒａｍｅ＿ａｕｄｉ
ｏ＿ｒａｔｅを求め、Ｓ３０２の処理において算出した
データ量ｆｒａｍｅ＿ａｕｄｉｏ＿ｒａｔｅ＿ｐｒｅ＋
１とする。

【０１３６】ＣＰＵ４２４は、スイッチ回路３４等、デ
ータ多重化装置２の各構成部分を制御して、図８に示し
た処理により算出されたデータ量ｆｒａｍｅ＿ｖｉｄｅ
ｏ＿ｒａｔｅのビデオストリーム、図１０のＳ３００〜
Ｓ３１２の処理により算出されたデータ量ｆｒａｍｅ＿
ａｕｄｉｏ＿ｒａｔｅのオーディオストリームおよびプ
ライベートデータストリームを多重化させる。

【０１３７】以上説明したように、第４の実施例として
示したデータ多重化装置２の動作によれば、浮動小数点
演算を用いない簡単なアルゴリズムで、映像フレーム期
間に同期したビデオストリームおよびオーディオストリ
ーム等の多重化を行うことができる。

【０１３８】なお、トランスポートストリームの生成開
始時に、生成されたビデオストリームが３０映像フレー
ム周期分に達しない間は、例えば、データ量ｆｒａｍｅ
＿ａｕｄｉｏ＿ｒａｔｅを、データ量ｆｒａｍｅ＿ａｕ
ｄｉｏ＿ｒａｔｅ＿ｐｒｅおよびデータ量ｆｒａｍｅ＿
ａｕｄｉｏ＿ｒａｔｅ＿ｐｒｅ＋１いずれかとすればよ
い。

【０１３９】また、映像フレーム周期当たりに多重化す
るビデオストリームのデータ量ｖｉｄｅｏ＿ｆｒａｍｅ
＿ｒａｔｅを、上述したように映像フレーム周期ごとに
変更する方法の他、例えば、３０映像フレーム周期（所
定の制御周期）ごとに、データ量ｆｒａｍｅ＿ａｕｄｉ
ｏ＿ｒａｔｅを、データ量ｆｒａｍｅ＿ａｕｄｉｏ＿ｒ
ａｔｅ＿ｐｒｅおよびデータ量ｆｒａｍｅ＿ａｕｄｉｏ
＿ｒａｔｅ＿ｐｒｅ＋１のいずれかに変更する方法を採
ってもよい。

【０１４０】また、ビデオストリームおよびオーディオ
ストリームのデータレート（４Ｍｂｐｓ，３８４ｋｂｐ
ｓ等）、および、データ量の単位（バイト）は例示であ
って、適切な変更を施すことにより、第４の実施例とし
て示した多重化計画の方法は、他のデータレートのビデ
オストリームおよびオーディオストリーム、および、他
のデータ量の単位を用いた多重化計画に応用することが
できる。

【０１４１】

【発明の効果】以上述べたように、本発明は、ディジタ
ルテレビジョン放送等において、音声データ、映像デー
タおよびプライベートデータの多重化に好適である。ま
た、本発明によれば、ディジタルテレビジョン放送用等
の音声データ、映像データおよび付加データの高速多重
化に好適で、しかも、付加データの種類および処理の変
更に柔軟に対応しうる。

【０１４２】また、本発明によれば、ディジタルテレビ
ジョン放送設備等において、受信側の伸長復号装置の受
信バッファの残り記憶容量を考慮せず、しかも、浮動小
数点演算を用いない整数演算のみの簡単なアルゴリズム
で、受信バッファに破綻を生じさせないように、音声・
映像データを伝送パケットに多重化し、トランスポート
ストリームを生成することができる。また、本発明によ
れば、常に、受信側において正常に音声・映像データを
再生することができるように、音声・映像データを伝送
パケットに多重化し、トランスポートストリームを生成
することができる。

【図面の簡単な説明】

【図１】第１の実施例として示す本発明に係るデータ多
重化装置の構成を示す図である。

【図２】本発明に係るデータ多重化装置の構成を示す図
である。

【図３】図２に示したビデオエンコーダの構成を示す図
である。

【図４】図２に示したオーディオエンコーダの構成を示
す図である。

【図５】図２に示したデータ多重化装置の第２の実施例
におけるＣＰＵの処理を示すフローチャートである。

【図６】図２に示したデータ多重化装置が第３の実施例
において生成するトランスポートストリームに含まれる
各エレメンタリストリームの順番を例示する図である。

【図７】図２に示したデータ多重化装置のＣＰＵの第３
の実施例における多重化計画の処理を示すフローチャー
トである。

【図８】第４の実施例において、データ多重化装置（図
２）のビデオエンコーダのビットレート制御回路に設定
される目標データ量ｖｉｄｅｏ＿ｒａｔｅ＿ｔａｒｇｅ
ｔの算出方法を示すフローチャート図である。

【図９】図９は、ＭＰＥＧ方式において規格化されてい
るオーディオストリームのデータレートを示す図表であ
る。

【図１０】第４の実施例において、データ多重化装置
（図２）が、映像フレーム周期ごとにトランスポートス
トリームに多重化するオーディオストリームのデータ量
を算出し、ビデオストリーム等と多重化する処理を示す
フローチャート図である。

【符号の説明】

１，２…データ多重化装置、１０…多重化装置、１００
…バッファメモリ、１０２…トランスポートストリーム
生成装置、１２…多重化系、２０…ビデオエンコーダ、
２４…オーディオエンコーダ、２８…サブタイトルエン
コーダ、３２ａ，３２ｂ，３２ｃ…ＦＩＦＯメモリ、３
４，３６…スイッチ回路、３８…ＦＩＦＯメモリ、４０
…ＳＣＳＩＩＦ回路、４２…制御系、３０ａ，３０ｂ，
３０ｃ…データ量ＩＦ、４２０…ＥＮＩＦ回路、４２２
…ＳＩＦ回路、４２４…ＣＰＵ、４２６…処理用ＲＡ
Ｍ、４２８…制御データ用ＲＡＭ、４３０…ＲＡＭ。

Claims (8)

【特許請求の範囲】
1. 【請求項１】端数が生じないように、映像データの映像
   フレーム周期それぞれに生成した映像データを等しいデ
   ータ量ずつ配分することができる条件を満たす目標デー
   タ量を算出する映像目標データ量算出手段と、 算出した前記目標データ量と等しいデータ量の映像デー
   タを生成する映像データ生成手段と、 前記映像フレーム周期と異なる音声フレーム周期ごと
   に、所定のデータ量の音声データを生成する音声データ
   生成手段と、 生成した前記音声データを、前記映像フレーム周期それ
   ぞれにほぼ等しいデータ量ずつ配分する音声データ配分
   手段と、 前記映像フレーム周期ごとに、前記等しいデータ量の映
   像データ、および、配分した前記音声データを、所定の
   トランスポートストリームに多重化する多重化手段とを
   有するデータ多重化装置。
2. 【請求項２】前記映像データ生成手段は、非圧縮映像デ
   ータを圧縮して、前記目標データ量に適合するデータレ
   ートの前記映像データを生成する請求項１に記載のデー
   タ多重化装置。
3. 【請求項３】前記音声データ配分手段は、 所定数の前記映像フレーム周期の間に多重化する前記音
   声データの目標データ量を算出する音声目標データ量算
   出手段と、 当該映像フレーム周期の過去、前記所定数の前記映像フ
   レーム周期の間に多重化した前記音声データのデータ量
   を計数する音声データ計数手段と、 算出した前記音声データの目標データ量、および、計数
   した前記音声データのデータ量とに基づいて、当該映像
   フレーム周期に配分する前記音声データのデータ量を算
   出する音声データ配分量算出手段とを有する請求項１に
   記載のデータ多重化装置。
4. 【請求項４】前記音声データおよび前記映像データに付
   加する付加データを生成する付加データ生成手段をさら
   に有し、 前記多重化手段は、生成した付加データを、さらに前記
   所定のトランスポートストリームに多重化する請求項１
   に記載のデータ多重化装置。
5. 【請求項５】端数が生じないように、映像データの映像
   フレーム周期それぞれに生成した映像データを等しいデ
   ータ量ずつ配分することができる条件を満たす目標デー
   タ量を算出し、 算出した前記目標データ量と等しいデータ量の映像デー
   タを生成し、 前記映像フレーム周期と異なる音声フレーム周期ごと
   に、所定のデータ量の音声データを生成し、 生成した前記音声データを、前記映像フレーム周期それ
   ぞれにほぼ等しいデータ量ずつ配分し、 前記映像フレーム周期ごとに、前記等しいデータ量の映
   像データ、および、配分した前記音声データを、所定の
   トランスポートストリームに多重化するデータ多重化方
   法。
6. 【請求項６】非圧縮映像データを圧縮して、前記目標デ
   ータ量に適合するデータレートの前記映像データを生成
   する請求項５に記載のデータ多重化方法。
7. 【請求項７】所定数の前記映像フレーム周期の間に多重
   化する前記音声データの目標データ量を算出し、 当該映像フレーム周期の過去、前記所定数の前記映像フ
   レーム周期の間に多重化した前記音声データのデータ量
   を計数し、 算出した前記音声データの目標データ量、および、計数
   した前記音声データのデータ量とに基づいて、当該映像
   フレーム周期に配分する前記音声データのデータ量を算
   出する請求項５に記載のデータ多重化方法。
8. 【請求項８】前記音声データおよび前記映像データに付
   加する付加データを生成し、 生成した付加データを、さらに前記所定のトランスポー
   トストリームに多重化する請求項５に記載のデータ多重
   化方法。