JPH02246432A - 映像・音声多重化方式 - Google Patents
映像・音声多重化方式Info
- Publication number
- JPH02246432A JPH02246432A JP1066784A JP6678489A JPH02246432A JP H02246432 A JPH02246432 A JP H02246432A JP 1066784 A JP1066784 A JP 1066784A JP 6678489 A JP6678489 A JP 6678489A JP H02246432 A JPH02246432 A JP H02246432A
- Authority
- JP
- Japan
- Prior art keywords
- audio
- video
- information
- output
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/2368—Multiplexing of audio and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4341—Demultiplexing of audio and video streams
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Time-Division Multiplex Systems (AREA)
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【発明の詳細な説明】
〔概 要〕
音声情報と映像情報を符号化し多重化して伝送する方式
に関し、 受信側において再生映像出力と再生音声出力を一致させ
ることができる映像・音声多重化方式を提供することを
目的とし、 音声入力をディジタル音声に変換するＡ／Ｄ変換器と、
該ディジタル音声を符号化する音声符号化部と、映像入
力をディジタル映像に変換するＡ／Ｄ変換器と、該ディ
ジタル映像を符号化する映像符号化部と、該符号化され
た音声情報をマルチ・フレーム化して音声再生出力に対
する映像再生出力の平均遅延時間分だけ該符号化音声を
遅延させてから該符号化された映像情報を多重化して伝
送する音声遅延・多重化部とで構成する。
に関し、 受信側において再生映像出力と再生音声出力を一致させ
ることができる映像・音声多重化方式を提供することを
目的とし、 音声入力をディジタル音声に変換するＡ／Ｄ変換器と、
該ディジタル音声を符号化する音声符号化部と、映像入
力をディジタル映像に変換するＡ／Ｄ変換器と、該ディ
ジタル映像を符号化する映像符号化部と、該符号化され
た音声情報をマルチ・フレーム化して音声再生出力に対
する映像再生出力の平均遅延時間分だけ該符号化音声を
遅延させてから該符号化された映像情報を多重化して伝
送する音声遅延・多重化部とで構成する。
本発明は映像・音声多重化方式に関し、特に音声情報と
映像情報を符号化し多重化して伝送する方式に関するも
のである。
映像情報を符号化し多重化して伝送する方式に関するも
のである。
近年、テレビ会議やテレビ電話等のように音声情報と映
像情報の双方を伝送する通信が盛んになって来ており、
このような多重化通信方式では、両者の符号化・復号化
を高能率に行うと共に音声情報と映像情報のバランスを
保つことも重要になっている。
像情報の双方を伝送する通信が盛んになって来ており、
このような多重化通信方式では、両者の符号化・復号化
を高能率に行うと共に音声情報と映像情報のバランスを
保つことも重要になっている。
このような映像・音声多重化方式に用いられる映像符号
化部では、フレーム間予測符号化、フレーム内予測符号
化、動き補償予測符号化、可変長符号化等の符号化手法
により、映像情報の冗長度圧縮を図っているが、音声信
号に比べて、映像信号の情報量の方が遥かに多いため音
声信号の符号化／復号化処理時間に対して遅延が生じて
しまう。
化部では、フレーム間予測符号化、フレーム内予測符号
化、動き補償予測符号化、可変長符号化等の符号化手法
により、映像情報の冗長度圧縮を図っているが、音声信
号に比べて、映像信号の情報量の方が遥かに多いため音
声信号の符号化／復号化処理時間に対して遅延が生じて
しまう。
そのため、受信側において映像と音声の同期（リップ・
シンク）を確保出来ず、映像と音声が一致しない不自然
な再生がなされていた。
シンク）を確保出来ず、映像と音声が一致しない不自然
な再生がなされていた。
従って、本発明は、受信側において再生映像出力と再生
音声出力を一致させることができる映像・音声多重化方
式を提供することを目的とする。
音声出力を一致させることができる映像・音声多重化方
式を提供することを目的とする。
本発明では、音声信号の処理時間に比べた時の映像信号
の処理遅延時間の平均値を予め求めておくことにより固
定的な遅延制御を行おうとするものである。
の処理遅延時間の平均値を予め求めておくことにより固
定的な遅延制御を行おうとするものである。
即ち、本発明に係る映像・音声多重化方式では、第１図
に原理的に示すように、音声入力をディジタル音声に変
換するＡ／Ｄ変換器１と、該ディジタル音声を符号化す
る音声符号化部２と、映像入力をディジタル映像に変換
するＡ／Ｄ変換器３と、該ディジタル映像を符号化する
映像符号化部４と、該符号化された音声情報をマルチ・
フレーム化して音声再生出力に対する映像再生出力の平
均遅延時間分だけ該符号化音声を遅延させてから該符号
化された映像情報を多重化して伝送する音声遅延・多重
化部７と、を備えている。
に原理的に示すように、音声入力をディジタル音声に変
換するＡ／Ｄ変換器１と、該ディジタル音声を符号化す
る音声符号化部２と、映像入力をディジタル映像に変換
するＡ／Ｄ変換器３と、該ディジタル映像を符号化する
映像符号化部４と、該符号化された音声情報をマルチ・
フレーム化して音声再生出力に対する映像再生出力の平
均遅延時間分だけ該符号化音声を遅延させてから該符号
化された映像情報を多重化して伝送する音声遅延・多重
化部７と、を備えている。
映像信号の映像符号化部及び復号化部での符号化・復号
化処理に要する遅延時間Ｔｖから、音声信号の符号化部
及び復号化部での符号化・復号化処理遅延時間Ｔａを引
いた処理遅延時間Ｔｄ−Ｔｖ−Ｔａが、映像再生出力と
音声再生出力との非同期状態をもたらしている。従って
、この遅延時間Ｔｄの平均値を予め測定しておけば、両
者の平均的な同期状態を得ることができる。
化処理に要する遅延時間Ｔｖから、音声信号の符号化部
及び復号化部での符号化・復号化処理遅延時間Ｔａを引
いた処理遅延時間Ｔｄ−Ｔｖ−Ｔａが、映像再生出力と
音声再生出力との非同期状態をもたらしている。従って
、この遅延時間Ｔｄの平均値を予め測定しておけば、両
者の平均的な同期状態を得ることができる。
このため、本発明では、第１図に示すように、多重化部
７での映像・音声の多重化において音声符号化部２で符
号化された音声フレームをマルチ・フレーム化する。
７での映像・音声の多重化において音声符号化部２で符
号化された音声フレームをマルチ・フレーム化する。
そして、この場合のマルチ・フレーム化は第２図に示す
ように、出力タイミングクロックＣＬＫにより音声符号
化部２から出力される音声フレーム■・・・［相］・・
・を例えばフレーム■〜■、■〜［相］、■〜■という
ように蓄積を行うことにより、音声情報を遅延させるこ
とができるので、この音声フレームの蓄積による遅延時
間Ｔ、の後に映像情報の多重化を行い伝送路に送出する
ことにより映像再生出力と音声再生出力とを同期させる
ことができる。
ように、出力タイミングクロックＣＬＫにより音声符号
化部２から出力される音声フレーム■・・・［相］・・
・を例えばフレーム■〜■、■〜［相］、■〜■という
ように蓄積を行うことにより、音声情報を遅延させるこ
とができるので、この音声フレームの蓄積による遅延時
間Ｔ、の後に映像情報の多重化を行い伝送路に送出する
ことにより映像再生出力と音声再生出力とを同期させる
ことができる。
第３図は第１図に示した本発明の映像・音声多重化方式
の送信側及び受信側の実施例を示したもので、この実施
例では、音声符号化部２は、ディジタル音声に対する符
号化ビット数が各々異なっている複数の適応符号化部（
例えばＡＤＰＣＭ）２、〜２ｎと、各適応符号化部２Ｉ
〜２ｎの再生出力及び該ディジタル音声から雑音評価法
に基づいて符号化とットレートを決定し符号化ビットレ
ート情報を発生する評価部５と、その符号化ビットレー
ト情報により対応する適応符号化部の出力音声情報を選
択する選択部６とで構成されている。
の送信側及び受信側の実施例を示したもので、この実施
例では、音声符号化部２は、ディジタル音声に対する符
号化ビット数が各々異なっている複数の適応符号化部（
例えばＡＤＰＣＭ）２、〜２ｎと、各適応符号化部２Ｉ
〜２ｎの再生出力及び該ディジタル音声から雑音評価法
に基づいて符号化とットレートを決定し符号化ビットレ
ート情報を発生する評価部５と、その符号化ビットレー
ト情報により対応する適応符号化部の出力音声情報を選
択する選択部６とで構成されている。
また、受信側は、伝送路８からの多重化された信号を映
像情報とそれ以外の情報とに分離する分離部１１と、そ
の映像情報以外の情報を更に上記の符号化ビットレート
情報と音声情報とに分離する分離部１２と、その符号化
ビットレート情報に従って音声情報を復号化する音声復
号化部１３と、復号化されたディジタル音声を音声信号
に変換するＤ／Ａ変換器１４と、映像情報を復号化する
映像復号化部１５と、復号化されたディジタル映像出力
を映像出力に変換するＤ／Ａ変換器１６とで構成されて
いる。
像情報とそれ以外の情報とに分離する分離部１１と、そ
の映像情報以外の情報を更に上記の符号化ビットレート
情報と音声情報とに分離する分離部１２と、その符号化
ビットレート情報に従って音声情報を復号化する音声復
号化部１３と、復号化されたディジタル音声を音声信号
に変換するＤ／Ａ変換器１４と、映像情報を復号化する
映像復号化部１５と、復号化されたディジタル映像出力
を映像出力に変換するＤ／Ａ変換器１６とで構成されて
いる。
適応符号化部２．〜２．から出力される音声情報のフレ
ーム（パケット）フォーマットは第４図に示す通りであ
り、フレームへラダａと、このフレームへラダａに続く
一連の音声データで構成され、最適な雑音評価を受けた
適応符号化部の符号化ビット数に×サンプリングレート
ｎ （ｎ＝８ｋＨｚ ）のビット数で構成され、選択部
６を経て音声遅延・多重化部７へ送られる。
ーム（パケット）フォーマットは第４図に示す通りであ
り、フレームへラダａと、このフレームへラダａに続く
一連の音声データで構成され、最適な雑音評価を受けた
適応符号化部の符号化ビット数に×サンプリングレート
ｎ （ｎ＝８ｋＨｚ ）のビット数で構成され、選択部
６を経て音声遅延・多重化部７へ送られる。
第５図は音声遅延・多重化部７の一実施例を示したもの
で、この実施例では、ＣＰＵ２１と、ＣＰＵバス２２と
、第６図に示すフレームフォーマットで伝送路にデータ
を送出するための手順プログラムを格納したＲＯＭ２３
と、映像情報、音声情報、及び符号化ビットレート情報
をそれぞれバス２２に取り込むためのインタフェース（
ｆ／Ｆ）２４〜２６と、これらインタフェース２４〜２
６からの映像情報、音声情報、及び符号化ビットレート
情報を一時的に書き込むためのアドレス空間を有するＲ
ＡＭ２７と、各情報を伝送路に送出するためのインタフ
ェース２８とで構成されている。
で、この実施例では、ＣＰＵ２１と、ＣＰＵバス２２と
、第６図に示すフレームフォーマットで伝送路にデータ
を送出するための手順プログラムを格納したＲＯＭ２３
と、映像情報、音声情報、及び符号化ビットレート情報
をそれぞれバス２２に取り込むためのインタフェース（
ｆ／Ｆ）２４〜２６と、これらインタフェース２４〜２
６からの映像情報、音声情報、及び符号化ビットレート
情報を一時的に書き込むためのアドレス空間を有するＲ
ＡＭ２７と、各情報を伝送路に送出するためのインタフ
ェース２８とで構成されている。
第６図に示す伝送フレームフォーマットは、ＣＣＩＴＴ
勧告案Ｙ、２２１に基づいてビット割当を行ったもので
あり、各マルチフレームは１６伝送フレームで１単位を
構成しく１マルチフレーム−１６伝送フレーム）、横８
ビット×縦８０ビットー合計６４０ピットが１伝送フレ
ームを構成しており、また、１伝送フレームは音声情報
と映像情報と制御情報（Ａ Ｃ（Ａｐｐｌｉｃａｔｉｏ
ｎ Ｃｈａｎｎｅｌ）情報）としてのＦＡ Ｓ （Ｆｒ
ａｍｅ Ａｌｉｇｎｍｅｎｔ Ｓｉｇｎａｌ）情報及び
ＢＡＳ（Ｂｉｔ Ａｌ１ｏｃａｔｉｏｎ Ｓｉｇｎａｌ
）情報で構成されている。
勧告案Ｙ、２２１に基づいてビット割当を行ったもので
あり、各マルチフレームは１６伝送フレームで１単位を
構成しく１マルチフレーム−１６伝送フレーム）、横８
ビット×縦８０ビットー合計６４０ピットが１伝送フレ
ームを構成しており、また、１伝送フレームは音声情報
と映像情報と制御情報（Ａ Ｃ（Ａｐｐｌｉｃａｔｉｏ
ｎ Ｃｈａｎｎｅｌ）情報）としてのＦＡ Ｓ （Ｆｒ
ａｍｅ Ａｌｉｇｎｍｅｎｔ Ｓｉｇｎａｌ）情報及び
ＢＡＳ（Ｂｉｔ Ａｌ１ｏｃａｔｉｏｎ Ｓｉｇｎａｌ
）情報で構成されている。
尚、１マルチフレームは上述の如（１６伝送フレームで
構成されているが、データは第６図（ａ）、（ロ）に示
すように■→［相］の方向に２つの伝送フレーム、例え
ばＦ ｌ−１〜Ｆ ＋−１６とＦ、−１〜Ｆ！−１４、
がｌ対になって構成され且つ送出される。但し、ＦＡＳ
情報、ＢＡＳ情報は伝送フレームＦ、とＦ８とでは別々
である。
構成されているが、データは第６図（ａ）、（ロ）に示
すように■→［相］の方向に２つの伝送フレーム、例え
ばＦ ｌ−１〜Ｆ ＋−１６とＦ、−１〜Ｆ！−１４、
がｌ対になって構成され且つ送出される。但し、ＦＡＳ
情報、ＢＡＳ情報は伝送フレームＦ、とＦ８とでは別々
である。
ＦＡＳ情報は、フレーム情報であり、（１） Ｙ、２２
１フレ一ム同期、及び（２）マルチ・フレーム同期の同
期手順により同期を確立するために使用される。
１フレ一ム同期、及び（２）マルチ・フレーム同期の同
期手順により同期を確立するために使用される。
即ち、上記（１）によりフレーム単位の区別ができ、（
２）により各フレームの識別が可能となる。尚、全フレ
ーム識別の必要性は、後述するＲ Ａ Ｓ （Ｂｉｔ
Ａ１１ｏｃａｔｉｏｎ Ｓｉｇｎａｌ）情報の変化に対
する応答単位を認識する為である。
２）により各フレームの識別が可能となる。尚、全フレ
ーム識別の必要性は、後述するＲ Ａ Ｓ （Ｂｉｔ
Ａ１１ｏｃａｔｉｏｎ Ｓｉｇｎａｌ）情報の変化に対
する応答単位を認識する為である。
ＢＡＳ情報は送信側において音声情報量と映像情報量の
符号化情報（例えば両者の比率）を設定したもので、第
３図の評価部５から符号化ビットレート情報を受けるこ
とによりこの符号化ビットレートをＲＡＳ情報に取り込
んで伝送し、フレーム同期確立後に受信側で各データの
分離を行うために使用される（第８図参照）、このＢＡ
Ｓ情報は、ｌサブ・マルチフレーム毎（１マルチフレー
ム−２サブ・マルチフレーム）に判定され、１つ前のＢ
ＡＳ情報から多数決の論理（８フレーム中の５フレ一ム
以上）により次の符号化ビットレートが検出される（第
９図参照）、尚、ＢＡＳ情報は符号化部が単数で然もビ
ットレートが一定の場合には予め多重化部７に記憶して
おいてもよい。
符号化情報（例えば両者の比率）を設定したもので、第
３図の評価部５から符号化ビットレート情報を受けるこ
とによりこの符号化ビットレートをＲＡＳ情報に取り込
んで伝送し、フレーム同期確立後に受信側で各データの
分離を行うために使用される（第８図参照）、このＢＡ
Ｓ情報は、ｌサブ・マルチフレーム毎（１マルチフレー
ム−２サブ・マルチフレーム）に判定され、１つ前のＢ
ＡＳ情報から多数決の論理（８フレーム中の５フレ一ム
以上）により次の符号化ビットレートが検出される（第
９図参照）、尚、ＢＡＳ情報は符号化部が単数で然もビ
ットレートが一定の場合には予め多重化部７に記憶して
おいてもよい。
次に、この実施例による音声のマルチ・フレーム化遅延
動作を説明する。
動作を説明する。
上記のような伝送フレーム構成（第６図）を用いた場合
の多重化部７では、ＣＰＵ２１によりＢＡＳ情報として
記憶された符号化ビットレートに従ってビット配分が決
定され、上述したように各フレームはフレーム・ヘッダ
を除くと”８Ｘｎビツト構成となるため、第７図に示す
ようにフレーム割当が最適に行う事が出来る。
の多重化部７では、ＣＰＵ２１によりＢＡＳ情報として
記憶された符号化ビットレートに従ってビット配分が決
定され、上述したように各フレームはフレーム・ヘッダ
を除くと”８Ｘｎビツト構成となるため、第７図に示す
ようにフレーム割当が最適に行う事が出来る。
即ち、例えば縦方向の８ビット単位（例えば第７図（１
）〜（８）で示す）毎に右方向に１〜７ビツト（横軸）
まで音声データが埋められると、下段の８ビツトの組へ
と移行し、選択された符号化ビットレートに対応した形
で順次音声データが詰められて行く。
）〜（８）で示す）毎に右方向に１〜７ビツト（横軸）
まで音声データが埋められると、下段の８ビツトの組へ
と移行し、選択された符号化ビットレートに対応した形
で順次音声データが詰められて行く。
ここで、音声フレームヘッダをＢＡＳ情報に含める為、
一定フレーム数分同一符号化レートとする必要があり、
この単位が上記の″１マルチフレーム（−１６フレーム
）″となる。従って、適応符号化を行う場合には１マル
チ伝送フレーム毎に、音声符号化レートが可変となる。
一定フレーム数分同一符号化レートとする必要があり、
この単位が上記の″１マルチフレーム（−１６フレーム
）″となる。従って、適応符号化を行う場合には１マル
チ伝送フレーム毎に、音声符号化レートが可変となる。
そして、音声情報及び映像情報をＲＡＭ２７に格納し、
伝送フレームが完成した時点で伝送速度に一敗したレー
トでデータを伝送路８に送出する。
伝送フレームが完成した時点で伝送速度に一敗したレー
トでデータを伝送路８に送出する。
ここで、第７図に示す伝送フレームは、上述の如く横方
向８ビツト、縦方向８０ビツトであり、１伝送フレーム
は６４０ビツトとなるが、今、伝送速度を６４ｋｂ／ｓ
とすると、単位時間当たり、１００伝送フレームを送信
する事ができ、又、単位伝送フレーム当たりの時間は、
１０ｍ５ｅｃとなる。従って、１マルチ・フレームを１
６伝送フレームと定義した関係で、１マルチ・伝送フレ
ーム分の伝送時間は１６０ ｍ５ｅｃとなる。
向８ビツト、縦方向８０ビツトであり、１伝送フレーム
は６４０ビツトとなるが、今、伝送速度を６４ｋｂ／ｓ
とすると、単位時間当たり、１００伝送フレームを送信
する事ができ、又、単位伝送フレーム当たりの時間は、
１０ｍ５ｅｃとなる。従って、１マルチ・フレームを１
６伝送フレームと定義した関係で、１マルチ・伝送フレ
ーム分の伝送時間は１６０ ｍ５ｅｃとなる。
これは、路上述した音声−映像間の遅延時間Ｔｄの測定
平均値に非常に近い。
平均値に非常に近い。
そこで、１０マルチ・音声フレームから成る１伝送フレ
ームを１６個用意して１６０マルチ・音声フレーム分だ
け音声情報をＲＡＭ２７上に蓄えた後にバッファ４３か
ら映像情報を書き込み、これにより伝送フレームが完了
したとして伝送路８に送出すれば、映像情報に対して音
声情報を所望に遅延させることができ、音声遅延のため
の独立した遅延部を設けることなく映像・音声の再生同
期（リップ・シンク）を確保することができる。
ームを１６個用意して１６０マルチ・音声フレーム分だ
け音声情報をＲＡＭ２７上に蓄えた後にバッファ４３か
ら映像情報を書き込み、これにより伝送フレームが完了
したとして伝送路８に送出すれば、映像情報に対して音
声情報を所望に遅延させることができ、音声遅延のため
の独立した遅延部を設けることなく映像・音声の再生同
期（リップ・シンク）を確保することができる。
また、先頭データ位置を一定のフレーム番号上から配置
すると、分離部での動作は簡略化されて処理時間も短縮
される。
すると、分離部での動作は簡略化されて処理時間も短縮
される。
一方、受信側における分離部１１は第５図に示した多重
化部７と丁度矢印を逆方向にした形で同様の構成を有し
ている。
化部７と丁度矢印を逆方向にした形で同様の構成を有し
ている。
即ち、伝送路からの入力データに対して、上述したよう
に、このＦＡＳ情報を解析することにより（１） Ｙ、
２２１フレ一ム同期、及び（２）マルチ・フレーム同期
を確立する。そして、ＲＡＳ情報に基づいて各データを
分離部１１で分離し、分離された各信号データを、各々
のインタフェースを介して映像情報以外の情報は分離部
１２へ、そして映像情報は映像復号化部１５へ送る。そ
して、分離部１２では更に音声情報（ＢＡＳ情報に基づ
いて各フレーム毎にフレーム・ヘッダが付加される）と
ＢＡＳ情報中の符号化ビットレート情報とに分離する。
に、このＦＡＳ情報を解析することにより（１） Ｙ、
２２１フレ一ム同期、及び（２）マルチ・フレーム同期
を確立する。そして、ＲＡＳ情報に基づいて各データを
分離部１１で分離し、分離された各信号データを、各々
のインタフェースを介して映像情報以外の情報は分離部
１２へ、そして映像情報は映像復号化部１５へ送る。そ
して、分離部１２では更に音声情報（ＢＡＳ情報に基づ
いて各フレーム毎にフレーム・ヘッダが付加される）と
ＢＡＳ情報中の符号化ビットレート情報とに分離する。
そして、音声復号化部１３では分離部１２からの符号化
ビットレート情報を受けてそのビットレートに従うて音
声情報を復号化する。
ビットレート情報を受けてそのビットレートに従うて音
声情報を復号化する。
この結果、音声復号化部１３の音声再生出力と映像復号
化部１５の映像再生出力とは略同じ時刻に発生されるこ
ととなって同期を確保することができる。
化部１５の映像再生出力とは略同じ時刻に発生されるこ
ととなって同期を確保することができる。
尚、上記の実施例では、音声符号化部２に複数の適応符
号化部を用いたが、予めビットレートが固定されている
単一の符号化部からの音声フレームを用いても全く同様
の動作が行われることは言うまでもない。
号化部を用いたが、予めビットレートが固定されている
単一の符号化部からの音声フレームを用いても全く同様
の動作が行われることは言うまでもない。
以上のように、本発明に係る映像・音声多重化方式によ
れば、符号化された音声フレームをマルチ・フレーム化
して音声再生出力と映像再生出力とを一敗させるための
遅延時間が経過した後に映像情報を多重化するように構
成したので、特別な遅延回路を設けることなく映像と音
声の同期（リップシンク）を確保する事ができ、自然な
再生ができると共に、伝送路の効率を最大限に活用する
ことができる。
れば、符号化された音声フレームをマルチ・フレーム化
して音声再生出力と映像再生出力とを一敗させるための
遅延時間が経過した後に映像情報を多重化するように構
成したので、特別な遅延回路を設けることなく映像と音
声の同期（リップシンク）を確保する事ができ、自然な
再生ができると共に、伝送路の効率を最大限に活用する
ことができる。
第１図は、本発明に係る映像・音声多重化方式を原理的
に示したブロック構成図、 第２図は、本発明による音声のマルチ・フレーム化遅延
動作を説明するためのタイムチャート図、第３図は、本
発明方式の一実施例を示したブロック図、 第４図は、本発明に用いる音声フレームを示した図、 第５図は、本発明に用いる多重化／分離部の構成例を示
したブロック図、 第６図は、本発明に用いる伝送フレームの構成図、 第７図は、本発明の実施例による音声のマルチ・パケッ
ト化を示した伝送フレーム構成図、第８図は、本発明に
用いるＢＡＳ情報の映像・音声割当コードの実施例を示
した図、 第９図は、ＢＡＳ情報による映像・音声分離を説明する
図、である。 第１図において、 １．３・・・Ａ／Ｄ変換器、 ２・・・音声符号化部、 ４・・・映像符号化部、 ７・・・音声遅延・多重化部。 図中、同一符号は同−又は相当部分を示す。
に示したブロック構成図、 第２図は、本発明による音声のマルチ・フレーム化遅延
動作を説明するためのタイムチャート図、第３図は、本
発明方式の一実施例を示したブロック図、 第４図は、本発明に用いる音声フレームを示した図、 第５図は、本発明に用いる多重化／分離部の構成例を示
したブロック図、 第６図は、本発明に用いる伝送フレームの構成図、 第７図は、本発明の実施例による音声のマルチ・パケッ
ト化を示した伝送フレーム構成図、第８図は、本発明に
用いるＢＡＳ情報の映像・音声割当コードの実施例を示
した図、 第９図は、ＢＡＳ情報による映像・音声分離を説明する
図、である。 第１図において、 １．３・・・Ａ／Ｄ変換器、 ２・・・音声符号化部、 ４・・・映像符号化部、 ７・・・音声遅延・多重化部。 図中、同一符号は同−又は相当部分を示す。
Claims (4)
- （１）音声入力をディジタル音声に変換するＡ／Ｄ変換
器（１）と、 該ディジタル音声を符号化する音声符号化部（２）と、 映像入力をディジタル映像に変換するＡ／Ｄ変換器（３
）と、 該ディジタル映像を符号化する映像符号化部（４）と、 該符号化された音声情報をマルチ・フレーム化して音声
再生出力に対する映像再生出力の平均遅延時間分だけ該
符号化音声を遅延させてから該符号化された映像情報を
多重化して伝送する音声遅延・多重化部（７）と、 を備えたことを特徴とする映像・音声多重化方式。 - （２）該音声情報のマルチ・フレーム化の周期が、情報
処理単位としての１マルチ・伝送フレームの周期に対応
していることを特徴とした請求項１記載の映像・音声多
重化方式。 - （３）該音声符号化部（２）が、該ディジタル音声に対
する符号化ビット数が各々異なっている複数の適応符号
化部（２＿１−２ｎ）と、各適応符号化部（２＿１〜２
ｎ）の再生出力及び該ディジタル音声から雑音評価法に
基づいて符号化ビットレートを決定し符号化ビットレー
ト情報を発生する評価部（５）と、該符号化ビットレー
ト情報により対応する適応符号化部の出力音声情報を選
択する選択部（６）と、を備えたことを特徴とする請求
項１記載の映像・音声多重化方式。 - （４）伝送路からの多重化された信号を該映像情報とそ
れ以外の情報とに分離する分離部（１１）と、該映像情
報以外の情報を更に該符号化ビットレート情報と該音声
情報とに分離する分離部（１２）と、該符号化ビットレ
ート情報に従って該音声情報を復号化する音声復号化部
（１３）と、 該復号化されたディジタル音声を音声信号に変換するＤ
／Ａ変換器（１４）と、 該映像情報を復号化する映像復号化部（１５）と、該復
号化されたディジタル映像出力を映像出力に変換するＤ
／Ａ変換器（１６）と、 を備えたことを特徴とする請求項２記載の映像・音声多
重化方式。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1066784A JPH02246432A (ja) | 1989-03-18 | 1989-03-18 | 映像・音声多重化方式 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1066784A JPH02246432A (ja) | 1989-03-18 | 1989-03-18 | 映像・音声多重化方式 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH02246432A true JPH02246432A (ja) | 1990-10-02 |
Family
ID=13325836
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP1066784A Pending JPH02246432A (ja) | 1989-03-18 | 1989-03-18 | 映像・音声多重化方式 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH02246432A (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05235883A (ja) * | 1991-11-01 | 1993-09-10 | Internatl Business Mach Corp <Ibm> | 低帯域幅の通信チャネルを高帯域幅の通信チャネルに変換するための方法及び装置 |
| EP0634870A3 (en) * | 1993-07-16 | 1995-04-19 | Pioneer Electronic Corp | Synchronization system for time-shared picture and sound signals. |
| WO2004010695A1 (ja) * | 2002-07-18 | 2004-01-29 | Sharp Kabushiki Kaisha | 伝送システム、伝送装置、並びに、そのプログラムおよび記録媒体 |
-
1989
- 1989-03-18 JP JP1066784A patent/JPH02246432A/ja active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05235883A (ja) * | 1991-11-01 | 1993-09-10 | Internatl Business Mach Corp <Ibm> | 低帯域幅の通信チャネルを高帯域幅の通信チャネルに変換するための方法及び装置 |
| EP0634870A3 (en) * | 1993-07-16 | 1995-04-19 | Pioneer Electronic Corp | Synchronization system for time-shared picture and sound signals. |
| WO2004010695A1 (ja) * | 2002-07-18 | 2004-01-29 | Sharp Kabushiki Kaisha | 伝送システム、伝送装置、並びに、そのプログラムおよび記録媒体 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CA1203031A (en) | Bit compression multiplexing | |
| KR19980069768A (ko) | 다중전송방법 및 시스템과 거기에서 사용되는 음성파동 흡수방법 | |
| US5751694A (en) | Methods and apparatus for synchronizing temporally related data streams | |
| WO1990010993A1 (fr) | Systeme de transmission multiplex video/audio | |
| RU2172557C2 (ru) | Устройство связи | |
| JPH09191296A (ja) | ディジタル復号化器と符号化器のクロックの同期方法及び装置 | |
| US6038529A (en) | Transmitting and receiving system compatible with data of both the silence compression and non-silence compression type | |
| JPH10262015A (ja) | 多重伝送方法およびシステム並びにそこで用いる音声ジッタ吸収方法 | |
| JPH0993553A (ja) | 画像通信装置および画像通信方法 | |
| JP4831139B2 (ja) | 音声信号伝送装置、音声信号受信装置及び音声信号伝送システム | |
| JPH02246432A (ja) | 映像・音声多重化方式 | |
| JP3565115B2 (ja) | テレビ会議端末及びそれに用いる画像・音声再生方法 | |
| JPH027229B2 (ja) | ||
| JP2002152181A (ja) | マルチメディアデータ通信方法およびマルチメディアデータ通信装置 | |
| JP2523995B2 (ja) | 映像・音声多重伝送システム | |
| JPH0832544A (ja) | 画像符号化および復号化装置 | |
| JPH0289472A (ja) | 画像符号化伝送装置 | |
| JPH02246431A (ja) | 映像・音声多重化方式 | |
| JP2010028642A (ja) | 画像伝送システム | |
| JPS63232589A (ja) | 音声・画像の伝送フレ−ム内の帯域可変方式 | |
| JPWO2000030278A1 (ja) | データ多重化装置およびデータ多重化方法、並びにデータ伝送装置 | |
| JP2006309264A (ja) | 音声信号伝送方法及び音声信号復号方法 | |
| JP4148203B2 (ja) | 音声信号伝送方法及び音声復号方法 | |
| JPH0322690A (ja) | 可変長符号化方式及び可変長復号化方式 | |
| JPH0250654A (ja) | 音声パケット化装置 |