JPH10507042A

JPH10507042A - 併合ビデオ及びオーディオ・データの同期化の測定及び規制

Info

Publication number: JPH10507042A
Application number: JP8508678A
Authority: JP
Inventors: ヘイ、ステファン、ジー
Original assignee: フューチャーテル・インク
Priority date: 1994-08-29
Filing date: 1994-08-29
Publication date: 1998-07-07
Also published as: WO1996007274A1; EP0783823A1; AU8009894A; EP0783823A4

Abstract

(57)【要約】この発明は、オーディオ及びビデオデータが引き続き同期して呈示されるような圧縮可聴／可視システムデータ流（２２）の実時間組立に関する。本発明によるシステムデータ流（２２）の組立は、圧縮オーディオビット流（１６）から選ばれたデータのパケットを圧縮ビデオビット流（１８）から選ばれたデータのパケットと交互配置する。システムデータ流（２２）に組み込まれているビデオデータのフレームがシステムデータ流（２２）に組み込まれているオーディオデータに先立ち過ぎると、ビデオ信号の単一フレームに対する全データはシステムデータ流（２２）から除外される。逆に、システムデータ流（２２）に組み込まれているビデオデータのフレームがシステムデータ流（２２）に組み込まれているオーディオデータに遅れ過ぎると、ビデオ信号の単一フレームに対する全データの第二のコピーはシステムデータ流（２２）に組み込まれる。

Description

【発明の詳細な説明】併合ビデオ及びオーディオ・データの同期化の測定及び規制発明の技術分野この発明は、一般に、記録及び／又は送信される圧縮ディジタルデータの技術分野、特に、ビデオ及びオーディオデータを、それ等が単一の圧縮ディジタルデータ流に組み合わされる従い、順次同期化呈示可能化させることに関する。背景技術付随する圧縮ディジタル化オーディオデータを伴う圧縮ディジタル化ビデオデータから成る記録及び／又は送信された多数媒体プログラムを適切に再生するには、ディジタルデータビット流をビデオデータとオーディオデータの両方を含む単一同期化順次システムデータ流に組み合わせることを要する。データをシステムデータ流に組み立てるに又は組立システムデータ流を呈示するに際して、ビデオデータとオーディオデータが無いか或いはそれ等が不適切に同期化されていると、しばしば可視画像は付随する音と同期化して現れるものである。例えば、言葉を話す個人の唇移動を示す画像を呈示しようとすると、それはこれ等の言葉の可聴音と同期しないことが有る。以上の問題に答えるべく、移動画像専門家グループ（”ＭＰＥＧ”）基準、標準化国際機構（”ＩＳＯ”）及び国際電子技術委員会（”ＩＥＣ”）基準ＩＳＯ／ＩＥＣ１１１７２のパート１は、ディジタル化ビデオ及びオーディオデータを単一同期化順次システムデータ流に組み合わせることを許容する枠組みを規定している。一旦単一ディジタルデータ流に組み合わされると、データは、ディジタルコンピュータに含まれるハードディスク又はＣＤ−ＲＯＭ上等のディジタル記憶装置又はケーブルアンテナテレビ（”ＣＡＴＶ”）システム又は高ビットレートディジタル電話システム、例えば、ＴＩ、ＩＳＤＮ主要レート又はＡＴＭ遠隔通信アクセスに亘るような送信の為に充分適した形式となる。ＩＳＯ／ＩＥＣ１１１７２基準に従って組み立てられたシステムデータ流は、ＭＰＥＧデコーダ（復号器）により復号化されて復号化画像及び／又は復号化オーディオサンプルを得ることが出来る。ＭＰＥＧ圧縮を規定するＩＳＯ／ＩＥＣ１１１７２基準は、圧縮ビデオビット流及び圧縮オーディオビット流から抽出されたデータのパケットがシステムデータ流を組み立てる際に交互配置されるべきと規定している。更に、ＩＳＯ／ＩＥＣ１１１７２基準に従って、システムデータ流は、圧縮ビデオ及び圧縮オーディオビット流に加えて、個人保有のパディング流を含むことが出来る。ＭＰＥＧにより規定されたシステムデータ流の特性はＭＰＥＧエンコーダ（符号器）及びデコーダ（復号器）に機能的及び性能要求を課しているが、ＭＰＥＧ基準に特定されたシステムデータ流はＭＰＥＧ符号器又は復号器に対するアーキテクチャ又はその具現化を規定していない。事実、ＩＳＯ／ＩＥＣ１１１７２基準に従って動作する符号器及び復号器の可能な設計及び具現化に対して、かなりの自由度が存在する。ＩＳＯ／ＩＥＣ１１１７２基準のパート１に従うシステムデータ流は二つのデータ層、即ち、圧縮層と圧縮層のディジタルデータを包括するシステムデータ層を含む。ＩＳＯ／ＩＥＣ１１１７２システム層はそれ自体、二つの副層、即ち、「パック層」として識別される多重幅動作の為の層と「パケット層」として識別される流れ特定動作の為の層に分割される。ＩＳＯ／ＩＥＣ１１１７２基準に従うシステムデータ流のパック層に属するパックは、システムクロック基準（”ＳＣＲ”）を特定するヘッダーを含む。ＳＣＲは、９０キロヘルツ（”ｋＨｚ”）の期間内で圧縮層に含まれるディジタル化ビデオ及びオーディオデータの圧縮を開始する意図された時間を固定する。ディジタル化ビデオ及びオーディオデータの同期化呈示を行う為に、パケット層を規定するＩＳＯ／ＩＥＣ１１１７２基準は「呈示時間スタンプ」（”ＰＴＳ ”）及び任意復号化時間スタンプ（”ＤＴＳ”）を提供する。ＰＴＳとＤＴＳはパック層に特定されたＳＣＲに関しビデオ及びオーディオデータ用同期を特定する。ＰＳＴとＤＴＳの両方を任意に含むパケット層は、ＩＳＯ／ＩＥＣ１１１７２基準により規定された圧縮層に含まれるデータと独立している。例えば、ビデオパケットはビデオ流内のどんなバイトでも開始出来る。しかしながら、ＰＳＴと任意のＤＴＳは、各パケットのヘッダーに符号化されていると、そのパケットで開始する第一の「アクセスユニット」（”ＡＵ”）に適用する。ＭＰＥＧ基準ＩＳＯ／ＩＥＣ１１１７２は、ＡＵを「呈示ユニット」（ＰＵ）の符号化表示と定義する。ＩＳＯ／ＩＥＣ１１１７２基準は更に、ＰＵを復号化オーディオＡＵ又は復号化画像と定義している。この基準はまた、オーディオ信号をコンプレス又はデコンプレスする基準において「層」と呼ばれる三つの異なる方法を規定する。これ等の方法の二つに対しては、基準はオーディオＡＵを、それ自体で復号化され得る符号化オーディオビット流の最小部分として定義する。第三の方法に対しては、基準はオーディオＡＵを、前に捕捉された位置と主情報を用いて復号化可能な符号化オーディオビット流最小部分として定義する。ＩＳＯ／ＩＥＣ１１１７２基準のパート１は、圧縮ビデオ及びオーディオデータの同期化呈示の間に、ビデオ画像とオーディオ音の再生が、一つの流、例えば、ビデオデータ流を調整して他の流、例えば、オーディオデータ流の再生に整合させるより寧ろ、流タイムクロック（”ＳＴＣ”）と呼ばれるマスタータイムベースに対して両圧縮ディジタルデータの再生に調整することによって同期化されることを示唆している。ＩＳＯ／ＩＥＣ１１１７２基準は、ＭＰＧＥ復号器のＳＴＭが復号器のクロック（例えば、ＳＣＲ、ビデオＰＴＳ又はオーディオＰＴＳ）、ディジタル記憶媒体（”ＤＳＭ”）又はチャネルクロックの一つであるか、或いはそれが何らかの外部クロックで良いことを示唆している。ＭＰＥＧシステムデータ流に符号化される多数媒体プログラムのエンドツーエンド同期化は：ａ．符号器が、システムデータ流の組立中に、タイムスタンプを埋め込む；ｂ．ビデオ及びオーディオ復号器が圧縮データと共に埋め込みタイムスタンプを受け取る；及びｃ．復号器が多数媒体プログラムの呈示を予定するのに際してタイムスタンプを用いる場合に起こる。ＭＰＥＧ復号器に符号化ビット流はＳＣＲに対して正確な関係を有していることを伝達する為に、システムデータ流の開始時に起こり且つ該流内で繰り返される「システムヘッダー」（”ＳＨ”）は、「システムオーディオロックフラグ」と「システムビデオロックフラグ」を含む。システムオーディオロックフラグを１に設定すれば、オーディオサンプリングレートとＳＣＲの間に特定な一定の関係が存在することを表示する。システムビデオロックフラグを１に設定すれば、ビデオ画面とレートとＳＣＲの間に特定な一定の関係が存在することを表示する。これのフラグの何れかを零に設定すれば、対応する関係が無いことを表示する。上述のように、ＩＳＯ／ＩＥＣ１１１７２基準は、システムデータ流がパディング流を含むことが出来ることを特に規定している。パディング流からシステムデータ流に組み立てられたパケットは、一定の全データ流レートを維持するのに用いることが出来、セクタ合わせを達成し、或いは復号器バッファーアンダーフローを阻止する。パディング流に加えて、１６バイト迄の「スタッフィング」は各パケット内で許容される。スタッフィングはパディング流の目的と同様の目的で用いられ、バイト（８ビット）合わせが不十分なような応用においてワード（１６ビット）又は長ワード（３２ビット）合わせを提供するのに特に有用である。スタッフィングは、必要とされるバイト数がパディング流パケットの最小大きさがより小さい時、パケットを満たす唯一の方法である。ＩＳＯ／ＩＥＣ１１１７２基準のパート２に従って圧縮されたビデオデータのビット流は、圧縮ビデオデータの一連のフレームから成る。ＭＰＧＭ圧縮ビデオデータビット流における一連のフレームは、内部（”Ｉ”）フレーム、予測（” Ｐ”）フレーム及び双方向（”Ｂ”）フレームを含む。他のどんなデータをも参照しないＭＰＥＧＩフレームを復号化すれば、ビデオデータの全未圧縮フレームが再生される。ＭＰＥＧＰフレームは、ビデオデータの前の復号化フレームを参照することによってのみ、即ち前の復号化Ｉフレームを参照するか前の復号化Ｐフレームを参照してビデオデータの全未圧縮フレームを得るように復号化することが出来る。ＭＰＥＧＢフレームは、前の及び引き続く参照フレームの両者を参照することによってのみ、即ち、復号化Ｉ又はＰフレームの何れかを参照して、ビデオデータの全未圧縮フレームを得るように復号化することが出来る。ＩＳＯ／ＩＥＣ１１１７２仕様は、画像群（”ＧＯＰ”）として、Ｉフレームが基準となるＰフレーム及びＢフレームの全てと共に、一つ以上のＩフレームを規定している。システムデータ流を組み立てるのに際し、実時間ＭＰＥＧ符号器は各システムデータ流の開始時にシステムヘッダーを含まなければならず、そのシステムヘッダーはシステムオーディオロックフラグ及びシステムビデオロックフラグを零（０）か一（１）に設定しなければならない。実時間ＭＰＥＧ符号器がこれ等のフラグの何れか又は両方は設定されるべきと特定すれば、特定される全システムデータ流に亘って、オーディオサンプリングレートとＳＣＲの間に且つビデオ画面レートとＳＣＲの間にそれぞれ一定関係が存在することを適切に保証する。圧縮オーディオビット流符号器がビデオのフレームが起こるレートに無関係に動作すれば、システムデータ流にインターリーブ（交互配置）されるべき符号化データにはこれ等の一定の関係が存在すると云う保証は無い。発明の開示本発明の一目的は、可視画像と付随する音の同期化呈示を許容するシステムデータ流を組み立てる方法を提供することにある。本発明の他の目的は、オーディオサンプリングレートとＳＣＲの間に一定関係を維持するシステムデータ流を提供することにある。本発明の他の目的は、ビデオ画像レートとＳＣＲの間に一定関係を維持するシステムデータ流を提供することにある。簡略して云えば、本発明は、復号器により復号化ビデオ画像と復号化オーディオ信号に復号化され得る符号化システムデータ流の実時間組立方法である。特に、本発明により組み立てられたシステムデータ流は、復号器が復号化ビデオ画像と実質的に同期して復号化オーディオ信号を呈示するのを許容する。このシステムデータ流は、圧縮オーディオビット流から選ばれたデータのパケットを圧縮ビデオビット流から選ばれたデータのパケットで交互配置することによって組み立てられる。システムデータ流に交互配置される圧縮オーディオビット流は、予め特定されたオーディオサンプリングレートでサンプルされたオーディオ信号を圧縮することによって発生される。システムデータ流に交互配置された圧縮ビデオビット流は、予め特定されたビデオフレームレートを有するビデオ信号の一連のフレームを圧縮することによって発生される。システムビット流の組立を開始する前に、予め特定されたビデオフレームレートにより分割された予め特定されたオーディオサンプリングレートに等しい予期される符号化オーディオ／ビデオ比が計算される。次いで、システムヘッダー（ ”ＳＨ”）は、オーディオサンプリングレートとシステムクロック基準（”ＳＣＲ”）の間に特定された一定の関係があり且つビデオ画像レートとＳＣＲの間に特定された一定の関係があることをそれぞれ表示するように設定されたシステムオーディオロックフラグとシステムビデオロックフラグの両方を含むシステムデータ流に埋め込まれる。次いで、データのパケットは、圧縮オーディオビット流又は圧縮ビデオビット流の何れかからそれぞれ選ばれシステムデータ流に組み込まれる。同期を行う為に、呈示タイムスタンプ（”ＰＴＳ”）及び任意復号器タイムスタンプ（”ＤＴＳ”）が、各パケットと共に、システムデータ流に埋め込まれる。更に、圧縮用受信オーディオ信号の全サンプルのカウントを表す数により分割された圧縮用受信ビデオ信号のフレーム全数に等しい実際の符号化オーディオ／ビデオ比が計算される。この実際の符号化オーディオ／ビデオ比を用いて、符号化フレーム誤差値は次いで、予期される符号化オーディオ／ビデオ比を実際の符号化オーディオ／ビデオ比から先ず差引いて計算され比の差を得る。次いで、比の差は圧縮用受信ビデオ信号のフレーム全数で掛け合わされる。かく計算された符号化フレーム誤差値が予め特定された負の誤差値より小さければ、ビデオ信号の全フレームに対する圧縮ビデオビット流内の全データは次いで、システムデータ流から除外される。逆に、符号化フレーム誤差値が予め特定された正の誤差数より大きければ、ビデオ信号の全フレームの第二のコピーに対する全データは、圧縮ビデオビット流からシステムデータ流に組み込まれる。本発明のより好ましい実施例においては、予め特定された正の誤差値と予め特定された負の誤差値の両者は、復号化ビデオ画像の１．５フレームを呈示するのに要する時間間隔に約等しい時間間隔を表す。この発明の利点は、より容易に復号化され得るシステムデータ流を発生することである。この発明の他の利点は、種々の異なる復号器により復号化され得るシステムデータ流を発生することである。この発明の他の利点は、比較的簡単な復号器により復号化され得るシステムデータ流を発生することである。これ等及び他の特徴、目的及び利点は、種々の図面図に例示された好ましい実施例の以下の詳細な説明から当業技術者に容易に理解されよう。図面の簡単な説明図１は、圧縮オーディオビット流から選ばれたパケットを圧縮ビデオビット流から選ばれたパケットで交互配置しシステムデータ流を組み立てるプロセスを図表的に描写する図である。図２は、ビデオ信号の一連のフレームを圧縮ビデオビット流に圧縮するビデオ符号器、オーディオ信号を圧縮オーディオビット流に圧縮するオーディオ符号器及び圧縮ビデオビット流から選ばれたパケットを圧縮ビット流から選ばれたパケットで交互配置してシステムビット流を組み立てるマルチプレクサを例示するブロック線図である。図３は、圧縮オーディオビット流から選ばれたパケットを圧縮ビデオビット流から選ばれたパケットで交互配置することによって組み立てられたシステムデータ流を例示する図である。図４は、ビデオ信号全フレームに対する全てのデータがシステムデータ流から省かれる（除外される）べきか、又はビデオ信号の全フレームの第二のコピーに対する全てのデータがシステム流に組み込まれるべきかを決定するプロセスを具現化するＣプログラム言語で書かれたコンピュータプログラムである。発明を実施する最良の態様図１における矢印１２ａと１２ｂは、圧縮オーディオビット流１６から選ばれたパケットを圧縮ビデオビット流１８から選ばれたパケットと交互配置して連結パック２４から成る直列システムデータ流２２を組み立てるプロセスを描写している。ブロック線図に例示されたオーディオ符号器３２は、矢印３４により図２に例示されたオーディオ信号を処理することによって、圧縮されたオーディオビット流１６を発生する。オーディオ符号器３２は、予め特定されたオーディオサンプリングレート（”ＰＳＡＳＲ”）でオーディオ信号３４を先ずディジタル化し、次いでディジタル化オーディオ信号のディジタル化表示を圧縮することによって、圧縮オーディオビット流を発生する。ビデオ符号器３６は、予め特定されたビデオフレームレート（”ＰＳＶＦＲ”）を有する、図２に矢印３８により例示されたビデオ信号の一連のフレームをＭＰＥＧＧＯＰｓに圧縮することによって、圧縮されたビデオビット流１８を発生する。オーディオ符号器３２は、好ましくは、カリフォルニア州９４０８６サニーベル、イー・アーカス・アベニュー１０９６所在のＦｕｔｕｒｅＴｅｌ，Ｉｎｃ．により市販されているオーディオ圧縮エンジン・モデルＮｏ．９６−０００３−０００２である。ビデオ符号器３６は、好ましくは、同ＦｕｔｕｒｅＴｅｌ，Ｉｎｃ．により販売されているビデオ圧縮エンジン・モデルＮｏ．９６−０００２−００２である。これ等の好ましいオーディオ符号器３２とビデオ符号器３６は、オーディオ信号３４を圧縮オーディオビット流１６に及びビデオ信号３８を圧縮ビデオビット流１８にそれぞれ実時間で圧縮出来る。実時間において、システムデータ流マルチプレクサ４４は、圧縮オーディオビット流１６又は圧縮ビデオビット流１８からの圧縮オーディオデータ又は圧縮ビデオデータのパケットをそれぞれ繰り返し選び図１に例示されたシステムデータ流２２のパックに交互配置組立を行う。システムデータ流マルチプレクサ４４は、好ましくは、オーディオ符号器３２とビデオ符号器３６が位置するパーソナルコンピュータ（図示せず）に含まれるホストマイクロプロセッサによって実行されるコンピュータプログラムである。オーディオ信号３４とビデオ信号３８をそれぞれ圧縮するオーディオ符号器３２とビデオ符号器３６の製作に際して、ホストマイクロプロセッサにより実行されるコンピュータプログラムは指令とデータをオーディオ符号器３２とビデオ符号器３６に転送し、予め特定されたビットレートで圧縮オーディオビット流１６と圧縮ビデオビット流を生成する。システムデータ流に埋め込まれる制御データ用に必要とされるオーバーヘッドを収容する為、圧縮オーディオビット流１６と圧縮ビデオビット流１８用コンピュータプログラムによって特定されるビットレートの和は、システムデータ流２２に対して特定されるビットレートより僅かに少ない。オーディオ符号器３２に圧縮オーディオビット流１６を予め特定されたビットレートで発生するように指令することに加えて、ホストマイクロプロセッサは、オーディオ符号器３２にオーディオ信号３４をＰＳＡＳＲでディジタル化するように指令する付加制御データをオーディオ符号器３２に転送する。制御データをオーディオ符号器３２とビデオ符号器３６に転送しそれ等をして圧縮オーディオビット流１６と圧縮ビデオビット流１８をそれぞれ発生させる準備を為さしめることに加えて、ホストマイクロプロセッサにより実行されるコンピュータブログラムはまた、システムデータ流２２を組み立てるのに用いられるある種のデータを準備する。特に本発明に関して、ホストマイクロプロセッサにより実行されるコンピュータプログラムは、ＰＳＡＳＲとＰＳＶＦＲを分割することによって、システムデータ流２２に対して予測される符号化オーディオ／ビデオ比（”ＥＥＡＶＲ”）を計算する。ホストマイクロプロセッサにより実行されるコンピュータプログラムがシステムデータ流２２を組み立てる準備を完了した後、システムデータ流マルチプレクサ４４は、圧縮オーディオビット流１６又は圧縮ビデオビット流１８からのそれぞれのデータのパケットを繰り返し選び、システムデータ流２２のパック２４に組み込む。図３に例示されているように、ＩＳＯ／ＩＥＣ１１１７２仕様に従う組立システムデータ流２２の各パック２４は、予め特定された長さＬを有する。各パック２４は、６５．５３８バイト程度の長さＬをもつことが出来る。各パック２４は、その特定のパック２４に対してシステムクロック基準（”ＳＣＲ”）値を含む、図３においてＰＨで示されたパックヘッダー５２で始まる。システムデータ流２２の第一のパック２４において、図３にＳＨで示されたシステムヘッダー５４は、パックヘッダー５２に直従する。ＩＳＯ／ＩＥＣ１１１７２仕様に従って、システムヘッダー５４はまた、システムデータ流２２内で各パック２４で繰り返される。システムヘッダー５４は、システムオーディオロックフラグ及びシステムビデオロックフラグの両方を含む。ホストマイクロプロセッサにより実行されるコンピュータプログラムは、システムオーディオロックフラグ及びシステムビデオロックフラグを１に設定して、オーディオサンプリングレートとＳＣＲの間に特定な一定の関係が存在し且つビデオ画像レートとＳＣＲの間に特定な一定の関係が存在することをそれぞれ表示する。一つがパック２４に含まれていれば、パックヘッダー５２とシステムヘッダー５４に引き続いて、図３に例示された各パック２４の残りは、圧縮オーディオビット流１６又は圧縮ビデオビット流１８の何れかからシステムデータ流マルチプレクサ４４により選ばれたデータのパケット５６を含む。各パケット５６は、図示しないパケットを含み、これは呈示タイムスタンプ（”ＰＴＳ”）を含むことが出来、ＩＳＯ／ＩＥＣ１１１７２仕様に従って任意の復号化タイムスタンプ（ ”ＤＴＳ”）も含むことが出来る。図示されていないが、この発明によるシステムデータ流２２はまた、パディング流のパックを含むことが出来る。ＩＳＯ／ＩＥＣ１１１７２仕様下で許容されているように、システムデータ流マルチプレクサ４４はパディング流からのパックをシステムデータ流２２に組立て、一定の全データレートを維持し、セクタ合わせを達成し、或いは復号器バッファーアンダーフローを阻止するようにすることがある。好ましいオーディオ符号器３２は、オーディオ信号３４を予め特定されたサンプリングレートでディジタル化することによってオーディオビット流１６を圧縮し、次いで、ディジタル化されたオーディオ信号を圧縮し予め特定されたビットレートで圧縮オーディオビット流１６を発生するので、好ましいオーディオ符号器３２により発生された圧縮オーディオビット流１６は、ＳＣＲ、ＳＴＳ及びＤＴＳをシステムデータ流２２のパック２４に割り当てる安定したタイミング基準を固有に提供する。比較によれば、ビデオ信号３８がビデオカセットをビデオカセットレコーダ（”ＶＴＲ”）上で再生し又はレーザーディスクをレーザーディスク上で動作させる場合には、ビデオ信号のフレームレートの変動故に、ビデオ信号のフレームレートはＳＣＲ，ＰＴＳ及びＤＴＳを割り当てる安定したタイミング基準を提供しない。システムデータ流２２の組立中に、ホストマイクロプロセッサにより実行されるコンピュータプログラムは、圧縮オーディオビット流１６又は圧縮ビデオビット流１８から選ばれたパケット５６に加えてオーディオ符号器３２とビデオ符号器３６からのデータを取り込む。特に、システムデータ流マルチプレクサ４４は、オーディオ符号器３２内の位置６２からオーディオ符号器３２が圧縮用に受信したオーディオ信号の全サンプル（”ＮＯＳ”）の走行サンプルを表す数を取り込む。同様に、システムデータ流マルチプレクサ４４はまた、ビデオ符号器３６内の位置６４からビデオ符号器３６が圧縮用に受信したビデオ信号３８の全フレーム数（”ＮＯＦ”）の走行カウントを取り込む。ホストマイクロプロセッサにより実行されるコンピュータプログラムは、これ等二つの値を出来るだけ時間的に近接して取り込む。次いで、システムデータ流マルチプレクサ４４は、ＮＯＳをＮＯＦで分割し実際の符号化オーディオ／ビデオ比（”ＡＥＡＶＲ”）を得る。次いで、システムデータ流マルチプレクサ４４は、先ずＡＥＡＶＲから前に計算されたＥＥＡＶＲを差し引いて比（”ＤＯＲ”）の差を得る。次いで、ＤＯＲはＮＯＦにより掛け合わされ符号化フレーム誤差値（”ＥＦＥＶ”）を得る。ＥＦＥＶは、予め特定されたオーディオサンプリング比に基づいて、システムデータ流２２に組み立てられたＮＯＦに対する実際の時間とシステムデータ流２２に組み立てられたＮＯＦに対する予測時間の時間差を表す。かく計算されたＥＦＥＶが、圧縮ビデオビット流１８に組み立てられたＮＯＦに対する実際の時間が圧縮ビデオビット流１８より予め特定された負の誤差値（ ”ＰＳＮＥＶ”）以上に大きいと云う理由で、ＰＶＮＥＶより小さければ、システムデータ流マルチプレクサ４４はシステムデータ流２２から、圧縮ビデオビット流１８における全Ｂフレームに対する全てのデータを省く（除外する）。ＥＦＥＶが、圧縮ビデオビット流１８に組み立てられたＮＯＦに対する実際の時間が圧縮ビデオビット流１８に組み立てられたＮＯＦに対する予測時間より予め特定された正の誤差値（”ＰＳＰＥＶ”）以上少ないと云う理由で、ＰＳＰＥＶより大きければ、システムデータ流マルチプレクサ４４は、圧縮ビデオビット流１８における全Ｂフレームに対する全てのデータの第二のコピーをシステムデータ流２２に組み込む。ＰＳＮＥＶ及びＰＳＰＥＶに対する好ましい値は、復号化ビデオ画像の１．５フレームの呈示に対して要求される時間間隔を表す。かくして、ＥＦＥＶの大きさが復号化ビデオ画像の１．５フレームの呈示に必要とされる時間間隔を超える時間間隔を表す場合にのみ、圧縮ビデオビット流１８内の全Ｂフレームがシステムデータ流２２から省かれ、或いは圧縮ビデオビット流１８内の全Ｂフレームの第二のコピーがシステムデータ流２２に組み立てられるのである。ＩＳＯ／ＩＥＣ１１１７２のパート２に従うシステムデータ流２２内の各フレームは付番されるので、システムデータ流マルチプレクサ４４がシステムデータ流２２から圧縮ビデオビット流１８における全Ｂフレームに対する全てのデータを省く場合、システムデータ流マルチプレクサ４４は、現在のＧＯＰにおける全ての引き続くフレームに、それ等をシステムデータ流２２に組み立てる前に、従って再付番しなければならない。それに対応して、システムデータ流マルチプレクサ４４がシステムデータ流２２に圧縮ビデオビット流１８内の全Ｂフレームに対する全てのデータの第二のコピーを組み込む場合には、システムデータ流マルチプレクサ４４は従ってそのフレームに付番し且つ現在のＧＯＰから引き続く全フレームに再付番になければならない。図４は、ビデオ信号３８の全フレームに対する全てのデータがシステムデータ流２２から省かれるべきか、或いはビデオ信号３８の全フレームの第二のコピーに対する全てのデータがシステムデータ流２２に組み込まれるべきかを決定するプロセスを具現化する、Ｃプログラム言語で書かれたコンピュータプログラムである。図４におけるライン番号１−８は、オーディオ符号器３２内の位置６２及びビデオ信号６４内の位置からのカウントを取り込みＮＯＦ及びＮＯＳに対する値を設定する。図４におけるライン番号１３−１６は、ＥＦＥＶの計算を具現する。図４におけるライン番号２１−２２は低域フィルタをＥＦＥＶに適用する。図４におけるライン番号２６−３６は、ビデオ信号３８の全フレームに対する全てのデータがシステムデータ流２２から省かれるべきか、或いはビデオ信号３８の全フレームの第二のコピーに対する全てのデータがシステムデータ流２２に組み込まれるべきかを決定する。産業上適用性圧縮ビデオビット流１８に対するビットレートを設定するのに、ホストマイクロプロセッサにより実行されるコンピュータプログラムは、そのビットレートを、システムデータ流２２に対する所望の基準ビットレート差引圧縮オーディオビット流１６に対する予め特定されたビットレート以下約１％に設定する。圧縮ビデオビット流１８に対するビットレートを所望の基準ビットレート以下１％に設定すると、圧縮オーディオビット流１６と圧縮ビデオビット流１８に対するビットレートの和にシステムデータ流２２のオーバーヘッドを加えたものが、たとえ圧縮ビデオビット流１８内の全Ｂフレームに対する全てのデータの第二のコピーがシステムデータ流２２にたまたま組み込まれようと、システムデータ流２２に対する最大ビットレートを決して超えることがないと云う充分な安全余裕が得られる。システムデータ流マルチプレクサ４４は、それがシステムデータ流２２を数分間組み立てた後にのみ、システムデータ流２２からのＢフレームの省略（除外）又はシステムデータ流２２に対するＢフレームの付加をして開始する。システムデータ流マルチプレクサ４４は、誤動作を避ける為、短い時間間隔、Ｂフレームの省略又は付加を禁止する。システムデータ流２２の始めの数分間中のかかるＢフレームの誤動作省力又は付加は、ＮＯＳに対する一つの比較的小数をＮＯＦに対する他の比較的小数により分割する結果である。両オーディオ符号器３２とビデオ符号器３６の動作をそれぞれ起動させる、ホストマイクロプロセッサにより実行されるコンピュータプログラムから送られる指令がオーディオ符号器３２とビデオ符号器３６の両者で実行されるマイクロコードを生じ、それが位置６２にあるカウントと位置６４にあるカウントを零にリセットするので、始めの数分間の動作中に小数がＮＯＳとＮＯＦに対して起こる。数分間の時間間隔の後、カウントＮＯＳとカウントＮＯＦは充分に大きくなり、引き続くＤＯＲｓは一ＧＯＰから次のＧＯＰに対してそれ程顕著には変化しない。システムデータ流２２の始めの数分間の短い時間の間、Ｂフレームの省略（除外）と付加を完全に禁止することに加えて、Ｂフレームがシステムデータ流２２から省かれる（除外される）べきか、或いはＢフレームがシステムデータ流２２に付加されるべきかを決定するＥＦＷＶをテストする前に、低域フィルタがＥＦＥＶに適用されＢフレームの誤動作除外又は付加を更に禁止する。低域フィルタをＥＦＥＶに適用すると、ＥＥＡＶＲとＡＥＡＶＲ間の差における長時間傾向にのみ応答して、且つ、ＮＯＳとＮＯＦの値の変動によらず、多分一つのＧＯＰ中のＮＯＳ又はＮＯＦの何れかの一つの値の読み取り及び直前又は直後のＧＯＰ中のＮＯＦ又はＮＯＳの何れかの対応する値の読み取りによらず、Ｂフレームのシステムデータ流２２からの省略又はＢフレームのシステムデータ流２２への付加が保証される。ＥＦＥＶに適用される好ましい低域フィルタは、非対称応答を有する。即ち、低域フィルタの特性により、フィルタの出力値は、それがＥＦＥＶに対する非零値に応答して零から離れるのより速やかに、ＥＦＥＶに対する零値に応答して零に帰還する。低域フィルタに採用される実際の応答時間は、半経験的に決定される。更に、システムデータ流マルチプレクサ４４が圧縮ビデオビット流１８のフレームをシステムデータ流からから省くか或いはそれに付加するならば、低域フィルタの出力値は任意に零に設定される。低域フィルタの出力値を零に設定すれば、直続するＭＰＥＧＧＯＰｓの処理中に、圧縮ビデオビット流１８の全フレームの省略又は圧縮ビデオビット流１８の全フレームの付加がより禁止されるようになる。本発明に従って、好ましいオーディオ符号器３２、好ましいビデオ符号器３６及びシステムデータ流マルチプレクサ４４の組み合わせは、事実上、如何なる所望のデータ流２２をも直接及び如何なる介在処理動作無しに組み立てることを許容する。例えば、オランダ国、ジェービー・アインドホーフェン５６００、Ｐ．Ｏ．Ｂｏｘ８０００２、ビルディングＳＡ−１のフィリップス・コンシューマー・エレクトロニクス、コーディネーション・オフィス＆磁気媒体システムは、「ホワイト・ボックス」仕様と口語的に言及されるビデオＣＤに対する仕様を確立した。フィリップスのホワイト・ボックス基準は、毎秒１，１５１．９２９．１ビットの圧縮ビデオビット流１８に対する最大ビットレート、４４．１ｋＨｚのオーディオサンプリングレート及び毎秒２２４キロビットのオーディオビットレートを特定する。フィリップスのホワイト・ボックス基準はまた、オーディオパケットを２２７９バイト長とし、一方、ビデオパケットは２２９６バイト長を有し且つシステムデータ流２２は毎秒７５パックのパックレートを有するとしている。好ましいオーディオ符号器３２及び好ましいビデオ符号器３６と関連して動作する本発明によるシステムデータ流マルチプレクサ４４は、システムデータ流２２を、安定して特定された圧縮オーディオビット流１６と圧縮ビデオビット流１８からフィリップスのホワイト・ボックス基準に従って、また如何なる介在動作も無く、直接組み立てることが出来る。本発明は以上、現在のところ好ましい実施例に付いて記載されたが、かかる開示は純粋に例示的なものであり、限定的に解釈されるべきでないことが理解されるべきである。従って、発明の精神と範囲を逸脱することなく、本発明の種々の変更、修正及び／又は代替的応用は、疑いも無く、以上の開示を読了した当業技術者に示唆されるであろう。従って、以下の請求項は、本発明の真の精神と範囲内に該当する全ての変更、修正又は代替的応用を包括するものと理解されるべきことが意図されるものである。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号ＦＩＨ０４Ｎ 7/04 Ｈ０４Ｎ 7/04 １０１ 7/045

Claims

【特許請求の範囲】１．復号器によって復号化ビデオ画像と復号化オーディオ信号に復号化され得る符号化システムデータ流の実時間組立方法であって、該システムデータ流は復号器が復号化オーディオ信号を実質的に復号化ビデオ画像と同期して呈示するようにして組み立てられ、同システムデータ流は圧縮オーディオビット流から選ばれたデータのパケットを圧縮ビデオビット流から選ばれたデータのパケットと交互配置することによって組み立てられ、上記圧縮オーディオビット流は予め特定されたオーディオサンプリングレート（”ＰＳＡＳＲ”）でサンプルされるオーディオ信号を圧縮することによって発生され、上記圧縮ビデオビット流は予め特定されたビデオフレームレート（”ＰＳＶＦＲ”）を有するビデオ信号の一連のフレームを圧縮することによって発生され、前記方法は次の工程（ステップ）：ａ．上記システムデータ流の組立を開始する前に、ＰＳＶＦＲにより分割されたＰＳＡＳＲに等しい予測される符号化オーディオ／ビデオ比（”ＥＥＡＶＲ” ）を計算し；ｂ．上記システムデータ流に、システムオーディオロックフラグとシステムビデオロックフラグが設定され、夫々、オーディオサンプリングレートとシステムクロック基準（ＳＣＲ）の間に特定な一定の関係が存在し且つビデオ画像レートと上記ＳＣＲの間に特定な一定の関係が存在することを表示するシステムヘッダー（”ＳＨ”）を埋め込み；ｃ．前記圧縮オーディオビット流又は前記圧縮ビデオビット流から、夫々、データのパケットを繰り返し選び上記システムデータ流に組み込み；ｄ．上記システムデータ流に、上記圧縮オーディオビット流又は上記圧縮ビデオビット流から、夫々、選ばれた各パケットと共に、呈示タイムスタンプ（”ＰＴＳ）を繰り返し埋め込み；ｅ．圧縮用に受信されたビデオ信号の全フレーム数（”ＮＯＦ”）で分割された圧縮用に受信されたオーディオ信号の全サンプル（”ＮＯＳ”）のカウントを表す数に等しい実際の符号化オーディオ／ビデオ比（”ＡＥＡＶＲ”）を計算し；ｆ．符号化フレーム誤差値（”ＥＦＥＶ”）を計算し、これを先ずＡＥＡＶＲからＥＥＡＶＲを差し引いて比（”ＤＯＲ”）の差を得、次いでこのように計算されたＤＯＲにＮＯＦを掛け合わせることにより為し；そしてｇ．ＥＦＥＶが予め特定された負の誤差値（”ＰＳＮＥＶ”）より小さければ、上記システムデータ流から前記ビデオ信号の全フレームを省くことから成ることを特徴とする方法。２．更に、ｈ．ＥＦＥＶが予め特定された正の誤差値（”ＰＳＰＥＶ”）より大きければ、上記システムデータ流に前記ビデオ信号の全フレームに対する全てのデータの第二のコピーを組み込む工程から成ることを特徴とする請求項１に記載する方法。３．ＰＳＰＥＶは、前記復号化画像の単一フレームの半分を呈示するに要する時間間隔より大きい時間間隔を表すことを特徴とする請求項２に記載する方法。４．上記システムデータ流の組立の開始に直続する数分の間、上記システムデータ流から前記ビデオ信号のフレームの除外及び前記ビデオ信号の全フレームに対する全てのデータの第二のコピーの上記システムデータ流への付加を禁止することを特徴とする請求項２に記載する方法。５．更に、ｉ．前記ビデオ信号のフレームを上記システムデータ流から除外するかどうかの決定の前に、及び上記ビデオ信号のフレームを上記システムデータ流に付加すべきかどうかの決定の前に、低域フィルタをＥＦＥＶに適応する工程から成ることを特徴とする請求項２に記載する方法。６．ＰＳＮＥＶが、前記復号化ビデオ画像の単一フレームの半分の呈示に要する時間間隔より大きい時間間隔を表すことを特徴とする請求項１に記載する方法。７．上記システムデータ流の組立の開始に直続する数分の間、上記システムデータ流から前記ビデオ信号のフレームの除外を禁止することを特徴とする請求項１に記載する方法。８．更に、ｈ．前記ビデオ信号のフレームを上記システムデータ流から除外するかどうかを決定する前に、低域フィルタをＥＦＥＶに適応する工程から成ることを特徴とする請求項１に記載する方法。９．復号器によって復号化ビデオ画像と復号化オーディオ信号に復号化され得る符号化システムデータ流の実時間組立方法であって、該システムデータ流は復号器が復号化オーディオ信号を実質的に復号化ビデオ画像と同期して呈示するようにして組み立てられ、同システムデータ流は圧縮オーディオビット流から選ばれたデータのパケットを圧縮ビデオビット流から選ばれたデータのバケットと交互配置することによって組み立てられ、上記圧縮オーディオビット流は予め特定されたオーディオサンプリングレート（”ＰＳＡＳＲ”）でサンプルされるオーディオ信号を圧縮することによって発生され、上記圧縮ビデオビット流は予め特定されたビデオフレームレート（”ＰＳＶＦＲ”）を有するビデオ信号の一連のフレームを圧縮することによって発生され、前記方法は次の工程（ステップ）：ａ．上記システムデータ流の組立を開始する前に、ＰＳＶＦＲにより分割されたＰＳＡＳＲに等しい予測される符号化オーディオ／ビデオ比（”ＥＥＡＶＲ” ）を計算し；ｂ．上記システムデータ流に、システムオーディオロックフラグとシステムビデオロックフラグが設定され、夫々、オーディオサンプリングレートとシステムクロック基準（ＳＣＲ）の間に特定な一定の関係が存在し且つビデオ画像レートと上記ＳＣＲの間に特定な一定の関係が存在することを表示するシステムヘッダー（”ＳＨ”）を埋め込み；ｃ．前記圧縮オーディオビット流又は前記圧縮ビデオビット流から、夫々、データのパケットを繰り返し選び上記システムデータ流に組み込み；ｄ．上記システムデータ流に、上記圧縮オーディオビット流又は上記圧縮ビデオビット流から、夫々、選ばれた各パケットと共に、呈示タイムスタンプ（”ＰＴＳ）を繰り返し埋め込み；ｅ．圧縮用に受信されたビデオ信号の全フレーム数（”ＮＯＦ”）で分割された圧縮用に受信されたオーディオ信号の全サンプル（”ＮＯＳ”）のカウントを表す数に等しい実際の符号化オーディオ／ビデオ比（”ＡＥＡＶＲ”）えを計算し；ｆ．符号化フレーム誤差値（”ＥＦＥＶ”）を計算し、これを先ずＡＥＡＶＲからＥＥＡＶＲを差し引いて比（”ＤＯＲ”）の差を得、次いでこのように計算されたＤＯＲにＮＯＦを掛け合わせることによって為し；そしてｇ．ＥＦＥＶが予め特定された正の誤差値（”ＰＳＰＥＶ”）より大きければ、上記システムデータ流に前記ビデオ信号の全フレームに対する全てのデータの第二のコピーを組み込むことから成ることを特徴とする方法。１０．ＰＳＰＥＶが、前記復号化ビデオ画像の単一フレームの半分の呈示に要する時間間隔より大きい時間間隔を表すことを特徴とする請求項９に記載する方法。１１．上記システムデータ流の組み込みの開始に直続する数分の間、前記ビデオ信号の全フレームに対する全てのデータの第二のコピーを上記システムデータ流に付加することを禁止することを特徴とする請求項９に記載する方法。１２．更に、ｈ．上記システムデータ流に前記ビデオ信号のフレームを付加すべきかどうかを決定する前に、ＥＦＷＶに低域フィルタを適用する工程から成ることを特徴とする請求項９に記載する方法。