JPH10200862A

JPH10200862A - オーディオ・ビデオ同期再生装置

Info

Publication number: JPH10200862A
Application number: JP9001922A
Authority: JP
Inventors: Mitsumasa Tanaka; 三雅田中
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 1997-01-09
Filing date: 1997-01-09
Publication date: 1998-07-31
Anticipated expiration: 2017-01-09
Also published as: JP3106987B2; US6078725A

Abstract

(57)【要約】【課題】再生装置の時計の精度が低い場合でも、音声
と映像の同期を正確に合わせる装置を提供する。【解決手段】オーディオデータカウンタ４３から音声
積算データ量を取得し、クロック生成部３３にて、音声
ヘッダ情報と、音声積算データ量を用いて、音声の再生
経過時間（基準時間）を算出する。次に遅延検出部３２
にて、基準時間と映像ヘッダ情報を用いて、本来伸張さ
れ、表示されるべき映像のフレーム数（理想フレーム
数）を算出する。次にビデオフレームカウンタ４１か
ら、実際に伸張され、表示された映像のフレーム数（実
フレーム数）を得、理想フレーム数と実フレーム数とを
比較し、音声に対する映像の進捗を得る。映像が早いと
きは終了する。同期状態のときは映像の伸張・表示処理
を行う。映像が遅いときはコマ落とし判定を行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、デジタル圧縮され
たオーディオ・ビデオデータをそれぞれ伸張してオーデ
ィオとビデオを再生するする際、オーディオとビデオの
同期を取りながら再生を実行するオーディオ・ビデオ同
期再生装置に関する。

【０００２】

【従来の技術】オーディオ・ビデオ同期再生装置はＣＤ
−ＲＯＭやハードディスクなどの記録媒体に、デジタル
圧縮されて記録されたオーディオとビデオを読みとり、
伸張してＣＲＴモニタやスピーカなどに再生する装置で
ある。

【０００３】デジタル圧縮符号化されたオーディオ・ビ
デオデータをそれぞれ伸張してオーディオとビデオを再
生するオーディオ・ビデオ再生装置では、再生装置のデ
ータ処理能力が十分高い場合やビデオデータの圧縮符号
のサイズが小さい場合は、オーディオ・ビデオデータを
それぞれ伸張する時間が短時間で実行されるため、全て
のオーディオデータ及びビデオフレームを絶え間なく再
生することができる。しかしながら、再生装置のデータ
処理能力が低い場合やビデオデータの圧縮符号のサイズ
が大きい場合には、圧縮符号の伸張に要する時間が長く
なるため、リアルタイム（オーディオとビデオの本来の
再生速度）に再生できず、ビデオはスローモーションの
ように再生され、オーディオは途切れ途切れに再生され
る。

【０００４】しかし、オーディオが途切れ途切れになる
と人間の感覚上違和感があるため、通常はオーディオが
連続して再生できるようにビデオよりも優先的に処理を
行う。このため、全体の処理能力からオーディオの伸張
処理、及び再生処理を除いた分をビデオの伸張処理、表
示処理に割り当てる。このとき、オーディオとビデオを
同期（再生位置を合わせる）させないとオーディオとビ
デオの内容がずれて再生されるため、ビデオフレームを
適当に間引く（コマ落とし）必要がある。

【０００５】デジタル圧縮の既知の規格としては、ＭＰ
ＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔｓ
Ｇｒｏｕｐ）が知られている。ＭＰＥＧでは、圧縮符
号化されたオーディオデータ及びビデオデータを、同期
して再生するために、圧縮時にオーディオデータ・ビデ
オデータのそれぞれに再生、及び表示を実行する時間情
報が付加され圧縮される。伸張時にはこの時間情報を参
照して、オーディオとビデオとの同期を合わせながら両
信号を再生する。

【０００６】このようなオーディオとビデオの同期再生
方式として、特開平８−１４００５４号に開示された方
式がある。この方式では、時間情報を含んだオーディオ
とビデオを出力する際に、ディスプレイに表示する垂直
帰線消去信号を所定走査線数期間増減することにより、
オーディオとビデオの時間差が所定しきい値以上になら
ないようにすることにより、オーディオとビデオを同期
して再生している。

【０００７】また、特開平６−２３３２６９号に開示さ
れている方式がある。この方式では、オーディオおよび
ビデオのいずれか一方が伸張処理を終了したときの時間
を計測し、もう一方の伸張処理が終了したときの時間と
の差分を検出し、この差分値に基づき、圧縮データの転
送タイミングと伸張装置の起動タイミングとビデオの表
示タイミングを変更することによりオーディオとビデオ
を同期して再生している。

【０００８】また、伝送路エラーなどによりデータが不
正な形式のものに変換されていたり、データ自体が欠落
していたとき（以降、データエラーと呼ぶ）の回復手段
の従来例として、特開平６−１６５０７５号に開示され
ている方式や特開平８−１４００８９号に開示されてい
る方式がある。これらの方式ではデータエラー発生時に
オーディオにミュート処理を施すことによって異音の発
生を防いでいる。

【０００９】

【発明が解決しようとする課題】しかしながら、上述し
た特開平８−１４００５４号に開示されている方法で
は、再生を実行する装置の再生経過時間を測定するため
の時計の分解能が低い場合、オーディオとビデオの同期
を正確にとることはできない。例えば、装置の時計の精
度が１０ミリ秒間隔でしかとれない装置を用いて、３０
フレーム／秒のビデオ・オーディオの再生処理を行う場
合を考えてみる。この場合、実際にはビデオの１フレー
ムあたりのオーディオを伸張するために１３ミリ秒かか
ったとしても、装置の時計では１０ミリ秒で処理が完了
したことになり、ビデオ処理に２０ミリ秒割り当ててし
まう。このようなとき、ビデオは２０ミリ秒で処理が完
了しても、実際には３ミリ秒の遅れが生じてしまうこと
になり、再生装置の時計の精度が低い環境下では、使用
できないという欠点があった。

【００１０】また、特開平６−２３３３６９号に開示さ
れている方法では、データエラーが発生したときの回復
手段について記述されておらず、オーディオおよびビデ
オのどちらか一方のデータ内にデータエラーが発生した
場合、オーディオとビデオの同期を正確にとることがで
きないという欠点があった。

【００１１】また、特開平６−１６５０７５号や特開平
８−１４００８９号に開示されている方法では、ビデオ
データ内でデータエラーが発生したときの回復手段につ
いて記述されておらず、かつ、データエラー発生時のオ
ーディオとビデオの同期を回復する方式について記述さ
れていなかった。

【００１２】本発明は、以上のような問題点を解消する
ためになされたもので、装置の再生経過時間の分解能が
低い場合でも、オーディオとビデオの同期を合わせる装
置を提供することにある。

【００１３】また、オーディオもしくはビデオのデータ
内でデータエラーが発生した場合でもオーディオとビデ
オの同期を合わせる装置を提供することにある。

【００１４】

【課題を解決するための手段】本発明によるオーディオ
・ビデオ同期再生装置は、伸張され、再生されたオーデ
ィオの再生データ量を計上する手段と、再生データ量か
らオーディオの再生時間（基準時間）を算出する手段
と、基準時間から本来伸張され、表示されるべきビデオ
のフレーム数（理想フレーム数）を算出する手段と、実
際に伸張され、表示されたビデオのフレーム数（実フレ
ーム数）を計上する手段と、理想フレーム数と実フレー
ム数を比較し、オーディオに対するビデオの進捗状況を
判断する手段を具備することを第１の特徴とする。

【００１５】また、本発明によるオーディオ・ビデオ同
期再生装置は、上記ビデオの進捗状況からオーディオに
対してビデオが遅れていると判断されたとき、コマ落と
しの優先順位に従ってコマ落としフレームを決定するコ
マ落とし制御手段を具備することを第２の特徴とする。

【００１６】また、本発明によるオーディオ・ビデオ同
期再生装置は、上記ビデオの進捗状況からオーディオに
対してビデオが進んでいると判断されたとき、ビデオの
伸張処理、及び表示処理を行わないで、オーディオがビ
デオに追いつくまで待つ待機手段を具備することを第３
の特徴とする。

【００１７】また、本発明によるオーディオ・ビデオ同
期再生装置は、オーディオもしくはビデオデータ内でデ
ータエラーが発生したとき伸張処理時にデータエラーを
検出し、オーディオとビデオの同期を回復する制御手段
を具備することを第４の特徴とする。

【００１８】このような構成によれば、再生装置の時計
の精度が低い場合でも、オーディオの再生データ量から
オーディオとビデオの同期を合わせるための基準時間を
算出することができ、基準時間からビデオの理想フレー
ム数を算出でき、実フレーム数と比較して、ビデオの進
捗状況を判断することができる。また、ビデオ再生処理
の進捗状況から、ビデオ再生が遅れている場合はコマ落
としを実行することにより、オーディオに対するビデオ
の遅れを回復して、オーディオとビデオの同期を合わせ
ることができる。また、ビデオ再生が進んでいる場合
は、ビデオの処理を行わないことにより、ビデオ再生に
対するオーディオ再生の遅れを回復して、オーディオと
ビデオの同期を合わせることができる。

【００１９】また、オーディオデータ内にデータエラー
が発生した場合は、正常なデータに回復するまで読み飛
ばし、読み飛ばした分のデータ量をオーディオの再生デ
ータ量に加算することにより上記基準時間を補正するこ
とができる。

【００２０】また、ビデオデータ内にデータエラーが発
生した場合は、正常なデータに回復するまで読み飛ば
し、読み飛ばした分のフレーム数をビデオの実フレーム
数に加算することにより上記実フレーム数を補正するこ
とができる。このため、データエラーが発生した場合で
もオーディオとビデオの同期を合わせることができる。

【００２１】

【発明の実施の形態】まずはじめに、本発明によるコマ
落としの対象となるビデオデータの構成について説明す
る。

【００２２】従来のフレーム間参照による符号化方式の
例として、ＭＰＥＧのデータ構成図を図２に示す。図２
（Ａ）に示すように、ビデオデータは何枚かのフレーム
をひとまとまりにしたＧＯＰ（ＧｒｏｕｐｏｆＰｉ
ｃｔｕｒｅｓ）を単位として構成されている。各ＧＯＰ
はＩピクチャ（フレーム内符号化画像の略称）、Ｐピク
チャ（フレーム間順方向予測符号化画像の略称）、Ｂピ
クチャ（双方向予測符号化画像の略称）を組み合わせて
構成されている。この組み合わせをフレーム構成と呼
ぶ。

【００２３】Ｉピクチャは、参照フレームなしでそれ自
身で伸張可能であり、かつそれ以降のフレームの伸張時
に参照されるキーフレームである。Ｐピクチャは、直前
に伸張されたキーフレームを伸張時に参照フレームとし
て使用して伸張されるフレームであり、かつそれ以降の
フレームの伸張時に参照されるキーフレームのことであ
る。Ｂピクチャは、直前に伸張されたキーフレームを伸
張時に参照フレームとして使用し、かつそれ以降のフレ
ームの伸張時には参照されないフレームのことである。

【００２４】このようにキーフレームは他のピクチャに
参照されるピクチャであるため、キーフレームをコマ落
とししたときは、以降のＰピクチャとＢピクチャの伸張
は実行できなくなり、次に出現するＩピクチャの手前ま
でコマ落としを実行することになる。これを鑑み、本発
明ではコマ落としの優先順位をＢピクチャ、Ｐピクチ
ャ、Ｉピクチャの順に設定する。

【００２５】また、図２（Ｂ）に示すように、オーディ
オデータは１つ１つ単独でオーディオ信号に伸張できる
最小単位であるＡＡＵ（ＡｕｄｉｏＡｃｃｅｓｓＵ
ｎｉｔ）で構成され、１つのＡＡＵは３２ビットのヘッ
ダ情報、１６ビットのエラーチェック（これはオプショ
ンである）、オーディオデータ、アンシラリーデータか
ら構成される。また３２ビットのヘッダ情報の先頭１２
ビットは同期ワードと呼ばれ、全て１に設定されてお
り、ＡＡＵを検出するときに使用される。

【００２６】図１は本発明のオーディオ・ビデオ同期再
生方式の構成を表すブロック図である。

【００２７】図１は、デジタル圧縮符号化されたオーデ
ィオ・ビデオデータを格納するデータ記録装置１と；デ
ータ記録装置１からデータを読み出し、多重化されて記
録されているオーディオ・ビデオデータを分離するＡＶ
分離部２と；ＡＶ分離部２によって分離されたビデオデ
ータの伸張処理を行うビデオ処理部３と；ＡＶ分離部２
によって分離されたオーディオデータの伸張処理を行う
オーディオ処理部４と；オーディオとビデオの同期制御
を行うＡＶ同期制御部５と；伸張されたビデオデータを
表示するＣＲＴモニタ６と；伸張されたオーディオデー
タを再生するスピーカ７から構成される。

【００２８】ビデオ処理部３は、ＡＶ分離部２によって
分離されたビデオデータを格納する圧縮ビデオバッファ
１１と；圧縮ビデオデータの属性情報（ビデオヘッダ情
報）の解析、及び伸張を実行するビデオデコーダ１２
と；伸張したビデオデータを格納するフレームバッファ
１３と；フレームバッファ１３内のビデオデータをＣＲ
Ｔモニタ６に送信するビデオ表示制御部１４から構成さ
れる。

【００２９】オーディオ処理部４は、ＡＶ分離部２によ
って分離されたオーディオデータを格納する圧縮オーデ
ィオバッファ２１と；圧縮オーディオデータの属性情報
（オーディオヘッダ情報）の解析、及び伸張を実行する
オーディオデコーダ２２と；伸張したオーディオデータ
を格納するＰＣＭバッファ２３と；ＰＣＭバッファ２３
内のオーディオデータをスピーカ７に送信するオーディ
オ再生制御部２４から構成される。

【００３０】ＡＶ同期制御部５は、再生を開始してから
現在までに伸張され、表示されたビデオデータの積算フ
レーム数（実フレーム数）を保存するビデオフレームカ
ウンタ４１と；ビデオデコーダ１２にてビデオの伸張処
理中にデータエラーが検出されたときに正常なデータに
回復するまでデータを読み飛ばすビデオエラー検出部４
２と；再生を開始してから現在までに伸張され、再生さ
れたオーディオデータの積算データ量を保存するオーデ
ィオデータカウンタ４３と；オーディオデコーダ２２に
てオーディオの伸張処理中にデータエラーが検出された
ときに正常なデータに回復するまでデータを読み飛ばす
オーディオエラー検出部４４と；オーディオデータカウ
ンタ４３に保存されている積算データ量とオーディオデ
コーダ２２での伸張時に得られたオーディオヘッダ情報
を用いて、オーディオ再生経過時間（基準時間）を算出
するクロック生成部３３と；クロック生成部３３で得ら
れた基準時間とビデオデコーダ１２で得られたビデオヘ
ッダ情報から、本来伸張され表示されるべきビデオのフ
レーム数（理想フレーム数）を算出し、ビデオフレーム
カウンタ４１で得られた実フレーム数とを比較して、オ
ーディオに対するビデオの進捗を検出する遅延検出部３
２と；遅延検出部３２で得られたオーディオに対するビ
デオの進捗状況から、ビデオが遅れているときは優先順
位の高い順にコマ落としフレームを決定するコマ落とし
制御部３１から構成される。

【００３１】図３は、本発明でのオーディオデータを再
生するときの概念図である。本発明ではＰＣＭバッファ
２３を複数（ｎ）個のメモリブロックに分割し、リング
バッファとして作用させる。本発明では、メモリブロッ
クの先頭から順にオーディオデコーダ２２で伸張された
オーディオデータを格納し、再生を実行する。再生を行
っていないメモリブロックは、再生待ち状態にあり、現
在のメモリブロックの再生が完了した後、順次再生され
る。各メモリブロックの再生が完了したときは、ビデオ
の処理途中であっても、処理を中断し、オーディオデコ
ーダ２２にてオーディオの伸張処理を行い、伸張したオ
ーディオデータをこのメモリブロックに格納する。

【００３２】例えば、図３のように、ＰＣＭバッファ２
３がｎ個のメモリブロックに分割されていた場合、［メ
モリブロック（１）］のデータの再生から開始される。
［メモリブロック（１）］の再生が完了したとき、次に
［メモリブロック（２）］が再生される。また、［メモ
リブロック（１）］にはオーディオデコーダ２２にて伸
張されたオーディオデータが格納される。［メモリブロ
ック（１）］のデータは［メモリブロック（ｎ）］再生
が完了した後、再生される。

【００３３】このようにして、本発明ではビデオの伸張
処理などの他の処理に再生装置の処理能力が占有されて
いるときでも、割り込みが発生し、オーディオ処理に移
行することができるため、オーディオの再生は途切れ途
切れになることなく、かつ正確なオーディオ再生時間を
取得することができる。

【００３４】図４は、本発明によるオーディオ・ビデオ
同期再生装置の再生の処理の流れ図である。

【００３５】ステップＡ１において、ＡＶ分離部２は、
データ記録装置１から多重化された圧縮オーディオ・ビ
デオデータを読み込み、オーディオデータとビデオデー
タに分離する。ビデオデータは圧縮ビデオバッファ１１
に格納され、オーディオデータは圧縮オーディオバッフ
ァ２１に格納される。

【００３６】ステップＡ２では、オーディオの伸張処
理、及び再生処理を行う。

【００３７】ステップＡ３では、同期制御処理、及びビ
デオの伸張・表示処理を行う。

【００３８】ステップＡ４では、データ記録装置１内に
未処理のデータが残っているかを判別し、残っていると
きはステップＡ１に戻る。残っていないときは再生処理
を停止する。

【００３９】また、本発明によるオーディオ・ビデオ同
期再生装置では、ステップＡ１、Ａ３、Ａ４の処理途中
であっても、オーディオの割り込みが発生した場合は、
ステップＡ１、Ａ３、Ａ４の処理を中断して、ステップ
Ａ２を実行する。

【００４０】図５はステップＡ２の処理を詳細に説明す
る処理の流れ図である。

【００４１】ステップＢ１では、圧縮オーディオバッフ
ァ２１から圧縮オーディオデータを読み込み、オーディ
オデコーダ２２にてオーディオデータの伸張処理を行
う。また、オーディオヘッダ情報の解析も実行する。

【００４２】ステップＢ２では、ステップＢ１のオーデ
ィオデータの伸張処理時にデータエラーが発生したかを
オーディオエラー検出部４４が検証する。データエラー
が発生しているときはステップＢ３に進む。データエラ
ーが発生していないときはステップＢ５に進む。ここ
で、本発明におけるオーディオデータのデータエラーに
関して次のように規定する。オーディオデータのデータ
エラーは、オーディオヘッダ情報に設定されている各種
設定値の中に禁止されている値や予約されている値が設
定されているときに発生する。また、オーディオのヘッ
ダ情報から１ＡＡＵのデータサイズを計算し、実際のサ
イズと異なるときに発生する。

【００４３】ステップＢ４では、次のＡＡＵを検索し、
オーディオヘッダ情報を取得し、オーディオヘッダ情報
の解析を行う。解析した結果、データエラーでないとき
は、オーディオヘッダ情報から１ＡＡＵのデータサイズ
を計算し、次のＡＡＵまでのデータサイズと比較する。
比較した結果、サイズが異なるときは、データエラーと
判定し、再度、ステップＢ４を実行する。サイズが等し
いときは、正常なデータに回復したと判定し、データエ
ラーと判定されたＡＡＵから回復したＡＡＵまでのサイ
ズ（オーディオエラーサイズ）を取得し、オーディオヘ
ッダ情報を用いてオーディオエラーサイズ分のＡＡＵを
伸張したときに生成されるオーディオのデータサイズ
（オーディオ回復サイズ）を算出し、再生済みデータと
してオーディオデータカウンタ４３に加算する。

【００４４】ステップＢ５では、ステップＢ１で伸張し
たオーディオデータをＰＣＭバッファ２３の空いている
メモリブロックに格納する。

【００４５】ステップＢ６では、ステップＢ２で格納さ
れたメモリブロック内のオーディオデータをオーディオ
再生制御部２４に送信し、再生の待ち状態に設定する。

【００４６】図６はステップＡ３の処理を詳細に説明す
る処理の流れ図である。

【００４７】ステップＣ１では、オーディオデータカウ
ンタ４３からオーディオデータの積算データ量を取得す
る。

【００４８】ステップＣ２では、クロック生成部３３に
て、ステップＢ１で得られたオーディオヘッダ情報と、
ステップＣ１で得られたオーディオの積算データ量を用
いて、オーディオの再生を開始してから現在までの再生
経過時間（基準時間）を算出する。

【００４９】ステップＣ３では、遅延検出部３２にて、
ステップＣ２で得られた基準時間とステップＣ６で得ら
れたビデオヘッダ情報を用いて、本来伸張され、表示さ
れるべきビデオのフレーム数（理想フレーム数）を算出
する。次にビデオフレームカウンタ４１から、実際に伸
張され、表示されたビデオのフレーム数（実フレーム
数）を取得し、理想フレーム数と実フレーム数の比較を
行い、オーディオに対してのビデオの進捗を取得する。

【００５０】ステップＣ４では、ステップＣ３で得られ
たビデオの進捗からビデオが早いときは終了する。ビデ
オが遅いときはステップＣ５にてコマ落とし判定を行
う。

【００５１】ステップＣ５では、コマ落とし制御部３１
にて、コマ落とし判定を行う。現在伸張しようとしてい
るフレームのピクチャタイプがＩピクチャ、もしくはＰ
ピクチャのときはコマ落としを実行しないで、ステップ
Ｃ６に進む。ピクチャタイプがＢピクチャのときはコマ
落としを実行して終了する。

【００５２】ステップＣ６では、圧縮ビデオバッファ１
１から圧縮ビデオデータを読み込み、ビデオデコーダ１
２にてビデオデータの伸張処理を行う。また、ビデオヘ
ッダ情報の解析も行う。

【００５３】ステップＣ７では、ステップＣ６のビデオ
データの伸張処理時にデータエラーが発生したかを検証
する。データエラーが発生しているときはステップＣ８
に進む。データエラーが発生していないときはステップ
Ｃ９に進む。ここで、本発明におけるビデオデータのデ
ータエラーに関して次のように規定する。ビデオデータ
のデータエラーは、ビデオヘッダ情報に設定されている
各種設定値の中に禁止されている値や予約されている値
が設定されているときに発生する。また、伸張したピク
チャ内のスライスやマクロブロックの個数が少ないとき
に発生する。

【００５４】データエラーがＩピクチャ、もしくはＰピ
クチャ内で発生していた場合、参照フレームが欠落する
ことになるため、ステップＣ８では、ピクチャエラー検
出部４２は、次のＩピクチャまでビデオデータを読み飛
ばし、データエラーと判定されたピクチャから検出され
たＩピクチャまでのサイズ（ビデオエラーサイズ）を取
得し、ビデオヘッダ情報を用いてビデオエラーサイズ分
のピクチャを伸張したときに生成されるビデオのフレー
ム数（ビデオ回復フレーム数）を算出し、再生済みピク
チャとしてビデオフレームカウンタ４１に加算する。ま
た、ビデオ回復フレーム数を算出する方式として、次の
Ｉピクチャまでに検出されたＰピクチャとＢピクチャの
フレーム数を全て加算する方式を使用してもよい。

【００５５】ステップＣ９では、ステップＣ６で伸張し
たデータをフレームバッファ１３に格納する。

【００５６】ステップＣ１０では、ステップＣ９で格納
されたフレームバッファ内のデータをビデオ表示制御部
１４に送信し、ＣＲＴモニタ６にて表示する。

【００５７】次に本発明によるオーディオ・ビデオ同期
再生装置でＭＰＥＧデータを再生したときを例にとって
説明する。

【００５８】圧縮されたデータのオーディオヘッダ情報
のレイヤーがＬａｙｅｒ１で、ビットレートが１９２０
００ビット／秒で、サンプリング周波数が４４１００Ｈ
ｚで、チャンネルモードがステレオであるとき、このデ
ータを伸張することにより作成されるＰＣＭデータのフ
ォーマットは、チャンネルが２チャンネルで、サンプリ
ング周波数が４４１００Ｈｚで、１サンプルあたりのビ
ット数が１６ビットとなる。このようなデータの場合、
クロック生成部３３では、オーディオデータカウンタ４
３から得られる積算データ量を使用して、基準時間を以
下のように求める。

【００５９】基準時間［秒］＝積算データ量［バイト］／（４４１００×１６／８［ｂｉｔ］×２）（式−１）また、オーディオデータエラーが検出された場合、オー
ディオエラー検出部４４では、オーディオエラーサイズ
を用いて、オーディオ回復サイズを以下のようにして求
め、積算データ量に加算する。

【００６０】オーディオ回復サイズ［バイト］＝データエラーサイズ［バイト］／（４４１００×１６／８［ｂｉｔ］／１９２０００×２）（式−２）また、ビデオヘッダ情報のビットレートが１４００００
０ビット／秒で、フレームレートが３０フレーム／秒で
ある場合、ビデオエラー検出部４２では、ビデオデータ
エラーを検出したとき、ビデオエラーサイズを用いて、
ビデオ回復フレーム数を以下のようにして求め、実フレ
ーム数に加算する。

【００６１】ビデオ回復フレーム数＝ビデオエラーサイズ×（３０×８［ｂｉｔ］／１４０００００）（式−３）また、遅延検出部３２では、基準時間を使用して、理想
フレーム数を以下のように求める。

【００６２】理想フレーム数［フレーム］＝基準時間×３０（式−４）次に遅延検出部３２ではビデオフレームカウンタ４１か
ら得られた実フレーム数と理想フレーム数の比較を行
う。オーディオに対するビデオの進捗状況は以下のよう
にして求める。

【００６３】ビデオの進捗＝実フレーム数−理想フレーム数（式−５）比較を行う際、同期がとれている状態とは実フレーム数
と理想フレーム数が等しいとき、すなわちビデオの進捗
が０のときをいい、ビデオが早い状態とは、ビデオの進
捗が正の値のときをいい、ビデオが遅い状態とは、ビデ
オの進捗が負の値のときをいう。しかし、これでは頻繁
にコマ落とし状態、待ち状態に入ってしまうため、本発
明では、しきい値を設ける。ここでは以下の状態のと
き、同期がとれているとする。

【００６４】 −４＜ビデオの進捗＜１（式−６）人間の感覚上、ビデオがオーディオよりも速く再生され
ると違和感があるため、ビデオが早いときの状態を少な
めに設定している。

【００６５】次にステップＣ４において、ビデオの進捗
状態を判定する際の処理を、理想フレーム数と実フレー
ム数に数値を入れて説明する。

【００６６】理想フレーム数が１０、実フレーム数が１
１の場合、ビデオの進捗は１となり、ビデオが早いと判
定される。このようなときは、ビデオ処理を行わず、終
了する。

【００６７】理想フレーム数が１０、実フレーム数が８
の場合、ビデオの進捗は−２となり、同期がとれている
と判定される。このようなときは、ステップＣ６に進
み、ビデオの伸張処理、及び表示処理を行う。

【００６８】理想フレーム数が１０、実フレーム数が５
の場合、ビデオの進捗は−５となり、ビデオが遅いと判
定される。このようなときは、ステップＣ５に進み、コ
マ落とし判定処理を行う。

【００６９】コマ落とし判定処理では、Ｉピクチャ、も
しくはＰピクチャのときはコマ落としを実行しないで、
Ｂピクチャのときはコマ落としを実行すると記述した
が、ビデオの進捗があるしきい値以上遅れたときはＰピ
クチャをコマ落としし、更にそれ以上遅れたときはＩピ
クチャをコマ落としするような処理を行うことも可能で
ある。

【００７０】

【発明の効果】以上のように本発明によれば、再生装置
の時計の精度が低い場合でも、オーディオの再生データ
量からオーディオとビデオの同期を合わせるための基準
時間を算出することができ、基準時間からビデオの理想
フレーム数を算出でき、実フレーム数と比較して、ビデ
オの進捗状況を判断することができる。また、ビデオの
進捗状況から、ビデオが遅れている場合はコマ落としを
実行することにより、オーディオに対するビデオの遅れ
を回復して、オーディオとビデオの同期を合わせること
ができる。また、ビデオが進んでいる場合は、ビデオの
処理を行わないことにより、ビデオに対するオーディオ
の遅れを回復して、オーディオとビデオの同期を合わせ
ることができる。

【００７１】また、オーディオを優先して処理するた
め、オーディオが途切れ途切れにならず、違和感のない
再生を実行することができる。

【００７２】また、コマ落としを実行する際、優先順位
の高いフレームからコマ落としを行うため、なめらかに
ビデオを再生することができる。

【００７３】また、オーディオデータ内にデータエラー
が発生した場合は、正常なデータに回復するまで読み飛
ばし、読み飛ばした分のデータ量をオーディオの再生デ
ータ量に加算することにより上記基準時間を補正するこ
とができる。また、ビデオデータ内にデータエラーが発
生した場合は、正常なデータに回復するまで読み飛ば
し、読み飛ばした分のフレーム数をビデオの実フレーム
数に加算することにより上記実フレーム数を補正するこ
とができる。このため、データエラーが発生した場合で
もオーディオとビデオの同期を合わせることができる。

【図面の簡単な説明】

【図１】本発明のシステム構成図である。

【図２】ＭＰＥＧのデータ構成図である。

【図３】オーディオデータの再生概念図である。

【図４】本発明の動作を説明するための流れ図である。

【図５】本発明のオーディオ再生処理を説明するための
流れ図である。

【図６】本発明のビデオ再生処理を説明するための流れ
図である。

【符号の説明】

１データ記録装置２ＡＶ分離部３ビデオ処理部４オーディオ処理部５ＡＶ同期制御部６ＣＲＴモニタ７スピーカ１１圧縮ビデオバッファ１２ビデオデコーダ１３フレームバッファ１４ビデオ表示制御部２１圧縮オーディオバッファ２２オーディオデコーダ２３ＰＣＭバッファ２４オーディオ再生制御部３１コマ落とし制御部３２遅延検出部３３クロック生成部４１ビデオフレームカウンタ４２ビデオエラー検出部４３オーディオデータカウンタ４４オーディオエラー検出部

Claims

【特許請求の範囲】

【請求項１】データ圧縮されたオーディオデータと、
データ圧縮されたビデオデータとを、オーディオ伸張手
段とビデオ伸張手段とを用いて、それぞれ伸張し、オー
ディオとビデオとを同期させて再生するオーディオ・ビ
デオ同期再生装置において、伸長され再生されたオーディオの再生データ量を計数す
る手段と、この再生データ量からオーディオの再生時間である基準
時間を算出する手段と、この基準時間から本来伸張され表示されるべきビデオの
フレーム数である理想フレーム数を算出する手段と、表示されたビデオのフレーム数である実フレーム数を計
数する手段と、前記理想フレーム数と実フレーム数とを比較し、この比
較結果により、オーディオ再生に対するビデオ再生の進
捗を判断し、前記ビデオ伸張手段の伸長動作を制御する
制御手段とを備えたことを特徴とするオーディオ・ビデ
オ同期再生装置。
【請求項２】前記制御手段がビデオ再生が遅れている
と判断したときは、前もって定められた優先順位に従っ
てコマ落としされるフレームを決定し、前記ビデオ伸張
手段に伝えるコマ落とし第２の制御手段をさらに備えた
ことを特徴とする請求項１に記載のオーディオ・ビデオ
同期再生装置。
【請求項３】前記第２の制御手段は、前記制御手段が
ビデオ再生の方が進んでいると判断したときは、前記ビ
デオ伸張手段を待機状態とする機能をさらに備えたこと
を特徴とする請求項２に記載のオーディオ・ビデオ同期
再生装置。
【請求項４】前記制御手段は、前記データ圧縮された
オーディオデータ、前記データ圧縮されたビデオデータ
の少なくとも一方にデータエラーが検出されたときは、
エラーなしとなるまでオーディオデータ、ビデオデータ
を読み飛ばさせることを特徴とする請求項１，２または
３に記載のオーディオ・ビデオ同期再生装置。