JP2005123789A - Ａｖ同期システム - Google Patents

Abstract

【課題】 ＡＶシステム等の同期処理において、マスターのストリームが途切れた場合は、システムクロックに補正をかけられず、同期を取ることができなかった。誤差が小さい場合にも常に補正をかけるため、補正のオーバーヘッドが大きく、また、誤差が大きい場合には、急に補正がかかって違和感が生じる。
【解決手段】 マスターのストリームが途切れた場合には、事前に優先度をつけマスターを登録したり、補正の周期や過去の誤差から判断したり、ストリーム内にマスターの情報を入れて送信することで、別の処理にマスターを切り替えることにより、システムクロックに補正をかけ続け、同期をとることができる方法を提案する。補正誤差が大きい場合には、補正や参照を徐々に行うことで違和感のないシステムを構築できる。また、補正誤差が小さい場合には、補正や参照を間引くことにより、オーバーヘッドの小さいシステムを構築できる。
【選択図】 図２

Description

本発明は、デジタル圧縮されたオーディオ（音声）・ビデオ（画像）・テキスト・静止画データ等を伸張して再生する際、互いに同期を取りながら再生を実行するＡＶ同期システムに関する。

近年、情報インフラの整備、マルチメディア技術の進展により、様々な伝送路、媒体からＡＶストリームを取り出し、再生するＡＶ同期システムが要望され、製品化されるようになった。

それらの中には、デジタル放送等、伝送路が安定している経路を使うものもあれば、インターネット、無線ＬＡＮ等、伝送路の込み具合により、単位当たりの伝送量が変化する等、伝送路が不安定な経路からストリームを取り出すものもある。

また、家庭のＰＣ（パーソナルコンピュータ）においても、ストリームを編集できるソフトウェアが出現し、様々なストリームデータを個人が自由に作成できるようになっている。

このような中で、従来のＡＶ同期再生装置で同期を取る手法としては、オーディオ、ビデオ等、複数のデータが存在して並行して処理を行う場合に、あるデータ処理をマスター処理として、そのデータの出力時間を基準として、他のデータはその基準時間に合わせて出力を行うことによって同期を取るという方法が採られていた。

例えばビデオとオーディオのデータの同期を取る場合、通常、オーディオが途切れると感覚的に違和感があるため、オーディオ処理をマスターとして、ストリームからオーディオの時間情報を取り出し、システムクロックに補正をかけ、ビデオの再生は、そのシステムクロックとビデオストリームから取り出した時間情報を比較して、ビデオが進んでいるときは画面を止めて待ち、ビデオが遅れているときは、速く再生する等の処理を行うことにより同期処理を行っていた（例えば、特許文献１参照）。

図１９はオーディオ、ビデオ、テキスト、静止画を含むストリームをオーディオマスターで再生する場合の従来の同期処理の流れを表した図である。図１９において、２０１はクロックの処理、２０２はオーディオの処理、２０３はビデオの処理、２０４はテキストの処理、２０５は静止画の処理をそれぞれ表している。クロックの処理およびマスターであるオーディオ処理２０２を太線で表している。

オーディオマスターの場合、オーディオ処理２０２が、再生するストリームから時間情報ＰＴＳ（Presentation Time Stamps）を取り出し、その時間でクロック２０１に補正２０６をかけながら、オーディオを出力する。他のビデオ処理２０３、テキスト処理２０４、静止画処理２０５はこのクロックを参照２０７して、例えばビデオ処理２０３の場合はビデオストリームからそのストリーム内時間情報ＰＴＳを取り出し、参照したクロック２０１と同一時間のときにそのビデオを出力することで同期を取る。クロックの補正は、クロックへ向かう上向き矢印で表され、クロックの参照は、クロックから引き出される下向き矢印で表される。

図２０は従来のシステムにおいてオーディオマスターでオーディオデータが途切れた場合の動作を表す。従来のシステムでは、オーディオマスターのまま切り替わらないため、オーディオは以降、時間情報ＰＴＳを取り出すことができない。その結果、クロックに補正をかけることができず、途切れた後のビデオ、テキスト、静止画は同期が取れないまま処理が続行される。
特開平７−３０３２４０号公報（第９−１１頁、第１図）

上記のように、従来の方法では、マスターが常に固定のため、例えばオーディオマスターで再生していた場合に、伝送路のトラブルによりオーディオデータが途切れた場合や、ストリームを編集してオーディオデータが途中でなくしてしまった場合など、マスターのストリームが途切れた場合には、基準時間がなくなり、同期を取ることができなくなってしまうという問題があった。

さらに、クロックの誤差が非常に大きい場合に補正を行うと、大きな画像飛びや音飛びなどが発生するという問題もあった。

また、別の問題として、クロックの誤差が小さい場合でも常に補正や参照をするため、余計なオーバーヘッドが生じるという問題もあった。

本発明は、このような事情に鑑みて創作したものであり、マスターのストリームが途切れたり終了したりした場合でも、複数ストリーム相互間の適正な同期を保つことができるＡＶ同期システムを提供することを目的としている。また、大きな画像飛びや音飛び等を起こさず、補正や参照のオーバーヘッドを減らすことも目的とする。

本発明は、上記の課題を解決するために次のような手段を講じる。

第１の解決手段として、本発明によるＡＶ同期システムは、複数のストリーム処理の同期を維持するＡＶ同期システムであって、ストリームから時間情報を取得してシステムのクロックに補正をかけるマスターのストリーム処理の候補を登録しておき、マスターのストリーム処理が途切れた場合は、別のストリーム処理にマスターを切り替えることを特徴としている。これにより、マスターのストリーム処理が途切れたとしても、マスターを切り替えることにより、同期を保つことができる。

上記第１の解決手段において、マスターの切り替えの方式にはいくつかのものがある。

１）前記マスターのストリーム処理の登録を優先度をつけて行い、優先度の最も高いマスターのストリーム処理が途切れた場合は、次の優先度のストリーム処理にマスターを切り替える。この場合、優先度の高いストリームを極力生かしながら、複数ストリーム相互を適正な同期状態に保つことができる。

２）前記マスターのストリーム処理が途切れた場合は、登録されたマスター以外のストリーム処理のうち、最も早くストリームから時間情報を取得してシステムのクロックに補正を行うことができるストリーム処理にマスターを切り替える。この場合、マスター切り替えにかかわらず、クロック補正を最速に行うことができる。

３）前記マスターのストリーム処理が途切れた場合は、登録されたマスター以外のストリーム処理のうち、最も小さい周期でストリームから時間情報を取得してシステムのクロックに補正をかけられるストリーム処理にマスターを切り替える。この場合、マスター切り替えにかかわらず、クロック補正を最速に行うことができる。

４）前記マスターのストリーム処理が途切れた場合は、登録されたマスター以外のストリーム処理のうち、現在のマスターのストリーム処理に最も近い補正周期をもつストリーム処理にマスターを切り替える。この場合、オーディオストリームが２つあった場合などに、もう１つのオーディオに切り替えることができる。

５）前記マスターのストリーム処理が途切れた場合は、登録されたマスター以外のストリーム処理のうち、過去のシステムクロックとの誤差が最も小さいストリーム処理にマスターを切り替える。この場合、誤差の少ないストリーム処理をマスターにして、続行することができる。

６）複数のストリーム処理の同期を維持するＡＶ同期システムであって、ストリーム内にストリーム処理のマスター候補優先度の情報を入れて送信し、最優先候補のマスターのストリーム処理が途切れた場合には、次の候補のストリーム処理にマスターを切り替える。この場合、候補の優先順位設定によって、マスターの切り替え対象を任意に選択する自由度がある。

第２の解決手段として、本発明によるＡＶ同期システムは、複数のストリーム処理の同期を維持するＡＶ同期システムであって、ストリーム内に現在のマスターのストリーム処理を指定した情報を入れて送信し、その情報に従ってマスターを切り替えることを特徴としている。これによれば、マスターのストリーム処理の途切れの発生の有無にかかわらず、必要に応じて随時にマスターを切り替えることが可能で、最適な状態で同期を保つことができる。

第３の解決手段として、本発明によるＡＶ同期システムは、複数のストリーム処理の同期を維持するＡＶ同期システムであって、ストリームが無音状態等、事前に登録した所定の状態になったときに、マスターを切り替えることを特徴としている。これによれば、マスターの切り替えを任意に条件付けることができ、柔軟な対応が可能となる。

第４の解決手段として、本発明によるＡＶ同期システムは、複数のストリーム処理の同期を維持するＡＶ同期システムであって、状態が通常再生から早送り再生、巻き戻し再生等、再生速度が切り替わった場合には、マスターのストリーム処理を登録していた別のストリーム処理に切り替えることを特徴としている。これによれば、特にビデオを中心にした違和感のないユーザーフレンドリーな対応が可能となる。ビデオの再生状態に合わせた速度での音声出力が可能となるからである。

第５の解決手段は、上記の各解決手段において、前記マスターのストリーム処理からのシステムクロックへの補正誤差がある一定以上に大きい場合には、補正値を小さくするものである。この場合、マスターのストリーム処理でシステムクロックへの補正誤差がある一定以上に大きい場合に、徐々に補正をかけることにより、補正に起因する他のデバイスへの悪影響を抑制することができる。

第６の解決手段は、上記の各解決手段において、前記マスター以外のストリーム処理のシステムクロックとストリームから得た時間情報の誤差がある一定以上に大きい場合には、徐々に誤差を縮めていくものである。これによれば、補正を一気に行うことに起因して画像飛び等の不具合が発生することを抑制することができる。

第７の解決手段として、本発明によるＡＶ同期システムは、上記のいずれかの方法でマスターを切り替えた後、ストリームが復帰した場合には、マスターを元のストリーム処理に戻すことを特徴としている。元に戻すことで、最適な状態の継続を図ることができる。

第８の解決手段として、本発明によるＡＶ同期システムは、上記のいずれかの解決手段において、前記マスターのストリーム処理が途切れた場合は、過去のシステムクロックへの補正値から計算して補正値を決め、しばらくの間補正を行い続けることを特徴としている。もし、所定時間内に復帰したときは、マスターの切り替えは行わない。途切れても比較的早く復帰するときは、マスター切り替えは行わないようにし、引き続き元の処理でクロック補正を継続するので、動作の安定性が良い。

第９の解決手段として、本発明によるＡＶ同期システムは、上記のいずれかの解決手段において、前記マスターのストリーム処理が途切れた場合は、過去のシステムクロックへの補正値の誤差から判断して、誤差が基準値よりも大きい場合はマスターを切り替えるが、誤差が基準値よりも小さい場合はマスターを切り替えず、しばらくの間、処理を行うことを特徴としている。もし、所定時間内に復帰したときは、マスターの切り替えは行わない。途切れても比較的早く復帰するときは、マスター切り替えは行わないようにし、引き続き元の処理を継続するので、動作の安定性が良い。

第１０の解決手段として、本発明によるＡＶ同期システムは、上記のいずれかの解決手段において、前記マスターの過去のシステムクロックへの補正値の過去の誤差平均から判断して、誤差が小さい場合は、補正を間引くことでオーバーヘッドを削減することを特徴としている。これによれば、補正回数を減らすことで、補正におけるオーバーヘッドを削減することができる。

第１１の解決手段として、本発明によるＡＶ同期システムは、上記のいずれかの解決手段において、前記マスター以外のストリーム処理で、システムクロックへの過去の誤差平均が小さい場合は、参照を間引くことでオーバーヘッドを削減することを特徴としている。これによれば、参照回数を減らすことで、参照におけるオーバーヘッドを削減することができる。

本発明によれば、マスターとなるストリーム処理が途切れたときは、他のストリーム処理にマスターを切り替えることで、複数ストリーム相互間の適正な同期を保ち続けることができるようになる。また、クロックの誤差が大きい場合には、徐々に補正をかけることで、急激な画像飛びや音飛び等を減らすことができる。また、クロックの誤差が小さい場合には、補正や参照を間引くことでオーバーヘッドの小さいシステムを構築することができる。

以下、本発明にかかわるＡＶ同期システムの実施の形態を図面に基づいて詳細に説明する。

図１は、音声とビデオが多重化されたストリームを扱うＡＶ同期システムの簡易ブロック図である。ストリーム入力部１０１でストリームを受付け、多重分離部１０２で音声とビデオのストリームに分離し、音声は音声バッファ１０３に入力され、ビデオはビデオバッファ１０８に入力される。音声復号部１０４は音声ストリームを復号し、音声時間情報管理部１０５では復号したストリームから時間情報ＰＴＳ（Presentation Time Stamps）を取り出し、オーディオマスターの場合は、その時間でシステムクロックに補正をかける。そして、音声出力部１０６にデータを送り、音を出力する。ビデオ復号部１０９はビデオストリームを復号し、ビデオ時間情報管理部１１０では復号したビデオストリームから時間情報ＰＴＳを取り出し、システムクロックと比較して時間が同じときに、ビデオ出力部１１１で出力する。

図２はオーディオマスターでオーディオデータが途切れた場合の動作を表す。クロックの処理およびマスターであるオーディオ処理２０２を太線で表している。クロックの補正は、クロックへ向かう上向き矢印で表され、クロックの参照は、クロックから引き出される下向き矢印で表される。点線はオーディオデータの途切れを表す。オーディオデータが途切れた時点で、マスターをビデオ処理に切り替えることで、ビデオ処理がストリームから時間情報ＰＴＳを取り出し、クロックに補正をかけ続けることができ、以降、ビデオマスターで同期を取り続けることができる。

図３は、マスターの登録を優先度をつけて事前に行う方法を表す（請求項２に対応）。

この例の場合、関数Master_registで事前に優先度を登録する。オーディオが優先度が最も高く、次にビデオの優先度を高く登録したため、まずオーディオマスターで動作し、オーディオのストリームが途切れた時点で図２のようにビデオにマスターを切り替える。

図４は、マスターの処理が途切れた場合には、次に最も早く補正をかけられる処理にマスターを切り替える方法で行った場合の処理の流れを示す（請求項３に対応）。

図示例の場合、オーディオが途切れた時点から、一番最初にストリームの時間情報ＰＴＳを取得できる静止画にマスターを切り替えることにより、素早くクロックに補正をかけ、同期を取り続けることができる。

図５は、マスターの処理が途切れた場合には、最も小さい補正周期を持つものに、マスターを切り替える場合の処理の流れを示す（請求項４に対応）。

図示例の場合、最も小さい周期の処理はビデオであるので、マスターをビデオ処理に切り替えている。以降、ビデオ処理が細かくクロックに補正をかけ続けながら同期を取ることができる。

図６は、マスターの処理が途切れた場合には、現在のマスターに最も近い補正周期を持つ処理にマスターを切り替える方法でマスターを切り替えた場合の処理の流れを示す（請求項５に対応）。

現在行われている二ヶ国語放送などのオーディオが２チャンネルある場合に、周期が等しいチャンネルを探すことで、オーディオ２にマスターを切り替えることができ、違和感のない再生を行うことができる。

図７は、マスターの処理が途切れた場合には、システムクロックとストリームから取り出した時間情報ＰＴＳの、過去の誤差が最も小さかった処理にマスターを切り替える場合の処理の流れを示す（請求項６に対応）。これにより、誤差の少ないテキストにより補正をかけ、処理を継続することができる。

図示例の場合、過去の誤差はテキストが最も小さいため、マスターをテキストに切り替え、処理を続けている。

図８は、ストリーム内にマスターとなり得る処理の優先順位の情報を入れて送信した場合の処理の流れを示す（請求項７に対応）。このようにすることにより、ストリームの内容によって、優先順位を変えて処理をすることができる。

図示例の場合、ストリーム内の予備ビットにマスターとなる優先順位として、１番目にオーディオ１、２番目にオーディオ２、３番目にビデオ、４番目にテキストという情報を入れて流しているため、１番目のオーディオ１が途切れた時点で、２番目のオーディオ２にマスターを切り替えている。

以下では、マスターにおけるデータの途切れとは無関係に、マスターを切り替える方式について説明する。

図９は、ストリーム内に現在マスターとするべき処理の情報を入れて送信した場合の処理の流れを示す（請求項８に対応）。

ストリーム内の予備ビットに現在のマスターの情報を入れて送信するのであるが、図示例の場合、ストリーム内にオーディオ１マスターという情報を入れて流していて、オーディオ２マスターという情報に切り替えて流すことで、マスターをオーディオ１からオーディオ２に切り替えている。オーディオ１マスターの途切れは無関係である。

図１０は、マスターとなる処理のストリームが登録した条件になった場合に、マスターを切り替える場合の処理の流れを示す（請求項９に対応）。

図示例の場合、オーディオが無音となったときに、オーディオを全て流してビデオを合わせるよりも、ビデオを全て流して無音のオーディオを調整した方が違和感がなくユーザーフレンドリーで好ましいので、無音の場合を登録しておき、無音になった時点で、自動的にビデオにマスターを切り替えている。オーディオマスターの途切れは無関係である。

図１１は、早送り再生の指示等で、再生速度が変わったときに、別の処理にマスターを切り替える場合の処理の流れを示す（請求項１０に対応）。

再生速度が変わった場合には、ビデオにマスターを切り替えるように事前に登録しておくことで、早送り再生時には自動的にビデオにマスターを切り替え、ビデオを優先して流すことができるので、早送りのときは常にビデオが表示され、違和感のない早送りが実現できる。オーディオマスターの途切れは無関係である。

以下は、クロックの補正の方式について説明する。

図１２は、マスターがクロックの補正をかけるときに、補正値の誤差がある一定値よりも大きい場合は、大きな補正を行うことに起因して他の処理の画像飛び等が大きくなるのを防ぐため、徐々に誤差を修正するようにした場合の処理の流れを示す（請求項１１に対応）。

ある値よりも補正誤差が大きい場合には、誤差の一定割合（この場合、７割）に修正することで、補正による他のデバイスへの影響を減らしている。

図１３は、マスター以外の処理がクロックを参照して、ストリーム内時間情報ＰＴＳとの誤差がある一定値よりも大きい場合は、急に出力の補正を行うことに起因して画像飛び等が大きくなるのを防ぐため、徐々に出力の補正を行うようにした場合の処理の流れを示す（請求項１２に対応）。

ある値よりも補正誤差が大きい場合には、誤差の一定割合（この場合、７割）の時間情報ＰＴＳを持つ画像を出力することで、画像飛びを少なくしている。

次に、処理の途切れから復帰の場合について説明する。

図１４は、マスターとなる処理が途切れた後、別の処理にマスターを切り替えるが、元のマスターの処理が復帰した場合に、マスターを元に戻す場合の処理の流れを示す（請求項１３に対応）。

図示例の場合、オーディオマスターで動作していて、オーディオストリームが途切れたときに、ビデオにマスターを切り替えるが、オーディオストリームが復帰したため、マスターをオーディオに戻している。

図１５は、マスターの処理が途切れた場合には、しばらくの間、過去の補正値から計算して、しばらくの間、マスターが補正をかけ続け、マスターの処理が復帰しなければ、マスターを切り替える場合の処理の流れを示す（請求項１４に対応）。

図示例の場合、オーディオ１でストリームがなくなった後も、オーディオ１で２回分補正値を計算して補正をかけ、マスターの処理が復帰しなかったので、その後、オーディオ２にマスターを切り替えている。もし、所定時間内に復帰したときは、マスターの切り替えはしない。

図１６は、マスターの処理が途切れた場合には、過去の補正値の誤差を判断して、過去の補正値の誤差が大きい場合には直ちにマスターを切り替えるが、小さい場合には、しばらくマスターを切り替えずに補正もせずに続ける場合の処理の流れを示す（請求項１５に対応）。

図示例の場合、過去の補正値の誤差が大きいかの閾値を「１０」としていて、その閾値より小さいので、しばらくの間、マスターを切り替えず、処理を続行し、しばらくたってもストリームが復帰しなかったのでマスターを切り替えている。もし、所定時間内に復帰したときは、マスターの切り替えはしない。

図１７は、マスターが補正をかけるときに、過去数回の補正値の誤差平均が小さかったときは、補正を間引くことにより、補正のオーバーヘッドを削減する場合の処理の流れを示す（請求項１６に対応）。上向きで点線の矢印が補正の間引き（省略）を示す。

図示例の場合、過去２回の誤差平均が２以下なら補正を間引くことにより、補正のオーバーヘッドを削減できる。

図１８は、マスター以外の各デバイスがクロックを参照するときに、直前の数回の参照値とストリームの時間情報ＰＴＳの誤差が小さい場合には、参照を間引く場合の処理の流れを示す（請求項１７に対応）。下向きで点線の矢印が参照の間引き（省略）を示す。

図示例の場合、テキストが１回目、２回目に参照している値とＰＴＳの誤差の平均が小さいので、次の参照を間引いて、テキスト処理はクロックの値を計算して同じ時間情報ＰＴＳを持つテキストを出力することで、参照のオーバーヘッドを減らしている。

本発明のＡＶ同期システムは、デジタル圧縮されたオーディオ・ビデオ等の複数のストリームを伸張し、マスターのストリーム処理を通じてシステムのクロックを補正することにより、ストリーム相互に同期を取りながら再生する場合に、マスターのストリームが途切れたり終了したりした場合でも良好に同期を保ち、また画像飛びや音飛び等を起こさず、補正や参照のオーバーヘッドを減らす等のための技術として有用である。

本発明の実施の形態におけるＡＶ同期システムの構成を示すブロック図 本発明の実施の形態においてオーディオマスターでオーディオデータが途切れた場合の動作を表すタイミングチャート 本発明の実施の形態においてマスターの登録の優先度のテーブル 本発明の実施の形態においてマスターの処理が途切れた場合には、次に最も早く補正がかけられる処理にマスターを切り替える方法で行った場合の処理の流れを示すタイミングチャート 本発明の実施の形態においてマスターの処理が途切れた場合には、最も小さい補正周期を持つものに、マスターを切り替える場合の処理の流れを示すタイミングチャート 本発明の実施の形態においてマスターの処理が途切れた場合には、現在のマスターに最も近い補正周期を持つ処理にマスターを切り替える方法でマスターを切り替えた場合の処理の流れを示すタイミングチャート 本発明の実施の形態においてマスターの処理が途切れた場合には、システムクロックとストリームから取り出した時間の、過去の誤差が最も小さかったデバイスにマスターを切り替える場合の処理の流れを示すタイミングチャート 本発明の実施の形態においてストリーム内にマスターとなり得る処理の優先順位の情報を入れて送信した場合の処理の流れを示すタイミングチャート 本発明の実施の形態においてストリーム内に現在マスターとするべき処理の情報を入れて送信した場合の処理の流れを示すタイミングチャート 本発明の実施の形態においてマスターとなる処理のストリームがある条件の場合に、マスターを切り替える場合の処理の流れを示すタイミングチャート 本発明の実施の形態において早送り再生の指示等で、再生速度が変わったときに、別のデバイスにマスターを切り替える場合の処理の流れを示すタイミングチャート 本発明の実施の形態においてマスターがクロックの補正をかけるときに、補正値の誤差がある一定値よりも大きい場合は、急に補正をして、他の処理の画像飛び等が大きくなるのを防ぐため、徐々に誤差を修正するようにした場合の処理の流れを示すタイミングチャート 本発明の実施の形態においてマスター以外の処理がクロックを参照して、ＰＴＳとの誤差がある一定値よりも大きい場合は、急に出力の補正をして、画像飛び等が大きくなるのを防ぐため、徐々に誤差を修正するようにした場合の処理の流れを示すタイミングチャート 本発明の実施の形態においてマスターとなる処理が途切れた後、別の処理にマスターを切り替えるが、元のマスターの処理が復帰した場合に、マスターを元に戻す場合の処理の流れを示すタイミングチャート 本発明の実施の形態においてマスターの処理が途切れた場合には、しばらくの間、過去の補正値から計算して、しばらくの間、マスターが補正をかけ続け、マスターの処理が復帰しなければ、マスターを切り替える場合の処理の流れを示すタイミングチャート 本発明の実施の形態においてマスターの処理が途切れた場合には、過去の補正値の誤差を判断して、過去の補正値の誤差が大きい場合にはマスターを切り替えるが、小さい場合には、しばらくマスターを切り替えずに補正もせずに続ける場合の処理の流れを示すタイミングチャート 本発明の実施の形態においてマスターが補正をかけるときに、過去数回の補正値の誤差平均が小さかったときは、補正を間引くことにより補正のオーバーヘッドを削減する場合の処理の流れを示すタイミングチャート 本発明の実施の形態においてマスター以外の各デバイスがクロックを参照するときに、直前の数回の参照値とストリームのＰＴＳの誤差が小さい場合には、参照を間引く場合の処理の流れを示すタイミングチャート 従来の技術においてオーディオ、ビデオ、テキスト、静止画を含むストリームをオーディオマスターで再生する場合の同期処理の方法を表した図 従来の技術においてオーディオマスターでオーディオデータが途切れた場合の動作を表すタイミングチャート

符号の説明

１０１ ストリーム入力部
１０２ 多重分離部
１０３ 音声バッファ
１０４ 音声復号部
１０５ 音声時間情報管理部
１０６ 音声出力部
１０７ システムクロック
１０８ ビデオバッファ
１０９ ビデオ復号器
１１０ ビデオ時間情報管理部
１１１ ビデオ出力部
２０１ クロック処理
２０２ オーディオ処理
２０３ ビデオ処理
２０４ テキスト処理
２０５ 静止画処理
２０６ クロックへの補正
２０７ クロックの参照

Claims (17)

1. 複数のストリーム処理の同期を維持するＡＶ同期システムであって、ストリームから時間情報を取得してシステムのクロックに補正をかけるマスターのストリーム処理の候補を登録しておき、マスターのストリーム処理が途切れた場合は、別のストリーム処理にマスターを切り替えることを特徴とするＡＶ同期システム。
2. 前記マスターのストリーム処理の登録を優先度をつけて行い、優先度の最も高いマスターのストリーム処理が途切れた場合は、次の優先度のストリーム処理にマスターを切り替えることを特徴とする請求項１記載のＡＶ同期システム。
3. 前記マスターのストリーム処理が途切れた場合は、登録されたマスター以外のストリーム処理のうち、最も早くストリームから時間情報を取得してシステムのクロックに補正を行うことができるストリーム処理にマスターを切り替えることを特徴とする請求項１記載のＡＶ同期システム。
4. 前記マスターのストリーム処理が途切れた場合は、登録されたマスター以外のストリーム処理のうち、最も小さい周期でストリームから時間情報を取得してシステムのクロックに補正をかけられるストリーム処理にマスターを切り替えることを特徴とする請求項１記載のＡＶ同期システム。
5. 前記マスターのストリーム処理が途切れた場合は、登録されたマスター以外のストリーム処理のうち、現在のマスターのストリーム処理に最も近い補正周期をもつストリーム処理にマスターを切り替えることを特徴とする請求項１記載のＡＶ同期システム。
6. 前記マスターのストリーム処理が途切れた場合は、登録されたマスター以外のストリーム処理のうち、過去のシステムクロックとの誤差が最も小さいストリーム処理にマスターを切り替えることを特徴とする請求項１記載のＡＶ同期システム。
7. 前記ストリーム内にストリーム処理のマスター候補優先度の情報を入れて送信し、最優先候補のマスターのストリーム処理が途切れた場合には、次の候補のストリーム処理にマスターを切り替えることを特徴とする請求項１記載のＡＶ同期システム。
8. 複数のストリーム処理の同期を維持するＡＶ同期システムであって、ストリーム内に現在のマスターのストリーム処理を指定した情報を入れて送信し、その情報に従ってマスターを切り替えることを特徴とするＡＶ同期システム。
9. 複数のストリーム処理の同期を維持するＡＶ同期システムであって、ストリームが無音状態等、事前に登録した所定の状態になったときに、マスターを切り替えることを特徴とするＡＶ同期システム。
10. 複数のストリーム処理の同期を維持するＡＶ同期システムであって、状態が通常再生から早送り再生、巻き戻し再生等、再生速度が切り替わった場合には、マスターのストリーム処理を登録していた別のストリーム処理に切り替えることを特徴とするＡＶ同期システム。
11. 前記マスターのストリーム処理からのシステムクロックへの補正誤差がある一定以上に大きい場合には、補正値を小さくすることを特徴とする請求項１から請求項１０までのいずれかに記載のＡＶ同期システム。
12. 前記マスター以外のストリーム処理のシステムクロックとストリームから得た時間情報の誤差がある一定以上に大きい場合には、徐々に誤差を縮めていくことを特徴とする請求項１から請求項１０までのいずれかに記載のＡＶ同期システム。
13. 請求項１から請求項１２までのいずれかに記載の方法でマスターを切り替えた後、ストリームが復帰した場合には、マスターを元のストリーム処理に戻すことを特徴とする請求項１から請求項１２までのいずれかに記載のＡＶ同期システム。
14. 前記マスターのストリーム処理が途切れた場合は、過去のシステムクロックへの補正値から計算して補正値を決め、しばらくの間補正を行い続けることを特徴とする請求項１から請求項１３までのいずれかに記載のＡＶ同期システム。
15. 前記マスターのストリーム処理が途切れた場合は、過去のシステムクロックへの補正値の誤差から判断して、誤差が基準値よりも大きい場合はマスターを切り替えるが、誤差が基準値よりも小さい場合はマスターを切り替えず、しばらくの間、処理を行うことを特徴とする請求項１から請求項１３までのいずれかに記載のＡＶ同期システム。
16. 前記マスターの過去のシステムクロックへの補正値の過去の誤差平均から判断して、誤差が小さい場合は、補正を間引くことでオーバーヘッドを削減することを特徴とする請求項１から請求項１５までのいずれかに記載のＡＶ同期システム。
17. 前記マスター以外のストリーム処理で、システムクロックへの過去の誤差平均が小さい場合は、参照を間引くことでオーバーヘッドを削減することを特徴とする請求項１から請求項１５までのいずれかに記載のＡＶ同期システム。
    
    

Images