JP2014192564A - 映像処理装置、映像処理方法及びコンピュータプログラム - Google Patents

Abstract

【課題】サーバ側で圧縮された状態で保持される複数本の符号化ストリーム情報の伝送時に欠損や遅延が生じてもクライアント側でマルチ画面合成の処理を実行することが可能な、映像処理装置を提供する。
【解決手段】複数の符号化されたストリームを、該ストリームが復号される前に合成するとともに、前記複数の符号化されたストリームの情報の欠損を検知する合成部と、前記合成部が欠損を検知すると、その欠損を代替する代替情報を前記合成部に提供する代替情報提供部と、を備え、前記合成部は、前記複数の符号化されたストリームの情報の欠損された箇所を前記代替情報に置き換えて合成する、映像処理装置が提供される。
【選択図】図１

Description

本開示は、映像処理装置、映像処理方法及びコンピュータプログラムに関する。

コンテンツのデジタル化が進み、映像を伝送できるインフラも整備されてきたことにより、インターネットを通じた映像配信が普及しつつある。最近では受信側の装置として、パーソナルコンピュータ以外に、ネットワークに接続可能なテレビジョン受像機も増えてきており、配信される動画コンテンツをテレビジョン受像機で見ることもできるようになってきている。

また、近年、クラウドサービスの発展により、ネットワークを介して、プライベートコンテンツを含めた多様なチャンネルが視聴者に提供されるようになってきている。そのため、複数の動画コンテンツを同時に視聴して、見たい動画コンテンツを簡単に探索することができるマルチ映像再生システムに対するニーズがより高くなってきている。

複数の動画コンテンツの同時視聴を実現するために、符号化ストリーム情報を用いてマルチ画面合成を行うシステムがある。サーバ側で圧縮された状態で保持される複数本の符号化ストリーム情報を、クライアント側で複雑な復号化処理をすることなく１本の符号化ストリーム情報へ変換する。符号化ストリーム情報を用いてマルチ画面合成を行うことにより、サーバ側の処理負荷、ネットワークの利用帯域、クライアント側の処理負荷を各々軽減する事が可能となる。

しかしながらこの技術では、マルチ画面合成の処理へ入力される符号化ストリーム情報にわずかでも欠損がある場合に、クライアント側で合成ピクチャの生成を行う事が出来ない。また、情報の到着に遅延が生じた場合に、マルチ画面合成に必要なすべてのストリームの到着を待つ必要があるため、ビデオチャットのようなリアルタイムコンテンツを扱う事が困難である。

そこで本開示は、サーバ側で圧縮された状態で保持される複数本の符号化ストリーム情報の伝送時に欠損や遅延が生じてもクライアント側でマルチ画面合成の処理を実行することが可能な、新規かつ改良された映像処理装置、映像処理方法及びコンピュータプログラムを提供する。

本開示によれば、複数の符号化されたストリームを、該ストリームが復号される前に合成するとともに、前記複数の符号化されたストリームの情報の欠損を検知する合成部と、前記合成部が欠損を検知すると、その欠損を代替する代替情報を前記合成部に提供する代替情報提供部と、を備え、前記合成部は、前記複数の符号化されたストリームの情報で欠損している箇所を前記代替情報に置き換えて合成する、映像処理装置が提供される。

また本開示によれば、複数の符号化されたストリームを、該ストリームが復号される前に合成するステップと、前記複数の符号化されたストリームの情報の欠損を検知するステップと、前記検知するステップで欠損が検知されると、その欠損を代替する代替情報を提供するステップと、を備え、前記合成するステップは、前記複数の符号化されたストリームの情報で欠損している箇所を前記代替情報に置き換えて合成する、映像処理方法が提供される。

また本開示によれば、コンピュータに、複数の符号化されたストリームを、該ストリームが復号される前に合成するステップと、前記複数の符号化されたストリームの情報の欠損を検知するステップと、前記検知するステップで欠損が検知されると、その欠損を代替する代替情報を提供するステップと、を実行させ、前記合成するステップは、前記複数の符号化されたストリームの情報で欠損している箇所を前記代替情報に置き換えて合成する、コンピュータプログラムが提供される。

以上説明したように本開示によれば、サーバ側で圧縮された状態で保持される複数本の符号化ストリーム情報の伝送時に欠損や遅延が生じてもクライアント側でマルチ画面合成の処理を実行することが可能な、新規かつ改良された映像処理装置、映像処理方法及びコンピュータプログラムを提供する事が出来る。

本開示の一実施形態に係る映像処理システム１の全体構成例を示す説明図である。 本開示の一実施形態に係る動画コンテンツサーバ２、３の機能構成例を示す説明図である。 本開示の一実施形態に係る動画コンテンツサーバ２、３の機能構成例を示す説明図である。 本開示の一実施形態に係るクライアント端末１００の機能構成例を示す説明図である。 ストリーム合成部１０５での複数の符号化ストリームの合成処理を説明する説明図である。 ストリーム合成部１０５での複数の符号化ストリームの合成処理を説明する説明図である。 ストリーム合成部１０５で複数の符号化ストリームが合成された後の符号化ストリームの状態を説明する説明図である。 ストリーム合成部１０５での複数の符号化ストリームの合成処理を説明する説明図である。 ストリーム合成部１０５での複数の符号化ストリームの合成処理を説明する説明図である。 本開示の一実施形態に係るクライアント端末１００の機能構成例を示す説明図である。 本開示の一実施形態に係る動画コンテンツサーバ２、３の機能構成例を示す説明図である。 本開示の一実施形態に係るクライアント端末１００に含まれる代替ピクチャ生成部１０８の機能構成例を示す説明図である。 代替ピクチャ生成部１０８に含まれるＩＤＲピクチャ記憶生成部１１２の構成例を示す説明図である。 本開示の一実施形態に係るクライアント端末１００の動作例を示す流れ図である。 本開示の一実施形態に係るクライアント端末１００の動作例を示す流れ図である。 本開示の一実施形態に係るクライアント端末１００の動作例を示す流れ図である。 本開示の一実施形態に係るクライアント端末１００の動作例を示す流れ図である。 本開示の一実施形態に係るクライアント端末１００の動作例を示す流れ図である。 本開示の一実施形態に係るクライアント端末１００の動作例を示す流れ図である。 本開示の一実施形態に係るクライアント端末１００の動作例を示す流れ図である。 本開示の一実施形態に係るクライアント端末１００による複数の符号化ストリームの合成処理を示す説明図である。 本開示の一実施形態に係るクライアント端末１００による複数の符号化ストリームの合成処理を示す説明図である。 本開示の一実施形態に係るクライアント端末１００に到着した符号化ストリームの例である。 本開示の一実施形態に係るクライアント端末１００に到着した符号化ストリームの例である。 本開示の一実施形態に係るクライアント端末１００に到着した符号化ストリームの例である。 本開示の一実施形態に係るクライアント端末１００に到着した符号化ストリームの例である。 本開示の一実施形態に係るクライアント端末１００に到着した符号化ストリームの例である。 本開示の一実施形態に係るクライアント端末１００に到着した符号化ストリームの例である。 本開示の一実施形態に係るクライアント端末１００に到着した符号化ストリームの例である。 本開示の一実施形態に係るクライアント端末１００に到着した符号化ストリームの例である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
＜１．本開示の一実施形態＞
［全体構成例］
［動画コンテンツサーバの機能構成例］
［クライアント端末の機能構成例］
［クライアント端末の動作例］
＜２．まとめ＞

＜１．本開示の一実施形態＞
［全体構成例］
まず図面を参照しながら、本開示の一実施形態に係るシステムの全体構成例について説明する。図１は、本開示の一実施形態に係る映像処理システム１の全体構成例を示す説明図である。以下、図１を用いて本開示の一実施形態に係る映像処理システム１の全体構成例について説明する。

図１に示した映像処理システム１は、複数の動画コンテンツサーバ２、３から、インターネット等のネットワーク１０を経て符号化ストリーム情報をクライアント端末１００で受信する構成を有している。図１に示した映像処理システム１に含まれているクライアント端末１００は、動画コンテンツサーバ２、３から受信した符号化ストリーム情報を復号し、複数の動画コンテンツを合成して同時に再生する構成を有している。

動画コンテンツサーバ２、３は、符号化ストリームに変換された動画コンテンツを保持し、また動画コンテンツを符号化ストリームに変換し、クライアント端末１００からの求めに応じてクライアント端末１００に符号化ストリームを送出する装置である。本実施形態では、動画コンテンツサーバ２は、リアルタイムで撮像された動画コンテンツであるリアルタイム動画コンテンツＡと、予め撮像された動画コンテンツである蓄積動画コンテンツＢと、を保持している。また動画コンテンツサーバ３は、リアルタイムで撮像された動画コンテンツであるリアルタイム動画コンテンツＣと、予め撮像された動画コンテンツである蓄積動画コンテンツＤと、を保持している。もちろん、動画コンテンツサーバに保持される動画コンテンツの種類や数は係る例に限られないことは言うまでもない。

本実施形態の符号化ストリームは、例えばＨ．２６４／ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）方式等で符号化されたものであるとする。もちろん符号化方式は係る例に限定されないことは言うまでもない。

クライアント端末１００は、動画コンテンツサーバ２、３からインターネット等のネットワーク１０を経て送信される符号化ストリームを受信し、複数の符号化ストリームを合成してから、その合成後の符号化ストリームを復号する。クライアント端末１００は、複数の符号化ストリームを合成してから復号することで、複数の動画コンテンツを同時に再生することが出来る。なお、複数の動画コンテンツの同時再生は、クライアント端末１００が実行しても良いし、クライアント端末１００と有線または無線で接続された、表示画面を有する他の装置が実行しても良い。

動画コンテンツサーバ２、３が保持する動画コンテンツは、いずれもＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅ）がＮであるとする。動画コンテンツのＧＯＰが同じであることで、クライアント端末１００は、複数の符号化ストリームを合成してからその合成後の符号化ストリームを復号することを可能としている。

以上、図１を用いて本開示の一実施形態に係る映像処理システム１の全体構成例について説明した。次に、本開示の一実施形態に係る動画コンテンツサーバ２、３の機能構成例について説明する。

［動画コンテンツサーバの機能構成例］
本開示の一実施形態に係る動画コンテンツサーバ２、３は、上述したように、リアルタイム動画コンテンツと蓄積動画コンテンツとのいずれも保持し得る。そのため、リアルタイム動画コンテンツを配信する場合と蓄積動画コンテンツを配信する場合とで分けて、本開示の一実施形態に係る動画コンテンツサーバ２、３の機能構成例について説明する。

図２は、本開示の一実施形態に係る動画コンテンツサーバ２、３の機能構成例を示す説明図である。図２に示したのは、リアルタイム動画コンテンツを配信する場合の動画コンテンツサーバ１、２の機能構成例である。

図２に示したように、本開示の一実施形態に係る動画コンテンツサーバ２、３は、制御部１１と、処理済み符号化ストリーム蓄積部１２と、符号化ストリーム送出部１５と、ネットワーク送受信部１６と、を含んで構成される。

制御部１１は、動画コンテンツサーバ２、３に含まれている各部の動作を制御する。処理済み符号化ストリーム蓄積部１２は、動画コンテンツを予め再符号化し、再符号化後の符号化ストリームを蓄積する。処理済み符号化ストリーム蓄積部１２に蓄積された、再符号化後の動画コンテンツの符号化ストリームは、制御部１１の制御により符号化ストリーム送出部１５に送られる。

Ｈ．２６４／ＡＶＣ方式の符号化ストリームは、ＣＡＢＡＣ（Ｃｏｎｔｅｘｔ−ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ）、Ｉｎｔｒａ ＭＢ（Ｍａｃｒｏ Ｂｌｏｃｋ；マクロブロック） Ｐｒｅｄｉｃｔｉｏｎ、Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎなどにおいて、同一スライス内で依存関係を有する。また符号化は、上から水平ラインごとに行われ、各水平ラインにおいては左から行われる。

処理済み符号化ストリーム蓄積部１２は、動画コンテンツの符号化ストリームの、水平方向に並ぶマクロブロックが、同一のスライスとして再符号化されたものを蓄積する。水平方向に並ぶマクロブロックが同一のスライスとして再符号化されることにより、各動画コンテンツにおいて、垂直方向の位置が異なるマクロブロック間の依存関係がなくなる。そのため、複数の動画コンテンツの符号化ストリームをクライアント端末１００で合成することにより、マクロブロックの符号化順が異なる場合であっても、復号後のマルチ映像再生画像は、元の動画コンテンツと同一となる。

符号化ストリーム送出部１５は、制御部１１の制御により、処理済み符号化ストリーム蓄積部１２に蓄積された動画コンテンツの符号化ストリームを、ＴＣＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）やＲＴＰ（Ｒｅａｌ−ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）等のプロトコルを用いて、ネットワーク送受信部１６から送出させる。

ネットワーク送受信部１６は、ネットワーク１０からのデータの受信やネットワーク１０へのデータの送信を行う。本実施形態では、ネットワーク送受信部１６は、制御部１１の制御により、符号化ストリーム送出部１５から送出される動画コンテンツの符号化ストリームを受けて、ネットワーク１０へ送出する。

図３は、本開示の一実施形態に係る動画コンテンツサーバ１、２の機能構成例を示す説明図である。図３に示したのは、例えばリアルタイムで撮影されたリアルタイム動画コンテンツを配信する場合の動画コンテンツサーバ２、３の機能構成例である。

図３に示したように、本開示の一実施形態に係る動画コンテンツサーバ２、３は、制御部１１と、処理前符号化ストリーム蓄積部１３と、符号化ストリーム変換部１４と、符号化ストリーム送出部１５と、ネットワーク送受信部１６と、を含んで構成される。

制御部１１は、動画コンテンツサーバ１、２の各要素の動作を制御する。処理前符号化ストリーム蓄積部１４は、上述の再符号化前のリアルタイム動画コンテンツの符号化ストリームを蓄積する。処理前符号化ストリーム蓄積部１４に蓄積されたリアルタイム動画コンテンツの符号化ストリームは、制御部１１の制御により符号化ストリーム変換部１４に送られる。

符号化ストリーム変換部１４は、制御部１１の制御により、上述のリアルタイム動画コンテンツの符号化ストリームの再符号化を行う。符号化ストリーム変換部１４は、リアルタイム動画コンテンツの符号化ストリームの再符号化を行うと、再符号化後のリアルタイム動画コンテンツの符号化ストリームを制御部１１の制御により符号化ストリーム送出部１５に送る。

符号化ストリーム送出部１５は、制御部１１の制御により、符号化ストリーム変換部１４から送られたリアルタイム動画コンテンツの符号化ストリームを、ＴＣＰやＲＴＰ等のプロトコルを用いて、ネットワーク送受信部１６から送出させる。ネットワーク送受信部１６は、ネットワーク１０からのデータの受信やネットワーク１０へのデータの送信を行う。本実施形態では、ネットワーク送受信部１６は、制御部１１の制御により、符号化ストリーム送出部１５から送出されるリアルタイム動画コンテンツの符号化ストリームを受けて、ネットワーク１０へ送出する。

本開示の一実施形態に係る動画コンテンツサーバ２、３は、図２、３に示したような構成を有することで、クライアント端末１００での複数の符号化ストリームの合成に適した符号化ストリームを、クライアント端末１００へ送信することができる。

以上、図２、３を用いて本開示の一実施形態に係る動画コンテンツサーバ２、３の機能構成例について説明した。次に、本開示の一実施形態に係るクライアント端末１００の機能構成例について説明するが、まず、単に複数の符号化ストリームを合成して再生しようとする場合の、クライアント端末１００の機能構成例について説明し、続いて、単に複数の符号化ストリームを合成して再生しようとする場合に生じ得る現象について説明する。そして、その現象の説明に続いて、その現象を解決するためのクライアント端末１００の機能構成例について説明する。

［クライアント端末の機能構成例］
図４は、本開示の一実施形態に係るクライアント端末１００の機能構成例を示す説明図である。図４に示したのは、動画コンテンツサーバ２、３から送信される符号化ストリームを単に合成して再生するための構成を有するクライアント端末１００の例である。以下、図４を用いて本開示の一実施形態に係るクライアント端末１００の機能構成例について説明する。

図４に示したように、本開示の一実施形態に係るクライアント端末１００は、制御部１０１と、ネットワーク送受信部１０２と、符号化ストリーム分別部１０３と、コンテンツバッファ部１０４ａ、１０４ｂ、１０４ｃ、・・・、１０４ｎと、ストリーム合成部１０５と、ＡＶＣデコード部１０６と、アプリケーション部１０７と、を含んで構成される。

制御部１０１は、クライアント端末１００の各要素の動作を制御する。ネットワーク送受信部１０２は、ネットワーク１０からのデータの受信やネットワーク１０へのデータの送信を、制御部１０１の制御により行う。本実施形態では、ネットワーク送受信部１０２は、動画コンテンツサーバ２、３から送信される符号化ストリームを受信する。ネットワーク送受信部１０２は、受信した符号化ストリームを、制御部１０１の制御に応じて符号化ストリーム分別部１０３に出力する。ネットワーク送受信部１０２は、複数の符号化ストリームを同時に受信し得るので、複数の符号化ストリームが受信された場合は、これらの複数の符号化ストリームは後段の符号化ストリーム分別部１０３で分別される。

符号化ストリーム分別部１０３は、ネットワーク送受信部１０２が受信した符号化ストリームを、動画コンテンツ単位に分別する。上述のようにネットワーク送受信部１０２は、複数の符号化ストリームを同時に受信し得るので、複数の符号化ストリームが受信された場合に、符号化ストリーム分別部１０３は複数の符号化ストリームを動画コンテンツ単位に分別する。符号化ストリーム分別部１０３による符号化ストリームの動画コンテンツ単位への分別は、例えば受信した符号化ストリームに含まれるコンテンツを識別するための情報を参照することで行われ得る。符号化ストリーム分別部１０３は、符号化ストリームを動画コンテンツ単位に分別すると、分別した符号化ストリームを動画コンテンツ単位にコンテンツバッファ部１０４ａ、１０４ｂ、１０４ｃ、・・・、１０４ｎへ出力する。

コンテンツバッファ部１０４ａ、１０４ｂ、１０４ｃ、・・・、１０４ｎは、符号化ストリーム分別部１０３が動画コンテンツ単位に分別した符号化ストリームを、それぞれ動画コンテンツ単位で保持する。コンテンツバッファ部１０４ａ、１０４ｂ、１０４ｃ、・・・、１０４ｎにそれぞれ動画コンテンツ単位で保持された符号化ストリームは、ストリーム合成部１０５へ出力される。

ストリーム合成部１０５は、コンテンツバッファ部１０４ａ、１０４ｂ、１０４ｃ、・・・、１０４ｎにそれぞれ動画コンテンツ単位で保持された符号化ストリームを、制御部１０１の制御により取り出して合成する。ストリーム合成部１０５は、複数の動画コンテンツの符号化ストリームのスライスヘッダを書き換えて、複数の符号化ストリームを１つに合成する。ストリーム合成部１０５は、複数の符号化ストリームを１つに合成すると、合成後の符号化ストリームをＡＶＣデコード部１０６へ出力する。

ストリーム合成部１０５での合成処理の一例を示す。ストリーム合成部１０５は、複数の動画コンテンツの符号化ストリームから、スライスのＮＡＬ（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ）ユニットのデータ長Ｉとスライスのマクロブロック数ｓｘを認識する。そしてストリーム合成部１０５は、データ長Ｉおよびマクロブロック数ｓｘ、並びに再生画像内の複数の動画コンテンツの配置に基づいて、複数の動画コンテンツの符号化ストリームのスライスヘッダを書き換える。

またストリーム合成部１０５は、コンテンツバッファ部１０４ａ、１０４ｂ、１０４ｃ、・・・、１０４ｎから供給される複数の動画コンテンツそれぞれの符号化ストリームに含まれるＰＰＳ（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）のＮＡＬユニットから、可逆符号化の方式を表す可逆符号化方式フラグを取得する。ここで、可逆符号化の方式としては、ＣＡＶＬＣ（Ｃｏｎｔｅｘｔ−Ａｄａｐｔｉｖｅ Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ）、または、ＣＡＢＡＣ（Ｃｏｎｔｅｘｔ−Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ）がある。そして、可逆符号化方式フラグは、ＣＡＢＡＣを表す場合１であり、ＣＡＶＬＣを表す場合０である。

ストリーム合成部１０５は、可逆符号化方式フラグに基づいて、スライスヘッダが書き換えられた複数の動画コンテンツそれぞれの符号化ストリームのスライスデータに対して所定の処理を施す。そして、ストリーム合成部１０５は、再生画像内の複数の動画コンテンツの配置に基づいて、上述の所定の処理が施されたスライスデータと、書き換え後のスライスヘッダを含む動画コンテンツの符号化ストリームを合成することにより、複数の動画コンテンツを１つの画像として再生するための再生画像の符号化ストリームを生成する。

ＡＶＣデコード部１０６は、ストリーム合成部１０５で１つに合成された符号化ストリームを、制御部１０１の制御によりデコードする。ＡＶＣデコード部１０６は、ストリーム合成部１０５で１つに合成された符号化ストリームをデコードすることで、複数の動画コンテンツを１つの画像として再生するための再生画像を生成し、出力することができる。ＡＶＣデコード部１０６は、デコード後のデータをアプリケーション部１０７に出力する。

ここでストリーム合成部１０５での複数の符号化ストリームの合成処理について具体的に説明する。図５は、ストリーム合成部１０５での複数の符号化ストリームの合成処理を説明する説明図である。図５では、４つの動画コンテンツＡ〜Ｄの符号化ストリームの合成処理が例示されている。図５では、動画コンテンツＡのピクチャ番号ＰＮがｉのピクチャを、動画コンテンツＢのピクチャ番号ＰＮがｊのピクチャを、動画コンテンツＣのピクチャ番号ＰＮがｋのピクチャを、動画コンテンツＤのピクチャ番号ＰＮがｌのピクチャを、それぞれストリーム合成部１０５で合成する場合が例示されている。

４つの動画コンテンツＡ〜Ｄの符号化ストリームがストリーム合成部１０５でスライス合成されると、スライス合成が完了した１つのピクチャとなって符号化ストリームがストリーム合成部１０５から出力される。１つのピクチャとなった符号化ストリームは、ＡＶＣデコード部１０６でデコードされることで、それぞれの動画コンテンツＡ〜Ｄのピクセル群となってＡＶＣデコード部１０６から出力される。

図６は、ストリーム合成部１０５での複数の符号化ストリームの合成処理を説明する説明図である。図６には、コンテンツバッファ部１０４ａ、１０４ｂ、１０４ｃ、１０４ｄも示されている。ストリーム合成部１０５は、複数の符号化ストリームを合成する際に、全ての符号化ストリームのＧＯＰの構成を揃える。すなわち、図６に示すように、合成単位のピクチャが同じ種類のピクチャ（ＩＤＲピクチャまたは非ＩＤＲピクチャ）となるように合成される。

図７は、ストリーム合成部１０５で複数の符号化ストリームが合成された後の符号化ストリームの状態を説明する説明図である。ストリーム合成部１０５で４つの動画コンテンツＡ〜Ｄの符号化ストリームがピクチャ単位で合成（スライス合成）されると、図７に示すように、合成後の符号化ストリームがピクチャ単位でストリーム合成部１０５から出力され、ＡＶＣデコード部１０６に送られる。

ＡＶＣデコード部１０６は、このようにピクチャの種類を合わせて、ストリーム合成部１０５から送られる合成後の符号化ストリームをデコードすることで、それぞれの動画コンテンツＡ〜Ｄのピクセル群を有する画像を生成することができる。

アプリケーション部１０７は、クライアント端末１００で実行されるアプリケーションを実行する。アプリケーション部１０７は、ＡＶＣデコード部１０６から出力されたデータを取得する。そしてアプリケーション部１０７は、制御部１０１の制御によって、デコードによって得られる画像を表示画面に表示したり、表示画面を有する別の装置へ転送したりし得る。

本開示の一実施形態に係るクライアント端末１００は、図４に示したような構成を有することで、動画コンテンツサーバ２、３から送信される符号化ストリームを、ピクチャの種類を揃えて合成してデコードし、複数の動画コンテンツを１つの画面で再生することが出来る。

しかしクライアント端末１００が図４に示したような構成を有することで、以下で説明するような現象も生じ得る。

図８は、ストリーム合成部１０５での複数の符号化ストリームの合成処理を説明する説明図である。図８では、図５の例と同様に、４つの動画コンテンツＡ〜Ｄの符号化ストリームの合成処理が例示されている。しかし、図８では、動画コンテンツＡのピクチャ番号ＰＮがｉのピクチャを、動画コンテンツＢのピクチャ番号ＰＮがｊのピクチャを、動画コンテンツＤのピクチャ番号ＰＮがｌのピクチャを、それぞれストリーム合成部１０５で合成しようとしているが、動画コンテンツＣについては何らかの理由で符号化ストリームの入力が無かった場合が例示されている。

動画コンテンツＣの符号化ストリームの入力がない理由は様々なものが想定されるが、例えば動画コンテンツサーバ２、３からクライアント端末１００への伝送経路の途中で障害が生じてパケットの欠損が生じたり、動画コンテンツサーバ２、３からクライアント端末１００へパケットの到達が遅延することで対象のピクチャが存在しなかったりする場合が考えられる。

このように１つの動画コンテンツについて符号化ストリームの入力がないと、図８に示すように、ストリーム合成部１０５での符号化ストリームのスライス合成が出来なくなってしまう。これはストリーム合成部１０５で１つのピクチャとして完成させることが出来ないからである。符号化ストリームのスライス合成が出来ないと、ＡＶＣデコード部１０６で正常にデコードすることも出来なくなってしまう。そのため、１つの動画コンテンツの入力が無いだけで、その他の（図８の例では３つの）動画コンテンツの再生表示も出来なくなってしまうという現象が生じうる。

図９は、ストリーム合成部１０５での複数の符号化ストリームの合成処理を説明する説明図である。図９では、図６の例と同様に、４つの動画コンテンツＡ〜Ｄの符号化ストリームの合成処理が例示されている。しかし、図９では、４つの動画コンテンツＡ〜Ｄの符号化ストリームがストリーム合成部１０５で合成される際に、少なくともいずれかの動画コンテンツＡ〜Ｄの符号化ストリームでピクチャの消失が生じている状態が示されている。

例えば図９には、動画コンテンツＢのピクチャ番号ＰＮがｊのＩＤＲピクチャ、動画コンテンツＣのピクチャ番号ＰＮがｋのＩＤＲピクチャ、動画コンテンツＤのピクチャ番号ＰＮがｌのＩＤＲピクチャは、それぞれコンテンツバッファ部１０４ｂ、１０４ｃ、１０４ｄに格納されているが、動画コンテンツＡのピクチャ番号ＰＮがｉのＩＤＲピクチャは何らかの理由で入力されておらず、コンテンツバッファ部１０４ａに格納されていない場合が例示されている。この状態では、ストリーム合成部１０５は、４つの動画コンテンツＡ〜Ｄの符号化ストリームをスライス合成することが出来ない。ストリーム合成部１０５で１つのピクチャとして完成させることが出来ないからである。

このように、少なくともいずれかの動画コンテンツＡ〜Ｄの符号化ストリームでピクチャの消失が生じている状態が複数のピクチャに渡って続いていると、このピクチャの消失が生じている間は、ストリーム合成部１０５での符号化ストリームのスライス合成が出来なくなってしまう。

そこで本実施形態では、このように、いずれか動画コンテンツの符号化ストリームでピクチャの消失が生じていても、複数の動画コンテンツの同時再生表示を行うことができるクライアント端末１００について示す。

図１０は、本開示の一実施形態に係るクライアント端末１００の機能構成例を示す説明図である。図１０に示したのは、動画コンテンツサーバ２、３から送信される符号化ストリームを合成して再生するための構成を有するクライアント端末１００の例である。以下、図１０を用いて本開示の一実施形態に係るクライアント端末１００の機能構成例について説明する。

図１０に示したように、本開示の一実施形態に係るクライアント端末１００は、制御部１０１と、ネットワーク送受信部１０２と、符号化ストリーム分別部１０３と、コンテンツバッファ部１０４ａ、１０４ｂ、１０４ｃ、・・・、１０４ｎと、ストリーム合成部１０５と、ＡＶＣデコード部１０６と、アプリケーション部１０７と、代替ピクチャ生成部１０８と、を含んで構成される。

図１０に示したクライアント端末１００の構成の内、代替ピクチャ生成部１０８以外の構成は図４に示したクライアント端末１００と同一であるので、詳細な説明はここでは省略し、代替ピクチャ生成部１０８について詳細に説明する。

代替ピクチャ生成部１０８は、クライアント端末１００が受信した複数の動画コンテンツの符号化ストリームに欠損が生じていれば、制御部１０１の制御に基づき、その欠損している部分を別のピクチャ（代替ピクチャとも称する）で置き換えるための代替ピクチャを生成する。

代替ピクチャ生成部１０８は、代替ピクチャを、欠損しているピクチャの種類によって異ならせて生成することが出来る。例えば、欠損しているピクチャがＩＤＲピクチャであれば、代替ピクチャ生成部１０８は、その符号化ストリームで最後に正常に受信されたＩＤＲピクチャを代替ピクチャとしてもよい。また欠損しているピクチャがＰピクチャであれば、代替ピクチャ生成部１０８は、スキップドマクロブロックで構成されるＰピクチャを代替ピクチャとしてもよい。

符号化ストリームに欠損が生じているかどうかは、コンテンツバッファ部１０４ａ、１０４ｂ、１０４ｃ、・・・、１０４ｎから符号化ストリームを取り出すストリーム合成部１０５が判断する。ストリーム合成部１０５は、複数の動画コンテンツの符号化ストリームの合成時に、符号化ストリームの欠損を検出すると、欠損があった符号化ストリームに対応する動画コンテンツの情報と、その欠損しているピクチャの種類を制御部１０１に通知する。

ストリーム合成部１０５は、符号化ストリームの欠損を、例えばコンテンツバッファ部１０４ａ、１０４ｂ、１０４ｃ、・・・、１０４ｎに格納されているピクチャのピクチャ番号が、正しい順番でストリーム合成部１０５に出力されているかどうかで判断することができる。

制御部１０１は、受信した符号化ストリームに欠損があった旨をストリーム合成部１０５から受け取ると、その欠損があった旨を代替ピクチャ生成部１０８へ通知する。代替ピクチャ生成部１０８は、その欠損に対応する代替ピクチャを生成し、生成した代替ピクチャをストリーム合成部１０５へ出力する。ストリーム合成部１０５は、欠損しているピクチャを、代替ピクチャ生成部１０８から送られた代替ピクチャに置き換えて、スライス合成する。

本開示の一実施形態に係るクライアント端末１００は、係る構成を有することで、いずれか動画コンテンツの符号化ストリームでピクチャの消失が生じていても、消失したピクチャを代替ピクチャに置き換えて合成することで、複数の動画コンテンツの同時再生表示を行うことができる。

なお代替ピクチャは、クライアント端末１００ではなく、動画コンテンツサーバ２、３が生成しても良い。動画コンテンツサーバ２、３が代替ピクチャを生成する場合は、動画コンテンツサーバ２、３は、動画コンテンツの符号化ストリームに加えて代替ピクチャが符号化された符号化ストリームを送信する。動画コンテンツサーバ２、３が代替ピクチャを生成する場合の構成例を説明する。

図１１は、本開示の一実施形態に係る動画コンテンツサーバ２、３の機能構成例を示す説明図である。図１１に示したのは、動画コンテンツサーバ２、３が代替ピクチャを生成する場合の動画コンテンツサーバ２、３の機能構成例である。

図１１に示したように、本開示の一実施形態に係る動画コンテンツサーバ２、３は、制御部１１と、符号化ストリーム送出部１５と、ネットワーク送受信部１６と、符号化コンテンツストリーム生成／蓄積部２１と、符号化代替ストリーム生成／蓄積部２２と、を含んで構成される。

符号化コンテンツストリーム生成／蓄積部２１は、クライアント端末１００へ送信するための符号化ストリームを生成し、蓄積する。符号化コンテンツストリーム生成／蓄積部２１は、図２で示した処理済み符号化ストリーム蓄積部１２や、図３で示した処理前符号化ストリーム蓄積部１３、符号化ストリーム変換部１４を含み得る。

符号化代替ストリーム生成／蓄積部２２は、クライアント端末１００への符号化ストリームの送信の際にその符号化ストリームの一部に欠損が生じた場合に、クライアント端末１００で生成される代替ピクチャの基になるストリームを生成し、蓄積する。符号化代替ストリーム生成／蓄積部２２で生成されるストリームのＧＯＰは、他の符号化ストリームと同じＧＯＰである。

動画コンテンツサーバ２、３は、図１１に示したような構成を有することで、代替ピクチャを生成及び蓄積することが出来る。そして動画コンテンツサーバ２、３は、図１１に示したような構成を有することで、クライアント端末１００へ代替ピクチャを含んだ符号化ストリームを送信することが出来る。

続いて、本開示の一実施形態に係るクライアント端末１００に含まれる代替ピクチャ生成部１０８の機能構成例を説明する。図１２は、本開示の一実施形態に係るクライアント端末１００に含まれる代替ピクチャ生成部１０８の機能構成例を示す説明図である。

図１２に示したように、代替ピクチャ生成部１０８は、パラメタ生成部１１１と、ＩＤＲピクチャ記憶生成部１１２と、Ｐピクチャ生成部１１３と、ピクチャ選択部１１４と、を含んで構成される。

パラメタ生成部１１１は、動画コンテンツサーバ２、３から送信される、動画コンテンツの符号化ストリームから、代替ピクチャを生成するためのパラメタを生成する。パラメタ生成部１１１は、動画コンテンツの符号化ストリームから、代替ピクチャを生成するためのパラメタを生成すると、生成したパラメタをＩＤＲピクチャ記憶生成部１１２及びＰピクチャ生成部１１３へ出力する。

ＩＤＲピクチャ記憶生成部１１２は、代替ピクチャがＩＤＲピクチャである場合に、その代替ピクチャの基となるＩＤＲピクチャを動画コンテンツの符号化ストリームから取得して記憶したり、固定のＩＤＲピクチャを記憶したり、または任意のＩＤＲピクチャを生成したりする。ＩＤＲピクチャ記憶生成部１１２は、パラメタ生成部１１１が出力するパラメタに基づいて代替ピクチャの基となるＩＤＲピクチャを生成する。ＩＤＲピクチャ記憶生成部１１２の構成例については後述する。ＩＤＲピクチャ記憶生成部１１２は、代替ピクチャの基となるＩＤＲピクチャをピクチャ選択部１１４へ出力する。

Ｐピクチャ生成部１１３は、代替ピクチャがＰピクチャである場合に、その代替ピクチャの基となるＰピクチャを生成する。Ｐピクチャ生成部１１３は、パラメタ生成部１１１が出力するパラメタに基づいて、代替ピクチャの基となるＰピクチャを生成する。Ｐピクチャ生成部１１３は、代替ピクチャの基となるＰピクチャをピクチャ選択部１１４へ出力する。

本実施形態では、Ｐピクチャ生成部１１３は、パラメタ生成部１１１が出力するパラメタに基づいて、スキップドマクロブロックで構成されるＰピクチャを生成する。なお、ＭＰＥＧ−４の場合は、Ｐピクチャ生成部１１３は、参照フレームの同じピクセルをスキップドマクロブロックとして使用することでＰピクチャを生成する。またＨ．２６４／ＡＶＣの場合は、Ｐピクチャ生成部１１３は、予測動きベクトルを用いて、動き補償した予測信号をスキップドマクロブロックとして使用することでＰピクチャを生成する。

ピクチャ選択部１１４は、ＩＤＲピクチャ記憶生成部１１２が出力するＩＤＲピクチャまたはＰピクチャ生成部１１３が出力するＰピクチャのいずれかを選択して代替ピクチャとする。ＩＤＲピクチャとＰピクチャのいずれが選択されるかは、ピクチャ選択部１１４に送られる選択情報に基づく。すなわち、ＩＤＲピクチャとＰピクチャのどちらが欠損しているかによって、ＩＤＲピクチャとＰピクチャのいずれかがピクチャ選択部１１４で選択される。

続いて、ＩＤＲピクチャ記憶生成部１１２の構成例を説明する。図１３は、代替ピクチャ生成部１０８に含まれるＩＤＲピクチャ記憶生成部１１２の構成例を示す説明図である。

図１３に示したように、ＩＤＲピクチャ記憶生成部１１２は、固定ＩＤＲピクチャ記憶部１２１と、任意ＩＤＲピクチャ生成部１２２と、最終ＩＤＲピクチャ記憶部１２３ａ〜１２３ｎと、サーバＩＤＲピクチャ記憶部１２４ａ〜１２４ｎと、を含んで構成される。

固定ＩＤＲピクチャ記憶部１２１は、ＩＤＲピクチャが欠損した際の代替ピクチャとして固定のピクチャを使用する際に、その固定のＩＤＲピクチャを記憶する。固定ＩＤＲピクチャ記憶部１２１が記憶するＩＤＲピクチャとしては、例えば特定の画像や文字を表示するためのピクチャが含まれ得る。

任意ＩＤＲピクチャ生成部１２２は、ＩＤＲピクチャが欠損した際の代替ピクチャとして任意のピクチャを使用する際に、その任意のＩＤＲピクチャを生成する。任意のＩＤＲピクチャとしては、例えばクライアント端末１００の状態に応じて生成される画像や文字を表示するためのピクチャが含まれ得る。

最終ＩＤＲピクチャ記憶部１２３ａ〜１２３ｎは、ＩＤＲピクチャが欠損した際の代替ピクチャとして、動画コンテンツサーバ２、３から送信される、動画コンテンツの符号化ストリームにおける一番新しいＩＤＲピクチャを使用する際に、その一番新しい（最終の）ＩＤＲピクチャを記憶する。

最終ＩＤＲピクチャ記憶部１２３ａ〜１２３ｎは、コンテンツバッファ部１０４ａ〜１０４ｎと同じ数だけ設けられ得る。すなわち、動画コンテンツＡの最終ＩＤＲピクチャは最終ＩＤＲピクチャ記憶部１２３ａに、動画コンテンツＮの最終ＩＤＲピクチャは最終ＩＤＲピクチャ記憶部１２３ｎに格納され得る。

サーバＩＤＲピクチャ記憶部１２４ａ〜１２４ｎは、ＩＤＲピクチャが欠損した際の代替ピクチャとして、動画コンテンツサーバ２、３から送信される代替ピクチャ用の符号化ストリームにおけるＩＤＲピクチャを使用する際に、その動画コンテンツサーバ２、３から送信される代替ピクチャ用の符号化ストリームにおけるＩＤＲピクチャを記憶する。

サーバＩＤＲピクチャ記憶部１２４ａ〜１２４ｎは、コンテンツバッファ部１０４ａ〜１０４ｎと同じ数だけ設けられ得る。すなわち、動画コンテンツＡに対応する代替ピクチャ用のＩＤＲピクチャはサーバＩＤＲピクチャ記憶部１４４ａに、動画コンテンツＮに対応する代替ピクチャ用のＩＤＲピクチャはサーバＩＤＲピクチャ記憶部１２４ｎに格納され得る。

どのＩＤＲピクチャが代替ピクチャとして用いられるかは、クライアント端末１００のユーザによって選択され得る。

本開示の一実施形態に係るクライアント端末１００は、係る構成を有することで、いずれか動画コンテンツの符号化ストリームでピクチャの消失が生じていても、代替ピクチャを生成し、または動画コンテンツサーバ２、３から得て、消失したピクチャを代替ピクチャに置き換えて合成することができる。本開示の一実施形態に係るクライアント端末１００は、消失したピクチャを代替ピクチャに置き換えて合成することで、いずれか動画コンテンツの符号化ストリームでピクチャの消失が生じていても、複数の動画コンテンツの同時再生表示を継続して行うことができる。

以上、本開示の一実施形態に係るクライアント端末１００の機能構成例について説明した。続いて、本開示の一実施形態に係るクライアント端末１００の動作例について説明する。

［クライアント端末の動作例］
図１４は、本開示の一実施形態に係るクライアント端末１００の動作例を示す流れ図である。図１４に示したのは、クライアント端末１００が、動画コンテンツサーバ２、３から複数の符号化ストリームを受信し、ピクチャを合成して符号化することで、複数の動画コンテンツを同時に再生する際の処理である。以下、図１４を用いて本開示の一実施形態に係るクライアント端末１００の動作例について説明する。

まずクライアント端末１００は、複数の動画コンテンツを同時に再生する際の初期設定を実行する（ステップＳ１０１〜Ｓ１０５）。ステップＳ１０１〜Ｓ１０５の初期設定は、制御部１０１が実行し得る。クライアント端末１００は、変数Ｎに同時再生する動画コンテンツの数を設定し（ステップＳ１０１）、各動画コンテンツの最終ＩＤＲピクチャを保持するバッファ（最終ＩＤＲピクチャ記憶部１２３ａ〜１２３ｎ）にｎｕｌｌを設定する（ステップＳ１０２）。

またクライアント端末１００は、各動画コンテンツに対する代替モードフラグにｆａｌｓｅを設定し（ステップＳ１０３）、各動画コンテンツがリアルタイムで配信されるものかどうかのフラグを設定する（ステップＳ１０４）。またクライアント端末１００は、現在のピクチャがＩＤＲピクチャか否かを識別するためのＩＤＲタイミングフラグにｔｒｕｅを設定する（ステップＳ１０５）。

なお代替モードフラグとは、ピクチャの消失が生じたために代替ピクチャを生成し、その代替ピクチャを合成処理に用いるか否かを判定するためのフラグである。

上記ステップＳ１０１〜Ｓ１０５において、複数の動画コンテンツを同時に再生する際の初期設定を実行すると、続いてクライアント端末１００は、動画コンテンツサーバ２、３から動画コンテンツの取得を開始する（ステップＳ１０６）。そして、動画コンテンツサーバ２、３から動画コンテンツの取得を開始すると、クライアント端末１００は各動画コンテンツのピクチャパラメタを取得する（ステップＳ１０７）。

各動画コンテンツのピクチャパラメタを取得すると、続いてクライアント端末１００は、取得した各動画コンテンツのピクチャパラメタを用いて、複数の動画コンテンツを合成する合成メイン処理をピクチャ単位で実行する（ステップＳ１０８）。合成メイン処理はストリーム合成部１０５が実行する。なお、合成メイン処理の概要については後に詳述する。

複数の動画コンテンツを合成する合成メイン処理を実行すると、続いてクライアント端末１００は、次の合成タイミングまで待ち（ステップＳ１０９）、また、合成処理から抜けるかどうかを判断する（ステップＳ１１０）。合成処理から抜けないのであれば、クライアント端末１００は上記ステップＳ１０８の合成メイン処理を継続し、合成処理から抜けるのであれば、クライアント端末１００は一連の処理を終了する。

続いて、図１４のステップＳ１０８に示した合成メイン処理の詳細について説明する。図１５Ａ〜図１７Ｂは、本開示の一実施形態に係るクライアント端末１００の動作例を示す流れ図である。図１５Ａ〜図１７Ｂに示したのは、図１４のステップＳ１０８に示した合成メイン処理の詳細な流れである。以下、図１５Ａ〜図１７Ｂを用いて本開示の一実施形態に係るクライアント端末１００の動作例について説明する。

合成メイン処理を実行する際には、まずクライアント端末１００は、バッファ番号を１に設定する（ステップＳ１１１）。このステップＳ１１１の処理は制御部１０１が実行し得る。バッファ番号を１に設定すると、続いてクライアント端末１００は、処理対象のバッファをバッファ番号のものに設定する（ステップＳ１１２）。このステップＳ１１２の処理は制御部１０１が実行し得る。すなわち、バッファ番号を１であれば処理対象のバッファはコンテンツバッファ部１０４ａに設定される。

続いてクライアント端末１００は、処理対象のバッファの先頭は空であるか、または先行して到着したピクチャが存在するかどうか判定する（ステップＳ１１３）。このステップＳ１１３の判定処理は制御部１０１が実行し得る。

上記ステップＳ１１３の判定の結果、処理対象のバッファの先頭は空ではなく、また先行して到着したピクチャも存在していなければ、クライアント端末１００は、対象のバッファはリアルタイムで配信される動画コンテンツの符号化ストリームが格納される（リアルタイムモードフラグがｔｒｕｅである）ものであり、かつ、対象バッファの先頭は既に代替処理されたピクチャであるかどうかを判定する（ステップＳ１１４）。このステップＳ１１４の判定処理は制御部１０１が実行し得る。

上記ステップＳ１１４の判定の結果、対象のバッファはリアルタイムで配信される動画コンテンツの符号化ストリームが格納されるものであり、かつ、対象バッファの先頭は既に代替処理がなされたピクチャであれば、クライアント端末１００は、対象のバッファの先頭のピクチャを取り出す（ステップＳ１１５）。このステップＳ１１５の処理は制御部１０１がストリーム合成部１０５に実行させ得る。

対象のバッファはリアルタイムで配信される動画コンテンツであるので、対象バッファの先頭は既に代替処理がなされたピクチャ（すなわち、遅延して到着したピクチャ）がバッファの先頭にあれば、クライアント端末１００は、時間軸を保つためにこの遅延して到着したピクチャ（バッファの先頭のピクチャ）を取り出すことで、そのピクチャを合成処理に使用しないようにする。

クライアント端末１００は、上記ステップＳ１１５で対象のバッファの先頭のピクチャを取り出すと、取り出したピクチャがＩＤＲピクチャかどうか判定する（ステップＳ１１６）。このステップＳ１１６の判定処理は制御部１０１が実行し得る。

ステップＳ１１６の判定の結果、取り出したピクチャがＩＤＲピクチャであれば、続いてクライアント端末１００は、取り出したＩＤＲピクチャを、バッファ番号に対応する最終ＩＤＲピクチャ記憶部１２３ａ〜１２３ｎ（バッファ番号が１であれば、最終ＩＤＲピクチャ記憶部１２３ａ）に保存する（ステップＳ１１７）。このステップＳ１１７の処理は制御部１０１が実行し得る。合成処理に使用しないピクチャであっても、取り出したピクチャがＩＤＲピクチャであれば、後のピクチャの代替処理時に用いられる可能性があるため、クライアント端末１００は、その取り出したＩＤＲピクチャを、バッファ番号に対応する最終ＩＤＲピクチャ記憶部１２３ａ〜１２３ｎに保存しておく。

一方ステップＳ１１６の判定の結果、取り出したピクチャがＰピクチャであれば、クライアント端末１００はステップＳ１１７の処理をスキップする。

取り出したＩＤＲピクチャをバッファ番号に対応する最終ＩＤＲピクチャ記憶部１２３ａ〜１２３ｎに保存すると（または保存する処理をスキップすると）、クライアント端末１００はステップＳ１１２の処理に戻る。

一方、上記ステップＳ１１４の判定の結果、対象のバッファはリアルタイムで配信される動画コンテンツの符号化ストリームが格納されるものでなく、または、対象バッファの先頭は既に代替処理されたピクチャでは無ければ、クライアント端末１００は、対象のバッファの先頭のピクチャを取り出す（ステップＳ１１８）。このステップＳ１１８の処理は制御部１０１がストリーム合成部１０５に実行させ得る。

ステップＳ１１８で対象のバッファの先頭のピクチャを取り出すと、続いてクライアント端末１００は、ＩＤＲタイミングフラグがｔｒｕｅかどうか判定する（ステップＳ１１９）。このステップＳ１１９の判定処理は制御部１０１が実行し得る。

ステップＳ１１９の判定の結果、ＩＤＲタイミングフラグがｔｒｕｅであれば、クライアント端末１００は、ステップＳ１１８で取り出したＩＤＲピクチャを、バッファ番号に対応する最終ＩＤＲピクチャ記憶部１２３ａ〜１２３ｎ（バッファ番号が１であれば、最終ＩＤＲピクチャ記憶部１２３ａ）に保存する（ステップＳ１２０）。このステップＳ１２０の処理は制御部１０１が実行し得る。

取り出したＩＤＲピクチャをバッファ番号に対応する最終ＩＤＲピクチャ記憶部１２３ａ〜１２３ｎに保存すると、続いてクライアント端末１００は、処理対象のバッファに対応する代替モードフラグにｆａｌｓｅを設定する（ステップＳ１２１）。このステップＳ１２１の処理は制御部１０１が実行し得る。

一方、ステップＳ１１９の判定の結果、ＩＤＲタイミングフラグがｔｒｕｅでない（すなわちｆａｌｓｅである）場合は、クライアント端末１００は、上記ステップＳ１２０、Ｓ１２１の処理を実行せず、続いて、処理対象のバッファに対応する代替モードフラグがｔｒｕｅかどうか判定する（ステップＳ１２２）。このステップＳ１２２の判定処理は制御部１０１が実行し得る。

ステップＳ１２２の判定の結果、処理対象のバッファに対応する代替モードフラグがｔｒｕｅであれば、クライアント端末１００は、当該バッファに対応する符号化ストリームに対し、Ｐピクチャの代替ピクチャを生成する（ステップＳ１２３）。このステップＳ１２３の処理は代替ピクチャ生成部１０８が実行し得る。ここでＰピクチャの代替ピクチャを生成する理由については後に詳述するが、簡単に説明すれば以下の通りである。

この時点で代替モードフラグがｔｒｕｅであるということは、先行するＩＤＲピクチャが欠損して代替ピクチャの生成処理が実行されたことを意味する。Ｐピクチャは、先行する同一ＧＯＰ内のＩＤＲピクチャの情報に依存する。従ってクライアント端末１００は、仮にＰピクチャが正常に受信されたとしても、ＩＤＲピクチャに対して代替ピクチャが生成されれば、正常に受信されたＰピクチャを破棄し、スキップドマクロブロックで構成されるＰピクチャへ置き換える。

上記ステップＳ１２１またはステップＳ１２３の処理を行うと、続いてクライアント端末１００は、ステップＳ１１８で取り出したピクチャ、またはステップＳ１２３で生成された代替ピクチャをストリーム合成部１０５に送る（ステップＳ１２４）。このステップＳ１２４の処理は代替ピクチャ生成部１０８が実行し得る。ステップＳ１２４でピクチャをストリーム合成部１０５に送ると、クライアント端末１００は後述のステップＳ１３０の処理へ移る。

上記ステップＳ１１３の判定の結果、処理対象のバッファの先頭が空であるか、または先行して到着したピクチャが存在していれば、続いてクライアント端末１００は、ＩＤＲタイミングフラグがｔｒｕｅかどうか判定する（ステップＳ１２５）。このステップＳ１２５の判定処理は制御部１０１が実行し得る。

ステップＳ１２５の判定の結果、ＩＤＲタイミングフラグがｔｒｕｅであれば、クライアント端末１００は、欠損しているのはＩＤＲピクチャであると判断し、ＩＤＲピクチャを代替する代替ピクチャ（代替ＩＤＲピクチャ）を代替ピクチャ生成部１０８で生成する（ステップＳ１２６）。

一方、ステップＳ１２５の判定の結果、ＩＤＲタイミングフラグがｔｒｕｅでなければ（すなわちＩＤＲタイミングフラグがｆａｌｓｅであれば）、クライアント端末１００は、欠損しているのはＰピクチャであると判断し、Ｐピクチャを代替する代替ピクチャ（代替Ｐピクチャ）を代替ピクチャ生成部１０８で生成する（ステップＳ１２７）。代替ピクチャ生成部１０８での代替ＩＤＲピクチャの生成処理及び代替Ｐピクチャの生成処理の流れについては後に詳述する。

上記ステップＳ１２６またはステップＳ１２７で、代替ＩＤＲピクチャまたは代替Ｐピクチャを生成すると、続いてクライアント端末１００は、処理対象のバッファに対応する代替モードフラグにｔｒｕｅを設定する（ステップＳ１２８）。このステップＳ１２８の処理は制御部１０１が実行し得る。

上記ステップＳ１２８で処理対象のバッファに対応する代替モードフラグにｔｒｕｅを設定すると、続いてクライアント端末１００は、上記ステップＳ１２６またはステップＳ１２７で生成された代替ＩＤＲピクチャまたは代替Ｐピクチャを代替ピクチャ生成部１０８からストリーム合成部１０５へ送る（ステップＳ１２９）。

代替ＩＤＲピクチャまたは代替Ｐピクチャを代替ピクチャ生成部１０８からストリーム合成部１０５へ送ると、続いてクライアント端末１００は、バッファ番号を１つインクリメントする（ステップＳ１３０）。このステップＳ１３０の処理は制御部１０１が実行し得る。

バッファ番号を１つインクリメントすると、続いてクライアント端末１００は、インクリメント後のバッファ番号がコンテンツ数Ｎ以下かどうか判定する（ステップＳ１３１）。このステップＳ１３１の判定処理は制御部１０１が実行し得る。

上記ステップＳ１３１の判定の結果、インクリメント後のバッファ番号がコンテンツ数Ｎ以下であれば、クライアント端末１００は上記ステップＳ１１２の処理に戻る。一方上記ステップＳ１３１の判定の結果、インクリメント後のバッファ番号がコンテンツ数Ｎを上回っていれば、クライアント端末１００は、ピクチャの合成処理をストリーム合成部１０５で実行する（ステップＳ１３２）。ピクチャの合成処理については上述したのでここでは詳細な説明は割愛する。

上記ステップＳ１３２でピクチャの合成処理を実行すると、続いてクライアント端末１００は、現在のピクチャがＧＯＰの最終ピクチャかどうかを判定する（ステップＳ１３３）。このステップＳ１３３の判定処理は制御部１０１が実行し得る。

上記ステップＳ１３３の判定の結果、現在のピクチャがＧＯＰの最終ピクチャであれば、クライアント端末１００はＩＤＲタイミングフラグをｔｒｕｅに設定する（ステップＳ１３４）。一方、上記ステップＳ１３３の判定の結果、現在のピクチャがＧＯＰの最終ピクチャでなければ、クライアント端末１００はＩＤＲタイミングフラグをｆａｌｓｅに設定する（ステップＳ１３５）。このステップＳ１３５の処理は制御部１０１が実行し得る。

上記ステップＳ１３４またはステップＳ１３５でＩＤＲタイミングフラグをｔｒｕｅまたはｆａｌｓｅに設定すると、クライアント端末１００は合成メイン処理を終了し、上記ステップＳ１０９の処理（次の合成タイミングまで待機）に移る。

続いて代替ピクチャ生成部１０８での代替ＩＤＲピクチャの生成処理及び代替Ｐピクチャの生成処理について説明する。代替ＩＤＲピクチャの生成に際しては、まずクライアント端末１００は、代替ＩＤＲピクチャとして最後に受信できたＩＤＲピクチャを使用するかどうか判定する（ステップＳ１４１）。このステップＳ１４１の判定処理は制御部１０１が実行し得る。

ステップＳ１４１の判定の結果、代替ＩＤＲピクチャとして最後に受信できたＩＤＲピクチャを使用する場合は、クライアント端末１００は、最終ＩＤＲピクチャ記憶部１２３ａ〜１２３ｎに保存されているＩＤＲピクチャを代替ＩＤＲピクチャとしてストリーム合成部１０５に返す（ステップＳ１４２）。このステップＳ１４２の処理は代替ピクチャ生成部１０８が実行し得る。

一方ステップＳ１４１の判定の結果、代替ＩＤＲピクチャとして最後に受信できたＩＤＲピクチャを使用しない場合は、クライアント端末１００は、代替ＩＤＲピクチャとして動画コンテンツサーバ２、３から提供されたＩＤＲピクチャを使用するかどうか判定する（ステップＳ１４３）。このステップＳ１４３の判定処理は制御部１０１が実行し得る。

ステップＳ１４３の判定の結果、代替ＩＤＲピクチャとして動画コンテンツサーバ２、３から提供されたＩＤＲピクチャを使用する場合は、クライアント端末１００は、動画コンテンツサーバ２、３から提供され、サーバＩＤＲピクチャ記憶部１２４ａ〜１２４ｎに保存されているＩＤＲピクチャを代替ＩＤＲピクチャとしてストリーム合成部１０５に返す（ステップＳ１４４）。このステップＳ１４４の処理は代替ピクチャ生成部１０８が実行し得る。

一方ステップＳ１４３の判定の結果、代替ＩＤＲピクチャとして動画コンテンツサーバ２、３から提供されたＩＤＲピクチャを使用しない場合は、クライアント端末１００は、対象のバッファ番号から対応する符号化ストリームのパラメタを取得する（ステップＳ１４５）。このステップＳ１４５の処理は制御部１０１が実行し得る。

上記ステップＳ１４５で、対象のバッファ番号から対応する符号化ストリームのパラメタを取得すると、クライアント端末１００は、取得したパラメタを用いて任意のＩＤＲピクチャを生成して代替ＩＤＲピクチャとしてストリーム合成部１０５に返す（ステップＳ１４６）。このステップＳ１４６の処理は代替ピクチャ生成部１０８が実行し得る。

なお、ステップＳ１４３の判定の結果、代替ＩＤＲピクチャとして動画コンテンツサーバ２、３から提供されたＩＤＲピクチャを使用しない場合は、クライアント端末１００は、固定のピクチャを代替ＩＤＲピクチャとしてストリーム合成部１０５に返してもよい。

代替Ｐピクチャの生成に際しては、まずクライアント端末１００は、対象のバッファ番号から対応する符号化ストリームのパラメタを取得する（ステップＳ１５１）。このステップＳ１５１の処理は制御部１０１が実行し得る。

上記ステップＳ１５１で、対象のバッファ番号から対応する符号化ストリームのパラメタを取得すると、クライアント端末１００は、取得したパラメタを用いてスキップドマクロブロックで構成されるＰピクチャを生成し、代替Ｐピクチャとしてストリーム合成部１０５に返す（ステップＳ１５２）。このステップＳ１５２の処理は代替ピクチャ生成部１０８が実行し得る。

以上、代替ピクチャ生成部１０８での代替ＩＤＲピクチャの生成処理及び代替Ｐピクチャの生成処理について説明した。

本開示の一実施形態に係るクライアント端末１００は、係る動作を実行することで、いずれか動画コンテンツの符号化ストリームでピクチャの消失が生じていても、代替ピクチャを生成し、または動画コンテンツサーバ２、３から得て、消失したピクチャを代替ピクチャに置き換えて合成することができる。本開示の一実施形態に係るクライアント端末１００は、消失したピクチャを代替ピクチャに置き換えて合成することで、いずれか動画コンテンツの符号化ストリームでピクチャの消失が生じていても、複数の動画コンテンツの同時再生表示を継続して行うことができる。

ここで、上述した本開示の一実施形態に係るクライアント端末１００の動作例について、より詳細に説明する。

図１８は、本開示の一実施形態に係るクライアント端末１００による複数の符号化ストリームの合成処理を示す説明図である。図１８に示したのは、４つの動画コンテンツＡ〜Ｄの符号化ストリームを合成する際に、ある合成タイミングで動画コンテンツＣの符号化ストリームの入力が無かった場合の合成処理である。

動画コンテンツＣの符号化ストリームの入力が無かった場合は、クライアント端末１００は、代替ピクチャ生成部１０８が生成した代替ピクチャを、ピクチャ番号ＰＮをｋとして、動画コンテンツＣの符号化ストリームが本来合成されるべき場所に組み込む。そしてクライアント端末１００は、代替ピクチャが組み込まれた４つの符号化ストリームのスライス群をストリーム合成部１０５で合成する。ストリーム合成部１０５で合成された１枚のピクチャは、ＡＶＣデコード部１０６でデコードされて、動画コンテンツＡ、Ｂ、Ｄのピクセル群と、動画コンテンツＣの替わりとなる代替コンテンツのピクセル群とになる。

図１９は、本開示の一実施形態に係るクライアント端末１００による複数の符号化ストリームの合成処理を示す説明図である。図１９に示したのは、図１８の例と同様に、４つの動画コンテンツＡ〜Ｄの符号化ストリームを合成する際に、ある合成タイミングで動画コンテンツＣに入力が無かった場合の合成処理である。

図１９に示したのは、代替ピクチャとして動画コンテンツサーバ２、３から提供された代替ピクチャを使用する場合の例である。動画コンテンツＣの入力が無かった場合は、クライアント端末１００は、動画コンテンツサーバ２、３から提供された代替ピクチャを、ピクチャ番号ＰＮをｋとして、動画コンテンツＣが本来合成されるべき場所に組み込む。

そしてクライアント端末１００は、代替ピクチャが組み込まれた４つの符号化ストリームのスライス群をストリーム合成部１０５で合成する。ストリーム合成部１０５で合成された１枚のピクチャは、ＡＶＣデコード部１０６でデコードされて、動画コンテンツＡ、Ｂ、Ｄのピクセル群と、動画コンテンツＣの替わりとなる代替コンテンツのピクセル群とになる。

図２０は、本開示の一実施形態に係るクライアント端末１００に到着した符号化ストリームの例である。図２０に示したのは、クライアント端末１００への到着時にピクチャの欠損の無い、正常受信時の符号化ストリームの例である。なお図２０には、説明の便宜上、コンテンツバッファ部１０４ａ、１０４ｂのみ図示されている。

図２０に示したように符号化ストリームが欠損なく正常にクライアント端末１００に到着した場合は、クライアント端末１００は、コンテンツバッファ部１０４ａ、１０４ｂから１つずつピクチャを取り出して、ＩＤＲピクチャ同士、非ＩＤＲピクチャ同士を合成することで、複数の動画コンテンツの同時再生表示を行う。

受信した複数の符号化ストリームの少なくともいずれかに欠損が生じた場合は、上述したように、クライアント端末１００は代替ピクチャを用意し、その代替ピクチャを用いてピクチャの合成を行う。

図２１は、本開示の一実施形態に係るクライアント端末１００に到着した符号化ストリームの例である。図２１に示したのは、動画コンテンツＢのＩＤＲピクチャがクライアント端末１００に未到着の場合の符号化ストリームの例である。なお図２１には、説明の便宜上、コンテンツバッファ部１０４ａ、１０４ｂのみ図示されている。また図２１に示した例は、図１５Ａに示した流れ図におけるステップＳ１２５〜ステップＳ１２９の処理に相当する。

図２１に示したように、動画コンテンツＡのＩＤＲピクチャは存在しているが、本来なら動画コンテンツＡのＩＤＲピクチャに合成される筈の動画コンテンツＢのＩＤＲピクチャがクライアント端末１００に未到着の場合は、クライアント端末１００は、代替ピクチャ生成部１０８から代替ＩＤＲピクチャを用意する。

クライアント端末１００は、ピクチャが未到着であっても、代替ピクチャ生成部１０８から代替ＩＤＲピクチャを用意し、他の符号化ストリームのピクチャと代替ＩＤＲピクチャとを合成することで、複数の動画コンテンツの同時再生表示を継続して行うことができる。

図２２は、本開示の一実施形態に係るクライアント端末１００に到着した符号化ストリームの例である。図２２に示したのは、合成対象のピクチャの到着が遅延し、次の合成タイミング以降で合成されるべきピクチャが先に到着してしまった場合である。なお図２２には、説明の便宜上、コンテンツバッファ部１０４ａ、１０４ｂのみ図示されている。また図２２に示した例は、図１５Ａに示した流れ図におけるステップＳ１２５〜ステップＳ１２９の処理に相当する。

リアルタイムコンテンツを扱うために、ＵＤＰ（Ｕｓｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌ）等の、ネットワーク中においてパケットロスが発生するプロトコルを使用した場合、図２２に示したように、次の合成タイミング以降で合成されるべきピクチャが先に到着することがある。

図２２に示したように、合成対象のピクチャの到着が遅延し、次の合成タイミング以降で合成されるべきピクチャが先にクライアント端末１００に到着した場合は、クライアント端末１００は、代替ピクチャ生成部１０８から代替ピクチャ（図２２の例では、代替ＩＤＲピクチャ）を用意する。

クライアント端末１００は、合成対象のピクチャの到着が遅延した場合であっても、代替ピクチャ生成部１０８から代替ピクチャを用意し、他の符号化ストリームのピクチャと代替ピクチャとを合成することで、複数の動画コンテンツの同時再生表示を継続して行うことができる。

このように代替ピクチャの生成処理を実行すると、クライアント端末１００は、上述したように、ＧＯＰ内のＩＤＲピクチャ以降のＰピクチャについては、正常に受信が出来た場合でも破棄を行い、スキップドマクロブロックで構成されるＰピクチャへ置き換える。Ｐピクチャは、先行するＩＤＲピクチャの情報へ依存を持つためである。

図２３は、本開示の一実施形態に係るクライアント端末１００に到着した符号化ストリームの例である。図２３に示したのは、図２２のように合成対象のピクチャの到着が遅延し、次の合成タイミング以降で合成されるべきピクチャが先に到着したので代替ピクチャが用意された場合の例である。図２３に示した例は、図１６に示した流れ図におけるステップＳ１２２〜ステップＳ１２４の処理に相当する。

図２３に示したように、ＧＯＰ内のＩＤＲピクチャ以降のＰピクチャを破棄して、代替ピクチャ生成部１０８が用意するスキップドマクロブロックで構成されるＰピクチャへ置き換えることで、クライアント端末１００は自然な映像を他の動画コンテンツに合成することが出来る。

図２４は、本開示の一実施形態に係るクライアント端末１００に到着した符号化ストリームの例である。図２４に示したのは、動画コンテンツＢの符号化ストリームが遅延してクライアント端末１００に到着した場合の例である。なお図２４には、説明の便宜上、コンテンツバッファ部１０４ａ、１０４ｂのみ図示されている。また図２４に示した例は、図１５Ｃに示した流れ図におけるステップＳ１１４〜ステップＳ１１７の処理に相当する。

図２４に示したように動画コンテンツＢの符号化ストリームが遅延してクライアント端末１００に到着した場合は、クライアント端末１００は、動画コンテンツＢに対して代替ピクチャを代替ピクチャ生成部１０８から用意し、動画コンテンツＡのピクチャと代替ピクチャとを合成する。クライアント端末１００は、動画コンテンツＢの符号化ストリームが遅延して到着した場合であっても、代替ピクチャ生成部１０８から代替ピクチャを用意し、他の符号化ストリームのピクチャと代替ピクチャとを合成することで、複数の動画コンテンツの同時再生表示を継続して行うことができる。

ここで、動画コンテンツＢがリアルタイムで配信されているコンテンツである場合、遅延して到着したピクチャに、既に代替ピクチャが用意されていた場合は、クライアント端末１００は、図２４に示したように、時間軸を保つために遅延して到着したピクチャを破棄する。ただ上述したように、ＩＤＲピクチャについては、後のピクチャの欠損時に最新のＩＤＲピクチャへ代替する方が自然であるため、クライアント端末１００は、ＩＤＲピクチャを最終ＩＤＲピクチャ記憶部１２３ａ〜１２３ｎに保持する。

その後遅延が解消し、動画コンテンツＡ、ＢでＩＤＲピクチャ同士、非ＩＤＲピクチャ同士を合成出来るようになれば、クライアント端末１００は、動画コンテンツＡ、Ｂの符号化ストリームの各ピクチャを用いた合成処理を再開する。図２５は、本開示の一実施形態に係るクライアント端末１００に到着した符号化ストリームの例であり、動画コンテンツＡ、Ｂの符号化ストリームの各ピクチャを用いた合成処理を再開する場合の例である。このように遅延が解消すれば、クライアント端末１００は、動画コンテンツＡ、Ｂの符号化ストリームの各ピクチャを用いた合成処理を再開する。

配信される動画コンテンツがリアルタイムで配信されるものではなく、予め動画コンテンツサーバ２、３に蓄積されているものであれば、クライアント端末１００は、リアルタイムで配信される動画コンテンツの場合のようにピクチャの破棄は行わない。時間軸より、コンテンツの連続性を保つ方が自然であるためであるが、本開示は係る例に限定されるものではない。配信される動画コンテンツが予め動画コンテンツサーバ２、３に蓄積されているものであっても、クライアント端末１００は、リアルタイムで配信される動画コンテンツの場合のようにピクチャの破棄を行なっても良い。

図２６は、本開示の一実施形態に係るクライアント端末１００に到着した符号化ストリームの例である。図２６に示したのは、図２４の例と同様に、動画コンテンツＢの符号化ストリームが遅延してクライアント端末１００に到着した場合の例である。なお図２４には、説明の便宜上、コンテンツバッファ部１０４ａ、１０４ｂのみ図示されている。また図２６に示した例は、図１６に示した流れ図におけるステップＳ１１８〜ステップＳ１２４の処理に相当する。

配信される動画コンテンツＢが予め動画コンテンツサーバ２、３に蓄積されている場合であっても、動画コンテンツＢの符号化ストリームが遅延してクライアント端末１００に到着した場合は、クライアント端末１００は、動画コンテンツＢに対して代替ピクチャを代替ピクチャ生成部１０８から用意し、動画コンテンツＡのピクチャと代替ピクチャとを合成する。

そして図２６に示した例では、遅延して到着したピクチャに、既に代替ピクチャが用意されていた場合であっても、クライアント端末１００は、遅延して到着したピクチャは破棄せず、そのままにしておく。

その後遅延が解消し、動画コンテンツＡ、ＢでＩＤＲピクチャ同士、非ＩＤＲピクチャ同士を合成出来るようになれば、クライアント端末１００は、動画コンテンツＡ、Ｂの符号化ストリームの各ピクチャを用いた合成処理を再開する。図２７は、本開示の一実施形態に係るクライアント端末１００に到着した符号化ストリームの例である。

このように、本開示の一実施形態に係るクライアント端末１００は、合成対象のピクチャがＩＤＲピクチャであるか否か、また合成対象の動画コンテンツがリアルタイムで配信されるものか否かに応じて、代替ピクチャの生成や、到着したピクチャの管理を変更し得る。

＜２．まとめ＞
以上説明したように本開示の一実施形態によれば、複数の動画コンテンツの符号化ストリームを受信して合成し、複数の動画コンテンツを同時に再生するクライアント端末１００が提供される。本開示の一実施形態に係るクライアント端末１００は、複数の動画コンテンツの符号化ストリームを受信して合成する際に、いずれかの符号化ストリームのピクチャが欠損したり、ピクチャの到着が遅延したりすると、代替ピクチャを用意する。

本開示の一実施形態に係るクライアント端末１００は、欠損や遅延が生じた場合に代替ピクチャを用意することで、いずれか一つの符号化ストリームに欠損や遅延が生じたために複数の符号化ストリームの合成が出来なくなってしまうという事態を回避することが出来る。

本開示の一実施形態に係るクライアント端末１００は、代替ピクチャとして、例えば全黒の画面、正常にネットワークから受信できた最後のＩＤＲピクチャ、エラー状況を説明する画像等を用い得る。このような代替ピクチャを用意することで、クライアント端末１００は、ユーザに対して最適な視聴環境を提供する事が可能となる。

本開示の一実施形態に係るクライアント端末１００は、配信されるコンテンツの特性に応じて代替ピクチャの処理を切り替え得る。配信されるコンテンツの特性に応じて代替ピクチャの処理を切り替えることで、本開示の一実施形態に係るクライアント端末１００は、コンテンツのリアルタイム特性が重要な場合には情報遅延の最小化を行い、コンテンツの連続性が重要な場合には情報ロスの最小化を行うことができる。

本明細書の各装置が実行する処理における各ステップは、必ずしもシーケンス図またはフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、各装置が実行する処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。

また、各装置に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述した各装置の構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供されることが可能である。また、機能ブロック図で示したそれぞれの機能ブロックをハードウェアで構成することで、一連の処理をハードウェアで実現することもできる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

なお、本技術は以下のような構成も取ることができる。
（１）
複数の符号化されたストリームを、該ストリームが復号される前に合成するとともに、前記複数の符号化されたストリームの情報の欠損を検知する合成部と、
前記合成部が欠損を検知すると、その欠損を代替する代替情報を前記合成部に提供する代替情報提供部と、
を備え、
前記合成部は、前記複数の符号化されたストリームの情報で欠損している箇所を前記代替情報に置き換えて合成する、映像処理装置。
（２）
前記代替情報提供部は、前記代替情報を生成する代替情報生成部を備える、前記（１）に記載の映像処理装置。
（３）
前記代替情報生成部は、前記複数の符号化されたストリームを用いて前記代替情報を生成する、前記（２）に記載の映像処理装置。
（４）
前記代替情報生成部は、前記合成部で合成される符号化されたストリームとは別の符号化されたストリームを用いて前記代替情報を生成する、前記（２）に記載の映像処理装置。
（５）
前記代替情報生成部は、前記複数の符号化されたストリームを用いて、単独で符号化出来るピクチャに対する前記代替情報を生成する、前記（２）〜（４）のいずれかに記載の映像処理装置。
（６）
前記代替情報提供部は、前記符号化されたストリームの配信元の装置から前記代替情報を取得する、前記（１）〜（５）のいずれかに記載の映像処理装置。
（７）
前記合成部は、前記符号化されたストリームの種類に応じて、欠損が生じた時点以降のストリームの情報の扱いを変える、前記（２）〜（６）のいずれかに記載の映像処理装置。
（８）
前記合成部は、前記合成部が検知した欠損に対応する情報が遅延して到着した場合に、該情報を破棄する、前記（７）に記載の映像処理装置。
（９）
前記代替情報生成部は、前記合成部が検知した欠損に対応する情報が遅延して到着した場合に、該情報を用いて前記代替情報を生成する、前記（７）に記載の映像処理装置。
（１０）
前記代替情報生成部は、単独で符号化出来ないピクチャに対する前記代替情報として、スキップドマクロブロックを用いる、前記（２）〜（９）のいずれかに記載の映像処理装置。
（１１）
複数の符号化されたストリームを、該ストリームが復号される前に合成するステップと、
前記複数の符号化されたストリームの情報の欠損を検知するステップと、
前記検知するステップで欠損が検知されると、その欠損を代替する代替情報を提供するステップと、
を備え、
前記合成するステップは、前記複数の符号化されたストリームの情報で欠損している箇所を前記代替情報に置き換えて合成する、映像処理方法。
（１２）
コンピュータに、
複数の符号化されたストリームを、該ストリームが復号される前に合成するステップと、
前記複数の符号化されたストリームの情報の欠損を検知するステップと、
前記検知するステップで欠損が検知されると、その欠損を代替する代替情報を提供するステップと、
を実行させ、
前記合成するステップは、前記複数の符号化されたストリームの情報で欠損している箇所を前記代替情報に置き換えて合成する、コンピュータプログラム。

１００ クライアント端末
１０１ 制御部
１０２ ネットワーク送受信部
１０３ 符号化ストリーム分別部
１０４ａ、１０４ｂ、１０４ｃ、・・・、１０４ｎ コンテンツバッファ部
１０５ ストリーム合成部
１０６ ＡＶＣデコード部
１０７ アプリケーション部
１０８ 代替ピクチャ生成部
１１１ パラメタ生成部
１１２ ＩＤＲピクチャ記憶生成部
１１３ Ｐピクチャ生成部
１１４ ピクチャ選択部
１２１ 固定ＩＤＲピクチャ記憶部
１２２ 任意ＩＤＲピクチャ生成部
１２３ａ〜１２３ｎ 最終ＩＤＲピクチャ記憶部
１２４ａ〜１２４ｎ サーバＩＤＲピクチャ記憶部

Claims (12)

1. 複数の符号化されたストリームを、該ストリームが復号される前に合成するとともに
   前記複数の符号化されたストリームの情報の欠損を検知する合成部と、
   前記合成部が欠損を検知すると、その欠損を代替する代替情報を前記合成部に提供する代替情報提供部と、
   を備え、
   前記合成部は、前記複数の符号化されたストリームの情報で欠損している箇所を前記代替情報に置き換えて合成する、映像処理装置。
2. 前記代替情報提供部は、前記代替情報を生成する代替情報生成部を備える、請求項１に記載の映像処理装置。
3. 前記代替情報生成部は、前記複数の符号化されたストリームを用いて前記代替情報を生成する、請求項２に記載の映像処理装置。
4. 前記代替情報生成部は、前記合成部で合成される符号化されたストリームとは別の符号化されたストリームを用いて前記代替情報を生成する、請求項２に記載の映像処理装置。
5. 前記代替情報生成部は、前記複数の符号化されたストリームを用いて、単独で符号化出来るピクチャに対する前記代替情報を生成する、請求項２に記載の映像処理装置。
6. 前記代替情報提供部は、前記符号化されたストリームの配信元の装置から前記代替情報を取得する、請求項１に記載の映像処理装置。
7. 前記合成部は、前記符号化されたストリームの種類に応じて、欠損が生じた時点以降のストリームの情報の扱いを変える、請求項２に記載の映像処理装置。
8. 前記合成部は、前記合成部が検知した欠損に対応する情報が遅延して到着した場合に、該情報を破棄する、請求項７に記載の映像処理装置。
9. 前記代替情報生成部は、前記合成部が検知した欠損に対応する情報が遅延して到着した場合に、該情報を用いて前記代替情報を生成する、請求項７に記載の映像処理装置。
10. 前記代替情報生成部は、単独で符号化出来ないピクチャに対する前記代替情報として、スキップドマクロブロックを用いる、請求項２に記載の映像処理装置。
11. 複数の符号化されたストリームを、該ストリームが復号される前に合成するステップと、
    前記複数の符号化されたストリームの情報の欠損を検知するステップと、
    前記検知するステップで欠損が検知されると、その欠損を代替する代替情報を提供するステップと、
    を備え、
    前記合成するステップは、前記複数の符号化されたストリームの情報で欠損している箇所を前記代替情報に置き換えて合成する、映像処理方法。
12. コンピュータに、
    複数の符号化されたストリームを、該ストリームが復号される前に合成するステップと、
    前記複数の符号化されたストリームの情報の欠損を検知するステップと、
    前記検知するステップで欠損が検知されると、その欠損を代替する代替情報を提供するステップと、
    を実行させ、
    前記合成するステップは、前記複数の符号化されたストリームの情報で欠損している箇所を前記代替情報に置き換えて合成する、コンピュータプログラム。
    

Images