JP2010016618A - 映像再生装置及び映像再生方法 - Google Patents

Abstract

【課題】複数の映像を復号しマルチ表示する際、映像数に対して復号器あるいはチューナが不足しても、ユーザにとって最適な再生形態でのマルチ表示再生を可能とする再生装置を提供する。
【解決手段】再生装置１は、複数の映像ストリームを受信又は取得して再生する。再生装置１は、複数の映像ストリームを復号する復号部１０４と、復号部１０４へ入力する映像ストリーム、及び復号部１０４から出力される復号映像を調整する調整部１０５、１０６と、調整部１０５、１０６並びに復号部１０４の動作を動的に制御する制御部１１０と、マルチ表示映像を合成する合成部１０８とを備える。
【選択図】図１

Description

本発明は、放送又は通信を介して得られるリアルタイム映像、通信又は蓄積を介して得られるオンデマンド映像などの映像を再生する映像再生装置及び映像再生方法に関する。

複数の映像ストリームを受け取って一画面に同時に動画表示する、いわゆるマルチ映像表示インタフェースは、大量の映像が取り扱えるようになった現在、最も直感的で解り易い映像インタフェースの１つである。例えば、選択中の映像を次々に切替え、映像内容を順に確認しながら見たい映像を探すザッピングインタフェースと組み合わされることで、個々の映像の表示時間を長くし、また、他の映像と並べて比較できることで、見たい映像をより効率的に探すことができるようになる。ザッピングインタフェースとしては、現行のテレビにおいて、チャンネルのアップダウンボタンなどによるトグル選局操作が馴染み深い。

マルチ表示される映像ストリームに対して、デコーダ（復号器）の数、あるいは放送時のチューナ（復調器）の数が十分であれば、個々の映像ストリームを受信し個々に再生することは容易である。但し、それだけコストはかかる。

一方、デコーダ数、チューナ数が不足する場合には、全ての映像ストリームを単純に再生することはできない。そこで、特許文献１に記載の表示システムでは、デコーダ数が不足する場合に、複数の映像ストリームを時分割入力し、１つのデコーダで復号する方式が採用されている。また、特許文献２には、チューナ数が不足する場合に、選局中以外のチャンネル映像を１つのチューナで時分割受信する方式が開示されている。
特開平１０−１５５１２３号公報 特開２００１−３０９２５５号公報

ところで、マルチ映像表示をザッピングインタフェースにおいて活用する場合、チャンネルを次々に素早く切替えて先の映像を見る傾向のあるユーザとそうでないユーザとでは、マルチ表示される映像どうしの重視度合い（つまりマルチ表示される各映像のそれぞれをどの程度重視するかの度合い）が異なる。また、喩え同じユーザであっても、チャンネル切替の直後の時点と切替からある程度時間が経過した時点とでは、マルチ表示される映像どうしの重視度合いが異なる。なお、マルチ表示される各映像に関するこのような重視度合いの違いは、ザッピング用途でマルチ映像表示を行う場面に限らず、複数映像を同時に継続的に視聴するための通常のマルチ映像表示を行う場面にも生じ得る。

これに対し、デコーダ数の不足に対応した特許文献１に記載の方式、チューナ数の不足に対応した特許文献２に記載の方式のいずれも、上述のようなユーザによって異なる、あるいはチャンネル切替からの経過時間によって異なる映像別の重視度合い（映像の優先度）を考慮して、より優先度の高い映像の画質を相対的に向上させるといった処理は行われなかった。

また、特許文献１、特許文献２に記載の技術を含む従来の映像再生技術では、入力ソース（チャンネル等）切替時の映像再生を早くするために、喩え現在再生中の１又は複数の入力ソースとは異なる入力ソースの映像ストリームを予めバッファリングする技術を採用したとしても、入力ソース切替直後にその映像ストリームを読み出し、復号を開始することしかできないため、デコーダを専用に設けて事前に復号まで実行しない限り、入力ソース切替時の映像再生をそれ以上素早く開始することができない。

また、特許文献２に記載の技術では、１つのチューナで複数のチャンネル映像を時分割受信するが、チャンネル毎に受信した時刻が異なり未受信部分でストリームが欠落するため、各チャンネルの映像をそのまま復号して表示すると不自然な再生となってしまう、といった問題も発生する。また、この問題は、デコーダ数の不足によって生じる間引きの必要性からも生じ得る。

また、特許文献１、特許文献２に記載の技術を含む従来の映像再生技術では、直接的な切替操作以外の操作によっては、１つの映像を表示する通常再生と複数の映像を表示するマルチ表示再生とを切替えることができない。

本発明は、上述のような実状に鑑みてなされたものであり、ザッピング用途等でマルチ表示する際、デコーダ数及び／又はチューナ数が不足する場合に、操作傾向あるいはタイミングに応じてマルチ表示される各映像の優先度を変え、ユーザにとって最良な形態で複数映像をマルチ表示可能とする映像再生装置及び映像再生方法を提供することを、その目的とする。

また、本発明は、現在再生していない入力ソースの映像ストリームを入力ソースの切替に備えてバッファリングする技術において、デコーダを専用に設けることなく、チャンネル切替直後にそのバッファリングされた映像ストリームの再生を素早く開始することが可能な映像再生方法及び映像再生方法を提供することを、他の目的とする。

また、本発明は、ザッピング用途等でマルチ表示する際、チューナ数及び／又はデコーダ数の不足によって欠落区間が生じたストリームの映像を、滑らかに再生することが可能な映像再生方法及び映像再生方法を提供することを、他の目的とする。

また、本発明は、直接的な切替操作を行うことなく、１つの映像を表示する通常再生と複数の映像を表示するマルチ表示再生とを切替えることが可能な映像再生方法及び映像再生方法を提供することを、他の目的とする。

上述のごとき課題を解決するために、本発明の第１の技術手段は、入力ソースから映像ストリームを取得するストリーム取得部と、前記映像ストリームを復号して映像とする復号部とを備え、複数の映像ストリームによる複数の再生映像のそれぞれを画面上の所定の配置で合成して出力することが可能な映像再生装置であって、前記所定の配置で一画面上に再生する対象となる複数の映像ストリームのそれぞれを入力して合成する際に、各映像ストリームに対する前記ストリーム取得部及び／又は復号部の処理方法を切替える切替手段と、当該映像再生装置に対するユーザ操作により得た、各所定の配置間の画質に関する優先度に応じて、前記切替手段での前記処理方法の切替えを制御する切替制御手段と、を備えたことを特徴としたものである。

第２の技術手段は、第１の技術手段において、前記切替手段における前記処理方法の切替えは、前記ストリーム取得部から前記復号部へ入力する符号量の割合を、前記複数の映像ストリーム毎に変更することを含み、前記切替制御手段は、各所定の配置に対応する再生映像を得るために復号対象となる映像ストリーム毎に、各所定の配置間の前記優先度に応じて前記符号量の割合を変えるように、前記切替手段を制御することを特徴としたものである。

第３の技術手段は、第１又は第２の技術手段において、前記切替手段における前記処理方法の切替えは、前記複数の映像ストリームのそれぞれに対し前記復号部での復号処理レベルを変更することを含み、前記切替制御手段は、各所定の配置に対応する再生映像を得るために復号対象となる映像ストリーム毎に、各所定の配置間の前記優先度に応じて前記復号処理レベルを変更するように、前記切替手段を制御することを特徴としたものである。

第４の技術手段は、第１〜第３のいずれかの技術手段において、前記切替手段における前記処理方法の切替えは、前記ストリーム取得部における取得対象の映像ストリームの入力ソースを、前記複数の映像ストリームに対応する入力ソース間で時分割で切替えることを含み、前記切替制御手段は、各所定の配置に対応する再生映像を得るために入力対象となる映像ストリームの入力ソース毎に、各所定の配置間の前記優先度に応じてストリーム取得時間を変えるように、前記切替手段を制御することを特徴としたものである。

第５の技術手段は、第１〜第４のいずれかの技術手段において、前記優先度は、ユーザの入力ソース切替操作の傾向に基づき決定することを特徴としたものである。

第６の技術手段は、第１〜第５のいずれかの技術手段において、前記優先度は、ユーザの入力ソース切替操作からの経過時間に基づき決定することを特徴としたものである。

第７の技術手段は、第１〜第４のいずれかの技術手段において、前記優先度は、ユーザによる事前の優先度設定操作で得た設定内容から得ることを特徴としたものである。

第８の技術手段は、第１〜第７のいずれかの技術手段において、前記ストリーム取得部は、現在再生中の映像の入力ソースとは異なる入力ソースの映像ストリームを事前に取得してバッファリングし、前記復号部は、前記バッファリング中に又は前記バッファリングの終了直後に前記映像ストリームからＩピクチャの検出を行うことを特徴としたものである。

第９の技術手段は、第１〜第８のいずれかの技術手段において、前記切替制御手段による前記優先度に応じた前記処理方法の切替え制御により、前記所定の配置で合成する対象となる前記複数の映像ストリームのそれぞれに対応した再生映像に欠落した区間が生じる場合、該欠落した区間が存在しないように再生速度を調整して補う再生速度調整手段を備えたことを特徴としたものである。

第１０の技術手段は、第１〜第９のいずれかの技術手段において、前記複数の再生映像のそれぞれを画面上の所定の配置で合成して出力するマルチ表示再生モードと、１つの再生映像を画面上に出力する通常再生モードとを切替えるモード切替手段と、当該映像再生装置に対するユーザの入力ソースの切替操作により得た、画質に関する優先度に応じて、前記モード切替手段での切替え制御するモード切替制御手段と、を備えたことを特徴としたものである。

第１１の技術手段は、入力ソースから映像ストリームを取得するストリーム取得部と、前記映像ストリームを復号して映像とする復号部とを備えた映像再生装置における、複数の映像ストリームによる複数の再生映像のそれぞれを画面上の所定の配置で合成して出力する映像再生方法であって、前記映像再生装置に対するユーザ操作により得た、各所定の配置間の画質に関する優先度に応じて、前記ストリーム取得部及び／又は復号部の処理方法を切替えるステップと、該切替ステップで前記処理方法の切替えを行いながら、前記所定の配置で一画面上に再生する対象となる複数の映像ストリームのそれぞれを入力して合成するステップと、を有することを特徴としたものである。

本発明によれば、ザッピング用途等でマルチ表示する際、デコーダ数及び／又はチューナ数が不足する場合に、操作傾向あるいは操作タイミングに応じて、マルチ表示される各映像の優先度を変え、ユーザにとって最良な形態で複数映像をマルチ表示可能とすることができる。また、これにより、デコーダ数やチューナ数の不足を補いつつ、マルチ映像表示によるザッピングをストレスなく行うことができ、ユーザが所望の映像を効率良く見つけ出せるようになる。

また、本発明の他の形態によれば、現在再生していない入力ソースの映像ストリームを入力ソースの切替に備えてバッファリングする技術において、デコーダを専用に設けることなく、チャンネル切替直後にそのバッファリングされた映像ストリームの再生を素早く開始することが可能になる。

また、本発明の他の形態によれば、チューナ数及び／又はデコーダ数の不足によってストリームが欠落した区間の映像を再生速度を調整して補うことで、滑らかに再生することができる。これによって、各映像が不自然に再生されることが回避され、マルチ表示によるザッピング操作時等のユーザのストレスを軽減することができる。

また、本発明の他の形態によれば、直接的な切替操作を行うことなく、１つの映像を表示する通常再生と複数の映像を表示するマルチ表示再生とを切替えることが可能になる。

本発明の実施の形態に係る各種の映像再生装置及び映像再生方法について、以下に図面と共に説明する。以下、本発明に係る映像再生装置、映像再生方法を、それぞれ単に「再生装置」、「再生方法」と呼ぶ。

本発明に係る再生装置は、入力ソースから映像ストリーム（圧縮された映像信号のストリーム）を取得するストリーム取得部と、映像ストリームを復号して映像とする復号部とを備え、複数の映像ストリームによる複数の再生映像のそれぞれを画面上の所定の配置で合成して出力する機能（マルチ表示機能）をもつ。そして、本発明に係る再生装置は、その主たる特徴として、次の切替手段及び切替制御手段を備えるものとする。切替手段は、上記所定の配置で一画面上に再生する対象となる複数の映像ストリームのそれぞれを入力して合成する際に、各映像ストリームに対するストリーム取得部及び／又は復号部の処理方法（即ち動作方法、使用方法）を切替える。切替制御手段は、当該再生装置に対するユーザ操作により得た、各所定の配置間の画質に関する優先度（各所定の配置に再生させる再生映像間の画質優先度）に応じて、切替手段での処理方法の切替えを制御する。

また、本発明に係る再生方法は、上記ストリーム取得部及び上記復号部を備えた再生装置において、複数の映像ストリームによる複数の再生映像のそれぞれを画面上の所定の配置で合成して出力する方法である。そして、本発明に係る再生方法は、その主たる特徴として、次の切替ステップ及び合成ステップを有するものとする。切替ステップは、再生装置に対するユーザ操作により得た、各所定の配置間の画質に関する優先度に応じて、ストリーム取得部及び／又は復号部の処理方法を切替える。合成ステップは、切替ステップで処理方法の切替えを行いながら、上記所定の配置で一画面上に再生する対象となる複数の映像ストリームのそれぞれを入力して合成する。

本発明の再生装置及び再生方法は、マルチ表示映像数に対してデコーダ数が不足であるのか、チューナ数が不足であるのか、また、マルチ表示映像がリアルタイム受信映像であるのか、オンデマンド再生映像であるのかによって、その構成要件が異なる。以下の実施の形態においては、デコーダ数が不足する場合、チューナ数が不足する場合を別々の実施の形態として説明するが、これらは組合せて実施されても構わない。即ち、各実施形態の再生装置（／再生方法）を構成する各種の手段（／処理）は、任意に組合せ可能である。本発明に係る再生方法は、以下に説明する再生装置における様々な処理手順として解釈することができる。

なお、以下全ての実施の形態を通して、切替える各映像は「チャンネル」又は「チャンネル映像」と呼ぶこととする。本発明に係る再生処理は、オンデマンド動画配信された映像、可搬型又は設置型の記録メディアに蓄積された映像なども再生対象として適用でき、この場合、選択するオンデマンド配信映像や蓄積映像は正確には「チャンネル」又は「チャンネル映像」ではないが、説明の簡便のため、実施の形態では「チャンネル」又は「チャンネル映像」に記載を統一した。このため、オンデマンド動画配信や蓄積動画取得などで本発明を実施する際においては、適宜「チャンネル」又は「チャンネル映像」を「選択映像」に置き換えて解釈する。また、この「チャンネル」は、「入力ソース」に一対一に対応する。ここで、入力ソースとしては、広い意味で放送や通信といった伝送経路や録画再生機器のメディアなどが挙げられるが、本明細書中での「入力ソース」の用語は選択（選局）可能な映像のソースといった狭い意味で用いている。従って、各放送番組の映像（つまり選局映像）や各選択映像は、それぞれ別の入力ソースの映像として取り扱う。

また、放送、通信といった伝送経路から映像ストリームを受信しキャッシュメモリに蓄積する機能ブロックは統一して「チューナ」と呼ぶこととする。この広義の「チューナ」には、ＩＰ（Internet Protocol）放送チューナ（実質的には多重化分離器）、テレビ放送の復調器のほか、オンデマンド動画配信の受信アプリケーション、録画再生機器の記録メディアのドライブなども含まれる。この広義の「チューナ」は、入力ソースから映像ストリームを取得する上記ストリーム取得部に相当する。なお、以下、チューナが放送の復調器を意味する場合については、特に注釈を加えて明記している。一方、特に注釈が無いものについては、上記広義の「チューナ」と解釈する。

また、さらに、以下全ての実施の形態を通して、説明の簡便のため、マルチ表示される映像数（即ちチャンネル数）は３とし、また、高速なチャンネル切替のために先行して取得するストリーム数は表示中の映像に対して前後２つとしている。これらはあくまで説明の簡便のために設けた記載上の制限であり、一画面にマルチ表示される映像数は３に限らず、３以外のいくつであっても、本発明の実施の形態に係る各種の再生装置及び再生方法を適用することが可能である。また、高速なチャンネル切替のために先読みされるチャンネル映像数も前後２つに限らず、２以外のいくつであってもよく、扱うチャンネル数に合わせて増減させて構わない。極端には、選択（選局）可能な全てのチャンネル映像を先読みする構成であってもよい。

また、映像データと共に扱われる音響その他のデータについては、本発明の効果に直接に関らないため、実施の形態の中で特に言及はしていないが、無論、映像、音響データが多重化された多重化データであっても、映像データが分離され、本発明の実施の形態に係る各種の再生装置及び再生方法が同様に適用可能であることは言うまでもない。

（第１の実施の形態）
本発明の第１の実施の形態に係る再生装置においては、本発明の主たる特徴としての上記切替手段における処理方法の切替えは、ストリーム取得部から復号部へ入力する符号量の割合を複数の映像ストリーム毎に変更することを含む。さらに、本発明の主たる特徴としての上記切替制御手段は、各所定の配置に対応する再生映像を得るために復号対象となる映像ストリーム毎に、各所定の配置間の優先度に応じて符号量の割合を変えるように、上記切替手段を制御する。以下、本実施の形態に係る再生装置について、図１〜図９を参照して説明する。

図１は、本発明の第１の実施の形態に係る再生装置１の概略構成例を示した機能ブロック図である。再生装置１は、チューナ部１０１、復号バッファ（キャッシュメモリ）１０２−１〜１０２−５でなる復号バッファ部１０２、復号部１０３、復号部１０４、調整部１０５、調整部１０６、合成バッファ１０７−１〜１０７−２でなる合成バッファ部１０７、合成部１０８、選択部１０９、及び制御部１１０を含んで構成される。制御部１１０は、本発明の主たる特徴となる動的制御のために、調整部１０５、復号部１０４、調整部１０６、及び合成バッファ１０７−１〜１０７−２の各動作を制御する。以下、このような動的制御を、結果的に画質が制御されることから「画質の動的制御」という。また、図示しない主制御部からの制御信号が、チューナ部１０１、復号バッファ部１０２、選択部１０９、制御部１１０に対して入力される。この主制御部からの制御信号については、各部１０１〜１１０に関する説明にて後述する。

本実施の形態に係る再生装置１は、マルチ表示される映像ストリーム数に対してデコーダの数が不足している（３表示ストリームに対して１つの復号部１０４）ことを想定した再生装置である。また、チューナ部１０１で例示するチューナは、入力されるマルチストリームを同時に復号バッファ１０２−１〜１０２−５で例示する各復号バッファに振り分け可能な能力を持つものとする。このような再生装置としては、チャンネル数のチューナ（復調器）を備えるテレビ放送受信機器のほか、ネットワークを介して配信されるＩＰ放送受信機器などが該当する。図１及び以下の説明では主に、再生装置１をネットワークに接続されたＩＰ放送受信機器として説明する。

図１に示す本実施の形態に係る再生装置１は、通常再生（１つの映像の再生）とザッピングマルチ表示再生（以下、単に「マルチ表示再生」と呼ぶ）とを選択部１０９で切替えて表示することが可能な構成を持つ。

図２に、マルチ表示再生の例を示す。本実施の形態では、通常再生からマルチ表示再生に切替えたとき、選局中の映像（の縮小された映像）が中央に、選局中の映像に対して前のチャンネル映像が左に、次のチャンネル映像が右に並べて表示されるマルチ画面を想定する。本明細書では、選局中の映像を「MAINチャンネル」あるいは「MAIN映像」、次のチャンネルの映像を「NEXTチャンネル」あるいは「NEXT映像」、前のチャンネルの映像を「PREVチャンネル」あるいは「PREV映像」と呼んで区別する。本発明では、これらマルチ表示された各映像は動画表示されるものとする。なお、各映像の配置、サイズ等は図２に限定されるものでなく、例えば、縦向き（上下）の配置や曲線上への配置、３次元上に配置されるなど、順番付けが明確にされる配置であればどのようなものであってもよい。MAINチャンネルをNEXTチャンネル、PREVチャンネルに比べ大きく表示し、選局中のチャンネルであることを強調するといった表示も可能である。

図３に、チャンネル切替時の表示画面の遷移を模式的に示す。チャンネルに図３（Ａ）に示した順序関係があるとき、通常再生では図３（Ｂ）の上部で示すような切替えが可能となっている。即ち、通常再生では、次のチャンネルの選択操作（NEXT（＋）ボタンを押すなどの操作）によって、表示映像をCh.A→Ch.B→Ch.C→Ch.D→Ch.E→Ch.Aと順に切替える。同様に、前のチャンネルの選択操作（PREV（−）ボタンを押すなどの操作）により、表示映像をCh.A→Ch.E→Ch.D→Ch.C→Ch.B→Ch.Aと切替える。

通常再生の状態で、表示モードの切替操作（MODEボタンを押すなどの操作）を受け付けることにより、選択部１０９がマルチ表示再生に切替える。ここで言う表示モードには、通常再生を行う表示モードである通常再生モードと、マルチ表示再生を行う表示モードであるマルチ表示再生モードとが含まれ、ユーザ操作等に基づいた主制御部からの制御信号に応じて一方から他方へ切替が可能となっている。

より具体的には、表示モードの切替操作を受けた主制御部が、選択部１０９及び制御部１１０に表示モードの切替指示を伝える。そして、その表示モード切替指示に伴って、選択部１０９が出力の選択を行うと共に、制御部１１０が、マルチ表示再生モードのときには調整部１０５、復号部１０４、調整部１０６、合成バッファ部１０７、及び合成部１０８を機能させてマルチ表示再生の映像を生成するよう制御し、通常再生モードのときには各部１０４〜１０８を機能させないように制御する。なお、この例では、合成部１０８は合成バッファ部１０７から入力により自動的に合成を行い、制御部１１０からの制御を必要としないものとして、説明している。また、復号部１０３は通常再生モード時のみ機能させるとよい。なお、選択部１０９での選択処理により出力がいずれか一方となるため、例えばマルチ表示再生モード時に復号部１０３での復号も実行しておくなど、実行中の表示モード以外の映像の生成も実行しておいても消費電力等を考慮しなければ問題ない。

図３（Ｂ）の下部には、通常再生でCh.Bを選局中にモード切替を行った例を示している。このとき、選局中のCh.Bを中央に、その前後（PREVチャンネル、NEXTチャンネル）のCh.A、Ch.Cを両脇に表示する。本発明では、これらマルチ表示された各映像は動画表示される。

図３（Ｂ）に示すマルチ表示再生（Ch.A-Ch.B-Ch.C）状態で、次のチャンネルを選択する操作（NEXT（＋）ボタンを押すなどの操作）を行うと、表示される映像は、（Ch.A-Ch.B-Ch.C）→（Ch.B-Ch.C-Ch.D）→（Ch.C-Ch.D-Ch.E）→（Ch.D-Ch.E-Ch.A）と切替わる。また、図３（Ｂ）に示すマルチ表示再生（Ch.A-Ch.B-Ch.C）状態で、前のチャンネルを選択する操作（PREV（−）ボタンを押すなどの操作）を行うと、表示される映像は、（Ch.A-Ch.B-Ch.C）→（Ch.E-Ch.A-Ch.B）→（Ch.D-Ch.E-Ch.A）→（Ch.C-Ch.D-Ch.E）と切替わる。

本実施の形態に係る再生装置１はまた、このようなチャンネル切替を高速に行うための手段として、通常再生時のNEXTチャンネル、PREVチャンネル、及び、マルチ表示再生時のNEXTチャンネルの１つ次、PREVチャンネルの１つ前のチャンネル映像ストリームを先読みするための構成を備えている。このような先読みのための構成として、図１で示す再生装置１はチューナ部１０１及び復号バッファ１０２−１〜１０２−５を備えており、これらの動作については後述する。

以下、図１に示す再生装置１の各機能ブロックの動作を説明する。
チューナ部１０１は、伝送路を経て受信された各映像ストリームを分離し復号バッファ１０２−１〜１０２−５へ出力する。本実施の形態が想定するＩＰ放送チューナ（実質的には多重化分離器）にあっては、ネットワークを通じて受信される各映像ストリームを格納したＩＰパケットを、パケットＩＤを見てストリーム毎に振り分けて各復号バッファ１０２−１〜１０２−５にキャッシュする。チャンネルの選局（MAINチャンネルの選局）は基本的にユーザのＵＰ／ＤＯＷＮ（NEXT/PREV）選局操作又はチャンネルを指定した選局操作によってなされ、それを受けた主制御部がチューナ部１０１へその選局信号を伝え、その選局信号に基づきチューナ部１０１がMAINチャンネルの選局、つまりMAINチャンネルの映像ストリームの取得を行う。また、チューナ部１０１は、MAINチャンネルの選局を行うと共に、通常再生モードの場合にはその１つ前及び１つ後のチャンネルの選局も実行可能とし、マルチ表示再生モードの場合にはさらに２つ前及び２つ後のチャンネルの選局も実行可能とする。２つの表示モードのいずれが機能しているかは主制御部からの信号で判定するとよい。但し、後述する表示モード自動切替を適用する場合には、チューナ部１０１は制御部１１０によって表示モード切替結果が伝えられることになる。

ここで、再生装置１は、通常再生とマルチ表示再生とを容易に切替えるために、通常再生用の復号部１０３とマルチ表示再生用の復号部１０４とを備える。また、上述したように、受信したチャンネルを即座に切替え表示可能とするために、表示中の映像（通常再生におけるMAINチャンネル、マルチ表示再生におけるPREV/MAIN/NEXTチャンネル）に対して前の映像、後の映像のストリームを表示中の映像と共に受信しバッファリングするための複数の復号バッファ１０２−１〜１０２−５を備えている。

ＩＰ放送においては、チャンネルを選局してネットワーク上に要求を発してからそのチャンネルのＩＰパケットが受信されるまでの間、遅延が生じる。その時間はネットワーク環境により異なるが、数秒程度かかると想定される。また、デジタルテレビ放送においては、復調を行う際、デジタルデータのデインタリーブ処理などを行うために、受信からストリームとして利用可能となるまでにコンマ数秒から数秒程度かかる。さらに、いずれの場合にも、ストリームから復号が開始可能なＩピクチャを探してストリームの復号を開始することから、例えば０.５秒間隔でＩピクチャが符号化された圧縮映像ストリームの場合、最大０.５秒は復号の開始、映像の出力がなされない。なお、放送に使われるＭＰＥＧ（Moving Picture Experts Group）−２では、ＧＯＰ（Group Of Picture）サイズに相当する０.５秒間隔にＩピクチャが格納されるのが通例である。このように、ストリーム取得及びデコード開始にかかる時間分、チャンネル切替直後の数秒（仮にＴｄ秒とする）は映像の出力がなされない。

この切替直後の表示映像の途切れる期間Ｔｄ秒を無くすために、再生装置１は、切替先チャンネルについてＴｄ秒（もしくはＴｄ秒以上）再生する分のストリームを先読みして復号バッファ１０２−２〜１０２−５に保持し、チャンネル切替時に予めバッファされたストリームを即座に復号、再生するよう構成している。このような、表示映像の途切れ期間Ｔｄを失くすような構成が、先に述べた高速なチャンネル切替の原理である。

復号バッファ部１０２の各復号バッファについて説明する。復号バッファ１０２−１は、選局中のチャンネル映像のストリームを格納するためのバッファである。通常再生においては、復号バッファ１０２−１に一時格納された選局中の映像のストリームが復号部１０３に送られ、復号、再生されて選択部１０９を通して画面に表示される。

復号バッファ１０２−２、１０２−３は、選局中のチャンネル映像に対して、それぞれ１つ次の映像、１つ前のチャンネル映像のストリームを格納する復号バッファである。通常再生においては、復号バッファ１０２−２、１０２−３に格納された映像ストリームは高速切替のための先読みデータ（Ｔｄ秒分以上の映像データ）であり、その状態では復号されず、チャンネルを切替えそのチャンネルが選局された時点で即座に復号が開始される。その場合、復号には復号部１０３を使う。また、ＩＰ放送、テレビ放送のようなリアルタイム受信の場合、復号されずに復号バッファ１０２−２、１０２−３に格納されている映像ストリームは、時間の経過と共に古いストリームデータが破棄され、新しいストリームデータが格納されることで、最新のＴｄ長さ（以上）分のストリームデータが常に保持されるものとする。

Ｉピクチャ検出までの時間を短縮しより即座に復号・再生開始可能とするため、バッファ格納時点でＩピクチャ位置の検出までを予め実行しておくことが好ましい。このような検出を行うためには、本発明の再生装置は、復号バッファにストリームデータを格納が終了するまでにＩピクチャ位置の検出する検出手段を備えるとよい。この検出手段は、例えば図１の再生装置１では、データ格納を開始した復号バッファを対象として、復号部１０３が対象の復号バッファ内のデータからＩピクチャ位置の検出を行うように制御することで、実装できる。なお、データ格納が終了した復号バッファを対象の復号バッファとし、データ格納が終了した時点でＩピクチャの位置検出を行うような制御でも、チャンネル切替時点で即座に復号開始可能となる。ここで、Ｉピクチャ位置の事前検出を行う対象となる復号バッファは、復号バッファ１０２−２及び１０２−３とすればよい。なお、通常再生モード時も復号バッファ１０２−４及び１０２−５を使用する場合にはそれらを事前検出の対象とすればよい。また、復号部１０３の使用状況によっては現在の映像の再生に影響がある場合もあるため、この検出は使用していない復号部１０４で実行するよう制御することが好ましい。

なお、図１では、チャンネル切替時点で復号バッファ１０２−２あるいは１０２−３の格納データを復号バッファ１０２−１にあたかも移動するような形で表記した（復号バッファ１０２−１と１０２−２、１０２−１と１０２−３とをつないだ線がそれに該当する）が、実際の実施にあたっては復号バッファ１０２−２、１０２−３の格納データを復号バッファ１０２−１のデータとするよう参照を付け直すなどし、データの移動が発生しないような形で実装される。この参照の付け直しは、主制御部が、どのチャンネルが選局されているかといずれの表示モードであるかとに応じて、復号バッファ部１０２の各復号バッファを制御することで実現できる。但し、後述する表示モード自動切替を適用する場合には、復号バッファ部１０２は制御部１１０によって同様の制御がなされる。

また、ザッピングモード（マルチ表示再生モード）に移行した場合にも、即座に復号・再生を開始する。この場合には、復号部１０４を使って復号バッファ１０２−２、１０２−３に格納されたストリームの復号、再生を開始する。なお、このとき、復号バッファ１０２−１に格納されたストリームについても復号部１０４で復号を開始する。つまり、マルチ表示再生の状態（マルチ表示によるザッピングインタフェース実行状態）では、復号バッファ１０２−２、１０２−３に格納された映像ストリームが、復号バッファ１０２−１に格納された映像ストリームと共に復号部１０４で復号される。

復号バッファ１０２−４、１０２−５は、マルチ表示再生状態において、それぞれ、選局中の映像の２つ後の映像ストリーム、選局中の２つ前の映像ストリームを格納する復号バッファである。即ち、マルチ表示再生状態において表示されているチャンネル映像（MAIN/NEXT/PREVチャンネル）に対する１つ後のチャンネル映像、１つ前のチャンネル映像である。これらのバッファに格納されたストリームデータは、マルチ表示再生状態において高速チャンネル切替を行うための先読みデータであり、その状態では復号されず、チャンネルが切替えられ表示対象のチャンネル（NEXTチャンネルあるいはPREVチャンネル）となった時点で復号、表示を開始する。復号は復号部１０４で行う。

ここで、上述したようなバッファリング時のＩピクチャの検出により、ザッピングモード時のチャンネル切替に際しても、より即座に復号・再生が開始できる。図１の再生装置１におけるマルチ表示再生モード時の上記検出手段は、例えば後述の調整部１０５が対象の復号バッファ（データ格納を開始した復号バッファ）に切替え、復号部１０４が対象の復号バッファ内のデータからＩピクチャ位置の検出を行うように制御することで、実装できる。ここで、マルチ表示再生モード時におけるＩピクチャ位置の事前検出を行う対象となる復号バッファは、復号バッファ１０２−４及び１０２−５とすればよい。また、復号部１０４の使用状況によっては現在の映像の再生に影響がある場合もあるため、この検出は使用していない復号部１０３で実行するよう制御することが好ましい。

なお、図１では、チャンネル切替時点で復号バッファ１０２−４の格納データを復号バッファ１０２−２に、あるいは復号バッファ１０２−５の格納データを復号バッファ１０２−３に、あたかも移動するような形で表記した（復号バッファ１０２−４と１０２−２、１０２−５と１０２−３とをそれぞれつないだ線がそれに該当する）が、実際の実施にあたっては復号バッファ１０２−４、１０２−５の格納データをそれぞれ復号バッファ１０２−２、１０２−３のデータとするよう参照を付け直すなどし、データの移動が発生しないような形で実装される。この参照の付け直しは、上述したように、主制御部が、どのチャンネルが選局されているかといずれの表示モードであるかとに応じて、復号バッファ部１０２の各復号バッファを制御することで実現できる。但し、後述する表示モード自動切替を適用する場合には、復号バッファ部１０２は制御部１１０によって同様の制御がなされる。

また、好ましい例として説明したように、本発明においては、通常再生モード及びマルチ表示再生モードについて上述した検出手段は必須ではない。さらに、このようなバッファ格納時点でＩピクチャ位置の検出までは予め行っておくといったストリーム管理技術は、本発明の主たる特徴である「優先度に応じた処理方法の切替制御」を採用するか否かに拘わらず有益な技術である。

このストリーム管理技術を本発明のこの切替制御を除外して説明すると、上記ストリーム取得部が、現在再生中の映像の入力ソースとは異なる入力ソースの映像ストリームを事前に取得してバッファリングし、復号部が、バッファリング中に又はバッファリングの終了直後に映像ストリームからＩピクチャの検出を行うものである。このような検出により、現在再生していない入力ソースの映像ストリームを入力ソースの切替に備えてバッファリングする技術において、デコーダを専用に設けることなく、チャンネル切替直後にそのバッファリングされた映像ストリームの再生を素早く開始することが可能になる。また、マルチ表示再生モード、通常表示再生モードに限らず、ユーザの操作傾向からザッピングであるか否かの判定を行い、ザッピングであると判定したときのみ、この検出を実行するようにしてもよい。この判定は、例えば連続して所定回数、次のチャンネル又は前のチャンネルを選択する操作を行った場合などに、ザッピングであると判定すればよい。

次に、調整部１０５、復号部１０４、及び調整部１０６について説明する。調整部１０５は、復号バッファ１０２−１〜１０２−３に格納された映像ストリームを１つの復号部１０４で復号する際に、復号部１０４に対して入力するストリームの入力制御を行う。それと対応して、調整部１０６は、復号部１０４で復号された映像の出力制御を行う。

復号部１０４は、入力された映像ストリームを復号して出力する。このとき、複数の映像ストリームが時分割で復号部１０４に入力されるとし、復号部１０４はそれらを、それぞれ参照用のフレームメモリで確保しつつ時分割で復号、個別に再生するものとする。その際、本実施の形態の再生装置１では、調整部１０５を設けておき、入力されるストリームの符号量の総量が復号部１０４で処理できる範囲を超える場合に、調整部１０５により予め復号部１０４に入力されるストリームを制限するよう制御する。

調整部１０５で行うストリーム入力制限処理について、図４及び図５を参照して詳細に説明する。マルチ表示再生の状態（マルチ表示によるザッピングインタフェース実行状態）では、既に図２で説明した通り、選局中のチャンネル映像（MAINチャンネル）を中央に、前、後のチャンネル映像（PREVチャンネル、NEXTチャンネル）をその左右に動画表示する。マルチ表示ザッピングインタフェースにおいて、ユーザは主に中央のMAIN映像を見てこの映像を選択するか否かを判断する。このため、中央のMAIN映像は滑らかに再生されていることが望ましい。一方、両端の映像は、次に選局する（中央に表示する）か否かをそれらを見て判断できればよいため、ある程度画質を落とすことが可能である。

このため、調整部１０５では、選局中の映像（MAINチャンネル）については細かな復号処理を行えるよう、復号バッファ１０２−１からの映像ストリームは全て復号部１０４に入力する。一方、選局中の映像の前後の映像（PREVチャンネル、NEXTチャンネル）については、MAIN映像よりは優先度を低くし、復号バッファ１０２−２、１０２−３からの映像ストリームを復号可能な状態で間引いて復号部１０４に入力する。間引き方法としては、ＭＰＥＧストリームの復号単位であるＧＯＰ単位に間引いたり、Ｉピクチャ信号のみを抜き出して入力したり、といったことが可能である。

図４は、ＧＯＰ単位で間引いた場合の調整部１０５の入出力（ストリーム）と、そのときのマルチ表示再生映像との関係を模式的に表した例を示している。図中、Ｍ１〜Ｍ６、Ｎ１〜Ｎ６、Ｐ１〜Ｐ６はそれぞれ、MAINチャンネル、NEXTチャンネル、PREVチャンネル映像のストリームを構成するＧＯＰを表し、調整部１０５を介してＧＯＰ単位で多重化されている。図４（Ａ）には、間引きが無い状態を示している。復号部１０４の処理能力が３ストリームを同時復号するのに十分であれば、図４（Ａ）で示すような状態をとり得る。図４（Ｂ）には、NEXTチャンネル、PREVチャンネルそれぞれについて間引きがある状態を示している。復号部１０４の処理能力が十分でない場合に、このような状態をとり、NEXTチャンネル、PREVチャンネルの復号処理を一部削減することでスムーズな復号が行われるようにする。このとき、表示されたNEXTチャンネル、PREVチャンネルの映像はデータ欠落分だけ劣化した映像となり、上記ＧＯＰ単位で間引く場合には、間引かれた区間の再生が停止する、不連続な再生となる。

さらに、調整部１０５は、MAINチャンネルか、PREV／NEXTチャンネルかによって、すなわち表示する配置によって決まる優先度（便宜上、デフォルト優先度という）に加えて、ユーザのザッピング時の操作傾向を見て、PREVチャンネル、NEXTチャンネルの重み（即ち各配置間の画質に関する優先度）を変えるような調整を行う。実際には、制御部１１０が、主制御部から受けた操作に関する履歴（直近の履歴だけでもよい）を例えば制御部１１０内のメモリ又はキャッシュメモリ等に格納しておき、その操作履歴からユーザの操作傾向を解析し、その操作傾向に応じて優先度（各映像の配置間の画質に関する優先度）を決定する。続いて、制御部１１０が、その優先度に応じて、復号部１０４へ入力する符号量の割合をチャンネル毎（映像ストリーム毎）に決定し、各チャンネルに対して決定した割合になるように調整部１０５を制御する。このような符号量の割合の制御は、上述した処理方法の切替の一例に相当する。このように、処理方法の切替に用いる優先度は、ユーザのチャンネル切替操作の傾向に基づき決定してもよい。なお、この操作傾向に応じた優先度は、上記デフォルト優先度を所定レベルだけ上下させるように変えてもよいし、デフォルト優先度を使用しないようにして、操作傾向に応じて決定した優先度を生かすようにしてもよい。

例えば、次のチャンネルへ次々に／素早くチャンネル切替を繰り返すような傾向を持つユーザにとっては、NEXTチャンネル映像がより早く確認できることが望ましいと考えられる。このため、制御部１１０は、ユーザの操作傾向として先送りを短期間に続けて行っていることが判定された場合に、NEXTチャンネルのストリームをPREVチャンネルのストリームに比べて多く（優先的に）復号部１０４に入力するよう制御する。一方で、次のチャンネルを確認したり前のチャンネルを確認したり、といった、行ったり来たりを繰り返す操作傾向があった場合には（つまりこのような繰り返しを行う操作傾向のあるユーザでは）、PREVチャンネル、NEXTチャンネルの映像が共に有用であるため、均等に取得を割り当て、いずれもある程度の画質で再生するとよい。

操作傾向の判定の仕方としては、例えば、制御部１１０が、マルチ表示再生の状態にてNEXTボタンの押される時間間隔を監視し、所定の間隔Ｔｗ以下で所定回数Ｎｗ以上繰り返して操作されたとき、先送り傾向があるとして、NEXTチャンネル映像の優先度を高くする。また同様に、PREVボタンの押される時間間隔を監視し、所定の間隔Ｔｗ以下で所定回数Ｎｗ以上繰り返して操作されたとき、前送りの傾向があるとして、PREVチャンネル映像の優先度を高くする。これらの優先度は、同じくNEXTボタン及びPREVボタンの押されるようすを監視し、NEXTボタンの連続押しがＮｒ回未満の間にPREVボタンが押される、あるいはPREVボタンの連続押しがＮｒ回未満の間にNEXTボタンが押された場合に解除する。無論、優先度の設定、解除の手順はこれに限らず、操作傾向を判定可能な他の適当な手段を用いてなされてもよい。

図５に、ＧＯＰ単位で間引いた調整部１０５の入出力（ストリーム）と、そのときのマルチ表示再生映像との関係を模式的に図示した例を示す。図５（Ａ）はNEXTチャンネル優先時の関係を、図５（Ｂ）は優先度均等時の関係を示している。ここで、復号部１０４は単位時間あたりに３／２個のＧＯＰを復号可能な処理能力を持つとし、MAIN、NEXT、PREV各チャンネルが４ＧＯＰずつ（計１２ＧＯＰ）入力される間に４ＧＯＰ間引くものとする。このとき、図５（Ａ）では、NEXTチャンネルがPREVチャンネルに比べ優先度が高いことから、NEXTチャンネルのＧＯＰ１個に対してPREVチャンネルのＧＯＰ３個が間引かれる。再生映像は、PREVチャンネル映像の画質が低くなり、対してNEXTチャンネル映像はあまり劣化しない。つまり、PREVの方がNEXTよりもＧＯＰの欠落による再生停止期間が長く、より不連続な再生となる。次々とチャンネルを切替える傾向を持つユーザは、このような再生によりNEXTチャンネルの映像を確認し易くなる。図５（Ｂ）では、NEXTチャンネル、PREVチャンネルの優先度均等のため、NEXTチャンネル、PREVチャンネルそれぞれ２ＧＯＰずつ間引かれる。再生映像はNEXTチャンネル、PREVチャンネル同程度に劣化したものとなり、行ったり来たりを繰り返す操作傾向のあるユーザは、ある程度の画質でNEXTチャンネル、PREVチャンネル双方の映像を確認し、次にいずれの向きにチャンネルを切替えるかを判断する。

間引く割合は上記に限らず、適当な割合を設定して実施可能である。また、無論、入力制御はＧＯＰ単位に行うとは限らず、ストリームを機械的に時分割に区切って復号部１０４に入力する、Ｂピクチャ分のストリームを間引く、あるいはＩピクチャ分のデータストリームを抜き出して復号部１０４に入力する等、考えられる。機械的に時分割するとは、例えば、復号部１０４への入力全体が１であるとしたとき、MAIN映像０.５、PREV映像、NEXT映像それぞれ０.２５ずつと割当てを決め、復号部１０４への入力ストリームを割当時間長さでスイッチで切替えるなどの処理を指す。

また、ユーザの操作傾向とは別に、チャンネル切替をした直後の状態では、切替前にMAIN映像であったPREVあるいはNEXT映像よりも、新しく表示されたPREVあるいはNEXT映像のほうがユーザにとって重要度（注目度）が高い。このため、切替直後の一定期間には、新しく表示されたPREVあるいはNEXT映像のストリームを優先して復号、再生するようにしてもよい。つまり、制御部１１０が、チャンネル切替え操作直後に新たに合成される映像ストリームを優先的に高画質で出力するように調整部１０５に対して切替制御を行う。その場合、一定期間が過ぎた後には、操作傾向に従った優先度で各チャンネル映像を表示するとよい。このように、処理方法の切替に用いる優先度は、上述したチャンネル切替操作の傾向に基づき決定する代わりに、あるいはそれと併せて、ユーザのチャンネル切替操作からの経過時間に基づき決定してもよい。

またさらに、ユーザの操作傾向とは別に、ユーザ自身が予め優先度を設定する入力インタフェースを設けて、制御部１１０が、その入力インターフェースで予め設定された優先度に従ってMAIN/NEXT/PREVチャンネルの入出力を（即ち再生画像の再生画質を）制御可能としてもよい。例えば、新しく表示されたNEXT映像あるいはPREV映像の優先度を暫定的にMAINより高くなるよう設定し、切替直後の一定期間、新しく表示されたNEXT映像あるいはPREV映像を最も高画質となるように制御することなども可能である。無論、優先度を固定に設定し、常にMAIN/NEXT/PREVの割合を固定とすることも可能である。このように、処理方法の切替に用いる優先度は、ユーザによる事前の優先度設定操作で得た設定内容から得てもよい。これにより、上述したデフォルト優先度からの変更が可能となる。

また、通常再生からマルチ表示再生にあるいはマルチ表示再生から通常再生に、表示モードを切替える操作として、MODEボタンを押すなどユーザが意図的に切替えを行う操作方法を述べたが、これに限ったものではない。例えば、ユーザがチャンネルを次々に切替える操作を始めたことを検知し、ザッピングを始めたと解釈して自動的にマルチ表示再生モードに切替えるようにしてもよい。このザッピングの判定処理は、通常再生モードにおいて、上述した操作傾向の判定処理と同様にNEXT（又はPREV）ボタンの押される時間間隔を監視し、所定の間隔Ｔｍ以下で所定回数Ｎｍ以上繰り返して操作されたとき、ザッピングを始めたと判定すればよい。逆にマルチ表示再生モードにおいて、NEXT又はPREVボタンの押される時間間隔を監視し、所定時間いずれのボタンの押下も無かったときに、ザッピングを終了したとして、通常再生モードへ移行しその時点のMAIN映像を表示させてもよい。

ザッピングを始めたことは、各映像を画質を問わずに視聴し始めたと捉えることができ、結果的に、画質の優先度を変えたと捉えることができる。逆に、ザッピングを終了したことも画質の優先度を変えたと捉えることができる。従って、このようなザッピング判定に基づく表示モード変換処理は、次のような構成とすることで実現できる。すなわち、再生装置１は、マルチ表示再生モードと通常再生モードとを切替えるモード切替手段を備えるだけでなく、再生装置１に対するユーザのチャンネル切替操作により得た、画質に関する優先度に応じて、モード切替手段での切替え制御するモード切替制御手段を備える。

このようにすれば、直接的な切替操作を行うことなく、１つの映像を表示する通常再生と複数の映像を表示するマルチ表示再生とを切替えることが可能になる。つまり、ユーザはチャンネルの切替ボタンを操作するのみでマルチ表示によるザッピングが行え、ザッピングのためにわざわざMODEボタンを押す必要がなくなるため、視聴時のユーザの利便性が向上する。所定回数Ｎｍは１でもよく、極端には、NEXTボタンを押すと常にザッピングモード（マルチ表示再生モード）に切替わるとしてもよい。また、自動的に通常再生モードへ移行するような制御も追加することができ、この点でもユーザの利便性が向上する。

また、好ましい例として説明したように、本発明において、上述したようなユーザのチャンネル切替操作の状況に応じて、通常再生モードとマルチ表示再生モードとの間で自動的に表示モードを切替えるモード切替技術は必須ではない。また、このモード切替技術は、説明しないが後述の他の実施の形態においても適用できる。さらに、このモード切替技術は、本発明の主たる特徴である「優先度に応じた処理方法の切替制御」を採用するか否かに拘わらず有益な技術である。このモード切替技術を本発明の処理方法切替制御を除外して説明すると、再生装置が両表示モードでの表示が可能で、かつ上記モード切替手段及び上記モード切替制御手段を備えるだけでよい。

次に、図６を参照しながら合成バッファ部１０７について説明する。合成バッファ１０７−１、１０７−２は、復号部１０４から出力され、調整部１０６で分離されたPREVチャンネル映像、NEXTチャンネル映像をMAIN映像と共にマルチ表示するために、各映像の再生（即ち出力タイミング）を制御可能にするためのバッファである。各合成バッファ１０７−１、１０７−２での保持／出力の制御は、制御部１１０によって行う。

間引きのないストリームの再生映像は、図６（Ａ）に符号６ａで示すように連続した滑らかな映像となる。一方、上述したように、例えば、ＧＯＰ単位で間引いたストリームをそのまま再生した映像には、データが間引かれた一定期間、再生映像の出力されない期間ができる。ＧＯＰが周期的に間引かれた場合、図６（Ｂ）に符号６ｂに示すように、周期的にそのような期間は発生する。そこで、合成バッファ１０７−１、１０７−２では、図６（Ｂ）の符号６ｃに示すように、ストリームが得られた区間Ｘｎ（ｎ＝１，２，・・・）の再生時間Ｔｘを持つ区間映像を、欠落ストリーム区間（他のチャンネルのストリームを取得している区間）Ｙｎの再生映像の再生時間（未取得ストリームの想定再生時間）Ｔｙを覆うように、Ｔｘ／（Ｔｘ＋Ｔｙ）倍速でスロー再生する（即ちフレームの出力タイミングを順次遅らせる）ことが好ましい。このようなスロー再生により、区間Ｘｎのスロー再生映像を区間Ｘｎ＋１の区間映像につなげることができ、停止箇所のない滑らかな再生が可能となる。

換言すると、再生装置１は次の再生速度調整手段を備えることが好ましい。この再生速度調整手段は、切替制御手段による優先度に応じた処理方法の切替え制御により、マルチ再生表示時に合成する複数の映像ストリームのそれぞれに対応した再生映像に欠落した区間が生じる場合、欠落した区間が存在しないように再生速度を調整して補う。このような構成により、NEXTチャンネル、PREVチャンネルともに再生が滑らかになり、ザッピング時に不連続な再生を見ることで起こるユーザのストレスを軽減することができる。つまり、デコーダ数の不足によって欠落した期間の映像を、再生速度を調整して補っているため、各映像が不自然に再生されることが回避され、マルチ表示によるザッピング操作時のユーザのストレスを軽減することができる。

また、好ましい例として説明したように、本発明において上述した再生速度調整手段は必須ではない。また、この再生速度調整の技術は、本実施の形態及び後述の第３の実施の形態だけでなく、第２の実施の形態においても組み込むことができる。さらに、本発明の「優先度に応じた処理方法の切替制御」を採用しなくても、同時に一画面で表示する対象となる複数の映像ストリームのそれぞれに対応した再生映像に欠落した区間が生じるような場合に有益な技術である。この再生速度調整技術を本発明の処理方法切替制御を除外して説明すると、再生装置に、同時に一画面で表示する対象となる複数の映像ストリームのそれぞれに対応した再生映像に欠落した区間が生じる場合に、欠落した区間が存在しないように再生速度を調整して補う再生速度調整手段を備えるだけでよい。但し、チューナ数が不足する場面や上述したようにデコーダ数が不足する場面、即ちストリームの欠落が生じる場面で有益であり、その点で言えば、本発明に適用することは特に有益であり、また優先度に応じた制御でなくてもストリーム取得部の処理方法の制御を行う再生装置でも有益である。このように、上記再生速度調整手段を設けることで、デコーダ数の不足やチューナ数の不足によってストリームが欠落した区間の映像を滑らかに再生することができ、各映像が不自然に再生されることが回避できる。

以上説明した復号部１０４から合成バッファ１０７−１〜１０７−２までの処理は、相互に関連して実行される。従って、制御部１１０は、主制御部から選局信号（特にＵＰ／ＤＯＷＮ信号）を含む少なくとも優先度の決定に係わるユーザ操作の信号を受けて、各部１０４〜１０７の動作を統合して制御する。即ち、制御部１１０は、ユーザのザッピング時の操作傾向その他から、マルチ表示される各映像の優先度を決め、優先度に従った入力制御を調整部１０５に指示する。これと共に、制御部１１０は、それに呼応して発生する復号部１０４での復号処理の切替の指示・管理、調整部１０６での出力制御の指示・管理、合成バッファ１０７−１〜１０７−２での速度（出力タイミング）制御の指示・管理を行う。

次に、合成部１０８及び選択部１０９について説明する。合成部１０８は、復号部１０４、調整部１０６から出力されたMAIN映像と、合成バッファ１０７−１、１０７−２を通して再生が調整されたPREV映像、NEXT映像とを合成（マルチ表示）する。この例では、合成部１０８は合成バッファ部１０７から入力により自動的に合成を行う。このとき、必要なら表示サイズに合わせて各映像のリサイズを行い、マルチ表示の画面配置に従って各映像を配置、合成する。合成されたマルチ表示映像は選択部１０９を通して出力、表示される。

以上、図１の再生装置１では、通常再生モードにおいてMAINチャンネル映像が復号部１０３を通して復号されており、マルチ表示再生モードでは復号部１０４で復号されたMAINチャンネル映像を使用しているが、本発明の第１の実施の形態に係る再生装置は、図７に示すような他の構成を採用してもよい。図７は、本発明の第１の実施の形態に係る再生装置の別の概略構成例を示した機能ブロック図である。図７に例示した再生装置１ａでは、MAINチャンネルのストリームは復号部１０４を通さず、復号部１０３の出力を合成部１０８に入力しマルチ表示する構成を持つ。つまり、再生装置１ａは、復号部１０３で復号されたMAINチャンネル映像をマルチ表示再生モードでも使用することもできる。この再生装置１ａの各機能ブロックの動作は、再生装置１の各機能ブロックと変わらない（調整部１０５ａ、１０６ａは調整部１０５、１０６と入出力数が異なるが、内部の動作は同一である）ため、説明は省略する。なお、このような構成の変更は、後述する第２の実施の形態においても同様に適用できる。

また、図１の再生装置１では、通常再生用の復号部１０３とマルチ表示再生用の復号部１０４とを別々に備え、それぞれが独立に復号可能としたことで、選択部１０９で高速に再生画面の切替えを可能としているが、本発明の第１の実施の形態に係る再生装置は、図８に示すような他の構成も採用してもよい。図８は、本発明の第１の実施の形態に係る再生装置の別の概略構成例を示した機能ブロック図である。図８に例示した再生装置１ｂは、通常再生用の復号部１０３並びに通常再生とマルチ表示再生とを切替える選択部１０９とを備えず、復号部１０４を通常再生時にも使用し合成部１０８ｂで通常再生映像を出力する構成を持つ。このような構成により、再生装置１ｂは、再生装置１に比べ装置構成をより小規模に抑えることができる。なお、このような構成の変更は、後述する第２及び第３の実施の形態においても同様に適用できる。

再生装置１ｂでは、通常再生時には復号バッファ１０２−１のストリームのみが調整部１０５ｂで選択されて入力され復号部１０４で復号されて、調整部１０６ｂを通して合成部１０８ｂに送られる。合成部１０８ｂは、通常再生の表示形態（例えば全画面表示）で復号映像を出力する。マルチ表示再生時の動作をはじめ、その他の各機能ブロックの動作は、再生装置１の各機能ブロックと変わらないため、説明は省略する。なお、合成部１０８は、図示しない主制御部からどのような配置で合成を行うかの制御信号を受信することで、通常再生時、マルチ表示再生時に応じた合成が可能となる。

さらに、本発明の第１の実施の形態に係る再生装置に関する以上の説明では、伝送経路を経由して取得される映像が、ＩＰ放送やテレビ放送など、リアルタイム受信映像であることを前提としたが、本発明の再生装置及び再生方法は、リアルタイム受信以外に、ネットによるＶＯＤ（Video On Demand）動画配信など、オンデマンド再生映像に適用することも可能である。また、録画再生機器に蓄積された映像の再生（即ちローカルなオンデマンド再生）に適用してもよい。なお、録画再生機器の蓄積映像としては、本発明の再生装置として構成した録画再生機器内部の蓄積映像に限らず、外部接続された録画再生機器やホームサーバ等の機器に蓄積された映像も、再生の対象とすることができる。

リアルタイム受信映像では、マルチ表示されるそれぞれの映像が全て現在放送中のオンタイム映像となるが、オンデマンド再生映像では、要求時刻を基点としてそれぞれ別個の時間で再生されてよい。このため、リアルタイム受信映像とオンデマンド再生映像とでは、図９に示す通り、通常再生時の復号バッファ１０２−２、１０２−３、マルチ表示再生時の復号バッファ１０２−４、１０２−５で、高速チャンネル切替のために先読みして蓄積しておくストリームが異なる。

リアルタイム受信映像の再生では、図９（Ａ）に示すように、過去に蓄積されたストリームを破棄し、常に最新の遅延時間Ｔｄを補う分のストリームデータをバッファリングする。一方、オンデマンド再生映像の再生では、図９（Ｂ）に示すように、映像の再生開始時刻Ｔｓを基点に遅延時間Ｔｄを補う分のストリームをバッファリングしたら、バッファリングを一時停止し、再生が開始されるまで以降のバッファリングを待ち状態にする。また、この再生開始時刻Ｔｓは、映像の先頭、あるいはユーザが任意時刻を指定する他、通常再生あるいはマルチ表示再生でその映像がどこまで再生されたかを記憶し、その最後の再生終了時刻を保持して、次の再生開始時に開始時刻Ｔｓとして利用してもよい。この各チャンネル映像の再生開始時刻Ｔｓは、特に図示しないメモリに蓄積され、チューナ部１０１がその開始時刻情報を使ってバッファリングを行うものとする。このようなオンデマンド再生のための再生装置であっても、上述した本発明の第１の実施の形態に係る復号部１０４から合成バッファ１０７−１、１０７−２及び制御部１１０を備えて、マルチ表示再生時の画質の動的制御が適用可能である。なお、オンデマンド再生の通信プロトコルの制約上、送信側に一時停止が指示できない場合には、Ｔｄ分のバッファリング終了後、時刻（Ｔｓ＋Ｔｄ）からの送信要求を定期的に発生させ、疑似的に時刻（Ｔｓ＋Ｔｄ）での一時停止状態を再現させることも可能である。

以上説明したように、本第１の実施の形態の再生装置及び再生方法では、デコーダ数が不足するとき、マルチ映像表示によるザッピング実行時に、ユーザの操作傾向や操作タイミングや設定内容をみてチャンネル間の優先度を決定し、前後のチャンネルの映像ストリームのデコーダへの時分割入力の割合を適応的に変化させる。これにより、次々にチャンネルを切替えるユーザに対しては切替先のチャンネルのストリームの優先度を上げ、ストリームを多く取得し切替先チャンネルをより滑らかに再生可能とし、また、前後のチャンネルを行ったり来たりするユーザに対しては均等に重み付けして双方向のチャンネルを共に見やすくする。このように、ユーザにとって最良な形態でマルチ映像表示が可能となるため、マルチ映像表示によるザッピングをストレスなく行うことができ、ユーザが所望の映像を効率良く見つけ出せるようになり、マルチ表示ザッピングでの映像の選択に係る全体の効率が上がる。また、チャンネル切替直後に、新たに表示されるチャンネル映像の優先度を暫定的に高くし、滑らかに表示するようにする。これにより、新たな切替先のチャンネルを優先的に素早く確認できるといったユーザにとって最良な形態で、マルチ映像表示が可能となるため、同じく、マルチ表示ザッピングでの映像選択の効率を上げることができる。

（第２の実施の形態）
本発明の第２の実施の形態に係る再生装置においては、第１の実施の形態と異なり、本発明の主たる特徴としての上記切替手段における処理方法の切替えは、復号部に入力される複数の映像ストリームのそれぞれに対し復号部での復号処理レベルを変更することを含む。そして、本発明の主たる特徴としての上記切替制御手段は、第１の実施の形態と異なり、各所定の配置に対応する再生映像を得るために復号対象となる映像ストリーム毎に、各所定の配置間の優先度に応じて復号処理レベルを変更するように、上記切替手段を制御する。以下、本実施の形態に係る再生装置について、図１０〜図１２を参照して説明する。

図１０は、本発明の第２の実施の形態に係る再生装置の概略構成例を示した機能ブロック図である。再生装置１０は、チューナ部１０１、復号バッファ（キャッシュメモリ）１０２−１〜１０２−５でなる復号バッファ部１０２、復号部１０３、復号部１００４、調整部１００５、調整部１００６、合成部１０８、選択部１０９、及び制御部１０１０を含んで構成される。制御部１０１０は、本発明の主たる特徴となる画質の動的制御のために、復号部１００４、調整部１００５、調整部１００６の各動作を制御する。

再生装置１０の構成要素のうち、図１の再生装置１と同一の機能ブロックには同一の番号を付している。即ち、第２の実施の形態の再生装置１０は、復号部１０４、調整部１０５、調整部１０６、合成バッファ１０７、及び制御部１１０の代わりに、復号部１００４、調整部１００５、調整部１００６、及び制御部１０１０を備える点で、第１の実施の形態の再生装置１と異なる。そこで、以下では、第１の実施の形態の再生装置１との相違を中心に本実施の形態に係る再生装置１０について説明する。なお、図示しない主制御部についても第１の実施の形態と同様である。

第２の実施の形態に係る再生装置１０は、第１の実施の形態に係る再生装置１と同じく、マルチ表示される映像ストリーム数に対してデコーダの数が不足している（３表示ストリームに対して１つの復号部１００４）ことを想定した再生装置である。チューナ部１０１で例示するチューナは、入力されるマルチストリームを同時に復号バッファ１０２−１〜１０２−５で例示する各復号バッファに振り分け可能な能力を持つものとする。即ち、想定される再生装置は、第１の実施の形態と同様、ＩＰ放送受信機器などである。

第１の実施の形態の再生装置１では、調整部１０５がストリームを間引き、復号部１０４が間引き後の映像ストリームを復号処理していた。これに対し、第２の実施の形態の再生装置１０では、調整部１００５は間引き処理を行わず、復号部１００４が復号処理の簡略化を行い、各ストリームの復号処理を優先度に応じて軽減する。

調整部１００５は、復号バッファ１０２−１〜１０２−３に格納された各チャンネルの映像ストリームを取り出し、時分割して復号部１００４に送る。このとき、本実施の形態の調整部１００５はストリームの間引きを行わず、各復号バッファに蓄えられた映像ストリーム全体を復号部１００４に送る。

復号部１００４は、復号段階で処理を簡略化する能力を持った機能ブロックである。復号部１００４は、入力された各映像ストリームについて、制御部１０１０からの指示を受け、優先度の低いストリームについては復号段階で簡略化を実施する。

復号処理の対象となるストリームの例を図１１に示し、そのストリームに対する復号処理の簡略化の例を図１２に示す。簡略化には、図１２（Ａ）に示すように、逆ＤＣＴ（Discrete Cosine Transform）するＤＣＴ係数サイズを制限し縮小サイズの復号画像を出力する方法や、図１２（Ｂ）に示すように、Ｂピクチャ、Ｐピクチャの復号処理を選択的に間引いて低フレームレートの復号画像を出力する方法などがある。いずれも、高周波成分の逆ＤＣＴの演算が省略される、Ｂピクチャ、Ｐピクチャの復号演算（動き補償の演算など）が省略されることで、処理量を削減することができ、復号部１００４が３ストリームを同時に復号する十分な能力を持たない場合にも、いくつかのストリームの復号処理を簡略化することで適当な復号処理を行えるようになる。また、このような簡略化をある程度抑えるために、上述した再生速度調整手段を組み込むこともできる。

制御部１０１０は、ユーザがマルチ表示ザッピングを行う際の操作傾向をみて、マルチ表示される各映像の優先度を決め、優先度に従った簡略化の適用を復号部１００４に指示する。

例えば、次のチャンネルへ次々に／素早くチャンネル切替を繰り返すような傾向を持つユーザには、NEXTチャンネル映像がより高画質となるよう、NEXTチャンネル映像の簡略化の度合いを下げ、その分、PREVチャンネルに削減効果の高い簡略化を適用する。図１２（Ａ）、図１２（Ｂ）で示した例がその例に該当する。一方、次のチャンネルを確認したり前のチャンネルを確認したり、といった、行ったり来たりを繰り返す操作傾向のあるユーザでは、NEXT、PREV均等に中程度の簡略化を適用する。操作傾向の判定の仕方については第１の実施の形態と同様の方式が利用可能である。

また、切替の直後には、切替直後の一定期間、新しく表示された映像の優先順位を高くするようにしてもよい。即ち、新しく表示されたチャンネル映像については簡略化の度合いを下げ、その分、切替前に表示されていた（MAINチャンネル以外の）チャンネル映像に削減効果の高い簡略化を適用してもよい。

このように、本実施の形態においても、第１の実施の形態で説明したように、処理方法の切替に用いる優先度は、ユーザのチャンネル切替操作の傾向に基づき決定してもよいし、代わりにあるいはそれと同時に、ユーザのチャンネル切替操作からの経過時間に基づき決定してもよい。さらに、処理方法の切替に用いる優先度は、ユーザによる事前の優先度設定操作で得た設定内容から得てもよい。

なお、本実施の形態でも、Ｉピクチャの事前検出は適用でき、復号部１００４や復号部１０３で実行するようにすればよい。またさらに、図１２（Ｂ）のようにストリームからＩピクチャデータを抜き出して簡略復号する場合に、Ｉピクチャデータの復号処理は他のＰピクチャ、Ｂピクチャの復号処理に比べて処理量が大きいため、他のストリームのＩピクチャの復号処理と重ならないように、復号タイミングをずらして復号する、といった付加処理を加えてもよい。この処理は、極端には、簡略化の度合いの低いチャンネル映像（簡略化しないMAINチャンネル映像）の復号処理量の変動を監視し、復号処理量が低下したタイミングで、簡略化の度合いの高い他のチャンネル映像の復号処理を実行する、といった処理であってもよい。

調整部１００６は、調整部１００５の入力及び復号部１００４の復号処理と呼応して各チャンネルの復号映像を出力する。合成部１０８は、調整部１００６から出力された復号映像を合成しマルチ表示映像を形成する。このとき、復号部１００４の簡略化によって図１２（Ａ）で例示したように復号映像のサイズが異なる場合にも、必要なリサイズ処理を行ってマルチ表示映像を形成する。

以上説明したように、本第２の実施の形態の再生装置及び再生方法では、デコーダ数が不足するとき、マルチ映像表示によるザッピング実行時に、ユーザの操作傾向や操作タイミングや設定内容をみてチャンネル間の優先度を決定し、前後のチャンネルの映像ストリームの復号処理の簡略化のレベル（復号処理レベル）を適応的に変化させる。これにより、次々にチャンネルを切替えるユーザに対しては切替先のチャンネルの簡略化の度合いを少なくし、切替先チャンネルをより滑らかに見えるようにし、一方、チャンネルを行ったり来たりするユーザに対しては均等に重み付けして双方向のチャンネルを見やすくする。このように、ユーザにとって最良な形態でマルチ映像表示が可能となるため、マルチ映像表示によるザッピングをストレスなく行うことができ、ユーザが所望の映像を効率良く見つけ出せるようになり、マルチ表示ザッピングでの映像の選択に係る全体の効率が上がる。また、チャンネル切替直後には、新たに表示されるチャンネル映像の優先度を暫定的に高くし、滑らかに表示するようにする。これにより、新たな切替先のチャンネルを優先的に素早く確認できるといったユーザにとって最良な形態で、マルチ映像表示が可能となるため、同じく、マルチ表示ザッピングでの映像選択の効率を上げることができる。

（第３の実施の形態）
本発明の第３の実施の形態に係る再生装置においては、第１及び第２の実施の形態と異なり、本発明の主たる特徴としての上記切替手段における処理方法の切替えは、ストリーム取得部における取得対象の映像ストリームのチャンネルを、複数の映像ストリームに対応するチャンネル間で時分割で切替えることを含む。そして、本発明の主たる特徴としての上記切替制御手段は、第１及び第２の実施の形態と異なり、各所定の配置に対応する再生映像を得るために入力対象となる映像ストリームの入力ソース毎に、各所定の配置間の優先度に応じてストリーム取得時間を変えるように、上記切替手段を制御する。以下、本実施の形態に係る再生装置について、図１３〜図１５を参照して説明する。

図１３は、本発明の第３の実施の形態に係る再生装置３の概略構成例を示した機能ブロック図である。再生装置３は、チューナ部３０１、チューナ部３０２、復号バッファ（キャッシュメモリ）３０３−１〜３０３−５でなる復号バッファ部３０３、復号部３０４、復号部３０５、復号部３０６−１〜３０６−２、合成バッファ３０７−１〜３０７−２でなる合成バッファ部３０７、合成部３０８、選択部３０９、及び制御部３１０を含んで構成される。制御部３１０は、本発明の主たる特徴である画質の動的制御を行うために、チューナ部３０２、復号部３０６−１〜３０６−２、及び合成バッファ３０７−１〜３０７−２の各動作を制御する。なお、図示しない主制御部については、チューナ部３０２が制御部３１０によって切替制御される以外は基本的に第１の実施の形態と同様である。

第３の実施の形態に係る再生装置３は、マルチ表示される映像ストリーム数（加えて、高速切替のために先読み受信されるチャンネルを加えた受信チャンネル数）に対してチューナの数が不足する（受信４チャンネルに対して１つのチューナ部３０２）ことを想定した再生装置である。デコーダは、復号部３０５、３０６−１〜３０６−２で例示したように、マルチ表示する映像全てが復号可能な分が用意されるものとする。このような再生装置としては、チューナ（復調器）を複数個搭載したテレビ放送の受信機器、録画再生機器などが想定される。例えば、視聴用と別に裏番組視聴用、録画用にチューナ（復調器）を２つ備えた受信機器、録画再生機器などがそれに該当する。なお、本実施の形態では説明の簡便のため、図１３のように複数個の復号部３０５、３０６−１〜３０６−２を図示しているが、これらの代わりに、（第２の実施の形態で示したような）３つのストリームを同時デコード可能な能力を持つ１つの復号部を備えて、再生装置３が構成されるものであってもよい。

再生装置３は、通常再生とマルチ表示再生とを切替えて表示するための選択部３０９を備え、切替えて表示する。チューナ部３０１は、選局中のチャンネル映像を受信し、受信された映像ストリームを復号バッファ３０３−１に供給する。復号バッファ３０３−１に保持されたストリームは復号部３０４に供給される。通常再生の状態では、復号部３０４から出力された映像が選択部３０９を介して表示される。

チューナ部３０２は、選局中のチャンネルに対して、その前後いくつかのチャンネルを受信するためのチューナである。本実施の形態でチューナを放送機器における復調器と想定すると、任意の一時点で１つの周波数にチューニングして１つのチャンネルの映像ストリームを得る（但し１周波数に複数チャンネルが多重化されている場合を除く）ことから、単純には１チューナでは１チャンネルしか受信できない。従って、本発明のようにマルチ表示を行う再生装置では、表示する映像数に対してチューナ数が不足する。このことから、本実施の形態の再生装置３のチューナ部３０２は、図１４に示すように、各チャンネル（チャンネルＡ〜Ｄで例示）の映像ストリームを時分割で取得するものとし、得られた各ストリームを各復号バッファ３０３−２〜３０３−５に格納する。

あるいは、放送受信機器の復調器に限らず、オンデマンド動画配信アプリケーションもしくはメディアドライブから複数の映像ストリームを読み出し再生する機器の広義のチューナにおいても、上記と同様に時分割で各チャンネルの映像ストリームを取得する環境（後述するように、取得動作に制約があり、取得時にストリームの一部が取得できないことが想定される環境）が想定されるのであれば、本実施の形態は同様に適用される。例えば、技術的制約が無い場合であっても、そのような制約をわざと設けて、リアルタイム受信環境を模した動画配信アプリケーションを構築することも考えられる。

復号バッファ３０３−２、３０３−３は、選局中のチャンネルに対して１つ後のチャンネル及び１つ前のチャンネルの映像ストリームを格納するバッファである。通常再生の状態では、これらは高速チャンネル切替制御のための先読みバッファであり、その状態ではストリームの復号、再生はされず、チャンネル切替時点、あるいはマルチ表示再生への切替時点で復号、表示が開始される。一方、マルチ表示再生の状態では、復号バッファ３０３−１〜３０３−３に格納されたMAINチャンネル、NEXTチャンネル、PREVチャンネルの映像ストリームが復号部３０５、３０６−１〜３０６−２を介して復号、再生される。

復号バッファ３０３−４、３０３−５は、選局中のチャンネルに対して２つ後のチャンネル及び２つ前のチャンネルの映像ストリームを格納するバッファである。これらは高速なチャンネル切替のために利用される先読みバッファであり、マルチ表示再生時に表示されているMAIN/NEXT/PREVチャンネルに対して、NEXTチャンネルの１つ後、PREVチャンネルの１つ前のチャンネルの映像ストリームを格納する。それらはそのままの状態では復号、再生はされず、マルチ表示でチャンネル切替が行われた時点で新たに表示されるチャンネルに対応したいずれかの映像ストリームが復号、表示開始される。

なお、切替時点で即座に復号開始可能とするため、通常再生時の復号バッファ３０３−２、３０３−３、マルチ表示再生時の復号バッファ３０３−４、３０３−５では、復号開始位置（Ｉピクチャデータの先頭位置）などはバッファ格納時点で検出し保持しておくものとする。また、通常再生時に復号バッファ３０３−４、３０３−５にも先読みデータを格納していてもよい。このように、Ｉピクチャの事前検出についても、復号部３０４、３０５、３０６−１、３０６−２で実行してもよい。

ここで、テレビ放送のようなリアルタイム受信を考えるとき、時分割受信される各チャンネルのストリームは、他のチャンネルが受信されている間は受信されない。従って、各映像ストリームは、図１４に示すように、一部が欠落した状態で復号バッファに格納される。このため、それらをそのまま再生すると、欠落した分、再生映像の画質は劣化する。

マルチ表示再生のザッピングインタフェースでの活用を考えた場合、表示される映像、あるいはチャンネル切替で次に表示されるであろう映像について、優先度は固定ではない。例えば、次々にチャンネルを切替えてザッピングする傾向のあるユーザにとっては、次々に表示されるチャンネルを素早く確認することがより重要であるため、チャンネル切替方向にあるチャンネル映像（次に切替可能なチャンネルも含む）のほうがより優先度が高い。一方、チャンネルを前後に行ったり来たりして都度確認しチャンネルを選択する傾向のあるユーザにとっては、前後チャンネルの優先度はほぼ均等であり、また、表示中の映像を詳しく確認したいため、次に切替可能なチャンネルよりも現在表示中のチャンネルをより優先させる。

図１５は、これらの状況での時分割チューナの要求される動作を示した模式図である。図１５（Ａ）は、次チャンネル（NEXTチャンネル）方向に次々にチャンネルを切替える操作傾向のユーザを想定したとき、NEXTチャンネル（Ch.+1）及びその次のチャンネル（Ch.+2）に時分割の取得時間を多く割り当てている例を示している。一方、図１５（Ｂ）は、NEXTチャンネル（Ch.+1）及びPREVチャンネル（Ch.-1）を均等に、なおかつ、NEXTチャンネルの次チャンネル（Ch.+2）、PREVチャンネルの１つ前のチャンネル（Ch.-2）に対してNEXT及びPREVチャンネル（Ch.+1、Ch.-1）に時分割の取得時間をより多く割り当てた例である。優先度に対する取得時間の割当度合いは任意に設定可能である。極端には、優先度の低いチャンネルの取得を止め、優先度の高いチャンネルのストリームのみを取得するように制御してもよい。なお、操作傾向の判定の仕方については第１の実施の形態と同様の方式が利用可能である。

また、ユーザの操作傾向とは別に、チャンネル切替をした直後の状態では、切替前にMAIN映像であったPREVあるいはNEXT映像よりも、新しく表示されたPREVあるいはNEXT映像のほうがユーザにとって重要度（注目度）が高い。このため、切替直後の一定期間には、新しく表示されたPREVあるいはNEXT映像のストリームを優先して復号、再生するようにしてもよい。その場合、一定期間が過ぎた後には、操作傾向に従った優先度で各チャンネル映像を表示する。

このように、本実施の形態においても、第１の実施の形態で説明したように、処理方法の切替に用いる優先度は、ユーザのチャンネル切替操作の傾向に基づき決定してもよいし、代わりにあるいはそれと同時に、ユーザのチャンネル切替操作からの経過時間に基づき決定してもよい。また、処理方法の切替に用いる優先度は、ユーザによる事前の優先度設定操作で得た設定内容から得てもよい。

復号部３０５、３０６−１、３０６−２は、上記のようにして復号バッファ３０３−１、３０３−３、３０３−２に供給、保持された各チャンネルのストリームを復号し、復号映像を合成バッファ３０７−１、３０７−２を経由して合成部３０８に入力する。

合成バッファ３０７−１、３０７−２は、第１の実施の形態で図６と共に説明したように、復号映像の再生速度を調整し、ストリームの欠落分、不足した区間映像を補ってPREVチャンネル、NEXTチャンネルの再生映像を滑らかにするために設けた再生速度制御（復号フレームの出力タイミング制御）用のバッファである。

チューナ部３０２での時分割受信処理に呼応して復号部３０６−１、３０６−２での復号処理、合成バッファ３０７−１、３０７−２での速度調整処理は行われるため、再生装置３はそれらを統括して制御する制御部３１０を備える。即ち、ユーザの操作傾向を反映した優先度に従い、制御部３１０が、時分割受信の割合をチューナ部３０２に指示するのと共に、時分割受信で欠落したストリームに対応した復号処理を復号部３０６−１、３０６−２に指示・管理、復号された映像の再生速度を合成バッファ３０７−１、３０７−２に指示・管理する。

合成部３０８は、必要なリサイズ処理も含めて再生映像を合成し、マルチ表示画面を形成する。そして、形成されたマルチ表示映像は選択部３０９を通して出力、表示される。

なお、図１３には図示していないが、第１、第２の実施の形態の再生装置１、１０と異なり、本実施の形態の再生装置３では、選局中のチャンネルに対する切替候補チャンネル（即ち、マルチ表示におけるMAINチャンネルに対するNEXTチャンネル、PREVチャンネル）のストリームは、復号バッファ３０３−２、３０３−３に格納される段階で既に時分割受信によって間引かれている。他方、再生装置１、１０の復号バッファ３０３−２、３０３−３には全ストリームが格納されている。このため、第１、第２の実施の形態の再生装置１、１０では、チャンネル切替でNEXT/PREVからMAINチャンネルとして選局されたとき、切替時点でバッファに格納されているストリームが常にその時点でのそのチャンネルのストリームであり、切替時点からの映像が復号、再生されるが、再生装置３では、NEXT/PREVチャンネルが時分割受信中でないタイミングでMAINチャンネルとして選局されたときには、既にバッファに格納されているストリームは時間的に以前のストリームであるため、切替時点から少し以前の映像を（Ｔｄ秒）再生後、それに続けて切替後の（切替時刻＋Ｔｄ秒時点の）映像が再生される。NEXT、PREVの候補チャンネル（復号バッファ３０３−４、３０３−５）からNEXT、PREVチャンネル（復号バッファ３０３−２、３０３−３）に切替わり、時分割受信の割合が変わった際にも同様の調整が行われる。

以上説明したように、本第３の実施の形態の再生装置及び再生方法では、チューナ数が不足するとき、マルチ映像表示によるザッピング実行時に、ユーザの操作傾向や操作タイミングや設定内容をみてチャンネル間の優先度を決定し、前後のチャンネル映像を時分割受信する割合を適応的に変化させる。これにより、次々にチャンネルを切替えるユーザに対しては切替先のチャンネルのストリームを多く取得し切替先チャンネルをより滑らかに見えるようにし、また、チャンネルを前後に行ったり来たりするユーザに対しては均等に重み付けして双方向のチャンネルを見やすくする。このように、ユーザにとって最良な形態でマルチ映像表示が可能となるため、マルチ映像表示によるザッピングをストレスなく行うことができ、ユーザが所望の映像を効率良く見つけ出せるようになり、マルチ表示ザッピングでの映像の選択に係る全体の効率が上がる。また、チャンネル切替直後に、新たに表示されるチャンネル映像の優先度を暫定的に高くし、滑らかに表示するようにする。これにより、新たな切替先のチャンネルを優先的に素早く確認できるといったユーザにとって最良な形態で、マルチ映像表示が可能となるため、同じく、マルチ表示ザッピングでの映像選択の効率を上げることができる。

（その他）
本発明の各実施の形態の再生装置及び再生方法では、ザッピングによるチャンネル選択操作と組合せてマルチ表示再生の画質の動的制御を実施する例を示したが、各実施の形態に示したマルチ表示再生の画質動的制御自体は、ザッピング用途以外のマルチ表示再生においても同様に適用可能であることは言うまでもない。

即ち、マルチ表示される複数の映像に対して、過去の選択操作履歴やユーザの操作上・視聴上の癖（例えば、マルチ表示画面では左上の映像をよく見る傾向がある、等）、ユーザの能動的な設定等によって、マルチ表示位置（配置）毎に異なる優先度が与えられるとき、優先度に従って復号部への入力ストリーム（実施の形態１）、復号レベル（実施の形態２）、ストリームの取得（実施の形態３）を制限・制御することで、復号能力（デコーダ数）、チューナ能力（チューナ数）に見合った最適なマルチ表示再生を実現できる。この処理は、マルチ表示画面を切替えて異なる複数の映像をマルチ表示する度に実施され、優先度が変化すれば表示されるマルチ表示映像の画質も変化する。

再生装置の構成としては、図１、図１０、図１３の構成からザッピングのための先読みバッファ（隣接の非表示チャンネル分のバッファ。即ち、図１、図１０の復号バッファ１０２−４、１０２−５、図１３の復号バッファ３０３−４、３０３−５）を省いた構成となる。ユーザは、ユーザ自身が明示的あるいは潜在的に持つ優先度に従った画質でマルチ表示された各映像を確認できるため、復号能力及び／又はチューナ能力が不足した状態でもよく見る／より見たい映像を高画質に見ることができ、マルチ表示画面を視聴する際のストレスを軽減できる。

また、通常再生（通常の一画面再生）とザッピングを伴わない通常のマルチ表示再生とを切替えるような構成や、通常再生と通常のマルチ表示再生とザッピングマルチ表示再生とを切替えるような構成を採用してもよい。

また、各実施の形態で例示した本発明に係る再生装置は、全てハードウェアで構成してもよいが、その一部をソフトウェア（ファームウェアを含む）によって構成してもよい。このような構成を実現する一例として、マイクロコンピュータ等のコンピュータを利用する場合には、チューナ、ＣＰＵ、メモリ、バス、インターフェース、周辺装置などから構成されるハードウェアと、これらのハードウェア上にて実行可能なソフトウェア（復号プログラムも含む）を挙げることができる。ＣＰＵはこのソフトウェアを実行することで他のハードウェアを制御する。具体的には、ＲＯＭに格納されたソフトウェアをメモリ上に展開し、展開されたプログラムを順次実行することで、メモリ上のデータや、インターフェースを介して入力されるデータの加工、蓄積、出力などにより各部の機能が実現される。上述した各実施の形態における処理は、上記ソフトウェアとしてその処理手順をＣＰＵに実行させるためのプログラムを組み込み実行させることによって、実現できる。また、復号部をデコーダとしてハードウェア構成とし、ソフトウェアに復号プログラムを含まないなど、他の組み合わせも可能である。

以上、本明細書で開示された実施の形態は全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内での全ての変更が含まれることが意図される。

本発明の第１の実施の形態に係る再生装置の概略構成例を示した機能ブロック図である。 本発明の第１の実施の形態に係る再生装置の表示画面例を示した図である。 本発明の第１の実施の形態に係る再生装置の画面遷移例を示した図である。 図１の再生装置にてマルチ表示される映像の例をストリームの調整処理と共に示した図である。 図１の再生装置にてマルチ表示される映像の別の例をストリームの調整処理と共に示した図である。 図１の再生装置にてマルチ表示される映像を滑らかに再生するための処理例を示した図である。 本発明の第１の実施の形態に係る再生装置の別の概略構成例を示した機能ブロック図である。 本発明の第１の実施の形態に係る再生装置の別の概略構成例を示した機能ブロック図である。 本発明の第１の実施の形態に係る再生装置でリアルタイム受信とオンデマンド再生との処理の違いを示した図である。 本発明の第２の実施の形態に係る再生装置の概略構成例を示した機能ブロック図である。 図１０の再生装置にてマルチ表示される映像ストリームの例を示した図である。 図１０の再生装置にて図１１の映像ストリームに対して施される調整処理例を示した図である。 本発明の第３の実施の形態に係る再生装置の概略構成例を示した機能ブロック図である。 図１３の再生装置にて時分割取得される映像ストリームを示した図である。 図１３の再生装置にて優先度に応じて時分割取得される映像ストリームの違いを示した図である。

符号の説明

１…再生装置、１０２…復号バッファ部、１０３…復号部、１０４…復号部、１０５…調整部、１０６…調整部、１０７…合成バッファ部、１０８…合成部、１０９…選択部、１１０…制御部。

Claims (11)

1. 入力ソースから映像ストリームを取得するストリーム取得部と、前記映像ストリームを復号して映像とする復号部とを備え、複数の映像ストリームによる複数の再生映像のそれぞれを画面上の所定の配置で合成して出力することが可能な映像再生装置であって、
   前記所定の配置で一画面上に再生する対象となる複数の映像ストリームのそれぞれを入力して合成する際に、各映像ストリームに対する前記ストリーム取得部及び／又は復号部の処理方法を切替える切替手段と、
   当該映像再生装置に対するユーザ操作により得た、各所定の配置間の画質に関する優先度に応じて、前記切替手段での前記処理方法の切替えを制御する切替制御手段と、
   を備えたことを特徴とする映像再生装置。
2. 前記切替手段における前記処理方法の切替えは、前記ストリーム取得部から前記復号部へ入力する符号量の割合を、前記複数の映像ストリーム毎に変更することを含み、
   前記切替制御手段は、各所定の配置に対応する再生映像を得るために復号対象となる映像ストリーム毎に、各所定の配置間の前記優先度に応じて前記符号量の割合を変えるように、前記切替手段を制御することを特徴とする請求項１に記載の映像再生装置。
3. 前記切替手段における前記処理方法の切替えは、前記複数の映像ストリームのそれぞれに対し前記復号部での復号処理レベルを変更することを含み、
   前記切替制御手段は、各所定の配置に対応する再生映像を得るために復号対象となる映像ストリーム毎に、各所定の配置間の前記優先度に応じて前記復号処理レベルを変更するように、前記切替手段を制御することを特徴とする請求項１又は２に記載の映像再生装置。
4. 前記切替手段における前記処理方法の切替えは、前記ストリーム取得部における取得対象の映像ストリームの入力ソースを、前記複数の映像ストリームに対応する入力ソース間で時分割で切替えることを含み、
   前記切替制御手段は、各所定の配置に対応する再生映像を得るために入力対象となる映像ストリームの入力ソース毎に、各所定の配置間の前記優先度に応じてストリーム取得時間を変えるように、前記切替手段を制御することを特徴とする請求項１〜３のいずれか１項に記載の映像再生装置。
5. 前記優先度は、ユーザの入力ソース切替操作の傾向に基づき決定することを特徴とする請求項１〜４のいずれか１項に記載の映像再生装置。
6. 前記優先度は、ユーザの入力ソース切替操作からの経過時間に基づき決定することを特徴とする請求項１〜５のいずれか１項に記載の映像再生装置。
7. 前記優先度は、ユーザによる事前の優先度設定操作で得た設定内容から得ることを特徴とする請求項１〜４のいずれか１項に記載の映像再生装置。
8. 前記ストリーム取得部は、現在再生中の映像の入力ソースとは異なる入力ソースの映像ストリームを事前に取得してバッファリングし、前記復号部は、前記バッファリング中に又は前記バッファリングの終了直後に前記映像ストリームからＩピクチャの検出を行うことを特徴とする請求項１〜７のいずれか１項に記載の映像再生装置。
9. 前記切替制御手段による前記優先度に応じた前記処理方法の切替え制御により、前記所定の配置で合成する対象となる前記複数の映像ストリームのそれぞれに対応した再生映像に欠落した区間が生じる場合、該欠落した区間が存在しないように再生速度を調整して補う再生速度調整手段を備えたことを特徴とする請求項１〜８のいずれか１項に記載の映像再生装置。
10. 前記複数の再生映像のそれぞれを画面上の所定の配置で合成して出力するマルチ表示再生モードと、１つの再生映像を画面上に出力する通常再生モードとを切替えるモード切替手段と、
    当該映像再生装置に対するユーザの入力ソースの切替操作により得た、画質に関する優先度に応じて、前記モード切替手段での切替え制御するモード切替制御手段と、
    を備えたことを特徴とする請求項１〜９のいずれか１項に記載の映像再生装置。
11. 入力ソースから映像ストリームを取得するストリーム取得部と、前記映像ストリームを復号して映像とする復号部とを備えた映像再生装置における、複数の映像ストリームによる複数の再生映像のそれぞれを画面上の所定の配置で合成して出力する映像再生方法であって、
    前記映像再生装置に対するユーザ操作により得た、各所定の配置間の画質に関する優先度に応じて、前記ストリーム取得部及び／又は復号部の処理方法を切替えるステップと、
    該切替ステップで前記処理方法の切替えを行いながら、前記所定の配置で一画面上に再生する対象となる複数の映像ストリームのそれぞれを入力して合成するステップと、
    を有することを特徴とする映像再生方法。

Images