JP4988022B2 - 映像表示装置及び音声出力制御方法 - Google Patents

Description

本発明の実施の形態は、音声出力が可能な映像表示装置、及び映像表示装置が含む通信機器の音声出力制御方法に関する。

デジタル方式のテレビジョン放送、及びそれを受信することのできるテレビジョン受信装置（ＴＶ装置）普及がめざましい。

また、インターネット網の普及に伴い、ＴＶ装置においても、番組すなわちコンテンツを、インターネット網を経由して、取得（受信）できる。

また、インターネット網においては、ＩＰ（Internet Protocol）を用いる音声通信すなわちＩＰ電話の利用が可能である。なお、ＩＰ電話は、音声のみならず、映像、特に動画の送受信が可能である。

特開平１１−１７７９５４号公報

ＴＶ装置、特にデジタル放送を受信することができるものにおいては、圧縮された動画データと圧縮された音声データを、異なるデコーダで再生（デコード）する。

ＴＶ装置がデコードする動画データは、音声データのデコードに比較して長いデコード時間を必要とする。

本発明の目的は、音声出力が可能な映像表示装置、及び映像表示装置が含む通信機器の音声出力制御方法を提供することである。

実施形態によれば、映像表示装置は、分離部と、ネットワーク受信部と、映像処理部と、音声処理部と、変換部と、設定部と、を具備する。分離部は、コンテンツを受信し、受信したコンテンツの第一の映像データと第一の音声データとを分離する。ネットワーク受信部は、ネットワークを通じて前記第一の映像データと異なる第二の映像データ及び前記第一の音声データと異なる第二の音声データを受信する。映像処理部は、前記第一の映像データをデコードして第一の映像信号を出力し、前記第二の映像データをデコードして第二の映像信号を出力する。音声処理部は、前記第一の音声データをデコードして第一の音声信号を出力し、前記第二の音声データをデコードして第二の音声信号を出力する。変換部は、前記映像処理部が出力する前記第一の映像信号と前記音声処理部が出力する前記第一の音声信号との間に第一の時間差を与え、前記映像処理部が出力する前記第二の映像信号と前記音声処理部が出力する前記第二の音声信号との間に第二の時間差を与える遅延部を具備し、前記遅延部が前記第一の時間差を与えた前記第一の音声信号をアナログ信号に変換し、前記遅延部が前記第二の時間差を与えた前記第二の音声信号をアナログ信号に変換する。設定部は、前記第一の時間差と前記第二の時間差とを比較して前記第一の時間差を前記第二の時間差よりも大きく設定する。

実施形態の一例を示す概略図。 実施形態の一例を示す概略図。 実施形態の一例を示す概略図。 実施形態の一例を示す概略図。 実施形態の一例を示す概略図。 実施形態の一例を示す概略図。

以下、実施の形態について図面を参照して説明する。

図１は、実施形態を適用する映像表示装置と同映像表示装置に組み込まれる通信装置の一例を示す。なお、以下に説明する要素や構成あるいは機能は、ハードウエアで実現するものであってもよいし、マイクロコンピュータ（処理装置、ＣＰＵ）等、を用いてソフトウエアで実現するものであってもよい。

図１が示す映像表示装置１は、例えばテレビジョン放送を受信して音声（オーディオ）及び映像（ビデオ）を再生するテレビジョン受信装置（以下ＴＶ装置と称する）を含む。

ＴＶ装置（映像表示装置）１は、少なくともデジタル放送の番組すなわちコンテンツを受信し、再生できる。なお、ＴＶ装置１は、インターネット（ネットワーク）網１００を通じて供給されるコンテンツの受信が可能である。また、ＴＶ装置１は、インターネット網１００を通じて接続される任意の接続相手先との間で、ＩＰ（Internet Protocol）を用いる音声（オーディオを含む）及び動画（ビデオ）による通信が可能なＩＰ電話の利用が可能である。

ＴＶ装置１において、コンテンツ（番組）を受信するチューナ部１１が受信したコンテンツは、分離（Ｄｅｍｕｘ）部１２により、映像（ビデオ）データと音声（オーディオ）データとに分離される。

分離部１２が分離した映像（ビデオ）データは、映像（ビデオ）処理ブロック２１の映像（ビデオ）デコーダ２２によりデコードされ、デジタル映像（ビデオ）信号として出力される。

映像デコーダ２２がデコードした映像（ビデオ）データは、映像出力装置を表示可能に処理する映像（ビデオ）処理部２３に入力され、後段のディスプレイ２４が表示可能に、所定の解像度及び出力方式、例えばインターレース（ｉ）／ノンインターレース（ｐ）等に変換され、ディスプレイ２４に供給される。なお、映像（ビデオ）処理部２３の出力は、例えば外部モニタ装置あるいは投影装置（プロジェクタ装置）等が接続可能な、出力端２５に出力されてもよい。

分離部１２が分離した音声データは、音声（オーディオ）処理ブロック３１の音声（オーディオ）デコーダ３２によりデコードされ、デジタル音声（オーディオ）信号として出力される。

音声デコーダ３２がデコードした音声（オーディオ）信号は、音声出力装置が再生可能に処理する音声（オーディオ）処理部３３と、音声（オーディオ）処理部３３の出力に、映像（ビデオ）処理部２３が出力する映像信号との間の時間的な整合のために、所定時間の遅延を与える（音声（オーディオ）出力を遅延させる）遅延部３４を通過し、アナログの音声（オーディオ）出力を得るＤ−Ａコンバータ３５に入力される。

Ｄ−Ａコンバータ３５からのアナログの音声（オーディオ）出力は、例えばスピーカ３６に入力される。なお、Ｄ−Ａコンバータ３５からの出力は、ＡＶ（Audio Visual）アンプ等が接続可能な出力端３７に、さらに分岐されてもよい。

また、遅延部３４により所定時間の遅延が与えられた音声（オーディオ）信号は、ＩＰ電話制御部４１にも分岐される。ＩＰ電話制御部４１は、例えば音声入力部（マイクロフォン）４２と音声再生部（イヤホンまたは低出力の音声再生向けスピーカ）４３とを含む通信セット４４の接続が可能で、音声入力部４２からの入力をＡ−Ｄ変換するＡ−Ｄ変換部４５と音声再生部への出力をＤ−Ａ変換するＤ−Ａ変換部４６とを含む。なお、音声再生部への出力をＤ−Ａ変換するＤ−Ａ変換部４６は、音声（オーディオ）処理ブロック３１のＤ−Ａコンバータ３５と共用される。

ＩＰ電話制御部４１は、ユーザの顔の画像等を取得するカメラ４７及びカメラ映像処理部４８を伴うことができる。また、ＩＰ電話制御部４１は、通信相手先から送信された画像を再生する画像処理部４９を伴うことができる。

画像処理部４９は、例えばＪＰＥＧ（Joint Photographic Experts Group）に代表される静止画や、例えばＭＰＥＧ（Moving Picture Experts Group）−２，−４（Ｈ．２６４−ＡＶＣ）に代表される動画を再生できる。なお、動画を再生する画像処理部４９は、映像（ビデオ）処理ブロック２１の映像（ビデオ）処理部２３と共用される。

ＴＶ装置（映像表示装置）１において、チューナ部１１、分離部１２、映像（ビデオ）処理ブロック２１、音声（オーディオ）処理ブロック３１及びＩＰ電話制御部４１のそれぞれは、主制御ブロック５１により制御され、所定の動作を実行する。

主制御ブロック（Main Processing Unit，ＭＰＵ）５１は、例えばＣＰＵ（Central Processing Unit，演算装置）あるいはマイクロコンピュータを含む。ＭＰＵ５１は、動作プログラムを保持したＲＯＭ及びワークメモリとして機能するＲＡＭを少なくとも含むメモリユニット５２、インターネット網を通じたＩＰ電話制御部４１に対する外部からの着信あるいはＩＰ電話制御部４１からの外部への送信を管理する状態管理部５３、ディスプレイ２４に表示するＧＵＩ（Graphical User Interface，グラフィカルユーザインタフェース）の表示及びＧＵＩからのユーザ入力を処理するＧＵＩ制御部５４及びインターネット網１００との間の接続、すなわちインターネット網からのさまざまな情報の取得及びインターネット網１００へのユーザからのアクセス等を制御するネットワーク制御部５５、等を少なくとも含む。

ＭＰＵ５１にはまた、ユーザからの制御入力を受け付ける操作入力部３が接続される。

操作入力部３は、例えばチューナ（入力）部１１が選択するチャンネルを特定するためのチャンネルキー（ボタン）や電源のオン／オフに用いる電源スイッチあるいはリモートコントローラ５からの指示や制御入力を受け付ける受信部、等を少なくとも含む。また、文字や記号あるいは数字等の入力を可能とするキー操作入力部（キーボード）等、が接続されてもよい。

なお、ＩＰ電話制御部４１は、ＭＰＵ５１のファームウエア、あるいは予め用意されたプログラムに従い動作するＩＰ電話プログラム、例えばＳｋｙｐｅ社が提供するインターネット電話である「Ｓｋｙｐｅ」等、に準じ、通信セット４４のマイクフォン４２により取得するユーザの音声をパケット化し、ネットワーク（インターネット網）を介して接続された通信相手先に送信できる。もちろん、カメラ４７が用意されている場合、ユーザの映像をパケット化し、音声とともに送信できる。

ＴＶ装置１により番組（コンテンツ）を視聴中に、インターネット網１００を経由してＩＰ通話の着信があった場合、図４に示す視聴中の番組の「映像表示」４０１中の任意の位置、図４の例は、右上の例、に、ＧＵＩ制御部５４の制御により「着信表示」４１１が表示される。

「着信表示」４１１は、例えば着信があることを表示する「着信表示」４１２、送信元すなわち相手先を表示する「相手先表示」４１３、応答の方法を示す「応答表示＜１＞」４１４、「応答表示＜２＞」４１５、及び「応答表示＜３＞」４１６、等を含む。なお、「応答表示＜１＞」４１４は、映像付の着信応答を、「応答表示＜２＞」４１５は、音声のみの着信応答を、及び「応答表示＜３＞」は、応答せず、を、それぞれ示す。従って、視聴者は、例えばリモコン５によるカーソル移動あるいはフォーカスにより、いずれかの応答の方法を選択し、応答または応答せず、を選択できる。

図２に、放送視聴中にＩＰ通話の着信があり、ユーザが通話を選択する場合の表示画面の切り替えと、音声出力の制御の一例を説明する。

放送視聴中［０１］に、通話の着信［０２］があると、図４により説明した「着信表示」４１２が、「映像表示」４０１中に、表示される［０３］。

ユーザが、図４により説明した「応答表示＜１＞」、すなわち映像付の着信応答を選択した場合［０４−ＹＥＳ］、音声（オーディオ）処理ブロック３１の音声（オーディオ）デコーダ３２の出力に、一時的に音量を「０」とするミュートがかけられる［０５］。このとき、ＩＰ通話の終了時に、音声（オーディオ）出力を、元の視聴時の環境に復帰するために用いる情報として、音響設定条件が一時的にメモリユニット５２のＲＡＭあるいはＭＰＵ（マイクロコンピュータ）５１のファームウエアに、保存される［０６］。

次に、番組（コンテンツ）視聴時に、映像デコーダ２２がデコードした映像（ビデオ）データを映像出力装置として表示可能に処理する映像（ビデオ）処理部２３において生じる（音声（オーディオ）出力に対する）映像（ビデオ）出力の遅延（ディレイ）成分を除去するために、音響出力ディレイ処理が削除される［０７］。なお、実際の制御としては、例えばＭＰＵ５１の制御により、音声（オーディオ）処理部３３の出力を遅延部３４に入力せずに、切り替え（信号）線により、直接Ｄ−Ａコンバータ３５に入力すればよい。すなわち、音声（オーディオ）出力と映像（ビデオ）出力との間の時間差を、実質的に０または予め許容される所定時間、例えば２００ｍｓ（ミリ秒）以内とする。もちろん、切り替え器（スイッチ）等を用意して、遅延部３４を経由しないパス（経路）を用いることもできる。なお、ＩＰ通話は、音声（オーディオ）のみであってもよいことはいうまでもない。

遅延部３４によるディレイ処理の削除［０７］により、デジタル放送受信を主に扱うＴＶ装置１に広く採用されている『映像の表示に合わせて、音声の出力に調整（ディレイ）がかけられている』ことに起因して、ＩＰ通話に付属する映像と音声とが大きくずれることが防止される。

すなわち、音声のみの通話（一般的な電話による通話）においては、一般に快適に通話ができる応答性能として、２００ｍｓ（ミリ秒）程度の期間に相手側の音声が出力されることが望まれており、デジタル放送受信を主に扱うＴＶ装置のディレイが有効である場合は、ＩＰ通話においては、応答性能が低下する、との指摘が改善できる。なお、デジタル放送受信を主に扱うＴＶ装置のディレイは、例えば２秒程度であり、ディレイが有効である場合、ＩＰ通話の環境は大きく低下する（応答性能が低くなる）ことから、遅延部３４によるディレイ処理を削除する効果は大きい。

遅延部３４によるディレイ処理の削除に続いて、表示画面が、図５に示す「通話画面」５０１に切り替えられる［０８］。「通話画面」５０１は、例えばＩＰ通話モードが起動していることを示す「モード表示」５１１、着信（通話待機）中であることを示す「着信中表示」５１２、「電話帳（相手先リスト）表示」５１３〜５１７、カメラの動作等を示す「動作表示」５１８、相手先と自身の顔の映像を表示する「映像表示」５１９、５２０等を含む。

続いて、「通話画面」５０１の表示と同時、あるいは所定のタイミングで、通話用音響設定、例えば自身が送信する送信音声のレベル（マイクロフォン４２の感度）、相手先音声の再生レベル（イヤホン４３への出力強度）等の設定が実施される［０９］。

以下、ミュートが解除［１０］され、通話準備か終了し、通話（送信と受信）が可能となる［１１］。

このように、ＴＶ装置１による番組視聴中に着信するＩＰ通話の音声（オーディオ）出力について、ＴＶ装置１による番組視聴中に、遅延部３４により通常用いられる音声へのディレイ（映像出力との間の時間的なずれを排除するための調整）をキャンセルし、ＩＰ通話中の映像と音声の時間的なずれを実質的になくすことで、快適な応答性能を得ることができる。

図３は、図２に一例を示したＩＰ通話による通話終了後、ユーザが放送視聴を選択する場合の制御例を示す。

ＩＰ通話が終了した場合、例えば別の相手先との間でＩＰ通話を開始する場合や、終了したＩＰ通話の内容に従い、外出や資料探し等、ＴＶ装置１による番組の視聴を続けるとは限らないが、図３では、ＩＰ通話の終了後、再びＴＶ装置１による番組の視聴を継続する場合を説明する。

ＩＰ通話の終了後、番組（放送）の視聴の継続すなわち放送視聴への切り替えが指示される［１０１］と、音声（オーディオ）処理ブロック３１の音声（オーディオ）デコーダ３２の出力に、一時的に音量を「０」とするミュートがかけられる［１０２］。このとき、次のＩＰ通話に備え、通話用音響設定、例えば自身が送信する送信音声のレベル（マイクロフォン４２の感度）、相手先音声の再生レベル（イヤホン４３への出力強度）等の保存が実施される［１０３］。

続いて、または所定のタイミングで、映像（ビデオ）処理部２３の出力が先に視聴中であった番組（コンテンツ）に変更され、ディスプレイ２４に、図６に示すように、ＩＰ通話開始前に視聴していた番組（コンテンツ）の「映像」６０１が表示される［１０４］。

次に、音声（オーディオ）処理部３３の出力が遅延部３４を経由するＴＶモードに切り替えられる。すなわち、音声（オーディオ）処理部３３の出力に対し、遅延部３４によるディレイ処理が追加される［１０５］。これにより、デジタル放送受信を主に扱うＴＶ装置１において通常適用される『映像の表示に合わせた音声の出力の調整（ディレイ）』が復帰し、視聴する番組（コンテンツ）の映像を音声とがずれることが防止される。このとき、図２により説明した、音声（オーディオ）出力を、元の視聴時の環境に復帰するために用いる情報として、音響設定条件がメモリユニット５２のＲＡＭあるいはＭＰＵ（マイクロコンピュータ）５１のファームウエアから読み出され、ＴＶ装置１による番組（コンテンツ）の視聴に適した音響設定が設定される［１０６］。なお、番組（コンテンツ）の内容に基づいて、新たに音響設定が設定されてもよい。例えば、ＩＰ通話開始前に視聴していた番組（コンテンツ）がスポーツ中継等であり、それに適した音場設定、例えば球場（ドーム）モード／スポーツモードが設定され、ＩＰ通話終了後に視聴する番組（コンテンツ）がニュース番組等、である場合は、音場設定が、スタジオ中継／ニュースモード、等に設定されてもよい。

以下、ミュートが解除［１０７］され、ＴＶ装置１が受信する番組（コンテンツ）の視聴が可能となる［１１］。

以上説明した通り、本提案により、ＩＰ通話が可能なデジタルＴＶ装置において、番組の視聴中にＩＰ通話の着信がある場合、ＴＶ装置による番組視聴中に音声（オーディオ）出力について設定されている、遅延部による音声への遅延（ディレイ）をキャンセルし、ＩＰ通話中の映像と音声の時間的なずれを実質的になくすことで、ＴＶ装置を用いるＩＰ通話についても、快適な応答性能を得ることができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１…テレビジョン受信装置（ＴＶ装置）、３…操作入力部、２１…映像（ビデオ）処理ブロック、２２…映像デコーダ、２３（４９）…映像（ビデオ）処理部、３１…音声（オーディオ）処理ブロック、３２…音声デコーダ、３３…音声（オーディオ）処理部、３４…遅延部、３５（４６）…Ｄ−Ａコンバータ、４１…ＩＰ電話制御部、４２…音声入力部、４３…音声再生部、４７…カメラ、４８…カメラ映像処理部、５１…主制御ブロック、５２…メモリユニット、５３…ＧＵＩ制御部、５４…状態制御部、５５…ネットワーク制御部。

Claims (5)

1. コンテンツを受信し、受信したコンテンツの第一の映像データと第一の音声データとを分離する分離部と、
   ネットワークを通じて前記第一の映像データと異なる第二の映像データ及び前記第一の音声データと異なる第二の音声データを受信するネットワーク受信部と、
   前記第一の映像データをデコードして第一の映像信号を出力し、前記第二の映像データをデコードして第二の映像信号を出力する映像処理部と、
   前記第一の音声データをデコードして第一の音声信号を出力し、前記第二の音声データをデコードして第二の音声信号を出力する音声処理部と、
   前記映像処理部が出力する前記第一の映像信号と前記音声処理部が出力する前記第一の音声信号との間に第一の時間差を与え、前記映像処理部が出力する前記第二の映像信号と前記音声処理部が出力する前記第二の音声信号との間に第二の時間差を与える遅延部を具備し、前記遅延部が前記第一の時間差を与えた前記第一の音声信号をアナログ信号に変換し、前記遅延部が前記第二の時間差を与えた前記第二の音声信号をアナログ信号に変換する変換部と、
   前記第一の時間差と前記第二の時間差とを比較して前記第一の時間差を前記第二の時間差よりも大きく設定する設定部と、
   を、具備する映像表示装置。
2. 前記第二の映像データは、ＩＰ（Internet Protocol）に準拠する請求項１記載の映像表示装置。
3. 前記分離部が前記第一の映像データと前記第一の音声データとを分離するコンテンツは、チューナまたは外部入力が入力する請求項１記載の映像表示装置。
4. 分離部により、受信したコンテンツから前記第一の映像データと第一の音声データとを分離し、
   ネットワーク受信部により、ネットワークを通じて前記第一の映像データと異なる第二の映像データ及び前記第一の音声データと異なる第二の音声データを受信し、
   映像処理部により、前記第一の映像データをデコードして第一の映像信号を出力し、前記第二の映像データをデコードして第二の映像信号を出力し、
   音声処理部により、前記第一の音声データをデコードして第一の音声信号を出力し、前記第二の音声データをデコードして第二の音声信号を出力し、
   遅延部が前記第一の映像信号と音声処理部が出力する前記第一の音声信号との間に第一の時間差を与える前記第一の音声信号を変換部によりアナログ信号に変換し、遅延部が前記第二の映像信号と音声処理部が出力する前記第二の音声信号との間に第二の時間差を与える前記第二の音声信号を変換部によりアナログ信号に変換し、
   設定部が前記第一の時間差と第二の時間差とを比較して前記第一の時間差を前記第二の時間差よりも大きく設定する
   音声出力制御方法。
5. 受信するコンテンツは、チューナまたは外部入力が入力する請求項４記載の音声出力制御方法。

Images