JP2012205285A - 映像信号処理装置及び映像信号処理方法 - Google Patents

Abstract

【課題】少なくとも表示領域の一部の領域において解像度が低下するモードを持つ表示装置で表示出力する映像信号を好適に処理する。
【解決手段】解像度が画面垂直方向、水平方向にそれぞれ１／ｎ＿Ｖ、１／ｎ＿Ｈに低下する場合、横線の幅がｎ＿Ｖ画素以上、縦線の幅がｎ＿Ｈ画素以上であるフォントを使用する。あるいは、横線の幅がｎ＿Ｖ画素以上、縦線の幅がｎ＿Ｈ画素以上となるようにフォントの大きさを変更する。視点数増大によって解像度が低下しても、横線の幅がｎ＿Ｖ画素以上、縦線の幅が少なくともｎ＿Ｈ画素以上のフォントは、左右両方の眼に表示されるので、両眼視野闘争は発生しない。
【選択図】 図２Ａ

Description

本発明は、少なくとも表示領域の一部の領域において解像度が低下するモードを持つ表示装置で表示出力する映像信号を処理する映像信号処理装置及び映像信号処理方法に係り、例えば、１画素ライン毎に右眼用画像と左眼用画像を交互に表示する立体視画像や、複数の視差画像を多重した多視点画像などの映像信号を処理する映像信号処理装置及び映像信号処理方法に関する。

左右の眼に視差のある画像を表示することで、視聴者に立体的に見える立体視画像を提示することができる。立体視画像技術は、テレビ放送、映画、遠隔通信、遠隔医療など、さまざまな分野において適用が期待されている。

立体視できる画像は、基本的には、対象物を左眼用カメラ及び右眼用カメラでそれぞれ実写した左眼用画像、右眼用画像からなる実写２視点画像である。これに対し、４視点、８視点という具合に視点数を増やし、より多くの方向から写した視差画像を合成することで、正面だけでなくより広い視点から自然な立体映像を見ることができるようになる。

他方、画面の画素を各視点に割り振り、視点毎の視差画像を多重して同時に表示することによって多視点画像を表示する表示する表示装置においては、視点数に応じて解像度が低下することが知られている。このため、幅が１画素程度（若しくは視差画像の解像度以下となる）細い線を描画したときに、ある視点から観察すると見えるが、他の視点から観察すると見えず、視認性が劣化することが懸念される。例えば、左右いずれか片方の眼には線が表示されるが、もう片眼に表示されないと、両眼視野闘争が発生する。

例えば、１画素ライン毎に右眼用画像と左眼用画像を交互に表示するとともに、偏光制御フィルターを用いて右眼用画像と左眼用画像の偏光状態を切り替える立体視表示方式では、視聴者は、右眼用画像は右眼から、左眼用画像は左眼からそれぞれ見ることができるように偏光状態を左右で変えた眼鏡を掛けることで、視聴者は、画面に表示された画像を立体視することができる（例えば、特許文献１、２を参照のこと）。

上記の偏光方式の立体視表示装置においては、ライン毎に右眼用画像と左眼用画像を交互に表示出力することから、立体視画像を表示するときは、通常の２次元画像を表示するときに比べて、画面垂直方向の解像度が２分の１に低下してしまう。このため、幅が１画素の細い横線を表示させると、片眼には線が表示されるが、もう片眼には表示されず、両眼視野闘争が発生する。

また、印加電圧に応じて屈折率が変わる液晶パネルなどを用いて、２Ｄ表示と３Ｄ表示を切り換えることが可能な表示装置についても提案されている（例えば、特許文献３を参照のこと）。この種の表示装置においては、３Ｄ表示に切り換えた表示領域において、視点数に応じて解像度が大きく低下し、細かい線の視認性が劣化する。

また、レンチキュラー・レンズやパララックス・バリアなどの光学素子を表示画面に相対して配置して、特定位置から見える画素を制御することで、裸眼３Ｄを実現する表示装置が知られている（例えば、特許文献４を参照のこと）。このような多視点画像表示装置では、画面の垂直方向及び水平方向の各々において解像度が低下するので、細かい縦線並びに横線の視認性が劣化する。

カメラで撮影した自然画像においては、幅が１画素の細い線を描画することは稀である。一方、ＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）などの人工画像においては細かい文字や図形を描画することは頻繁に起きるため、立体視画像や多視点画像を表示する際には両眼視野闘争を発生し易い。

特開２０１０−２０４３８９号公報 特開２０１０−２５０２５７号公報 特開２００３−１８５９９１号公報 米国特許第６０６４４２４号公報

本発明の目的は、１画素ライン毎に右眼用画像と左眼用画像を交互に表示する立体視画像や、複数の視差画像を多重した多視点画像などの、少なくとも表示領域の一部の領域において解像度が低下するモードを持つ表示装置で表示出力する映像信号を好適に処理することができる、優れた映像信号処理装置及び映像信号処理方法を提供することにある。

本発明のさらなる目的は、解像度が低下した表示領域において、両眼視野闘争の発生を抑制して、幅が１画素程度の細い線を好適に表示することができる、優れた映像信号処理装置及び映像信号処理方法を提供することにある。

本願は、上記課題を参酌してなされたものであり、請求項１に記載の発明は、
少なくとも表示領域の一部の領域において解像度が低下する映像信号を入力する映像入力部と、
前記の解像度が低下する領域に重畳するイメージ・データを、前記の解像度に応じて変更するイメージ・データ変更部と、
前記イメージ・データ変更部で変更した後のイメージ・データを、前記映像入力部で入力した映像信号に重畳する映像重畳部と、
を具備する映像信号処理装置である。

本願の請求項２に記載の発明によれば、請求項１に記載の映像信号処理装置のイメージ・データ変更部は、前記の解像度が画面垂直方向、水平方向にそれぞれ１／ｎ＿Ｖ、１／ｎ＿Ｈに低下する場合、横線の幅がｎ＿Ｖ画素以上、縦線の幅がｎ＿Ｈ画素以上の大きさとなるように、イメージ・データを変更するように構成されている。

また、本願の請求項２に記載の発明は、
少なくとも表示領域の一部の領域において解像度が低下する映像信号を入力する映像入力ステップと、
前記の解像度が低下する領域に重畳するイメージ・データを、前記の解像度に応じて変更するイメージ・データ変更ステップと、
前記イメージ・データ変更ステップにおいて変更した後のイメージ・データを、前記映像入力ステップにおいて入力した映像信号に重畳する映像重畳ステップと、
を有する映像信号処理方法である。

本発明によれば、１画素ライン毎に右眼用画像と左眼用画像を交互に表示する立体視画像や、複数の視差画像を多重した多視点画像などの、少なくとも表示領域の一部の領域において解像度が低下するモードを持つ表示装置で表示出力する映像信号を好適に処理することができる、優れた映像信号処理装置及び映像信号処理方法を提供することができる。

また、本発明によれば、解像度が低下した表示領域において、両眼視野闘争の発生を抑制して、幅が１画素程度の細い線を好適に表示することができる、優れた映像信号処理装置及び映像信号処理方法を提供することができる。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。

図１Ａは、幅の細い線からなるフォントを解像度が低下したモードで表示した際に視認されるイメージを説明するための図（通常のフォント）である。 図１Ｂは、幅の細い線からなるフォントを解像度が低下したモードで表示した際に視認されるイメージを説明するための図（左眼用画像）である。 図１Ｃは、幅の細い線からなるフォントを解像度が低下したモードで表示した際に視認されるイメージを説明するための図（右眼用画像）である。 図１Ｄは、幅の細い線からなるフォントを解像度が低下したモードで表示した際に視認されるイメージを説明するための図（視認イメージ）である。 図２Ａは、幅の細い線からなるフォントを拡大して解像度が低下したモードで表示した際に視認されるイメージを説明するための図（立体視画像用フォント）である。 図２Ｂは、幅の細い線からなるフォントを拡大して解像度が低下したモードで表示した際に視認されるイメージを説明するための図（左眼用画像）である。 図２Ｃは、幅の細い線からなるフォントを拡大して解像度が低下したモードで表示した際に視認されるイメージを説明するための図（右眼用画像）である。 図２Ｄは、幅の細い線からなるフォントを拡大して解像度が低下したモードで表示した際に視認されるイメージを説明するための図（視認イメージ）である。 図３は、少なくとも表示領域の一部の領域において解像度が低下するモードを持つ表示装置で表示出力する映像信号を処理する映像信号処理装置３０の構成例を示した図である。 図４は、映像信号処理装置４０の他の構成例を示した図である。

以下、図面を参照しながら本発明の実施形態について詳細に説明する。

上述したように、少なくとも表示領域の一部の領域において解像度が低下するモードを持つ表示装置では、解像度が低下した領域において幅が１画素程度の細い線を表示した際に、視認性がよくないという問題がある。

例えば、偏光制御フィルターを用いた立体視表示方式では、１画素ライン毎に右眼用画像と左眼用画像を交互に表示するので、画面垂直方向の解像度が２分の１に低下してしまう。このため、幅が１画素の細い横線を表示させると、片眼には線が表示されるが、もう片眼には表示されず、両眼視野闘争が発生する。

例えば図１Ａに示す、縦横それぞれ１画素の幅しかない「Ｆ」というフォントを立体視表示する場合について考察する。１画素ライン毎に左眼用画像と右眼用画像を交互に表示する場合、図１Ａに示したフォントは、左眼用画像及び右眼用画像において、それぞれ図１Ｂ、図１Ｃに示すように左右の眼に表示される。図１Ｂ、図１Ｃから分かるように、フォント「Ｆ」の幅が１画素しかない横線は、左眼用画像又は右眼用画像の一方にしか表示されない。図１Ｂに示した画像を左眼で見るとともに、図１Ｃに示した画像を右眼で見たとき、観察者の頭の中では、これらの画像が融像され、図１Ｄに示すような視認イメージとなる。そして、同図中の破線で囲んだ部分において、両眼視野闘争が発生する。

そこで、本発明者らは、解像度が低下した表示領域に幅が細い線を表示する際の両眼視野闘争を防止するために、本来のフォントを低解像度用のフォントに切り換える方法を提案する。

解像度が例えば画面垂直方向、水平方向にそれぞれ１/ｎ＿Ｖ、１/ｎ＿Ｈに低下する場合に使用される、低解像度用のフォントは、元のフォントの横線の幅がｎ＿Ｖ画素以上、縦線の幅がｎ＿Ｈ画素以上を持つものである。

このような低解像度用のフォント・イメージは、元のフォントとともにあらかじめ格納していてもよい。そして、解像度が低下した表示領域にフォントを重畳する際に、当該表示領域の解像度に応じて、使用するフォント・イメージを切り替えて用いるようにすればよい。

あるいは、あるフォントを解像度が低下した表示領域に重畳する際に、当該表示領域の解像度に応じて、元のフォント・イメージの大きさを変更する（すなわち、イメージを動的に生成する）ようにしてもよい。

図２Ａには、図１Ａに示した縦横それぞれ１画素の幅しかない「Ｆ」というフォントを、１画素ライン毎に右眼用画像と左眼用画像を交互に表示する表示領域（すなわち、画面垂直方向の解像度が２分の１に低下する表示領域）で使用するために置き換えられた（又は、大きさが変更された）低解像度用のフォント・イメージを示している。画面垂直方向の解像度が２分の１に低下するので、図１Ａに示したように、元のフォント「Ｆ」では横線の幅が１画素しかないので、図２Ａに示すように、横幅は２画素（又はそれ以上）を持つように大きさが変更されている。

図２Ａに示したフォントは、左眼用画像及び右眼用画像において、それぞれ図２Ｂ、図２Ｃに示すように左右の眼に表示される。フォント「Ｆ」の横線の幅は２画素以上に大きくされていることから、図１Ｂ、図１Ｃとは相違し、左眼用画像及び右眼用画像のいずれにおいても、フォントの「Ｆ」の横線は表示される。観察者の頭の中では、これらの画像が融像され、図２Ｄに示すような視認イメージとなる。横線はすべて左眼用画像及び右眼用画像の両方で表示されるので、両眼視野闘争は発生しない。

図３には、少なくとも表示領域の一部の領域において解像度が低下するモードを持つ表示装置で表示出力する映像信号を処理する映像信号処理装置３０の構成例を示している。図示の映像信号処理装置３０が行なう映像信号の処理は、立体視画像を記録する際、並びに、記録された立体視画像を再生する際のいずれに適用することもできる。

映像入力部３１は、外部から映像信号を入力する。入力する映像信号には、立体視画像や多視点画像など、少なくとも表示領域の一部の領域において解像度が低下する映像信号を含むこともある。なお、ここで言う、映像信号の伝送元となる「外部」には、ディジタル放送の受信機や、ブルーレイ・ディスク・プレイヤーなどのコンテンツ再生装置を挙げることができる。

解像度情報取得部３２は、映像入力部３１で入力した映像信号に解像度が低下する表示領域が含まれる場合に、その表示領域における垂直方向及び水平方向の解像度の低下１／ｎ＿Ｖ、１／ｎ＿Ｈを、その位置情報とともに取得する。取得する具体的な方法は特に限定されない。映像信号の供給元からの信号に基づいて判別してもよいし、映像信号のフォーマットから判別してもよい。あるいは、ユーザーが解像度を操作入力するようにしてもよい。

イメージ・データ保持部３３は、文字フォントや図形など、映像信号に重畳するイメージ・データを保持している。

イメージ・データ処理部３４は、映像入力部３１に入力された映像信号に重畳すべきイメージ・データをイメージ・データ保持部３３から取り出すと、解像度情報取得部３２から送られてくる情報に基づいて、そのイメージ・データを重畳する位置が、解像度が低下する表示領域内かどうかを判別する。そして、イメージ・データ処理部３４は、解像度が低下する表示領域内に重畳するイメージ・データについては、横線の幅がｎ＿Ｖ画素以上、縦線の幅がｎ＿Ｈ画素以上となるように大きさを変更する。

そして、映像重畳部３５は、映像入力部３１で入力した映像信号に、イメージ・データ処理部３４で処理した後のイメージ・データを重畳して、後段の映像記録装置又は映像再生装置（いずれも図示しない）に出力する。

また、図４には、少なくとも表示領域の一部の領域において解像度が低下するモードを持つ表示装置で表示出力する映像信号を処理する映像信号処理装置４０の構成例を示している。図示の映像信号処理装置４０が行なう映像信号の処理は、立体視画像を記録する際、並びに、記録された立体視画像を再生する際のいずれに適用することもできる。

映像入力部４１は、外部から映像信号を入力する。入力する映像信号には、立体視画像や多視点画像など、少なくとも表示領域の一部の領域において解像度が低下する映像信号を含むこともある。また、解像度情報取得部４２は、映像入力部４１で入力した映像信号に解像度が低下する表示領域が含まれる場合に、その表示領域における垂直方向及び水平方向の解像度の低下１／ｎ＿Ｖ、１／ｎ＿Ｈを、その位置情報とともに取得する。

イメージ・データ保持部４３は、文字フォントや図形など、映像信号に重畳するイメージ・データを保持している。イメージ・データ保持部４３は、同じ文字フォント並びに図形につき、低下した解像度１／ｎ＿Ｖ、１／ｎ＿Ｈ毎に横線の幅並びに縦線の幅をそれぞれｎ＿Ｖ以上、ｎ＿Ｈ以上の画素に大きくした、複数種類のイメージ・データを保持しているものとする。

イメージ・データ選択部４４は、解像度情報取得部４２から送られてくる情報に基づいて、イメージ・データを重畳する位置における解像度１／ｎ＿Ｖ、１／ｎ＿Ｈを判別する。そして、イメージ・データ選択部４４は、映像入力部３１に入力された映像信号に重畳すべき文字フォント又は図形につき、解像度１／ｎ＿Ｖ、１／ｎ＿Ｈに応じて、横線の幅がｎ＿Ｖ画素以上、縦線の幅がｎ＿Ｈ画素以上の大きさを持つイメージ・データを選択する。

そして、映像重畳部４５は、映像入力部４１で入力した映像信号に、イメージ・データ選択部４４で選択した後のイメージ・データを重畳して、後段の映像記録装置又は映像再生装置（いずれも図示しない）に出力する。

以上、特定の実施形態を参照しながら、本発明について詳細に説明してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。

本発明に係る映像信号処理装置は、立体視画像を記録する際、並びに、記録された立体視画像を再生する際のいずれに適用することもできる。

また、本発明に係る映像信号処理装置は、ゲーム機やブルーレイ・ディスク・プレイヤー、パーソナル・コンピューター、ＴＶなどの表示装置にＯＳＤなどを表示する際の処理に利用することができる。

要するに、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、特許請求の範囲を参酌すべきである。

３０…映像信号処理装置
３１…映像入力部
３２…解像度情報取得部
３３…イメージ・データ処理部
３４…映像重畳部
４０…映像信号処理装置
４１…映像入力部
４２…解像度情報取得部
４３…イメージ・データ選択部
４４…映像重畳部

Claims (3)

1. 少なくとも表示領域の一部の領域において解像度が低下する映像信号を入力する映像入力部と、
   前記の解像度が低下する領域に重畳するイメージ・データを、前記の解像度に応じて変更するイメージ・データ変更部と、
   前記イメージ・データ変更部で変更した後のイメージ・データを、前記映像入力部で入力した映像信号に重畳する映像重畳部と、
   を具備する映像信号処理装置。
2. 前記イメージ・データ変更部は、前記の解像度が画面垂直方向、水平方向にそれぞれ１／ｎ＿Ｖ、１／ｎ＿Ｈに低下する場合、横線の幅がｎ＿Ｖ画素以上、縦線の幅がｎ＿Ｈ画素以上の大きさとなるように、イメージ・データを変更する、
   請求項１に記載の映像信号処理装置。
3. 少なくとも表示領域の一部の領域において解像度が低下する映像信号を入力する映像入力ステップと、
   前記の解像度が低下する領域に重畳するイメージ・データを、前記の解像度に応じて変更するイメージ・データ変更ステップと、
   前記イメージ・データ変更ステップにおいて変更した後のイメージ・データを、前記映像入力ステップにおいて入力した映像信号に重畳する映像重畳ステップと、
   を有する映像信号処理方法。