JP2010197656A - 映像表示装置 - Google Patents

Abstract

【課題】ユーザの設定を煩わすことなく、視聴環境や視聴者の目の色に応じて適正な画質の映像を安定に表示する映像表示装置を提供すること。
【解決手段】装置に備えたカメラ１０１で撮影した画像から視聴者の顔の領域を検出する顔領域検出部１０２と、顔の領域からさらに目の領域を検出する目領域検出部１０３と、目領域の画像データを解析して輝度ヒストグラムと色相ヒストグラムを作成し、その分布の特徴から外光の明るさと色合い、視聴者の目の色などの環境特徴量を取得する画像解析部１０６と、取得した環境特徴量に応じて表示する映像の画質を補正する画質補正部１０７とを備える。
【選択図】図１

Description

本発明は、視聴環境や視聴者の目の色に応じて表示する映像の画質を適正に制御する映像表示装置に関する。

近年、テレビジョン装置などの映像表示装置は、画質改善のため、周囲の明るさや色合い（色温度）などの視聴環境に応じて表示する映像の画質を調整する機能が種々提案されている。さらには、これらの視聴環境だけでなく、視聴者（ユーザ）の目の色の違いにより色に対する感度が異なることを考慮して、見易い画質に調整することが提案されている（例えば、特許文献１）。目の色は、目に入る光の量を調節する虹彩部分のメラニン色素の量により異なり、メラニン色素が多いと目の色は茶や黒になり、メラニン色素が少ないと青や緑になる。黒い目と青い目では視感値に差があり、一般に黒い目では高い色温度を好み、青い目では色差視感力が大きいと言われている。

特開２００７−２６４１２４号公報

前記特許文献１に記載される表示装置は、ユーザの目の色の違いと周囲の光の色温度の変化に応じて、表示される画像がユーザにとって見易くなるように調整するものである。具体的には、ユーザの目の色については、予め表示装置に対してユーザの目の色情報を設定し記憶部に記憶しておく。また、外光の色温度は、カメラで撮影した画像データからユーザの目の近傍の皮膚の色度を測定することによって推定している。

その場合、ユーザの目の色情報の設定は、ユーザが自ら設定画面にて設定を行うものである。よって、目の色の異なるユーザが使用する場合は、目の色情報を設定し直さなければならない。また、外光の明るさと色温度の推定は、ユーザの皮膚の画像の解析により行うものである。その際皮膚の色はユーザごとに異なるため、予めそのユーザにとっての基準値を設定しなければならない。また、同一ユーザであっても皮膚の色が変化することもあり得るので、基準値を修正しなければならない。テレビジョン装置のように、複数の視聴者（ユーザ）が利用する場合において、これらの設定とその変更はユーザにとって煩わしく不便であり、よって適正な画質調整を安定に行うのは困難と思われる。

本発明の目的は、ユーザの設定を煩わすことなく、視聴環境や視聴者の目の色に応じて適正な画質の映像を安定に表示する映像表示装置を提供することである。

本発明の映像表示装置は、当該装置の周囲にいる視聴者を撮影するカメラと、該カメラで撮影した画像から上記視聴者の顔の領域を検出する顔領域検出部と、上記検出した顔の領域からさらに目の領域を検出する目領域検出部と、該目領域検出部から出力される目領域画像データを解析して、視聴者の目の色を含む環境特徴量を取得する画像解析部と、該画像解析部で取得した環境特徴量に応じて表示する映像の色温度を含む画質を補正する画質補正部と、を備える。

ここに前記環境特徴量には、外光の明るさと色合いを含む。前記画像解析部は、前記目領域画像データを解析して輝度ヒストグラムと色相ヒストグラムを作成し、その分布の特徴から前記環境特徴量を取得する。

さらに、前記目領域検出部は、顔の領域から目の領域を検出するとき、検出した目の領域に前記カメラをズームインさせることで、前記目領域画像データから目領域以外の画像を除去する。

本発明によれば、ユーザの設定を煩わすことなく、視聴環境や視聴者に応じて適正な画質の映像を安定に表示する映像表示装置を実現できる。

本発明にかかる映像表示装置の一実施例を示す構成図。 本発明にかかる映像表示装置の他の実施例を示す構成図。 本実施例の映像表示装置における画質補正の流れを示すフローチャート。 環境特徴量と輝度ヒストグラムとの関係を示す図。 環境特徴量と色相ヒストグラムとの関係を示す図。 外光の色合いと輝度および色相ヒストグラムとの関係を示す図。 画質補正に用いる画質制御マトリクス表の一例。

以下、本発明の実施の形態を図面を用いて説明する。
図１は、本発明にかかる映像表示装置の一実施例を示す構成図である。本実施例では、映像表示用に液晶ディスプレイ（ＬＣＤ表示部）１０９を用いる場合を示す。ＬＣＤ表示部１０９では、液晶パネルを照明するためのバックライト１１１を備える。

カメラ１０１は映像表示装置に取り付けてあり、装置の周囲にいる視聴者を撮影する。顔領域検出部１０２は撮影した画像から視聴者の顔の部分を検出し、目領域検出部１０３は顔の領域からさらに目の部分を検出して抽出する。顔の検出では、例えば肌色情報を利用したり、目、口、鼻などの特徴点を検出することで行う。かかる顔検出の詳細は、例えば特開２００４−２５９２１５号公報、特開２００６−７２７７０号公報、特開２００５−７１３４４号公報等種々の文献に開示されているため、ここではその説明を省略する。

また、目の検出では、顔検出にて検出された特徴点をもとに、目の領域を特定する。かかる目の検出の詳細は、上記顔検出の一例として挙げた特許文献以外に、例えば特開２００１−２１６５１５号公報などに開示されており、これについての説明もここでは省略するものとする。その際、特定した領域にカメラをズームインすることで、目以外の不要な画像を除去し、目領域画像の解像度を向上させることができる。さらに、目のサイズには個人差があるので、抽出した目の領域のサイズを標準のサイズに正規化する。目領域検出部１０３は、抽出した目領域内の画像データ（目領域画像データ）をＣＰＵ１０６へ出力する。

ＣＰＵ（画像解析部）１０６は、目領域検出部１０３から出力される目領域画像データを解析して、外光の明るさ（照度）と色合い（照明色）や視聴者の目の色（以下、これらをまとめて「環境特徴量」と呼ぶ）を取得する。後述するように、画像データの解析では輝度ヒストグラムと色相ヒストグラムを作成して、その分布の特徴から外光の明るさ、色合い、視聴者の目の色などの環境特徴量を取得する。このように、目領域画像データから全ての環境特徴量を取得するようにした。また、カメラをズームインして目領域画像の解像度を向上させることによって、環境特徴量の取得精度を高めることができる。

一方、映像入力部１０４には図示しないチューナなどから映像信号が入力し、映像特徴検出部１０５は入力した映像信号から映像の明るさや色合いなど（以下、これらを「映像特徴量」と呼ぶ）を検出する。検出した映像特徴量は、ＣＰＵ１０６へ出力される。

ＣＰＵ（画像解析部）１０６は、映像特徴検出部１０５から出力される映像特徴量と、上記取得した環境特徴量に応じて、画質補正部１０７とバックライト駆動部１１０に対して画質補正の制御信号を送る。すなわち、映像自身の持つ特徴量（映像特徴量）に適した画質に補正するとともに、視聴環境と視聴者の条件（環境特徴量）に適した画質に補正するものである。補正のために、例えば後述する画質制御マトリクス表（図７）を用意しておき、これを参照して制御する。画質補正部１０７は、入力した映像信号に対して、ＣＰＵ１０６からの制御信号に従い、コントラスト、ブライトネス、ガンマ、色温度、シャープネス、彩度などの画質パラメータを補正する。映像出力部１０８は、補正後の映像信号をＬＣＤ表示部１０９へ出力する。また、バックライト駆動部１１０は、バックライト１１１の光源に供給する電力を調整し、光源の明るさを補正する。

以上のように本実施例の映像表示装置では、カメラ１０１で撮影した視聴者の目の画像から環境特徴量（外光の明るさと色合い、視聴者の目の色）を一括して取得し、これに適した画質の映像を表示する構成とした。よって、目の色の異なるユーザが使用する場合でも、自動的にそのユーザの目の色を検出するので、ユーザの手を煩わすことがない。また、外光の色合いを取得する際、ユーザの皮膚の色は変化しやすいのに対し目の色は安定しているので、ユーザごとの基準値を設けることなく精度良く色合いを取得し、その結果、画質調整を安定に行うことができる。

図２は、本発明にかかる映像表示装置の他の実施例を示す構成図である。本実施例では、映像表示用にプラズマディスプレイパネル（ＰＤＰ表示部）２０９を用いる場合を示す。装置の構成は図１と共通であり、符号２０１〜２０８の要素は、図１の符号１０１〜１０８の要素と同様である。ＰＤＰ表示部２０９は自発光であるため、バックライトおよびその駆動部を必要としない。

本実施例の映像表示装置においても、カメラ１０１で撮影した視聴者の目の画像から環境特徴量（外光の明るさと色合い、視聴者の目の色）を一括して取得し、これに適した画質の映像を表示する構成とした。
図１と図２に示した映像表示装置は、テレビジョン放送を受信するチューナや、受信した放送番組をＨＤＤや光ディスクに記録する録画装置を搭載した一体化構成としても良い。

図３は、本実施例の映像表示装置における画質補正の流れを示すフローチャートである。図１の映像表示装置の構成の場合で説明するが、図２の場合も同様である。
Ｓ３０１では、カメラ１０１により当該装置の周囲を撮影する。
Ｓ３０２では、顔領域検出部１０２により、撮影した画像から視聴者の顔領域を検出する。もし、顔領域が検出されないときは、Ｓ３０７へ進み、標準の画質補正（映像特徴量に応じた補正）を行う。また、検出された顔が複数個ある場合は、これらの平均をとるようにする（以後の画像データの平均をとる）。

Ｓ３０３では、目領域検出部１０３により、顔領域から目領域を検出し目領域画像データを取得する。その際、カメラ１０１のズームイン動作を行い、また検出した目領域サイズの正規化を行う。
Ｓ３０４では、ＣＰＵ１０６により、目領域画像データを解析する。具体的には、目領域を複数領域に分割して、各領域の画像データから輝度分布（ヒストグラム）と色相分布（ヒストグラム）を作成する。
Ｓ３０５では、作成した輝度ヒストグラムと色相ヒストグラムから、その分布の特徴に基づき外光の明るさ、色合い、視聴者の目の色などの環境特徴量を取得する。

Ｓ３０６では、ＣＰＵ１０６は取得した環境特徴量に応じて、画質補正部１０７とバックライト駆動部１１０を制御し映像の画質を補正する。補正のために、環境特徴量と画質設定の関係を示す画質制御マトリクス表（図７）を参照する。このとき、映像特徴量に応じた補正も組み合わせることで、最適な画質を実現させる。
Ｓ３０８では、ＬＣＤ表示部１０９とバックライト１１１により、画質の補正された映像を表示する。

次に、目領域画像データからどのように環境特徴量を取得するかについて説明する。本実施例では、目領域画像データから輝度ヒストグラムと色相ヒストグラムを作成し、その分布の特徴から外光の明るさ、色合い、視聴者の目の色などの環境特徴量を取得するものである。これらを図４、図５、図６で説明する。

図４は、環境特徴量と輝度ヒストグラムとの関係を示す図である。輝度ヒストグラムは、目領域を約２０個のメッシュに分割して、目領域画像データから各分割領域での輝度値を求め、その度数分布を示したものである。環境パラメータとして、外光の明るさを３段階（明るい（１０００ｌｘ）、標準（１５０ｌｘ）、暗い（３０ｌｘ））と変化させ、視聴者の目の色を茶色と青色とで比較している。なお、外光の色合いは昼光色（色温度６５００Ｋ）としている。

各ヒストグラムの分布は３箇所に分離しているが（符号４０１’，４０２’，４０３’）、これらは目領域を構成する瞳孔４０１と虹彩４０２と強膜（白目）４０３の部分に対応している。瞳孔４０１の部分は輝度が低く、虹彩４０２の部分は中程度、白目４０３の部分は輝度が高くなる。

外光が明るいときは（ａ１，ａ２）、瞳孔４０１が小さく、白目４０３からの反射光が強いので、高輝度成分が強調された分布となる。外光が暗いときは（ａ５，ａ６）、瞳孔４０１が大きく、白目４０３からの反射光が弱いので、低輝度成分が強調された分布となる。なお、目の色（茶色か青色か）に関しては顕著な差は見られない。よって、外光の明るさについての環境特徴量は、輝度ヒストグラムの分布から取得することができる。

図５は、環境特徴量と色相ヒストグラムとの関係を示す図である。この場合も、目領域を約２０個のメッシュに分割して、目領域画像データから各分割領域での色相値を求め、その度数を示したものである。環境パラメータとして、外光の明るさを３段階（明るい、標準、暗い）に変化させ、視聴者の目の色を茶色と青色とで比較している。外光の色合いは昼光色（色温度６５００Ｋ）としている。

各ヒストグラムの分布は１箇所に集中しているが（符号５０２’）、これは、色相成分の大部分は、目領域を構成する虹彩５０２の部分から生じているからである。瞳孔５０１と白目５０３の部分は黒色または白色なので、色相成分をほとんど持たず、ヒストグラムの度数としてはカウントされない。よって、ヒストグラムに表示される度数は目領域の分割数よりも少なくなる。

目の色が茶色のときは（ｂ１，ｂ３，ｂ５）、虹彩５０２部分からの赤色（Ｒ）や橙色（ＹＲ）成分が強調された分布となる。目の色が青色のときは（ｂ２，ｂ４，ｂ６）、虹彩５０２部分の青緑色（ＢＧ）や青色（Ｂ）成分が強調された分布となる。なお、外光の明るさに対しては、ヒストグラムの度数は変化するが、色相成分の分布位置は変化しない。よって、視聴者の目の色についての環境特徴量は、色相ヒストグラムの分布から取得することができる。

図６は、外光の色合いと輝度および色相ヒストグラムとの関係を示す図である。外光の色合いとして、昼光色（色温度６５００Ｋ）と電球色（２８００Ｋ）の照明のもとで、輝度ヒストグラムと色相ヒストグラムを作成したものである。外光の明るさは標準とし、視聴者の目の色は茶色としている。

外光の色合いは、色相ヒストグラムに反映される。電球色のときは（ｃ４）、赤色、橙色、黄色成分が多いので、それが目の色の色相分布に加算される。その結果、昼光色のとき（ｃ２）と比べて、赤色と橙色の度数が増加し、また黄色成分までその分布幅が広がる。よって、外光の色合いについての環境特徴量は、色相ヒストグラムの分布から取得することができる。その際、ヒストグラムの分布幅と強度を解析することで、前記視聴者の目の色の環境特徴量と分離して取得することが可能である。
なお、これ以外の外光の色合いとして、昼白色（５０００Ｋ）や白色（４２００Ｋ）が存在する。高解像度のカメラを用いることで、これらについても識別することが可能である。

図７は、画質補正に用いる画質制御マトリクス表の一例である。ここでは画質パラメータとして、コントラスト、ブライトネス、バックライト（ＬＣＤの場合）、ガンマ、色温度、シャープネス、彩度を取り上げている。また環境特徴量として、（ａ）では外光の明るさと視聴者の目の色、（ｂ）では外光の色合いを取り上げている。表中の数値は各画質パラメータの設定レベルで、最大レベルを「１０」で表している。なお色温度の設定は、レベルが高いと青みがかった色、レベルが低いと赤みがかった色となる。この図では、環境特徴量と画質設定の関係を次のように設定している。

（１）外光の明るさに関しては、外光が明るいほど各パラメータの設定レベルを高くする。これにより、外光の明るさに適合したより見やすい画質を実現する。
（２）視聴者の目の色に関しては、青色の目は茶色の目よりも各パラメータの設定レベルを下げる。これは、茶色の目では高い色温度を好み、青色の目では色差視感力が大きいという性質に適合させたものである。
（３）外光の色合いに関しては、電球色の場合は昼光色の場合よりも色温度パラメータの設定レベルを下げる。これにより、照明色に適合した色調として、より自然な画質を実現する。

このように、外光の明るさ、色合い、視聴者の目の色などの複数の環境特徴量に応じて、最適な画質に設定することができる。図７に示した画質制御の内容は一例であり、環境特徴量に対する画質パラメータの設定値は適宜変更することができる。

以上のように本実施例の映像表示装置では、視聴者の目領域画像から外光の明るさ、色合い、視聴者の目の色などの環境特徴量を一括して取得し、それにより画質を制御するものである。よって、複数の視聴者が利用する場合において、視聴者の設定を煩わすことなく、視聴環境や視聴者の目の色に応じて適正な画質の映像を安定に表示することができる。

さらに他の効果として、視聴者の目の画像情報（具体的には目の輝度ヒストグラムと色相ヒストグラム）を用いることにより、目の色や外光の影響によって、実際に視聴者の目にテレビの映像がどのように知覚されるかを把握することができる。これを利用することで、目の視覚特性により適合した画質の設定を実現することができる。

１０１，２０１…カメラ、
１０２，２０２…顔領域検出部、
１０３，２０３…目領域検出部、
１０４，２０４…映像入力部、
１０５，２０５…映像特徴検出部、
１０６，２０６…ＣＰＵ（画像解析部）、
１０７，２０７…画質補正部、
１０８，２０８…映像出力部、
１０９…ＬＣＤ表示部、
１１０…バックライト駆動部、
１１１…バックライト、
２０９…ＰＤＰ表示部。

Claims (4)

1. 入力した映像の画質を補正して表示部に表示する映像表示装置において、
   当該装置の周囲にいる視聴者を撮影するカメラと、
   該カメラで撮影した画像から上記視聴者の顔の領域を検出する顔領域検出部と、
   上記検出した顔の領域からさらに目の領域を検出する目領域検出部と、
   該目領域検出部から出力される目領域画像データを解析して、視聴者の目の色を含む環境特徴量を取得する画像解析部と、
   該画像解析部で取得した環境特徴量に応じて表示する映像の色温度を含む画質を補正する画質補正部と、
   を備えることを特徴とする映像表示装置。
2. 請求項１に記載の映像表示装置において、
   前記環境特徴量には、外光の明るさと色合いを含むことを特徴とする映像表示装置。
3. 請求項１または２に記載の映像表示装置において、
   前記画像解析部は、前記目領域画像データを解析して輝度ヒストグラムと色相ヒストグラムを作成し、その分布の特徴から前記環境特徴量を取得することを特徴とする映像表示装置。
4. 請求項１ないし３のいずれか１項に記載の映像表示装置において、
   前記目領域検出部は、顔の領域から目の領域を検出するとき、検出した目の領域に前記カメラをズームインさせることで、前記目領域画像データから目領域以外の画像を除去することを特徴とする映像表示装置。

Images