以下、図面を参照して本発明の実施形態について詳細に説明する。
<実施形態1>
<システム構成について>
図1は、本実施形態における表示制御装置の構成例を示すブロック図である。
表示制御装置106は、入力部101、決定部102、調整部103、画像処理部104、表示部105を備える。尚、本実施形態の表示制御装置106は、表示部105(例えばディスプレイ)を備えているが、表示部105とは別の装置であっても良い。また、表示制御装置106は、駆動周波数を60〜240Hzの範囲で制御可能である。ここで、駆動周波数とは、1秒あたりに表示画面を書き換える回数を示しており、垂直同期周波数、リフレッシュレートなどに対応する。即ち、表示制御装置106は、表示画面の発光間隔を制御可能な表示制御装置である。
入力部101は、ユーザ(視聴者)の視覚応答特性を、ユーザが操作するリモコン等を介して取得する。そして、入力部101は、ユーザの視覚応答特性を入力する。本形態の視覚応答特性は、表示部105に表示されたテスト画像に対するユーザの評価値に応じて取得される。即ち、入力部101は、テスト画像の表示結果に対する評価情報を入力する。視覚応答特性の取得の詳細は図7を用いて後述する。
決定部102は、入力部101によって入力されたユーザの視覚応答特性に基づいて、ユーザの視覚特性を決定する。つまり、決定部102は、ユーザの視覚特性を決定する。視覚特性の決定方法については、図7を用いて後述する。
調整部103は、ユーザの視覚特性と、入力動画像信号に基づいて、入力動画像信号の変換、及び/又は、表示部105のパラメータの変更の有無を決定する。
調整部103は、ユーザの視覚特性と、入力動画像信号に基づいて、入力動画像信号に応じた画像を表示させた場合に、例えば、フリッカが知覚されるか否かを判定する。そして、調整部103は、フリッカが知覚されると判定した場合、入力動画像信号を変換、及び/又は、表示部105のパラメータの変更を行うことを決定する。より具体的には、調整部103は、フリッカが知覚されると判定した場合、表示画面の駆動周波数を上げる、及び/又は、表示画像の輝度値を入力動画像信号に応じた画像の輝度値よりも低くすることを決定する。
また、調整部103は、ユーザの視覚特性と、入力動画像信号に基づいて、入力動画像信号に応じた画像を表示させた場合に、例えば、ジャーキネスが知覚されるか否かを判定する。つまり、調整部103は、入力動画像信号のフレームレートよりも高い駆動周波数で表示させた表示画像の動領域と静領域の境界において、擬似輪郭が知覚されるか否かを判定する。そして、調整部103は、ジャーキネスが知覚されると判定した場合、入力動画像信号を変換、及び/又は、表示部105のパラメータの変更を行うことを決定する。より具体的には、調整部103は、ジャーキネスが知覚されると判定した場合、表示画面の駆動周波数を下げる、及び/又は、表示画像のコントラスト比を入力動画像信号に応じた画像のコントラスト比よりも低くすることを決定する。
また、調整部103は、入力動画像信号を変換すると決定した場合、その変換に係るパラメータを決定し、決定したパラメータ(調整データ)を画像処理部104に出力する。また、調整部103は、表示部105のパラメータを変更すると決定した場合、その変更に係るパラメータを決定し、決定したパラメータ(調整データ)を表示部105に出力する。
調整部103は、例えば、入力動画像信号に応じた画像の輝度よりも表示画像の輝度を5%下げると決定した場合、そのことを示す調整データを画像処理部104に出力する。ただし、調整部103は、上記のような輝度値の例に限らず、例えば、入力動画像信号に対応する1枚のフレームデータに基づいて生成される複数のフレームデータ(サブフレーム)の輝度値の分配比率を変更するための調整データを出力しても良い。また、調整部103は、例えば、一部のサブフレームから高周波成分を除去するための調整データを画像処理部104に出力するようにしても良い。
また、調整部103は、例えば、表示部105における駆動周波数を120Hzから60Hzに下げることを決定した場合、そのことを示す調整データを表示部105に出力する。尚、調整部103が、表示画像の輝度値を下げるための調整データを表示部105に出力し、表示部105が表示画面の輝度値を制御するようにしても良い。
画像処理部104は、調整部103によって出力された調整データに応じて、入力動画像信号を変換する。ここで、入力動画像信号は、例えば、デジタルビデオカメラなどの映像入力装置や、ハードディスクドライブなどの記憶媒体や、インターネット等を介したサーバ等から入力される。また、本形態では、入力動画像信号に応じた動画像を表示させる場合について説明するが、静止画像を表示させる場合にも本発明は適用可能である。画像処理部104は、変換後の信号を表示部105に出力する。
表示部105は、画像処理部104から出力された画像信号に応じた画像を、設定されたパラメータ(駆動周波数、コントラスト比等)に応じて表示させる。
<視覚特性の決定処理>
次に、入力部101によるユーザの視覚応答特性の取得、及び、決定部102による視覚特性の決定処理について、図7を用いて説明する。本形態では、入力部101が、ユーザの視覚応答特性として、時間応答特性、及び、空間応答特性を取得する(ステップS701〜S710)。そして、決定部102は、入力部101によって取得された時間応答特性、及び、空間応答特性に基づいて、ユーザの視覚特性を決定する(ステップ711)。
図7は、入力部101によるユーザの視覚応答特性の取得処理、及び、決定部102によるユーザの視覚特性の決定処理を示すフローチャートである。尚、図7の処理のうち、ステップS701からステップS705までの処理が、ユーザの視覚応答特性のうち、時間応答特性(時間周波数の応答特性)を取得するための処理である。また、ステップS706からステップS710までの処理が、ユーザの視覚応答特性のうち、空間応答特性(空間周波数の応答特性)を取得するための処理である。そして、ステップS711において、決定部102は、取得された時間応答特性、及び空間応答特性から、ユーザの視覚特性を決定する。
ここで、時間応答特性は、駆動周波数と、ユーザのコントラスト感度との関係を示している。取得される時間応答特性の例を図13(A)に示す。図13(A)では、ある駆動周波数(時間周波数)において、ユーザが画面のちらつきを知覚しやすい(表示画像の輝度が低くてもちらつきを知覚する)場合は、対応するコントラスト感度が高くなるようにプロットされている。つまり、時間応答特性は、各駆動周波数(時間周波数)における画面のちらつきの知覚しやすさを示す。
また、空間応答特性は、表示画像内の移動物体の空間周波数と、ユーザのコントラスト感度との関係を示している。取得される空間応答特性の例を図13(B)に示す。図13(B)では、ある空間周波数において、ユーザがコントラストを知覚しやすい(表示画像内のコントラスト比が低くても画素値の違いを知覚する)場合は、対応するコントラスト感度が高くなるようにプロットされている。つまり、空間応答特性は、各空間周波数の移動物体に対するコントラストの知覚しやすさを示す。尚、本形態では、空間応答特性を、移動物体の移動速度ごとに取得する。図13(B)に示した空間応答特性は、ある移動速度における空間応答特性の例である。つまり、本形態の入力部101は、複数の移動速度ごとに空間応答特性を取得する。
図7の処理は、例えば、ユーザによるリモコンや操作パネル等の操作によって、視覚特性の登録モードに設定されたことにより開始される。
ステップS701において、入力部101は、時間応答特性を取得するためのテスト画像をある時間周波数(例えば10[cycle/sec])で表示部105に表示させる。ステップS701において表示されるテスト画像は、フレーム全体が同じ画素値のテスト画像(テスト画像1、テスト画像2)が表示される。尚、テスト画像1とテスト画像2の画素値は異なる。テスト画像1、2を交互に表示させた場合の表示画面の輝度の例を図8に示す。図8に示すように、フレーム全体がLmaxの輝度値であるテスト画像1と、フレーム全体がLminの輝度値であるテスト画像2が、時間周波数に応じて交互に表示される。つまり、例えば、時間周波数が10[cycle/sec]の場合、1秒間にテスト画像1とテスト画像2をそれぞれ10回ずつ表示させる。尚、テスト画像は、2種類に限らず、例えば、徐々に輝度値が変化するようにしても良い。また、輝度値の代わりに色度を変化させても良い。ステップS701において、ユーザから評価値が入力されると、ステップS702に進む。
ステップS702(入力手順)において、入力部101は、ユーザから入力された評価値を、ユーザが操作するリモコン等から取得する。ここで、ユーザから入力される評価値は、テスト画像1、2を交互に表示させた場合に、表示画面の変化(ちらつき)が知覚されるか否かを示す評価情報である。ユーザは、画面がちらつくと感じた場合、リモコンの所定のボタンを押す。ステップS702において、表示画面のちらつきを知覚したことを示す評価値を取得した場合はステップS703に進む。一方、表示画面のちらつきを知覚したことを示す評価値が取得されない場合、あるいは、表示画面のちらつきが知覚されないことを示す評価値を取得した場合はステップS701に戻り、テスト画像1及び2のコントラスト比を上げる。ここで、コントラスト比を上げるとは、例えば、テスト画像1の輝度Lmaxを上げ、テスト画像2の輝度Lminを変更しないことによって行われる。ただし、Lmaxを変更せずにLminを下げるなど、ほかの方法によりコントラスト比を変更しても良い。即ち、ステップS702において、入力部101は、第1の画像信号(テスト画像の画像信号)に基づき第1の画像(テスト画像1)及び第2の画像(テスト画像2)を第1の発光間隔で表示させた場合の表示結果に対する評価情報を入力する。
本形態の入力部101は、初めにLmaxとLminの差を十分に小さくしてテスト画像を表示させ、ユーザがちらつきを知覚しないと評価すると、徐々にコントラスト比を上げていく。つまり、入力部101は、ユーザがちらつきを知覚しないと評価した場合、ステップS701に戻り、コントラスト比を上げる。そして、入力部101は、ユーザがちらつきを知覚するまで処理を続けることで、ちらつきを知覚するコントラスト比と、ちらつきを知覚しないコントラスト比の境界に基づくLmaxとLminを取得する。
ステップS702において、所定の評価情報(ちらつきを知覚することを示す評価値)が入力されると、ステップS703に進む。
ステップS703(記憶手順)において、入力部101は、所定の評価情報(ちらつきを知覚することを示す評価値)が入力された第1の画像(テスト画像1)の画素値(Lmax)、及び第2の画像(テスト画像2)の画素値(Lmin)を記憶する。尚、本形態の入力部101は、ちらつきを知覚すると評価されたときのテスト画像の画素値として、輝度値を記憶しているが、これに限らない。例えば、テスト画像1とテスト画像2で色度が異なるテスト画像を用いる場合は、色度を記憶するようにしても良い。
さらに、ステップS703において、入力部101は、ステップS702でフリッカを知覚したと判定されたときの輝度値Lmax、Lmin、及び式(1)を用いて時間的コントラスト感度mを求める。
式(1)に示すように、時間的コントラスト感度mの値が高いユーザほど、テスト画像1、テスト画像2の輝度差が小さくても画面のちらつきが知覚される。つまりフリッカが気になりやすいユーザであるといえる。
また、時間的コントラスト感度mは、テスト画像の平均輝度Lmeanと振幅ΔLを用いて、式(2)から求めても良い。
また、テスト画像は、図15のように、テスト画像1とテスト画像2の輝度値の和が一定になるようにして、色度だけを時間的に変化させるようにしても良い。つまり、テスト画像1の色度C1とテスト画像2の色度C2が異なるようにしても良い。この場合のコントラスト感度mは、以下の式(3)から求められる。
ステップS703において、ある時間周波数の時間的コントラスト感度の算出を終えると、ステップS704に進む。
ステップS704において、入力部101は、すべての時間周波数(駆動周波数)における時間的コントラスト感度の算出を終えたか判定する。そして、すべての時間周波数における時間的コントラスト感度の算出を終えたと判定された場合はステップS705に進む。一方、まだ時間的コントラスト感度を算出していない時間周波数があると判定された場合は、ステップS701に戻り、テスト画像を表示させる際の時間周波数(駆動周波数)を変更して時間的コントラスト感度の取得処理を継続する。つまり、例えば、時間周波数10[cycle/sec]から120[cycle/sec]まで、10[cycle/sec]刻みで、時間周波数における時間的コントラスト感度を算出する場合、ステップS703の処理を12回行うことになる。
ステップS705において、入力部101は、ステップS703で得られた各時間周波数での時間的コントラスト感度mに基づいて、ユーザの時間応答特性を取得する。ユーザの時間応答特性は、例えば図13(A)のようになる。入力部101が、取得した時間応答特性を決定部102へ出力すると、ステップS706に進む。
ステップS706において、入力部101は、空間応答特性を取得するためのテスト画像を表示部105に表示させる。ステップS706において表示されるテスト画像は、フレーム内に異なる画素値の領域がある画像である。入力部101は、テスト画像内のある画素値の領域がフレーム内で移動して見えるように、複数のテスト画像を順次表示させる。ステップS706で表示されるテスト画像内の画素値の例を図16に示す。図16に示されるテスト画像は、フレーム内の位置に応じて輝度値が異なる。即ち、ステップS706において、表示部105は、第1の画素値の領域と第2の画素値の領域を含む動画像を第1の画素値の領域を移動させながら第1の発光間隔で表示する。ただし、テスト画像は図16の例に限らない。また、テスト画像は、画像内の色度が異なるようにしても良い。
また、本形態では、テスト画像における最大の輝度値をLmax、最小の輝度値をLminと示している。また、本形態の入力部101は、図16に示すようなテスト画像を一定速度で移動させて表示させている。そのため、ステップS706で最初に表示されるテスト画像1に対応する図16の正弦波と、その次に表示されるテスト画像2に対応する正弦波とでは、移動速度に応じてずれる。設定する移動速度として、例えば、1[pixel/frame]や6.5[pixel/frame]などがある。
ステップS707において、入力部101は、ユーザから入力された評価値を入力する。ここで、ユーザから入力される評価値は、テスト画像中の画素値の違い(コントラスト)を知覚できるか否かを示す情報である。つまり、ユーザは、テスト画像中に異なる画素値の領域があるか、テスト画像内の画素値がすべて同じに見えるかを示す評価情報を入力する。
即ち、ステップS707において、入力部101は、第1の画素値の領域と第2の画素値の領域を含む動画像を第1の画素値の領域を移動させながら第1の発光間隔で表示させた場合の表示結果に対する評価情報を入力する。ステップS707において、コントラストを知覚したことを示す評価値が入力された場合はステップS708に進む。一方、コントラストを知覚しない(すべて同じ画素値に見える)ことを示す評価値が入力された場合はステップS706に戻り、テスト画像のコントラスト比を上げる。コントラスト比を上げるとは、例えば、テスト画像中の最大の輝度値Lmaxを上げ、最小の輝度値Lminを変更しないことによって行われる。ただし、Lmaxを変更せずにLminを下げるなど、ほかの方法によりコントラスト比を変更しても良い。
本形態の入力部101は、初めにLmaxとLminの差を十分に小さくしてテスト画像を表示させ、ユーザがコントラストを知覚しないと評価すると、徐々にコントラスト比を上げていく。そして、入力部101は、ユーザがコントラストを知覚するまで処理を続けることで、コントラストを知覚するときのコントラスト比と、コントラストを知覚しないときのコントラスト比の境界に基づいたLmaxとLminを取得する。
そして、入力部101は、ステップS707において、所定の評価情報(コントラストを知覚したことを示す評価値)が入力された第1の画素値(Lmax)、第2の画素値(Lmin)を記憶する。
このように、入力部101は、ある空間周波数(例えば10[cycle/deg])の、ある移動速度(例えば10[pixel/sec])において、ユーザがテスト画像中の画素値の違い(コントラスト)を知覚するコントラスト比を取得する。
尚、本形態におけるdegはdegreeの省略であり、例えば10[cycle/deg]は、視野角1度に対して図16に示す正弦波が10周期分表示されていることを示している。ユーザが表示画面のコントラストを知覚しないことを示す評価を行うと、ステップS708に進む。
ステップS708において、入力部101は、ステップS707で取得されたコントラストを知覚したときの輝度値Lmax、Lmin、及び、上述の式(1)を用いて空間的コントラスト感度mを算出する。式(1)に示すように、空間的コントラスト感度mの値が高いユーザほど、輝度値の差が小さくても画面内のコントラストを知覚するユーザであるといえる。尚、空間的コントラスト感度mの算出にも、式(2)や、(3)を用いることが可能である。ステップ708において、ある空間周波数、ある移動速度における空間的コントラスト感度の算出を終えると、ステップS709に進む。
ステップS709において、入力部101は、すべての空間周波数、すべての移動速度における空間的コントラスト感度の算出を終えたか判定する。そして、すべての空間周波数、すべての移動速度における空間的コントラスト感度の算出を終えたと判定された場合はステップS710に進む。一方、空間的コントラスト感度を算出していない空間周波数、又は移動速度があると判定された場合は、ステップS706に戻り、テスト画像の空間周波数、又はテスト画像の移動速度を変更して空間的コントラスト感度の取得処理を継続する。
ステップS710において、入力部101は、ステップS709で得られた各空間周波数における空間的コントラスト感度mに基づいて、ユーザの空間応答特性を取得する。ユーザの空間応答特性は、例えば図13(B)のようになる。
尚、入力部101は、図13(B)に示すような空間応答特性を、テスト画像内における移動速度ごとに取得し、決定部102へ出力する。入力部101が、移動速度ごとの空間応答特性を決定部102へ出力すると、ステップS711に進む。
ステップS711において、決定部102は、ステップS705とステップS710で取得された時間応答特性と空間応答特性とを組み合わせてユーザの視覚特性を決定する。
尚、ステップS711において、決定部102は、ステップS710で移動速度ごとに求められた空間的コントラスト感度を、最大のコントラスト感度の値を用いて正規化する。つまり、上述のように、空間応答特性は、テスト画像の移動速度ごとに取得されている。そして、本形態の決定部102は、最も高く算出された空間的コントラスト感度が1となるように、他の空間的コントラスト感度を正規化する。
また、ステップS711において、決定部102は、ステップS705で求められた時間応答特性を、最大のコントラスト感度の値を用いて正規化する。つまり、最も高い時間的コントラスト感度が1となるように、他の時間周波数で求めた時間的コントラスト感度を正規化する。図13(A)、(B)に示した応答特性は、正規化された応答特性の図である。
決定部102は、ステップS711において図13(A)に示した時間応答特性、及び,図13(B)に示した空間応答特性を時空間周波数平面上で積算することでユーザの視覚特性を決定する。例えば、縦軸を時間周波数、横軸を空間周波数として、時間応答特性を縦軸に平行に並べ、空間応答特性を横軸に平行に並べて積算する。このようにして決定されたユーザの視覚特性は、例えば図14のようになる。ここで決定されたユーザの視覚特性と入力動画像信号に応じた画像の時空間スペクトルを積算することで、ユーザによって実際に知覚される画像のスペクトルを得ることができる。
尚、ユーザの応答特性を取得する方法は上記の方法に限らず、例えば、図8、図16に示したようなテスト画像の代わりに、入力動画像信号に応じた画像を用いてユーザの応答特性を取得しても良い。この場合、例えば、ユーザが表示部105に表示されている画像の視聴中に行われた駆動周波数やコントラスト比、輝度などのパラメータの変更操作に応じて、ユーザの視覚特性を取得するようにしても良い。ユーザは、例えば、リモコンのボタン操作や、表示画面上に表示されたスライドバーをマウスなどの指示具で操作することによってパラメータを変更することができる。
<システム全体の処理>
次に、本実施形態の表示制御装置106が行う、表示制御処理について、説明する。尚、本形態の調整部103は、入力動画像信号に応じた画像と、図7を用いて説明した方法によって取得されたユーザの視覚特性とに基づいて、入力動画像信号に応じた画像を表示させた場合にユーザがフリッカを知覚するか否かを示すフリッカ評価値Fを算出する。また、本形態の調整部103は、入力動画像信号に応じた画像と、ユーザの視覚特性とに基づいて、入力動画像信号に応じた画像を表示させた場合にユーザがジャーキネスを知覚するか否かを示すジャーキネス評価値Jを算出する。そして、調整部103は、フリッカ評価値F、ジャーキネス評価値Jが閾値よりも大きい場合、入力動画像信号の変換、及び/又は表示部の設定の変更を行う。
以下、図2のフローチャートを用いて本実施形態の動作について詳細に説明する。
ステップS201において、決定部102は、図7のフローチャートを用いて上述した手順によりユーザの視覚特性を決定し、決定された視覚特性を調整部103に出力する。
ステップS202において、調整部103は、決定部102から出力された視覚特性と共に、画像処理部104から入力動画像信号を取得する。ここで、調整部103が取得する入力動画像信号は、ユーザが現在視聴している番組の、これから表示部105にて表示させる画像(フレーム)に対応する動画像信号である。調整部103は、取得した入力動画像信号に応じた画像から、移動物体のエッジ部を含む領域(移動領域)を抽出する。つまり、本形態の調整部103は、入力動画像信号に応じたフレーム内における移動物体の領域と、移動していない領域の境界を含む領域を抽出する。移動物体のエッジ部を検出する方法として、例えば、前に入力されたフレームとの差分や、動きベクトルの情報などを用いて行う方法がある。
また、ステップS202において、調整部103は、入力動画像信号に応じた画像から、フリッカ候補領域を抽出する。フリッカ候補領域の抽出の詳細は後述する。
また、ステップS202において、調整部103は、抽出された移動領域、フリッカ候補領域のそれぞれの輝度値を一定時間計測する。つまり、調整部103は、移動領域とフリッカ候補領域として抽出したブロックの輝度値を複数フレーム分、計測する。そして、複数フレーム分計測された輝度値に基づいて、移動領域、フリッカ候補領域のそれぞれの時空間スペクトルを取得する。時空間スペクトルとは、領域内の輝度値変化を空間周波数、時間周波数について2次元フーリエ変換して得られるスペクトルである。時空間スペクトルの取得処理の詳細は後述する。調整部103が、移動領域、及びフリッカ候補領域の時空間スペクトルを取得するとステップS203に進む。
ステップS203において、調整部103は、取得された時空間スペクトルに対して、ステップS201で決定されたユーザの視覚特性でフィルタ処理することにより、観察スペクトルを取得する。
つまり、調整部103は、ステップS202で取得された移動領域の時空間スペクトルと、ステップS201で決定されたユーザの視覚特性を積算して、ユーザによって実際に視聴される画像の移動領域における時空間スペクトル(移動領域観察スペクトル)を得る。移動領域観察スペクトルの例を図6に示す。同様に、調整部103は、ステップS202で取得されたフリッカ候補領域の時空間スペクトルと、ステップS201で決定されたユーザの視覚特性を積算して、視聴される画像のフリッカ候補領域における時空間スペクトル(フリッカ観察スペクトル)を得る。
つまり、この処理によって、ユーザが入力動画像信号に応じた動画像を視聴した場合に、移動領域、及び、フリッカ候補領域がどのように見えるかがわかる。調整部103が、移動領域観察スペクトル、及び、フリッカ観察スペクトルを取得すると、ステップS204に進む。
ステップS204において、調整部103は、フリッカ評価値F、及びジャーキネス評価値Jを算出する。フリッカ評価値Fは、ステップS202において取得された入力動画像信号に応じた動画像を表示させた場合に、ユーザがフリッカを知覚する度合いを示す評価値である。また、ジャーキネス評価値Jは、ステップS202において取得された入力動画像信号に応じた動画像を表示させた場合に、ユーザがジャーキネスを知覚する度合いを示す評価値である。つまり、これらの評価値が高い場合に、ユーザは、フリッカ、ジャーキネスをより強く感じる。フリッカ評価値Fおよびジャーキネス評価値Jの算出の処理は後述する。
ステップS205において、調整部103は、算出されたフリッカ評価値Fとジャーキネス評価値Jが、それぞれ閾値よりも高いか否かを判定する。この結果により、フリッカやジャーキネスがユーザにとって気になるかが判定される。つまり、フリッカ評価値Fがフリッカ閾値Fthより高い、またはジャーキネス評価値Jがジャーキネスの閾値Jthより高い場合(ステップS205でYes)、入力動画像信号に応じた画像のフリッカ、またはジャーキネスが気になると判定して、ステップS206に進む。また、どちらの評価値も閾値以下の場合(ステップS205でNoの場合)、フリッカ、及びジャーキネスが気にならないと判定して、入力動画像信号をそのまま表示部105に出力する。
ステップS206(制御手順)において、調整部103は、ステップS205の判定結果と観察スペクトルに応じて、調整データを生成する。
つまり、調整部103は、ステップS205において、例えば、フリッカ評価値Fがフリッカ閾値Fthより高いと判定された場合、調整部103は、駆動周波数を上げるための調整データを生成する。駆動周波数を上げると、発光間隔が短くなり、フリッカが知覚される度合いを低減することができる。調整部103は、駆動周波数を上げる場合、駆動周波数を上げたあとのフリッカ評価値Fがフリッカ閾値Fth以下となるように、調整後の駆動周波数を決定する。
ただし、フリッカ評価値Fがフリッカ閾値Fthよりも高いと判定された場合に生成される調整データは、駆動周波数を上げるための調整データに限らず、例えば、入力動画像信号に応じた画像の輝度を下げるための調整データであっても良い。調整部103は、入力動画像信号に応じた画像の輝度を低くする場合、輝度を下げたあとの画像に応じたフリッカ評価値Fがフリッカ閾値Fth以下となるように、調整後の輝度を決定する。
また、調整部103によって生成される調整データは、上記の例のうちの1つでも、複数であってもよい。調整部103は、生成した調整データを、その内容に応じて、画像処理部104、又は表示部105に出力する。つまり、例えば、調整部103は、入力動画像信号に応じた画像の輝度を下げるために行う画像処理のパラメータを含む調整データを画像処理部104に出力し、駆動周波数を上げるための調整データを表示部105に出力する。調整部103は、表示画面の輝度を下げるための調整データを表示部105に出力するようにしても良い。
また、図2のステップS205において、調整部103は、例えば、ジャーキネス評価値Jがジャーキネス閾値Jthより高いと判定した場合、駆動周波数を下げるための調整データを生成する。駆動周波数を下げると、ジャーキネスが知覚される度合いを低減することができる。調整部103は、駆動周波数を下げる場合、駆動周波数を下げたあとの表示画像に応じたジャーキネス評価値Jがジャーキネス閾値Jth以下となるように、調整後の駆動周波数を決定する。
ただし、ジャーキネス評価値Jがジャーキネス閾値Jthよりも高いと判定された場合に生成される調整データは、駆動周波数を下げるための調整データに限らず、例えば、表示画像のコントラスト比を低くするための調整データであっても良い。調整部103は、コントラスト比を低くする場合、コントラスト比を下げたあとの表示画像に応じたジャーキネス評価値Jがジャーキネス閾値Jth以下となるように、調整後のコントラスト比を決定する。
尚、駆動周波数、及びコントラスト比以外の調整データの例として、例えば、入力動画像信号に応じた1つの画像(入力フレーム)データから複数生成される画像(サブフレーム)の輝度が異なるようにするための調整データであっても良い。この例を、毎秒60フレームの入力動画像信号を毎秒120フレームで表示させる場合を例に挙げて説明する。この場合、1つの画像(入力フレーム)から2つの画像(サブフレーム)を生成するが、この2つのサブフレームのうち、一方のサブフレームの輝度を、他方のサブフレームの輝度よりも低くすれば、ジャーキネスを目立たなくすることができる。従って、サブフレームの輝度が異なるように、例えば、1つの入力フレームから生成される複数のサブフレームの分配比率を変更するための調整データを生成するようにしても良い。
また、ほかの調整データの例として、例えば、入力動画像信号に応じた画像のエッジを強調するための指示や、生成される複数のサブフレームのうちの一部に対して、例えばローパスフィルタをかけるための指示やパラメータを含むものであっても良い。
尚、詳しくは後述するが、図6に示した移動領域観察スペクトルのうち、メイン成分が、移動領域の自然な移動を示すスペクトル成分であり、それ以外の成分(サブ成分)が、ジャーキネスが知覚される原因となる成分である。つまり、メイン成分に対してサブ成分が大きいほど、ジャーキネス評価値Jは高く算出される。また、調整部103は、ジャーキネス評価値Jがジャーキネス閾値Jthよりも高いと判定された場合、メイン成分を残し、サブ成分が低減するように、調整データを生成する。
また、生成される調整データは、上記の例のうちの1つでも、複数であってもよい。調整部103は、生成した調整データを、その内容に応じて、画像処理部104、又は表示部105に出力する。例えば、調整部103は、入力動画像信号に応じた画像のコントラスト比を下げるための調整データを、画像処理部104に出力する。また、調整部103は、例えば、駆動周波数を下げるための調整データを表示部105に出力する。
尚、調整部103が、入力動画像信号に応じた画像をそのまま出力してもフリッカ、ジャーキネスが知覚されないと判定された場合は、調整の必要がないことを示す調整データを画像処理部104、及び表示部105に出力する。調整部103が調整データを出力すると、ステップS207に進む。
ステップS207において、画像処理部104は、調整部103から受け取った調整データに応じて、入力動画像信号の変換を行う。すなわち、画像処理部104は、例えば、入力動画像信号に応じた画像の輝度、又はコントラスト比の変更、或いは、エッジ強調や、ローパスフィルタによるフィルタリング処理等を行う。そして、画像処理部104は、変換後の入力動画像信号を表示部105に出力し、ステップS208に進む。
ステップS208において、表示部105は、調整部103から受け取った調整データに応じて、表示部105の設定を変更する。すなわち、表示部105は、調整データに応じて、例えば、駆動周波数を変更する。また、表示部105は、調整データに応じて、例えば、表示部105で設定される輝度やコントラスト比の設定値を変更する。表示部105が設定を変更すると、処理を終了する。
<ジャーキネス評価値Jの算出>
次に、調整部103が行う、ジャーキネス評価値Jの算出について説明する。ここで、ジャーキネス評価値Jは、ユーザが実際に視聴する画像において、ユーザがジャーキネス(動きぼけ)を知覚する度合いを示した評価値である。つまり、ジャーキネス評価値Jが高いほど、ユーザがジャーキネスをより強く感じることになる。調整部103は、ジャーキネス評価値Jを、入力動画像信号とユーザの視覚特性から算出することができる。ジャーキネス評価値Jの算出方法は以下のようになる。
まず、調整部103は、決定部102から視覚特性を取得する。これは、図2のステップS201の処理に対応する。
また、調整部103は、画像処理部104から入力動画像信号を取得する。ここで、調整部103が取得する入力動画像信号は、ユーザが現在視聴している番組の、これから表示部105にて表示させる画像(フレーム)に対応する画像信号である。取得される画像の例を図3に示す。調整部103は、入力動画像信号に応じた画像から、移動物体のエッジ部を含む領域(移動領域)を抽出する。つまり、本形態の調整部103は、入力動画像信号に応じた画像内における移動物体の領域と、移動していない領域の境界(エッジ部)を含む移動領域(ブロック301)を抽出する。尚、移動物体のエッジ部を検出する方法として、例えば、前に入力された画像との差分や、動きベクトルの情報などを用いて行う方法がある。また、図3の例に示されるように、抽出される移動領域に、移動物体のすべての領域が含まれている必要はない。また、移動物体が複数検出された場合、本形態の調整部103は、より移動速度が速い移動物体の移動領域を抽出する。ただし、例えば、フレーム全体を抽出しても良い。
さらに、調整部103は、移動領域として決定されたブロック301の輝度値をある一定時間計測する。つまり、調整部103は、移動物体のエッジ部を含むブロック301内の輝度値を複数フレーム分、計測する。調整部103によって、移動領域の輝度値を4フレーム分、計測した結果を図4に示す。ただし、計測するフレーム数は4フレームに限らない。この例では、移動物体が、1フレーム時間当たりΔx1ずつ移動している。また、調整部103は、計測されたブロック301内の輝度値の変化を、時間と空間の2次元座標に変換する。この変換の結果は、図5のようになる。以降、この時間と空間の2次元座標における表示を時空間表示と呼び、時空間表示された信号を時空間信号と呼ぶ。
尚、本形態では、ブロック301内の輝度値を計測する例について説明したが、例えば、輝度値の代わりに、入力動画像信号のRGB値などを計測するようにしても良い。
図5に示した時空間表示において、入力動画像信号1、2、3、4は、それぞれ、表示部105で表示される順序に対応している。また、図5の出力信号間隔は、表示部105の駆動周波数に対応している。例えば、駆動周波数が60[Hz]である場合、出力信号間隔は1/60[sec]である。また、図5の発光時間は表示部105の発光時間である。このとき、出力信号間隔や発光時間は表示部105のプロファイルから取得することができる。または、表示部105のあるアドレスに駆動電圧の計測器や発光計測器を用意して、そこから取得することも可能である。
調整部103は、時空間信号を2次元フーリエ変換することで時間周波数と空間周波数のスペクトルを取得する。以降、2次元フーリエ変換によって得られたスペクトルを時空間スペクトルと呼ぶ。本形態における、移動領域における時空間スペクトルの例を図17に示す。尚、本実施形態で取得される時空間スペクトルは、直流成分が除かれている。
調整部103が入力動画像信号を取得してから移動領域の時空間スペクトルを取得するまでの処理は、図2のステップS202上で行われる。
調整部103は、移動領域の時空間スペクトルに対して、ユーザの視覚特性でフィルタ処理することにより、移動領域観察スペクトルを取得する。つまり、調整部103は、ステップS202で取得された時空間スペクトルと、ステップS201で決定されたユーザの視覚特性を積算することで、ユーザによって実際に視聴される画像の移動領域における時空間スペクトル(移動領域観察スペクトル)を得る。つまり、この処理によって、ユーザが入力動画像信号に応じた画像を見たときに、移動領域がどのように見えるかがわかる。
例えば、入力動画像信号のブロック301における時空間スペクトル(図17)に対して、ある移動速度におけるユーザの視覚特性(図14)を積算すると、そのユーザが実際に視聴する移動領域の時空間スペクトル(移動領域観察スペクトル)は図6のようになる。すなわち、調整部103は、ユーザの視覚特性と、入力動画像信号に応じた画像の移動物体のエッジ部分を含む領域(移動領域)における時空間スペクトルを掛け合わせることにより、移動領域観察スペクトルが求められる。
図6において、白枠で囲まれたスペクトルが、移動物体が滑らかに移動して見える成分(メイン成分)である。一方、それ以外のスペクトル(サブ成分)は、ジャーキネスが知覚される原因になるノイズの成分である。つまり、移動領域観察スペクトルにおいて、メイン成分の振幅に対して、サブ成分の振幅が小さいほど、移動物体が滑らかに移動している画像がよりはっきりと知覚される。従って、本形態の調整部103は、サブ成分のスペクトルの総和を算出し、その値をジャーキネス評価値Jとする。
調整部103が移動領域観察スペクトルを算出する処理は、図2のステップS203に対応する。
<フリッカ評価値算出の処理>
次に、調整部103が行う、フリッカ評価値Fの算出について説明する。フリッカ評価値Fは、ユーザが入力動画像信号に応じた画像を視聴したときにフリッカを知覚する度合いを示した評価値である。つまり、フリッカ評価値Fが高いほど、ユーザがフリッカをより強く感じることになる。フリッカ評価値Fは、入力動画像信号とユーザの視覚特性から算出することができる。フリッカ評価値Fの算出方法は以下のようになる。
まず、調整部103は、決定部102から視覚特性を取得する。これは、図2のステップS201の処理に対応する。
また、調整部103は、画像処理部104から入力動画像信号を取得する。ここで、調整部103が取得する入力動画像信号は、ユーザが現在視聴している番組の、これから表示部105にて表示させる画像(フレーム)に対応する画像信号である。取得される画像の例を図19に示す。調整部103は、入力動画像信号に応じた画像から、フリッカ候補領域を抽出する。フリッカ候補領域の抽出手順は、以下のようになる。
まず、調整部103は、入力動画像信号のRGB値を、光刺激値を示すXYZ値に変換する。入力動画像信号のRGB値をRGB、表示部105のガンマをγ、RGB値からXYZ値への変換マトリクスをMとすると、RGB値とXYZ値の関係は、式(4)のようになる。
このとき、表示部105のガンマや変換マトリクスは、表示部105があらかじめ保持しているものとする。
次に、XYZ刺激値に変換された信号のうち、輝度を表すY値を、閾値Ythを用いて2値化する。つまり、入力動画像信号に応じた画像の画素ごとに、その輝度が閾値Ythよりも高いか否かを判定する。この閾値Ythは、例えば、実験によって取得される、一般的に人間がフリッカを感じるとされる輝度値の半分に設定することができる。このように、閾値Ythを用いてY値を2値化することで、入力動画像信号に応じた画像のうちのフリッカを感じうる領域とそれ以外の領域とに分けることができる。
例えば、図19(a)のような画像がディスプレイに表示されているとき、入力動画像信号のRGB値をXYZ値に変換し、さらに、Y値を閾値Ythで2値化すると、表示画像は図19(b)のようになる。このとき、閾値Ythより高いY値の領域の面積をSとする。この面積Sが閾値Sthより大きい場合、その領域内からフリッカ候補領域を抽出する。即ち、本実施形態の調整部103は、輝度が閾値Ythよりも高い画素の領域の面積が、閾値Sthよりも大きい場合、その領域の中からフリッカ候補領域を抽出する。
尚、本形態において、閾値Sthは、視野角10°に相当する直径の円の面積とする。これは、輝度の高い領域が視野角10〜20°以上に渡っているときに、フリッカが気になりやすいためである。逆に、輝度の高い領域があっても、その領域が視野角10°以下であれば、ユーザがフリッカとして知覚しにくいため、本形態では、フリッカ評価値Fの算出には用いない。尚、視野角10°の面積は、視聴距離(ユーザと表示画面との距離)で変化する。従って、本実施形態の表示制御装置106は、ユーザに視聴距離を入力させ、入力された視聴距離に基づいて、閾値Sthを設定する。
このようにすることで、より表示装置の利用環境に応じた閾値Sthを設定することができ、より精度良く、フリッカ評価値Fを算出することができる。ただし、視聴距離を一定値として取得するようにしても良い。ここでは、テレビの一般的な視聴距離とされる3H(ディスプレイの高さの3倍の距離)の場合の閾値Sthの算出方法を説明する。ディスプレイがフルハイビジョン(1920×1080pixel)であるとすると、閾値Sthは例えば、式(5)を用いて求めることができる。
式(5)により、Sthは約25万pixelとなる。従って、入力動画像信号に応じた画像のY値が、閾値Ythより高い領域が25万pixel以上あるとき、その領域内からフリッカ候補領域を抽出する。フリッカ候補領域として抽出される領域の例を図19(c)に示す。図19(c)では、フリッカ候補領域が長方形である場合の例を示しているが、これに限らず、例えば、円、楕円など、任意の形とすることができる。また、本形態の調整部103は、フリッカ候補領域が、ユーザの視野角10°以上の領域を含むように、フリッカ候補領域を決定する。
調整部103は、フリッカ候補領域として決定した領域の輝度値をある一定時間計測する。つまり、調整部103は、フリッカ候補領域として決定された領域の輝度値を複数フレーム分、抽出する。尚、フリッカ候補領域として複数フレーム分抽出される輝度値は、RGB値から変換されたXYZ値から得られる輝度値(Y値)であり、2値化は行われない。
そして、複数フレームのフリッカ候補領域の輝度値から時空間スペクトルを取得する。調整部103によってフリッカ候補領域の輝度値を4フレーム分、計測し、フリッカ候補領域内の輝度値の変化を時間と空間の2次元座標に変換した結果(時空間表示)を図20に示す。図20には、抽出されたフリッカ候補領域内の輝度値が4フレームに渡って、すべて同じ輝度値であった場合の時空間信号を示している。尚、フリッカ候補領域が複数とりうる場合、本形態の調整部103は、より表示画面の中心に近い領域をフリッカ候補領域として抽出する。ただし、例えば、フレーム全体を抽出しても良い。また、計測する輝度値は4フレーム分に限らない。
調整部103は、時空間信号を2次元フーリエ変換し、さらにフリッカと関係のない直流成分を除去して、時間周波数と空間周波数のスペクトル(時空間スペクトル)を取得する。本形態におけるフリッカ候補領域の時空間スペクトルの例を図21に示す。ここで得られた時空間スペクトルに対して、ユーザの視覚特性を積算することで、フリッカ評価値Fを求めることができる。
図21で示した時空間スペクトルを、説明のために時間周波数軸と振幅軸で示したものが、図22(a)である。調整部103が、図22(a)のスペクトルに対して、ユーザの視覚特性を積算すると図22(b)のようになる。本形態の調整部103は、時空間スペクトルとユーザの視覚領域を積算して得られたスペクトルの総和をフリッカ評価値Fとする。
本実施形態の表示制御装置106は、以上のような構成により、次のような動作をする。つまり、表示制御装置106は、ユーザの応答特性を取得する段階において、例えば、ちらつきが知覚されると判断されたときのLmaxとLminを記憶する。そして、入力動画像信号に応じた動画像を表示させたときに、記憶されているLmaxとLminが出現する場合に、入力動画像信号の変換、及び/又は表示画面の設定の変更を行う。
すなわち、図7のステップ701において、入力部101は、テスト画像の画像信号(第1の画像信号)に基づいて、テスト画像1(第1の画像)、及び、テスト画像2(第2の画像)を第1の駆動周波数(第1の発光間隔)で表示させる。
そして、ステップS702において、入力部101は、テスト画像1、2の表示結果に対する評価値(評価情報)を入力する。そして、入力部101は、所定の評価情報(フリッカを知覚したことを示す評価値)が入力されたテスト画像1の画素値(Lmax)、及び、テスト画像2の画素値(Lmin)を記憶する。尚、上述のように、ステップS702で記憶される画素値(LmaxとLmin)は、ユーザがちらつきを知覚するコントラスト比と、ちらつきを知覚しないコントラスト比の境界に基づく画素値である。
そして、調整部103は、入力動画像信号(第2の画像信号)に基づく画像が第1の発光間隔で表示されると、フリッカ候補領域が、記憶されたテスト画像1の画素値(Lmax)、及び、テスト画像2の画素値(Lmin)で順次表示される場合、次の制御をする。すなわち、調整部103は、フリッカ候補領域の発光間隔を第1の発光間隔よりも短くする(駆動周波数を上げる)制御、及び/又は、フリッカ候補領域の輝度を下げる制御を行う。ただし、フリッカ候補領域だけでなく、例えば表示画面全体の発光間隔や輝度を制御するようにしても良い。
このような構成により、ユーザにとって表示画像の劣化が知覚されにくいパラメータ(例えば、発光間隔、輝度)で画像を表示させることができる。
尚、本形態の入力部101は、ステップS702で、複数の異なる発光間隔(駆動周波数)のそれぞれにおける評価値を入力している。そして、決定部102は、複数の異なる発光間隔のそれぞれにおける評価値に基づいて視覚特性を決定している。従って、例えば、入力部101は、第1の発光間隔で、第1の画像(テスト画像1)と第2の画像(テスト画像2)を順次表示させ、第3の発光間隔でテスト画像1とテスト画像2を表示させる。
そして、入力部101は、第1の発光間隔と第3の発光間隔のうち、所定の評価情報(画面のちらつきを知覚したことを示す評価値)が入力された発光間隔を、第1の画像の画素値、第2の画像の画素値と共に記憶する。そして、調整部103は、入力部101に記憶された発光間隔で入力動画像信号に基づく画像を表示させると、表示させる画像内の所定の領域(フリッカ候補領域)の画素値が、第1の画像の画素値、第2の画像の画素値に対応する場合、以下の制御をする。すなわち、調整部103は、フリッカ候補領域の発光間隔を短くする制御とフリッカ候補領域の輝度を下げる制御のうち少なくとも一方を行う。
このようにすることで、ユーザにとって表示画像の劣化が知覚されにくいパラメータ(例えば、発光間隔、輝度)で画像を表示させることができる。
また、本実施形態の表示制御装置106は、以上のような構成により、次のような動作をする。
すなわち、図7のステップ706において、表示部105は、第1の画素値の領域と第2の画素値の領域を含む動画像を第1の画素値の領域を移動させながら第1の駆動周波数(第1の発光間隔)で表示させる。そして、ステップS707において、入力部101は、動画像の表示結果に対する評価値(評価情報)を入力する。そして入力部101は、所定の評価情報(コントラストを知覚したことを示す評価値)が入力された第1の画素値と第2の画素値を記憶する。
そして、調整部103は、入力動画像信号に応じて第3の画素値の領域と第4の画素値の領域を含む第1の画像と第2の画像を第3の画素値の領域を移動させながら第1の発光間隔で順次、表示させる場合、以下の制御をする。すなわち、調整部103は、第3、第4の画素値、及び、記憶された第1、第2の画素値に基づいて、発光間隔を第1の発光間隔よりも長くする制御と入力動画像信号に応じて表示される動画像のコントラスト比を下げる制御の少なくとも一方を行う。尚、発光間隔を長くすることは、駆動周波数を下げることに対応している。
つまり、調整部103は、入力動画像信号に応じた動画像を表示させた場合に、表示画像内の移動領域に応じて発生するジャーキネスがユーザによって知覚されるか否かを、第1、第2の画素値に基づいて判定する。そして、調整部103は、ユーザがジャーキネスを知覚すると判定された場合、発光間隔の制御と入力動画像信号の変換をするための処理の少なくとも一方を行う。
尚、本形態の入力部101は、画素値が異なる複数のテスト画像に対する評価値を入力する。つまり、入力部101は、第1の画素値を含む領域と第2の画素値の領域を含む動画像を第1の画素値の領域を移動させながら第1の発光間隔で表示させた場合の評価情報を入力する。また、入力部101は、第5の画素値の領域と第6の画素値の領域を含む動画像を第5の画素値の領域を移動させながら第1の発光間隔で表示させた場合の評価情報を入力する。ここで入力される評価情報は、例えば、表示画面内でコントラストが知覚できるか否かを示す評価情報である。そして、調整部103は、第3の画素値の領域、及び、第4の画素値の領域を含む画像を、第3の領域を移動させながら順次、表示させる場合、以下の制御を行う。すなわち、調整部103は、第1、第2の画素値、及び、第5、第6の画素値のうち、所定の評価情報が入力された画素値、及び、第3、第4の画素値に基づいて、発光間隔を長くする制御と動画像のコントラスト比を下げる制御の少なくとも一方を行う。
また、本形態の入力部101は、移動領域の移動速度が異なる複数のテスト画像に対する評価値を入力する。つまり、入力部101は、第1の画素値の領域と第2の画素値の領域を含む動画像を、第1の画素値の領域が第1の速度で移動するように表示させた場合の評価情報を入力する。また、入力部101は、第1の画素値の領域と第2の画素値の領域を含む動画像を、第1の画素値の領域が第2の速度で移動するように表示させた場合の評価情報を入力する。ここで、入力される評価情報は、例えば、表示画面内でコントラストが知覚できるか否かを示す評価情報である。そして、調整部103は、入力動画像信号に応じて第3の画素値の領域と第4の画素値の領域を含む第1の画像と第2の画像を第3の画素値の領域を所定の速度で移動させながら第1の発光間隔で順次、表示される場合、以下のような制御を行う。すなわち、調整部103は、第1、第2、第3、第4の画素値に基づいて、発光間隔を長くする制御と動画像のコントラスト比を下げる制御の少なくとも一方を行う。尚、所定の速度とは、第1の速度と第2の速度のうちジャーキネスが知覚されることを示す評価が入力された速度である。また、第3、第4の画素値は、これから表示する画像の移動領域と非移動領域の境界における画素値である。
尚、表示制御装置106は、次のようにしてジャーキネスが知覚されるかを判断するようにしても良い。すなわち、入力部101は、テスト画像を表示させ、ユーザがジャーキネスを知覚するか否かの評価値を入力させる。そして、ジャーキネスを知覚する評価が行われたときに表示されたテスト画像内の移動領域と非移動領域の画素値を記憶する。そして、調整部103は、入力動画像信号に応じた画像内の移動領域と非移動領域の画素値が、記憶された画素値に対応する場合、ユーザがジャーキネスを知覚すると判断する。そして、調整部103は、ユーザがジャーキネスを知覚すると判断すると、入力動画像信号の変換と表示画面の設定の変更の少なくとも一方を行う。このようにしても、ユーザにとって表示画像の劣化が知覚されにくいパラメータ(例えば、発光間隔やコントラスト比)で画像を表示させることができる。
以上説明したように、本実施形態の決定部102は、テスト画像を表示させた場合に、フリッカや空間的なコントラストが知覚されるか否かに関する評価に基づいて、ユーザの視覚特性を決定する。
そして、調整部103は、これから表示させる画像内の移動領域の時空間スペクトルとユーザの視覚特性を積算することで、ユーザによって視聴される移動領域の時空間スペクトル(移動領域観察スペクトル)を得る。
そして、調整部103は、移動領域観察スペクトルのメイン成分、及び、サブ成分の大きさに基づいて、入力動画像信号に応じた画像を表示させたときにジャーキネスが知覚されるかを示すジャーキネス評価値Jを算出する。そして、ジャーキネス評価値Jが所定の値よりも高い場合、ジャーキネスが知覚される度合いが下がるように、表示部のパラメータ(例えば駆動周波数)の変更と入力動画像信号の変換の少なくとも一方を行うための調整データを決定する。これにより、ジャーキネスを知覚されにくくすることができる。
一方、調整部103は、これから表示させる画像内の所定の領域(フリッカ候補領域)の時空間スペクトルとユーザの視覚特性を積算することで、ユーザによって視聴されるフリッカ候補領域の時空間スペクトル(フリッカ観察スペクトル)を得る。
そして、調整部103は、フリッカ観察スペクトルのメイン成分、及び、サブ成分の大きさに基づいて、入力動画像信号に応じた画像を表示させたときにフリッカが知覚されるかを示すフリッカ評価値Fを算出する。そして、フリッカ評価値Fが所定の値よりも高い場合、フリッカが知覚される度合いが下がるように、表示部のパラメータ(例えば駆動周波数)の変更と入力動画像信号を変換の少なくとも一方を行うための調整データを決定する。このようにすることにより、フリッカを知覚されにくくすることができる。
尚、本実施形態の調整部103は、フリッカ評価値Fが閾値Fthよりも高く、かつ、ジャーキネス評価値Jが閾値Jthよりも高い場合、表示画像の輝度値及びコントラスト比を下げるための調整データを生成する。なぜなら、例えば、発光間隔を長く(駆動周波数を低く)すれば、ジャーキネスの知覚の度合いを下げることができるが、フリッカが知覚されやすくなってしまうからである。このようにすることで、フリッカとジャーキネスのいずれも知覚されにくくすることができる。
また、本実施形態の決定部102は、テスト画像に対する評価値に基づいて決定された視覚特性を、ユーザによって入力された表示画面のパラメータの変更指示に応じて補正する。つまり、決定部102は、入力動画像信号に応じた動画像が表示されているときに、例えば、表示画面の発光間隔を短くする(駆動周波数を上げる)入力が行われた場合、次のように視覚特性を補正する。すなわち、決定部102は、テスト画像に基づいて決定されたコントラスト感度よりも高いコントラスト感度となるように、視覚特性を補正する。
これは、表示画面の発光間隔を短くする入力が行われたのは、フリッカが知覚された可能性が高いと判断できるためである。同様に、決定部102は、表示画面の輝度やコントラスト比の変更指示に応じて、視覚特性を補正する。このようにすることで、より精度良くユーザの視覚特性を決定することができる。ただし、テスト画像で用いて決定した視覚特性を補正しないようにしても良い。
また、本実施形態では、入力動画像信号に応じた動画像を表示させる場合について説明したが、静止画像を表示させる場合にも本発明は適用可能である。即ち、例えば、決定されたユーザの視覚特性と表示画像に応じてフリッカが知覚されるか判定し、その結果に応じて発光間隔(駆動周波数)等の表示パラメータを制御するようにすることができる。
また、本実施形態では、テスト画像の表示結果に対する評価値の入力に基づいて視覚特性を決定したが、例えば、入力動画像信号に応じた動画像を表示させているときに入力されたパラメータに基づいて、ユーザの視覚特性を決定することもできる。
<実施形態2>
次に、第2の実施形態について、実施形態1との差異を中心に説明する。実施形態1では、表示されたテスト画像において、画素値の時間的・空間的な変化が知覚されたか否かに基づいた評価値に応じて視覚特性を決定していた。それに対し、本実施形態では、テスト画像に対する見え具合の評価値に基づいて視覚特性を決定する場合について説明する。
図10は第2実施形態の表示制御装置が行う動作を示すフローチャートである。以下、図1のブロック図と図10のフローチャートを用いて、本実施形態について説明する。
ステップS1001において、決定部102は、入力部101から取得された応答特性に基づいてユーザの視覚特性を決定する。入力部101による応答特性の取得、及び、ユーザの視覚特性の決定は、以下のように行う。
まず、入力部101は、図9のような、複数の空間周波数のコントラストを含むテスト画像を、ある時間周波数、ある移動速度で移動させながら、表示部105に表示させる。尚、図9には、12種類の空間周波数の領域で構成されるコントラスト集合が3つ、表示されている。本実施形態では、3つのコントラスト集合が、一定の移動速度で右側に移動するように表示される。そして、1番右のコントラスト集合が表示画面の右端から消えると、新たに表示画面の左端からコントラスト集合を表示させる。したがって、表示画面上には常に3つのコントラスト集合が表示される。ただし、表示画面上のコントラスト集合の数は3つに限らず、また、1つのコントラスト集合に含まれる空間周波数の種類は、12に限らない。
つまり、図9に示すように、コントラスト集合には、例えば、白色の部分と黒色の部分の間隔が異なる複数(12個)の領域が含まれる。そして、入力部101は、それぞれの領域に対して、ユーザによる見え具合を示す評価値を入力させる。
ユーザは、コントラスト集合に含まれる空間周波数ごとに、コントラストの見え具合に関する評価値を入力する。評価値は、例えば100点満点で評価できるように設定する。つまり、例えば、5[pixel/frame]で移動し、時間周波数60[cycle/sec]で表示されているコントラスト集合のうち、1番上に表示されているコントラストの見え具合を入力する。ここで、コントラスト(画素値の違い)がはっきりと知覚できれば100点、まったく知覚できなければ0点となる。図9の例では、空間周波数に応じて横に並んだ4つの黒色の領域がはっきりと知覚できれば100点、それらがまったく知覚できない場合は0点が入力される。例えば、黒色の領域が3つに見えたり、5つに見えた場合は、4つに見えた場合よりも低い評価値が入力される。尚、例えば、4つに知覚されるはずの黒色の領域が5つに知覚されるということは、ジャーキネスが知覚されていると判断することができる。
1番上に表示されているコントラストの見え具合の評価値を入力すると、順次、下に表示されているコントラストの見え具合の評価値を入力していく。そして、コントラスト集合のすべての評価値の入力を終えると、入力部101は、テスト画像におけるコントラスト集合の移動速度、又は時間周波数を変えて表示し、再びユーザにコントラストの見え具合を評価させる。
つまり、例えば、移動速度を1[pixel/frame]から50[pixel/frame]まで、5[pixel/frame]刻みで設定し、それぞれの移動速度において、時間周波数が、60[cycle/sec]、120[cycle/sec]、180[cycle/sec]の場合のコントラスト集合の各コントラストの見え具合を評価させる。また、図9の例では、1つのコントラスト集合につき12個の評価値が入力される。ただし、例えば、評価値として0点が入力されると、それよりもコントラストが知覚されにくい部分の評価値を自動的に0点にする。入力部101は、取得された各コントラストの見え具合の評価値を決定部102に出力する。
そして、決定部102は、入力部101から出力された評価値を、縦軸に時間周波数、横軸に空間周波数とした3次元座標上にプロットすることでユーザの視覚特性を決定する。プロット結果の例を図18に示す。図18は、ある移動速度のときのユーザの視覚特性の例である。つまり、上述のように、11種類の移動速度のそれぞれにおけるコントラストの見え具合を評価させた場合、図18のような図が11個、作成される。尚、図18では、見やすくするために、空間周波数が1、5、10、15、20、25Hzの6種類の場合の評価値をプロットしている。
決定部102は、ステップS1001において、決定されたユーザの視覚特性を、調整部103に出力する。尚、評価値は移動速度ごと、時間周波数ごとのほかにコントラストごとなどを行ってもよい。このようにすれば、入力動画像信号に応じた画像のコントラスト情報に応じて、よりユーザの視覚特性に適した画像の表示を行うことができる。調整部103がユーザの視覚特性を取得すると、ステップS1002に進む。
ステップS1002において、調整部103は、ステップS1001で取得されたユーザの視覚特性と、入力動画像信号に基づいて、最適な調整データを決定する。つまり、調整部103は、ステップS1002において、入力動画像信号を画像処理部104経由で取得する。この入力動画像信号は、ユーザによって視聴されている番組の、これから表示させる画像の画像信号である。そして、調整部103は、入力動画像信号に応じた画像内におけるの移動物体を検出し、その移動速度を取得する。
さらに、調整部103は、表示画像内の、移動物体とその周辺の領域をフーリエ変換することで、該領域の空間周波数を算出する。
次に、算出された移動速度に最も近い速度のユーザの視覚特性を選択する。上述の例では、11種類の移動速度に対応するユーザの視覚特性のうち、1つの視覚特性が選択される。そして、調整部103は、選択されたユーザの視覚特性のデータを参照し、算出された空間周波数において、最も評価値が高い時間周波数の値に基づいて、駆動周波数を決定する。このようにして決定された駆動周波数は、ユーザにとって移動物体を最も知覚しやすい駆動周波数となる。
例えば、入力動画像信号に応じた画像において、移動物体の移動速度が10[pixel/frame]であり、移動物体とその周辺の領域の空間周波数が15Hzであった場合、駆動周波数は、以下のように決定される。すなわち、図18に示すユーザの視覚特性が、移動物体の移動速度が10[pixel/frame]の場合の視覚特性であった場合、入力動画像信号に応じた画像を表示させるときの駆動周波数は120Hzに決定される。これは、以下の理由による。すなわち、図18によると、駆動周波数が120Hzのときの評点(評価値)が、ほかの駆動周波数(60、240Hz)の場合よりも高い。これは、図9のようなテスト画像を10[pixel/frame]で移動して表示させた場合に、駆動周波数が60Hzの場合や、240Hzの場合よりも、駆動周波数が120Hzの場合のほうが、空間周波数15Hzに対応する領域ではっきりと4つの黒色の領域を知覚できたことを示している。
このように、調整部103は、入力動画像信号に応じた画像の移動の速さと、画像内の空間周波数に基づいて、入力動画像信号に応じた画像のコントラストが最もはっきりと知覚される駆動周波数を決定する。
ステップS1004において、表示部105は、調整データに基づいて駆動周波数を調整し、画像を表示させる。
以上説明したように、本実施形態の表示制御装置は、テスト画像を評価させることによって、ユーザの視覚特性を決定する。そして、表示画像内の移動物体の動きの速さ、及び、表示画像の空間周波数、ユーザの視覚特性に応じて、最適な駆動周波数を決定する。このようにすることにより、表示画像の劣化を知覚されにくくすることができる。
<実施形態3>
次に、第3の実施形態について、実施形態1との差異を中心に説明する。
実施形態1では、入力動画像信号とユーザの視覚特性に応じて、画像処理部104における入力動画像信号の変換と表示部105の設定変更の少なくとも一方を行っていた。これに対し、本実施形態では、入力動画像信号を入力する画像入力装置において入力動画像信号の変換を行う。
図11は、本発明の第3実施形態に関わる表示制御装置のシステム構成例を示すブロック図である。画像入力装置107が、調整部103と画像処理部104に接続される。画像入力装置107は、画像を入力する装置であり、例えば、デジタルビデオカメラである。これは、例えば、バーチャルリアリティ内でユーザの視界に映る映像を入手するバーチャルリアリティカメラとして用いることも可能である。
図12は本発明の第3実施形態の表示制御装置の処理を示すフローチャートである。
ステップS1201において、決定部102は、入力部101によって取得された応答特性に基づいてユーザの視覚特性を決定する。ユーザの視覚特性の決定処理は実施形態1と同様である。
ステップS1202において、調整部103は、調整データを生成する。調整部103による調整データの生成手順は、実施形態1と同様である。つまり、調整部103は、入力動画像信号に応じた動画像の移動物体のエッジを含む領域(移動領域)の輝度値を複数フレーム分、取得する。そして、得られた移動領域の時空間スペクトルとユーザの視覚特性を積算することによって得られた移動領域観察スペクトルのメイン成分とサブ成分とに基づいて、ジャーキネス評価値Jを算出する。そして、ジャーキネス評価値Jが所定値以上であった場合は、ジャーキネスを低減するために、駆動周波数、及び/又は表示画像の輝度やコントラスト比の設定を変更するための調整データを生成する。
また、調整部103は、ステップS1202において、入力動画像信号に応じた動画像において輝度値が所定値以上の領域を検出する。そして、その領域が所定の面積よりも広かった場合、その領域内から、フリッカ候補領域を決定し、その領域の輝度値を複数フレーム分、取得する。そして、得られたフリッカ候補領域の時空間スペクトルとユーザの視覚特性を積算することによって得られた時空間スペクトルの総和をフリッカ評価値Fとして算出する。そして、フリッカ評価値Fが所定値以上であった場合は、フリッカを低減するために、駆動周波数、及び/又は表示画像の輝度やコントラスト比の設定を変更するための調整データを生成する。
調整部103は、生成した調整データを、その内容に応じて、適宜、画像入力装置107、画像処理部104、表示部105に出力する。
ステップS1203において、画像処理部104は、調整データに基づいて、入力動画像信号を変換し、表示部105に出力する。
ステップS1204において、表示部105は、調整データに基づいて表示部105のパラメータを調整し、画像を表示する。
ステップS1205において、画像入力装置107は、調整データに基づいて撮像された画像信号を変換し、入力動画像信号を画像処理部104に送出する。
以上説明したように、本形態の調整部103は、表示制御装置106に入力される入力動画像信号そのものを変換するためのパラメータ(調整データ)を画像入力装置107へ出力すると共に、適宜、画像処理部104や表示部105に対して調整データを出力する。このようにすることで、表示画像の劣化を知覚されにくくすることができる。
<その他の実施形態>
本発明の目的は、次の形態によっても達成される。即ち、前述した実施形態の機能を実現するソフトウエアのプログラムコードを記録した記録媒体を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ(またはCPUまたはMPU)が記録媒体に格納されたプログラムコードを読み出し実行する形態である。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することとなり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、磁気テープ、不揮発性のメモリカード、ROM、DVDなどを用いることができる。
また、本発明は、コンピュータが読み出したプログラムコードを実行することにより、前述した実施例の機能が実現される形態には限られない。すなわち、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOperating System(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施例の機能が実現される場合も含まれる。
さらに、本発明には、以下の形態も含まれる。すなわち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書きこまれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される形態である。