JPH04293376A - 映像表示システム - Google Patents
映像表示システムInfo
- Publication number
- JPH04293376A JPH04293376A JP5894891A JP5894891A JPH04293376A JP H04293376 A JPH04293376 A JP H04293376A JP 5894891 A JP5894891 A JP 5894891A JP 5894891 A JP5894891 A JP 5894891A JP H04293376 A JPH04293376 A JP H04293376A
- Authority
- JP
- Japan
- Prior art keywords
- video
- gaze
- video signal
- time length
- band
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
- Transforming Electric Information Into Light Information (AREA)
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【0001】
【産業上の利用分野】この発明は、映像表示システムに
関し、特に、映像信号発生器と表示装置との間の伝送情
報量を減少させることのできる映像表示システムに関す
る。
関し、特に、映像信号発生器と表示装置との間の伝送情
報量を減少させることのできる映像表示システムに関す
る。
【0002】
【従来の技術および発明が解決しようとする課題】従来
では、映像信号または画像信号の帯域圧縮が行なわれる
場合では、DPCMや直交変換、サブサンプリングなど
画像データに含まれる冗長性、すなわち相関性の高さを
利用して、画面全体の画像データについて一様の処理が
行なわれている。したがって、帯域圧縮されて伝送され
てきた画像信号に基づく画像が画面上に表示されたとき
、観察者は画面上に表示された画像を一様の解像度で見
ることができる。すなわち、画面上に表示された画像は
、どの部分においても一様の解像度を有しており、観察
者は画面上のいたるところで同じ解像度を有する画像を
見ることができる。
では、映像信号または画像信号の帯域圧縮が行なわれる
場合では、DPCMや直交変換、サブサンプリングなど
画像データに含まれる冗長性、すなわち相関性の高さを
利用して、画面全体の画像データについて一様の処理が
行なわれている。したがって、帯域圧縮されて伝送され
てきた画像信号に基づく画像が画面上に表示されたとき
、観察者は画面上に表示された画像を一様の解像度で見
ることができる。すなわち、画面上に表示された画像は
、どの部分においても一様の解像度を有しており、観察
者は画面上のいたるところで同じ解像度を有する画像を
見ることができる。
【0003】しかしながら、画像の解像度が一様である
ため、観察者の注視領域において詳細に画像を見ると、
画素が粗いことにより解像度の不足を感じる場合がある
。これを防ぐためには、伝送帯域を広げ解像度を向上さ
せる必要があるが、一般に伝送帯域を広くすることは好
ましくない。
ため、観察者の注視領域において詳細に画像を見ると、
画素が粗いことにより解像度の不足を感じる場合がある
。これを防ぐためには、伝送帯域を広げ解像度を向上さ
せる必要があるが、一般に伝送帯域を広くすることは好
ましくない。
【0004】一方、放送および画像通信の技術分野では
、同じ映像または画像を同じ条件で多くの観察者に見せ
るという従来の形態から、個々の観察者が所望の画像部
分を個別にかつ好みに合わせて観察するという形態に移
行しつつある。したがって、画一的な映像信号または画
像信号の帯域圧縮ではこの要求に応じることができず、
観察者の必要に応じて個別に帯域圧縮を行なう技術の開
発が重要な課題となってきた。
、同じ映像または画像を同じ条件で多くの観察者に見せ
るという従来の形態から、個々の観察者が所望の画像部
分を個別にかつ好みに合わせて観察するという形態に移
行しつつある。したがって、画一的な映像信号または画
像信号の帯域圧縮ではこの要求に応じることができず、
観察者の必要に応じて個別に帯域圧縮を行なう技術の開
発が重要な課題となってきた。
【0005】この発明は、上記のような課題を解決する
ためになされたもので、映像信号発生器と表示装置との
間の伝送情報量を減少させることのできる映像表示シス
テムを提供することを目的とする。
ためになされたもので、映像信号発生器と表示装置との
間の伝送情報量を減少させることのできる映像表示シス
テムを提供することを目的とする。
【0006】
【課題を解決するための手段】この発明に係る映像表示
システムは、映像信号発生手段と、映像信号発生手段か
ら発生された映像信号に基づいて映像を画面上に表示す
る映像表示手段と、表示された映像を観察する観察者の
画面上の注視領域および注視時間長さを検出する注視状
態検出手段と、検出された注視時間長さが予め定められ
た時間長さを越えていることを判定する注視時間長さ判
定手段と、注視時間長さ判定手段に応答して、映像信号
発生手段から発生された映像信号の注視領域の映像情報
量を減少させる映像情報減少手段とを含む。
システムは、映像信号発生手段と、映像信号発生手段か
ら発生された映像信号に基づいて映像を画面上に表示す
る映像表示手段と、表示された映像を観察する観察者の
画面上の注視領域および注視時間長さを検出する注視状
態検出手段と、検出された注視時間長さが予め定められ
た時間長さを越えていることを判定する注視時間長さ判
定手段と、注視時間長さ判定手段に応答して、映像信号
発生手段から発生された映像信号の注視領域の映像情報
量を減少させる映像情報減少手段とを含む。
【0007】
【作用】この発明における映像表示システムでは、注視
時間長さ判定手段が、注視状態検出手段によって検出さ
れた観察者の注視時間長さが予め定められた時間長さを
越えていることを判定する。注視時間長さが予め定めら
れた時間長さを越えているとき、映像情報減少手段が注
視時間長さ判定手段に応答して、映像信号発生手段から
発生された映像信号の注視領域の映像情報量を減少させ
る。映像表示手段は、映像情報減少手段によって情報量
が減少された映像信号に基づく映像を画面上に表示する
。したがって、映像表示手段に伝送される映像信号の映
像情報量が減少される。
時間長さ判定手段が、注視状態検出手段によって検出さ
れた観察者の注視時間長さが予め定められた時間長さを
越えていることを判定する。注視時間長さが予め定めら
れた時間長さを越えているとき、映像情報減少手段が注
視時間長さ判定手段に応答して、映像信号発生手段から
発生された映像信号の注視領域の映像情報量を減少させ
る。映像表示手段は、映像情報減少手段によって情報量
が減少された映像信号に基づく映像を画面上に表示する
。したがって、映像表示手段に伝送される映像信号の映
像情報量が減少される。
【0008】
【実施例】図1は、この発明の一実施例を示す映像表示
システムのブロック図である。図1を参照して、この映
像表示システムは、表示装置10の画面上に表示すべき
映像の映像信号を発生する映像信号発生装置1と、映像
信号の帯域を制限するローパスフィルタ(LPF)2と
、観察者の画面上の注視領域の変化に応じて映像信号に
画像処理を施す画像処理装置8と、観察者の眼球の運動
を検出する眼球運動検出装置5と、磁気センサを用いて
観察者の頭部運動を検出する頭部運動検出装置6と、検
出された頭部運動データおよび眼球運動データを演算処
理することにより観察者の視線データを求める注視点処
理装置7と、注視点データに基づいて観察者の注視領域
データを求める注視領域分離装置3とを含む。画像処理
装置8は、映像信号発生装置1から発生された映像信号
Saおよびローパスフィルタ2を経て与えられる映像信
号Sbを受けるスイッチング部81と、観察者の注視領
域データに基づいて制御信号を発生する制御信号発生部
82と、観察者の注視時間長さが所定の時間長さを越え
ていることを判定し、帯域制御信号BWを発生する注視
時間判定部83とを含む。
システムのブロック図である。図1を参照して、この映
像表示システムは、表示装置10の画面上に表示すべき
映像の映像信号を発生する映像信号発生装置1と、映像
信号の帯域を制限するローパスフィルタ(LPF)2と
、観察者の画面上の注視領域の変化に応じて映像信号に
画像処理を施す画像処理装置8と、観察者の眼球の運動
を検出する眼球運動検出装置5と、磁気センサを用いて
観察者の頭部運動を検出する頭部運動検出装置6と、検
出された頭部運動データおよび眼球運動データを演算処
理することにより観察者の視線データを求める注視点処
理装置7と、注視点データに基づいて観察者の注視領域
データを求める注視領域分離装置3とを含む。画像処理
装置8は、映像信号発生装置1から発生された映像信号
Saおよびローパスフィルタ2を経て与えられる映像信
号Sbを受けるスイッチング部81と、観察者の注視領
域データに基づいて制御信号を発生する制御信号発生部
82と、観察者の注視時間長さが所定の時間長さを越え
ていることを判定し、帯域制御信号BWを発生する注視
時間判定部83とを含む。
【0009】動作において、観察者の眼球運動の動きお
よび頭部運動の動きが眼球運動検出装置5および頭部運
動検出装置6によりそれぞれ検出される。検出された運
動データに基づいて、注視点処理装置7が演算処理を行
なうことにより、観察者の視線の動きを示す視線データ
を求める。求められた視線データは、注視領域分離装置
3に与えられ、そこで観察者が注視している画面上の注
視領域の座標およびその周辺領域の座標が得られる。注
視領域およびその周辺領域の座標は、画像処理装置8内
の制御信号発生部82に与えられる。上記の処理につい
ては、後で詳細に説明する。
よび頭部運動の動きが眼球運動検出装置5および頭部運
動検出装置6によりそれぞれ検出される。検出された運
動データに基づいて、注視点処理装置7が演算処理を行
なうことにより、観察者の視線の動きを示す視線データ
を求める。求められた視線データは、注視領域分離装置
3に与えられ、そこで観察者が注視している画面上の注
視領域の座標およびその周辺領域の座標が得られる。注
視領域およびその周辺領域の座標は、画像処理装置8内
の制御信号発生部82に与えられる。上記の処理につい
ては、後で詳細に説明する。
【0010】映像信号発生装置1から発生された映像信
号Saは、直接画像処理装置8内のスイッチング部81
に与えられる一方、ローパスフィルタ2にも与えられる
。ローパスフィルタ2を介して帯域制限された映像信号
Sbが出力され、スイッチング部81に与えられる。 制御信号発生部82は、注視領域分離装置3から与えら
れる注視領域データに基づいて、スイッチング部81を
制御するのに必要な制御信号を発生する。以下に、スイ
ッチング部81および注視時間判定部83における処理
について説明する。
号Saは、直接画像処理装置8内のスイッチング部81
に与えられる一方、ローパスフィルタ2にも与えられる
。ローパスフィルタ2を介して帯域制限された映像信号
Sbが出力され、スイッチング部81に与えられる。 制御信号発生部82は、注視領域分離装置3から与えら
れる注視領域データに基づいて、スイッチング部81を
制御するのに必要な制御信号を発生する。以下に、スイ
ッチング部81および注視時間判定部83における処理
について説明する。
【0011】図10は、人間の注視時間と正答率との間
の関係を示すグラフである。図10を参照して、以下に
注視時間と脳内での情報処理との関係について説明する
。なお、詳細は、本郷,山田らによる「注視時間制御提
示装置とこれを用いた視覚探索実験」と題された文献(
通信学会画像工学研究会資料´91年1月)に記されて
いる。図10に示した実験結果は、被験者A,Bおよび
Cに円や四角,三角といったパターンがちりばめられた
図の中から円の数を数えるという課題を与えることとし
、様々な注視時間が与えられたときにカウントの正答率
がどのように変化するかを示している。したがって、横
軸が注視時間(msec)を示し、縦軸が正答率(%)
を示す。この図から、270msの注視時間で、注視時
間に制限のない通常の場合と同じ正答率が得られる。す
なわち、このような課題が与えられた場合では、正しい
カウントを行なうのに必要な注視時間が270msであ
り、それ以上の時間をかけて被験者に画像を提示する必
要がないことが分かる。その他各種の視覚実験から、人
間の脳における視覚情報処理に必要な時間Tvは、30
0ms前後(±100ms)となることが知られている
。したがって、図1に示した映像表示システムでは、上
記の実験結果を利用して、画面上の注視が開始されてか
ら時間Tvが経過した後に、注視部分の映像信号を帯域
制限することにより、観察者の画像に対する視覚情報処
理能力を減ずることなく映像信号の伝送情報量の低減を
図るものである。
の関係を示すグラフである。図10を参照して、以下に
注視時間と脳内での情報処理との関係について説明する
。なお、詳細は、本郷,山田らによる「注視時間制御提
示装置とこれを用いた視覚探索実験」と題された文献(
通信学会画像工学研究会資料´91年1月)に記されて
いる。図10に示した実験結果は、被験者A,Bおよび
Cに円や四角,三角といったパターンがちりばめられた
図の中から円の数を数えるという課題を与えることとし
、様々な注視時間が与えられたときにカウントの正答率
がどのように変化するかを示している。したがって、横
軸が注視時間(msec)を示し、縦軸が正答率(%)
を示す。この図から、270msの注視時間で、注視時
間に制限のない通常の場合と同じ正答率が得られる。す
なわち、このような課題が与えられた場合では、正しい
カウントを行なうのに必要な注視時間が270msであ
り、それ以上の時間をかけて被験者に画像を提示する必
要がないことが分かる。その他各種の視覚実験から、人
間の脳における視覚情報処理に必要な時間Tvは、30
0ms前後(±100ms)となることが知られている
。したがって、図1に示した映像表示システムでは、上
記の実験結果を利用して、画面上の注視が開始されてか
ら時間Tvが経過した後に、注視部分の映像信号を帯域
制限することにより、観察者の画像に対する視覚情報処
理能力を減ずることなく映像信号の伝送情報量の低減を
図るものである。
【0012】図2は、図1に示した画像処理装置8にお
ける処理を説明するためのタイミング図である。図2(
A)に示すように、画面上の注視領域がC1,C2,C
3の順で移動していくものと仮定する。すなわち、図2
(B)および(C)に示すように、観察者は、時刻t1
からt2の期間において画面上の領域C1を注視し、時
刻t3からt6の期間において領域C2を注視し、時刻
t7からt8の期間において領域C3を注視するものと
仮定する。図2(B)の縦軸は、観察者の状態の変化、
すなわち観察者が注視状態および非注視状態のいずれに
あるかを示している。図2(C)の縦軸は、表示装置1
0に与えられる映像信号の注視領域成分の帯域BWの変
化を示している。
ける処理を説明するためのタイミング図である。図2(
A)に示すように、画面上の注視領域がC1,C2,C
3の順で移動していくものと仮定する。すなわち、図2
(B)および(C)に示すように、観察者は、時刻t1
からt2の期間において画面上の領域C1を注視し、時
刻t3からt6の期間において領域C2を注視し、時刻
t7からt8の期間において領域C3を注視するものと
仮定する。図2(B)の縦軸は、観察者の状態の変化、
すなわち観察者が注視状態および非注視状態のいずれに
あるかを示している。図2(C)の縦軸は、表示装置1
0に与えられる映像信号の注視領域成分の帯域BWの変
化を示している。
【0013】図1に示した注視時間判定部83は、注視
領域分離装置3から発生される注視領域データに基づい
て、観察者の視線がある一定の領域内に前述の時間長さ
Tv以上止まっているか否かを判定する。すなわち、観
察者が注視領域C1を注視している期間は、時刻t1か
らt2の間でありこの期間の時間長さはTvより短い。 したがって、注視時間判定部83は、この期間において
は映像信号が広い帯域となるよう制御する信号BWWを
出力し、これを制御信号発生部82に与える。次に、観
察者は時刻t3からt6の期間において領域C2を注視
する。注視時間がt4を越えると、注視時間長さがTv
を越えるので、注視時間判定部83は映像信号の帯域を
狭くするよう制御する信号BWNを出力し、これを制御
信号発生部82に与える。制御信号発生部82は、信号
BWNに応答して、中止領域C2の映像信号成分を狭い
帯域になるよう制御信号をスイッチング部81に与える
。時刻t4から予め定められた時間長さTmが経過した
後、注視領域C2の映像信号の帯域は再び広げられる。 すなわち、この時間Tmの経過の後、注視時間判定部8
3が信号BWWを出力するので、制御信号発生部82に
よって注視領域C2の映像信号の帯域が広げられる。
領域分離装置3から発生される注視領域データに基づい
て、観察者の視線がある一定の領域内に前述の時間長さ
Tv以上止まっているか否かを判定する。すなわち、観
察者が注視領域C1を注視している期間は、時刻t1か
らt2の間でありこの期間の時間長さはTvより短い。 したがって、注視時間判定部83は、この期間において
は映像信号が広い帯域となるよう制御する信号BWWを
出力し、これを制御信号発生部82に与える。次に、観
察者は時刻t3からt6の期間において領域C2を注視
する。注視時間がt4を越えると、注視時間長さがTv
を越えるので、注視時間判定部83は映像信号の帯域を
狭くするよう制御する信号BWNを出力し、これを制御
信号発生部82に与える。制御信号発生部82は、信号
BWNに応答して、中止領域C2の映像信号成分を狭い
帯域になるよう制御信号をスイッチング部81に与える
。時刻t4から予め定められた時間長さTmが経過した
後、注視領域C2の映像信号の帯域は再び広げられる。 すなわち、この時間Tmの経過の後、注視時間判定部8
3が信号BWWを出力するので、制御信号発生部82に
よって注視領域C2の映像信号の帯域が広げられる。
【0014】観察者は時刻t7からt8の期間において
、領域C3を注視するが、この時間長さはTvを越えて
いないので、注視領域C3の映像信号の帯域は広いまま
に保たれる。
、領域C3を注視するが、この時間長さはTvを越えて
いないので、注視領域C3の映像信号の帯域は広いまま
に保たれる。
【0015】次に、図1に示した制御信号発生部82の
動作について説明する。スイッチング部81は、帯域制
限されていない、すなわち広い帯域を有する映像信号S
aと、ローパスフィルタ2によって帯域制限された、す
なわち狭い帯域を有する映像信号Sbとを受ける。制御
信号発生部82は、映像信号の注視領域においてその帯
域を制御するのに必要な制御信号をスイッチング部81
に与える。すなわち、制御信号発生部82は、注視時間
判定部83から与えられる帯域制御信号BWに応答して
、注視領域における映像信号の帯域を制御するのに必要
な制御信号を発生し、それをスイッチング部81に与え
る。スイッチング部81は、与えられた制御信号に応答
して、受信した映像信号SaおよびSbに基づいて映像
信号を合成する。その結果、注視領域の映像信号の帯域
が制御された合成映像信号Scがスイッチング部81か
ら発生され、この合成映像信号が表示装置10に伝送さ
れる。伝送される合成映像信号Scは、観察者の注視状
態に応じて、注視領域の映像信号成分において帯域が減
少されているので、伝送情報量が減じられることになる
。
動作について説明する。スイッチング部81は、帯域制
限されていない、すなわち広い帯域を有する映像信号S
aと、ローパスフィルタ2によって帯域制限された、す
なわち狭い帯域を有する映像信号Sbとを受ける。制御
信号発生部82は、映像信号の注視領域においてその帯
域を制御するのに必要な制御信号をスイッチング部81
に与える。すなわち、制御信号発生部82は、注視時間
判定部83から与えられる帯域制御信号BWに応答して
、注視領域における映像信号の帯域を制御するのに必要
な制御信号を発生し、それをスイッチング部81に与え
る。スイッチング部81は、与えられた制御信号に応答
して、受信した映像信号SaおよびSbに基づいて映像
信号を合成する。その結果、注視領域の映像信号の帯域
が制御された合成映像信号Scがスイッチング部81か
ら発生され、この合成映像信号が表示装置10に伝送さ
れる。伝送される合成映像信号Scは、観察者の注視状
態に応じて、注視領域の映像信号成分において帯域が減
少されているので、伝送情報量が減じられることになる
。
【0016】図1に示した実施例では、ローパスフィル
タ2を用いて映像信号の帯域を制限する場合について説
明がなされたが、これに限らず、たとえば映像信号に含
まれる色情報の解像度を下げたり、場合によってはモノ
クロにして伝送帯域を減少させることも有効であること
が指摘される。
タ2を用いて映像信号の帯域を制限する場合について説
明がなされたが、これに限らず、たとえば映像信号に含
まれる色情報の解像度を下げたり、場合によってはモノ
クロにして伝送帯域を減少させることも有効であること
が指摘される。
【0017】画面上の注視領域の半径を決定する視覚V
θは、たとえば中心窩の次に解像度が高く、並列処理も
行なわれているParafoveaを含めて、3゜ない
し5゜が適当である。時間長さTmについては、たとえ
ば時間Tvが経過した後、次の注視点間での時間である
200ms(±100ms)が適当である。これは、時
間Tvが経過した後、人間の目は、一般にSaccad
eと呼ばれる飛ぶような運動を開始するため、このとき
Saccadic Suppressionと呼ばれ
る視機能の低下が報告されていることに基づく。なお、
時間長さTvおよびTmならびに視覚Vθについては、
観察対象によって変化し、視覚実験を通じて任意に設定
されることになる。
θは、たとえば中心窩の次に解像度が高く、並列処理も
行なわれているParafoveaを含めて、3゜ない
し5゜が適当である。時間長さTmについては、たとえ
ば時間Tvが経過した後、次の注視点間での時間である
200ms(±100ms)が適当である。これは、時
間Tvが経過した後、人間の目は、一般にSaccad
eと呼ばれる飛ぶような運動を開始するため、このとき
Saccadic Suppressionと呼ばれ
る視機能の低下が報告されていることに基づく。なお、
時間長さTvおよびTmならびに視覚Vθについては、
観察対象によって変化し、視覚実験を通じて任意に設定
されることになる。
【0018】以下の説明では、図1に示した映像表示シ
ステムにおける観察者の視線の動きの検出およびそれに
基づく注視領域の抽出のための処理について記載する。
ステムにおける観察者の視線の動きの検出およびそれに
基づく注視領域の抽出のための処理について記載する。
【0019】図5は、図1に示した頭部運動検出装置6
のブロック図である。図5を参照して、この頭部運動検
出装置6は、基準磁界を発生する励磁コイル61と、励
磁コイル61を交流駆動するためのドライブ回路65と
、観察者の頭部に装着されたセンサコイル62と、観察
者の頭部に動きに応じてセンサコイル62に誘起された
電圧を検出する検出回路63と、検出回路63によって
検出された電圧に基づいて演算処理により観察者の頭部
運動を求めるCPU64とを含む。CPU64はドライ
ブ回路65をも制御する。励磁コイル61は、3軸(X
,Y,Z)方向に巻かれた3つのコイルにより構成され
る。各コイルには、ドライブ回路65から発生された、
それぞれ周波数の異なった駆動用電源電圧が供給される
。したがって、励磁コイル61によって3軸を基準とす
る磁界が発生され、その磁界の中に観察者がいることに
なる。センサコイル62も、(X,Y,Z)方向にそれ
ぞれ巻かれた3つの検出用コイルを備えている。観察者
の頭部が動くと、その動きに応じてセンサコイル62内
の各コイルに起電力が誘起される。各コイルに生じた起
電力を検出回路63により検出することにより、観察者
の頭部の動きに応じた信号が得られる。CPU64は、
この信号に基づいて演算処理することにより、観察者の
頭部の動きを示す頭部運動データHを求め、それを出力
する。
のブロック図である。図5を参照して、この頭部運動検
出装置6は、基準磁界を発生する励磁コイル61と、励
磁コイル61を交流駆動するためのドライブ回路65と
、観察者の頭部に装着されたセンサコイル62と、観察
者の頭部に動きに応じてセンサコイル62に誘起された
電圧を検出する検出回路63と、検出回路63によって
検出された電圧に基づいて演算処理により観察者の頭部
運動を求めるCPU64とを含む。CPU64はドライ
ブ回路65をも制御する。励磁コイル61は、3軸(X
,Y,Z)方向に巻かれた3つのコイルにより構成され
る。各コイルには、ドライブ回路65から発生された、
それぞれ周波数の異なった駆動用電源電圧が供給される
。したがって、励磁コイル61によって3軸を基準とす
る磁界が発生され、その磁界の中に観察者がいることに
なる。センサコイル62も、(X,Y,Z)方向にそれ
ぞれ巻かれた3つの検出用コイルを備えている。観察者
の頭部が動くと、その動きに応じてセンサコイル62内
の各コイルに起電力が誘起される。各コイルに生じた起
電力を検出回路63により検出することにより、観察者
の頭部の動きに応じた信号が得られる。CPU64は、
この信号に基づいて演算処理することにより、観察者の
頭部の動きを示す頭部運動データHを求め、それを出力
する。
【0020】図3は、観察者の頭部運動の各運動パラメ
ータの方向を示す概略図である。観察者の前頭部に前述
のセンサコイル62が装着される。図3に示したパラメ
ータHx,Hy,Hz,Hθ,HφおよびHψは、それ
ぞれこの図に示す方向の頭部運動の動きを示している。 すなわち、Hxは頭部の水平平行運動を示し、Hyは前
後方向の動きを示し、Hzは垂直平行運動を示す。また
、Hθは首を左右に傾ける方向の運動を示し、Hφは首
の上下方向の回転運動を示し、Hψは頭部の左右方向の
回転運動を示す。
ータの方向を示す概略図である。観察者の前頭部に前述
のセンサコイル62が装着される。図3に示したパラメ
ータHx,Hy,Hz,Hθ,HφおよびHψは、それ
ぞれこの図に示す方向の頭部運動の動きを示している。 すなわち、Hxは頭部の水平平行運動を示し、Hyは前
後方向の動きを示し、Hzは垂直平行運動を示す。また
、Hθは首を左右に傾ける方向の運動を示し、Hφは首
の上下方向の回転運動を示し、Hψは頭部の左右方向の
回転運動を示す。
【0021】図4は、観察者が表示装置10を見ている
様子を示す模式図である。図4を参照して、観察者は、
ゴーグルのような眼鏡を装着して、表示装置10の画面
上を観察している。予め定められた位置に前述の励磁コ
イル61が置かれる。センサコイル62(図示せず)は
、眼鏡66に取付けられている。観察者の頭部が動くこ
とにより、励磁コイル61とセンサコイル62との間の
位置関係が相対的に変化し、頭部運動検出が行なわれる
。
様子を示す模式図である。図4を参照して、観察者は、
ゴーグルのような眼鏡を装着して、表示装置10の画面
上を観察している。予め定められた位置に前述の励磁コ
イル61が置かれる。センサコイル62(図示せず)は
、眼鏡66に取付けられている。観察者の頭部が動くこ
とにより、励磁コイル61とセンサコイル62との間の
位置関係が相対的に変化し、頭部運動検出が行なわれる
。
【0022】図6は、図1に示した眼球運動検出装置5
における検出原理を示す概略図である。この装置では、
角膜表面の白目と黒目の反射率の違いを利用する強膜反
射方式を用いたものが一例として示される。他の方式と
して、角膜反射方式やサーチコイル方式も適用できる。 図6を参照して、左右の目E1およびE2の前方に、セ
ンサ71および72がそれぞれ配置される。各センサ7
1および72の中央には、発光素子73が配置される。 発光素子73として、比較的指向性の広い±21゜程度
の赤外線投射の発光ダイオードが用いられる。発光素子
73の両側には、受光素子74が設けられる。受光素子
74として、指向性の鋭い±10゜程度のフォトダイオ
ードが用いられる。発光素子73から眼球に向けて投射
された光は白目および黒目の部分で反射する。白目と黒
目とでは反射率が異なるので、この反射率の違いを増幅
し、差を取れば水平(左右)の眼球運動の動きが出力と
して得られ、和を取れば垂直(上下)方向の眼球の動き
が出力として得られる。
における検出原理を示す概略図である。この装置では、
角膜表面の白目と黒目の反射率の違いを利用する強膜反
射方式を用いたものが一例として示される。他の方式と
して、角膜反射方式やサーチコイル方式も適用できる。 図6を参照して、左右の目E1およびE2の前方に、セ
ンサ71および72がそれぞれ配置される。各センサ7
1および72の中央には、発光素子73が配置される。 発光素子73として、比較的指向性の広い±21゜程度
の赤外線投射の発光ダイオードが用いられる。発光素子
73の両側には、受光素子74が設けられる。受光素子
74として、指向性の鋭い±10゜程度のフォトダイオ
ードが用いられる。発光素子73から眼球に向けて投射
された光は白目および黒目の部分で反射する。白目と黒
目とでは反射率が異なるので、この反射率の違いを増幅
し、差を取れば水平(左右)の眼球運動の動きが出力と
して得られ、和を取れば垂直(上下)方向の眼球の動き
が出力として得られる。
【0023】水平方向と垂直方向とでは、眼球に対する
センサ71および72の位置が異なり、水平方向のセン
サ71は眼球の上下に対して中央に反射光を検出し、垂
直方向のセンサ72は下方にて反射光を検出するように
それぞれ配置される。そして、一方の目E1に水平方向
のセンサ71が配置され、他方の目E2の垂直方向のセ
ンサ72が配置される。これらを同時に用いれば、2次
元的な眼球運動を検出することができる。このような検
出原理を用いて眼球の移動速度,移動方向,移動距離,
注視時間などを求める手法は、たとえば特開昭60−1
26140号公報において開示される。したがって、図
1に示した眼球運動検出装置5から観察者の眼球運動を
示すデータEが得られ、注視点処理装置7に与えられる
。
センサ71および72の位置が異なり、水平方向のセン
サ71は眼球の上下に対して中央に反射光を検出し、垂
直方向のセンサ72は下方にて反射光を検出するように
それぞれ配置される。そして、一方の目E1に水平方向
のセンサ71が配置され、他方の目E2の垂直方向のセ
ンサ72が配置される。これらを同時に用いれば、2次
元的な眼球運動を検出することができる。このような検
出原理を用いて眼球の移動速度,移動方向,移動距離,
注視時間などを求める手法は、たとえば特開昭60−1
26140号公報において開示される。したがって、図
1に示した眼球運動検出装置5から観察者の眼球運動を
示すデータEが得られ、注視点処理装置7に与えられる
。
【0024】図7は、観察者が装着する眼鏡66の概略
図である。この眼鏡66には、眼球運動を検出するため
の水平方向のセンサ71と、頭部運動を検出するための
センサコイル62とが設けられている。
図である。この眼鏡66には、眼球運動を検出するため
の水平方向のセンサ71と、頭部運動を検出するための
センサコイル62とが設けられている。
【0025】図8は、頭部運動による視線の動きを説明
するための概略図である。図8を参照して、一般に視対
象が移動すると、眼球はその視対象に追従して動く。こ
の眼球の動きに代えて、頭部を移動させることによって
も視対象を追いかけることができる。通常は、両者の動
きを併用して行なっている。頭部運動には、足や背骨の
向きによる平行移動と、首,背骨,腰,足などによって
実現される回転運動とがある。この頭部運動を後述する
方法により、眼球の回転角へ換算し、図8に示した頭部
運動補正眼球回転角αが得られる。図1に示した注視点
処理装置7では、この頭部運動補正眼球回転角αと眼球
自身の回転角θとの組合わせにより、視線データが表現
される。ここで、この回転角αとθの和を総称して視線
と定義する。
するための概略図である。図8を参照して、一般に視対
象が移動すると、眼球はその視対象に追従して動く。こ
の眼球の動きに代えて、頭部を移動させることによって
も視対象を追いかけることができる。通常は、両者の動
きを併用して行なっている。頭部運動には、足や背骨の
向きによる平行移動と、首,背骨,腰,足などによって
実現される回転運動とがある。この頭部運動を後述する
方法により、眼球の回転角へ換算し、図8に示した頭部
運動補正眼球回転角αが得られる。図1に示した注視点
処理装置7では、この頭部運動補正眼球回転角αと眼球
自身の回転角θとの組合わせにより、視線データが表現
される。ここで、この回転角αとθの和を総称して視線
と定義する。
【0026】図1に示した注視点処理装置7における処
理を以下に説明する。注視点処理装置7は、頭部運動デ
ータHと眼球運動データEとを受ける。データHの水平
運動成分として(Hx,Hy,Hz)が与えられ、回転
運動成分として(Hφ,Hθ,Hψ)が与えられるもの
とする。頭部運動の水平成分(Hx,Hy,Hz)によ
り視線が変化するが、これを眼球回転角(Ex,Ey)
に換算するには次式が用いられる。ここでDは被験者と
観察対象までの距離である。
理を以下に説明する。注視点処理装置7は、頭部運動デ
ータHと眼球運動データEとを受ける。データHの水平
運動成分として(Hx,Hy,Hz)が与えられ、回転
運動成分として(Hφ,Hθ,Hψ)が与えられるもの
とする。頭部運動の水平成分(Hx,Hy,Hz)によ
り視線が変化するが、これを眼球回転角(Ex,Ey)
に換算するには次式が用いられる。ここでDは被験者と
観察対象までの距離である。
【0027】
【数1】
【0028】首を左肩方向または右肩方向にHθだけ傾
げると、眼球運動系の座標が回転する。したがって、H
θだけ傾いた眼球運動座標系(Xe,Ye)を元の観察
対象に直交した座標系(Xe′,Ye′)に変換する必
要がある。そのため次式が用いられる。
げると、眼球運動系の座標が回転する。したがって、H
θだけ傾いた眼球運動座標系(Xe,Ye)を元の観察
対象に直交した座標系(Xe′,Ye′)に変換する必
要がある。そのため次式が用いられる。
【0029】
【数2】
Xe′=Xe・cosHθ+Ye・sinHθ
……(3)Ye′=−X
e・sinHθ+Ye・cosHθ
……(4)頭部運動により実現される視
線の動き(Xh,Yh)は、式(1)および(2)から
、次式により表わされる。
……(3)Ye′=−X
e・sinHθ+Ye・cosHθ
……(4)頭部運動により実現される視
線の動き(Xh,Yh)は、式(1)および(2)から
、次式により表わされる。
【0030】
【数3】
Xh=Ex+Hψ
……(5)Yh=Ey+Hφ
……(6)したがって、頭の動きを
考慮した視線の動き(Xv,Yv)は、式(3)ないし
(6)より、次式により表わされる。
……(5)Yh=Ey+Hφ
……(6)したがって、頭の動きを
考慮した視線の動き(Xv,Yv)は、式(3)ないし
(6)より、次式により表わされる。
【0031】
【数4】
Xv=Xe′+Xh
……(7)Yv=Ye′+Yh
……(8)式(7)および(8)を用い
ることにより、頭部運動と眼球運動とを組合わせて行な
われている通常の視線の動きを再現することができる。 以上のような処理は、図1に示した注視点処理装置7に
おいて行なわれ、視線の動きを示す視線データが注視領
域分離装置3に与えられる。
……(7)Yv=Ye′+Yh
……(8)式(7)および(8)を用い
ることにより、頭部運動と眼球運動とを組合わせて行な
われている通常の視線の動きを再現することができる。 以上のような処理は、図1に示した注視点処理装置7に
おいて行なわれ、視線の動きを示す視線データが注視領
域分離装置3に与えられる。
【0032】注視領域分離装置3では、与えられた視線
データに基づき、観察者の画面上での注視領域を示すデ
ータを得る。具体的には、図2(A)に示すように、注
視領域C3は、その半径Dthが予め定められたしきい
値速度Vthとサンプリング間隔Tsとの積により決ま
る。すなわち、現在の視点の位置をP1として、半径D
thにより決まる領域が画面上の注視領域C3とされる
。
データに基づき、観察者の画面上での注視領域を示すデ
ータを得る。具体的には、図2(A)に示すように、注
視領域C3は、その半径Dthが予め定められたしきい
値速度Vthとサンプリング間隔Tsとの積により決ま
る。すなわち、現在の視点の位置をP1として、半径D
thにより決まる領域が画面上の注視領域C3とされる
。
【0033】視線検出によって得られるデータの座標と
表示装置10における画面上での座標とが異なっている
ので、次のような座標変換が行なわれる。図9は、視線
検出における座標と画面上での座標との対応を示す座標
図である。図9(A)を参照して、表示装置10の画面
が観察者から距離Dだけ離れた位置に置かれ、画面のサ
イズが縦Dv,横Dhであるものと仮定する。したがっ
て、画面上での座標は(1,1)…(Px,Py)によ
り表わされる。したがって、観察者から見た画面の視角
は、図9(B)に示すように、次式により表わされる。
表示装置10における画面上での座標とが異なっている
ので、次のような座標変換が行なわれる。図9は、視線
検出における座標と画面上での座標との対応を示す座標
図である。図9(A)を参照して、表示装置10の画面
が観察者から距離Dだけ離れた位置に置かれ、画面のサ
イズが縦Dv,横Dhであるものと仮定する。したがっ
て、画面上での座標は(1,1)…(Px,Py)によ
り表わされる。したがって、観察者から見た画面の視角
は、図9(B)に示すように、次式により表わされる。
【0034】
【数5】
a=180/π・tan−1Dh/(2・D)
……(9)b=18
0/π・tan−1Dv/(2・D)
……(10)ここで、視線移動角
をXv,Yvとすると、これを画面上の座標Xp,Yp
に変換する式は、次式により表わされる。
……(9)b=18
0/π・tan−1Dv/(2・D)
……(10)ここで、視線移動角
をXv,Yvとすると、これを画面上の座標Xp,Yp
に変換する式は、次式により表わされる。
【0035】
【数6】
Xp=f(Xv)=p+(r−p)・Xv/(a−Xv
) ……(11)Yq=g(Yv)=q+(
s−q)・Yv/(b−Yv) ……(12
)したがって、上記の式を使用することにより、視線検
出に基づいて得られた注視領域およびその周辺領域の座
標データを画面上での座標データに変換することができ
る。その結果、図1に示した制御信号発生部82から、
注視領域とその周辺領域とを区別して画像処理を行なう
のに必要な制御信号を発生させることができる。
) ……(11)Yq=g(Yv)=q+(
s−q)・Yv/(b−Yv) ……(12
)したがって、上記の式を使用することにより、視線検
出に基づいて得られた注視領域およびその周辺領域の座
標データを画面上での座標データに変換することができ
る。その結果、図1に示した制御信号発生部82から、
注視領域とその周辺領域とを区別して画像処理を行なう
のに必要な制御信号を発生させることができる。
【0036】
【発明の効果】以上のように、この発明によれば、観察
者の注視時間長さに応じて、伝送されるべき映像信号の
注視領域の映像情報量を減少させる映像情報減少手段を
設けたので、表示装置へ伝送される映像信号の情報量を
減少させることのできる映像表示システムが得られた。
者の注視時間長さに応じて、伝送されるべき映像信号の
注視領域の映像情報量を減少させる映像情報減少手段を
設けたので、表示装置へ伝送される映像信号の情報量を
減少させることのできる映像表示システムが得られた。
【図1】この発明の一実施例を示す映像表示システムの
ブロック図である。
ブロック図である。
【図2】図1に示した画像処理装置における処理を説明
するためのタイミング図である。
するためのタイミング図である。
【図3】観察者の頭部運動の各運動パラメータの方向を
示す概略図である。
示す概略図である。
【図4】観察者が表示装置を見ている様子を示す概略図
である。
である。
【図5】図1に示した頭部運動検出装置のブロック図で
ある。
ある。
【図6】図1に示した眼球運動検出装置における検出原
理を示す概略図である。
理を示す概略図である。
【図7】観察者が装着する眼鏡の概略図である。
【図8】頭部運動における視線の動きを説明するための
概略図である。
概略図である。
【図9】視線検出における座標と画面上での座標との対
応を示す座標図である。
応を示す座標図である。
【図10】人間の注視時間と正答率との間の関係を示す
グラフである。
グラフである。
1 映像信号発生装置
2 ローパスフィルタ
7 注視点処理装置
8 画像処理装置
10 表示装置
81 スイッチング部
82 制御信号発生部
83 注視時間判定部
Claims (2)
- 【請求項1】 映像信号発生手段と、前記映像信号発
生手段から発生された映像信号に基づいて映像を画面上
に表示する映像表示手段と、前記映像表示手段によって
表示された映像を観察する観察者の画面上の注視領域お
よび注視時間長さを検出する注視状態検出手段と、前記
注視状態検出手段によって検出された注視時間長さが予
め定められた時間長さを越えていることを判定する注視
時間長さ判定手段と、前記注視時間長さ判定手段に応答
して、前記映像信号発生手段から発生された映像信号の
注視領域の映像情報量を減少させる映像情報減少手段と
を含み、前記映像表示手段は、前記映像情報減少手段に
よって情報量が減少された映像信号に基づいて映像を画
面上に表示する、映像表示システム。 - 【請求項2】 前記予め定められた時間長さは、人間
の注視時間長さ−正答率特性に基づいて決定され、前記
映像情報減少手段は、前記注視時間長さ判定手段に応答
して、前記映像信号発生手段から発生された映像信号の
注視領域成分の帯域を減少させる映像帯域減少手段を含
む、請求項1に記載の映像表示システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5894891A JPH0738706B2 (ja) | 1991-03-22 | 1991-03-22 | 映像表示システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5894891A JPH0738706B2 (ja) | 1991-03-22 | 1991-03-22 | 映像表示システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH04293376A true JPH04293376A (ja) | 1992-10-16 |
| JPH0738706B2 JPH0738706B2 (ja) | 1995-04-26 |
Family
ID=13099054
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP5894891A Expired - Fee Related JPH0738706B2 (ja) | 1991-03-22 | 1991-03-22 | 映像表示システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH0738706B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0713497A (ja) * | 1993-06-14 | 1995-01-17 | Atr Tsushin Syst Kenkyusho:Kk | 画像表示装置 |
-
1991
- 1991-03-22 JP JP5894891A patent/JPH0738706B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0713497A (ja) * | 1993-06-14 | 1995-01-17 | Atr Tsushin Syst Kenkyusho:Kk | 画像表示装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0738706B2 (ja) | 1995-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12380662B2 (en) | Frame-by-frame rendering for augmented or virtual reality systems | |
| Allison et al. | Tolerance of temporal delay in virtual environments | |
| US7825996B2 (en) | Apparatus and method for virtual retinal display capable of controlling presentation of images to viewer in response to viewer's motion | |
| US20060098087A1 (en) | Housing device for head-worn image recording and method for control of the housing device | |
| EP2056155A2 (en) | Method and apparatus for three-dimensional (3D) viewing | |
| KR20110101944A (ko) | 3d 안경, 3d 안경의 구동방법 및 3d 영상 제공 시스템 | |
| US12177404B2 (en) | Image display system, image display method, and image display program | |
| CN114616511A (zh) | 改善双眼视觉的系统与方法 | |
| JP6571767B2 (ja) | 映像表示装置および制御方法 | |
| US20160170482A1 (en) | Display apparatus, and control method for display apparatus | |
| JP2011010126A (ja) | 画像処理装置、画像処理方法 | |
| JP2006133252A (ja) | 仮想現実感生成装置 | |
| JP4708590B2 (ja) | 複合現実感システム、ヘッドマウントディスプレイ装置、複合現実感実現方法及びプログラム | |
| JPH0449943A (ja) | 眼球運動分析装置 | |
| JPH04293375A (ja) | 映像表示システム | |
| JPH04293376A (ja) | 映像表示システム | |
| State et al. | Dynamic virtual convergence for video see-through head-mounted displays: Maintaining maximum stereo overlap throughout a close-range work space | |
| KR20020053986A (ko) | 응시지점을 따라가는 입체 영상 표시 장치 및 그 방법 | |
| JPH04288122A (ja) | 視線表示装置 | |
| JPH0684421U (ja) | 映像表示装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19951024 |
|
| LAPS | Cancellation because of no payment of annual fees |