JPS62284628A - 立体視検出装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［産業上の利用分計］ 木発明は、立体テレビ放送、視覚心理学１人間工学など
の分野における視線の動き分析に好適な立体視検出装置
に関し、特に両眼立体視の両眼輻輳角、輻較速度および
奥行き情報の情報をリアルタイムで処理し、平面ディス
プレイあるいは立体ディスプレイ上に色わけして表示し
たり、記憶媒体に記録する立体視検出装置に関するもの
である。

［発明の概要］ 木発明は、立体視したときの両眼幅校角の計測および実
際に視線が捉えている奥行き情報の計測を行なうもので
、被験者の両眼の眼球運動情報をサンプルする毎に、輻
峻角、奥行き情報を精度よく実時間で計測できるように
今回開発した輻幀角、奥行き情報の近似計測法を用い、
現行方式あるいは立体テレビのＣＲＴディスプレイ上に
色分けして表示したり、メモリに記録できるようにした
ものである。

［従来の技術］ 眼球運動に関して、眼球の位置を検出し、陰極線管上や
フィルム上に注視点を表示する装置はすでに存在し、い
わゆるアイカメラとして知られている。しかし、その情
報を解析し、利用することについては、はとんど行われ
ていないのが現状である。また、テレビジョン画像の評
価を行う場合、従来は、１コマずつ対応させながら、停
留時間および移動距離を相当の時間をかけて算出してい
た。しかも、その結果を原画像に１コマずつ対応させて
比較することは不可能に近い問題であった。

そこて、本願人は、眼球の移動速度、移動方向、移動距
離、注視時間などの情報を同時にかつ迅速に処理し、注
視点分布、速度分布、移動距離分布、ベクトル分布をリ
アルタイムで分析できるようにした視覚情報分析装置を
提案した（特願昭５８−２３２７１ｉ１号）。

この装置は、ある−窓以上、離れた視距離で両眼の幅快
を無視できることを前提としている。

その他の従来の技術として左・右両眼の輻快角を測定す
る装置としてはＶＴＲ（ビデオ装置）でデータを収録し
、オフラインで計算処理するものがある。

［発明が解決しようとする問題点］ しかしながら、このような従来装置では、輻校角や奥行
き情報のリアルタイム処理はできないという不都合があ
り、そのため視線の動きは、被検者の見ている画面に直
接表示して、初めて何を見たかがわかることが多いので
立体視の分析に適用するには困難であった。

上述の特願昭５８−２：１２７６１号で提案した視線情
報分析装置に輻較角・奥行き情報分析部を加えて両眼立
体視を分析することも可能であるが、従来の計測方式で
は計算処理時間が膨大となりマイクロコンピュータ程度
の計算機ではリアルタイム処理が不可能であった。この
原因は、「被験者の体が自由に動く」という条件のもと
て両眼の動きだけから輻稜角や奥行き情報を計測すると
いう計測方式のため、回路の処理容量力極めて大きくな
ることにある。

このように従来装置は両眼立体視のリアルタイム処理に
適さないので、上述のように一般にオフライン処理して
いる。その結果、たとえば被験者が画面上の何ｍか奥を
見ているときに、その見ている対象か何かを知る必要が
生じたときには、静止写真上で、データを分析して定規
を使って位置を対照させて確認するという一連の煩わし
い手作業等が必要であり、立体視の分析手段としては、
理想に程遠いものであった。

そこで、本発明の目的は、立体視したときの被験者の両
眼の眼球の運動情報をサンプルする毎に、両眼幅幀角情
報および実際に視線が捉えている奥行き情報とを精度良
く実時間で計測でき、現行方式ディスプレイあるいは立
体ディスプレイ上の注視中の同一画面に色分けして表示
したり、メモリに記録できるようにした立体視検出装置
を）是供することにある。

［問題点を解決するための手段］ かかる目的を達成するために、本発明では、立体視した
ときの両眼の眼球の位置を検出する検出手段と、検出手
段により検出された両眼の眼球の位置のデータをサンプ
リングするサンプリング手段と、サンプリングされたサ
ンプル値のデータをディジタル量に変換するディジタル
化手段と、ディジタル化手段でディジタル化されたディ
ジタルｆｆｉ　Ｘｌｌ　、　ＸＬと、あらかじめ与えら
れた両眼間隔゛Ｄ、表示画面の基準面と両眼との間の距
ＩＩ　ｄの所定僅に基づき、実際に両眼が見ていると考
えられる虚像面が両眼を中心とした円弧面であると仮定
して、被験者が実際に見ていると考えられる奥行き距離
Ｓを近似的に算出する奥行き情報計測手段と、奥行き情
報計測手段で得られた奥行き距ｌ１ｉＩｔＳと前記両眼
間隔りにより両眼輻岐角θを近似的に算出する両眼輻轢
角計測手段と、奥行き距離Ｓ１両眼幅快角θのうちの少
くともひとつを表示する表示手段とを具備したことを特
徴とする。

［作用］ 本発明では、両眼の幅校角・奥行き情報の計測に後述の
ような円弧近似回路を開発して用いており、注視点と眼
との間の絶対的な距離を測定する必要がないので、被験
者の頭の動きを考慮しなくても、非常に簡単かつ高速に
計測することかでき、その結果リアルタイムで、被験者
の見ている画面（もしくは視野）と同じ画面上に、幅幀
角や奥行き情報を表示することかでき、また従来の２次
元画面のみならず、立体画面上にリアルタイムで直接表
示できて、被験者の視線の動きを精度良く実時間で３次
元的に分析できる。

［実施例］　　　　゛ 以下に、図面を参照して本発明の実施例を詳細に説明す
る。

第１図は本発明の基本構成を示し、ここて、モニタ画面
を凝視する被験者の両眼ＥＬ、ＥＲに対してアイマーカ
ーカメラなどの眼球位置検出手段１を設置しておく。

この眼球位置検出手段１としては、弱い赤外線を眼球に
照射して、眼球の強膜と角膜の反射の差を取る方式のも
のや、角膜を直接ビデオカメラ等でｔｌｉ＞　ｍ３して
角膜の位置を検出する方式のもの、あるいは生体の電位
を検出するＥＯＧ（ｅｌｅｃｔｒｏ−ｏｃｕｌｏｇｒａ
ｐｈｙ）方式のものなど公知の技術が利用できる。この
眼球位置検出手段１から得られた左右両眼の眼球位置情
報を、サンプリング手段２に供給して適当なサンプル周
期、例えばほぼｌＯ〜１００　ｍｓ間隔でサンプリング
してホールドする。そのサンプルホールド出力をディジ
タル化手段３により゛８〜１２ビットのディジタル量に
変換する。かかるディジタル化されたサンプル値のうち
、時間的に前の眼球位置との差分、さらに左右の眼球位
置の相互間の差分とを算出する算出手段４により求める
。このようにして求められた現在の眼球位置と前の眼球
位置との差分データを移動・停止判定手段５に供給する
。この判定手段５には、停留限界を示す基準データ、例
えは眼球の移動角度０〜２０度／ｓｅｃの範囲のデータ
を予め記憶しておき、上述の差分をこの停留限界と比較
する、差分が停留限界より大きいときには眼球は移動と
判断し、他方、差分が停留限界より小さいときには眼球
は停留と判定する。

眼球移動と判定されたときには、算出手段６において、
上述したディジタル化サンプル値に基づいて眼球の移動
速度、距離および方向を算出する。眼球停留と判定され
たときには、積算手段７において、停留時間を積算する
。これら手段６および７からの演算出力を表示手段８に
おいて表示する。

なお、上述の５〜７の手段については本願人が提案した
特願昭５８−２３２７６１号で詳述しており、本発明と
は直接関係がないので、さらに詳細な説明は省略する。

本図の鎖線Ａで囲んで示した奥行情報計測手段９と両眼
輻幀角計測手段ｌＯとか新たに開発された本発明の要部
である。算出手段４で求められた左右の眼球位置の相互
間の差分値を奥行ぎ情報計測手段９および両眼輻輳角計
測手段１０に送り、両眼が今、何ｍ先の奥を見ているの
か、あるいは両眼間の角度が何度であるかなどの計測値
を後述の円弧、近似計算方式を用いて算出する。これら
の各計算結果は現行方式のディスプレイまたは立体ディ
スプレイの表示手段８に送り、この表示手段８により、
停留中は停留時間により停留点の色分け、移動中は、速
度距離によりその軌跡上への色分けを行なって表示する
と共に、また両眼輻快角もしくは輻快速度については、
両眼の視線に追随する軌跡を角度もしくは速度のそれぞ
れの各段階に応じて色分けして表示する。また奥行き情
報は例えは棒グラフの長さなどによって表示を行なう。

このとき、被験者がディスプレイの基準面（例えば立体
テレビの観視時なら、ＣＲＴの表面）より奥を見ている
か、または手前を見ているかにより色分りの表示をする
。

次に、本発明の一実施例を第２図に示し、その電気回路
部分を第３図に示す。

第２図において、１１は眼球位置検圧部、すなわちいわ
ゆるアイカメラの部分を示し、例えば赤外線を眼球にあ
て、その反射光を検出して両眼球の運動位置データを測
定する。アイカメラ１１は立体視検出装置本体１２に対
して者脱自在となし、大型映像やフィールド実験の場合
には眼鏡もしくはゴーグル方式て眼に装着するのが好適
である。１３は被験者が凝視する画面を映出するテレビ
モニタの表示面、１４は奥行き、両眼輻幀角、眼球の移
動速度、距離および方向、さらに停留時間等を表示する
ディスプレイである。この装置本体１２にはアイカメラ
ｌｌからの位置データに基づいて各種の演算および処理
を行う電気回路部分１５が内蔵されている。

次に、かかる電気回路部分の一例を第３図に示す。図中
、第２図と同様の個所は同一符号を付す。ここて、アイ
カメラ１１からの両眼の運動情報である両眼球の横方向
および縦方向の位置データＸおよびｙをサンプルホール
ド回路２１によりサンプリングする。

そのサンプル周期は、上述したように１０〜１ｏ。

ｍ５ｅｃにするのが好適である。その理由について述べ
る。人間が文字などを読んだり、所定の対象物を見つめ
る場合に、その注視点に対して２００〜３００　ｍ５ｅ
ｃ程度の間注視してから直ちにその注視点のまわりに眼
球位置を移してまわりも見るので、かかる注視点での眼
球の停留時間２００〜３００　ｍ５ｅｃの間に少なくと
も１サンプル、好ましくは数サンプルはどサブリングす
ることが必要であり、かかる観点からサンプリングの周
期をｌＯ〜１００　ｍ５ｅｃにとるのがよいことが実験
的に確かめられた。

次いで、サンプルホールド回路２１からのサンプル値を
アナログ−デジタル変換器２２によりディジタル量に変
換し、そのディジタルデータをマイクロコンピュータな
どて構成することのできる中央処理装置２３に供給する
。

中央処理装置２３では、眼球運動中の人力データに基づ
いて停留点の分離と停留時間、移動速度および移動距離
の算出を行い、また幅較角・奥行情報計測回路２４にデ
ータを送って高ａ演算させることにより、両眼輻幀角１
幅帳速度、奥行距離を算出する。これらの算出結果は映
像処理装置２５へ送り、映像処理装置２５では、これら
の算出結果を被験者が見ているのと同じ画面を示してい
るディスプレイ１４の画面上に上述したような色分けを
行なってスーパーインポーズで表示する。

この表示の方法としては、例えば左眼もしくは右眼で見
た映像を従来の現行ディスプレイ１４−１上に左眼、右
眼に対応する２つの画像を加算混合し、視差情報の重な
った映像上にスーパーインポーズする方法、あるいは立
体ディスプレイ１４−２の左・右画像のそれぞれに、左
・右眼の目の動きをスーパーインポーズし、実験者が立
体ディスプレイ１４−２によりこの映像を見て被験者の
視線の動きを奥行き方向の動きまで含めて観察できるよ
うにする方法などが挙げられる。なお、この映像処理装
置２５から出力されるビデオ信号は、同時にＶＴＲ２６
に収録し、繰り返し分析に用いることかできる。

第４図（Ａ）　、　（Ｂ）は、奥行き距離および両眼幅
幀角の計測原理を示す。第４８図（八）は従来の計測原
理、第４図（Ｂ）は本実施例で用いた未発明に係る円弧
近似計測方式による計測原理を示すものである。第４図
（Ａ）　、　（Ｂ）において、■１はＣＲＴディスプレ
イ１４−１または１４−２上の実像面（もしくは基準面
）の位置を示し、■２は実際に眼か見ていると考えられ
る虚像面の位置を示す。また、Ｄは両眼の間隔、ｄはＣ
ＲＴディスプレイなどの基準面と両眼との間の距離、Ｓ
は被験者が実際に見ていると考えられる距離、およびｅ
は両眼輻轢角を表す。

第４図（八）の従来方式では、図上の位置関係からして
以下の式か得・られる。

θ　＝　β−α　　　　　　　　　・・・　（３）γ　
＝α−θ／２　　　　　　　　・・・　（４）Ｓ＝　　
Ｓ’　　／ｓｉロ　γ　　　　　　　　　　　　　　　
　　　　・・・（６）一方、第４図（１１）の未発明に
係る円弧近似計測方式では、ｄ＞Ｄと考え、０′か円に
接していると考える。従って、図の位置関係から、以下
の式％式％ 第４図（［１）の三角形ＬＲＱ’　と三１７］形Ｊ’に
’Ｏ’の相似関係により、 Ｓ’／（ＣＬ　−５５＝　Ｄ／（ｘｎ　−ＸＬ）　　　
　　　　　　　−（９）Ｓ４　　　　Ｓ’　／ｓｉｎ　
ｙ’　　　　　　　　　−（１１）γ−γ′＃（α＋β
）／２　　　　　　・・・　（１２）θ岬θ′　てあり
、　ｔａｎθ７２　　−Ｄ／２Ｓたから、θ　４２ｔａ
ｎ−’　　Ｄ／２５　　　　　　　　　　　　　　　　
　　　　　・　　　（＋３）となる。

第４図（Ａ）による上式（１）〜（６）と、第４図（Ｂ
）による上式（７）〜（１３）とを比較すると、被験者
が実際に見ていると考えられる距離（奥行き距離１）　
Ｓを求めるのに、従来では（５）式および（６）式のｍ
雑な演算が必要であったが、本発明では上述のように円
弧近似をしているので、（ｌＯ）式および（１１）式の
ように極めて簡略される。また、両眼輻輳角θについて
は従来の（３）式に比へ、本発明による（１３）式では
ｊａｎ−’の演算を１回に減じることができる。

上式を用いてＳおよびθを計測したときの両方第　　　
１　　　表 このように本発明では視線か円弧に接していると仮定す
ることにより演算式を定めているので、演算は極めて簡
単化され、しかも実用上問題ない精度を得ることができ
る。この結果、演算のハードウェア化が後述のように可
能となった。

第５図は第３図の中央処理装置２３と幅校・奥行計測回
路２４の処理手順の関係を示すフローチャートである。

図の左側半分のステップＳｔ〜Ｓ１０は特願昭５８−２
３２７６１号で詳しく説明しており、本発明と直接関係
がないので、その詳細な説明は省略し、鎖線Ｂで囲む本
発明に係るステップ５１１〜ＳＩ８についてのみ説明す
る。左眼および右眼の位置情報は、ステップＳ３でディ
ジタルデータに変換し、右側のフローチャートのステッ
プＳｌｌ〜Ｓ１４により、右眼回転角α、左眼回転角β
、平均回転角γおよび視差へＸについての演算を行う。

引き続ぎ、第４図（Ｂ）で上述した計算式により、ステ
ップＳ１５およびステップ３１６て奥行距離と輻較角の
計算を行う。計′ｓＫ’ｏ果はステップＳ８でディスプ
レイ１４上に表示される。

第６図は第５図で述へた奥行距離と輻校角の計測を実際
に行う輻峻角・奥行情報計測回路２４の構成例を示す。

中央処理装置２３からＸＲ＋　ｘＬのディジタルデータ
を人力し、あらかじめ中央処理装置２３からｄＲＤが与
えられているＲＯＭテーブル３１からｓｉｎγの読み出
しを行い゛、デジタル差分回路３２でｘｎ、　Ｘｔのデ
ィジタル差分を行う。差分回路３２の出力はディジタル
加算回路３３で中央処理装置２３から与えられるデータ
Ｄとの加算を行う。Ｄは両眼距離で一定値である。テー
ブル３１と加算回路３３の出力は乗算器３４を経て除算
器３５て中央処理装置からあらかじめ人力されたｄＸＤ
との除算を行い、奥行き距ｉｓを算出する。算出された
奥行き距離ＳによりあらかじめＲＯＭテーブル３６に人
っている輻較角θが読み出され、そのＳとθとは中央処
理装置２３に送られる。

このように、本発明では視線の動きを円弧で近似させた
ので、ＲＯＭデープル３１．３６．乗算器３４゜除算器
３５．加算回路３３．差分回路３２のような非常に簡単
なハードウェアで奥行四次り両眼輻崎角の計測が可能と
なり、その結果立体視をリアルタイムで処理および分析
することができる。

［発明の効果］ 以上説明したように、本発明によれば、新たに開発した
円弧近似計測方式を採用しているのて、両眼立体視にお
ける奥行距離、幅較角をリアルタイムで計測することが
できる。

これらの計測は、従来ては非常に複雑な計算を要し、少
くともミニコンピユータクラスの計算機を用いない限り
、リアルタイム処理はできず、マイクロコンピュータ程
度の計算機ではオフライン処理にとどまっていた。本発
明では上述のように計算式を極めて簡略化てぎるので、
容易にかつ部側にハードウェア化でき、しかもこのハー
ドウェアを用いることにより、マイクロコンピュータで
もリアルタイム処理が可能となり、立体テレビや視覚心
理の分野での立体視の研究に大いに貢献することができ
る。

また、本発明では立体テレビ上て眼の奥行き方向の動き
を、直接に立体的に見ることができるが、これは今まで
になかった全く新しい機能であり、立体視のリアルタイ
ム分析は望まれていたか実現不可能と考えられていたた
けに相当数の需要に結ひ付くと期待される。

【図面の簡単な説明】

第１図は本発明の基本構成を示すブロック図、 第２図は本発明装置の外観の一例を示す斜視図、 ７３３図はその電気回路部分の構成の一例を示すブロッ
ク図、 第４図は、奥行距離・立体幅轢角の計測原理を示し、（
八）は従来の計測方式、ＣＢ）　　は本発明による円弧
近似計測方式を示す原理図、 第５図は、第３図の実施例の具体的な制御手順の一例を
示すフローチャート、 第６図は、本発明による幅較角奥行情報計測回路の構成
の一例を示すブロック図である。 １・・・眼球位置検出手段、 ２・・・サンプリング手段、 ３・・・ディジタル化手段、 ４・・・サンプル値の差分算出手段、 ８・・・表示手段、 ９・・・奥行ぎ清報計測手段、 １０・・・両眼幅快角計測手段、 １１・・・アイカメラ、 １２・・・立体視検出装置本体、 １３・・・テレビモニタ、 １４・・・ディスプレイ、 １５・・・電気回路部分、 ２１・・・サンプルホールド回路、 ２２・・−Ａ／Ｄ変換器、 ２３・・・中央処理装置、 ２４・・・幅校角・奥行き情報計測回路、２５・・・映
像処理装看、 ２６・・・ＶＴＲ。 特許出願人　　　　日　本　放　送　協　会代　理　人
　　　　弁理士　　谷　義　−第１図

Claims (1)

1. 【特許請求の範囲】 １）立体視したときの両眼の眼球の位置を検出する検出
   手段と、 該検出手段により検出された前記両眼の眼球の位置のデ
   ータをサンプリングするサンプリング手段と、 該サンプリングされたサンプル値のデータをディジタル
   量に変換するディジタル化手段と、該ディジタル化手段
   でディジタル化された前記ディジタル量ｘ＿Ｒ、ｘ＿Ｌ
   と、あらかじめ与えられた両眼間隔Ｄ、表示画面の基準
   面と両眼との間の距離ｄの所定値に基づき、実際に両眼
   が見ていると考えられる虚像面が両眼を中心とした円弧
   面であると仮定して、被験者が実際に見ていると考えら
   れる奥行き距離Ｓを近似的に算出する奥行き情報計測手
   段と、 該奥行き情報計測手段で得られた前記奥行き距離Ｓと前
   記両眼間隔Ｄにより両眼輻輳角θを近似的に算出する両
   眼輻輳角計測手段と、 前記奥行き距離Ｓ、前記両眼輻輳角θのうちの少くとも
   ひとつを表示する表示手段とを具備したことを特徴とす
   る立体視検出装置。 ２）前記奥行き情報計測手段は、前記ディジタル量ｘ＿
   Ｒ、ｘ＿Ｌ前記両眼間隔Ｄ、前記距離ｄとにより、次式 α＝ｔａｎ＾−＾１［ｄ／（ｘ＿Ｒ＋Ｄ／２）］、β＝
   ｔａｎ＾−＾１［ｄ／（ｘ＿Ｌ−Ｄ／２）］に基づき、
   右眼回転角α、左眼回転角βを求める手段と、 前記α、βの値から、次式 γ＝（α＋β）／２ に基づき、平均回転角γを求める手段と、 前記γの値から、次式 Ｓ＝（ｄＤ／（Ｘ＿Ｒ−ｘ＿Ｌ＋Ｄ））／ｓｉｎγに基
   づき前記奥行き距離Ｓを求める手段と を具えたことを特徴とする特許請求の範囲第１項記載の
   立体視検出装置。 ３）前記両眼輻輳角計測手段は、前記奥行き距離Ｓ、前
   記両眼間隔Ｄとにより、次式 θ＝２ｔａｎ＾−＾１（Ｄ／２Ｓ） に基づき前記両眼輻輳角θを求めることを特徴とする特
   許請求の範囲第１項または第２項記載の立体視検出装置
   。 ４）前記表示手段は前記奥行き情報計測手段で得られた
   前記奥行き距離Ｓとあらかじめ定めた基準距離とを比較
   して、被験者が前記基準距離に対して遠くにあるのを見
   たのか、近くにあるのを見たのかを色分けで表示するこ
   とを特徴とする特許請求の範囲第１項ないし第３項のい
   ずれかの項に記載の立体視検出装置。 ５）前記表示手段は前記両眼輻輳角計測手段で求められ
   た前記両眼輻輳角θと、該両眼輻輳角θの時間的相互間
   の差分より求めた輻輳速度に従って、両眼の視線の動き
   に追随する軌跡を各段階別に色分けで表示することを特
   徴とする特許請求の範囲第１項ないし第４項のいずれか
   の項に記載の立体視検出装置。 ６）前記表示手段は前記奥行き情報計測手段で求められ
   た奥行き距離Ｓに基づき、両眼の眼球の視線の位置およ
   び該視線の軌跡を立体画像と重ね合せて立体的に表示す
   るようにしたことを特徴とする特許請求の範囲第１項な
   いし第５項記載の立体視検出装置。