JPH0353695A - 運動視差立体表示処理方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は．運動視差を用いた立体表示を行う運動視差立
体表示処理方式に関するものである．〔従来の技術〕 現在のＴＶ放送等の画像通信においては，画像を撮影す
るに当っての方向やアングル等は番組作威者の意志によ
り決定され，視聴者は半ば強制的にこの画像を見させら
れている。一方，監視を主たる目的とするシステム等に
おいては，ＴＶカメラを遠隔制御により左右及び上下に
回転駆動させたり，ＴＶカメラを一定の速度で回転させ
たりして観察できる機能を有している． 第１２図は．従来の実施例を示した構戒図である．図に
おいて，ｌ１０はＴＶ力Ｊラ．　　１２０はＴＶカメラ
駆動部．１３０は方向設定部．１４０は駆動制御信号，
ｌ５０は表示部である．ＴＶカメラ１１０の方向は，Ｔ
Ｖカメラ駆動部１２０によって上下及び左右に自由に設
定できる．ＴＶカメラ駆動部１２０はジョイスティック
等を用いた観察者の手動制御あるいはあらかじめ決めら
れたパターンによる自動制御等によって方向設定部１３
０から出力される駆動制御信号１４０によって動作する
．表示部１５０には２つのＴＶカメラ１１０からの両眼
視差を有する２つの画像信号が入力する．表示部１５０
はこの画像信号に基づいて２眼式立体画像表示を行う．
さらに，複数のＴＶカメラの出力を複数のＴＶモニタに
並列に表示したり．複数のＴＶカメラの出力を自動的あ
るいは手動で切り換えて１台のＴＶモニタに表示したり
して観察できる機能を有している． 〔発明が解決しようとする課題〕 しかし，これらのシステムにおいては．観察対象物を上
下及び左右からのぞき込んで観察できないこと，ジョイ
スティック等ツールを使用してカメラの方向設定を行う
必要がありヒューマンインタフェースが良くないこと．
等の欠点があった．本発明は，観察者の立場に立ったよ
り自然なヒューマンインタフェースを有する画像表示方
式並びに符号化処理を容易とする運動視差立体表示処理
方式を提供することを目的としている．〔課題を解決す
るための手段〕 本発明は．観察対象物を上下，左右及び斜め方向からの
ぞき込んで観察できるようにしたことにより観察したり
対象物を観察したい方向から自由に観察できるようにし
ており，観察者の頭部の方向あるいは視線の方向を検出
することにより．その検出方向に相当する２つの画像を
両眼に提示することを最も主要な特徴とする． 〔実施例〕 第１図は，本発明の第１の実施例であって．２０ａは画
像入力部（ａｌ，２０ｂは画像入力部山）．２０Ｃは画
像入力部（Ｃｌ．　　２２０は入力切換部．２３０は両
眼視差を有する左右２つの画像から威る立体画像を表示
する表示部，２４０は視線方向検出部，２６０はＴＶカ
メラ駆動信号，２７０は入力切換信号である．また，　
２００ａ，　２００ｂ，　２００ｃは立体画像を得るた
めの左右２眼から成るＴＶカメラであり．２１０ａ，　
２１０ｂ，　２１０ｃはＴＶカメラ駆動部である．第２
図，第３図．第４図．第５図，第６図，第７図，第８図
は夫々第１の実施例に関する説明図であって，２４１は
水平方向検出部．２４２は垂直方向検出部．２４３は磁
気発生部，２４５は眼球方向検出部，２５０は磁気セン
サ部，３０１は対象物（Ｉ），３０２は対象物（ｎ），
　３１１は画像入力部２０ａのＴＶカメラ２００ａと画
倣入力部２０ｂのＴＶカメラ２００ｂとの光軸のなす角
，３１２は画倣入力部２０ｃのＴＶカメラ２００ｃと画
像入力部２０ｂのＴＶカメラ２００ｂとの光軸のなす角
である．また，　４００ａ，４００ｂ．　４００ｃ．　
４００ｅ．　４００ｆ．　４００ｇはそれぞれ頭部位直
を示す．４１１は頭部位置４００ｂと頭部位置４００ａ
とのなす角，４１２は頭部位置４００ｂと頭部位置４０
０ｃとのなす角，６ｌ３は頭部位置４００ｆと頭部位置
４００ｅとのなす角．６ｌ４は頭部位１４００ｆと頭部
位置４００ｇとのなす角である．以下，実施例について
詳細に説明する． 第１図において．各々のＴＶカメラ２００ａ，　２００
ｂ及び２００ｃによって撮影された立体画像信号は入力
切換部２２０によって切り換えられて表示部２３０に表
示される．入力切換部２２０は，視線方向検出部２４０
の検出結果，すなわち視線方向に応じて入力画像信号を
切り換える．また，ＴＶカメラ駆動部は視線方向検出部
２４０からのＴＶカメラ駆動信号２６０に基づいてＴＶ
カメラの垂直位置を制御する．第２図及び第３図は．視
線方向検出部の構威図である．視線方向検出部２４０は
，水平方向検出部２４１．垂直方向検出部２４２．　Ｉ
気発生部２４３及び磁気センサ部２５０から構威される
．人間の頭部に取り付けた磁気センサ部２５０の検出出
力に応じて人間の頭部の水平方向の位置と向き及び垂直
方向の位置と向きを各々水平方向検出部２４１及び垂直
方向検出部２４２によって検出する．また．視線方向検
出部は第３図に示すように眼球方向検出部２４５を含む
構戒でも実現できる．なお，視線方向を検出する手段と
して頭部方向を検出する手段，頭部方向と眼球方向とを
検出し視線方向を検出する手段について説明したが，そ
の他いかなる視線方向検出手段を用いても本発明を実現
できることは明らかである．また，頭部方向を検出する
手段として磁気センサ部２５０を用いる方法について説
明したが．これに限ることな（ＴＶカメラ等を用いて頭
部位置を検出するようにしてもよく．その他いかなる頭
部検出方法を用いても本発明を実現できることは明らか
である。

第４図は対象物と画像入力部の配置の関係を示した図で
ある．今，第４図においてＴＶカメラ２００ａ，　２０
０ｂ．　２００ｃが対象物（１）　３０１及び対象物（
ｎ）３０２に対して第４図に示すように配置されている
とする．第５図は．人間の頭部の位置と対象物との関係
を真上から図示した図である．今，第５図において，視
線方向検出部によって頭部位置が４００ｂの位置にある
ことが検出されると．人力切換部２２０によってＴＶカ
メラ２００ｂの出力画像信号が選択され表示部２３０に
表示される．ｇ部位置が４００ａの位置にあった場合に
は，同様に視線方向検出部２４０によって頭部位置が４
００８の位置にあることが検出され，入力切換部２２０
によってＴＶカメラ２００ａの出力画像信号が選択され
表示部２３０に表示される．また．ａ部位置が４００ｃ
の位置にあった場合には，同様に視線方向検出部２４０
によって頭部位置が４００ｃの位置にあることが検出さ
れ．入力切換部２２０によってＴＶカメラ２００ｃの出
力画像信号が選択され表示部２３０に表示される．した
がって．観察者は頭の位置を水平方向に動かすことによ
り．頭部位置が第５図の４００ａの位置にある場合には
第６図の＋ａｌに示す画像を．頭部位置が４００ｂの位
置にある場合には第６図の（ｂｌに示す画像を頭部位置
が４００ｃの位置にある場合には第６図の（Ｃｌに示す
画像を観察することができる． ＴＶカメラ駆動部２１０は，視線方向検出部２４０の検
出結果に基づき各々のＴＶカメラ２００ａ．　２００ｂ
，２００ｃを垂直方向に駆動するとともに各々のＴＶカ
メラの仰角を制御する．第７図は，人間の頭部の位置と
対象物との関係を真横から図示した図である。今，第７
図において，視線方向検出部２４０によって頭部が頭部
位置４００ｅの位置にあることが検出されると，各々の
ＴＶカメラ駆動部２］．Ｏａ．　２１０ｂ２１０ｃによ
って各々のＴＶカメラ２００ａ．　２００ｂ，　２００
ｃが垂直方向に駆動されるとともにＴＶカメラの仰角が
制御されて第８図のｔｅｌに示す画像が表示部２３０に
表示される．ａ部が頭部位置４００ｆの位置にある場合
には同様に第８図のｉｆ）に示す画像が．頭部が頭部位
置４００ｇの位置にある場合には第８図のＴｇｌに示す
画像が表示部２３０に表示される．なお，本発明の実施
例においては．３台の画像入力部を用いた場合について
説明したが．さらに多数の画像入力部を用いても本発明
を実現できることは明らかである．さらに，本発明の実
施例において．画像入力部は水平方向に対して複数の位
置に複数台固定している場合について説明したが，頭部
の水平方向の動きに応して連続的に移動させることによ
って実現しても良く．その他いかなる画像入力手段を用
いても本発明を実現できることは明らかである． また，本発明の実施例において，角度３１ＨＴＶカメラ
２００ａとＴＶカメラ２００ｂとのなす角）と角度４１
１（頭部位置４００ｂと頭部位置４００ａとのなす角）
との関係及び角度３１２（ＴＶカメラ２００ｃとＴＶカ
メラ２００ｂとのなす角）と角度４１２（頭部位置４０
０ｂと頭部位置４００ｃとのなす角）との関係について
は特に説明しなかったが，角度３１１と角度４１１が全
く等しい場合及び角度３１２と角度４１２が全く等しい
場合には．直接対象物体を見たときと同じように頭部の
位置と対象物体の位置の関係が全く同し関係で観察する
ことができる．また，垂直方向についても同様にＴＶカ
メラの仰角と角度６１３及び角度６１４が全く等しい場
合には．直接対象物体を見たときの頭部の位置と対象物
体の位置の関係が全く同し関係で観察することができる
。さらに，画像入力部を頭部の水平方向の動きに応じて
連続的に全く同様に移動させた場合には，直接対象物体
を見たときの頭部の移動量と対象物体の位置の関係が全
く同じ関係で観察することができる．なお，角度３１Ｈ
Ｔｖカメラ２００ａとＴＶカメラ２００ｂとのなす角）
を角度４１１　（！！１部位置４００ｂと頭部位置４０
０ａとのなす角）よりも大きく．同様に角度３１２（Ｔ
　Ｖカメラ２００ｃとＴＶカメラ２００ｂとのなす角）
を角度４ｌ２（頭部位置４００ｂと頭部位置４００ｃと
のなす角）よりも大きくすると，直接対象物体を見たと
きの頭部の位置よりもさらに対象物体をのぞき込んだ画
像を観察することができ，平面のディスプレイを用いて
対象物体の裏側まで観察することができ，実効的に大き
な視野角を得ることができる．また．同様にＴＶカメラ
の仰角を角度６１３及び角度６１４よりも大きくすると
，上述したと同様の効果が垂直方向にも得られる．さら
に，ＴＶカメラを頭部の水平方向の動きよりも大きく連
続的に移動させた場合，ＴＶカメラを頭部の垂直方向の
動きよりも大きく連続的に移動させた場合等でも同様の
効果が得られる． なお，本発明の実施例において，視線方向検出部２４０
の頭部方向検出結果に基づいて入力切換部２２０及びＴ
Ｖカメラ駆動部２１０によりＴＶカメラ２００を駆動し
たり，ＴＶカメラ出力を切り換えたりして，ａ部の動き
に応じた画像を表示部にリアルタイムで表示する手段を
用いるようにしたがこれに限ることなくあらかしめ多数
の画像を撮影して，この画像をＶＴＲ，磁気記録装置，
光ディスク等の画像記録装置に録画しておいて．観察者
の頭部の動きに対応して表示する方法を用いてもよく，
その他いかなる画像入力手段を用いても本発明を実現で
きることは明らかである。

なお，本発明の実施例において表示部２３０について特
に説明しなかったが，表示部２３０としては，偏光メガ
ネあるいは液晶シャッターメガネ等の特殊なメガネを利
用した２眼弐立体画像表示装置やレンティキエラレンズ
を用いた多眼式メガネなし立体表示装置等を用いてもよ
く．その他いかなる立体画像表示手段を用いても本発明
を実現できることは明らかである． したがって．ジライスティック等の操作なしに観察対象
物を上下，左右及び斜め方向からのぞき込んで観察でき
ること，観察したい対象物を観察したい方向から自由に
観察できること等観察者の立場に立ったより自然なヒュ
ーマンインタフェースを有する画像表示を実現できる． 第９図は，本発明の第２の実施例であって，８０】は画
像入力装ｆｆｌ，　８０２は画像入力装置２，　８０３
は画像入力装置３，　８１０はシーン切換部，８２０は
画像入力装置切換部，８３０はシーン切換信号である．
画像入力装置８０１，　８０２，　８０３，視線方向検
出部２４０及び表示部２３０の動作は実施例１と同様で
あるのでここでは説明を省略する． ここで．Ｎ像入力装置８０１．　８０２及び８０３は全
く異なった対象物あるいはシーンを撮影できる場所に設
置されているものとする．観察者は．必要に応じてスイ
ッチ操作を行うことにより．全く異なった対象物あるい
はシーンを切り換えて観察することができる．なお．各
対象物あるいは各シーンにおいては．実施例ｌと全く同
様に頭部を動かすことにより観察対象物あるいはシーン
を上下及び左右からのぞき込んで自由に観察することが
できる． 第１０図は，本発明の第３の実施例であって．ｎは４以
上の整数であり，　９００１，　９００２．　９００３
，　・・・９００ｎはＴＶカメラ，９０１は画像入力部
（１），　９０２は画像入力部（２）．　９０３は画像
入力部（３）＋−＋　　９　０　ｎは画像入力部（ｎ）
である．また，９１０はＴＶカメラ駆動部．９３０は立
体画像表示部，９４０は表示画像選択部である．？！線
方向検出部２４０，　ＴＶカメラ駆動信号２６０及び入
力切換信号２７０の動作は実施例１と同様であるのでこ
こでは説明を省略する。

第１１図は，対象物と画像入力部の配置の関係を示した
図であって．３０１は対象物（１），　３０２は対象物
（ｎ）である， 第１０図，第１１図において，複数のＴＶカメラ９００
１，　９００２，　９００３．　−，　９００ｉによっ
て撮影された画倣信号は表示画倣選択部９４０によって
選択されて立体画像表示部９３０に入力される．表示画
像選択部９４０は，視線方向検出部２４０の検出結果す
なわち視線方向に応じてその方向の画像を選択して表示
部へ出力する．表示画像選択部９４０は複数のＴＶカメ
ラによって撮影された複数画像群から立体表示部の立体
表示に必要な２つ以上の画像群を選択する．また，ＴＶ
カメラ駆動部９１０は視線方向検出部２４０からのＴＶ
カメラ駆動信号２６０に基づいてＴＶカメラの垂直位置
を制御する．立体画像表示部９３０としては，偏光メガ
ネあるいは液晶シャッターメガネ等の特殊なメガネを利
用した２眼式立体画像表示装置やレンティキュラレンズ
を用いた多眼式メガネなし立体表示装置等を用いてもよ
く．その他いかなる立体画像表示手段を用いても本発明
を実現できることは明らかである．したがって，ジツイ
ステインク等の操作なしに観察対象物を上下，左右及び
斜め方向からのぞき込んで観察できること，観察したい
対象物を観察したい方向から自由に観察できること等観
察者の立場に立ったより自然なヒューマンインタフェー
スを有する画像表示を実現できる． なお．ここでは特に説明しないが，本実施例３に実施例
２を組み合わせて使用することも可能であることは明ら
かである． 〔発明の効果〕 以上説明したように，本発明によれば．観察者の頭部の
方向あるいは視線の方向を検出することにより，その検
出方向に相当する画像を両眼に提示するものであるから
観察対象物を上下，左右及び斜め方向からのぞき込んで
観察できることにより．観察したい対象物を観察したい
方向から自由に観察でき，観察者の立場に立ったより自
然なヒューマンインタフェースを有する画像表示方式並
びに符号化処理を容易とする画像表示方式を提供するこ
とができる利点がある．

【図面の簡単な説明】

第１図は本発明の第１の実施例．第２図は視線方向検出
部の構成例，第３図は視線方向検出部の構威例．第４図
は対象物と画像入力部の配置の関係を示した図，第５図
は人間の頭部の位置と対象物との関係を真上から図示し
た図．第６図は第５図の説明図，第７図は人間の頭部の
位置と対象物との関係を真横から図示した図．第８図は
第７図の説明図．第９図は本発明の第２の実施例１第ｌ
Ｏ図は本発明の第３の実施例，第１１図は対象物と画像
入力部の配置の関係を示した図，第１２図は従来の例を
示した構戒図である． 図中，２０ａは画像入力部ｆａ＋，２０ｂは画像人力部
（ｂｌ，２０Ｃは画像入力部（Ｃ）．　　２２０は入力
切換部，２３０は表示部，２４０は視線方向検出部，２
６０はＴＶカメラ駆動信号，２７０は入力切換信号，２
００ａ，　２００ｂ．　２００ｃは立体画像を得るため
の左右２眼から或るＴＶカメラ，　　２１０ａ．　２１
０ｂ，　２１０ｃはＴＶカメラ駆動部．２４１は水平方
向検出部，２４２は垂直方向検出部，２４３は磁気発生
部，２４５は眼球方向検出部，２５０は磁気センサ部，
３０１は対象物（１），３０２は対象物（Ｉｆ），　３
１１は画像入力部２０ａのＴＶカメラ２００ａと画像入
力部２０ｂのＴＶカメラ２００ｂとの光軸のなす角，３
１２は画像入力部２０ｃのＴＶカメラ２００ｃと画像人
力部２０ｂのＴＶカメラ２００ｂとの光軸のなす角，　
４００ａ，　４００ｂ，４００ｃ．　４００ｅ，　４０
０ｆ，　４００ｇはそれぞれ頭部位置．４１１は頭部位
置４００ｂと頭部位置４００ａとのなす角．４１２は頭
部位置４００ｂと頭部位置４００ｃとのなす角．６１３
は頭部位置４００ｆと頭部位置４００ｅとのなす角，６
１４は頭部位置４００１と頭部位置４００ｇとのなす角
．８０１は画像入力装置１．　８０２は画像入力装置２
．　８０３は画像入力装置３．　８１０はシーン切換部
．８２０は画像入力装置切換部．８３０はシーン切換信
号，ｎは４以上の整数であり，　９００１，　９００２
，　９００３．・・・９００ｎはＴＶカメラ．９０１は
画像入力部（１），　９０２は画像入力部（２）．　９
０３は画像入力部（３），−，　　９　０　ｎは画像入
力部（ｎ）．　９１０はＴＶカメラ駆動部，９３０は立
体画像表示部，９４０は表示画像選択部，　　３０１は
対象物（１）．３０２は対象物（Ｉｆ）である。

Claims (1)

1. 【特許請求の範囲】 対象物を複数方向から撮影した複数の画像群に基づいて
   立体画像を表示する表示方式において、視線方向を検出
   する手段、 前記検出手段によって検出した視線方向に相当する画像
   群を選択する手段、 選択した画像群を両眼に提示する手段 を有する ことを特徴とする運動視差立体表示処理方式。