JPH0676046A - 画像処理装置および画像処理方法 - Google Patents

Abstract

(57)【要約】 【構成】 オペレータの不用意な操作でも画像が不自然
に動かない現実に近い画面を実現する実用的な画像処理
装置を提供することを目的とする。データグローブの操
作に応じて対応メモリ２７に記憶された操作対象となる
物体の表示位置データとオブジェクト管理メモリの内容
とに基づいて該物体の変更表示を行う。 【効果】 画像の動きを制御する制御データを設定する
ことから不自然な表示を防止し、現実感のある画面を表
示することのできる画像処理装置を提供することができ
る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、コンピュータグラフィ
ックス（ＣＧ）などにより表示した表示部の物体を操作
する機能を備えた画像処理装置に関する。

【０００２】

【従来の技術】従来、ワークステーションなどにＣＧで
画像を表示しその画像を操作することにより装置の設計
などを行うものが知られている。また近年はデータグロ
ーブやデータスーツといった体の運動を直接計測し計測
したデータを入力する入力部を接続し、表示部の画像
（仮想空間）に対してリアルタイムに、能動的なアクセ
スすることが可能な画像処理装置も開発されている。こ
のような画像処理装置では表示部に画像を立体的に表示
し、オペレータが前記入力部を操作することにより、前
記入力部に連動した入力部連動画像（入力画像）により
表示部に表示されている物体を持ち上げる、ひねる、引
くなどというような画像操作を自由に行うことができる
ものである。従来、表示部の入力画像を前記入力部の動
きに対応させるために、(1) 入力部の原点と変化量に基
づいて仮想空間での入力画像の位置とする手段が知られ
ている。（「仮想空間における３次元位置計測精度実験
について」榎本範子、松下電工株式会社）しかしなが
ら、この手段では入力部の操作と仮想空間の動きが常に
一致していることから画面上の動きがリアルさにかける
不自然のものとなることがある。例えば、入力部をデー
タグローブとし、オペレータの手の位置を仮想空間内の
入力画像である手の位置に対応させたとする。オペレー
タが例えば仮想空間中の物体を掴んで別な場所に動かす
操作をする際に、オペレータの手の回りには物がないの
で手を自由に動かすことができる。あるときは意思に反
して手が揺れたり、震えたりすることもある。従来はこ
れも画面上の手に反映されることから、データグローブ
の動きに対応して画面が変化してしまう。通常物体には
重さがあることや、支持部のある物体を考えると画面が
あまり動くのは現実感が薄れる原因となる。

【０００３】またよりリアルな仮想空間の状態を保持す
るために(2) オペレータの操作を制限する制御機構を入
力部に備え、(1) に加えて仮想空間の状況に応じて前記
制御機構を動作させる手段が知られている。

【０００４】（「Artificial Reality with Force-feed
back:Development of Desktop Virtual Space with Com
pact Master Manipulator 」Hiroo Iwata, computer Gr
aphics, Volume 24, Number 4, August 1990）

【０００５】これにより、仮想空間での物体位置と入力
画像である手の位置に基づき、入力部を制御する信号を
入力部にフィードバックし、その結果、重い物体や、重
い扉などはそれに応じてオペレータの手の動きが制限さ
れ、操作がリアルになることから画像も必然的に現実的
なものとなる。また入力部にフィードバックがあること
から画面の状態をオペレータが容易に認識することがで
きる。しかしながらこのためには入力部に特殊な機構が
必要であり、用途、稼働範囲が限られ、実用的ではな
い。

【０００６】上述したように、従来の画像処理装置で
は、オペレータの操作がそのままの形で仮想空間に入力
画像として反映されてしまうので、画像が不用意に動い
てしまい不自然なものとなってしまう。またこのような
課題のない別の従来の画像処理装置では装置が大きくな
り用途が限定されてしまうという課題があった。本発明
の第１の目的は上記課題を解決することである。

【０００７】つぎに仮想空間の物体同士の関係を考え
る。仮想空間の物体をオペレータが入力部を使用して、
操作できることから、物体同士が重なって表示されるな
どの不都合が発生しないために干渉チェックが従来行わ
れている。これはたとえば、仮想空間内で机の上に乗っ
ている箱を別の机に移動させるときなど、移動した箱が
移動先の机に重なって表示されたりせず、正確に机の上
に乗っているように表示されるようにするためである。

【０００８】しかしながら、干渉チェックは、厳密に画
像の不自然さを防ぐことができるが、表示位置の算出に
多くの時間が必要となる。とくに、多数の物体が存在し
た場合には多くの計算時間が必要となり、オペレータの
操作に応じてリアルタイムで画像を処理する画像処理装
置には非常に問題となる。本発明の第２の目的はこの課
題を解決することである。

【０００９】つぎに、建物の中、町の中などの立体画像
を仮想空間として画面に作りだし、オペレータがその中
を移動する場合を考える。このような場合、オペレータ
が仮想空間中のどこに位置し、どちらの方向を向いてい
るかなどがわかりにくく、その情報を示す必要がある。
仮想空間中のオペレータの位置を示す情報（存在位置情
報）には、仮想空間中のオペレータの現在位置を示す視
点、仮想空間中でオペレータが目にしている注目位置を
示す注目点、仮想空間中でオペレータの目に見える範囲
を示す視野範囲などがあり、従来はこれらの存在位置情
報を(1) 視点、注目点の位置、視野範囲などを画面上の
一部に数値で表示したり、もしくは(2) 画面の一部に、
ある方向から見た（例えばｙ軸方向）全体の略図（２次
元画像）を示し、視点位置などを点で表示するなどの方
法をとっていた。しかしながら、(1) の方法では、一目
で位置を把握することが難しくまた、(2) の方法では、
略図であったため、どの辺に位置しているかというおお
まかな情報を得られるが、近くになにがあるのかなどと
いう細かい情報は得ることができないかった。本発明の
第３の目的は上記課題を解決することである。

【００１０】

【発明が解決しようとする課題】上述したように従来の
画像処理装置ではデータグローブなどのような立体的な
動きを計測しこの計測したデータを入力するような入力
部で画像を操作すると、常に入力部の動きが画像に反映
されてしまい、現実味のない画面となってしまうという
課題があった。そこで本発明の第１の目的は、オペレー
タの不用意な操作でも画像が不自然に動かない現実に近
い画面を実現するとともに、さらにはオペレータもその
動きを容易に認識できる実用的な画像処理装置を提供す
ることを目的とする。

【００１１】また従来の画像処理装置では画面のなかの
物体を移動した場合などに表示位置を算出するのに多く
の計算が必要となる課題があった。本発明の第２の目的
はこの課題を解決し、表示位置の算出の早い画像処理装
置を提供することを目的とする。

【００１２】さらに従来の画像処理装置では仮想空間が
どのような構成になっているのか把握するのが困難であ
るとともに、仮想空間内の自分の位置を把握しにくいと
いう課題があった。本発明の第３の目的は仮想空間中の
自己の位置を確認できるとともに、仮想空間の構成を容
易に認識できる画像処理装置を提供することを目的とす
る。

【００１３】

【課題を解決するための手段】第１の発明の画像処理装
置は、データを入力するデータ入力部と、表示部に表示
する３次元図形である物体を示す３次元データを記憶す
る３次元データ記憶部と、前記３次元データに基づいて
表示部に物体を表示するとともに、表示された物体を前
記データ入力部によって操作可能とする表示制御手段を
備えた画像処理装置において、物体の動きをコントロー
ルする制御データを記憶した制御データ記憶部と、前記
データ入力部の操作に応じて操作対象となる物体の前記
制御データと前記３次元データとに基づいて該物体の変
更表示を行う変更表示手段とを備えたことを特徴とする
画像処理装置である。

【００１４】第２の発明の画像処理装置は、データを入
力するデータ入力部と、表示部に表示する３次元図形で
ある物体を示す３次元データを記憶する３次元データ記
憶部と、前記３次元データに基づいて表示部に物体を表
示するとともに、表示された物体を前記データ入力部に
よって操作可能とする表示制御手段を備えた画像処理装
置において、物体の動きをコントロールする制御データ
を記憶した制御データ記憶部と、前記データ入力部の操
作に応じて操作対象となる物体の前記制御データと前記
３次元データとに基づいて該物体の変更表示を行う変更
表示手段と、音出力部と、音出力情報を記憶する音情報
記憶部と、前記変更表示手段の実行に応じて前記音出力
部からの音の発生を前記音出力情報に基づいて制御する
音出力制御手段とを備えたことを特徴とする像処理装置
である。

【００１５】第３の発明の画像処理装置は、データを入
力するデータ入力部と、表示部に表示する３次元図形で
ある物体を示す３次元データを記憶する３次元データ記
憶部とを有し、前記３次元データに基づいて表示部に物
体の表示を行い、前記データ入力部の操作に応じて前記
表示部の表示内容を変更する画像処理装置において、物
体の表示位置の基準となる束縛値データを記憶した束縛
値データ記憶部と、前記データ入力部の操作に応じて操
作対象となる物体の束縛値データが前記束縛値データ記
憶部に記憶されているか否かを識別する識別手段と、記
憶されている場合は前記束縛値データに基づいて該物体
の変更表示を行う表示位置制御手段とを備えたことを特
徴とする像処理装置である。

【００１６】第４の発明の画像処理装置は、画像を表示
する表示部と、データを入力するデータ入力部と、前記
表示部に表示する３次元図形である物体を示す３次元デ
ータを記憶する３次元データ記憶部と、前記表示部の画
面の一部を視点としたときの物体の表示を前記３次元デ
ータに基づいて表示部に表示する表示手段と、前記デー
タ入力部から視点の移動が指示されたことに応じて、視
点を変更した表示を前記表示部に行う画像移動手段とを
有する画像処理装置において、２次元画像を表示する２
次元画像表示部と、前記３次元データ記憶部に記憶され
た３次元データに対応し、この３次元データに基づいて
表示される物体の位置が識別可能な２次元画像を記憶す
る２次元画像記憶部と、前記表示部の立体表示の視点の
位置に対応する前記２次元画像表示部の２次元画像にお
ける視点の位置を算出する視点位置算出手段と、前記２
次元画像表示部に前記２次元画像を表示すると共に、視
点位置を表示する２次元画像表示手段とを備えたことを
特徴とする画像処理装置である。

【００１７】第５の発明の画像処理装置は、前記２次元
画像データは画像読取り装置で読み取らせた２次元画像
データであることを特徴とする第４の発明の画像処理装
置である。

【００１８】本発明の画像処理方法は、表示する３次元
図形である物体を示す３次元データに基づいて表示部に
物体の立体表示を行い、データ入力部の操作に応じて操
作対象となる物体の動きを示す制御データと前記３次元
データとに基づいて該物体の変更表示を行う画像処理方
法である。

【００１９】

【作用】第１の発明の画像処理装置は、データ入力部の
操作に応じて制御データ記憶部に記憶された操作対象と
なる物体の制御データと３次元データとに基づいて該物
体の変更表示を行う。これによりオペレータの不用意な
操作によって画像が不自然に動くことはない。

【００２０】第２の発明の画像処理装置は、データ入力
部の操作に応じて制御データ記憶部に記憶された操作対
象となる物体の制御データと３次元データとに基づいて
該物体の変更表示を行うとともに、音出力部からの音の
発生を音出力情報に基づいて制御する。これにより、オ
ペレータの不用意な操作で画像が不自然に動くことがな
くなるとともに、音によりオペレータが画面の動きを容
易に認識できる。

【００２１】第３の発明の画像処理装置は、データ入力
部の操作に応じて操作対象となる物体の束縛値データが
束縛値データ記憶部に記憶されているか否かを識別し、
記憶されている場合は前記束縛値データに基づいて該物
体の変更表示を行う。これにより干渉チェックなどの多
大な計算をすることなく表示位置を算出することができ
る。

【００２２】第４の発明の画像処理装置は、表示部の画
面の一部を視点としたときの物体の表示を３次元データ
に基づいて表示部に表示し、データ入力部から視点の移
動が指示されたことに応じて、視点を変更した表示を前
記表示部に行うとともに、表示部の立体表示の視点の位
置に対応する２次元画像表示部の２次元画像における視
点の位置を算出し、前記２次元画像表示部に前記２次元
画像を表示すると共に、視点位置を表示する。これによ
り２次元画像から仮想空間を構成する物体の位置が認識
でき、さらには現在位置も確実に知ることができる。第
５の発明の画像処理装置は、画像読取り装置で読み取ら
せた２次元画像データに基づいた２次元画像を表示す
る。これにより２次元画像はより明確となる。

【００２３】

【実施例】以下、本発明の実施例を図面に従って説明す
る。この実施例では入力部としてデータグローブを利用
した場合を例に説明する。

【００２４】図１はこの実施例の画像処理装置であるワ
ークステーションのシステム構成を示す図である。ワー
クステーションは本体である計算機１と仮想空間を表示
する表示部であるＣＲＴ２、入力部であるデータグロー
ブ３、音声出力装置４で構成され、それぞれが信号線５
で接続されている。

【００２５】図２は、ワークステーションのブロック図
である。ワークステーションは入力部であるデータグロ
ーブ３から入力されたデータを処理する処理プロセッサ
６を有し、この処理プロセッサ６とワークステーション
を制御するプログラムやディスク装置１０から読み込ん
だデータを一時記憶する主記憶装置７、データグローブ
３と接続を可能としている入力インターフェイス９、各
種データを記憶したディスク装置１０を制御するディス
クコントローラ１１、画像メモリ１３を制御するメモリ
コントローラ１２、画像メモリ１３のデータに基づいて
表示部であるＣＲＴ２を制御するＣＲＴコントローラ１
４、音声出力装置４と接続する音声インターフェイス１
６が各種バスライン１７で接続されている。

【００２６】なお、データグローブ３には検出する手の
形状が何種類か設定されているものとする。これは手の
形状に応じたデータを計算機１に入力するためであり、
例えば、手を握った状態を検出したらその形状に対応し
たデータを計算機１に送るようになっている。詳細には
図７を以て説明する。

【００２７】図３は、この発明のプログラム構成を示す
図である。この実施例のプログラムは主プログラム１
８、位置計測プログラム１９、音送出プログラム２０で
構成され、それぞれのデータは主記憶装置７に設けられ
た位置データ共有メモリ２１、音情報共有メモリ２２を
介してやり取りされるものである。

【００２８】図４、５、６は以下に説明する仮想空間操
作処理及び、仮想空間物体移動処理時に使用するメモリ
を示す図である。図４はＣＲＴに表示する仮想空間を作
成する際に使用するオブジェクト管理メモリを示す図あ
る。オブジェクト管理メモリ２３は、物体を示すオブジ
ェクト番号に対応して物体の形状データ、色データ、な
どからなるオブジェクトデータメモリ２４と、操作パネ
ルＡ、操作パネルＢ、部屋Ａ、部屋Ｂ，１階、２階とい
った場所を示す場所データに対応して、表示する位置を
示す位置データと、オブジェクト番号と、その物体の表
示に必ず必要となる束縛値データとからなるオブジェク
ト配置メモリ２５とで構成されている。ここで束縛値デ
ータとはたとえば電話などのように、必ずテーブルの上
にあるようなものについては、テーブルの高さを束縛値
データとして記憶させておく。これにより、もし電話を
移動したとしても、この束縛値データを参照することに
より容易に表示位置を決定することができる。

【００２９】図５は音対応メモリを示す図である。音対
応メモリ２６は音の種類を示す音名称データと音データ
を示す音番号とで構成されている。音番号の示す音デー
タはあらかじめ録音等により作成しておき、音番号に対
応した音データが音データファイル（図示せず）として
ディスク装置１０のディスクに記憶しておくものであ
る。

【００３０】図６はデータグローブ３と仮想空間の入力
画像および対象となる物体との動きを対応させるための
関数を記憶した対応メモリである。入力画像とはデータ
グローブの動きに応じて画面に描き出される画像であ
り、一般には手の形の画像である。対応メモリ２７は物
体を示すオブジェクト番号とデータグローブ３からの計
測データに対応する物体の表示位置データとで構成され
る。この対応メモリのデータによって、仮想空間中の物
体の動きは制御される。これらのデータはディスク装置
１０のディスクに保存されており、使用時は主記憶装置
７に読み込んで使用するものである。

【００３１】図７はこの実施例の位置計測プログラムの
処理を示すフローチャートである。このフローチャート
は電源を入れ、データグローブ３の処理が指示されると
スタートする。処理の選択はメニュー画面を表示し行わ
れるものとする。ステップ１００で現在のデータグロー
ブ３の位置を画面上に表示する際の原点として図示しな
い内部メモリに登録する。ステップ１０１で手の形の初
期化を行う。すなわち手を開いたときの角度を０度と
し、手を閉じたときの角度を９０度とする。これは先に
説明した予め設定してある手の形を認識するのに必要と
なる。この実施例では予め人差し指を延ばした状態、手
を握った状態、開いた状態が設定されているものとし、
それぞれ、進め、掴む、放すまたは止まれという意味合
いを持つものとする。ステップ１０２で手の形状及び位
置を測定する。位置は初期値として登録した原点からの
移動量を認識するものであり、手の形状は上記の３種類
のいずれかであるかをチェックするものである。ステッ
プ１０３で計測データを位置データ共有メモリ２１に記
憶する。この際形状データは人差し指を延ばした状態で
は１が、手を握った状態では２が、開いた状態では３
が、その他の場合は０がセットされるものである。そし
て上記ステップ１０２、１０３は主プログラムが終了す
るまで繰り返される。図８はこの実施例の音送出プログ
ラムの処理を示すフローチャートである。

【００３２】このフローチャートも電源を入れ、データ
グローブ３の処理が指示されるとスタートする。ステッ
プ１０４で音データファイルをディスク装置１０から主
記憶装置７に読み込み、ステップ１０５で音対応メモリ
２６をディスク装置１０より主記憶装置７に読み込む。
ステップ１０６で主プログラムによって音情報共有メモ
リ２２に、音番号を含む音情報がセットされているかを
チェックする。なお音情報は、データグローブ３によっ
て示される仮想空間中の入力画像の位置に基づいて、図
示しない音情報メモリを参照して主プログラムによって
セットされるものであり、音情報メモリには音番号のほ
かに音量、発生回数などが設定されている。音情報共有
メモリのデータが０であればセットされていないので、
一定時間後再び音情報共有メモリ２２をチェックする。
音情報共有メモリ２２のデータが０でなければその音情
報を読取り、音情報共有メモリ２２に０をセットする。
ステップ１０７で図示しない音出力メモリに、読み取っ
た音情報を設定し、ステップ１０８で音声出力装置４に
出力する。そして上記ステップ１０６、１０７、１０８
は主プログラムが終了するまで繰り返される。次に仮想
空間を操作する処理について説明する。図９は主プログ
ラム一つであるこの場合の処理を示すフローチャートで
ある。このフローチャートは電源を入れ、データグロー
ブ３の処理さらには仮想空間操作の指示がされるとスタ
ートする。

【００３３】ステップ１０９で仮想空間をＣＲＴ２に表
示するのに必要な描画データ、すなわち、物体データ、
配置データからなるオブジェクト管理メモリのデータを
ディスク装置１０から主記憶装置７に読み込む。当然こ
の中には、仮想空間中に表示される入力画像である手の
形状データも含まれる。ステップ１１０で対応メモリ２
７をディスク装置１０から主記憶装置７に読み込む。こ
の対応関数によって仮想空間の物体の動きは制御され
る。ステップ１１１でデータグローブと仮想空間を初期
化する。これは最初の仮想空間の画面を作成する際に、
画面上に表示する入力画像の位置を決定するものであ
り、手の原点の位置である。ステップ１１２で位置デー
タ共有メモリ２１から位置計測プログラムによってセッ
トされる計測データを読み取る。計測データは手の位置
および、手の形状を示している。ステップ１１３で手の
位置から対応メモリ２７のなかで対応する関数を選択
し、ステップ１１４で選択した関数に基づいて、表示す
る物体の位置を決定する。すなわちここで、データグロ
ーブ３によってオペレータが操作する仮想空間における
物体がどのように動くかが決定される。具体的説明は後
述する。ステップ１１５で図示しない音情報メモリと入
力画像の位置から音情報があるか否かを判別する。例え
ば、なにも物体に接触しない自由空間に入力画像が位置
するときには音情報はなく、物体に触れる位置に入力画
像がある場合は音情報が存在する。また前の表示位置を
記憶しておき、今回の表示位置と変化がなければ、仮に
前回は音を発生したとしても今回は音を発生しないとい
う制御もおこなう。ステップ１１５で音情報があると判
別された場合はステップ１１６で音情報を音情報メモリ
から読み出して音情報共有メモリ２２にセットする。セ
ットした音情報は、音送出プログラムによって出力さ
れ、これによりオペレータは自分の操作を認識すると共
に、仮想空間中の動きがよりリアルに感じることができ
る。ステップ１１７で仮想空間の描画を行い、ＣＲＴ２
に表示する。すなわち、入力画像と物体が表示されるこ
ととなり、その際、入力画像が物体を操作するような状
態であれば、その状態に表示されることとなる。次にこ
の実施例の仮想空間操作の動作を説明する。

【００３４】いまデータグローブ３を使用して仮想空間
に示された３種類（大、中、小）のレバーを操作する場
合を例に説明する。オブジェクト管理メモリには図１０
のように表示するためのデータが設定されているものと
し、右から大、中、小、のレバーが配置される。大、中
のレバーは前後方向にスライドするものであり、小のレ
バーは手前側が左右にスライドするレバーであるとす
る。さらにそれぞれのレバーは各ポイントではその状態
をしばし保持する状態を示すものとする。すなわちこれ
は、実際の機械ではレバーを切り替えた場合、別のポイ
ントに切り替えるにはある程度の力が必要となる。した
がって、データグローブ３の操作によって逐一このレバ
ーが動作してしまうと、リアルさにかけてしまう、本発
明の課題の一つである不自然な動きとなってしまう。そ
こでレバーがポイントに入った場合はデータグローブ３
が多少操作されても画面上は変化が起きないようになっ
ているものである。

【００３５】これを実現する対応メモリ２７のデータが
図６に示されている。この場合はレバーの数である３種
類の関数が準備されているものとする。なおレバー以外
の空間では動きを妨げる必要はないのでデータグローブ
３の動きと入力画像の動きは対応することとなる。対応
メモリ２７の関数はデータグローブ３の操作方向Ｘ，
Ｙ，Ｚと仮想空間のｘ，ｙ，ｚをおのおの対応させてい
るものである。たとえば大のレバーを示す関数データと
しては、レバーが上下方向、すなわちｘ軸方向に動くも
のであることからＸ軸方向のデータであるものとして設
定されており、動きを停止させる位置を示すデータのみ
が設定されており、入力位置データ（［ｓ０，ｓ１］，
［ｓ２，ｓ３］…）と画面上に表示する位置を示す表示
位置データ（ｖ０，Ｖ１…）が設定されているものとす
る。あとの空間の動きはデータグローブ３に対応するも
のである

【００３６】図１１は大のレバーの関数をグラフで示し
たものである。横軸をデータグローブ３の操作方向であ
るＸ、縦軸を入力画像の移動方向のｘとすると、レバー
の位置が固定されるｓ０〜ｓ１の間をデータグローブ３
が移動した場合は画面のレバーおよび入力画像である手
２８はそのままの状態を保持するのでその表示位置とし
てｖ０が対応している。このｖ０の位置は図１０の(1）
に対応する。そしてデータグローブ３がｓ１〜ｓ２まで
操作されるとレバーおよび入力画像である手２８はｖ１
の位置すなわち図１０の(2) の位置に移動し、ｓ２〜ｓ
３の間をデータグローブ３が移動した場合はそのままｖ
１の状態を保持することを示している。図１０の(3) の
位置についても同様である。

【００３７】図１２はレバー以外の仮想空間の位置での
動きを示すグラフである。データグローブ３が移動する
量に比例して仮想空間の手２８も移動することを示して
いる。

【００３８】データグローブ３による操作処理がオペレ
ータによって指示されると、位置計測プログラムにより
データグローブ３の原点が計測される。主プログラムは
必要なデータをディスク装置から読み込んだのち、デー
タグローブ３の原点の位置を位置データ共有メモリ２１
から読み込んでＣＲＴ２に図１０に示すような仮想空間
を表示する。この際、入力画像である手２８は画面中央
付近に表示される。音情報は特にないので音は発生しな
い。

【００３９】オペレータがデータグローブ３を操作し、
手２８を大のレバーの位置に持っていき握る操作をする
と、握ったことが、位置計測プログラムで認識されにそ
の計測データが位置データ共有メモリ２１にセットされ
る。主プログラムでそれを認識するとそれを示す音情報
を音情報共有メモリ２２にセットして、図１０に示す画
像を表示する。それとともに音送出プログラムが音情報
にしたがった音データを出力することから、オペレータ
は自己の操作を確実に認識することができる。そしてレ
バーを(3) の位置に切り替えるとする。仮想空間上の位
置からどのレバーを握ったかが識別できることから対応
する関数が対応メモリ２７から選択される。この場合大
のレバーが握られているのでデータグローブ３を操作す
る範囲がｓ２〜ｓ３の間は画像は変化しない、また音も
発生しない。音が発生しないことから、レバーがポイン
トに入っていることを容易に認識することができる。ｓ
２〜ｓ３の範囲を超えるとレバーは動き、(3) の位置に
向かって移動する。その際、手２８とレバーは一体化し
て動くものである。一体化して動くことにより、操作感
が生じることとなる。この時も音を発生することによ
り、よりリアルな感覚を得ることができる。(3) の位置
に来ると再びレバーは止まるとともに、ポイントに入っ
たことを示す音が出力される。これにより。確実にポイ
ントに入ったことをオペレータは認識でき、データグロ
ーブ３の操作をやめることができる。

【００４０】このように本実施例の操作処理によれば、
データグローブ３を操作しても動かない画像をつくるこ
とにより仮想空間の動きを実際の動きにより近いものと
でき、さらに動かない画像の場合は音も発生しなくする
ことにより、確実に画面状態をオペレータが認識するこ
とができる画像処理装置を実現できる。さらに音を各レ
バーに対応させて変化させることによりより現実感がも
てる。また対応メモリを設けたことにより、様々動きに
容易に対応できる。例えば、仮想空間の広い範囲を操作
したい場所では、データグローブ３の移動距離の１cmを
仮想空間の１cmに対応させ、非常に細かい操作が必要な
ところでは、データグローブ３の移動距離の１m が１cm
に対応するような関数を用いることで、モード変更する
ことなく、正確な操作を行うこともできる。なおこの実
施例では入力部としてデータグローブ３を例に説明した
が、これに限定されるものではない。たとえば、体全体
の動きを測定し入力するデータスーツなどでもよく、そ
の他の入力部でもよい。さらには対応メモリ２７のデー
タも実施例に限定されるものではなく、直線的に動く手
の位置を２次関数などの式で書ける関数で、直接変換を
行う方法や、表を用いてもよい。さらには入力部の変異
と仮想空間での座標軸に対する回転角を対応させること
もできる。これは、仮想空間でドアの開閉を行う場合
に、入力部の前後方向の移動量を、ドアの回転角に対応
させることに適応できる。次に同装置を用いて仮想空間
の物体を移動させる処理について説明する。図１３は主
プログラムの一つである、この場合の処理を示すフロー
チャートである。

【００４１】このフローチャートは電源を入れ、データ
グローブ３の処理さらには仮想空間移動の指示がされる
とスタートする。なおこのフローチャートは図９と同一
な部分があることからその点については図９と同様のも
のとし、説明を簡略化する。

【００４２】ステップ１１８で仮想空間をＣＲＴ２に表
示するのに必要な描画データを読み込み、ステップ１１
９でデータグローブ３と仮想空間を初期化する。ステッ
プ１２０で位置データ共有メモリ２１から位置計測プロ
グラムによってセットされる計測データを読み取る。ス
テップ１２１で視点、注目点の位置設定をおこなう。こ
れはデータグローブ３の形が「進め」を示す人差し指を
伸ばした形であった場合、手の方向に注目点を回転させ
るなどである。当然仮想空間の画像はそれにともなって
変化する。なおその場合、データグローブ３の方向がプ
ラスマイナス２０度であった場合には、視点、注目点
は、視線ベクトル方向に一定距離進むことになる。ステ
ップ１２２で視点の位置、注目点の位置などから表示す
る物体の位置を決定する。ステップ１２３で音情報があ
るか否かを判別する。ステップ１２３で音情報があると
判別された場合はステップ１２４で音情報を音情報メモ
リから読み出して音情報共有メモリ２２にセットする。
ステップ１２５で仮想空間の描画を行う。この移動の処
理の場合は物体を掴んでその手を放した場合には、オブ
ジェクト配置メモリ２５に予め定められた該物体の束縛
値データを参照する処理を実行する。これにより例えば
壁に掛けられている時計を壁の別の場所に移動した場
合、手を放した場所が壁から離れている地点であったと
しても、束縛値データに壁の平面を示す座標が設定され
ていることから、時計が空中に浮くことなく、壁に正し
く配置されることになる。この際干渉チェックをする必
要がないので、計算時間を多く取られることがない。必
要に応じて束縛値データを参照した処理を実行したのち
仮想空間をＣＲＴ２に表示する。次にこの実施例の仮想
空間物体移動の動作を説明する。

【００４３】いまデータグローブ３を使用して仮想空間
に示された机の上のパソコンを別の机に移動する場合を
例に説明する。オブジェクト配置メモリ２５のパソコン
の束縛値データとしては机の高さが設定されているもの
とする。そのほかオブジェクト管理メモリ２３には図１
４のように表示するためのデータが設定されているもの
とする。

【００４４】データグローブ３による移動処理がオペレ
ータによって指示されると、位置計測プログラムにより
データグローブ３の原点が計測される。主プログラムは
必要なデータをディスク装置１０から読み込んだのち、
データグローブ３の原点の位置を位置データ共有メモリ
２１から読み込んでＣＲＴ２に図１４示すような仮想空
間を表示する。この際、入力画像である手２９は画面中
央付近に表示される。音情報は特にないので音は発生し
ない。

【００４５】オペレータがデータグローブ３を操作し、
手２９をパソコン３０の位置に持っていき握る操作をす
ると、握ったことが、位置計測プログラムで認識されに
その計測データが位置データ共有メモリ２１にセットさ
れる。主プログラムでそれを認識するとそれを示す音情
報を音情報共有メモリ２２にセットして、それを示す画
像を表示する。それとともに音送出プログラムが音情報
にしたがった音データを出力する。そしてパソコンを机
３１に移動する。データグローブ３を操作して、入力画
像である手２９を机３１の方向に移動する。その際、手
２９とパソコン３０は一体化して動くものである。机３
１の位置に来たあたりでデータグローブ３を放す状態に
操作する。干渉チェックを行わない従来の機種では、放
した位置が不適当な場合は、パソコン３０が空中に浮い
てしまうことや、机３１にパソコン３０が重なってしま
う場合があるが、束縛値データを有する本装置の場合
は、手２９を放した時点で、パソコン３０の束縛値デー
タを参照し、干渉チェックをすることなしに机３１の上
にパソコン３０は表示される。

【００４６】このように本実施例の移動処理によれば、
束縛値データに基づいて表示位置を決定することによ
り、複雑な干渉チェックの処理をすることなく不自然な
画像になることを確実に防止し、速やかに適格な画像を
表示する画像処理装置を実現できる。なおこの実施例で
は入力部としてデータグローブ３を例に説明したが、こ
れに限定されるものではない。たとえば、マウスやキー
ボードなど従来から一般的な入力部を使用して移動する
位置を指定するようにしてもよい。当然その場合の掴
む、放すといった動きは別のキーが代用することとな
る。また束縛値データをオブジェクト配置メモリ２５に
設けたが、必ずしもそこに設ける必要はなく、物体を示
す情報に対応して設ければよい。また束縛値データは高
さだけに限らず、表示を作成するのに基準となるデータ
であることはいうまでもない。次に同装置を用いてオペ
レータが仮想空間中のどこにいるかを示す存在位置情報
表示処理について説明する。

【００４７】図１５はこの存在位置情報表示処理で使用
するメモリを示す図である。ＣＲＴ２に仮想空間を作成
するのに必要な仮想空間作成メモリがディスク装置１０
内のディスクに設けられている。仮想空間作成メモリ３
２は仮想空間を特定の面積で区切った範囲でデータを保
持し、区切った区分をメッシュ番号という番号を対応さ
せて管理している。これは一般にメッシュ管理といわ
れ、都市のデータなどのように比較的広範囲で、画面を
区切るのが困難な画面を管理する場合に用いられる方法
であり、たとえば１００ｍ単位で仮想空間を区切り、そ
の中にある、建物の位置等を管理するものである。

【００４８】前述したように仮想空間作成メモリ３２は
メッシュ番号に対応して建物の形状データは色データな
どを記憶する建物データメモリ３３と、メッシュ番号に
対応して道路、公園等の位置を記憶した土地利用データ
メモリ３４で構成されている。

【００４９】またディスク装置１０のディスクには予め
画像読取り装置で読み取られた地図、フロア平面図とい
った仮想空間作成メモリ３２に基づいて作成される仮想
空間に対応する２次元画像データを記憶した２次元画像
メモリ４０が設けられている。図１６は主プログラムの
一つである存在位置情報表示の処理を示すフローチャー
トである。このフローチャートは電源を入れ、存在位置
情報表示ありの業務を選択し、ＣＲＴ２に表示したい仮
想空間の指定がされると実行される。

【００５０】ステップ１２６で仮想空間をＣＲＴ２に表
示するのに必要な仮想空間作成メモリ３２のデータ、お
よび対応する２次元画像メモリ４０の２次元画像データ
を読み込み、ステップ１２７で先に読み込んだ仮想空間
作成メモリ３２をメッシュ管理する。ステップ１２８で
読み込んだ２次元画像データを２次元画像を表示する画
面のサイズに応じて、拡大縮小する。ステップ１２９で
２次元画像と仮想空間を対応させる。この対応処理は仮
想空間と２次元画像の間のアフィン変換係数を求めるも
のである。ステップ１３０で位置データ共有メモリ２１
から位置計測プログラムによってセットされた計測デー
タを読み取る。ステップ１３１で視点、注目点の位置設
定をおこなう。これはデータグローブ３の形が「進め」
を示す人差し指を伸ばした形であった場合、手の方向に
注目点を回転させるなどである。仮想空間の画像はそれ
にともなって変化する。なおその場合、データグローブ
３の方向がプラスマイナス２０度であった場合には、視
点、注目点は、視線ベクトル方向に一定距離進むことに
なる。ステップ１３２で仮想空間における視点、注目点
の座標をアフィン変換係数を用いて、２次元画像での対
応する座標を求める。ステップ１３３で２次元画像を表
示し、それに重ねて、現在の存在位置情報として、先に
求めた視点位置、視野範囲を点と線で表示する。なお視
野範囲は注目点の位置を中心に６０度の角度と予め設定
されているものとする。ステップ１３４で仮想空間を表
示する。

【００５１】次にこの処理の動作を説明する。この場
合、都市の仮想空間を表示し、その中にいるオペレータ
の位置を存在位置情報として表示する場合を例に説明す
る。この場合、都市に対応した地図がイメージスキャナ
などの外部装置を使用してディスク装置１０のディスク
に読み込まれ設定記憶されているものとする。電源投入
後、データグローブ３の処理を選択し、存在位置情報表
示ありの業務を選択すると、図１７に示す画面がＣＲＴ
２に表示される。画面は仮想空間を表示する仮想空間表
示領域３５と存在位置情報を表示する２次元画像表示領
域３６、および、画面に表示する都市を選択するための
メニュー領域３７から構成される。この都市のメニュー
から任意の一つを選択すると、その都市に対応した、仮
想空間作成メモリ３２のデータとともに、対応する２次
元画像メモリ４０に記憶された２次元画像である地図デ
ータがディスク装置１０から読み込まれる。データグロ
ーブ３の位置に対応する仮想空間の画像を作成するとと
もに、アフィン変換係数でもとめた２次元画像上の視点
の位置と視野範囲を点と線で表示する。２次元画像表示
領域３６に表示される表示例は図１８のようになる。す
なわち仮想空間中のオペレータの位置が視点として点３
８で示され、仮想空間中でオペレータが目にしている範
囲を視野範囲として線３９で示される。この線の範囲が
仮想空間表示領域３５に表示されているものである。こ
れにより詳細な２次元画像に視点、視野範囲が示される
ことから、オペレータは直感的に自己の位置を認識する
ことができ、また２次元画像表示領域３６に表示される
２次元画像がイメージスキャナなどで読み取った詳細な
地図であることから、仮想空間中のどこに何があるかを
容易に認識することができ、仮想空間内の目的とする場
所に速やかに移動することができる。

【００５２】なお、この実施例では２次元画像データを
２次元画像表示領域のサイズに合わせて拡大縮小した
が、２次元画像を複数段階に縮小し、指定された縮尺の
２次元画像を用いるようにしてもよい。その場合は、各
々の縮尺に応じて、アフィン変換係数は変更される。例
えば、対象区域全体が、２次元画像表示領域に入るよう
な縮尺を１として、縮尺１／２、１／４のものを用意す
る。１／２、１／４縮尺の場合には、視点の移動に応じ
て画像がスクロールするようにしてもよい。さらに、対
象区域が複数の２次元画像にまたがる場合には、これを
つなぎ合わせた画像を作成し、利用するようにしてもよ
い。

【００５３】また２次元画像はイメージスキャナで読み
込ませた地図で説明したが、それに限定されるものでは
なく、仮想空間に対応する詳細な図面を示すものであれ
ば内部で作成したものでもよい。また地図に限らず、航
空写真、設計図、計画図、フロア平面図といったもので
もよい。さらに２次元画像に示す存在位置情報の表示方
法も本実施例に限定されるものではない。例えば視点を
点で、視野範囲を線で示したが、視野範囲を色で示すよ
うにしてもよい。その場合は見える部分だけを色で示す
ようにもできる。また視点だけを表示してもよい。また
視野範囲を示す線も一定の長さである必要はなく、視線
より大きな物体があればその先は見えないという、実際
の状態を考慮して図１９に示すように視野範囲を調整す
れば（４１に示す）、オペレータが仮想空間と対応が一
層とりやすい。また入力部をデータグローブ３を例に説
明したがこれに限定されるものではなく、キーボードや
マウスといった入力部を使用するものでもよい。さらに
は２次元画像の表示領域をＣＲＴ２に設けたが別に表示
器を備えてもよく、また仮想空間表示領域と切り替えて
２次元画像を表示するようにしてもよい。

【００５４】この実施例では仮想空間操作処理、仮想空
間移動処理、存在位置情報表示処理を、それぞれ業務を
切り替えて使用する場合を例に説明したが、そのシステ
ムに限定されるものではなく、一業務のなかで場合によ
って、それぞれの処理を実行するようにするようにして
もよい。そのほか本発明の要旨を逸脱しない範囲で種々
変形実施可能である。

【００５５】

【発明の効果】上述したように第１の発明の画像処理装
置であれば、画像の動きを制御する制御データを設定す
ることから不自然な表示を防止し、現実感のある画面を
表示することのできる画像処理装置を提供することがで
きる。さらに第２の発明の画像処理装置であれば、画像
の動きに応じて音を出力制御することから、画面の動き
に現実感があると共にオペレータが容易に動きを認識す
ることができる画像処理装置を提供することができる。
第３の発明の画像処理装置であれば、仮想空間内の物体
を移動した場合の表示位置の算出を容易にし、表示速度
の早い画像処理装置を提供することができる。第４の発
明の画像処理装置であれば、仮想空内の自己の位置を認
識できるとともに、仮想空間のどこになにがあるかを容
易に把握することができる画像処理装置を提供すること
ができる。第５の発明の画像処理装置であれば、表示す
る２次元画像が画像読取り装置で読み取られた画像であ
るので仮想空間の構成を認識することがより容易な画像
処理装置を提供することができる。第６の発明の画像処
理方法であれば、不自然な表示を防止し、現実感のある
画面を表示することができる

【図面の簡単な説明】

【図１】 本発明の一実施例を示すワークステーション
のシステム構成図である。

【図２】 同実施例におけるワークステーションのブロ
ック図である。

【図３】 同実施例におけるプログラム構成図である。

【図４】 同実施例におけるオブジェクト管理メモリを
示す図である。

【図５】 同実施例における音対応メモリを示す図であ
る。

【図６】 同実施例における対応メモリを示す図であ
る。

【図７】 同実施例における位置計測プログラムの処理
を示すフローチャートである。

【図８】 同実施例における音送出プログラムの処理を
示すフローチャートである。

【図９】 同実施例における仮想空間操作時の処理を示
すフローチャートである。

【図１０】 同実施例における仮想空間操作時の表示例
である。

【図１１】 同実施例におけるレバーの関数を示すグラ
フである。

【図１２】 同実施例におけるレバー以外の仮想空間に
おける関数を示すグラフである。

【図１３】 同実施例における仮想空間物体移動時の処
理を示すフローチャートである。

【図１４】 同実施例における仮想空間物体移動時の表
示例である。

【図１５】 同実施例における存在位置情報表示処理で
使用する主要なメモリを示す図である。

【図１６】 同実施例における存在位置情報表示の処理
を示すフローチャートである。

【図１７】 同実施例におけるＣＲＴの表示構成を示す
図である。

【図１８】 同実施例における２次元画像表示領域に表
示される第１の表示例である。

【図１９】 同実施例における２次元画像表示領域に表
示される第２の表示例である。

【符号の説明】

２ ＣＲＴ ３ データグローブ ２３ オブジェクト管理メモリ ２６ 音対応メモリ ２７ 対応メモリ ３６ ２次元画像表示領域 ４０ ２次元画像メモリ

Claims (6)

【特許請求の範囲】
1. 【請求項１】 データを入力するデータ入力部と、表示
   部に表示する３次元図形である物体を示す３次元データ
   を記憶する３次元データ記憶部と、前記３次元データに
   基づいて表示部に物体を表示するとともに、表示された
   物体を前記データ入力部によって操作可能とする表示制
   御手段を備えた画像処理装置において、 物体の動きをコントロールする制御データを記憶した制
   御データ記憶部と、 前記データ入力部の操作に応じて操作対象となる物体の
   前記制御データと前記３次元データとに基づいて該物体
   の変更表示を行う変更表示手段とを備えたことを特徴と
   する画像処理装置。
2. 【請求項２】 データを入力するデータ入力部と、表示
   部に表示する３次元図形である物体を示す３次元データ
   を記憶する３次元データ記憶部と、前記３次元データに
   基づいて表示部に物体を表示するとともに、表示された
   物体を前記データ入力部によって操作可能とする表示制
   御手段を備えた画像処理装置において、 物体の動きをコントロールする制御データを記憶した制
   御データ記憶部と、 前記データ入力部の操作に応じて操作対象となる物体の
   前記制御データと前記３次元データとに基づいて該物体
   の変更表示を行う変更表示手段と、 音出力部と、 音出力情報を記憶する音情報記憶部と、 前記変更表示手段の実行に応じて前記音出力部からの音
   の発生を前記音出力情報に基づいて制御する音出力制御
   手段とを備えたことを特徴とする画像処理装置。
3. 【請求項３】 データを入力するデータ入力部と、表示
   部に表示する３次元図形である物体を示す３次元データ
   を記憶する３次元データ記憶部とを有し、前記３次元デ
   ータに基づいて表示部に物体の表示を行い、前記データ
   入力部の操作に応じて前記表示部の表示内容を変更する
   画像処理装置において、 物体の表示位置の基準となる束縛値データを記憶した束
   縛値データ記憶部と、 前記データ入力部の操作に応じて操作対象となる物体の
   束縛値データが前記束縛値データ記憶部に記憶されてい
   るか否かを識別する識別手段と、 記憶されている場合は前記束縛値データに基づいて該物
   体の変更表示を行う表示位置制御手段とを備えたことを
   特徴とする画像処理装置。
4. 【請求項４】 画像を表示する表示部と、データを入力
   するデータ入力部と、前記表示部に表示する３次元図形
   である物体を示す３次元データを記憶する３次元データ
   記憶部と、前記表示部の画面の一部を視点としたときの
   物体の表示を前記３次元データに基づいて表示部に表示
   する表示手段と、前記データ入力部から視点の移動が指
   示されたことに応じて、視点を変更した表示を前記表示
   部に行う画像移動手段とを有する画像処理装置におい
   て、 ２次元画像を表示する２次元画像表示部と、 前記３次元データ記憶部に記憶された３次元データに対
   応し、この３次元データに基づいて表示される物体の位
   置が識別可能な２次元画像を記憶する２次元画像記憶部
   と、 前記表示部の立体表示の視点の位置に対応する前記２次
   元画像表示部の２次元画像における視点の位置を算出す
   る視点位置算出手段と、 前記２次元画像表示部に前記２次元画像を表示すると共
   に、視点位置を表示する２次元画像表示手段とを備えた
   画像処理装置。
5. 【請求項５】 前記２次元画像データは画像読取り装置
   で読み取らせた２次元画像データであることを特徴とす
   る請求項４記載の画像処理装置。
6. 【請求項６】 表示する３次元図形である物体を示す３
   次元データに基づいて表示部に物体の立体表示を行い、
   データ入力部の操作に応じて操作対象となる物体の動き
   を示す制御データと前記３次元データとに基づいて該物
   体の変更表示を行う画像処理方法。