JP2000267799A - 座標位置制御システム、座標位置制御方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 画像の動きベクトルを用いてカーソルなどの
表示物の座標位置を制御する場合に、照明条件が急激に
変化した場合やカーソルを低速で移動する場合であって
も、円滑かつ柔軟にカーソルの位置座標を変移すること
ができる座標位置制御システム、座標位置制御方法およ
び記録媒体を提供すること。 【解決手段】 利用者がポインティングデバイス１０を
操作した場合に、画像センサ１０ａが撮像した画像から
方向計算部１１ａが動きベクトルを計算し、この動きベ
クトルが所定のしきい値よりも大きな場合には、方向補
正部１１ｂが照明条件などの急激な変化によるものであ
るとしてかかる動きベクトルを有効ではないと判定し、
しきい値よりも小さなもののみを座標更新部１１ｃに出
力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、画像センサによ
って撮像された画像から動きベクトルを計算し、この動
きベクトルに基づいてスクリーンやディスプレイ上に表
示されるカーソルやアイコンなどの表示物の座標位置を
更新する座標位置制御システム、座標位置制御方法およ
びその方法をコンピュータに実行させるプログラムを記
録したコンピュータ読み取り可能な記録媒体に関する。

【０００２】

【従来の技術】従来、パソコンなどの情報端末機器で用
いられるポインティングデバイスとしてはマウスが広く
普及しており、特に、このマウス内部にボールを設け、
このボールの回転に応じて２次元的にマウスカーソルを
移動制御する機械式マウスがその主流となっている。

【０００３】ところが、かかる従来の機械式マウスで
は、机上での２次元的なカーソルの移動制御しかできな
いため、最近では、ポインティングデバイス内部に画像
センサを設け、この画像センサで撮像した画像の動きベ
クトルを用いて、３次元的なカーソル移動を可能とする
座標位置制御技術が知られている。

【０００４】たとえば、特開平９−１３４２５０号公報
には、３２×３２画素の画像に含まれる動きベクトルを
相関演算によって計算することにより、ビデオディスプ
レイのカーソル位置を制御する技術が開示されている。
また、特開平４−２４１０７７号公報には、相関演算で
はなくオプティカルフローを用いて動きベクトルを算定
する技術が開示されている。

【０００５】したがって、これらの従来技術を用いる
と、画像センサが撮像した画像の相関演算またはオプテ
ィカルフローを介して動きベクトルを算定し、この動き
ベクトルに基づいて３次元的にカーソルを移動制御する
ことができる。

【０００６】

【発明が解決しようとする課題】しかしながら、これら
の先行技術を用いて画像センサで撮像した画像から算定
した動きベクトルを用いてカーソル位置を更新すること
とすると、照明条件が急激に変化したような場合には、
カーソルが実際に描く軌跡がユーザの意図した軌跡と異
なる場合が生じるという問題がある。

【０００７】すなわち、画像センサの撮像範囲内の照明
条件が急激に変化すると、算出された動きベクトルは、
直前に算出された動きベクトルに比べて極めて大きなも
のとなるので、結果的にカーソルが描く軌跡にずれが生
じる。

【０００８】また、利用者がポインティングデバイスを
極めてゆっくりと動かすような場合には、算出される動
きベクトルの各成分は、通常整数値である座標が小数点
以下の値となる場合があり、結果的にカーソル位置が動
きベクトルによって正しく更新されずに停滞するという
問題がある。

【０００９】これらのことから、画像から計算される動
きベクトルによってカーソル位置を更新する場合に、照
明条件の急激な変化によるカーソル軌跡の逸脱や低速移
動時のカーソル位置の停滞などをいかに効率良く解決す
るかが極めて重要な課題となっている。

【００１０】本発明は、上記問題（課題）に鑑みてなさ
れたものであって、画像センサなどで撮像した画像の動
きベクトルを用いてカーソルなどの表示物の座標位置を
制御する場合に、照明条件が急激に変化した場合やカー
ソルを低速で移動する場合であっても、円滑かつ柔軟に
カーソルの位置座標を変移することができる座標位置制
御システム、座標位置制御方法およびその方法をコンピ
ュータに実行させるプログラムを記録したコンピュータ
読み取り可能な記録媒体を提供することを目的とする。

【００１１】

【課題を解決するための手段】上記目的を達成するため
に、この発明に係る座標位置制御システムは、画像撮像
部を内在する座標指示装置と、前記画像撮像部が撮像し
た撮像画像の動きベクトルに基づいて前記座標指示装置
の操作に応答する指示座標位置を制御する座標位置制御
装置とを有する座標位置制御システムにおいて、前記座
標位置制御装置は、前記画像撮像部が撮像した撮像画像
の動きベクトルを算定する算定手段と、前記算定手段が
算定した動きベクトルを所定のしきい値と比較して、こ
の比較結果に基づいて前記動きベクトルの有効性を判定
する判定手段と、前記判定手段が有効であると判定した
動きベクトルに基づいて前記座標指示装置の操作に応答
する指示座標位置を更新する更新手段とを備えたことを
特徴とする。

【００１２】この発明では、座標指示装置の画像撮像部
が撮像した撮像画像の動きベクトルを算定し、算定した
動きベクトルを所定のしきい値と比較して、この比較結
果に基づいて動きベクトルの有効性を判定し、有効であ
ると判定した動きベクトルに基づいて座標指示装置の操
作に応答する指示座標位置を更新することとしたので、
指示座標位置を円滑に更新することができる。

【００１３】つぎの発明に係わる座標位置制御システム
は、前記判定手段は、前記算定手段が算定した動きベク
トルの大きさを所定のしきい値と比較して、該動きベク
トルの大きさが所定のしきい値よりも大きな場合には、
当該動きベクトルを有効ではないと判定することを特徴
とする。

【００１４】この発明では、算定した動きベクトルの大
きさを所定のしきい値と比較して、該動きベクトルの大
きさが所定のしきい値よりも大きな場合には、当該動き
ベクトルを有効ではないと判定することとしたので、照
明条件などによって急激に変化した動きベクトルを除外
して座標位置を制御することができる。

【００１５】つぎの発明に係わる座標位置制御システム
は、前記判定手段は、前記算定手段が算定した動きベク
トルの大きさを所定のしきい値と比較して、該動きベク
トルの大きさが所定のしきい値よりも小さな場合には、
当該動きベクトルを有効ではないと判定することを特徴
とする。

【００１６】この発明では、算定した動きベクトルの大
きさを所定のしきい値と比較して、該動きベクトルの大
きさが所定のしきい値よりも小さな場合には、当該動き
ベクトルを有効ではないと判定することとしたので、照
明条件などによって微少に変化する動きベクトルを除外
して座標位置を制御することができる。

【００１７】つぎの発明に係わる座標位置制御システム
は、前記判定手段は、前記所定のしきい値よりも小さな
動きベクトルを順次加算した累積加算ベクトルを算定
し、該累積加算ベクトルの大きさが前記所定のしきい値
を越えた場合に、この累積加算ベクトルを有効であると
判定することを特徴とする。

【００１８】この発明では、所定のしきい値よりも小さ
な動きベクトルを順次加算した累積加算ベクトルを算定
し、該累積加算ベクトルの大きさが所定のしきい値を越
えた場合に、この累積加算ベクトルを有効であると判定
することとしたので、撮像画像が低速に変化する場合の
各動きベクトルを１つの累積加算ベクトルとしてまとめ
ることができる。

【００１９】つぎの発明に係わる座標位置制御システム
は、前記判定手段は、前記累積加算ベクトルを所定の減
衰定数に基づいて時間の経過に応じて減衰させることを
特徴とする。

【００２０】この発明では、累積加算ベクトルを所定の
減衰定数に基づいて時間の経過に応じて減衰させること
としたので、不安定な照明条件下の動きベクトルのノイ
ズが累積加算された場合に生ずるカーソル位置の揺らぎ
を低減することができる。

【００２１】つぎの発明に係わる座標位置制御システム
は、記判定手段は、前記算定手段が算定した判定対象と
なる動きベクトルと直前に有効であると判定された動き
ベクトルとのなす角を所定の角度範囲と比較して、両動
きベクトルのなす角が該所定の角度範囲内でない場合に
は、当該動きベクトルを有効ではないと判定することを
特徴とする。

【００２２】この発明では、判定対象となる動きベクト
ルと直前に有効であると判定された動きベクトルとのな
す角を所定の角度範囲と比較して、両動きベクトルのな
す角が該所定の角度範囲内でない場合には、当該動きベ
クトルを有効ではないと判定することとしたので、急激
に角度が変化するような動きベクトルを除外することが
できる。

【００２３】つぎの発明に係わる座標位置制御方法は、
座標指示装置に内在された画像撮像部で撮像した撮像画
像の動きベクトルに基づいて前記座標指示装置の操作に
応答する指示座標位置を制御する座標位置制御方法にお
いて、前記画像撮像部が撮像した撮像画像の動きベクト
ルを算定する算定工程と、前記算定工程で算定した動き
ベクトルを所定のしきい値と比較して、この比較結果に
基づいて前記動きベクトルの有効性を判定する判定工程
と、前記判定工程で有効であると判定した動きベクトル
に基づいて前記座標指示装置の操作に応答する指示座標
位置を更新する更新工程とを含んだことを特徴とする。

【００２４】この発明では、座標指示装置の画像撮像部
が撮像した撮像画像の動きベクトルを算定し、算定した
動きベクトルを所定のしきい値と比較して、この比較結
果に基づいて動きベクトルの有効性を判定し、有効であ
ると判定した動きベクトルに基づいて座標指示装置の操
作に応答する指示座標位置を更新することとしたので、
指示座標位置を円滑に更新することができる。

【００２５】つぎの発明に係わる座標位置制御方法は、
前記判定工程は、前記算定工程で算定した動きベクトル
の大きさを所定のしきい値と比較して、該動きベクトル
の大きさが所定のしきい値よりも大きな場合には、当該
動きベクトルを有効ではないと判定することを特徴とす
る。

【００２６】この発明では、算定した動きベクトルの大
きさを所定のしきい値と比較して、該動きベクトルの大
きさが所定のしきい値よりも大きな場合には、当該動き
ベクトルを有効ではないと判定することとしたので、照
明条件などによって急激に変化した動きベクトルを除外
することができる。

【００２７】つぎの発明に係わる座標位置制御方法は、
前記判定工程は、前記算定工程で算定した動きベクトル
の大きさを所定のしきい値と比較して、該動きベクトル
の大きさが所定のしきい値よりも小さな場合には、当該
動きベクトルを有効ではないと判定することを特徴とす
る。

【００２８】この発明では、算定した動きベクトルの大
きさを所定のしきい値と比較して、該動きベクトルの大
きさが所定のしきい値よりも小さな場合には、当該動き
ベクトルを有効ではないと判定することとしたので、照
明条件などによって微少に変化する動きベクトルを除外
することができる。

【００２９】つぎの発明に係わる座標位置制御方法は、
前記判定工程は、前記所定のしきい値よりも小さな動き
ベクトルを順次加算した累積加算ベクトルを算定し、該
累積加算ベクトルの大きさが前記所定のしきい値を越え
た場合に、この累積加算ベクトルを有効であると判定す
ることを特徴とする。

【００３０】この発明では、所定のしきい値よりも小さ
な動きベクトルを順次加算した累積加算ベクトルを算定
し、該累積加算ベクトルの大きさが所定のしきい値を越
えた場合に、この累積加算ベクトルを有効であると判定
することとしたので、撮像画像が低速に変化する場合の
各動きベクトルを１つの累積加算ベクトルとしてまとめ
ることができる。

【００３１】つぎの発明に係わる座標位置制御方法は、
前記判定工程は、前記累積加算ベクトルを所定の減衰定
数に基づいて時間の経過に応じて減衰させることを特徴
とする。

【００３２】この発明では、累積加算ベクトルを時間の
経過に応じて減衰させることとしたので、不安定な照明
条件下の動きベクトルのノイズが累積加算させた場合に
生ずるカーソル位置の揺らぎを低減することができる。

【００３３】つぎの発明に係わる座標位置制御方法は、
前記判定工程は、前記算定工程で算定した判定対象とな
る動きベクトルと直前に有効であると判定した動きベク
トルとのなす角を所定の角度範囲と比較して、両動きベ
クトルのなす角が該所定の角度範囲内でない場合には、
当該動きベクトルを有効ではないと判定することを特徴
とする。

【００３４】この発明では、判定対象となる動きベクト
ルと直前に有効であると判定した動きベクトルとのなす
角を所定の角度範囲と比較して、両動きベクトルのなす
角が該所定の角度範囲内でない場合には、当該動きベク
トルを有効ではないと判定することとしたので、急激に
角度が変化するような動きベクトルを除外することがで
きる。

【００３５】また、つぎの発明に係わる記録媒体は、前
記請求項７〜１２のいずれか一つに記載された方法をコ
ンピュータに実行させるプログラムを記録したことで、
そのプログラムが機械読み取り可能となり、これによっ
て、請求項７〜１２の動作をコンピュータによって実現
することができる。

【００３６】

【発明の実施の形態】以下に添付図面を参照して、この
発明に係る座標位置制御システム、座標位置制御方法お
よびその方法をコンピュータに実行させるプログラムを
記録したコンピュータ読み取り可能な記録媒体の好適な
実施の形態を詳細に説明する。

【００３７】実施の形態１．図１は、実施の形態１に係
わる座標位置制御システムのシステム構成を示す機能ブ
ロック図である。同図に示すように、この座標位置制御
システムは、ポインティングデバイス１０、画像処理装
置１１および表示部１２からなる。ポインティングデバ
イス１０は、画像を撮像する画像センサ１０ａと、この
画像センサ１０ａが撮像した画像データを画像処理装置
１１に送信する画像データ送信部１０ｂとを有し、利用
者がこのポインティングデバイス１０を操作すると、こ
のポインティングデバイス１０に内蔵した画像センサ１
０ａによって画像が順次取り込まれ、画像データ送信部
１０ｂにより有線または無線通信で画像処理装置１１に
送信される。

【００３８】画像処理装置１１は、方向計算部１１ａ、
方向補正部１１ｂ、座標更新部１１ｃおよび表示制御部
１１ｄを有し、ポインティングデバイス１０から撮像画
像を受け取ると、方向計算部１１ａがこの撮像画像から
動きベクトルを計算し、方向補正部１１ｂがこの動きベ
クトルと所定のしきい値とを比較して、動きベクトルを
補正並びに有効性の判断をおこなう。

【００３９】具体的には、この方向計算部１１ａは、オ
プティカルフローを計算することによって動きベクトル
を取得する。ここで、このオプティカルフローとは、動
く物体の各点の近傍の速度ベクトルが滑らかに変化する
と仮定した拘束条件を表す汎関数を用いて平衡状態に収
束するまで繰り返し計算をおこなった計算結果として得
られるものであり、たとえば特開平４−２４１０７７号
公報などにその内容が開示されている。

【００４０】また、方向補正部１１ｂは、動きベクトル
の大きさをしきい値処理して、動きベクトルの大きさが
しきい値よりも大きな場合には、この動きベクトルを有
効ではないと判定して、かかる動きベクトルを座標更新
部１１ｃに出力せず、動きベクトルの大きさがしきい値
よりも小さな場合に動きベクトルを有効であると判定し
て座標更新部１１ｃに出力する。

【００４１】この方向補正部１１ｂを設けた理由は、照
明条件などで動きベクトルが大きく変動した場合に、か
かる変動がもたらすカーソル表示への影響を低減し、円
滑なカーソル表示を実現するためである。

【００４２】座標更新部１１ｃは、方向補正部１１ｂか
ら受け取った有効な動きベクトルに基づいて座標位置を
更新する処理部であり、表示制御部１１ｄは、座標更新
部１１ｃが更新した表示部１２上の該当する座標位置に
カーソルを表示制御するデバイスコントローラである。

【００４３】表示部１２は、各種データのみならずカー
ソルを指示された位置に表示するディスプレイやスクリ
ーンからなる表示デバイスであり、この表示部１２上の
カーソルは表示制御部１１ｄによって表示制御される。
なお、ここでは説明の便宜上、カーソル以外の表示につ
いての説明を省略するが、画像処理装置１１または他の
装置を用いて各種データを表示部１２上に表示できる。

【００４４】次に、図１に示す座標位置制御システムの
使用環境の一例について説明する。図２は、図１に示す
座標位置制御システムの使用環境の一例を示す図であ
る。同図（ａ）は、操作者２４がポインティングデバイ
ス２１を方向２５に動かす操作をおこなった状況を示し
ており、この場合には、ポインティングデバイス２１に
組み込まれた画像センサ２２によって撮像範囲２３の画
像が撮像され、その画像に含まれる動きベクトルが画像
処理装置２７に送信される。

【００４５】同図（ｂ）は、ポインティングデバイス２
１から送信された画像を画像処理装置２７が受信し、受
信した画像に基づいて動きベクトルを算定し、この動き
ベクトルの有効性を判定し、有効であると判定された動
きベクトルに基づいてスクリーン２８上のカーソルの座
標位置２８ｂを方向２８ａ上の座標位置２８ｃに更新
し、スクリーン２８上の座標位置２８ｃに投光機２６で
カーソルを表示した状況を示している。

【００４６】図３は、図１に示す方向計算部１１ａが計
算するオプティカルフローおよび動きベクトルの一例を
示す図であり、同図（ａ）は、ポインティングデバイス
２１の撮像範囲２３内に含まれる動きを示すオプティカ
ルフローであり、同図（ｂ）は、このオプティカルフロ
ーを形成する各動きベクトルの平均（平均ベクトル３
０）を求めたものである。なお、本実施の形態では、オ
プティカルフローから動きベクトルを求めることとした
が、画像の相関演算から動きベクトルを求めることもで
きる。

【００４７】次に、図１に示す方向補正部１１ｂがおこ
なう有効性の判定に係わる概念について説明する。な
お、図４（ａ）は本発明に係わるしきい値処理をおこな
わない場合のカーソル位置の軌跡を示し、同図（ｂ）
は、本発明に係わるしきい値処理をおこなった場合のカ
ーソル位置を示す図である。

【００４８】図４（ａ）は、ポインティングデバイス１
０の画像センサ１０ａの撮像範囲内の照明条件の急激な
変化に伴って、方向計算部１１ａが新たな動きベクトル
４３を算定することにより、元の動きベクトルの列４１
とその後の動きベクトル４２とが大きく離隔した状況を
示している。

【００４９】このように、画像センサ１０ａの撮像範囲
内の照明条件が急激に変化すると、カーソルの描く軌跡
が大きく乱れてしまい、ポインティングデバイス１０の
操作性が問題となる。このため、図１に示す方向補正部
１１ｂでは、図４（ａ）中に円４４として示したような
動きベクトルの大きさに関するしきい値を設け、この動
きベクトルの大きさがしきい値４４を超える場合には、
動きベクトルを有効ではないものと判定することによ
り、図４（ａ）に示すような軌跡の逸脱を防止し、同図
（ｂ）に示すような連続的な軌跡を得ることとしてい
る。

【００５０】次に、図１に示す方向補正部１１ｂによる
動きベクトルの有効性の判定手順について説明する。図
５は、図１に示す方向補正部１１ｂによる動きベクトル
の有効性の判定手順を示すフローチャートである。同図
に示すように、ポインティングデバイス１０の画像セン
サ１０ａが撮像した画像に基づいて方向計算部１１ａが
動きベクトルを算定すると、方向補正部１１ｂでは、こ
の動きベクトルの大きさを求める（ステップＳ１０
０）。

【００５１】その後、算定した動きベクトルの大きさを
図４（ａ）の円４４に示したような所定のしきい値と比
較して（ステップＳ１０１）、この動きベクトルの大き
さがしきい値よりも小さな場合には（ステップＳ１０２
否定）、この動きベクトルを有効であると判定して座標
更新部１１ｃに出力し、座標更新部１１ｃによりカーソ
ルの座標が更新される（ステップＳ１０３）。

【００５２】これに対して、この動きベクトルの大きさ
がしきい値よりも大きな場合には（ステップＳ１０２肯
定）、この動きベクトルを有効ではないと判定し、座標
更新部１１ｃには出力しない。このため、かかる場合に
は座標更新部１１ｃによる座標位置の更新はおこなわれ
ない。

【００５３】上述してきたように、本実施の形態１で
は、方向計算部１１ａが画像センサ１０ａが撮像した画
像から動きベクトルを計算し、方向補正部１１ｂは、こ
の動きベクトルが所定のしきい値よりも大きな場合に
は、照明条件などが急激に変化したものとしてこれを有
効ではないと判定するよう構成したので、照明条件など
が突然変化した場合であってもカーソル軌跡の逸脱を防
ぎ、ポインティングデバイスとしての操作性を向上させ
ることができる。

【００５４】なお、本実施の形態では画像からの動きベ
クトルを算出する際にオプティカルフローを用いる場合
について説明したが、本発明はこれに限定されるもので
はなく、他の方式を用いて動きベクトルを計算すること
もできる。たとえば、画像を水平・垂直方向の射影デー
タに変換したのち、これに対してフレーム間で相関演算
を適用することにより、垂直方向および水平方向の動き
ベクトルが計算することできる。また、上記射影データ
から一次元的なオプティカルフローを計算し、これらの
平均ベクトルで垂直方向および水平方向の動きベクトル
を計算することもできる。

【００５５】また、この方向補正部１１ｂでは、算定し
た動きベクトルの大きさが所定のしきい値（たとえばｔ
ｈ１）よりも大きな場合に、この動きベクトルを有効で
はないものとして座標更新部１１ｃに出力しないことと
したが、この動きベクトルの大きさが所定のしきい値
（たとえばｔｈ２）よりも小さな場合に、この動きベク
トルを座標更新部１１ｃに出力しないよう構成すること
もできる。

【００５６】すなわち、利用者がポインティングデバイ
ス１０を全く操作していない場合であっても、照明条件
が変動すると小さな動きベクトルが多発し、この動きベ
クトルによってカーソル位置が微少変動する状況が考え
られる。このため、この動きベクトルの大きさが所定の
しきい値（ｔｈ２）よりも小さな場合には、これを有効
ではないとして座標更新部１１ｃに出力しないことによ
り、利用者の意図しないカーソル変動を抑制することが
できる。

【００５７】実施の形態２．本実施の形態では、利用者
がポインティングデバイス１０を極めてゆっくりと操作
した場合に、順次画像データから算出される小さな動き
ベクトルを累積加算し、この累積加算した動きベクトル
に基づいて座標位置を更新することにより、円滑にカー
ソルを移動できるようにした実施の形態を示している。

【００５８】なお、この場合においても、座標位置制御
システムのシステム構成は、図１に示す構成と同様のも
のになるので、ここではその説明を省略し、方向補正部
１１ｂによる有効性の判定処理を中心に説明することと
する。

【００５９】この実施の形態で用いる方向補正部１１ｂ
は、上記実施の形態１と同様に動きベクトルの大きさを
所定のしきい値と比較するしきい値処理をおこなうが、
この動きベクトルの大きさが所定のしきい値よりも小さ
な場合には、その動きベクトルをメモリに保持しつつ順
次加算して累積加算ベクトルを求め、この累積加算ベク
トルの大きさがしきい値を超えた際に、累積加算した動
きベクトルを有効であると判定して座標更新部１１ｃに
出力する。

【００６０】図６は、本実施の形態２に係わる方向補正
部１１ｂの処理概念を説明するための説明図である。同
図（ａ）は、しきい値処理を考慮しない場合のカーソル
の軌跡を示しており、実線の矢印はその大きさがしきい
値６１を超える動きベクトルを示し、また点線の矢印は
その大きさがしきい値６１以下の動きベクトルを示して
いる。

【００６１】このように、動きベクトルの大きさが所定
のしきい値以下であるにもかかわらず、その動きベクト
ルを全て座標更新部１１ｃに出力したのでは、カーソル
の動きが複雑化する。

【００６２】これに対し、図６（ｂ）は、動きベクトル
の大きさを所定のしきい値（円６１）と比較して、しき
い値以下の動きベクトルを有効ではないとした場合の処
理結果を示す図である。この場合には、最終的なカーソ
ル位置が本来端点６２に所在すべきであるにもかかわら
ず、しきい値処理の結果として端点６３にとどまるた
め、点線６４に示す差異が生じてしまう。

【００６３】このため、本実施の形態に係わる方向補正
部１１ｂでは、上記点線６４で示す差異を補うために、
しきい値処理により有効でないとして切り捨てた動きベ
クトルをメモリに保持しつつ順次加算して累積加算ベク
トルを求め、この累積加算ベクトルの大きさがしきい値
を超えた場合に、この累積加算ベクトルを有効なものと
判定して座標更新部１１ｃに出力することとしている。

【００６４】図５（ｃ）は、本実施の形態に係わる補正
処理をおこなった処理結果の一例を示す図であり、この
場合には、しきい値処理で生じた実際のカーソル移動と
のずれ６４を補うために、カーソルが端点６３の位置に
更新された後に有効でないとして切り捨てられた動きベ
クトルを加算し、加算した累積加算ベクトルの大きさが
しきい値６１を超えたときにこの累積加算ベクトルで更
新する。このため、有効ではないとして切り捨てられた
カーソル位置更新分を補うことができる。

【００６５】特に、ポインティングデバイス１０を常に
ゆっくりとした速さで動かすような場合には、単に所定
のしきい値以下の動きベクトルを切り捨てたとしても、
上記カーソルのずれが生ずるため、しきい値以下の動き
ベクトルを累積加算する本実施の形態が有効である。

【００６６】次に、本実施の形態２で用いる方向補正部
１１ｂの処理手順について説明する。図７は、実施の形
態２で用いる方向補正部１１ｂの処理手順を示すフロー
チャートである。同図に示すように、ポインティングデ
バイス１０の画像センサ１０ａが撮像した画像に基づい
て方向計算部１１ａが動きベクトルを算定すると、方向
補正部１１ｂでは、この動きベクトルの大きさを算定す
る（ステップＳ２０１）。

【００６７】その後、算定した動きベクトルの大きさを
所定のしきい値と比較して（ステップＳ２０２）、この
動きベクトルの大きさがしきい値よりも大きな場合には
（ステップＳ２０３否定）、方向補正部１１ｂはこの動
きベクトルを有効であると判定して座標更新部１１ｃに
動きベクトルを出力し、座標更新部１１ｃによってカー
ソルの座標位置が更新され（ステップＳ２０４）、方向
補正部１１ｂが累積加算ベクトルを記憶するメモリをク
リアする（ステップＳ２０５）。

【００６８】これに対して、この動きベクトルの大きさ
がしきい値よりも小さな場合には（ステップＳ２０３肯
定）、この動きベクトルを有効ではないとしてメモリに
保持した動きベクトルと加算し（ステップＳ２０６）、
累積加算した動きベクトルの大きさをしきい値と比較す
る（ステップＳ２０７）。

【００６９】その結果、累積加算した動きベクトルの大
きさがしきい値よりも小さければ（ステップＳ２０８否
定）、該累積加算したベクトルをメモリに保持し（ステ
ップＳ２０９）、累積加算した動きベクトルの大きさが
しきい値を越えれば（ステップＳ２０８肯定）、方向補
正部１１ｂは座標更新部１１ｃに動きベクトルを出力し
て、この座標更新部１１ｃによりカーソルの座標が更新
され（ステップＳ２０４）、方向補正部１１ｂが用いる
累積加算ベクトル記憶用のメモリがクリアされる（ステ
ップＳ２０５）。

【００７０】上述してきたように、本実施の形態では、
画像から計算される動きベクトルに関してしきい値処理
を施した結果切り捨てられるベクトルを累積加算してカ
ーソル位置の更新に反映させるよう構成したので、かな
りゆっくりとしたポインティングデバイスの動きも拾う
ことができ、ポインティングデバイスとしての操作性を
向上させることができる。

【００７１】なお、本実施の形態２で用いる方向補正部
と上記実施の形態１で用いる方向補正部をそれぞれ設
け、実施の形態１と同様に所定のしきい値（ｔｈ１）よ
りも大きな動きベクトルを排除しつつ、このしきい値
（ｔｈ１）とは別のしきい値（ｔｈ２）を用いて上記処
理をおこなうこともできる。

【００７２】実施の形態３．ところで、上記実施の形態
２では、方向補正部１１ｂがその大きさが所定のしきい
値よりも小さい動きベクトルを累積加算することとした
が、各フレームごとに得られる累積加算したベクトルの
大きさを減衰することもできる。このため、本実施の形
態では、かかる累積加算したベクトルの大きさを時間と
ともに減衰させる実施の形態を示すこととする。

【００７３】照明条件などが不安定な場合には、利用者
が実際にポインティングデバイス１０を操作していなく
ても、照明条件の変化を動きベクトルとして計算してし
まう場合があり、このような場合にも累積加算ベクトル
が生ずるので、上記実施の形態２で述べた動きベクトル
のしきい値処理の累積加算ベクトルを常にカーソル位置
の更新に反映させることとすると、カーソルに頻繁に揺
らぎが生ずる。

【００７４】このため、本実施の形態では、かかる状況
に対処するために、累積加算ベクトルの大きさを時間経
過とともに減衰させ、照明条件の変化に伴うカーソル位
置の揺らぎを回避している。

【００７５】なお、かかる累積加算ベクトルの減衰をお
こなう場合のシステム構成は、図１に示す構成と同様の
ものとなり、方向補正部１１ｂが累積加算ベクトルの減
衰処理をおこなう点のみが異なる。

【００７６】そこで、本実施の形態に係わる方向補正部
１１ｂが累積加算ベクトルの減衰処理をおこなう際に用
いる減衰定数についてまず最初に説明する。図８は、実
施の形態３に係わる方向補正部１１ｂが採用する減衰定
数の一例を示す図である。この方向補正部１１ｂは、同
図（ａ）に示すように時間の経過にしたがって一次曲線
的にベクトルの大きさを減衰する減衰定数や、同図
（ｂ）に示すように時間の経過にしたがって二次曲線的
にベクトルの大きさを減衰する減衰定数を用いて、累積
加算ベクトルを減衰処理することができる。

【００７７】次に、この実施の形態３に係わる方向補正
部１１ｂの処理手順について説明する。図９は、実施の
形態３に係わる方向補正部１１ｂの処理手順を示すフロ
ーチャートである。同図に示すように、この方向補正部
１１ｂでは、方向計算部１１ａが動きベクトルを算定す
ると、この動きベクトルの大きさを算定する（ステップ
Ｓ３０１）。

【００７８】その後、算定した動きベクトルの大きさを
所定のしきい値と比較して（ステップＳ３０２）、この
動きベクトルの大きさがしきい値よりも大きな場合には
（ステップＳ３０３否定）、この動きベクトルを有効な
ものとして座標更新部１１ｃに動きベクトルを出力し、
この座標更新部１１ｃによってカーソルの座標位置が更
新され（ステップＳ３０４）、方向補正部１１ｂに設け
られた累積加算ベクトル用のメモリをクリアする（ステ
ップＳ３０５）。

【００７９】これに対して、この動きベクトルの大きさ
がしきい値よりも小さな場合には（ステップＳ３０３肯
定）、この動きベクトルをメモリに保持した累積加算ベ
クトルと加算し（ステップＳ３０６）、加算した累積加
算ベクトルの大きさをしきい値と比較する（ステップＳ
３０７）。

【００８０】その結果、累積加算ベクトルの大きさがし
きい値よりも小さければ（ステップＳ３０８否定）、累
積加算した動きベクトルを上記一次曲線または二次曲線
状に減衰する減衰定数を用いて減衰させ（ステップＳ３
０９）、減衰させた累積加算ベクトルをメモリに保持す
る（ステップＳ３１０）。

【００８１】これに対して、累積加算ベクトルの大きさ
がしきい値を越えれば（ステップＳ３０８肯定）、方向
補正部１１ｂは座標更新部１１ｃに動きベクトルを出力
して、この座標更新部１１ｃがカーソルの座標を更新す
るとともに（ステップＳ３０４）、方向補正部１１ｂに
設けられたメモリをクリアする（ステップＳ３０５）。

【００８２】このように、本実施の形態に係わる方向補
正部１１ｂでは、実施の形態２で説明した方向補正部１
１ｂの処理に、ステップＳ３０９に示す累積加算ベクト
ルの減衰処理を加えた処理をおこなっている。

【００８３】上述してきたように、本実施の形態では、
上記実施の形態２で説明した累積加算ベクトルの大きさ
を減衰させるよう構成したので、照明条件が不安定な場
合にも安定したカーソル位置更新をおこなう行うことが
でき、ポインティングデバイスとしての操作性を向上さ
せることができる。

【００８４】実施の形態４．ところで、上記実施の形態
１〜３では、動きベクトルの大きさに基づいて動きベク
トルの有効性を判定する場合を示したが、この動きベク
トルの方向に基づいて動きベクトルの有効性を判定する
こともできる。このため、本実施の形態４では、動きベ
クトルの方向に基づいて動きベクトルの有効性を判定す
る場合を示すこととする。

【００８５】なお、この場合のシステム構成は、図１に
示す構成と同様のものとなり、方向補正部１１ｂの処理
内容のみが異なるため、以下ではこの方向補正部１１ｂ
の処理概念および処理手順について説明する。

【００８６】図１０は、実施の形態４に係わる方向補正
部１１ｂの処理概念を説明するための説明図であり、こ
の方向補正部１１ｂは、直前の動きベクトルと現時点の
動きベクトルとのなす角を所定のしきい値（角度範囲）
と比較し、両ベクトルのなす角がこの角度範囲に収まる
場合にのみ現時点の動きベクトルを有効とする処理をお
こなっている。

【００８７】具体的には、図１０（ａ）に示すように、
かかる角度を用いたしきい値をおこなわない場合には、
図中点線で示したような動きベクトル７１及び７２を排
除することができないため、ポインティングデバイス１
０を実際の操作と逸脱するカーソル移動がなされる場合
が生じ、カーソルの移動軌跡が不安定になる。

【００８８】これに対して、図１０（ｂ）に示すよう
に、本実施の形態に係わる角度を用いたしきい値処理を
おこなうと、直前の動きベクトル７３を基準とした現時
点の動きベクトルとのなす角が角度範囲７４に収まる場
合には、現時点の動きベクトルを有効とし、また角度範
囲７４に収まらない場合には、現時点の動きベクトルを
無効とする。

【００８９】たとえば、図中に点線で示すベクトル７５
が現時点の動きベクトルである場合には、直前の動きベ
クトル７３とこの動きベクトル７５とのなす角が角度範
囲７４に収まらないので、この動きベクトル７５は無効
とされる。逆に、図中のベクトル７６が現時点での動き
ベクトルである場合には、直前の動きベクトル７３とこ
の動きベクトル７６とのなす角が角度範囲７４に収まる
ので、この動きベクトル７６は有効なものとなる。なお
ここでは、しきい値の役割を果たすこの角度範囲７４を
−９０度〜＋９０度とした場合を示している。

【００９０】なお、図１０（ｃ）には、同図（ａ）のも
のに角度を用いたしきい値処理を施した場合の処理結果
を示しており、同図（ａ）に点線で示す動きベクトル７
１および７２が無効とされるので、結果的に動きベクト
ル７７〜７９が有効なものとされ、カーソルの移動軌跡
を滑らかなものとすることができる。

【００９１】次に、実施の形態４に係わる方向補正部１
１ｂの処理手順について説明する。図１１は、実施の形
態４に係わる方向補正部１１ｂの処理手順を示すフロー
チャートである。同図に示すように、この方向補正部１
１ｂでは、方向計算部１１ａが動きベクトルを算定する
と（ステップＳ４０１）、この動きベクトルの方向とメ
モリに保持した直前の動きベクトルとのなす角を算定し
（ステップＳ４０２）、算定した角度をしきい値となる
角度範囲と比較する（ステップＳ４０３）。

【００９２】そして、算定した角度がしきい値よりも小
さく所定の角度範囲に収まる場合には（ステップＳ４０
４否定）、現時点の動きベクトルを有効なものとして、
この動きベクトルを座標更新部１１ｃに出力し、座標更
新部１１ｃがこの動きベクトルに基づいて座標位置を更
新した後（ステップＳ４０５）、この動きベクトルを次
回の動きベクトルの有効性の判断材料としてメモリに保
持する（ステップＳ４０６）。

【００９３】これに対して、算定した角度がしきい値よ
りも大きく所定の角度範囲に収まらない場合には（ステ
ップＳ４０４肯定）、現時点の動きベクトルを無効なも
のとして、この動きベクトルを座標更新部１１ｃに出力
しない。

【００９４】上述してきたように、本実施の形態では、
直前の動きベクトルに対する現時点の動きベクトルのな
す角についてしきい値（角度範囲）を設け、この角度範
囲外の動きベクトルを無効なものとして切り捨てるよう
構成したので、カーソルの軌跡によって円などの曲線を
滑らかに描くことが可能になる。

【００９５】なお、本実施の形態では、上記の両ベクト
ルがなす角のしきい値として−９０度〜＋９０度までの
１８０度の範囲としたが、本発明はこれに限定されるも
のではなく、これよりも狭い角度範囲や広い角度範囲を
用いることもできる。

【００９６】

【発明の効果】以上説明したように、この発明によれ
ば、座標指示装置の画像撮像部が撮像した撮像画像の動
きベクトルを算定し、算定した動きベクトルを所定のし
きい値と比較して、この比較結果に基づいて動きベクト
ルの有効性を判定し、有効であると判定した動きベクト
ルに基づいて座標指示装置の操作に応答する指示座標位
置を更新するよう構成したので、指示座標位置を円滑に
更新することができ、もってカーソル位置制御をおこな
う際の軌跡の乱れを低減し、座標指示装置の操作性を高
めることができるという効果を奏する。

【００９７】また、この発明によれば、算定した動きベ
クトルの大きさを所定のしきい値と比較して、該動きベ
クトルの大きさが所定のしきい値よりも大きな場合に
は、当該動きベクトルを有効ではないと判定するよう構
成したので、照明条件などによって急激に変化した動き
ベクトルを除外し、照明条件などが急激に変化した場合
であってもカーソルの軌跡の乱れを低減し、座標指示装
置の操作性を高めることができるという効果を奏する。

【００９８】また この発明によれば、算定した動きベ
クトルの大きさを所定のしきい値と比較して、該動きベ
クトルの大きさが所定のしきい値よりも小さな場合に
は、当該動きベクトルを有効ではないと判定するよう構
成したので、照明条件などによって微少に変化する動き
ベクトルを除外し、操作者が意図しない照明条件による
カーソル位置の変動を抑制することができるという効果
を奏する。

【００９９】また、この発明によれば、所定のしきい値
よりも小さな動きベクトルを順次加算した累積加算ベク
トルを算定し、該累積加算ベクトルの大きさが所定のし
きい値を越えた場合に、この累積加算ベクトルを有効で
あると判定するよう構成したので、撮像画像が低速に変
化する場合の各動きベクトルを１つの加算ベクトルとし
てまとめ、座標指示装置を極めてゆっくり操作した場合
であっても、かかる操作を上記照明条件に基づく変動と
区別して、一連の操作に応答するカーソル位置の移動を
滑らかに変化させることができるという効果を奏する。

【０１００】また、この発明によれば、累積加算ベクト
ルを所定の減衰定数に基づいて時間の経過に応じて減衰
させるよう構成したので、不安定な照明条件下の動きベ
クトルのノイズが累積加算させた場合に生ずるカーソル
位置の揺らぎを低減し、座標指示装置の操作性をより高
めることができるという効果を奏する。

【０１０１】また、この発明によれば、判定対象となる
動きベクトルと直前に有効であると判定した動きベクト
ルとのなす角を所定の角度範囲と比較して、両動きベク
トルのなす角が該所定の角度範囲内でない場合には、当
該動きベクトルを有効ではないと判定するよう構成した
ので、急激に角度が変化するような動きベクトルを除外
し、もって円などの曲線を滑らかに描くことができると
いう効果を奏する。

【図面の簡単な説明】

【図１】 実施の形態１に係わる座標位置制御システム
のシステム構成を示す機能ブロック図である。

【図２】 図１に示す座標位置制御システムの実際の使
用環境の一例を示す図である。

【図３】 図１に示す座標位置制御システムが算定する
オプティカルフローおよび動きベクトルの一例を示す図
である。

【図４】 図１に示す方向補正部による処理概念を説明
するための説明図である。

【図５】 図１に示す方向補正部の処理手順を示すフロ
ーチャートである。

【図６】 実施の形態２に係わる方向補正部の概念を説
明するための説明図である。

【図７】 実施の形態２で用いる方向補正部の処理手順
を示すフローチャートである。

【図８】 実施の形態３に係わる方向補正部が採用する
減衰定数の一例を示す図である。

【図９】 実施の形態３に係わる方向補正部の処理手順
を示すフローチャートである。

【図１０】 実施の形態４に係わる方向補正部の処理概
念を説明するための説明図である。

【図１１】 実施の形態４に係わる方向補正部の処理手
順を示すフローチャートである。

【符号の説明】

１０ ポインティングデバイス、１０ａ 画像センサ、
１０ｂ 画像データ送信部、１１ 画像処理装置、１１
ａ 方向計算部、１１ｂ 方向補正部、１１ｃ座標更新
部、１１ｄ 表示制御部、１２ 表示部、２１ ポイン
ティングデバイス、２２ 画像センサ、２３ 画像セン
サの撮像範囲、２４ 利用者、２５ポインティングデバ
イスの操作方向、２６ 投影機、２７ 画像処理装置、
２８スクリーン、２８ａ スクリーン上のカーソル位置
更新ベクトル、２８ｂ 更新前のカーソル位置、２８ｃ
更新後のカーソル位置、３０ 平均ベクトル、４１，
４２ 動きベクトルによるカーソル更新系列、４３ 照
明条件の急激な変化時の動きベクトル、４４，６１ ベ
クトルの大きさに関するしきい値、６２ しきい値処理
をおこなわない場合のカーソル更新位置、６３ しきい
値処理をおこなった場合のカーソル更新位置、６４ カ
ーソル更新位置のずれ、６５ しきい値処理により無効
とされた累積加算ベクトル、７４ しきい値をなす角度
範囲、７１，７２，７３，７５，７７，７８，７９ 動
きベクトル。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 船津 英一 東京都千代田区丸の内二丁目２番３号 三 菱電機株式会社内 (72)発明者 青柳 哲次 神奈川県横浜市青葉区青葉台２丁目12番地 38 (72)発明者 鈴木 肇 神奈川県相模原市松が枝町19−10 パイン クレスト402 Ｆターム(参考） 5B087 AA02 AA09 AB02 AC02 AE03 BC12 BC16 BC27 BC28 BC32 DD03 DJ01 5L096 BA08 CA04 DA02 FA64 FA67 FA69 GA51 HA04 9A001 BB04 HH30 KZ32

Claims (13)

【特許請求の範囲】
1. 【請求項１】 画像撮像部を内在する座標指示装置と、
   前記画像撮像部が撮像した撮像画像の動きベクトルに基
   づいて前記座標指示装置の操作に応答する指示座標位置
   を制御する座標位置制御装置とを有する座標位置制御シ
   ステムにおいて、 前記座標位置制御装置は、 前記画像撮像部が撮像した撮像画像の動きベクトルを算
   定する算定手段と、 前記算定手段が算定した動きベクトルを所定のしきい値
   と比較して、この比較結果に基づいて前記動きベクトル
   の有効性を判定する判定手段と、 前記判定手段が有効であると判定した動きベクトルに基
   づいて前記座標指示装置の操作に応答する指示座標位置
   を更新する更新手段とを備えたことを特徴とする座標位
   置制御システム。
2. 【請求項２】 前記判定手段は、前記算定手段が算定し
   た動きベクトルの大きさを所定のしきい値と比較して、
   該動きベクトルの大きさが所定のしきい値よりも大きな
   場合には、当該動きベクトルを有効ではないと判定する
   ことを特徴とする請求項１に記載の座標位置制御システ
   ム。
3. 【請求項３】 前記判定手段は、前記算定手段が算定し
   た動きベクトルの大きさを所定のしきい値と比較して、
   該動きベクトルの大きさが所定のしきい値よりも小さな
   場合には、当該動きベクトルを有効ではないと判定する
   ことを特徴とする請求項１に記載の座標位置制御システ
   ム。
4. 【請求項４】 前記判定手段は、前記所定のしきい値よ
   りも小さな動きベクトルを順次加算した累積加算ベクト
   ルを算定し、該累積加算ベクトルの大きさが前記所定の
   しきい値を越えた場合に、この累積加算ベクトルを有効
   であると判定することを特徴とする請求項３に記載の座
   標位置制御システム。
5. 【請求項５】 前記判定手段は、前記累積加算ベクトル
   を所定の減衰定数に基づいて時間の経過に応じて減衰さ
   せることを特徴とする請求項４に記載の座標位置制御シ
   ステム。
6. 【請求項６】 前記判定手段は、前記算定手段が算定し
   た判定対象となる動きベクトルと直前に有効であると判
   定した動きベクトルとのなす角を所定の角度範囲と比較
   して、両動きベクトルのなす角が該所定の角度範囲内で
   ない場合には、当該動きベクトルを有効ではないと判定
   することを特徴とする請求項１に記載の座標位置制御シ
   ステム。
7. 【請求項７】 座標指示装置に内在された画像撮像部で
   撮像した撮像画像の動きベクトルに基づいて前記座標指
   示装置の操作に応答する指示座標位置を制御する座標位
   置制御方法において、 前記画像撮像部が撮像した撮像画像の動きベクトルを算
   定する算定工程と、 前記算定工程で算定した動きベクトルを所定のしきい値
   と比較して、この比較結果に基づいて前記動きベクトル
   の有効性を判定する判定工程と、 前記判定工程で有効であると判定した動きベクトルに基
   づいて前記座標指示装置の操作に応答する指示座標位置
   を更新する更新工程とを含んだことを特徴とする座標位
   置制御方法。
8. 【請求項８】 前記判定工程は、前記算定工程で算定し
   た動きベクトルの大きさを所定のしきい値と比較して、
   該動きベクトルの大きさが所定のしきい値よりも大きな
   場合には、当該動きベクトルを有効ではないと判定する
   ことを特徴とする請求項７に記載の座標位置制御方法。
9. 【請求項９】 前記判定工程は、前記算定工程で算定し
   た動きベクトルの大きさを所定のしきい値と比較して、
   該動きベクトルの大きさが所定のしきい値よりも小さな
   場合には、当該動きベクトルを有効ではないと判定する
   ことを特徴とする請求項７に記載の座標位置制御方法。
10. 【請求項１０】 前記判定工程は、前記所定のしきい値
    よりも小さな動きベクトルを順次加算した累積加算ベク
    トルを算定し、該累積加算ベクトルの大きさが前記所定
    のしきい値を越えた場合に、この累積加算ベクトルを有
    効であると判定することを特徴とする請求項９に記載の
    座標位置制御方法。
11. 【請求項１１】 前記判定工程は、前記累積加算ベクト
    ルを所定の減衰定数に基づいて時間の経過に応じて減衰
    させることを特徴とする請求項１０に記載の座標位置制
    御方法。
12. 【請求項１２】 前記判定工程は、前記算定工程で算定
    した有効性の判定対象となる動きベクトルと直前に有効
    であると判定した動きベクトルとのなす角を所定の角度
    範囲と比較して、両動きベクトルのなす角が該所定の角
    度範囲内でない場合には、当該動きベクトルを有効では
    ないと判定することを特徴とする請求項７に記載の座標
    位置制御方法。
13. 【請求項１３】 前記請求項７〜１２のいずれか一つに
    記載された方法をコンピュータに実行させるプログラム
    を記録したことを特徴とするコンピュータ読み取り可能
    な記録媒体。