JPH10124681A - 携帯型情報処理装置及び情報処理方法 - Google Patents

Abstract

(57)【要約】 【課題】使用者の行動パタ−ンをリアルに推定すること
は困難であった。 【解決手段】移動領域検出装置３は画像入力装置２で撮
影した１フレ−ム毎の画像情報を読み出して２枚のフレ
−ム画像間において画像面上での移動領域を検出する。
移動成分検出装置４は送られた２枚のフレ−ム画像間に
おける画像面上での移動領域により２枚のフレ−ム画像
間で携帯型情報処理装置の使用者が移動した成分を算出
し、算出した移動成分を逐次加算して使用者の移動軌跡
を求める。３次元復元装置５は算出した移動成分と周囲
環境の画像面上での見え方の変化の条件から、画像面上
に投影された像がどのような３次元構造になっているの
かを算出する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は携帯型情報処理装
置及び情報処理方法、特にリアルな情報管理の容易化に
関するものである。

【０００２】

【従来の技術】電子技術の著しい進歩に伴い、自らの情
報を管理する携帯型の情報機器が普及し、例えば特開平
３−55655号公報や特開平５−158887号公報，実公平６
−15316号公報に示されているように各種機器が開発さ
れている。特開平３−55655号公報に示された携帯型の
情報処理装置は、入力装置としてキ−入力装置以外に画
像入力装置を備え、多様な情報処理を行うとともに電話
回線を用いて通信することにより、ビジネスを一層確実
かつ効率的に行うことができるようにしたものである。
また、特開平５−158887号公報に示された装置は、パ−
ムトップ型のコンピユ−タ−にＧＰＳ受信装置と電子ス
チルカメラを電気的に接続して組み込み、電子スチルカ
メラの定点撮影の精度を向上させるようにしたものであ
る。実公平６−15316号公報に示された装置は、集光装
置を設けた受光面を筐体の側壁に設け、筐体の他の側壁
に撮像装置のモニタ用ディスプレイを設け、文字、図形
等を直接電子メモに入力できるようにして操作を簡単化
している。この種の機器は、主に屋外や移動時に顧客情
報やスケジュ−ルなどのデ−タを入力し、後にパ−ソナ
ルコンピュ−タに転送して高度な情報管理を行うとうい
う形で利用されている。

【０００３】また、画像等を撮影してデジタル化しメモ
リに記録するデジタルカメラも出現し、それに伴い、デ
ジタルカメラで撮った画像をパ−ソナルコンピュ−タに
転送し、パ−ソナルコンピュ−タで画像情報を加工・編
集して、種々の用途に活かすということが盛んになって
いる。

【０００４】

【発明が解決しようとする課題】しかしながら、これら
の機器は、その場で発生した情報を実時間で自動的に処
理する能力に欠け、スケジュ−ルなどの記号情報と画像
などのパタ−ン情報を融合させる機能にも欠けている。

【０００５】この発明はかかる点を改善し、画像その他
複数の入力からの移動軌跡や周囲の３次元環境を自動的
に復元して記録し、使用者の行動パタ−ンをリアルに推
定することができる携帯型情報処理装置及び情報処理方
法を得ることを目的とするものである。

【０００６】

【課題を解決するための手段】この発明に係る携帯型情
報処理装置は、画像入力装置と移動領域検出装置と移動
成分検出装置及び３次元復元装置を有し、画像入力装置
は画像を撮影して入力し、移動領域検出装置は入力した
フレ−ム画像間の移動領域を検出し、移動成分検出装置
は検出した移動領域から使用者自体の移動成分を算出
し、３次元復元装置は移動成分と画像情報より周囲環境
の３次元構造を算出することを特徴とする。

【０００７】この発明に係る第２の携帯型情報処理装置
は、画像入力装置と移動領域検出装置と移動成分検出装
置と３次元復元装置と行動記憶装置及び行動認識装置を
有し、画像入力装置は画像を撮影して入力し、移動領域
検出装置は入力したフレ−ム画像間の移動領域を検出
し、移動成分検出装置は検出した移動領域から装置自体
の移動成分を算出し、３次元復元装置は算出した移動成
分と画像情報より周囲環境の３次元構造を算出し、行動
記憶装置にはあらかじめ移動軌跡と周囲環境の３次元構
造に対して各種行動を表す記号情報が格納され、行動認
識装置は移動成分検出装置で算出した移動成分と３次元
復元装置で算出した周囲環境の３次元構造及び行動記憶
装置に格納された各種行動を表す記号情報より使用者の
行動パタ−ンを算出することを特徴とする。

【０００８】この発明に係る第３の携帯型情報処理装置
は、画像入力装置と移動領域検出装置と測距装置と移動
成分検出装置と及び３次元復元装置を有し、画像入力装
置は画像を撮影して入力し、移動領域検出装置は入力し
たフレ−ム画像間の移動領域を検出し、測距装置は入力
した画像面上に投影された周囲環境の１点までの距離を
算出し、移動成分検出装置は検出した移動領域と算出し
た周囲環境の１点までの距離から使用者自体の移動成分
を算出し、３次元復元装置は算出した移動成分と画像情
報より周囲環境の３次元構造を算出することを特徴とす
る。

【０００９】この発明に係る第４の携帯型情報処理装置
は、画像入力装置と移動領域検出装置と測距装置と移動
成分検出装置と及び３次元復元装置を有し、画像入力装
置は画像を撮影して入力し、移動領域検出装置は入力し
たフレ−ム画像間の移動領域を検出し、測距装置は入力
した画像面上に投影された周囲環境の複数点までの距離
を算出し、移動成分検出装置は検出した移動領域と算出
した周囲環境の複数点までの距離から使用者自体の移動
成分を算出し、３次元復元装置は算出した移動成分と画
像情報より周囲環境の３次元構造を算出することを特徴
とする。

【００１０】この発明に係る第５の携帯型情報処理装置
は、画像入力装置と移動領域検出装置と位置検出装置と
移動成分検出装置と及び３次元復元装置を有し、画像入
力装置は画像を撮影して入力し、移動領域検出装置は入
力したフレ−ム画像間の移動領域を検出し、位置検出装
置は緯度，経度により使用者の位置座標を検出し、移動
成分検出装置は検出した移動領域と使用者の位置座標か
ら使用者自体の移動成分を算出し、３次元復元装置は算
出した移動成分と画像情報より周囲環境の３次元構造を
算出することを特徴とする。

【００１１】この発明に係る第６の携帯型情報処理装置
は、画像入力装置と移動領域検出装置と運動検出装置と
移動成分検出装置と及び３次元復元装置を有し、画像入
力装置は画像を撮影して入力し、移動領域検出装置は入
力したフレ−ム画像間の移動領域を検出し、運動検出装
置は使用者の運動状態を検出し、移動成分検出装置は検
出した移動領域と使用者の運動状態から使用者自体の移
動成分を算出し、３次元復元装置は算出した移動成分と
画像情報より周囲環境の３次元構造を算出することを特
徴とする。

【００１２】この発明に係る情報処理方法は、使用者の
周囲の画像を撮影して入力し、入力したフレ−ム画像間
の移動領域を検出し、検出した移動領域から使用者自体
の移動成分を算出し、算出した移動成分と画像情報より
周囲環境の３次元構造を算出することを特徴とする。

【００１３】この発明に係る第２の情報処理方法は、使
用者の周囲の画像を撮影して入力し、入力したフレ−ム
画像間の移動領域を検出し、検出した移動領域から装置
自体の移動成分を算出し、算出した移動成分と画像情報
より周囲環境の３次元構造を算出し、算出した移動成分
と３次元復元装置で算出した周囲環境の３次元構造及び
あらかじめ定められた移動軌跡と周囲環境の３次元構造
に対する各種行動を表す記号情報より使用者の行動パタ
−ンを算出することを特徴とする。

【００１４】この発明に係る第３の情報処理方法は、使
用者の周囲の画像を撮影して入力し、入力したフレ−ム
画像間の移動領域を検出し、画像面上に投影された周囲
環境の１点までの距離を算出し、検出した移動領域と算
出した周囲環境の１点までの距離から使用者自体の移動
成分を算出し、算出した移動成分と画像情報より周囲環
境の３次元構造を算出することを特徴とする。

【００１５】この発明に係る第４の情報処理方法は、使
用者の周囲の画像を撮影して入力し、移動領域検出装置
は画像入力装置が入力したフレ−ム画像間の移動領域を
検出し、画像面上に投影された周囲環境の複数点までの
距離を算出し、検出した移動領域と算出した周囲環境の
複数点までの距離距離から使用者自体の移動成分を算出
し、算出した移動成分と画像情報より周囲環境の３次元
構造を算出することを特徴とする。

【００１６】この発明に係る第５の情報処理方法は、使
用者の周囲の画像を撮影して入力し、入力したフレ−ム
画像間の移動領域を検出し、緯度，経度により使用者の
位置座標を検出し、検出した移動領域と検出した使用者
の位置座標から使用者自体の移動成分を算出し、算出し
た移動成分と画像情報より周囲環境の３次元構造を算出
することを特徴とする。

【００１７】この発明に係る第６の情報処理方法は、使
用者の周囲の画像を撮影して入力し、入力したフレ−ム
画像間の移動領域を検出し、使用者の運動状態を検出
し、検出した移動領域と検出した使用者の運動状態から
使用者自体の移動成分を算出し、算出した移動成分と画
像情報より周囲環境の３次元構造を算出することを特徴
とする。

【００１８】

【発明の実施の形態】この発明の携帯型情報処理装置
は、装置全体を管理し、処理手順やデ−タ転送制御を行
う制御装置と画像入力装置と移動領域検出装置と移動成
分検出装置と３次元復元装置及び記憶装置を有する。画
像入力装置は例えばＣＣＤカメラを有し、１フレ−ム毎
の画像を撮影して記憶する。移動領域検出装置は画像入
力装置で撮影した１フレ−ム毎の画像情報を読み出して
２枚のフレ−ム画像間において画像面上での移動領域を
検出して移動成分検出装置に送る。移動成分検出装置は
送られた２枚のフレ−ム画像間における画像面上での移
動領域により２枚のフレ−ム画像間で携帯型情報処理装
置の使用者が移動した成分を算出し、算出した移動成分
を逐次加算して使用者の移動軌跡を求める。３次元復元
装置は移動成分検出装置で算出した移動成分と周囲環境
の画像面上での見え方の変化の条件から、画像面上に投
影された像がどのような３次元構造になっているのかを
算出する。この処理を画像撮影停止の指示が入力される
まで一定間隔毎に行い、入力した画像情報と使用者の移
動軌跡及び周囲環境の３次元情報を記憶装置に格納す
る。この記憶装置に格納した画像情報と使用者の移動軌
跡及び周囲環境の３次元情報を表示装置等に出力して確
認することにより、視覚的でリアルな情報管理をするこ
とができる。

【００１９】また、上記携帯型情報処理装置にあらかじ
め移動軌跡と周囲環境の３次元構造に対して歩行中や会
議中や食事中などの各種行動を表す記号情報を格納した
行動記憶装置と使用者の移動成分から得た移動軌跡と３
次元復元装置で得た３次元情報と行動記憶装置に格納し
てある各種行動を表す記号情報とを参照して使用者の行
動パタ−ンを算出する行動認識装置を設けて使用者の行
動も明確にすることにより、より正確な情報管理を行う
ことができる。

【００２０】また、使用者の移動軌跡と周囲環境の３次
元情報を得るとき、測距装置で画像面上に投影された周
囲環境のある点までの距離又は複数点までの距離を測定
することにより、周囲環境の３次元構造を長さ情報を含
めて算出することができる。

【００２１】さらに、使用者の移動軌跡と周囲環境の３
次元情報を得るときに、使用者すなわち携帯型情報処理
装置の現在位置と実際の移動軌跡を位置検出装置で検出
したり、携帯型情報処理装置の撮像系の運動状況を加速
度センサやジャイロを有する運動検出装置で検出するこ
とにより、使用者の移動軌跡と長さ情報を含めた周囲環
境の３次元構造をより正確に算出することができる。

【００２２】

【実施例】図１はこの発明の一実施例の構成を示すブロ
ック図である。図に示すように、携帯型情報処理装置
は、装置全体を管理し、処理手順やデ−タ転送制御を行
う制御装置１と画像入力装置２と移動領域検出装置３と
移動成分検出装置４と３次元復元装置５と表示装置６及
び記憶装置７を有する。画像入力装置２は画像を入力す
る例えばＣＣＤカメラ２１からなる撮影装置と入力した
画像を処理する画像処理部２２を有する。画像処理部２
２にはＣＣＤカメラ２１で得た画像信号をデジタル信号
に変換するＡ／Ｄ変換部２３と、デジタル信号に変換し
た画像情報を取り込むフレ−ム記憶部２４と、フレ−ム
記憶部２４に格納された画像情報をＤ／Ａ変換して制御
装置１に送るＤ／Ａ変換部２５とを有する。制御装置１
は画像入力装置２から送られた画像情報を表示装置６に
出力するとともに記憶装置７に格納する。移動領域検出
装置３は画像入力装置２のフレ−ム記憶部２４に格納さ
れたフレ−ム画像情報を入力し、少なくとも２枚のフレ
−ム画像情報を処理してフレ−ム画像間の移動領域を検
出する。この移動領域の検出は、フレ−ム画像間の差分
をとる方法や、相関法，特徴照合法，疎密法等で局所的
な画像特徴を用いて対応付けを行う方法、あるいは時空
間微分法を用いて移動領域を算出する方法等により行わ
れる。移動成分検出装置４は移動領域検出装置３で検出
した移動領域より携帯型情報処理装置の使用者すなわち
携帯型情報処理装置自体の移動成分を算出して逐次加算
する。３次元復元装置５は１４は移動成分検出装置４で
算出した使用者の移動成分と画像入力装置２で入力した
画像情報より、使用者の周囲環境の３次元構造を算出す
る。例えば、２フレ−ムの画像間の局所的特徴の対応付
けを行ったときに、使用者自身の運動が回転無しで並進
のみである場合には、２点の対応関係がスケ−ル因子を
除いて一意に決定されることが知られ、使用者自身の運
動が並進と回転の両者よりなる場合には、５点の対応関
係が既知である場合、自身の移動成分と周囲環境の３次
元形状がスケ−ル因子を除いて一意に決定されることが
知られている。この処理を繰り返し行い、移動成分を逐
次加算すると、使用者の移動軌跡を求めることができ
る。記憶装置７には、このようにして得られた移動軌跡
と周囲環境の３次元情報が記録される。

【００２３】上記のように構成された携帯型情報処理装
置の動作を図２のフロ−チャ−トを参照して説明する。

【００２４】使用者から画像撮影を指示する信号を入力
すると（ステップＳ１）、画像入力装置２は１フレ−ム
毎の画像撮影を開始しフレ−ム記憶部２４に格納する
（ステップＳ２）。移動領域検出装置３はフレ−ム記憶
部２４に格納した１フレ−ム毎の画像情報を読み出して
２枚のフレ−ム画像間において画像面上での移動領域を
検出して移動成分検出装置４に送る（ステップＳ３）。
移動成分検出装置４は送られた２枚のフレ−ム画像間に
おける画像面上での移動領域により２枚のフレ−ム画像
間で使用者が移動した成分を算出して逐次加算する（ス
テップＳ４）。このように算出した使用者の移動成分を
画像撮影開始から逐次加算することにより、使用者の移
動軌跡を求めることができる。３次元復元装置５は移動
成分検出装置４で算出した移動成分と周囲環境の画像面
上での見え方の変化の条件から、画像面上に投影された
像がどのような３次元構造になっているのを算出する
（ステップＳ５）。この処理を画像撮影停止の指示が入
力されるまで一定間隔毎に行う（ステップＳ６）。そし
て画像撮影停止信号が入力されると、画像撮影を停止
し、入力した画像情報と使用者の移動軌跡及び周囲環境
の３次元情報を必要に応じて記憶装置７に格納する（ス
テップＳ６〜Ｓ８）。

【００２５】この記憶装置７に格納した画像情報と使用
者の移動軌跡及び周囲環境の３次元情報を表示装置６に
表示して確認することにより、視覚的でリアルな情報管
理をすることができる。

【００２６】また、上記実施例は使用者の移動軌跡及び
周囲環境の３次元情報を明確にして情報管理をする場合
について説明したが使用者の行動も明確にすることによ
り、より正確な情報管理を行うことができる。

【００２７】このように使用者の行動も明確にする実施
例の構成を図３のブロック図に示す。図３に示すよう
に、携帯型情報処理装置は上記第１の実施例に示した制
御装置１と画像入力装置２と移動領域検出装置３と移動
成分検出装置４と３次元復元装置５と表示装置６及び記
憶装置７の他に行動記憶装置８と行動認識装置９を有す
る。行動記憶装置８にはあらかじめ移動軌跡と周囲環境
の３次元構造に対して歩行中や会議中や食事中などの各
種行動を表す記号情報が格納されている。行動認識装置
９は使用者の移動成分から得た移動軌跡と３次元復元装
置５で得た３次元情報と行動記憶装置８に格納してある
各種行動を表す記号情報とを参照して使用者の行動パタ
−ンを算出して出力する。

【００２８】上記のように構成された携帯型情報処理装
置で使用者の行動も明確にするときの動作を図４のフロ
−チャ−トを参照して説明する。

【００２９】使用者から画像撮影を指示して画像を入力
してから画像面上に投影された像がどのような３次元構
造になっているのを算出するまでの処理は上記第１の実
施例と全く同じである（ステップＳ１１〜Ｓ１５）。行
動認識装置９は移動成分検出装置４で算出した使用者の
移動軌跡と３次元復元装置５で得た３次元情報と行動記
憶装置８に格納してある各種行動を表す記号情報とを参
照して使用者の行動パタ−ンを算出する（ステップＳ１
６）。この処理を画像撮影停止が指示されるまで一定間
隔毎に行う（ステップＳ１７）。そして画像撮影停止信
号が入力されると画像撮影を停止し、入力した画像情報
と使用者の移動軌跡及び周囲環境の３次元情報を必要に
応じて記憶装置７に格納する（ステップＳ１７〜Ｓ１
９）。

【００３０】このようにして使用者の移動軌跡や周囲環
境の３次元情報とともに使用者の行動も認識することが
できる。

【００３１】この第２の実施例により実際に会議室と廊
下と休憩所の３種類の場所で連続画像を画像入力装置２
のＣＣＤカメラ２１を用いて画素数640×480で各５セッ
トずつ撮影し、それぞれ移動軌跡と３次元位置を撮影し
た。ＣＣＤカメラ２１のカメラ座標系としては、図５に
示すように、ＣＣＤカメラ２１の焦点を原点Ｏとし、画
像面を原点Ｏからの距離が焦点距離ｆで、Ｘ−Ｙ平面に
並行な平面とする左手系の透視変換座標系２６とし、３
次元復元装置５は選択した局所的な画像特徴に対応する
個所がＸ，Ｙ，Ｚ座標系における座標値すなわち３次元
位置を算出し、算出した３次元位置を行動認識装置９に
送り、行動認識装置９から使用者の行動を示す記号情報
が出力させる。

【００３２】そして会議室と廊下と休憩所の３種類の場
所で対象物の角部等の局所的な画像特徴を約20個所選択
し、相関法により２フレ-ム間でそれらの対応関係を求
めることにより移動領域を検出し、３次元復元装置５で
局所的な画像特徴の３次元座標とその付近のエッジ情
報，色情報及び接続関係より平面が再構成され、図６に
示すような形で３次元構造５１が復元されるようにし
た。そして５セットのデ−タのうち４セットの３次元位
置と移動軌跡をモデルとして行動記憶装置８に記憶させ
た。この行動記憶装置８には、図７の（ａ）に示すよう
に会議室の３次元構造５２と、（ｂ）に示すように廊下
の３次元構造５３と、（ｃ）に示すように休憩所の３次
元構造５４を上から眺めた見取図として記憶している。
行動認識装置９は、入力された画像より復元した３次元
構造及び使用者の移動軌跡を見取図の形に変換し、行動
記憶装置８に格納されたモデルとの照合により、会議
中，廊下歩行中及び休憩中という使用者の行動を示す記
号情報を出力する。ここで、会議室に入室してから座席
に座るまでの連続画像を入力として選択したところ、図
８に示すような移動軌跡５５と３次元構造５６を得るこ
とができ、この移動軌跡５５と３次元構造５６を行動認
識装置９に入力した結果、「会議中」という行動情報記
号が出力され、使用者の行動を正しく認識していること
が確認できた。

【００３３】なお、上記実施例は行動記憶装置８に格納
した各種行動を表す記号情報を参照して使用者の行動を
認識というモデルベ−スの認識を行う場合について説明
したが、行動認識装置９で学習・記憶機能により使用者
の行動を認識するようにしても良い。

【００３４】次に、画像面上に投影された周囲環境のあ
る点との距離を検出して使用者の移動軌跡と周囲環境の
３次元情報を得る第３の実施例を説明する。

【００３５】第３の実施例の携帯型情報処理装置は、図
９のブロック図に示すように、第１の実施例に示した制
御装置１と画像入力装置２と移動領域検出装置３と移動
成分検出装置４と３次元復元装置５と表示装置６及び記
憶装置７の他に画像面上に投影された周囲環境のある点
との距離を検出する測距装置１０を有する。この測距装
置１０は３角測量の原理を利用した赤外線ステレオ法や
超音波等の波動を投射し、測定対象からの反射の伝播時
間より距離を計測する方法などを利用して周囲環境のあ
る点までの距離を検出する。３次元復元装置５は移動成
分検出装置４で算出した移動軌跡と測距装置１０による
測距結果から周囲環境の３次元構造を出力する。例えば
２フレ−ム間の局所的特徴の対応付けを行ったときに、
５個所の対応関係が既知である場合、使用者自身の移動
成分と周囲環境の３次元形状が一意に決定されるが、ス
ケ−ル因子が不明なため、使用者自身の移動量や、物体
の大きさ、対象までの距離を算出することはできない。
しかし、画像上の投影されたある１点までの距離が判明
すればスケ−ル因子が決定され、周囲環境の３次元構造
を長さ情報を含めて算出することができる。

【００３６】上記のように構成された携帯型情報処理装
置で周囲環境の３次元構造を長さ情報を含めて算出する
ときの動作を図１０のフロ−チャ−トを参照して説明す
る。

【００３７】使用者から画像撮影を指示する信号を入力
すると（ステップＳ２１）、画像入力装置２は１フレ−
ム毎の画像撮影を開始しフレ−ム記憶部２４に格納する
（ステップＳ２２）。移動領域検出装置３はフレ−ム記
憶部２４に格納した１フレ−ム毎の画像情報を読み出し
て２枚のフレ−ム画像間において画像面上での移動領域
を検出して移動成分検出装置４に送る（ステップＳ２
３）。一方、測距装置１０は使用者すなわち携帯型情報
処理装置自体から画像上のある１点に対応する周囲環境
中の１点までの距離を測定し移動成分検出装置４に送る
（ステップＳ２４）。移動成分検出装置４は送られた移
動検出結果と測距結果を用いて２枚のフレ−ム画像間に
おける使用者の移動成分すなわち移動ベクトルを算出
し、算出した使用者の移動成分を画像撮影開始から逐次
加算して使用者の移動軌跡を求める（ステップＳ２
５）。３次元復元手段５は移動成分検出装置４で算出し
た移動成分と周囲環境の画像面上での見え方の変化の条
件から、画像面上に投影された像がどのような３次元構
造になっているかを大きさの情報付きで算出する（ステ
ップＳ２６）。この処理を画像撮影停止の指示が入力さ
れるまで一定間隔毎に行う（ステップＳ２７）。そして
画像撮影停止信号が入力されると、画像撮影を停止し、
入力した画像情報と使用者の移動軌跡及び周囲環境の３
次元情報を必要に応じて記憶装置７に格納する（ステッ
プＳ２７〜Ｓ２９）。このようにして周囲環境の３次元
構造を長さや大きさの情報を含めて算出することができ
る。

【００３８】上記のように第３の実施例は画像面上に投
影された周囲環境のある点との距離を検出して周囲環境
の３次元構造を長さや大きさの情報を含めて算出する場
合について説明したが、画像面上に投影された周囲環境
の複数の点との距離を検出することにより、より正確な
３次元構造を出力することができる。

【００３９】画像面上に投影された周囲環境の複数の点
との距離を検出して３次元構造を出力する第４の実施例
の携帯型情報処理装置は、図１１のブロック図に示すよ
うに、測距装置１１を例えば光照射装置１２と受光装置
１３で構成し、光投影法により画像面上に投影された周
囲環境の複数の点との距離を検出する。光投影法は図１
２に示すように光照射装置１２からスポット光やスリッ
ト光等の光波を測定対象物体１４に照射し、対象物体１
４面上での反射を別の方向から受光装置１３で観測する
ことにより、三角測量の原理に基づいて対象物体の距離
を測定する３次元計測法であり、対象物体の距離と凹凸
等の３次元形状を測定することができる。なお、この周
囲環境の複数の点との距離を検出する測距装置１１とし
ては、赤外線ステレオ法において赤外線アレイを設けた
手法や超音波を用いた測距法において超音波送受信器を
複数設けた手法を採用しても良い。

【００４０】３次元複元装置５は移動成分検出装置４で
算出した使用者の移動軌跡と測距装置１１による測距結
果から、周囲環境の３次元構造を出力する。すなわち、
第３の実施例に示したように、スケ−ル因子を考慮した
３次元構造復元はある１点までの距離が既知であれば求
まる。しかし、一般に画像のみから３次元構造を計算に
より復元するときには、画像のノイズや周囲環境と使用
者自身の移動方向の幾何的関係が原因で算出結果に多大
な誤差が生じる可能性がある。また、画像上の移動領域
を追跡する場合、２フレ−ム間の移動の大きさが未知で
あるため、探索範囲を大きくとらなければならない。こ
れに対して測距装置１１で複数の地点までの距離を検出
し、画像から３次元復元した結果を測距装置１１の距離
検出結果と照合することにより、正確な３次元構造を出
力することができる。また、距離検出結果を移動領域の
検出に活用することにより画像上での探索範囲が減少
し、計算コストを低減することができる。

【００４１】上記のように構成された携帯型情報処理装
置で周囲環境の３次元構造をより正確に算出するときは
図１３のフロ−チャ−トに示すように、使用者から画像
撮影を指示する信号を入力すると（ステップＳ３１）、
画像入力装置２は１フレ−ム毎の画像撮影を開始しフレ
−ム記憶部２４に格納する（ステップＳ３２）。移動領
域検出装置３はフレ−ム記憶部２４に格納した１フレ−
ム毎の画像情報を読み出して２枚のフレ−ム画像間にお
いて画像面上での移動領域を検出して移動成分検出装置
４に送る（ステップＳ３３）。一方、測距装置１１は使
用者すなわち携帯型情報処理装置自体から周囲環境中の
複数点までの距離を測定し移動成分検出装置４に送る
（ステップＳ３４）。移動成分検出装置４は送られた移
動検出結果と測距結果を用いて２枚のフレ−ム画像間に
おける使用者の移動成分すなわち移動ベクトルを算出
し、算出した使用者の移動成分を画像撮影開始から逐次
加算して使用者の移動軌跡を求める（ステップＳ３
５）。３次元復元手段５は移動成分検出装置４で算出し
た移動成分と周囲環境の画像面上での見え方の変化の条
件から、画像面上に投影された像がどのような３次元構
造になっているかを大きさの情報付きで算出する（ステ
ップＳ３６）。この処理を画像撮影停止の指示が入力さ
れるまで一定間隔毎に行い、画像撮影停止信号が入力さ
れると、画像撮影を停止し、入力した画像情報と使用者
の移動軌跡及び周囲環境の３次元情報を必要に応じて記
憶装置７に格納する（ステップＳ３７〜Ｓ３９）。この
ようにして周囲環境の３次元構造を長さや大きさの情報
を含めてより正確に算出することができる。

【００４２】次に、使用者すなわち携帯型情報処理装置
の現在位置を検出して使用者の移動軌跡と周囲環境の３
次元情報を得る第５の実施例を説明する。

【００４３】使用者の現在位置を検出して３次元構造を
出力する第５の実施例の携帯型情報処理装置は、図１４
のブロック図に示すように、制御装置１と画像入力装置
２と移動領域検出装置３と移動成分検出装置４と３次元
復元装置５と表示装置６及び記憶装置７の他にＧＳＰ
（Global Positioning System)等の航法システムを利用
して使用者の現在位置と実際の移動軌跡を求める位置検
出装置１５を有する。前述のように画像面上の移動領域
検出結果のみではスケ−ル因子が不明なため、使用者の
実際の移動量や物体の大きさ対象までの距離を算出する
ことできない。しかし、使用者の実際の移動方向と移動
量がわかればスケ−ル因子が決定され、周囲環境の３次
元構造を長さ情報を含めて算出することができる。この
ため第５の実施例においては位置検出装置１５で使用者
の現在位置と実際の移動軌跡を検出するようにしたので
ある。

【００４４】この第５の実施例においては、図１５のフ
ロ−チャ−トに示すように、使用者から画像撮影を指示
する信号を入力して、画像入力装置２で１フレ−ム毎の
画像撮影を行い、移動領域検出装置３で２枚のフレ−ム
画像間において画像面上での移動領域を検出するととも
に位置検出装置１５で使用者の現在位置を測定して前回
検出した位置との変化を検出する（ステップＳ４１〜Ｓ
４４）。移動成分検出装置４は移動領域の検出結果と位
置検出装置１５で検出した使用者の位置変化から２枚の
フレ−ム画像間における使用者の移動ベクトルを検出
し、画像撮影開始から現在までの移動ベクトルを加算し
て使用者の移動軌跡を算出する（ステップＳ４５）。３
次元復元装置５は検出した移動ベクトルと周囲環境の画
像面上での見え方の変化の条件から、画像面上に投影さ
れた像がどのような３次元構造になっているのかを大き
さの情報付きで算出する（ステップＳ４６）。この処理
を画像撮影停止の指示が入力されるまで一定間隔毎に行
い、画像撮影停止信号が入力されると、画像撮影を停止
し、入力した画像情報と使用者の移動軌跡及び周囲環境
の３次元情報を必要に応じて記憶装置７に格納する（ス
テップＳ４７〜Ｓ４９）。このようにして使用者の移動
軌跡と長さや大きさの情報を含めた周囲環境の３次元構
造をより正確に算出することができる。

【００４５】次に、撮像系すなわち使用者の運動状況検
出して使用者の移動軌跡と周囲環境の３次元情報を得る
第６の実施例を説明する。この第６の実施例の携帯型情
報処理装置は、図１４のブロック図に示すように、制御
装置１と画像入力装置２と移動領域検出装置３と移動成
分検出装置４と３次元復元装置５と表示装置６及び記憶
装置７の他に運動検出装置１６を有する。運動検出装置
１６は例えばＸ軸加速度センサ１７ａとＹ軸加速度セン
サ１７ｂとＺ軸加速度センサ１７ｃとＸ軸用ジャイロ１
８ａとＹ軸用ジャイロ１８ｂとＺ軸用ジャイロ１８ｃと
を有し、Ｘ軸，Ｙ軸，Ｚ軸の加速成分を測定し、測定し
た加速度を積分することにより使用者の移動ベクトルを
求めることができる。また各ジャイロ１８ａ〜１８ｃで
Ｘ軸，Ｙ軸，Ｚ軸の各軸回りの回転成分を求めることが
できる。この移動ベクトルから使用者の実際の移動方向
と移動量がわかるので、スケ−ル因子が決定され、周囲
環境の３次元構造を長さ情報を含めて算出することがで
きる。また、撮像系の回転成分がわかるので、移動軌跡
と３次元構造検出に要する計算コストを軽減することが
できる。

【００４６】すなわち、この第６の実施例においては、
図１７のフロ−チャ−トに示すように、使用者から画像
撮影を指示する信号を入力して、画像入力装置２で１フ
レ−ム毎の画像撮影を行い、移動領域検出装置３で２枚
のフレ−ム画像間において画像面上での移動領域を検出
するとともに運動検出装置１６で撮像系すなわち使用者
の運動状況を測定し、使用者の現在位置と前回の測定位
置からの位置変化と撮像系の回転成分を検出する（ステ
ップＳ５１〜Ｓ５４）。この検出結果と移動領域の検出
結果から２枚のフレ−ム画像間における使用者の移動ベ
クトルと移動軌跡を算出し、画像面上に投影された像が
どのような３次元構造になっているのかを大きさの情報
付きで算出する（ステップＳ５５，Ｓ５６）。この処理
を画像撮影停止の指示が入力されるまで一定間隔毎に行
い、画像撮影停止信号が入力されると、画像撮影を停止
し、入力した画像情報と使用者の移動軌跡及び周囲環境
の３次元情報を必要に応じて記憶装置７に格納する（ス
テップＳ５７〜Ｓ５９）。このようにして使用者の移動
軌跡と長さや大きさの情報を含めた周囲環境の３次元構
造をより正確に算出することができる。

【００４７】上記各実施例では画像を１フレ−ム取り込
むたびに移動領域検出から３次元構造復元という一連の
処理を行う場合について説明したが、複数フレ−ム毎の
画像を用いて移動領域検出から３次元構造復元という一
連の処理を行うようにしても良い。

【００４８】また、上記各実施例では移動領域検出から
３次元構造復元という一連の処理を実時間処理する場合
について説明したが、画像情報をまとめて記憶装置７に
格納しておき、オフライン処理するようにしても良い。

【００４９】さらに、画像情報や移動軌跡及び３次元情
報を記憶手段７に格納するとともにネットワ−ク等で転
送したり、直接ネットワ−ク等で転送して確認し管理す
るようにしても良い。

【００５０】

【発明の効果】この発明は以上説明したように、画像入
力装置で撮影した１フレ−ム毎の画像情報を読み出して
２枚のフレ−ム画像間において画像面上での移動領域を
検出し、検出した２枚のフレ−ム画像間における画像面
上での移動領域により２枚のフレ−ム画像間で携帯型情
報処理装置の使用者が移動した成分を算出し、算出した
移動成分を逐次加算して使用者の移動軌跡を求め、算出
した移動成分と周囲環境の画像面上での見え方の変化の
条件から、画像面上に投影された像がどのような３次元
構造になっているのかを算出するようにしたから、使用
者の移動軌跡及び周囲環境の３次元情報をリアルで確認
することができ、情報管理をより正確にすることができ
る。

【００５１】また、上記携帯型情報処理装置にあらかじ
め移動軌跡と周囲環境の３次元構造に対して歩行中や会
議中や食事中などの各種行動を表す記号情報を格納して
おき、使用者の移動成分から得た移動軌跡と３次元情報
とあらかじめ格納してある各種行動を表す記号情報とを
参照して使用者の行動パタ−ンを算出して使用者の行動
も明確にすることにより、より正確な情報管理を行うこ
とができる。

【００５２】また、使用者の移動軌跡と周囲環境の３次
元情報を得るときに、画像面上に投影された周囲環境の
ある点までの距離又は複数点までの距離を測定すること
により、周囲環境の３次元構造を長さ情報を含めて算出
することができ、才覚な情報を得ることができる。

【００５３】さらに、使用者の移動軌跡と周囲環境の３
次元情報を得るときに、使用者すなわち携帯型情報処理
装置の現在位置と実際の移動軌跡を検出したり、携帯型
情報処理装置の撮像系の運動状況を検出することによ
り、使用者の移動軌跡と長さ情報を含めた周囲環境の３
次元構造をより正確に算出することができる。

【図面の簡単な説明】

【図１】この発明の実施例の構成を示すブロック図であ
る。

【図２】上記実施例の動作を示すフロ−チャ−トであ
る。

【図３】第２の実施例の構成を示すブロック図である。

【図４】第２の実施例の動作を示すフロ−チャ−トであ
る。

【図５】第２の実施例のカメラ座標系を示す説明図であ
る。

【図６】第２の実施例による３次元構造の具体例を示す
説明図である。

【図７】第２の実施例の行動記憶装置に記憶させたモデ
ルを示す説明図である。

【図８】第２の実施例で得た移動軌跡と３次元構造を示
す説明図である。

【図９】第３の実施例の構成を示すブロック図である。

【図１０】第３の実施例の動作を示すフロ−チャ−トで
ある。

【図１１】第４の実施例の構成を示すブロック図であ
る。

【図１２】第４の実施例の測距装置の測定動作を示す説
明図である。

【図１３】第４の実施例の動作を示すフロ−チャ−トで
ある。

【図１４】第５の実施例の構成を示すブロック図であ
る。

【図１５】第５の実施例の動作を示すフロ−チャ−トで
ある。

【図１６】第６の実施例の構成を示すブロック図であ
る。

【図１７】第６の実施例の動作を示すフロ−チャ−トで
ある。

【符号の説明】

１ 制御装置 ２ 画像入力装置 ３ 移動領域検出装置 ４ 移動成分検出装置 ５ ３次元復元装置 ６ 表示装置 ７ 記憶装置 ８ 行動記憶装置 ９ 行動認識装置 １０ 測距装置 １１ 測距装置 １５ 位置検出装置 １６ 運動検出装置

Claims (12)

【特許請求の範囲】
1. 【請求項１】 画像入力装置と移動領域検出装置と移動
   成分検出装置及び３次元復元装置を有し、 画像入力装置は画像を撮影して入力し、移動領域検出装
   置は入力したフレ−ム画像間の移動領域を検出し、移動
   成分検出装置は検出した移動領域から使用者自体の移動
   成分を算出し、３次元復元装置は移動成分と画像情報よ
   り周囲環境の３次元構造を算出することを特徴とする携
   帯型情報処理装置。
2. 【請求項２】 画像入力装置と移動領域検出装置と移動
   成分検出装置と３次元復元装置と行動記憶装置及び行動
   認識装置を有し、 画像入力装置は画像を撮影して入力し、移動領域検出装
   置は入力したフレ−ム画像間の移動領域を検出し、移動
   成分検出装置は検出した移動領域から装置自体の移動成
   分を算出し、３次元復元装置は算出した移動成分と画像
   情報より周囲環境の３次元構造を算出し、行動記憶装置
   にはあらかじめ移動軌跡と周囲環境の３次元構造に対し
   て各種行動を表す記号情報が格納され、行動認識装置は
   移動成分検出装置で算出した移動成分と３次元復元装置
   で算出した周囲環境の３次元構造及び行動記憶装置に格
   納された各種行動を表す記号情報より使用者の行動パタ
   −ンを算出することを特徴とする携帯型情報処理装置。
3. 【請求項３】 画像入力装置と移動領域検出装置と測距
   装置と移動成分検出装置と及び３次元復元装置を有し、 画像入力装置は画像を撮影して入力し、移動領域検出装
   置は入力したフレ−ム画像間の移動領域を検出し、測距
   装置は入力した画像面上に投影された周囲環境の１点ま
   での距離を算出し、移動成分検出装置は検出した移動領
   域と算出した周囲環境の１点までの距離から使用者自体
   の移動成分を算出し、３次元復元装置は算出した移動成
   分と画像情報より周囲環境の３次元構造を算出すること
   を特徴とする携帯型情報処理装置。
4. 【請求項４】 画像入力装置と移動領域検出装置と測距
   装置と移動成分検出装置と及び３次元復元装置を有し、 画像入力装置は画像を撮影して入力し、移動領域検出装
   置は入力したフレ−ム画像間の移動領域を検出し、測距
   装置は入力した画像面上に投影された周囲環境の複数点
   までの距離を算出し、移動成分検出装置は検出した移動
   領域と算出した周囲環境の複数点までの距離から使用者
   自体の移動成分を算出し、３次元復元装置は算出した移
   動成分と画像情報より周囲環境の３次元構造を算出する
   ことを特徴とする携帯型情報処理装置。
5. 【請求項５】 画像入力装置と移動領域検出装置と位置
   検出装置と移動成分検出装置と及び３次元復元装置を有
   し、 画像入力装置は画像を撮影して入力し、移動領域検出装
   置は入力したフレ−ム画像間の移動領域を検出し、位置
   検出装置は使用者の位置座標を検出し、移動成分検出装
   置は検出した移動領域と使用者の位置座標から使用者自
   体の移動成分を算出し、３次元復元装置は算出した移動
   成分と画像情報より周囲環境の３次元構造を算出するこ
   とを特徴とする携帯型情報処理装置。
6. 【請求項６】 画像入力装置と移動領域検出装置と運動
   検出装置と移動成分検出装置と及び３次元復元装置を有
   し、 画像入力装置は画像を撮影して入力し、移動領域検出装
   置は入力したフレ−ム画像間の移動領域を検出し、運動
   検出装置は使用者の運動状態を検出し、移動成分検出装
   置は検出した移動領域と使用者の運動状態から使用者自
   体の移動成分を算出し、３次元復元装置は算出した移動
   成分と画像情報より周囲環境の３次元構造を算出するこ
   とを特徴とする携帯型情報処理装置。
7. 【請求項７】 使用者の周囲の画像を撮影して入力し、
   入力したフレ−ム画像間の移動領域を検出し、検出した
   移動領域から使用者自体の移動成分を算出し、算出した
   移動成分と画像情報より周囲環境の３次元構造を算出す
   ることを特徴とする携帯型情報処理方法。
8. 【請求項８】 使用者の周囲の画像を撮影して入力し、
   入力したフレ−ム画像間の移動領域を検出し、検出した
   移動領域から装置自体の移動成分を算出し、算出した移
   動成分と画像情報より周囲環境の３次元構造を算出し、
   算出した移動成分と３次元復元装置で算出した周囲環境
   の３次元構造及びあらかじめ定められた移動軌跡と周囲
   環境の３次元構造に対する各種行動を表す記号情報より
   使用者の行動パタ−ンを算出することを特徴とする携帯
   型情報処理方法。
9. 【請求項９】 使用者の周囲の画像を撮影して入力し、
   入力したフレ−ム画像間の移動領域を検出し、画像面上
   に投影された周囲環境の１点までの距離を算出し、検出
   した移動領域と算出した周囲環境の１点までの距離から
   使用者自体の移動成分を算出し、算出した移動成分と画
   像情報より周囲環境の３次元構造を算出することを特徴
   とする携帯型情報処理方法。
10. 【請求項１０】 使用者の周囲の画像を撮影して入力
    し、移動領域検出装置は画像入力装置が入力したフレ−
    ム画像間の移動領域を検出し、画像面上に投影された周
    囲環境の複数点までの距離を算出し、検出した移動領域
    と算出した周囲環境の複数点までの距離距離から使用者
    自体の移動成分を算出し、算出した移動成分と画像情報
    より周囲環境の３次元構造を算出することを特徴とする
    携帯型情報処理方法。
11. 【請求項１１】 使用者の周囲の画像を撮影して入力
    し、入力したフレ−ム画像間の移動領域を検出し、緯
    度，経度により使用者の位置座標を検出し、検出した移
    動領域と検出した使用者の位置座標から使用者自体の移
    動成分を算出し、算出した移動成分と画像情報より周囲
    環境の３次元構造を算出することを特徴とする携帯型情
    報処理方法。
12. 【請求項１２】 使用者の周囲の画像を撮影して入力
    し、入力したフレ−ム画像間の移動領域を検出し、使用
    者の運動状態を検出し、検出した移動領域と検出した使
    用者の運動状態から使用者自体の移動成分を算出し、算
    出した移動成分と画像情報より周囲環境の３次元構造を
    算出することを特徴とする携帯型情報処理方法。