JPH07175587A

JPH07175587A - 情報処理装置

Info

Publication number: JPH07175587A
Application number: JP15363694A
Authority: JP
Inventors: 壮四郎 ▲葛▼貫; Soshiro Kuzunuki; Toshifumi Arai; 俊史荒井; Tadaaki Kitamura; 忠明北村
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1993-10-28
Filing date: 1994-07-05
Publication date: 1995-07-14

Abstract

(57)【要約】【目的】現実の物をマンマシンインタフェースの部品
として利用可能とし、手のジェスチャによりモードレス
で表示対象物を直感的に操作する。【構成】机100には平面ディスプレイ101がはめ込ま
れ、データ103，104が表示されており、また、机上に
は、現実物としてのファイル110が置かれている。机100
にはカメラ300が設置されており、表示されてたデータ1
03，104と、現実物110と、操作者200の手の状態が撮像
され、処理装置400は、手の動作から操作者の意図を理
解してその意図に沿った動作を行う。例えば、操作者が
データ103を手でファイル110方向に移動させる動作をし
たときはデータ103をファイル方向に移動して表示し、
ある距離に近づいたときはそのデータ103を図示しない
記憶装置内にファイルする。例えばファイル110の代わ
りにFAX送信機が机上においてあり、データ103をFAX送
信機方向に移動して重ねたときそのデータ103を自動的
にFAXする。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は机の水平面にはめ込んだ
ディスプレイに表示された映像物を操作者が手で直接操
作する情報処理装置に係り、特に、机上に置かれる実物
を利用して映像物を直感的に操作するのに好適な情報処
理装置に関する。

【０００２】

【従来の技術】コンピュータのマンマシンインタフェー
スを改善する従来技術として、(1)Progress in Hunman
Interface Vol.2, PP.65-72(1993)に記載されている様
に、手にデータグローブを装着し身振りでコンピュータ
と対話するものがある。又、(2)Proceedings of UIST'9
1,ACM,1991,"The DigitalDesk Calculator:Tangible Ma
nipulation on a Desk Top Display"記載の従来技術
は、グローブをはめずに操作者の手をカメラで検出し、
手の動きや紙を監視してその動作により表示物を移動し
たり、指先で紙上の文字列を選択してカット＆コピーを
行っている。更に、(3)特開平5-19958公報記載の従来技
術は、操作者の手をカメラで撮影し、ポインテングに利
用している。

【０００３】

【発明が解決しようとする課題】上記のデータグローブ
を使用する従来技術は、操作者の手にグローブを装着す
るため、操作者が違和感を感じ、マンマシンインターフ
ェース性に問題がある。また、操作者の手の動きをカメ
ラで捕え、これをマンマシンインタフェースに利用する
上記の２つの従来技術は、映像物と現実物の動作対応
や、各種操作を行う場合の命令をどのように行うかにつ
いて具体的な考慮をしておらず、実際の操作を行う場
合、直感的な操作とならない問題点がある。

【０００４】本発明の目的は、実際の操作に近い形でコ
ンピュータとインタフェースでき更に現実の物をもマン
マシンインタフェースの部品として利用できる環境を実
現する情報処理装置を提供することにある。

【０００５】

【課題を解決するための手段】上記目的は、ディスプレ
イと、ディスプレイに表示された映像物およびディスプ
レイ上またはその近辺に置かれた実際の現実の物を撮像
する撮像装置と、ディスプレイ及び撮像装置に接続され
た処理装置を備えた情報処理装置において、撮像装置の
映像から現実物を認識する認識手段と、認識手段で認識
した現実物とディスプレイの映像物との動作を対応付け
る属性定義手段と、認識手段で認識した現実物の特徴点
座標と他の現実物の特徴点座標間あるいはディスプレイ
表示面上の映像物の特徴点座標間を比較し、所定値内の
とき属性定義手段で定義した動作を実行する属性対応処
理手段とを設けることで、達成される。

【０００６】さらに上記目的は、撮像装置より入力した
映像から操作者の手のジェスチャを認識する手段と、こ
のジェスチャ認識手段の結果からディスプレイ表示面上
の映像物を操作する情報処理装置において、ジェスチャ
認識手段は前記ディスプレイ表面上の映像物あるいは現
実物をホールドするかリリースするかのジェスチャを認
識できるようにしたことで、達成される。

【０００７】

【作用】例えば、机上にＦＡＸが現実物として置いてあ
り、ディスプレイに映像物としてデータファイルが開か
れている場合、操作者がこのデータファイルをＦＡＸ方
向に移動操作して所定距離内に入ったとき、情報処理装
置は、このデータファイルをＦＡＸ送信するものとして
解釈してＦＡＸ送信処理を実行する。このようにするこ
とで、現実物そのものをマンマシンインタフェースに利
用でき、直感的な操作環境が構築可能となる。また、操
作者の手のジェスチャとして、映像物あるいは現実物を
ホールドしたかあるいはリリースしたかの２つのジェス
チャを認識することにより、メニューやアイコンを指定
することなく、直接対象物を掴む感覚で操作ができ、マ
ンマシン性が著しく向上する。

【０００８】

【実施例】以下、本発明の一実施例を図１〜図２４を参
照して説明する。なお、本発明の一実施例では、現実物
あるいは映像物を撮像する装置は、水平面のディスプレ
イの上に設置したカメラとする。これ以外の方法として
は、水平面のディスプレイをハーフミラーとし、ディス
プレイの下（内側）から、現実物あるいは映像物を撮像
するか、あるいはディスプレイ自身にCCDセンサ等の撮
像素子を内蔵し、これにより、操作者の手のジェスチャ
等を認識できるように構成しても良い。また、本発明の
一実施例では、応用分野としてオフイスにおける文書処
理を例に説明するが、これ以外のプロセス監視分野、教
育分野、医療分野、ゲーム分野にも適用可能であること
は言うまでもない。

【０００９】まず、本発明実施例の全体の概要を説明す
る。図１は、本発明の一実施例に係る情報処理装置の機
能ブロック構成図である。100は机全体の筐体で、水平
に設置した平面ディスプレイ101と、垂直に設置した前
面ディスプレイ102が一体化されている。この２つのデ
ィスプレイ101，102は夫々約40インチ程度のサイズであ
り、Ａ４サイズの書類等の文書103，104を実サイズで表
示することができる。200は操作者、300は頭上カメラで
あり、特に操作者の手の動きを文書103，104、さらに机
上に置かれた現実物であるファイル110と共にモニタす
る。なお、図示していないが、平面ディスプレイ100に
は座標入力装置TBが積層されており、ペンコンピュータ
と同様な構成になっている。

【００１０】ここで、２つのディスプレイ101，102のう
ち、平面ディスプレイ101はスタイラスペン109を用いて
オブジェクトの入力や編集、さらに、表示オブジェクト
の手によるハンドリングに利用し、もう、一方の前面デ
ィスプレイ102は、作業を中断し保留状態のものや、組
織図や電話番号等掲示板代わりの情報等を表示したり、
キーボードKB入力時の画面表示に利用する。なお、本実
施例では、前面ディスプレイ102に座標入力装置は積層
していない。もし、ポインテイングが必要な場合は、平
面ディスプレイ101の一部に前面ディスプレイ102のため
の領域を定義して利用するか、あるいは従来通りマウス
デバイスを利用する。

【００１１】ブロック400は機能を実現する処理装置
（コンピュータ）である。さて、頭上カメラ300の画像
は画像取込500により取り込まれ、手の動作理解600によ
り画像処理され、現実物の認識や手のジェスチャ認識が
される。その認識結果はオブジェクトハンドリング処理
700により処理される。このオブジェクトハンドリング
処理700では、ブロック800の属性定義処理で定義された
現実物と映像物の動作対応付けにより動作する。具体的
には、表示されているオブジェクト（映像物）の移動や
回転、外部機器とのインタフェース（ファイル、FAX、
メイル等）処理、さらにページめくりやページレイアウ
ト等のページハンドリング処理を実施する。なお、オブ
ジェクトハンドリング処理700の処理結果は平面ディス
プレイ101に表示される。

【００１２】一方、オブジェクトの入力，編集は主にブ
ロック900〜1300によって行なわれる。平面ディスプレ
イ101に積層された座標入力装置TBの出力は座標取込900
により、スタイラスペン109の座標が取り込まれる。こ
の座標はメニュー等により「入力」か「編集」かを判断
し、もし、入力モードの時、ペン座標は文字・図形認識
1000のデータになる。一方、編集モードの時、ペンのジ
ェスチャ認識1200のデータになる。

【００１３】文字・図形認識1000の認識結果はドキュメ
ント処理1100に入力され、文書作成が行なわれる。さら
に、編集が必要になったとき、ペンのジェスチャコマン
ドを用いて、作成されている文書を編集処理1300により
編集できる。

【００１４】以上述べたように、本実施例では、頭上の
カメラにより、手の動きや現実物をモニタし、その結果
に応じて表示オブジェクトをハンドリングすることによ
り、実際の机上の感覚と同様な操作環境を提供してい
る。

【００１５】図２は、本発明の一実施例に係る情報処理
装置のハードブロック構成図である。本実施例では、大
画面ディスプレイを実現するため、平面ディスプレイ10
1と前面ディスプレイ102は、各々プロジェクタ105，107
ならびにミラー106，108で構成する。

【００１６】平面ディスプレイ101への画像は、処理装
置400の画像出力I/F1 408から出力され、このデータは
プロジェクタ105に供給される。プロジェクタ105の光は
ミラー106で反射し、平面ディスプレイ101の半透明スク
リーン（すりガラス等）に結像させる。前面ディスプレ
イ102への画像についても、同様に画像出力I/F2 409、
プロジェクタ107、ミラー108を介して前面ディスプレイ
102の半透明スクリーンに結像させる。この実施例では
スクリーンに背面から投射する方式をとっているが、背
面からではなく正面から投射する方式でもよい。ただ
し、正面から投射する方式は周辺の照明がコントラスト
に影響すること、さらに、光路に障害物があると、その
影がスクリーンに映るなどの欠点が生ずる。

【００１７】頭上カメラ300の画像は画像入力I/F 406に
取り込まれ、メモリ402に格納される。メモリ402のデー
タはCPU401で処理され、その結果は画像出力I/F1あるい
は画像出力I/F2により、それぞれプロジェクタ105,107
から映像が出力される。

【００１８】また、効果音の出力は音声I/F 411を介し
てスピーカ412から行なわれる。さらに、ペン入力のた
めには、座標入力装置（図示無し）の座標データを利用
して行なう。その他、CPU401には、通常のパーソナルコ
ンピュータやワークステーションと同様にファイル40
3、KB・S I/F411とそのデバイスKB412・MS413、そして
通信インタフェースLANI/F 404、FAXI/F 405が接続され
ている。通信インタフェースLANI/F 404はネットワーク
機能を利用するためのもの、通信インタフェースFAXI/F
405は電話回線を利用して、ファクシミリの通信を行な
うものである。

【００１９】本発明実施例の特徴は、（１）映像物を手
でもって直接触る感覚で操作できる環境と、（２）現実
の物をもマンマシンインタフェースの部品として利用で
きる環境を提供できることにあり、この特徴を実現する
方法を、本発明実施例の特徴的機能である現実物の属性
定義機能800と、手の動作理解600と、オブジェクトハン
ドリング処理700の動作として、図３〜図１４を参照し
て説明する。

【００２０】［現実物の属性定義機能］映像物を直接手
でもって触ったり、現実物をマンマシンインタフェース
の部品と利用するためには、処理装置が現実物が何を意
味するのか属性定義を行なう必要がある。具体的には、
現実物を撮影し、その特徴量データと動作の対応テーブ
ルを作成する。図３(a)は、この現実物の属性定義を行
うときの操作画面を示したものである。この定義は予
め、一度行えば良い。この定義を行うためには、まず、
画面101の右上にある“動作／定義”101-1メニューをス
タイラスペン109で指示し、“定義”モードにする。す
ると、属性定義メニュ101-2が表示され、今、定義しよ
うとするメニュー101-3をスタイラスペン109で指示す
る。この指示が終了すると、画面中央に現実物を置く領
域101-5を表示し、ガイダンス101-4を表示する。そし
て、所定時間内（例えば２分位とし、砂時計のように残
り時間の表示がされる）に対応付けを行う対象物（この
例ではファイル）をこの中に置くと処理が終わり、領域
101-5とガイダンス101-4は消去される。各種定義が終了
するときは、定義メニューの“終了”101-6を指示して
終了する。定義が終了すると101-1のモードは自動的に
“動作”モードに変更されるようになっている。

【００２１】図３(b)は、現実物の対象物の例を示した
ものである。現実物と動作定義の例として、(a)ファイ
ル部品−DESK I/O動作、(b)MAIL部品−MAIL I/O動作、
(c)FAX部品−FAX I/O動作、(d)KB部品−KB入力動作、
(e)MS部品−MS入力動作、(f)PEN部品−PEN入力動作、
(g)メモ部品−画像添付動作、(h)マーカペン部品−画像
合成動作、(i)ケシゴム部品−画像消去動作、(j)開き手
部品−リリース動作、(k)閉じ手部品−ホールド動作が
ある。この属性定義により、各々の認識のための特徴量
データと動作対応テーブルを作成する。例えば、ファイ
ルと認識できれば、これはDESK I/O動作と結び付き、表
示されているオブジェクトがファイル部品と重なると、
これをデスクに格納したり、逆に、ファイル部品を手で
触ると（ホールド動作）、中にある文書がオープンされ
るように動作する。［手の動作理解とオブジェクトハンドリング］手のジェ
スチャ動作とオブジェクトハンドリングの基本的な考え
方を説明する。本発明実施例の手のジェスチャ動作とオ
ブジェクトハンドリングの基本的な考え方は、以下の通
りである。ここで、オブジェクトとは、ディスプレイに
表示された表示オブジェクト（映像物とも呼称）と現実
物、例えば、KB,ペン，ケシゴム，FAX等の実際に手にと
って触れる現実の部品を指す。

【００２２】（1）映像物のハンドリング（a）映像物を片手で押さえたとき、映像物全体のレイ
アウトとI/Oアクセス処理に対応させる。これは実際
に、机の上の文書を片手で操作することが多いことから
一般的な方法である。レイアウト処理として、映像物の
移動、回転がある。また、I/Oアクセス処理では補助記
憶装置（補助メモリ）へのファイルと外部ネットワーク
(LAN使用のMAIL,FAX)等へのアクセスがある。

【００２３】（b）映像物を両手で押さえたとき、映像
物のページハンドリング（複数ページある場合）に対応
させる。これは実際に、机の上の文書のページめくりや
ページバラシを両手で押さえて行なうことが多いことを
考えると一般的な方法である。なお、ページハンドリン
グとしては、ページめくりと所定ページの出し入れ、ペ
ージバラシ、ページ収集、ページ入れ換え等のページレ
イアウトがある。

【００２４】（c）手のジェスチャ動作として、(イ)映
像物の押さえ（ホールド）、(ロ)映像物のリリース、
(ハ)押さえての移動、(ニ)押さえての手首回転、(ホ)押
さえての親指振りの５つの動作を考える。ここで、(ハ)
の押さえての移動動作は、映像物の移動（片手押さえ
時）並びページレイアウト（両手押さえ時）に対応、
(ニ)の押さえての手首回転動作は、映像物全体の回転
（片手押さえ時）とページめくりの度合い（両手押さえ
時）に対応、(ホ)の押さえての親指振りは、ページめく
り動作（両手押さえ時）に対応させる。

【００２５】（２）現実物のハンドリング現実物のハンドリングとは、現実の物をどのようにマン
マシンインタフェースの部品として、利用するかの議論
である。撮像装置から実際の現実物を映像として取り込
み、これを認識し、マンマシンインタフェースの部品と
することにより、計算機と直感的に対話できる効果があ
る。

【００２６】現実物のハンドリングでは、（ａ）映像物
と現実物の特徴点座標間が近くなったとき（重なり）、
（ｂ）現実物同士の特徴点座標間が近くなったとき（重
なり）の２つがある。前者の例としては、文書の表示オ
ブジェクトの特徴点座標がファイル部品、MAIL部品、FA
X部品等の特徴点座標に近くなるとその文書が各々の部
品への転送を意味する。一方、後者の例では、現実物
（ファイル、MAIL、FAX等の部品）の特徴点座標と手の
特徴点座標が近くなり、かつ、ホールド動作のとき、そ
の部品に定義された表示オブジェクトがオープンされ
る。また、後者の例のもう１つは、図３(a)KB、MS、PE
N、メモ、マーカペン、ケシゴム部品はそれぞれ手の特
徴点座標と近くなると、表示オブジェクトへの入力とな
る。ここで、特徴点座標として、そのオブジェクトの重
心、中心、コーナー、端点がある。

【００２７】［オブジェクトのホールド／リリース方
法］映像物あるいは現実物を操作する場合、手のジェス
チャ動作で特にホールド／リリース動作が重要である。
即ち、オブジェクトを掴んだのか、離したかを検出しな
いと、オブジェクトに、ただ手を持っていただけで動作
が開始してしまう。マウスではこれを行なう動作とし
て、マウスSWをクリックすることで行なっている。１つ
の方法として、手中にSWを持ち、これをオン／オフする
ことも考えられるが、これでは操作性が悪くなる。そこ
で、手のジェスチャ動作を映像から検出し、しかも、自
然に行ないたい。

【００２８】図４，図５は２つの方法を説明したもの
で、図４(a)は「開き手」の検出をリリース動作に、図
４(ｂ)は「閉じ手」の検出をホールド動作に対応させた
場合である。通常でも、物を掴むときは、閉じ手となる
ため、分かりやすジェスチャ動作である。もう１つの方
法は、図５に示すように、撮像装置が現実物の上から撮
像すると、手の上下により、映像のサイズが変化する特
性を利用している。図５(a)では、手のサイズが(b)に比
べ大きいため、リリース動作に、(b)は(a)に比べ小さい
ためホールド動作に対応する。ただ、この方法は、サイ
ズ情報を特に利用しているため、最初に定義した人と異
なる人の手で操作すると、エラーとなる場合がある。

【００２９】図４，図５により、映像物のホールド／リ
リース動作を説明したが、これは、現実の部品でも同様
な方法で検出できる。なお、ホールド動作が本当に有効
かどうかは、手の特徴点座標に、操作対象物が存在する
かどうかで決定する。つまり、操作対象物が存在するエ
リアに、手の特徴点座標があるときのみ有効とし、それ
以外のそのジェスチャ動作は無効とする。

【００３０】以下、ホールド／リリース動作を、閉じ手
／開き手のジェスチャで説明する。［具体的な動作例の説明］上記考え方に基づき、具体的
な動作例を以下示す。

【００３１】（１）レイアウト動作図６により、映像物の移動／回転を説明する。図６(a)
は、映像物104を左手200-1でホールドしている図であ
る。図６(a)において、右手200-2は映像物104をホール
ドしていないため、上記基本的考え方により、このジェ
スチャ動作は片手の操作と判断される。図６(b)の操作
は、オブジェクト全体の移動(104'→104)と判断され、
図６(c)の操作は、手首の回転を検出しているため、オ
ブジェクト全体の回転(104'→104)と判断される。な
お、手首の回転検出方法は、後述のページめくりのとこ
ろで説明する。

【００３２】（２）ファイリング動作図７により、映像物のファイリングを説明する。図７
(a)も、図６と同様に片手のジェスチャ動作と判断され
る。ここで、図４(b)のように映像物104を押さえ、ホー
ルドしながら手を移動すると、映像物104もそれにつれ
て移動(104'→104)する。しかし、映像物104の画像の特
徴点（コーナーや重心）が現実物であるファイル部品11
0の特徴点Pc（重心）に近くなると、映像物104がハイラ
イテイングし、ファイル操作の受け付けアクションを表
示する。ここで、映像物104のリリースジェスチャ動作
を行なうと、ファイル動作が実行され、映像物104は消
えてなくなる。

【００３３】図示は省略したが、ファイル部品110をホ
ールドジェスチャ動作すると、対応づけられたオブジェ
クトがオープンされるように動作する。この動作を繰り
返すと、次々とファイルされているオブジェクトがディ
スプレイにオープンされる。

【００３４】（３）FAX転送動作図８により、表示対象物のFAX転送を説明する。この図
８(a)においても、図６と同様に片手の操作と判断され
る。ここで、予めFAX送信の宛先は定義されているもの
とする。図７と同様に映像物をFAX部品112まで移動させ
ると、映像物104がハイライテングし、受付したことを
操作者に知らせる。ここで、映像物のリリースジェスチ
ャすると、この映像物が送信先に自動的にダイヤリング
し送信される。逆に、受信されているFAX文書は、FAX部
品110をホールドジェスチャ動作すると、オープンする
ことができる。以上のように、映像物のレイアウトやフ
ァイル、さらにFAX操作を直感的に行なえることができ
るため、極めて操作性が良くなる。尚、上述した例で
は、ファイル部品110，FAX部品110は現実物であるが、
アイコンのようにディスプレイ101上に表示された絵文
字でもよいことはいうまでもない。例えば、図２５
（ａ）のように平面ディスプレイ101にファィル絵文字1
10が表示されており、表示中の文書104を手200-1で移動
して同図（ｂ）の様に絵文字110に重ねると、文書104が
ファイルされる。

【００３５】（４）ページハンドリング動作次に、ページハンドリングの動作例を図９〜図１３によ
り説明する。

【００３６】(a)ページめくり動作図９は、ページめくりの動作説明図である。この図のよ
うに、映像物に対して、両手でオブジェクトを押さえる
（ホールドジェスチャ）と、これをページハンドリング
動作と判断する。そして、一方の親指の振りジェスチャ
があるとページめくりと判断する。

【００３７】図９(a)〜(d)に示すように、ページめくり
は、左手の中指の方向D1〜D4、親指と人差し指の中間く
ぼみ点座標P1〜P4により、めくり箇所とめくり量が変化
する。図９(a)(b)では、方向D1〜D2が左上り方向（北西
方向）のため、ページめくり箇所は右上から左下の方向
になる。しかも、中間くぼみ点座標が下に来るほど（P
1→P2へ)、めくり度合いが大きくなる。一方、図９(c)
(d)では、方向D1〜D2が右上り方向（北東方向）のた
め、ページめくり箇所は右下から左上の方向となる。以
上のように、方向Dと中間くぼみ点座標Pにより、めくり
箇所とめくり量を自由に変更することができる。

【００３８】さらに、ページめくり方向（順方向／逆方
向）は、親指の振りジェスチャで判断する。本実施例で
は、手で映像物をホールドした後、親指を人差し指に対
し広げた状態が所定時間あったとき、以後親指の振りは
順方向とする。一方、親指と人差し指が合わせた状態が
所定時間あったとき、以後親指の振りは逆方向とする。
即ち、方向を切り換えるときは、一旦、指振りを中止し
て、親指が人差し指に対して開いた状態に所定時間停れ
ば順方向、閉じた状態であれば逆方向に切り替わる。め
くりのスピードは指振りの振り速度に比例させる。

【００３９】図９の例は、左手でページめくり操作をし
ている例であるが、これを右手で行なっても良い。どち
らの手で操作するかは押さえている手がオブジェクトに
どれだけかかっているかで判断する。他の方法として、
最初に指振りジェスチャを行なった方を優先しても良
い。

【００４０】ページめくりの別のやり方として、映像物
を両手でホールドした時の場所（４隅）でページめくり
箇所やめくり度合いを決めるやり方が考えられる。ま
た、ページめくり方向も左手の指振りは順方向、右手の
指振りは逆方向のようにしてもよい。

【００４１】なお、ページめくりは手をリリース（オブ
ジェクトから手を離す）したとき、リセットされるもの
とする。

【００４２】(b)ページの出し入れ動作次に、図１０により、任意ページの出し入れの操作方法
を説明する。ページの出し入れは、ページめくり途中で
目的とするページが見つかった場合に生ずる。従って、
図１０(a)のように、ページめくりの途中において、め
くり動作をやっていないもう一方の手を同図(b)のよう
に移動してそのページのみを抜き出す（ページ出し）こ
とで行う。逆に、移動した手を戻すことで、ページを元
の位置に戻す（ページ入れ）。

【００４３】(c)ページバラシ/ページ集め動作図１１〜図１３により、ページバラシとページ集めの操
作方法を説明する。この操作は、ページめくりがされて
いない状態で、両手のうち、一方の手を移動するとそれ
に連れてページがバラバラになる（図１１(a)(b)）。２
点間の移動距離(Ps〜Pe)により、ページ間の距離が決定
される。即ち、移動距離が小さいとページ間の重なりも
大きく、一方、移動距離が大きいとページ間の重なりが
小さくバラバラになる。図１１(b)において、夫々の手
で押さえているページで、移動している手が押さえてい
るページの中心座標を配置の終点座標Peとし、移動して
いない手が押さえているページの中心座標を配置の始点
座標Psとする。そして、複数ページの文書オブジェクト
があるとき、補間点座標Piを求める。補間点座標Piは終
点座標を連続的に移動するごとにその移動履歴ファイル
を作り、この移動履歴ファイルより、ストローク長Lsを
計算し、ページ数に応じて均等配分することで簡単に求
めることができる。

【００４４】図１１(b)の例では、３ページのため、始
終点にそれぞれ１枚（104-1、104-3）、補間座標Piにも
う１枚（104-2）の計３枚をレイアウト表示している。
もし、ページ数が増えれば、始終点間のストロークをペ
ージ数に応じて細かく配分されることになる。なお、こ
の操作を実行中のとき、始点Ps、補間点Pi、終点Peを含
む曲線104-4を文書の各ページの表示に合わせて合成表
示し、全体のページレイアウト状況が直感的にわかるよ
うになっている。

【００４５】図１２は、バラバラになった文書のページ
収集をしている状態を示している。図１２(a)は、図１
１(b)のバラバラにした状態から、左手を固定とし、右
手をバラした方向と逆方向に辿ろうと始めた状態を示
し、図１２(b)は、既にバラしたときの半分まで逆方向
に辿った状態を示している。このように、一旦、バラし
た各ページを、終点座標Peを逆に辿ることにより、ペー
ジ収集することができる。

【００４６】図１３は、終点座標Peの指定方法により、
ページバラシなのかページ収集なのかをどう判定するか
を説明する図である。終点座標Peが連続的に移動するご
とに格納した移動履歴ファイルの座標群と今指定された
終点座標Pe'との距離（移動履歴ファイルの座標群の
内、Pe'と一番近い座標との距離）が所定しきい値r（半
径rの範囲）より大きいとき、ページバラシと判定し、
その逆のとき、ページ収集と判断する。ページ収集のと
きは、移動した座標を逆に辿るため、移動履歴ファイル
の座標を現終点座標に補正して、処理することが肝要で
ある。

【００４７】ページの差し替えはページめくりの状態で
入れ替えたいページを、一旦抜き出し、入れたいページ
までめくり動作を行ない、その箇所にページ入れの動作
を行なうことによってできる。その他の方法として、ペ
ージバラシを行ない、次に、片手でページ間の並び移動
を行なうことによってもできる。

【００４８】以上述べたように、手のジェスチャ操作に
よるオブジェクトハンドリングは、実際の机上でやって
いるやりかたとほぼ同様な方法を取っている。このた
め、極めて直感的な操作となり、マンマシンが大幅に向
上する。

【００４９】（５）ペン入力と編集動作次に、直感的なオブジェクト操作に加え、表示対象物に
ペン（図２の109）で文字や図形を入力したり、入力し
たものを編集する場合の動作について、図１４を用い
て、以下、説明する。

【００５０】図１４（a）は、映像物を移動後（104’→
104）、その映像物104にペン109による文字入力してい
る状況を示している。既に“文字入”までは認識が終了
し、清書表示されている。一方“力”は、座標を入力途
中で筆跡表示のみが現われている。文字切り出し（枠切
り出しやタイムアウト切り出し等）が終了すると、認識
を開始して、そのコードに対応する文字が表示される。

【００５１】次に、既に入力されている文字や図形を編
集する場合、まず、ペン109を入力モードから編集モー
ドに切り換える（切り換え例：メニューで切り換える方
法、編集対象物とストロークの長さ情報により切り換え
る方法、ペン上にあるスイッチで切り換える方法等）。
そして、図１４（b）に示すように、編集対象物、ここ
では“文字入力”の文字列の上に×印のペンジェスチャ
を入力する。すると、このペンジェスチャが認識され、
文字列“文字入力”は、直ちに消去される。これは丁
度、紙の上から赤ペンで校正する方法と同様であり、マ
ンマシン性が大幅に向上する効果がある。

【００５２】なお、今迄の説明では、表示対象物を両手
で押さえていると、ページハンドリングのモードに移行
したが、ペンを持ったとき、このモードへの移行を禁止
し、ドキュメント処理／編集処理モードにする機能が必
要である。これは、監視カメラで手の動作をモニタし、
ペンを持ったことを検出することで容易に実現できる。
さらに、文字入力や文字編集ばかりでなく、図形入力、
図形編集でも動作は同じである。

【００５３】次に、本発明実施例に係る上述した処理の
手順を、図１５〜図２４のフローチャートを用いて明す
る。特に、本発明実施例の特徴部分の機能（図１の500
〜800）の処理手順を述べる。

【００５４】［画像取込処理］図１５は、画像取込処理
手順を示すフローチャートである。図２のハードブロッ
ク図の画像入力I/F 406には、頭上カメラからリアルタ
イムで取り込む動画メモリ（図示無し）がある。従っ
て、画像処理を行なうためには、この動画メモリの内容
を一旦、処理装置内のメモリ402取り込む必要がある。
この処理が図１５である。画像を取り込んでいるうちは
（ステップ520）、動画メモリを書き換えないように画
像取り込み禁止（ステップ510）し、取り込み終了後は
画像取り込み許可（ステップ530）を与える。

【００５５】［現実物のインタフェース部品属性定義］
図３(a)の属性定義画面を参考にしながら、現実物のイ
ンタフェース部品属性定義処理を、図１６を用いて説明
する。既に、“動作／定義”101-1モードは“定義”モ
ードになっているものとする。まず、属性定義メニュー
シート101-2は表示されているため、ペンダウン信号が
あるまでペン座標を取り込む（ステップ805〜810）。な
お、ペンダウン信号はスタイラスペン109のSW信号より
検出される。

【００５６】次に、ペンダウン時の座標が終了メニュー
101-6であれば（ステップ815）、この処理は終了する。
一方、ペンダウン時の座標が終了メニュー101-6でなけ
れば、ペン座標から、インタフェース部品の物属性を特
定する（ステップ820）。そして、図３(a)の101-4、101
-5に示すように、取り込みエリア表示とガイダンスを表
示（ステップ830）し、同時に画像の取り込みも開始す
る（ステップ825）。画像の取り込みは所定時間行なう
（ステップ835）。この画像取り込み中、あとどのくら
いで終了するかを文字やアイコンで表示すると、操作者
に良く理解できる（フローの図示は省略）。

【００５７】所定時間が経過すると、取り込み終了表示
（ステップ840）つまり終了ガイダンスや取り込みエリ
アの消去等を行ない、取り込んだインタフェース部品の
映像から、特徴量抽出を行なう（ステップ845）。この
特徴量抽出については後述の図２１で説明する。特徴量
抽出が終了すると、物属性との対応テーブルを作成する
（ステップ850）。対応テーブルは、部品名とその動作
機能、部品の特徴量（面積、周囲長、重心、サイズ、複
雑度等）で構成される。なお、この物属性定義処理は予
め１度実施すれば良い。

【００５８】［手の動作理解］次に、図１の機能ブロッ
ク600の手の動作理解の処理を、図１７を用いて説明す
る。本処理では、現実物の認識と手のジェスチャを認識
し、操作コマンドとパラメータを求めるものである。ま
ず、現実の画像のみを抽出するため、映像物（表示オブ
ジェクト）と画像取込処理で取り込んだ画像との差分を
抽出する（ステップ605）。

【００５９】次に、ステップ605の差分画像にはノイズ
があるため、フィルタリングしてノイズ除去を行なう
（ステップ610）。なお、フィルタリングは良く知られ
ている空間フィルタの積分オペレータを利用する。現実
の画像のみの抽出ができた後は、この画像の特徴量を抽
出し、そして、なんの部品かを認識する（ステップ61
5：詳細は図２２で後述）。

【００６０】次に、手の位置（平面ディスプレイ101に
対する）が、操作しようとする表示対象物の上（具体的
には手の特徴点座標と表示対象物の特徴点座標間距離が
所定値以内のとき）にあり、かつ、その手はホールドジ
ェスチャかどうか判断する（ステップ620）。もし、そ
うであれば、“表示対象物ホールド”モードを設定する
（ステップ625）。次に、両手ともが表示対象物の画像
の上にあり且つホールドジェスチャかどうか判定する
（ステップ630）。この判定で片手のみのホールドジェ
スチャのときは“レイアウト／ファイル”モードに設定
し（ステップ635）、両手ともホールドジェスチャのあ
るときは“ページハンドリング”モードに設定する（ス
テップ645）。

【００６１】レイアウト／ファイル”モードと判定され
たら、表示オブジェクトをホールドしている手の各種パ
ラメータを演算する（ステップ640）。パラメータとし
て、移動後の座標ならびに手首の傾きを計算する。手首
の傾きは、図９で説明したように、中指の方向Dを見る
ことによって実現できる。

【００６２】一方、“ページハンドリング”モードと判
定されたら、表示オブジェクトをホールドしている両方
の手の各種パラメータを演算する（ステップ650）。前
述した片手のパラメータに付け加え、親指の振り状態を
も検出する。親指の振り状態は親指の先端座標位置を検
出し、前回の座標位置との差で容易に判定できる。

【００６３】ステップ620において、手が表示対象物以
外にあったとき、ステップ655にジャンプする。そし
て、現実対象物の画像の上に手があり（具体的には手の
特徴点座標と他の現実物の特徴点座標間距離が所定値以
内のとき）、かつ、ホールドジェスチャのとき、“現実
物ホールド”モードを設定する（ステップ660）。ステ
ップ655において、ホールドジェスチャでないとき、こ
れは、表示対象物、現実対象物ともリリースしていると
判断し、“リリース”モードを設定する（ステップ66
5）。

【００６４】［オブジェクトハンドリング］次に、モー
ド判定とパラメータ演算ができたことにより、このデー
タをもとに表示対象物のハンドリング処理を行なう。図
１８はこの処理手順を示したものである。最初に、処理
モードを判定し、“レイアウト／ファイル”、“ページ
ハンドリング”、“現実物ホールド”、“リリース”の
いずれのモードであるかを判定する（ステップ705）。

【００６５】“レイアウト／ファイル”モードのとき、
まず、レイアウト処理を行なう（ステップ710）。そし
て、表示対象物の特徴点座標が現実部品の特徴点座標位
置に重なったとき（近くなったとき）、その現実物に対
応した属性処理を行なう（ステップ715，720）。例え
ば、ファイル部品であれば、その表示物をファイルデバ
イスに格納する動作が行なわれる。

【００６６】ステップ７１０において、レイアウト処理
は、手の重心位置の移動先座標と手首の傾きデータを下
に、ホールドされた表示オブジェクトの移動または回転
表示をする。なお、回転表示のとき、文字や図形等の内
容そのもの全体を回転表示し、あたかも紙を傾けたと同
じように表示する。表示オブジェクトの傾き表示は最近
プリンタで使用されているポストスクリプト言語を利用
することにより容易に実現できる。レイアウト処理で表
示オブジェクトの移動や回転操作を行なったとき、机と
紙の間で発生するような摩擦音を疑似発生させる。これ
により臨場感を出すことができる。

【００６７】ステップ705の判定において、“ページハ
ンドリング”モードのとき、まず、ページめくりかどう
か判定する（ステップ725）。なお、ページめくり動作
中かどうかは親指の振りが有るかどうかで判定する。も
し、ページめくりであれば、“ページめくり／ページ出
し入れ”処理を行なう（ステップ730）。ページめくり
でなければ、“ページバラシ／ページ集め”処理を行な
う（ステップ735、詳細は後述の図１９で説明す
る。）。“ページバラシ／ページ集め”処理では、図１
２〜図１３のように、一方の手の移動座標ともう一方の
手の固定座標との位置関係からページバラシかページ集
めかを判定する。なお、ページめくりのとき、レイアウ
ト処理と同様にめくり音（パラパラ等）を疑似発生させ
る。ステップ705の判定において、“現実物ホールド”
モードのとき、現実物の属性対応処理を行なう（ステッ
プ740：図２４で後述）。

【００６８】最後に、ステップ705の判定で、“リリー
ス”モードのとき、“リリース”処理される（ステップ
745）。“リリース”処理745は、表示対象物や現実対象
物から手を離した場合の処理で、その例としてレイアウ
ト処理中にリリースする場合、ページハンドリング中に
一方の手をリリースして、その手でペン入力する場合等
が考えられる。なお、ペン入力中はその手が表示オブジ
ェクトの上に有っても、オブジェクトをホールドしてい
ると判断しないようにする。

【００６９】図１９は、ページバラシ／収集処理（図１
８のステップ735）の詳細手順を示すフローチャートで
ある。この処理は、大別して始終点間座標から文書の各
ページを配置する座標を求めるページ配置座標計算処理
735-10と、ページ配置座標計算処理で求めた座標上に文
書の各ページを表示するレイアウト表示処理735-20の２
つに分けられる。

【００７０】ページ配置座標計算処理735-10は、ステッ
プ735-11〜735-16で実現できる。即ち、最初に、今取り
込んだ終点座標Peと、既に取り込んでいる移動履歴ファ
イルの座標群のうちの最短座標Prとを探索する（ステッ
プ735-11）。なお、始点座標Psと終点座標Peは、図１１
〜図１２で述べたように、両手の特徴点座標（例、図９
のP1〜P4）から、各ページの中心点座標に相対的にずら
した点としている。次に、取り込んだ終点座標Peと最短
座標Prとの距離を比較し、その差がしきい値より小さい
か否かを判定する（ステップ735-12）。小さければ、こ
れは、ページ集めの処理と判断し、ページバラシの逆動
作として最短座標Prの点を取り込んだ終点座標Peとする
（ステップ735-13）。一方、ステップ735-12の判定結果
が否のとき、これは、ページバラシが継続していると判
断し、今取り込んだ終点座標Peを移動履歴ファイルに格
納する（ステップ735-14）。以上の処理を行なうこと
で、移動履歴ファイルには、最初の始点座標１点（固定
座標）と複数の終点座標（過去の辿ってきた移動座標）
ができる。

【００７１】次に、この移動履歴ファイルのデータか
ら、始終点間のストローク長LSを計算する（ステップ73
5-15）。このストローク長Lsに対し、本実施例では、ペ
ージ数ｎに応じて均等配分する補間点座標Piを計算する
（ステップ735-16）。補間点座標Piの数は始終点の２点
を除くため、n-2個となる。補間点座標Piを計算すると
き、均等配分ではなく、対数配分として段々にずれ具合
が大きくなるようにしても良い。いずれにせよ、ストロ
ーク長Lsと配分個数さらに移動履歴ファイルのデータか
ら、容易に計算することができる。例えば、均等配分で
あれば、始点座標に対し移動履歴ファイルにある座標を
順に加算（シテイブロク法等：偏差Dx+Dy）し、その値
が均等分の長さをオーバしたとき、その座標を補間点と
する。これを、繰り返すことにより求めることができ
る。

【００７２】さて、ページ配置座標計算処理735-10が終
了したら、次に、レイアウト表示処理735-20を行なう。
最初に、新座標位置に各ページを表示するため、一旦、
旧座標位置に表示されている各ページのドキュメントを
消去する（ステップ735-21）。そして、次に、新座標位
置に各ページのドキュメントを表示する（ステップ735-
22）図２０は、表示オブジェクトへのペン入力および編集の
ときの処理手順を示すフローチャートである。なお、ブ
ロック番号は図１のブロック番号に対応している。座標
取り込みブロック900の詳細は、ブロック910〜930にな
る。即ち、TB座標を取り込み（ブロック910）、次に、
この座標を表示対象物のレイアウト情報（移動先、回
転）により補正し、表示対象物の座標空間に変換する。
これにより、TB座標空間と表示対象物のリンケージが図
られたことになる。

【００７３】次に、ペン入力モードかペン編集モードか
を判定する（ブロック930）。ここでの判定は、ストロ
ーク長が所定値より長く、かつ、ストロークの下に編集
対象物が有った場合にはぺン編集モードとし、無かった
場合にはぺン入力モードとする。ぺン入力モードの場合
には、文字・図形の認識を実行する（ブロック1000）。
その認識結果はドキュメント処理（ブロック1100）に反
映し、文書を生成する。一方、ぺン編集モードの場合に
は、入力されたストロークは編集ジェスチャとして認識
（ブロック1２00）し、それが編集コマンドとなり、編
集処理が実行される（ブロック1300）。ここで、ブロッ
ク1000〜1300の具体的説明は従来の方法で実現できるた
め、その説明は省略する。

【００７４】図２１は、図１６の属性定義処理でのステ
ップ845の特徴量抽出の詳細手順を示すフローチャート
である。まず、画像取り込みを行なう対象ウインドウ内
の画像２値化処理(SLTH1W)を行なう（ステップ845-
a）。次に２値画像の連結成分のラベル付け処理を行な
う（ステップ845-b）。このラベル付けは全ての領域に
ついて行なわれる。そして、このラベル画像から、幾何
学的特徴量を計算する（ステップ845-c）。幾何学的特
徴量としては、（１）面積：AREA、重心：CGRV、周囲
長：PRMT、（２）サイズ、（３）複雑度が上げられる。
さらに、各ラベル領域毎の色情報を抽出する（ステップ
845-e）。上記のように、各現実物毎に特徴量データを
予め求め、テーブル化しておく。認識時には、このテー
ブルを用いて認識する。なお、本実施例では、特徴量デ
ータにより、認識することを前提にしたが、これを、フ
ァジーやニューロ技術をもって認識しても良いことは言
うまでもない。

【００７５】図２２は、図１７のステップ615（現実対
象物の特徴量抽出と認識）の詳細手順を示すフローチャ
ートである。まず、現実対象物の特徴量抽出をステップ
615-10で行なう。この具体的処理は、図２１のステップ
845と同じ処理である。以下、認識処理に入るが、認識
する場合の基本的考え方を以下に示す。認識の分類とし
て、図３の認識対象を考慮して、（１）手の色情報か
ら、手の認識かそれ以外の現実物の認識かを分類する。
（２）次に手以外の対象物では領域数の多少と面積、周
囲長を組み合わせて認識する。このいずれの特徴量から
も判断できないときは、サイズ情報、色情報を用いて判
断する。一方、手の認識は、後述の図２３で説明する
が、複雑度と面積の特徴量データをもとに認識する。

【００７６】まず、図２２のステップ615-11〜615-33に
より、認識処理の詳細を説明する。ステップ615-11で色
情報が手の色かどうか判断し、手の色であれば、ステッ
プ615-33で手の認識をする。一方、否であれば、手以外
の現実物の認識を行なう。まず、領域の数をしきい値N_
KBとさらに周囲長をしきい値L_KB,L_FAXと比較し、それ
ぞれ、KB、FAXを認識する（ステップ615-12〜615-1
6）。もし、どの判定にも入らないばあい、エラーと判
断し、適切な処理（表示など）を行なう（ステップ615-
17）。ステップ615-112の判定で領域数が所定数以下の
場合、再度異なる領域数のしきい値N_FAXとの比較、さ
らに各領域の内で最大の面積を持つ部品とのしきい値
（S_MAIL,S_FILE,S_MEMO）との比較を行なう（ステップ
615-18〜615-25）。それでも、認識ができないとき、さ
らにサイズ情報をしきい値（SZ_MS,SZ_RUB）と比較し、
さらに色情報をも判定し認識する（ステップ615-26〜3
2）。以上のように、各現実物の対象物によって、この
認識木は適時変更する必要がある。もし、ニューロやフ
ァジー技術でこれを行なえば、特徴量の抽出と認識を同
時に行なうため、このような認識木は不要となる利点が
ある。

【００７７】図２３は、手の認識の具体的処理手順を示
すフローチャートである。この処理では、手がホールド
ジェスチャかリリースジェスチャかの判断と、両手の状
態はどうなのかを判断する。まず、手の重心位置と親指
の位置より、左右いずれの手かを判断する（ステップ61
5-33a）。もし、左手のとき親指の位置は重心より右に
あるためステップ615-33bにジャンプする。そして、手
の複雑度がしきい値C_OPENより大きいとき、左手は開き
手と判断する（ステップ615-33b,615-33c）。一方、ス
テップ615-33bにおいて、複雑度がしいき値以下で、か
つ、面積の特徴量がしきい値S_HAND以上のとき左手が閉
じていると判断する（ステップ615-33d,615-33e）。も
し、面積がしきい値以下のとき、これはエラーと判断
し、エラー処理をする（ステップ615-33f）。なお、ス
テップ615-33aに置いて、右手のときは、左手と同様な
判断を行なう（ステップ615-33g〜615-33k）。最後に、
両手がある場合、再度判定し、それぞれの状態が判明す
る。なお、親指の振り判定は閉じ手状態のとき、親指の
み注目して判定する（図示省略）。判定方法は、親指の
先端座標の履歴を判定し、どちらの方向に座標が移動し
ているか判定することにより判断できる。

【００７８】図２４は、図１８のステップ740（現実物
の属性対応処理）具体的処理手順を示すフローチャート
である。この処理は、現実物の上に手を重ね、ホールド
ジェスチャを行なったとき、どんな動作をするか処理す
るものである。ステップ740aにおいて、現実物の重心と
手の重心座標が所定値かどうか判定し、所定値内であれ
ば、現実物の属性に応じて処理がされる（ステップ740b
〜740k）。この属性は、図１６の属性定義処理で定義し
たもので決定される。

【００７９】以上述べた実施例によれば、以下、効果が
ある。まず、第１の効果として、ディスプレイに表示さ
れている映像物（表示物）と実際の現実物との対応をと
っているため、実際の現実物そのものをマンマシンイン
タフェースの部品として利用できるため、直感的な操作
環境を提供でき、マンマシンインタフェースが大幅に向
上する。

【００８０】第２に、手のジェスチャを認識しているた
め、動作時にメニューやアイコンのような指示が不要
で、モードレスでオブジェクトを操作可能である。しか
も、手のジェスチャは実際の行為と同じ形態、開き手を
オブジェクトのリリース動作に、閉じ手をオブジェクト
のホールド動作に対応させているため、より自然にでき
る効果がある。また、手のジェスチャ動作を片手か両手
かでハンドリング内容を区別（レイアウト・ファイル、
ページハンドリング）しているため、操作方法を簡単に
修得することができる。さらに、ファイルについては、
表示対象物をそのファイル部品に重ねる操作を行なうだ
けで簡単にファイルができる。また、ページハンドリン
グについても、同様に手の移動・回転と指振りを組み合
わせることで簡単に行なうことができる。特に、ページ
バラシ／ページ収集処理では、両手で表示オブジェクト
を押さえ、一方の手を動かすことにより、積層された文
書のレイアウト表示＆操作ができ、実際の紙を動かして
いると同様な感覚となり、マンマシン性が大幅に向上す
る。

【００８１】第３に、疑似効果音発生手段を有している
ため、オブジェクトハンドリング中に疑似音を発生でき
るため、臨場感をだすことができる。第４に、水平設置
の平面ディスプレイ以外に垂直の前面ディスプレイがあ
るため、この前面ディスプレイに、オフイスのレイアウ
ト図や組織図などの抽象画を、またスケジュール表や業
務成績表など掲示版的なものを表示することができ、オ
フイスの業務効率が大幅に向上する効果がある。当然、
ペーパーレス電子机を実現できるため、紙資源を削減で
きる効果も有す。

【００８２】第５に、ペン入力環境が存在するため、必
要に応じて、文字や図形さらにメモ入力が容易にでき
る。また、ペンによるジェスチャコマンドを用いて、簡
単に入力したオブジェクトを編集することができる。

【００８３】第６に、平面ディスプレイ、前面ディスプ
レイともスクリーンの背面から投射する背面プロジェク
タを利用しているため、コントラストがよく、さらに、
頭上カメラとスクリーン間に障害物があっても、表示対
象物の画像に影響がない効果がある。

【００８４】尚、前述した実施例では、大画面である平
面ディスプレイの表示を背面投射により行なったが、こ
れを頭上から机の面への正面投射によっても良い。しか
し、周辺の照明や光路途中の障害物で画像が乱れるなど
の欠点がある。また、プロジェクタを使う代わりCRTや
液晶ディスプレイを利用しても良い。但し、現状では、
CRTは曲面があるため、透明座標入力装置を積層したば
あい、視差を生ずる欠点がある。一方、液晶ディスプレ
イは１７インチ程度であり、大画面にするためには、複
数枚のパネルで構成する必要がある。但し、パネル間の
未表示エリアが生ずる欠点がある。しかし、この他の実
施例においても、手で表示対象物を直接操作する環境に
は変わりない。

【００８５】更に、前述した実施例では、表示オブジェ
クトの手のホールド，リリースを閉じ手、開き手を検出
して行なったが、平面ディスプレイのパネル面に感圧セ
ンサを張り付け、この信号の有り、無しで検知してもよ
い。即ち、手のひらを机上に置くと感圧センサがこれを
検知し、かつ、表示対象物の上に有るかどうかを監視カ
メラで判定することで実現できる。この感圧センサは複
数箇所を同時に検知できるものが望ましい。また、手の
ひらを平面ディスプレイ上の水平面をカメラもしくは光
センサで検知し、これによって行なってもよい。このよ
うに、机上の表面を触ったか、上げたかを検知する方式
であれば、どのような方法であっても良い。

【００８６】さらに、前述した実施例では、手の動作を
頭上カメラによりモニタしたが、他の方法として、頭上
には照明のみとし、平面ディスプレイの下（背面側）に
カメラを置き、手の影絵を画像入力して手の動作をモニ
タしてもよい。この方法によれば、頭上のカメラの監視
による心理的な圧迫が無くなる利点がある。

【００８７】さらに、平面ディスプレイを普通の机と同
じく水平に設置することで説明したが、これを垂直に設
置し、黒板と同様な使い方で行なってもよい。この方法
は特にプレゼンテーションに効果的である。

【００８８】

【発明の効果】本発明によれば、ディスプレイに表示さ
れている映像物（表示物）と実際の現実物との対応をと
っているため、実際の現実物そのものをマンマシンイン
タフェースの部品として利用できるため、直感的な操作
環境を提供でき、マンマシン性が大幅に向上する。

【００８９】さらに、手のジェスチャを認識しているた
め、メニューやアイコンのような指示が不要で、モード
レスでオブジェクトを操作可能であり、マンマシン性が
大幅に向上する効果がある。

【図面の簡単な説明】

【図１】本発明の一実施例に係る情報処理装置の機能ブ
ロック構成図である。

【図２】本発明の一実施例に係る情報処理装置のハード
ブロック構成図である。

【図３】図１に示す情報処理装置で現実物の属性定義の
画面を説明する図である。

【図４】図１に示す情報処理装置で手のホールド／リリ
ースの判定方法を説明する図である。

【図５】手のホールド／リリースの他の判定方法を説明
する図である。

【図６】本発明の一実施例に係る表示対象物の移動／回
転を説明する図である。

【図７】本発明の一実施例に係る表示対象物のファイリ
ングを説明する図である。

【図８】本発明の一実施例に係る表示対象物のFAX転送
を説明する図である。

【図９】本発明の一実施例に係るページめくりを説明す
る図である。

【図１０】本発明の一実施例に係る任意ページの出し入
れを説明する図である。

【図１１】本発明の一実施例に係る文書のページバラシ
を説明する図である。

【図１２】本発明の一実施例に係る文書のページ集めを
説明する図である。

【図１３】本発明の一実施例に係る文書のページバラシ
／集めの判定方法の説明図である。

【図１４】本発明の一実施例に係る文字・図形入力／編
集処理を説明する図である。

【図１５】本発明の一実施例に係る画像取込処理手順を
示すフローチャートである。

【図１６】本発明の一実施例に係る現実物の属性定義処
理手順を示すフローチャートである。

【図１７】本発明の一実施例に係る手の動作理解処理手
順を示すフローチャートである。

【図１８】本発明の一実施例に係るオブジェクトハンド
リング処理手順を示すフローチャートである。

【図１９】本発明の一実施例に係るページバラシ／収集
処理手順を示すフローチャートである。

【図２０】本発明の一実施例に係る文字・図形入力／編
集処理の手順を示すフローチャートである。

【図２１】本発明の一実施例に係る現実物の特徴量抽出
処理手順を示すフローチャートである。

【図２２】本発明の一実施例に係る現実物の特徴量抽出
と認識処理手順を示すフローチャートである。

【図２３】本発明の一実施例に係る手の認識処理の手順
を示すフローチャートである。

【図２４】本発明の一実施例に係る現実物の属性対応処
理の手順を示すフローチャートである。

【図２５】本発明の一実施例に係るファイル方法を説明
する図である。

【符号の説明】

１００…電子机、１０１…平面ディスプレイ、１０２…
前面ディスプレイ、１０３、１０４…表示オブジェク
ト、２００…操作者、３００…撮像装置、４００…処理
装置、５００…画像取込手段、６００…手の動作理解手
段、７００…オブジェクトハンドリング処理手段。８０
０…現実物の属性定義処理。

Claims

【特許請求の範囲】

【請求項１】ディスプレイと、該ディスプレイの表示
面上に表示された映像物および該ディスプレイ上に置か
れた実際の現実物を撮像する撮像装置と、前記ディスプ
レイと前記撮像装置に接続された処理装置とを備えた情
報処理装置において、前記撮像装置の映像から現実物を
認識する認識手段と、該認識手段で認識した現実物と前
記映像物との間の動作を対応付ける属性定義手段と、前
記認識手段で認識した現実物の特徴点座標と他の現実物
の特徴点座標間あるいは前記映像物の特徴点座標間を比
較し所定値内のとき前記属性定義手段で定義した動作を
当該映像物に対して実行する属性対応処理手段とを備え
ることを特徴とする情報処理装置。
【請求項２】請求項１において、前記特徴点座標は、
中心，重心，コーナ点，端点のいずれかであることを特
徴とする情報処理装置。
【請求項３】請求項１において、前記現実物の特徴点
座標と他の現実物の特徴点座標間の比較のうち一方を操
作者の手の特徴点座標とすることを特徴とする情報処理
装置。
【請求項４】ディスプレイと、該ディスプレイの表示
面上に表示された映像物および操作者の手を撮像する撮
像装置と、該撮像装置から入力した映像から操作者の手
のジェスチャを認識する手段であって前記ディスプレイ
の表面上の映像物あるいは現実物をホールドするかリリ
ースするかのジェスチャを認識するジェスチャ認識手段
と、該ジェスチャ認識手段の結果から前記映像物を操作
する手段とを備えることを特徴とする情報処理装置。
【請求項５】請求項４において、前記ジェスチャ認識
手段は、前記操作者の閉じ手を認識したときホールドジ
ェスチャに、前記操作者の開き手を認識したときリリー
スジェスチャに対応させることを特徴とする情報処理装
置。
【請求項６】請求項４において、前記ジェスチャ認識
手段は、前記撮像装置と操作者の手の距離によって変化
する映像サイズの大小をリリース／ホールドジェスチャ
に対応させることを特徴とする情報処理装置。
【請求項７】ディスプレイと、該ディスプレイの表示
面上に表示された映像物および該ディスプレイ上に置か
れた実際の現実物および操作者の手を撮像する撮像装置
と、前記撮像装置の映像から現実物を認識する認識手段
と、該認識手段で認識した現実物と前記映像物との間の
動作を対応付ける属性定義手段と、前記認識手段で認識
した現実物の特徴点座標と他の現実物の特徴点座標間あ
るいは前記映像物の特徴点座標間を比較し所定値内のと
き前記属性定義手段で定義した動作を当該映像物に対し
て実行する属性対応処理手段と、前記映像物あるいは現
実物を前記ジェスチャ認識手段でホールドと認識したと
き前記属性対応処理手段を自動起動する手段とを備える
ことを特徴とする情報処理装置。
【請求項８】表示面が水平面状に設置されデータが書
類状に表示されるディスプレイと、該ディスプレイの表
示面に置かれた操作者の手と該ディスプレイの表示面に
表示されたデータとを撮像する撮像手段とを備える情報
処理装置において、手の各種状態の映像に対し予め各種
の情報処理動作を対応させた定義ファイル格納手段と、
前記撮像手段による映像から手の映像と前記データの映
像とが所定距離内に入り該手の映像と前記定義ファイル
格納手段とから識別した操作者の情報処理動作が何であ
るかを認識し前記データに対し該情報処理動作を実行す
る処理実行手段とを備えることを特徴とする情報処理装
置。
【請求項９】請求項８において、前記表示面上に実際
に物理的に置かれた現実物の映像と該現実物に対する情
報処理動作とを対応つけて前記定義ファイル格納手段に
格納しておき、前記処理実行手段は手の映像により操作
に従って該処理実行手段が前記データを机上の現実物方
向に移動して所定距離内に入ったときは該現実物に対応
する情報処理動作を該データに対して実行することを特
徴とする情報処理装置。
【請求項１０】請求項９において、現実物の代わりに
前記ディスプレイに表示された該現実物の絵文字を用い
ることを特徴とする情報処理装置。
【請求項１１】請求項９または請求項１０において、
前記所定距離内に入った前記データをハイライト表示す
ることを特徴とする情報処理装置。
【請求項１２】積層した複数ページの文書オブジェク
トを表示する平面ディスプレイを備えた情報処理装置に
おいて、前記文書オブジェクトの配置のために始終点間
座標を指定する配置座標指示手段と、前記始終点間座標
から前記文書の各ページを配置する座標を求めるページ
配置座標計算手段と、該ページ配置座標計算手段で求め
た座標上に前記文書の各ページを表示するレイアウト表
示手段とを備えることを特徴とする情報処理装置。
【請求項１３】請求項１２において、前記ページ配置
座標計算手段で求める配置座標点は、始点座標，座標，
及び前記始終点座標間を補間して求めた補間座標点であ
ることを特徴とする情報処理装置。
【請求項１４】請求項１２において、前記配置座標指
示手段で文書オブジェクトを配置操作中のとき配置座標
間を結ぶ曲線と前記文書オブジェクトとを同時に動的表
示する手段を備えることを特徴とする情報処理装置。
【請求項１５】請求項１２において、前記配置座標指
示手段は両手の特徴点を監視カメラでモニタ検出して座
標指示することを特徴とする情報処理装置。